Работа с запросами
Сведения о запросе
Как использовать `id` запроса в AllTokens.
Каждый успешный запрос в AllTokens получает id генерации. Это связующее звено между ответом модели, стоимостью запроса и маршрутизацией.
Зачем нужен generation id
- чтобы понять, какая модель сработала фактически
- чтобы узнать провайдера и задержку
- чтобы разбирать маршрут после потокового ответа
Два главных метода
GET /api/generation
Возвращает подробные сведения по id.
GET/POST /api/route/explain
Возвращает текстовое объяснение, почему был выбран именно такой маршрут.
Рекомендуемый сценарий
Сохраните id из ответа
В обычном ответе он приходит сразу в корневом объекте. В потоковом режиме его тоже нужно сохранять из частей потока.
Если нужны полные сведения, вызовите generation
Вы получите стоимость, токены, задержку и другие поля учёта.
Если нужно понять решение routing-модели, вызовите route explain
Этот метод удобнее для человека: он отдаёт текстовую причину выбора модели и провайдера.
Когда использовать что
- generation
- route explain
Лучше для подробного разбора конкретного запроса.