Потоковый ответ

Потоковый ответ в AllTokens нужен, когда вы хотите показывать ответ пользователю по мере генерации, а не ждать готовый текст целиком.

Как включить

Добавьте "stream": true в POST /api/v1/chat/completions или POST /api/v1/completions.

{
  "model": "alltokens/auto",
  "stream": true,
  "messages": [
    {"role": "user", "content": "Объясни потоковую выдачу в трёх коротких пунктах"}
  ]
}

Что приходит в ответ

AllTokens возвращает text/event-stream в OpenAI-совместимом формате. Вы читаете чанки по мере поступления и обновляете интерфейс постепенно.

data: {"id":"gen-...","choices":[{"delta":{"content":"Потоковая"}}]}
data: {"id":"gen-...","choices":[{"delta":{"content":" — это"}}]}
data: [DONE]

Что важно после стрима

Рекомендуемый порядок

1

Начните читать поток

Показывайте delta.content сразу в UI или логах.

2

Сохраните generation id

Обычно он приходит в чанках и нужен для последующей отладки.

3

После завершения вызовите generation или route explain

Так вы узнаете фактическую модель, провайдера, задержку и стоимость.

Частые вопросы

Когда stream реально нужен, а когда нет?

stream нужен там, где пользователь должен видеть ответ по мере генерации: в чатах, ассистентах и интерактивных UI. Для серверных задач, фоновых процессов и простых интеграций можно спокойно начинать без него.

Почему после стрима нужен generation id?

По id проще отдельно получить итоговые сведения о запросе, фактическую модель, провайдера и дополнительные данные, которые неудобно собирать из кусков потока.

Как получить итоговый полный ответ после потока?

Обычно клиент сам собирает текст из delta.content по чанкам. Если вам также нужны сведения о выполнении запроса, после завершения потока используйте /api/generation или /api/route/explain.

Что делать, если клиент плохо работает с SSE?

Начните без stream и убедитесь, что обычный запрос работает стабильно. Если поток всё же нужен, проверьте, умеет ли ваш HTTP-клиент читать text/event-stream без буферизации всего ответа.

Куда идти дальше