Маршрутизация

Маршрутизация в AllTokens позволяет не только вызвать модель, но и управлять тем, как именно она выбирается.

Алиасы моделей

alltokens/auto

Основная routing-модель по умолчанию. Хороший старт для большинства интеграций.

alltokens/free

Бесплатная routing-модель для тестовых сценариев.

Где передавать параметры маршрутизации

Параметры маршрутизации можно передавать в metadata или extra_body.

{
  "model": "alltokens/auto",
  "messages": [{"role": "user", "content": "Выбери самую дешёвую подходящую модель"}],
  "metadata": {
    "objective": "cheapest",
    "allowed_models": ["openai/*", "anthropic/*"]
  }
}

Что можно контролировать

Objective
Model filters
Provider policy

objective принимает значения cheapest, fastest, reliable, balanced.

Как разбирать маршрутизацию

Сначала вызовите route preview

Используйте POST /api/route/preview, чтобы увидеть кандидатов без реального вызова модели.

Потом отправьте боевой запрос

Запустите обычный POST /api/chat/completions с теми же metadata.

Сохраните generation id

В ответе или в части потока вы получите id.

Проверьте фактическое объяснение

Вызовите GET /api/route/explain и посмотрите модель, провайдера и текстовое объяснение выбора.

Для начала достаточно знать три вещи: alltokens/auto для старта, objective для управления приоритетом и route/explain для проверки выбора.

Частые вопросы

Чем отличаются alltokens/auto и alltokens/free на практике?

alltokens/auto подходит для обычного автоматического выбора модели, а alltokens/free нужен для бесплатного пула. Для обычного первого запуска почти всегда достаточно alltokens/auto.

Когда вообще не трогать metadata?

Пока вы просто проверяете интеграцию или делаете базовый запрос, metadata можно не передавать. Добавляйте её только тогда, когда уже понимаете, что именно хотите контролировать: скорость, надёжность, допустимые модели или провайдеров.

Как ограничить выбор моделей без жёсткой фиксации одной?

Используйте allowed_models и blocked_models. Так вы сохраняете автоматический выбор, но сужаете пул до нужного семейства, провайдера или набора моделей.

Как понять, почему роутер принял именно такое решение?

Для предварительной проверки используйте /api/route/preview, а для фактического выполненного запроса сохраняйте id и смотрите /api/route/explain.