Провайдеры | AllTokens Docs

В AllTokens модель и провайдер — это не одно и то же.

Коротко

Модель

Это то, что вы выбираете в поле model: например, openai/gpt-4.1-mini или anthropic/claude-sonnet-4.

Провайдер

Это инфраструктурный слой, через который модель фактически выполняется. Одно и то же семейство моделей может быть доступно у разных провайдеров.

Зачем это понимать

чтобы настроить поведение при недоступности одного из провайдеров
чтобы ограничить маршрут по конкретным провайдерам
чтобы разбирать задержку и стабильность
чтобы понимать, почему routing-модель сделала именно такой выбор

Выбор провайдера на практике

Если вы передаёте provider_policy, AllTokens использует её как ограничение маршрута:

{
  "model": "alltokens/auto",
  "messages": [{"role": "user", "content": "Ответь кратко"}],
  "metadata": {
    "provider_policy": {
      "only": ["Anthropic", "OpenAI"],
      "allow_fallbacks": true
    }
  }
}

Что это даёт продуктово

Надёжность
Предсказуемость
Доступ без VPN

Если один провайдер недоступен, alltokens/auto может уйти на резервный маршрут, если это разрешено политикой.

Где посмотреть список провайдеров

Откройте GET /api/providers. Эти же имена используются в provider_policy.only и provider_policy.ignore.