Модели
Выбор модели
Как выбирать модели в AllTokens: когда использовать alltokens/auto, а когда фиксировать конкретную модель.
В AllTokens выбор модели обычно начинается не с каталога, а с ответа на простой вопрос: вам нужен быстрый старт или предсказуемое рабочее поведение.
Самое короткое правило
- Я только интегрируюсь
- Мне нужна рабочая схема
- Мне нужен бесплатный режим
Начните с model: "alltokens/auto". Это самый быстрый способ проверить, что ключ, сеть и формат запросов уже работают.
Какие варианты есть
alltokens/auto
Routing-модель для автоматического выбора. Удобно для старта, рабочих сервисов и быстрых экспериментов.
Конкретная модель
Прямой вызов вроде anthropic/claude-sonnet-4 или openai/gpt-4.1-mini. Подходит для стабильной рабочей схемы.
alltokens/free
Бесплатная routing-модель для тестов и недорогих сценариев.
На что смотреть в каталоге
Когда вы открываете GET /api/models, в первую очередь смотрите на:
context_length— сколько контекста реально помещаетсяsupported_parameters— какие параметры и функции модель понимаетarchitecture.input_modalitiesиoutput_modalities— умеет ли модель работать с изображениями, аудио и так далее
Практический выбор
Начните с задачи
Для поддержки чатов чаще всего достаточно текстовой модели с хорошим качеством и умеренной ценой. Для поиска по смыслу понадобятся эмбеддинги.
Проверьте поддерживаемые параметры
Если вам нужны инструменты, потоковый режим или большой контекст, убедитесь, что модель это поддерживает.
Зафиксируйте модель в коде
После успешного теста замените alltokens/auto на конкретный model, если важна предсказуемость.
Частые вопросы
Когда alltokens/auto лучше фиксированной модели?
Когда alltokens/auto лучше фиксированной модели?
alltokens/auto лучше на старте, для быстрых экспериментов и для сценариев, где вы хотите делегировать платформе выбор подходящей модели без ручного подбора.
Когда фиксированная модель лучше alltokens/auto?
Когда фиксированная модель лучше alltokens/auto?
Когда вам нужны повторяемое поведение, конкретные возможности модели, согласованный quality bar или жёсткий контроль над тем, какая модель используется в продакшене.
Как выбрать первую рабочую модель для продакшена?
Как выбрать первую рабочую модель для продакшена?
Возьмите рабочий пользовательский сценарий, проверьте 2-3 кандидата на реальных запросах, сравните качество, скорость и совместимость с нужными параметрами, затем зафиксируйте лучший вариант в коде.
Что важнее при выборе: цена, скорость или качество?
Что важнее при выборе: цена, скорость или качество?
Это зависит от продукта. Для первого выбора полезно определить один главный приоритет, а не пытаться оптимизировать всё сразу: UX чаще чувствителен к скорости, production-контент к качеству, массовые фоны и батчи к стоимости.