Интеграции
LangChain
Как подключить AllTokens к LangChain через совместимый с OpenAI клиент.
В LangChain AllTokens проще всего использовать там, где библиотека принимает совместимый с OpenAI клиент или настраиваемый адрес API.
Пример на Python
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="alltokens/auto",
api_key="YOUR_API_KEY",
base_url="https://api.alltokens.ru/api/v1",
)
response = llm.invoke("Объясни RAG в двух предложениях")
print(response.content)Когда это удобно
- поиск по смыслу и RAG
- цепочки и составные сценарии
- быстрый переход с OpenAI на платформу с несколькими моделями