Локально или размещённо: выбирайте по ограничению, которое наиболее критично
Разработчики, ищущие LangChain с локальной моделью, обычно хотят одного из трёх: конфиденциальности, отсутствия оплаты за токен или независимости от поставщика. Модель на вашем собственном компьютере, обслуживаемая инструментами вроде Ollama или llama.cpp, обеспечивает все три пункта, если у вас есть оборудование, способное работать с приемлемой скоростью. Компромисс — время настройки, ограничения памяти и скорость вашего GPU или CPU.
Размещённый эндпоинт меняет это на небольшую плату за использование. Вы отправляете промпты по сети, а модель работает на чужом оборудовании. Здесь это означает модель с открытыми весами, настроенную на ответы без отказов по контенту для законного использования взрослыми, обслуживаемую через OpenAI-совместимое API. Промпты не используются для обучения, но они покидают вашу машину, поэтому размещённый сервис — неверный выбор, если ваше правило гласит, что данные никогда не должны покидать её.
Полезная часть для разработчика LangChain в том, что код почти не отличается. Локальные серверы, такие как Ollama и llama.cpp, предоставляют эндпоинты в стиле OpenAI, а размещённый эндпоинт использует тот же протокол. Если вы пишете приложение с использованием ChatOpenAI с настраиваемым базовым URL, вы можете разрабатывать локально и переключаться на размещённую модель с помощью переменной окружения. Это даёт вам практический гибридный вариант: итерации с небольшой локальной моделью и использование размещённой, когда вам нужно поведение большей модели без владения GPU.
Подключите ChatOpenAI к эндпоинту
Установите пакет интеграции, затем создайте объект модели с тремя важными настройками.
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Если это работает, всё остальное работает так же. Получите свой ключ на странице API-ключ; новые пользователи могут получить $0,50 пробного баланса в один клик после регистрации, карта не требуется. Передавайте базовый URL явно в коде, а не полагайтесь на переменную окружения, поскольку разные версии библиотек считывают разные имена переменных, и тихий возврат к хосту OpenAI по умолчанию отправит ваш ключ не туда.
Имя модели — единственное место, где люди спотыкаются. Единственный идентификатор здесь — uncensored. Имя вроде llama3 или gpt-4o не будет распознано.
Цепочка с шаблоном промпта
Стандартный конвейер промпта, модели и парсера вывода работает без изменений. Этот пример суммирует текст в выбранном тоне.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
Для множества вводов используйте batch и ограничьте параллелизм. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту, поэтому держите настройку на уровне 8 или ниже:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
Пробный ключ позволяет только 2 параллельных запроса и 60 в минуту, поэтому используйте max_concurrency равный 2 во время тестирования.
Потоковая передача
API потоково передаёт данные через Server-Sent Events, и LangChain предоставляет это через stream. Используйте его для интерфейсов чата, где человек наблюдает за формированием ответа.
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
Один практический момент: потоковый запрос удерживает слот параллелизма до завершения потока. Если ваш интерфейс отменяет поток на полпути, убедитесь, что генератор закрыт, иначе ваш запас параллелизма уменьшится. Асинхронный код использует astream тем же образом.
Инструменты и агенты
Вызов инструментов (tool calling) поддерживается: API принимает tools и tool_choice, потоково передаёт tool_calls и принимает результаты обратно как сообщения role: "tool". LangChain оборачивает это в bind_tools.
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
Результат перечисляет вызовы, которые хочет сделать модель, с именами и аргументами. Запустите их, добавьте результаты как сообщения инструментов и вызовите модель снова, или позвольте фреймворку агентов, такому как LangGraph, запустить этот цикл. Агенты делают много вызовов на один запрос пользователя, поэтому они быстрее достигают лимита в минуту, чем простые цепочки. Подсчитайте вызовы за запуск перед выбором уровня параллелизма.
Контекстное окно составляет 100 000 токенов для промпта и ответа, что щедро для памяти разговора. Тем не менее, обрезайте старые реплики: вы платите за всю историю при каждом вызове по цене $0,15 за 1 млн входных токенов.
Вывод JSON
JSON-режим доступен через response_format. В LangChain вы можете передать его через model_kwargs или использовать помощник структурированного вывода в JSON-режиме и опишите поля в вашем промпте.
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
С method="json_mode" промпт должен указать модели, какие ключи выдавать; класс Pydantic затем проверяет разобранный результат. Добавьте повторную попытку на случай редких некорректных ответов.
Что не поддерживается
Две базовые функции LangChain требуют другого источника. В API нет эндпоинта эмбеддингов, поэтому OpenAIEmbeddings, указанный сюда, не сработает. Для поиска по вашим документам используйте локальную модель эмбеддингов или другого поставщика эмбеддингов и используйте этот эндпоинт только для шага чата. Здесь также нет ввода изображений или генерации, нет аудио и нет тонкой настройки, поэтому цепочки для работы с изображениями и мультимодальные загрузчики исключены.
Обработка ошибок в основном касается ответов 429. Код rate_limited означает, что вы превысили лимит в минуту, concurrency означает слишком много параллельных вызовов, а 429 с Retry-After: 5 отмечает временную перегрузку. Установите max_retries на ChatOpenAI, чтобы клиент ждал и повторял запросы. Неудачные и отклонённые запросы не оплачиваются.
Заголовки ответа помогают в мониторинге: X-Balance-USD показывает ваш оставшийся баланс, а X-Request-Id идентифицирует вызов для поддержки.
Переключение между локальным и размещённым с одной переменной
Если вы хотите гибридную настройку, поместите три настройки в переменные окружения и создайте модель в одной функции. Ваши цепочки импортируют эту функцию и никогда не упоминают поставщика.
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
Локальная ветка предполагает сервер Ollama на его порту по умолчанию, который предоставляет маршрут в стиле OpenAI под /v1; проверьте документацию вашего собственного сервера для правильного адреса и имени модели. Поведение будет различаться между моделями, поэтому перезапустите ваши промпты после переключения. Промпт, настроенный под привычки одной модели, может вести себя иначе на другой, а качество вызова инструментов варьируется в зависимости от модели, поэтому сначала протестируйте эти пути.
Разумный рабочий процесс — разрабатывать промпты против размещённой модели, пока у вас нет свободного GPU, а затем решить, какие части приложения должны оставаться на вашей собственной машине. Чувствительные документы могут использовать локальную ветку, а публичные креативные функции — размещённую.
Стоимость и следующие шаги
Цены: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, из предоплаченного баланса без подписки. Вызов цепочки с 2000 входными токенами и 500 выходными токенами стоит 2000 x $0,15 / 1 млн + 500 x $0,50 / 1 млн = $0,0003 + $0,00025 = $0,00055. Тысяча таких вызовов стоит $0,55. Пополнения от $20 до $500 криптовалютой (USDT на TRC20, USDC на Base), с бонусом 5% от $50, 10% от $100 и 15% от $200. Подробности на странице цен.
Чтобы увидеть тот же API на уровне обычного HTTP, прочитайте быстрый старт. На сайте также есть краткий обзор сервиса оплаты по факту.
