Lokalny czy hostowany: wybierz według ograniczenia, które boli
Osoby szukające LangChain z lokalnym modelem chcą zwykle jednego z trzech: prywatności, braku rachunku za token lub niezależności od dostawcy. Model na Twojej maszynie, obsługiwany przez narzędzie takie jak Ollama lub llama.cpp, dostarcza wszystkich trzech, jeśli masz sprzęt, który może go uruchomić z używalną prędkością. Kompromisem jest czas konfiguracji, limity pamięci i szybkość Twojego GPU lub CPU.
Zdalny endpoint zamienia to na mały koszt użytkowania. Wysyłasz prompty przez sieć, a model działa na sprzęcie kogoś innego. Oznacza to tutaj model o otwartych wagach, dostrojony do odpowiadania bez odmów treści do zgodnego z prawem użytku przez osoby dorosłe, obsługiwany przez API kompatybilne z OpenAI. Prompty nie są używane do trenowania, ale opuszczają Twoją maszynę, więc usługa zdalna jest niewłaściwa, jeśli Twoją regułą jest to, że dane nigdy nie mogą opuszczać Twojej maszyny.
Przydatną częścią dla dewelopera LangChain jest to, że kod prawie się nie różni. Serwery lokalne takie jak Ollama i llama.cpp udostępniają endpointy w stylu OpenAI, a endpoint zdalny używa tego samego protokołu. Jeśli napiszesz swoją aplikację z użyciem ChatOpenAI z konfigurowalnym Base URL, możesz rozwijać lokalnie i przełączyć się na model zdalny zmienną środowiskową. Daje to praktyczną hybrydę: iteruj na małym lokalnym modelu i używaj zdalnego, gdy chcesz zachowania większego modelu bez posiadania GPU.
Połącz ChatOpenAI z endpointem
Zainstaluj pakiet integracji, a następnie utwórz obiekt modelu z trzema istotnymi ustawieniami.
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Jeśli to zadziała, reszta działa tak samo. Pobierz swój klucz ze strony klucza API; nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem tam po rejestracji, bez karty. Przekaż Base URL jawnie w kodzie zamiast polegać na zmiennej środowiskowej, ponieważ różne wersje bibliotek odczytują różne nazwy zmiennych, a ciche wycofanie się do domyślnego hosta OpenAI wysłałoby Twój klucz w złe miejsce.
Nazwa modelu to jedyne miejsce, w którym ludzie się potykają. Jednym identyfikatorem tutaj jest uncensored. Nazwa taka jak llama3 lub gpt-4o nie zostanie rozpoznana.
Łańcuch z szablonem promptu
Standardowy pipeline promptu, modelu i parsera wyjścia działa bez zmian. Ten przykład podsumowuje tekst w wybranym tonie.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
Dla wielu wejść użyj batch i ogranicz równoległość. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę, więc utrzymaj ustawienie na poziomie 8 lub mniej:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
Klucz próbny pozwala tylko na 2 równoległe zapytania i 60 na minutę, więc użyj max_concurrency na poziomie 2 podczas testowania.
Strumieniowanie
API strumieniuje przez Server-Sent Events, a LangChain udostępnia to przez stream. Użyj go w interfejsach czatu, gdzie osoba obserwuje formowanie się odpowiedzi.
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
Jedna praktyczna uwaga: strumieniowane zapytanie trzyma swój slot współbieżności aż do zakończenia strumienia. Jeśli Twój UI porzuci strumień w połowie, upewnij się, że generator jest zamknięty, inaczej Twoja zapas współbieżności się zmniejszy. Kod asynchroniczny używa astream w ten sam sposób.
Narzędzia i agenci
Wywoływanie narzędzi (tool calling) jest obsługiwane: API akceptuje tools i tool_choice, strumieniuje tool_calls i przyjmuje wyniki z powrotem jako komunikaty role: "tool". LangChain opakowuje to w bind_tools.
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
Wynik wymienia wywołania, których chce model, z nazwami i argumentami. Uruchom je, dołącz wyniki jako komunikaty narzędzia i wywołaj model ponownie lub pozwól frameworkowi agenta takiemu jak LangGraph uruchomić tę pętlę. Agenci wykonują wiele wywołań na żądanie użytkownika, więc szybciej trafiają w limit na minutę niż proste łańcuchy. Policz wywołania na uruchomienie przed wyborem poziomu równoległości.
Okno kontekstu wynosi 100 000 tokenów dla prompt plus wygenerowany tekst, co jest hojne dla pamięci rozmowy. Mimo to przycinaj stare zwroty: płacisz za całą historię przy każdym wywołaniu po $0,15 za 1M tokenów wejściowych.
Wyjście JSON
Tryb JSON jest dostępny przez response_format. W LangChain możesz go przekazać przez model_kwargs lub użyć pomocnika wyjścia strukturalnego w trybie JSON i opisać pola w swoim prompcie.
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
Z method="json_mode" prompt musi powiedzieć modelowi, jakie klucze ma wyprodukować; klasa Pydantic następnie waliduje wynik parsowania. Dodaj ponawianie dla rzadkiej niepoprawnej odpowiedzi.
Co nie jest obsługiwane
Dwa podstawowe elementy LangChain potrzebują innego źródła. API nie ma endpointu embeddingów, więc OpenAIEmbeddings wskazane tutaj zawiodą. Dla pobierania nad swoimi dokumentami użyj lokalnego modelu embeddingów lub innego dostawcy embeddingów i używaj tego endpointu tylko dla kroku czatu. Nie ma też wejścia obrazowego ani generowania, nie ma audio ani dostrajania, więc łańcuchy wizji i multimodalne ładowarki są wykluczone.
Obsługa błędów dotyczy głównie odpowiedzi 429. Kod rate_limited oznacza, że przekroczyłeś limit na minutę, concurrency oznacza zbyt wiele równoległych wywołań, a 429 z Retry-After: 5 oznacza tymczasowe przeciążenie. Ustaw max_retries na ChatOpenAI, aby klient czekał i ponawiał. Zapytania nieudane i odmówione nie są rozliczane.
Nagłówki odpowiedzi pomagają w monitorowaniu: X-Balance-USD pokazuje Twój pozostały kredyt, a X-Request-Id identyfikuje wywołanie dla wsparcia.
Przełączanie między lokalnym a hostowanym jedną zmienną
Jeśli chcesz hybrydowy układ, umieść trzy ustawienia w zmiennych środowiskowych i zbuduj model w jednej funkcji. Twoje łańcuchy importują tę funkcję i nigdy nie wspominają o dostawcy.
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
Gałąź lokalna zakłada serwer Ollama na jego domyślnym porcie, który udostępnia trasę w stylu OpenAI pod /v1; sprawdź dokumentację swojego serwera pod kątem właściwego adresu i nazwy modelu. Zachowanie będzie się różnić między modelami, więc ponownie uruchom swoje prompty po przełączeniu. Prompt dostrojony do nawyków jednego modelu może zachowywać się inaczej w innym modelu, a jakość wywoływania narzędzi różni się w zależności od modelu, więc przetestuj te ścieżki jako pierwsze.
Rozsądny przepływ pracy to programowanie promptów przeciwko modelowi hostowanemu, gdy nie masz wolnego GPU, a następnie decyzja, które części aplikacji muszą pozostać na Twojej maszynie. Wrażliwe dokumenty mogą użyć gałęzi lokalnej, a funkcje kreatywne skierowane do odbiorców publicznych mogą użyć hostowanej.
Koszt i kolejne kroki
Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, z przedpłaconego kredytu bez subskrypcji. Wywołanie łańcucha z 2 000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje 2 000 x $0,15 / 1M + 500 x $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Tysiąc takich wywołań kosztuje $0,55. Doładowania wynoszą od $20 do $500 kryptowalutami (USDT na TRC20, USDC na Base), z bonusem 5% od $50, 10% od $100 i 15% od $200. Szczegóły są na stronie cennika.
Dla prostego widoku HTTP tego samego API, przeczytaj quickstart. Strona ma też krótkie omówienie usługi pay-as-you-go.
