PL ▾

Gotowy proxy LLM bez cenzuryhttps://api.llmproxyapi.com/v1

LangChain z lokalnym LLM lub endpointem hostowanym

Aby uruchomić LangChain z kodem w stylu lokalnego LLM, potrzebujesz tylko klasy czatu, która akceptuje niestandardowy Base URL. Jeśli nie masz GPU lub nie chcesz się nim opiekować, ta sama klasa może wskazywać na zdalny endpoint kompatybilny z OpenAI, a Twoje łańcuchy nie ulegną zmianie.

Izometryczny widok platformy desktopowej i chmurowej połączonej łańcuchem świecących się linków, łączącej modele lokalne i zdalne

Lokalny czy hostowany: wybierz według ograniczenia, które boli

Osoby szukające LangChain z lokalnym modelem chcą zwykle jednego z trzech: prywatności, braku rachunku za token lub niezależności od dostawcy. Model na Twojej maszynie, obsługiwany przez narzędzie takie jak Ollama lub llama.cpp, dostarcza wszystkich trzech, jeśli masz sprzęt, który może go uruchomić z używalną prędkością. Kompromisem jest czas konfiguracji, limity pamięci i szybkość Twojego GPU lub CPU.

Zdalny endpoint zamienia to na mały koszt użytkowania. Wysyłasz prompty przez sieć, a model działa na sprzęcie kogoś innego. Oznacza to tutaj model o otwartych wagach, dostrojony do odpowiadania bez odmów treści do zgodnego z prawem użytku przez osoby dorosłe, obsługiwany przez API kompatybilne z OpenAI. Prompty nie są używane do trenowania, ale opuszczają Twoją maszynę, więc usługa zdalna jest niewłaściwa, jeśli Twoją regułą jest to, że dane nigdy nie mogą opuszczać Twojej maszyny.

Przydatną częścią dla dewelopera LangChain jest to, że kod prawie się nie różni. Serwery lokalne takie jak Ollama i llama.cpp udostępniają endpointy w stylu OpenAI, a endpoint zdalny używa tego samego protokołu. Jeśli napiszesz swoją aplikację z użyciem ChatOpenAI z konfigurowalnym Base URL, możesz rozwijać lokalnie i przełączyć się na model zdalny zmienną środowiskową. Daje to praktyczną hybrydę: iteruj na małym lokalnym modelu i używaj zdalnego, gdy chcesz zachowania większego modelu bez posiadania GPU.

Połącz ChatOpenAI z endpointem

Zainstaluj pakiet integracji, a następnie utwórz obiekt modelu z trzema istotnymi ustawieniami.

pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmproxyapi.com/v1",
    api_key=os.environ["LLMPROXY_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Jeśli to zadziała, reszta działa tak samo. Pobierz swój klucz ze strony klucza API; nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem tam po rejestracji, bez karty. Przekaż Base URL jawnie w kodzie zamiast polegać na zmiennej środowiskowej, ponieważ różne wersje bibliotek odczytują różne nazwy zmiennych, a ciche wycofanie się do domyślnego hosta OpenAI wysłałoby Twój klucz w złe miejsce.

Nazwa modelu to jedyne miejsce, w którym ludzie się potykają. Jednym identyfikatorem tutaj jest uncensored. Nazwa taka jak llama3 lub gpt-4o nie zostanie rozpoznana.

Łańcuch z szablonem promptu

Standardowy pipeline promptu, modelu i parsera wyjścia działa bez zmian. Ten przykład podsumowuje tekst w wybranym tonie.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a writing assistant. Answer in a {tone} tone."),
    ("human", "Summarize in two sentences:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))

Dla wielu wejść użyj batch i ogranicz równoległość. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę, więc utrzymaj ustawienie na poziomie 8 lub mniej:

results = chain.batch(
    [{"tone": "dry", "text": t} for t in documents],
    config={"max_concurrency": 6},
)

Klucz próbny pozwala tylko na 2 równoległe zapytania i 60 na minutę, więc użyj max_concurrency na poziomie 2 podczas testowania.

Strumieniowanie

API strumieniuje przez Server-Sent Events, a LangChain udostępnia to przez stream. Użyj go w interfejsach czatu, gdzie osoba obserwuje formowanie się odpowiedzi.

for chunk in llm.stream("Write a short scene set in a lighthouse."):
    print(chunk.content, end="", flush=True)

Jedna praktyczna uwaga: strumieniowane zapytanie trzyma swój slot współbieżności aż do zakończenia strumienia. Jeśli Twój UI porzuci strumień w połowie, upewnij się, że generator jest zamknięty, inaczej Twoja zapas współbieżności się zmniejszy. Kod asynchroniczny używa astream w ten sam sposób.

Narzędzia i agenci

Wywoływanie narzędzi (tool calling) jest obsługiwane: API akceptuje tools i tool_choice, strumieniuje tool_calls i przyjmuje wyniki z powrotem jako komunikaty role: "tool". LangChain opakowuje to w bind_tools.

from langchain_core.tools import tool

@tool
def dice(sides: int) -> int:
    "Roll a die with the given number of sides."
    import random
    return random.randint(1, sides)

llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)

Wynik wymienia wywołania, których chce model, z nazwami i argumentami. Uruchom je, dołącz wyniki jako komunikaty narzędzia i wywołaj model ponownie lub pozwól frameworkowi agenta takiemu jak LangGraph uruchomić tę pętlę. Agenci wykonują wiele wywołań na żądanie użytkownika, więc szybciej trafiają w limit na minutę niż proste łańcuchy. Policz wywołania na uruchomienie przed wyborem poziomu równoległości.

Okno kontekstu wynosi 100 000 tokenów dla prompt plus wygenerowany tekst, co jest hojne dla pamięci rozmowy. Mimo to przycinaj stare zwroty: płacisz za całą historię przy każdym wywołaniu po $0,15 za 1M tokenów wejściowych.

Wyjście JSON

Tryb JSON jest dostępny przez response_format. W LangChain możesz go przekazać przez model_kwargs lub użyć pomocnika wyjścia strukturalnego w trybie JSON i opisać pola w swoim prompcie.

from pydantic import BaseModel

class Character(BaseModel):
    name: str
    role: str
    secret: str

structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
    "Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)

Z method="json_mode" prompt musi powiedzieć modelowi, jakie klucze ma wyprodukować; klasa Pydantic następnie waliduje wynik parsowania. Dodaj ponawianie dla rzadkiej niepoprawnej odpowiedzi.

Co nie jest obsługiwane

Dwa podstawowe elementy LangChain potrzebują innego źródła. API nie ma endpointu embeddingów, więc OpenAIEmbeddings wskazane tutaj zawiodą. Dla pobierania nad swoimi dokumentami użyj lokalnego modelu embeddingów lub innego dostawcy embeddingów i używaj tego endpointu tylko dla kroku czatu. Nie ma też wejścia obrazowego ani generowania, nie ma audio ani dostrajania, więc łańcuchy wizji i multimodalne ładowarki są wykluczone.

Obsługa błędów dotyczy głównie odpowiedzi 429. Kod rate_limited oznacza, że przekroczyłeś limit na minutę, concurrency oznacza zbyt wiele równoległych wywołań, a 429 z Retry-After: 5 oznacza tymczasowe przeciążenie. Ustaw max_retries na ChatOpenAI, aby klient czekał i ponawiał. Zapytania nieudane i odmówione nie są rozliczane.

Nagłówki odpowiedzi pomagają w monitorowaniu: X-Balance-USD pokazuje Twój pozostały kredyt, a X-Request-Id identyfikuje wywołanie dla wsparcia.

Przełączanie między lokalnym a hostowanym jedną zmienną

Jeśli chcesz hybrydowy układ, umieść trzy ustawienia w zmiennych środowiskowych i zbuduj model w jednej funkcji. Twoje łańcuchy importują tę funkcję i nigdy nie wspominają o dostawcy.

import os
from langchain_openai import ChatOpenAI

def make_llm():
    if os.environ.get("LLM_MODE") == "local":
        return ChatOpenAI(
            model=os.environ["LOCAL_MODEL"],
            base_url="http://localhost:11434/v1",
            api_key="not-needed",
        )
    return ChatOpenAI(
        model="uncensored",
        base_url="https://api.llmproxyapi.com/v1",
        api_key=os.environ["LLMPROXY_API_KEY"],
    )

Gałąź lokalna zakłada serwer Ollama na jego domyślnym porcie, który udostępnia trasę w stylu OpenAI pod /v1; sprawdź dokumentację swojego serwera pod kątem właściwego adresu i nazwy modelu. Zachowanie będzie się różnić między modelami, więc ponownie uruchom swoje prompty po przełączeniu. Prompt dostrojony do nawyków jednego modelu może zachowywać się inaczej w innym modelu, a jakość wywoływania narzędzi różni się w zależności od modelu, więc przetestuj te ścieżki jako pierwsze.

Rozsądny przepływ pracy to programowanie promptów przeciwko modelowi hostowanemu, gdy nie masz wolnego GPU, a następnie decyzja, które części aplikacji muszą pozostać na Twojej maszynie. Wrażliwe dokumenty mogą użyć gałęzi lokalnej, a funkcje kreatywne skierowane do odbiorców publicznych mogą użyć hostowanej.

Koszt i kolejne kroki

Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, z przedpłaconego kredytu bez subskrypcji. Wywołanie łańcucha z 2 000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje 2 000 x $0,15 / 1M + 500 x $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Tysiąc takich wywołań kosztuje $0,55. Doładowania wynoszą od $20 do $500 kryptowalutami (USDT na TRC20, USDC na Base), z bonusem 5% od $50, 10% od $100 i 15% od $200. Szczegóły są na stronie cennika.

Dla prostego widoku HTTP tego samego API, przeczytaj quickstart. Strona ma też krótkie omówienie usługi pay-as-you-go.

Pytania i odpowiedzi

Czy LangChain może użyć API hostowanego zamiast modelu lokalnego?

Tak. ChatOpenAI akceptuje niestandardowy base URL, więc każdy endpoint kompatybilny z OpenAI działa. Ustaw base_url na https://api.llmproxyapi.com/v1 i model na uncensored.

Czy to to samo co uruchomienie modelu lokalnie?

Nie. Model działa na serwerach dostawcy, więc prompty podróżują po sieci, choć nie są używane do trenowania. Jeśli dane muszą pozostać na Twojej maszynie, uruchom serwer lokalny.

Czy to działa z embeddingami LangChain?

Nie. Nie ma endpointu embeddingów. Użyj osobnego modelu embeddingów do wyszukiwania i tego API do generowania czatu.

Jak zatrzymać błędy 429 w LangChain?

Utrzymaj max_concurrency na poziomie 8 lub mniej dla pełnego klucza, 2 dla klucza próbnego i ustaw max_retries na kliencie, aby czekał i ponawiał.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień Base URL. To cała konfiguracja.

Pobierz klucz API