IT ▾

Proxy LLM pronto all'uso e senza censurahttps://api.llmproxyapi.com/v1

LangChain con LLM locale o endpoint in hosting

Per eseguire codice stile LLM locale con LangChain, ti serve solo una classe chat che accetti un base URL personalizzato. Se non hai una GPU o non vuoi gestirla, la stessa classe può puntare a un endpoint compatibile con OpenAI in hosting, senza cambiare le tue catene.

Piattaforma desktop e cloud isometrica unita da una catena di link luminosi, che collega modelli locali e in hosting

Locale o in hosting: scegli in base al vincolo che ti limita

Chi cerca LangChain con un modello locale di solito vuole una di tre cose: privacy, nessun costo per token o indipendenza da un vendor. Un modello sulla tua macchina, servito da Ollama o llama.cpp, offre tutto questo se hai l'hardware necessario. Il compromesso è il tempo di setup, i limiti di memoria e la velocità della tua GPU o CPU.

Un endpoint in hosting scambia questi vantaggi con un piccolo costo d'uso. Invii i prompt sulla rete e il modello gira sull'hardware di altri. Qui significa un modello a pesi aperti, ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale, servito tramite API compatibile con OpenAI. I prompt non sono usati per l'addestramento, ma escono dalla tua macchina, quindi un servizio in hosting è la scelta sbagliata se la tua regola è che i dati non devono mai uscire.

La parte utile per uno sviluppatore LangChain è che il codice cambia poco. Server locali come Ollama e llama.cpp espongono endpoint stile OpenAI, e un endpoint in hosting usa lo stesso protocollo. Se scrivi la tua app contro ChatOpenAI con un base URL configurabile, puoi sviluppare in locale e passare a un modello in hosting con una variabile d'ambiente. Questo ti dà un ibrido pratico: itera con un modello locale piccolo e usa quello in hosting quando vuoi il comportamento di un modello più grande senza possedere la GPU.

Connetti ChatOpenAI all'endpoint

Installa il pacchetto di integrazione, poi crea l'oggetto modello con le tre impostazioni che contano.

pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmproxyapi.com/v1",
    api_key=os.environ["LLMPROXY_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Se questo funziona, tutto il resto funziona allo stesso modo. Ottieni la tua chiave dalla pagina delle chiavi API; i nuovi utenti possono richiedere $0,50 di credito di prova con un clic dopo la registrazione, senza carta. Passa il base URL esplicitamente nel codice invece di affidarti a una variabile d'ambiente, perché diverse versioni della libreria leggono nomi di variabili diversi e un fallback silenzioso verso l'host OpenAI predefinito invierebbe la tua chiave nel posto sbagliato.

Il nome del modello è l'unico punto critico. L'unico ID qui è uncensored. Un nome come llama3 o gpt-4o non sarà riconosciuto.

Una catena con un template di prompt

La pipeline standard di prompt, modello e parser di output rimane invariata. Questo esempio riassume un testo in un tono scelto.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a writing assistant. Answer in a {tone} tone."),
    ("human", "Summarize in two sentences:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))

Per molti input, usa batch e limita la parallelizzazione. Una chiave completa permette 8 richieste concorrenti e 300 al minuto, quindi mantieni l'impostazione a 8 o meno:

results = chain.batch(
    [{"tone": "dry", "text": t} for t in documents],
    config={"max_concurrency": 6},
)

Una chiave di prova permette solo 2 richieste concorrenti e 60 al minuto, quindi usa max_concurrency a 2 durante i test.

Streaming

L'API effettua lo streaming tramite Server-Sent Events, e LangChain lo espone tramite stream. Usalo per interfacce chat dove una persona guarda la risposta formarsi.

for chunk in llm.stream("Write a short scene set in a lighthouse."):
    print(chunk.content, end="", flush=True)

Un dettaglio pratico: una richiesta in streaming mantiene il suo slot di concorrenza fino al termine dello stream. Se la tua UI interrompe uno stream a metà, assicurati che il generatore venga chiuso, altrimenti il margine di concorrenza si riduce. Il codice asincrono usa astream nello stesso modo.

Strumenti e agenti

Supporta la chiamata di strumenti (tool calling): l'API accetta tools e tool_choice, effettua lo streaming di tool_calls e restituisce i risultati come messaggi role: "tool". LangChain avvolge questa funzionalità in bind_tools.

from langchain_core.tools import tool

@tool
def dice(sides: int) -> int:
    "Roll a die with the given number of sides."
    import random
    return random.randint(1, sides)

llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)

Il risultato elenca le chiamate che il modello vuole, con nomi e argomenti. Esegui le chiamate, aggiungi i risultati come messaggi di tool e richiama il modello, oppure lascia che un framework agente come LangGraph esegua quel loop. Gli agenti fanno molte chiamate per richiesta utente, quindi superano prima il limite al minuto rispetto alle catene semplici. Conta le chiamate per esecuzione prima di scegliere il livello di concorrenza.

La finestra di contesto è di 100.000 token per prompt più completamento, il che è generoso per la memoria della conversazione. Tuttavia, rimuovi i turni vecchi: paghi per l'intera cronologia su ogni chiamata a $0,15 per 1M di token di input.

Output JSON

La modalità JSON è disponibile tramite response_format. In LangChain puoi passarlo con model_kwargs o usare l'helper di output strutturato in modalità JSON, e descrivi i campi nel tuo prompt.

from pydantic import BaseModel

class Character(BaseModel):
    name: str
    role: str
    secret: str

structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
    "Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)

Con method="json_mode" il prompt deve indicare al modello quali chiavi produrre; la classe Pydantic valida poi il risultato analizzato. Prevedi un tentativo di ripetizione per le rare risposte non valide.

Cosa non è supportato

Due funzionalità fondamentali di LangChain richiedono una fonte diversa. L'API non dispone di un endpoint per gli embedding, quindi OpenAIEmbeddings puntato qui fallirà. Per il recupero sui tuoi documenti, utilizza un modello di embedding locale o un altro provider di embedding e usa questo endpoint solo per il passaggio di chat. Non dispone inoltre di input o generazione di immagini, né di audio o di fine-tuning, quindi le catene per la visione e i caricatori multimodali sono esclusi.

La gestione degli errori riguarda principalmente le risposte 429. Il codice rate_limited significa che hai superato il limite al minuto, concurrency significa troppe chiamate parallele, e un 429 con Retry-After: 5 indica un sovraccarico temporaneo. Imposta max_retries su ChatOpenAI così il client aspetta e riprova. Le richieste fallite e rifiutate non vengono addebitate.

Le intestazioni di risposta aiutano con il monitoraggio: X-Balance-USD mostra il tuo credito residuo e X-Request-Id identifica una chiamata per il supporto.

Passa da locale a hosting con una variabile

Se desideri la configurazione ibrida, inserisci le tre impostazioni nelle variabili di ambiente e costruisci il modello in una singola funzione. Le tue catene importano quella funzione e non menzionano mai un fornitore.

import os
from langchain_openai import ChatOpenAI

def make_llm():
    if os.environ.get("LLM_MODE") == "local":
        return ChatOpenAI(
            model=os.environ["LOCAL_MODEL"],
            base_url="http://localhost:11434/v1",
            api_key="not-needed",
        )
    return ChatOpenAI(
        model="uncensored",
        base_url="https://api.llmproxyapi.com/v1",
        api_key=os.environ["LLMPROXY_API_KEY"],
    )

Il ramo locale presuppone un server Ollama sulla porta predefinita, che espone un percorso stile OpenAI sotto /v1; controlla la documentazione del tuo server per l'indirizzo e il nome del modello giusti. Il comportamento varierà tra i modelli, quindi riprova i tuoi prompt dopo un cambio. Un prompt ottimizzato per le abitudini di un modello può comportarsi diversamente su un altro, e la qualità del tool calling varia con il modello, quindi testa prima quei percorsi.

Un flusso di lavoro sensato è sviluppare i prompt contro il modello in hosting quando non hai una GPU libera, poi decidere quali parti dell'app devono restare sulla tua macchina. I documenti sensibili possono usare il ramo locale, e le funzionalità creative pubbliche possono usare quello in hosting.

Costi e prossimi passi

I prezzi sono $0,15 per 1M di token di input e $0,50 per 1M di token di output, da credito prepagato senza abbonamento. Una chiamata di catena con 2.000 token di input e 500 di output costa 2.000 x $0,15 / 1M + 500 x $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Un migliaio di tali chiamate costano $0,55. Le ricariche vanno da $20 a $500 con cripto (USDT su TRC20, USDC su Base), con un bonus del 5% da $50, 10% da $100 e 15% da $200. I dettagli sono nella pagina dei prezzi.

Per una visualizzazione in HTTP semplice della stessa API, leggi la guida rapida. Il sito offre anche una breve panoramica del servizio pay-as-you-go.

Domande e risposte

LangChain può usare un'API in hosting invece di un modello locale?

Sì. ChatOpenAI accetta un base URL personalizzato, quindi qualsiasi endpoint compatibile con OpenAI funziona. Imposta base_url su https://api.llmproxyapi.com/v1 e il modello su uncensored.

È uguale all'esecuzione di un modello in locale?

No. Il modello gira sui server del provider, quindi i prompt viaggiano sulla rete, anche se non vengono usati per l'addestramento. Se i dati devono restare sul tuo PC, usa un server locale.

Funziona con gli embedding di LangChain?

No. Non esiste un endpoint per gli embedding. Usa un modello di embedding separato per il retrieval e questa API per la generazione di chat.

Come evito gli errori 429 di LangChain?

Mantieni max_concurrency a 8 o meno con una chiave completa, 2 con una chiave di prova, e imposta max_retries sul client per farlo attendere e riprovare.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica il base URL. È tutta la configurazione.

Ottieni la chiave API