Avvio rapido: Integra il proxy LLM

URL base e autenticazione

Sostituisci il tuo URL base standard di OpenAI con il nostro endpoint. L'autenticazione viene gestita tramite un token Bearer nell'intestazione Authorization. Questo approccio funziona con qualsiasi libreria client compatibile con OpenAI. Non è necessario modificare la logica del codice, solo i valori di configurazione. La nostra API imita la struttura dell'interfaccia standard di OpenAI, garantendo che il codice di integrazione esistente rimanga valido. Questo riduce il tempo di integrazione a minuti invece che a giorni. Puoi rigenerare la chiave in qualsiasi momento dal tuo dashboard, il che invalida immediatamente la vecchia chiave. Questo garantisce sicurezza senza richiedere una logica complessa di rotazione dei token nella tua applicazione.

Prima richiesta

Invia una richiesta standard di completamento chat per testare la connettività. L'endpoint accetta payload JSON con un identificatore del modello e la cronologia dei messaggi. Il nostro ID modello è "uncensored". Questo identificatore dice al proxy a quale modello senza censura instradare la tua richiesta. La struttura della risposta riflette il formato OpenAI, contenente il contenuto del messaggio dell'assistente. Puoi verificare la risposta controllando il campo content nell'output JSON. Questo conferma che la tua autenticazione e la struttura del payload sono corrette. L'endpoint supporta sia la modalità streaming che quella non streaming per le richieste standard.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Integrazione SDK Python

Usa la libreria Python ufficiale OpenAI per interagire con la nostra API. Imposta api_key alla tua chiave proxy e base_url al nostro endpoint. Il resto del comportamento della libreria rimane identico all'uso standard di OpenAI. Include supporto per client asincroni, retry e gestione errori standard. Puoi passare gli stessi parametri che useresti normalmente, come temperature e max tokens. Il proxy gestisce il routing al modello senza censura in background. Questo ti permette di mantenere il tuo codice Python esistente mentre accedi alle funzionalità del nostro modello.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Integrazione SDK Node.js

L'SDK Node.js funziona con la nostra API sovrascrivendo l'URL di base. Inizializza il client con la tua chiave API proxy e l'endpoint corretto. Tutti gli altri metodi, come chat.completions.create, funzionano come previsto. Include la gestione degli oggetti di risposta standard e dei tipi di errore. Puoi usare le stesse strutture di messaggio e parametri che useresti con OpenAI. Il proxy assicura che la richiesta sia elaborata dal modello senza censura. Questa compatibilità permette agli sviluppatori di cambiare provider rapidamente senza riscrivere la logica del client. È ideale per microservizi che usano già il pattern SDK OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Risposte in streaming

Abilita lo streaming impostando il parametro stream su true nella tua richiesta. L'API restituisce uno stream Server-Sent Events (SSE). Ogni chunk contiene aggiornamenti parziali dei token, permettendo la visualizzazione in tempo reale della risposta. Questo è fondamentale per interfacce chat e applicazioni che richiedono feedback immediato. Lo stream termina con un chunk finale contenente i metadati della risposta completa. Puoi analizzare gli chunk usando librerie SSE standard nel tuo linguaggio preferito. Questa funzione funziona perfettamente con gli SDK OpenAI, che gestiscono automaticamente la logica di parsing. Offre un'esperienza utente fluida senza attendere la generazione dell'intera risposta.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limiti di richiesta e vincoli

La nostra API impone un limite di 300 richieste al minuto per chiave. Se lo superi, riceverai un codice di stato 429. Assicurati di implementare una logica di ritentativo con backoff esponenziale per questi casi. La dimensione del corpo della richiesta è limitata a 8 MB. Questo vincolo si applica al payload JSON totale, inclusi prompt e contesto. Il prezzo è basato sull'utilizzo: $0,25 per milione di token di input e $1,00 per milione di token di output. I crediti sono prepagati e non scadono. Se il tuo saldo è insufficiente, le richieste restituiranno un errore 402. Gli errori di autenticazione restituiscono un codice 401. Non c'è routing complesso o selezione del fornitore; il modello è fisso.