Schnellstart: LLM-Proxy integrieren

Basis-URL & Authentifizierung

Ersetze deine Standard-OpenAI-Basis-URL durch unseren Endpunkt. Die Authentifizierung erfolgt über einen Bearer-Token im Authorization-Header. Dieser Ansatz funktioniert mit jeder OpenAI-kompatiblen Client-Bibliothek. Du musst deine Code-Logik nicht ändern, nur die Konfigurationswerte. Unsere API imitiert die Standard-OpenAI-Schnittstellenstruktur, sodass dein bestehender Integrationscode gültig bleibt. Dies reduziert die Integrationszeit von Tagen auf Minuten. Du kannst deinen Schlüssel jederzeit über dein Dashboard neu generieren, wodurch der alte Schlüssel sofort ungültig wird. Dies bietet Sicherheit, ohne komplexe Token-Rotationslogik in deiner Anwendung zu erfordern.

Erste Anfrage

Sende eine Standard-Chat-Vervollständigungsanfrage, um die Konnektivität zu testen. Der Endpunkt akzeptiert JSON-Payloads mit einer Modellkennung und einem Nachrichtenverlauf. Unsere Modellkennung ist „uncensored“. Diese Kennung teilt dem Proxy mit, welches unzensierte Modell deine Anfrage routen soll. Die Antwortstruktur spiegelt das OpenAI-Format wider und enthält den Inhalt der Assistenten-Nachricht. Du kannst die Antwort überprüfen, indem du das Feld „content“ in der JSON-Ausgabe prüfst. Dies bestätigt, dass deine Authentifizierung und Payload-Struktur korrekt sind. Der Endpunkt unterstützt sowohl Streaming- als auch Nicht-Streaming-Modi für Standardanfragen.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python-SDK-Integration

Verwende die offizielle OpenAI Python-Bibliothek, um mit unserer API zu interagieren. Setze den api_key auf deinen Proxy-Schlüssel und den base_url auf unseren Endpunkt. Das Verhalten der Bibliothek im Übrigen bleibt identisch zur Standard-Nutzung von OpenAI. Dies umfasst die Unterstützung für asynchrone Clients, Wiederholungsversuche und die Standard-Fehlerbehandlung. Du kannst dieselben Parameter übergeben, die du normalerweise verwenden würdest, wie Temperatur und maximale Token. Der Proxy übernimmt im Hintergrund das Routing zum unzensierten Modell. So kannst du deine bestehende Python-Codebasis beibehalten und gleichzeitig auf die Fähigkeiten unseres Modells zugreifen.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node-SDK-Integration

Das Node.js SDK funktioniert mit unserer API durch Überschreiben der Basis-URL. Initialisiere den Client mit deinem Proxy-API-Schlüssel und dem korrekten Endpunkt. Alle anderen Methoden wie chat.completions.create funktionieren wie erwartet. Dies umfasst Standardantwortobjekte und Fehlertypen. Du kannst dieselben Nachrichtenstrukturen und Parameter wie bei OpenAI verwenden. Der Proxy stellt sicher, dass die Anfrage vom unzensierten Modell verarbeitet wird. Diese Kompatibilität ermöglicht es Entwicklern, Anbieter schnell zu wechseln, ohne Client-Logik neu zu schreiben. Es ist ideal für Microservices, die bereits das OpenAI SDK-Muster nutzen.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming-Antworten

Aktiviere Streaming, indem du den Parameter stream in deiner Anfrage auf true setzt. Die API gibt einen Server-Sent Events (SSE)-Stream zurück. Jeder Chunk enthält partielle Token-Updates, die Echtzeitanzeige der Antwort ermöglichen. Dies ist kritisch für Chat-Schnittstellen und Anwendungen, die sofortiges Feedback benötigen. Der Stream endet mit einem finalen Chunk, der die vollständigen Antwortmetadaten enthält. Du kannst die Chunks mit Standard-SSE-Bibliotheken in deiner bevorzugten Sprache analysieren. Dieses Feature funktioniert nahtlos mit den OpenAI SDKs, die die Parsing-Logik automatisch handhaben. Es bietet eine flüssige Benutzererfahrung, ohne auf die Generierung der gesamten Antwort zu warten.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ratenlimits & Einschränkungen

Unsere API durchsetzt ein Limit von 300 Anfragen pro Minute pro Schlüssel. Wenn du dieses überschreitest, erhältst du einen 429-Statuscode. Stelle sicher, dass du Wiederholungslogik mit exponentiellem Backoff für diese Fälle implementierst. Die Größe des Anfragekörpers ist auf 8 MB begrenzt. Diese Einschränkung gilt für die gesamte JSON-Payload, einschließlich Prompt und Kontext. Die Preise sind nutzungsabhängig: 0,25 $ pro Million Input-Token und 1,00 $ pro Million Output-Token. Guthaben sind Prepaid-Guthaben und verfallen nie. Wenn dein Guthaben nicht ausreicht, geben Anfragen einen 402-Fehler zurück. Authentifizierungsfehler geben einen 401-Status zurück. Es gibt kein komplexes Routing oder eine Anbieterauswahl; das Modell ist fest.