Panduan Cepat: Integrasi LLM Proxy

URL Dasar & Autentikasi

Ganti URL dasar OpenAI standar Anda dengan endpoint kami. Autentikasi ditangani melalui token Bearer di header Authorization. Pendekatan ini berfungsi dengan pustaka klien apa pun yang kompatibel dengan OpenAI. Anda tidak perlu mengubah logika kode Anda, hanya nilai konfigurasi. API kami meniru struktur antarmuka OpenAI standar, memastikan bahwa kode integrasi Anda yang ada tetap valid. Ini mengurangi waktu integrasi menjadi hitungan menit, bukan hari. Anda dapat membuat ulang kunci Anda kapan saja dari dasbor Anda, yang segera membuat kunci lama tidak valid. Ini memberikan keamanan tanpa memerlukan logika rotasi token yang kompleks di aplikasi Anda.

Permintaan Pertama

Kirimkan permintaan penyelesaian obrolan standar untuk menguji konektivitas. Endpoint menerima payload JSON dengan pengidentifikasi model dan riwayat pesan. ID model kami adalah "uncensored". Pengidentifikasi ini memberi tahu proxy model tanpa sensor mana yang akan mengarahkan permintaan Anda. Struktur respons meniru format OpenAI, berisi konten pesan asisten. Anda dapat memverifikasi respons dengan memeriksa bidang konten dalam output JSON. Ini mengonfirmasi bahwa autentikasi dan struktur payload Anda benar. Endpoint mendukung mode streaming dan non-streaming untuk permintaan standar.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Integrasi SDK Python

Gunakan pustaka Python resmi OpenAI untuk berinteraksi dengan API kami. Atur api_key ke kunci proxy Anda dan base_url ke endpoint kami. Perilaku pustaka lainnya tetap identik dengan penggunaan OpenAI standar. Ini termasuk dukungan untuk klien asinkron, upaya ulang, dan penanganan kesalahan standar. Anda dapat meneruskan parameter yang sama seperti biasanya, seperti temperature dan max_tokens. Proxy menangani routing ke model tanpa sensor di balik layar. Ini memungkinkan Anda mempertahankan basis kode Python yang ada sambil mendapatkan akses ke kemampuan model kami.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Integrasi SDK Node

SDK Node.js bekerja dengan API kami dengan menimpa URL dasar. Inisialisasi klien dengan kunci API proxy Anda dan endpoint yang benar. Semua metode lain, seperti chat.completions.create, berfungsi seperti yang diharapkan. Ini termasuk penanganan objek respons standar dan jenis kesalahan. Anda dapat menggunakan struktur pesan dan parameter yang sama seperti yang Anda gunakan dengan OpenAI. Proxy memastikan bahwa permintaan diproses oleh model tanpa sensor. Kompatibilitas ini memungkinkan pengembang untuk mengganti penyedia dengan cepat tanpa menulis ulang logika klien. Ini sangat ideal untuk layanan mikro yang sudah menggunakan pola SDK OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Respons Streaming

Aktifkan streaming dengan menetapkan parameter stream ke true dalam permintaan Anda. API mengembalikan aliran Server-Sent Events (SSE). Setiap potongan berisi pembaruan token parsial, memungkinkan tampilan respons secara real-time. Ini sangat penting untuk antarmuka obrolan dan aplikasi yang memerlukan umpan balik segera. Aliran berakhir dengan potongan terakhir yang berisi metadata respons lengkap. Anda dapat mengurai potongan-potongan tersebut menggunakan pustaka SSE standar dalam bahasa pilihan Anda. Fitur ini bekerja secara mulus dengan SDK OpenAI, yang menangani logika penguraian secara otomatis. Ini memberikan pengalaman pengguna yang lancar tanpa menunggu seluruh respons dihasilkan.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Batas Laju & Batasan

API kami menerapkan batas 300 permintaan per menit per kunci. Jika Anda melebihi batas ini, Anda akan menerima kode status 429. Pastikan Anda menerapkan logika ulang dengan backoff eksponensial untuk kasus ini. Ukuran badan permintaan dibatasi hingga 8 MB. Kendala ini berlaku untuk total payload JSON, termasuk prompt dan konteks. Harga berdasarkan penggunaan: $0,25 per juta token input dan $1,00 per juta token output. Saldo prabayar dan tidak pernah kedaluwarsa. Jika saldo Anda tidak mencukupi, permintaan akan mengembalikan error 402. Error autentikasi mengembalikan status 401. Tidak ada routing kompleks atau pemilihan vendor; modelnya tetap.