Hızlı Başlangıç: LLM Proxy'yi Entegre Edin

Temel URL ve Kimlik Doğrulama

Standart OpenAI temel URL'nizi bizim uç noktamızla değiştirin. Kimlik doğrulama, Authorization başlığında Bearer token kullanılarak yapılır. Bu yaklaşım herhangi bir OpenAI uyumlu istemci kütüphanesiyle çalışır. Kod mantığınızı değiştirmenize gerek yoktur, yalnızca yapılandırma değerlerini değiştirin. API'miz standart OpenAI arayüz yapısını taklit eder, böylece mevcut entegrasyon kodunuz geçerliliğini korur. Bu, entegrasyon süresini günlerden dakikalara indirir. Anahtarınızı istediğiniz zaman panelden yeniden oluşturabilirsiniz; bu, eski anahtarı hemen geçersiz kılar. Bu, uygulamanızda karmaşık token döndürme mantığı gerektirmeden güvenlik sağlar.

İlk İstek

Bağlantıyı test etmek için standart bir sohbet tamamlama isteği gönderin. Uç nokta, bir model tanımlayıcısı ve mesaj geçmişi içeren JSON yüklerini kabul eder. Model kimliğimiz "sansürsüz"dür. Bu tanımlayıcı, proxy'nin isteğinizi hangi sansürsüz modele yönlendireceğini belirtir. Yanıt yapısı OpenAI formatını yansıtır ve asistanın mesaj içeriğini içerir. JSON çıktısındaki content alanını kontrol ederek yanıtı doğrulayabilirsiniz. Bu, kimlik doğrulamanızın ve yük yapınızın doğru olduğunu onaylar. Uç nokta, standart istekler için hem akış hem de akış olmayan modları destekler.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python SDK Entegrasyonu

API'mizle etkileşim kurmak için resmi OpenAI Python kütüphanesini kullanın. api_key değerini proxy anahtarınıza ve base_url değerini uç noktamıza ayarlayın. Kütüphanenin geri kalan davranışı standart OpenAI kullanımıyla aynı kalır. Bu, eşzamanlı istemciler, yeniden denemeler ve standart hata yönetimini içerir. Normalde kullanacağınız temperature ve max_tokens gibi parametreleri iletebilirsiniz. Proxy, arka planda sansürsüz modele yönlendirmeyi halleder. Bu sayede mevcut Python kod tabanınızı korurken modelimizin yeteneklerine erişim elde edersiniz.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK Entegrasyonu

Node.js SDK, temel URL'yi geçersiz kilarak API'mizle çalışır. İstemciyi vekil API anahtarınız ve doğru uç nokta ile başlatın. chat.completions.create gibi diğer tüm yöntemler beklendiği gibi çalışır. Bu, standart yanıt nesnelerini ve hata türlerini işlemeyi içerir. OpenAI ile kullanacağınız aynı mesaj yapılarını ve parametreleri kullanabilirsiniz. Vekil, isteğin sansürsüz model tarafından işlendiğinden emin olur. Bu uyumluluk, geliştiriclerin istemci mantığını yeniden yazmadan sağlayıcıları hızlıca değiştirmesine olanak tanır. Zaten OpenAI SDK desenini kullanan mikro hizmetler için idealdir.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Akış Yanıtları

İsteğinizde stream parametresini true olarak ayarlayarak akış özelliğini etkinleştirin. API, Sunucu Tarafından Gönderilen Olaylar (SSE) akışı döndürür. Her parça, yanıtın gerçek zamanlı görüntülenmesine olanak tanıyan kısmi token güncellemelerini içerir. Bu, sohbet arayüzleri ve anında geri bildirim gerektiren uygulamalar için kritik öneme sahiptir. Akış, tam yanıt meta verilerini içeren son parça ile sona erer. Parçaları tercih ettiğiniz dildeki standart SSE kütüphanelerini kullanarak ayrıştırmak mümkündür. Bu özellik, ayrıştırma mantığını otomatik olarak yöneten OpenAI SDK'ları ile sorunsuz çalışır. Tüm yanıt oluşturulmayı beklemeden akıcı bir kullanıcı deneyimi sağlar.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hız Limitleri ve Kısıtlamalar

API'miz, anahtar başına dakikada 300 istek için bir hız limiti uygular. Bu sınırı aşarsanız 429 durum kodu alırsınız. Bu durumlar için üstel geri çekilme ile yeniden deneme mantığı uyguladığınızdan emin olun. İstek gövdesi boyutu 8 MB ile sınırlıdır. Bu kısıtlama, istem ve bağlamı içeren toplam JSON yükü için geçerlidir. Fiyatlandırma kullanım bazlıdır: milyon girdi token başı $0.25 ve milyon çıktı token başı $1.00. Krediler ön ödemelidir ve süresi dolmaz. Bakiyeniz yetersizse istekler 402 hatası döndürür. Kimlik doğrulama hataları 401 durum kodu döndürür. Karmaşık yönlendirme veya tedarikçi seçimi yoktur; model sabittir.