क्विकस्टार्ट: LLM प्रॉक्सी को इंटीग्रेट करें

बेस URL और प्रमाणीकरण

अपने मानक OpenAI बेस URL को हमारे एंडपॉइंट से बदलें। प्रमाणीकरण Authorization हेडर में Bearer टोकन के माध्यम से किया जाता है। यह दृष्टिकोण किसी भी OpenAI-संगत क्लाइंट लाइब्रेरी के साथ काम करता है। आपको अपने कोड लॉजिक को बदलने की आवश्यकता नहीं है, केवल कॉन्फ़िगरेशन मान। हमारा API मानक OpenAI इंटरफ़ेस संरचना की नकल करता है, यह सुनिश्चित करता है कि आपका मौजूदा इंटीग्रेशन कोड मान्य रहे। इससे इंटीग्रेशन समय को दिनों की जगह मिनटों में कम कर दिया जाता है। आप अपने डैशबोर्ड से अपनी कुंजी को किसी भी समय रीजेनरेट कर सकते हैं, जो तुरंत पुरानी कुंजी को अमान्य कर देता है। इससे आपके एप्लिकेशन में जटिल टोकन रोटेशन लॉजिक की आवश्यकता के बिना सुरक्षा प्रदान होती है।

पहला अनुरोध

कनेक्टिविटी परीक्षण करने के लिए एक मानक चैट कंप्लीशन अनुरोध भेजें। एंडपॉइंट मॉडल पहचानकर्ता और संदेश इतिहास के साथ JSON पेलोड स्वीकार करता है। हमारा मॉडल ID "uncensored" है। यह पहचानकर्ता प्रॉक्सी को बताता है कि आपका अनुरोध किस बिना सेंसर मॉडल को रूट करना है। रिस्पॉन्स संरचना OpenAI फॉर्मेट को दर्शाती है, जिसमें असिस्टेंट के संदेश की सामग्री होती है। आप JSON आउटपुट में content फ़ील्ड को जांचकर रिस्पॉन्स की पुष्टि कर सकते हैं। यह पुष्टि करता है कि आपका प्रमाणीकरण और पेलोड संरचना सही है। एंडपॉइंट मानक अनुरोधों के लिए स्ट्रीमिंग और नॉन-स्ट्रीमिंग दोनों मोड्स का समर्थन करता है।

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python SDK इंटीग्रेशन

हमारे API के साथ इंटरैक्ट करने के लिए आधिकारिक OpenAI Python लाइब्रेरी का उपयोग करें। अपने प्रॉक्सी कुंजी के लिए api_key सेट करें और हमारे एंडपॉइंट के लिए base_url सेट करें। लाइब्रेरी का शेष व्यवहार मानक OpenAI उपयोग के समान ही रहता है। इसमें async क्लाइंट्स, पुनरावृत्ति और मानक त्रुटि हैंडलिंग का समर्थन शामिल है। आप वही पैरामीटर पास कर सकते हैं जिन्हें आप सामान्य रूप से उपयोग करते हैं, जैसे कि temperature और max tokens। प्रॉक्सी बैकग्राउंड में अनसेंसर्ड मॉडल के लिए रूटिंग संभालता है। इससे आपको मौजूदा Python कोडबेस बनाए रखते हुए हमारे मॉडल की क्षमताओं तक पहुंच प्राप्त होती है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK इंटीग्रेशन

Node.js SDK हमारे API के साथ बेस URL को ओवरराइड करके काम करता है। अपनी प्रॉक्सी API कुंजी और सही एंडपॉइंट के साथ क्लाइंट को इनिशियलाइज़ करें। chat.completions.create जैसे सभी अन्य तरीके अपेक्षित रूप से कार्य करते हैं। इसमें मानक प्रतिक्रिया ऑब्जेक्ट्स और त्रुटि प्रकारों को हैंडल करना शामिल है। आप OpenAI के साथ जैसे ही संदेश संरचनाओं और पैरामीटर का उपयोग कर सकते हैं। प्रॉक्सी सुनिश्चित करता है कि अनुरोध अनसेंसर्ड मॉडल द्वारा प्रोसेस किया जाए। यह संगतता डेवलपर्स को अपने क्लाइंट लॉजिक को फिर से लिखे बिना प्रदाताओं को जल्दी बदलने की अनुमति देती है। यह उन माइक्रोसर्विसेस के लिए आदर्श है जो पहले से ही OpenAI SDK पैटर्न का उपयोग कर रही हैं।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

स्ट्रीमिंग रिस्पॉन्स

अपने अनुरोध में stream पैरामीटर को true सेट करके स्ट्रीमिंग सक्षम करें। API एक सर्वर-सेंट इवेंट्स (SSE) स्ट्रीम लौटाता है। प्रत्येक चंक आंशिक टोकन अपडेट शामिल करता है, जिससे प्रतिक्रिया का रियल-टाइम प्रदर्शन संभव होता है। यह चैट इंटरफेस और तत्कल प्रतिक्रिया वाले ऐप्स के लिए महत्वपूर्ण है। स्ट्रीम एक अंतिम चंक के साथ समाप्त होती है जिसमें पूर्ण प्रतिक्रिया मेटाडेटा होता है। आप अपनी पसंदीदा भाषा में मानक SSE लाइब्रेरी का उपयोग करके चंक्स को पार्स कर सकते हैं। यह सुविधा OpenAI SDKs के साथ सहज रूप से काम करती है, जो पार्सिंग लॉजिक को स्वचालित रूप से संभालते हैं। यह पूरे उत्तर के जनरेट होने का प्रतीक्षा किए बिना एक सुचारु उपयोगकर्ता अनुभव प्रदान करता है।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

रेट लिमिट और बाधाएं

हमारा API प्रति कुंजी प्रति मिनट 300 अनुरोध की सीमा लागू करता है। यदि आप इससे अधिक करते हैं, तो आपको 429 स्टेटस कोड प्राप्त होगा। इन मामलों के लिए एक्सपोनेंशियल बैकऑफ़ के साथ रीट्राई लॉजिक लागू करें। अनुरोध बॉडी का आकार 8 MB तक सीमित है। यह प्रतिबंध कुल JSON पेलोड, जिसमें प्रॉम्प्ट और कॉन्टेक्स्ट विंडो शामिल है, पर लागू होता है। मूल्य उपयोग-आधारित हैं: $0.25 प्रति मिलियन इनपुट टोकन और $1.00 प्रति मिलियन आउटपुट टोकन। क्रेडिट प्रीपेड होते हैं और कभी समाप्त नहीं होते। यदि आपका बैलेंस अपर्याप्त है, तो अनुरोध 402 त्रुटि लौटाएंगे। प्रमाणीकरण त्रुटियाँ 401 स्टेटस लौटाती हैं। कोई जटिल रूटिंग या वेंडर चयन नहीं है; मॉडल स्थिर है।