Быстрый старт: интеграция LLM-прокси

Базовый URL и аутентификация

Замените стандартный базовый URL OpenAI на наш эндпоинт. Аутентификация осуществляется с помощью токена Bearer в заголовке Authorization. Этот подход работает с любой библиотекой клиента, совместимой с OpenAI. Вам не нужно изменять логику кода, только значения конфигурации. Наш API имитирует стандартную структуру интерфейса OpenAI, гарантируя, что ваш существующий код интеграции остается действительным. Это сокращает время интеграции до минут, а не дней. Вы можете сгенерировать заново свой ключ в любое время через панель управления, что немедленно сделает старый ключ недействительным. Это обеспечивает безопасность без необходимости сложной логики ротации токенов в вашем приложении.

Первый запрос

Отправьте стандартный запрос на завершение чата, чтобы проверить подключение. Эндпоинт принимает полезную нагрузку в формате JSON с идентификатором модели и историей сообщений. Идентификатор нашей модели — «uncensored». Этот идентификатор указывает прокси, какую модель без цензуры использовать для маршрутизации вашего запроса. Структура ответа зеркально отражает формат OpenAI, содержа сообщение ассистента. Вы можете проверить ответ, проверив поле content в выводе JSON. Это подтверждает, что ваша аутентификация и структура полезной нагрузки корректны. Эндпоинт поддерживает как потоковую, так и непотоковую передачу для стандартных запросов.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Интеграция Python SDK

Используйте официальную библиотеку OpenAI для Python для взаимодействия с нашим API. Установите значение api_key в ваш ключ прокси, а значение base_url — в наш эндпоинт. Остальное поведение библиотеки остаётся таким же, как при стандартном использовании OpenAI. Это включает поддержку асинхронных клиентов, повторные попытки и стандартную обработку ошибок. Вы можете передавать те же параметры, которые обычно используете, например, температуру и максимальное количество токенов. Прокси обрабатывает маршрутизацию к модели без цензуры LLM в фоновом режиме. Это позволяет вам сохранять существующую кодовую базу на Python, получая при этом доступ к возможностям нашей модели.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Интеграция Node SDK

SDK для Node.js работает с нашим API путём переопределения базового URL. Инициализируйте клиент, указав ваш прокси-API-ключ и правильный эндпоинт. Все остальные методы, такие как chat.completions.create, работают как ожидается. Это включает обработку стандартных объектов ответов и типов ошибок. Вы можете использовать те же структуры сообщений и параметры, что и при работе с OpenAI. Прокси-сервер гарантирует, что запрос обрабатывается моделью без цензуры. Эта совместимость позволяет разработчикам быстро менять провайдеров без переписывания логики клиента. Это идеально подходит для микросервисов, которые уже используют шаблон SDK OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача ответов

Включите потоковую передачу, установив параметр stream в true в вашем запросе. API возвращает поток Server-Sent Events (SSE). Каждый чанк содержит частичные обновления токенов, что позволяет отображать ответ в реальном времени. Это критически важно для интерфейсов чата и приложений, требующих немедленной обратной связи. Поток завершается финальным чанком, содержащим метаданные полного ответа. Вы можете обрабатывать чанки с помощью стандартных библиотек SSE на вашем предпочтительном языке. Эта функция бесшовно работает с SDK OpenAI, которые автоматически обрабатывают логику разбора. Это обеспечивает плавный пользовательский опыт без ожидания генерации всего ответа.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Лимиты запросов и ограничения

Наш API ограничивает количество запросов до 300 в минуту на ключ. Если вы превысите этот лимит, вы получите код статуса 429. Убедитесь, что вы реализовали логику повторных попыток с экспоненциальной задержкой для таких случаев. Размер тела запроса ограничен 8 МБ. Это ограничение применяется к общему JSON-пэйлоаду, включая промпт и контекст. Тарификация зависит от использования: $0,25 за миллион входных токенов и $1,00 за миллион выходных токенов. Кредиты являются предоплаченными и не сгорают. Если вашего баланса недостаточно, запросы вернут ошибку 402. Ошибки аутентификации возвращают статус 401. Нет сложной маршрутизации или выбора поставщика; модель фиксирована.