Bắt đầu nhanh: Tích hợp LLM Proxy

URL cơ sở & Xác thực

Thay thế URL cơ sở OpenAI tiêu chuẩn bằng endpoint của chúng tôi. Xác thực được xử lý qua token Bearer trong tiêu đề Authorization. Cách tiếp cận này hoạt động với bất kỳ thư viện khách hàng tương thích OpenAI nào. Bạn không cần thay đổi logic mã của mình, chỉ cần thay đổi các giá trị cấu hình. API của chúng tôi mô phỏng cấu trúc giao diện OpenAI tiêu chuẩn, đảm bảo mã tích hợp hiện tại của bạn vẫn hợp lệ. Điều này giảm thời gian tích hợp xuống còn vài phút thay vì vài ngày. Bạn có thể tạo lại khóa bất cứ lúc nào từ bảng điều khiển, điều này ngay lập tức vô hiệu hóa khóa cũ. Điều này cung cấp bảo mật mà không yêu cầu logic xoay token phức tạp trong ứng dụng của bạn.

Yêu cầu đầu tiên

Gửi yêu cầu hoàn thành hội thoại tiêu chuẩn để kiểm tra kết nối. Endpoint chấp nhận tải trọng JSON với định danh mô hình và lịch sử tin nhắn. ID mô hình của chúng tôi là "uncensored". Định danh này cho proxy biết mô hình không kiểm duyệt nào sẽ định tuyến yêu cầu của bạn đến. Cấu trúc phản hồi giống với định dạng OpenAI, chứa nội dung tin nhắn của trợ lý. Bạn có thể xác minh phản hồi bằng cách kiểm tra trường content trong đầu ra JSON. Điều này xác nhận xác thực và cấu trúc tải trọng của bạn là chính xác. Endpoint hỗ trợ cả chế độ truyền phát và không truyền phát cho các yêu cầu tiêu chuẩn.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Tích hợp SDK Python

Sử dụng thư viện Python chính thức của OpenAI để tương tác với API của chúng tôi. Đặt api_key thành khóa proxy của bạn và base_url thành endpoint của chúng tôi. Hành vi còn lại của thư viện vẫn giống hệt với cách sử dụng OpenAI tiêu chuẩn. Điều này bao gồm hỗ trợ cho client bất đồng bộ, cơ chế thử lại và xử lý lỗi tiêu chuẩn. Bạn có thể truyền cùng các tham số bạn thường dùng, chẳng hạn như temperature và max tokens. Proxy xử lý việc định tuyến đến mô hình không kiểm duyệt ở hậu trường. Điều này cho phép bạn duy trì cơ sở mã Python hiện có trong khi truy cập vào các khả năng của mô hình chúng tôi.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tích hợp SDK Node.js

SDK Node.js hoạt động với API của chúng tôi bằng cách ghi đè URL cơ sở. Khởi tạo client với khóa API proxy của bạn và endpoint chính xác. Tất cả các phương thức khác, chẳng hạn như chat.completions.create, hoạt động như mong đợi. Điều này bao gồm xử lý các đối tượng phản hồi và loại lỗi tiêu chuẩn. Bạn có thể sử dụng cùng các cấu trúc tin nhắn và tham số như khi dùng với OpenAI. Proxy đảm bảo yêu cầu được xử lý bởi mô hình không kiểm duyệt. Tính tương thích này cho phép các nhà phát triển chuyển đổi nhà cung cấp nhanh chóng mà không cần viết lại logic client. Nó lý tưởng cho các microservice đã sử dụng mẫu SDK OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phản hồi truyền phát

Bật truyền phát (streaming) bằng cách đặt tham số stream thành true trong yêu cầu của bạn. API trả về luồng Sự kiện gửi bởi máy chủ (SSE). Mỗi chunk chứa các cập nhật token từng phần, cho phép hiển thị phản hồi theo thời gian thực. Điều này rất quan trọng cho các giao diện trò chuyện và các ứng dụng yêu cầu phản hồi ngay lập tức. Luồng kết thúc bằng một chunk cuối cùng chứa siêu dữ liệu phản hồi đầy đủ. Bạn có thể phân tích các chunk bằng các thư viện SSE tiêu chuẩn trong ngôn ngữ bạn chọn. Tính năng này hoạt động liền mạch với các SDK OpenAI, những thứ xử lý logic phân tích cú pháp một cách tự động. Nó mang lại trải nghiệm người dùng mượt mà mà không cần chờ toàn bộ phản hồi được tạo ra.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Giới hạn tốc độ & Ràng buộc

API của chúng tôi áp dụng giới hạn 300 yêu cầu mỗi phút trên mỗi khóa. Nếu bạn vượt quá giới hạn này, bạn sẽ nhận được mã trạng thái 429. Đảm bảo bạn triển khai logic thử lại với độ trễ tăng dần theo cấp số nhân cho những trường hợp này. Kích thước thân yêu cầu được giới hạn ở 8 MB. Ràng buộc này áp dụng cho tổng tải trọng JSON, bao gồm prompt và ngữ cảnh. Giá cả dựa trên mức sử dụng: $0,25 cho mỗi triệu token đầu vào và $1,00 cho mỗi triệu token đầu ra. Tín dụng là tín dụng trả trước và không hết hạn. Nếu số dư của bạn không đủ, yêu cầu sẽ trả về lỗi 402. Lỗi xác thực trả về trạng thái 401. Không có định tuyến phức tạp hay lựa chọn nhà cung cấp; mô hình được cố định.