시작: LLM 프록시 통합

기본 URL 및 인증

표준 OpenAI 기본 URL을 당사 엔드포인트로 교체하세요. 인증은 Authorization 헤더의 Bearer 토큰으로 처리됩니다. 이 방식은 모든 OpenAI 호환 클라이언트 라이브러리에서 작동합니다. 코드 로직을 변경할 필요 없이 구성 값만 변경하면 됩니다. 당사 API는 표준 OpenAI 인터페이스 구조를 모방하여 기존 통합 코드가 유효하도록 보장합니다. 이를 통해 통합 시간을 일에서 분으로 줄일 수 있습니다. 대시보드에서 키를 언제든지 재생성할 수 있으며, 이는 이전 키를 즉시 무효화합니다. 이를 통해 애플리케이션에 복잡한 토큰 회전 로직 없이 보안을 제공합니다.

첫 번째 요청

연결성을 테스트하기 위해 표준 채팅 완료 요청을 보내세요. 엔드포인트는 모델 식별자와 메시지 기록이 포함된 JSON 페이로드를 허용합니다. 당사 모델 ID는 "uncensored"입니다. 이 식별자는 프록시가 요청을 무검열 모델로 라우팅하도록 지시합니다. 응답 구조는 OpenAI 형식을 따르며 어시스턴트의 메시지 내용을 포함합니다. JSON 출력의 content 필드를 확인하여 응답을 검증할 수 있습니다. 이는 인증과 페이로드 구조가 올바르다는 것을 확인합니다. 엔드포인트는 표준 요청에 스트리밍 및 비스트리밍 모드를 모두 지원합니다.

Copycurl https://api.llmproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python SDK 통합

공식 OpenAI Python 라이브러리를 사용하여 API와 상호 작용하세요. api_key를 프록시 키로 설정하고 base_url을 엔드포인트로 설정하세요. 라이브러리의 나머지 동작은 표준 OpenAI 사용 방식과 동일하게 유지됩니다. 여기에는 비동기 클라이언트, 재시도 및 표준 오류 처리가 포함됩니다. temperature 및 max tokens와 같이 일반적으로 사용하는 동일한 매개변수를 전달할 수 있습니다. 프록시는 백그라운드에서 무검열 모델로 라우팅을 처리합니다. 이를 통해 기존 Python 코드베이스를 유지하면서도 모델의 기능에 접근할 수 있습니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmproxyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK 통합

Node.js SDK는 기본 URL을 재정의하여 API와 함께 작동합니다. 프록시 API 키와 올바른 엔드포인트를 사용하여 클라이언트를 초기화하세요. chat.completions.create와 같은 모든 다른 메서드는 예상대로 작동합니다. 여기에는 표준 응답 객체 및 오류 유형 처리가 포함됩니다. OpenAI와 동일한 메시지 구조 및 매개변수를 사용할 수 있습니다. 프록시는 요청이 무검열 모델에 의해 처리되도록 보장합니다. 이 호환성으로 인해 개발자는 클라이언트 로직을 다시 작성하지 않고도 공급자를 빠르게 전환할 수 있습니다. 이미 OpenAI SDK 패턴을 사용하는 마이크로서비스에 이상적입니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmproxyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

스트리밍 응답

요청에서 stream 매개변수를 true로 설정하여 스트리밍을 활성화하세요. API는 서버 전송 이벤트(SSE) 스트림을 반환합니다. 각 청크에는 부분 토큰 업데이트가 포함되어 실시간 응답 표시가 가능합니다. 이는 채팅 인터페이스와 즉각적인 피드백이 필요한 애플리케이션에 중요합니다. 스트림은 전체 응답 메타데이터를 포함하는 마지막 청크로 종료됩니다. 선호하는 언어의 표준 SSE 라이브러리를 사용하여 청크를 구문 분석할 수 있습니다. 이 기능은 구문 분석 로직을 자동으로 처리하는 OpenAI SDK와 원활하게 작동합니다. 전체 응답이 생성될 때까지 기다리지 않고도 매끄러운 사용자 경험을 제공합니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

속도 제한 및 제약 사항

당사 API는 키당 분당 300개의 요청 제한을 시행합니다. 이를 초과하면 429 상태 코드가 반환됩니다. 이러한 경우 지수 백오프 재시도 로직을 구현하세요. 요청 본문 크기는 8 MB로 제한됩니다. 이 제약은 프롬프트와 컨텍스트를 포함한 전체 JSON 페이로드에 적용됩니다. 가격은 사용량 기반입니다: 입력 토큰 백만 개당 $0.25, 출력 토큰 백만 개당 $1.00. 크레딧은 선불이며 만료되지 않습니다. 잔액이 부족하면 요청 시 402 오류가 반환됩니다. 인증 오류는 401 상태를 반환합니다. 복잡한 라우팅이나 벤더 선택이 없으며 모델은 고정되어 있습니다.