VI ▾

Proxy LLM không kiểm duyệt, tích hợp ngayhttps://api.llmproxyapi.com/v1

LangChain với LLM cục bộ hoặc endpoint lưu trữ

Để chạy LangChain với code mẫu cho LLM cục bộ, bạn chỉ cần một lớp chat chấp nhận base URL tùy chỉnh. Nếu không có GPU hoặc không muốn chăm sóc nó, lớp này có thể trỏ đến endpoint tương thích OpenAI thay thế, và các chain của bạn không thay đổi.

Nền tảng máy tính để bàn và đám mây đẳng trắc được nối với nhau bằng một chuỗi các liên kết phát sáng, liên kết các mô hình cục bộ và được lưu trữ

Cục bộ hoặc lưu trữ: chọn theo ràng buộc gây khó khăn nhất

Người tìm kiếm LangChain với mô hình cục bộ thường muốn một trong ba điều: quyền riêng tư, không tính phí theo token hoặc độc lập với nhà cung cấp. Mô hình trên máy của bạn, chạy bởi công cụ như Ollama hoặc llama.cpp, mang lại cả ba nếu bạn có phần cứng chạy ở tốc độ đủ tốt. Cái giá là thời gian thiết lập, giới hạn bộ nhớ và tốc độ của GPU hoặc CPU bạn sở hữu.

Một endpoint lưu trữ đổi điều đó bằng một chi phí sử dụng nhỏ. Bạn gửi prompt qua mạng, và mô hình chạy trên phần cứng của người khác. Ở đây điều đó có nghĩa là một mô hình trọng số mở, được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng người trưởng thành hợp pháp, được phục vụ qua API tương thích OpenAI. Prompt không được dùng để huấn luyện, nhưng chúng rời khỏi máy của bạn, vì vậy một dịch vụ lưu trữ là câu trả lời sai nếu quy tắc của bạn là dữ liệu không bao giờ rời khỏi máy đó.

Phần hữu ích cho nhà phát triển LangChain là code hầu như không khác. Máy chủ cục bộ như Ollama và llama.cpp cung cấp endpoint kiểu OpenAI, và endpoint lưu trữ dùng cùng giao thức. Nếu bạn viết ứng dụng với ChatOpenAI có base URL cấu hình được, bạn có thể phát triển cục bộ và chuyển sang mô hình lưu trữ bằng biến môi trường. Điều này cho phép bạn phát triển trên mô hình cục bộ nhỏ, và dùng mô hình lưu trữ khi cần hành vi của mô hình lớn mà không cần sở hữu GPU.

Kết nối ChatOpenAI với endpoint

Cài đặt gói tích hợp, sau đó tạo đối tượng mô hình với ba cài đặt quan trọng.

pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmproxyapi.com/v1",
    api_key=os.environ["LLMPROXY_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Nếu cái này chạy, mọi thứ khác hoạt động theo cách tương tự. Lấy khóa của bạn từ trang khóa API; người dùng mới có thể nhận $0.50 tín dụng dùng thử với một cú nhấp chuột ở đó sau khi đăng ký, không cần thẻ. Truyền base URL rõ ràng trong mã thay vì dựa vào biến môi trường, vì các phiên bản thư viện khác nhau đọc các tên biến khác nhau và việc chuyển hướng ngầm sang máy chủ OpenAI mặc định sẽ gửi khóa của bạn đến sai nơi.

Tên mô hình là nơi mọi người vấp ngã. ID duy nhất ở đây là uncensored. Một tên như llama3 hoặc gpt-4o sẽ không được nhận dạng.

Một chain với mẫu prompt

Pipeline tiêu chuẩn của prompt, mô hình và trình phân tích đầu ra chạy không thay đổi. Ví dụ này tóm tắt văn bản theo giọng điệu đã chọn.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a writing assistant. Answer in a {tone} tone."),
    ("human", "Summarize in two sentences:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))

Đối với nhiều đầu vào, hãy sử dụng batch và giới hạn độ đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, vì vậy hãy giữ cài đặt ở mức 8 hoặc thấp hơn:

results = chain.batch(
    [{"tone": "dry", "text": t} for t in documents],
    config={"max_concurrency": 6},
)

Khóa dùng thử chỉ cho phép 2 yêu cầu đồng thời và 60 mỗi phút, vì vậy hãy sử dụng max_concurrency là 2 trong khi thử nghiệm.

Streaming

API truyền dữ liệu qua Server-Sent Events, và LangChain hiển thị điều này thông qua stream. Hãy sử dụng nó cho giao diện trò chuyện nơi người xem câu trả lời hình thành.

for chunk in llm.stream("Write a short scene set in a lighthouse."):
    print(chunk.content, end="", flush=True)

Một chi tiết thực tế: một yêu cầu truyền dữ liệu giữ slot độ đồng thời của nó cho đến khi stream kết thúc. Nếu giao diện người dùng của bạn bỏ stream giữa chừng, hãy đảm bảo trình tạo được đóng, hoặc dung lượng đồng thời dự phòng của bạn sẽ giảm. Mã bất đồng bộ sử dụng astream theo cách tương tự.

Tools và agents

Tool calling (gọi công cụ) được hỗ trợ: API chấp nhận tools và tool_choice, truyền tool_calls và lấy kết quả lại dưới dạng tin nhắn role: "tool". LangChain bao bọc điều này trong bind_tools.

from langchain_core.tools import tool

@tool
def dice(sides: int) -> int:
    "Roll a die with the given number of sides."
    import random
    return random.randint(1, sides)

llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)

Kết quả liệt kê các lệnh gọi mà mô hình muốn, với tên và đối số. Chạy chúng, đính kèm kết quả dưới dạng tin nhắn công cụ và gọi lại mô hình, hoặc để framework agent như LangGraph chạy vòng lặp đó. Agents thực hiện nhiều lệnh gọi cho mỗi yêu cầu của người dùng, vì vậy chúng đạt giới hạn mỗi phút nhanh hơn các chain đơn giản. Đếm các lệnh gọi mỗi lần chạy trước khi chọn mức độ đồng thời.

Cửa sổ ngữ cảnh là 100,000 token cho prompt cộng với phần phản hồi (completion), điều này rất hào phóng cho bộ nhớ hội thoại. Tuy nhiên, hãy cắt bớt các lượt cũ: bạn trả tiền cho toàn bộ lịch sử trên mỗi lệnh gọi với giá $0.15 cho mỗi 1M token đầu vào.

Xuất JSON

Chế độ JSON có sẵn thông qua response_format. Trong LangChain, bạn có thể truyền nó với model_kwargs hoặc sử dụng trợ lý đầu ra có cấu trúc trong chế độ JSON và mô tả các trường trong prompt của bạn.

from pydantic import BaseModel

class Character(BaseModel):
    name: str
    role: str
    secret: str

structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
    "Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)

Với method="json_mode", prompt phải nói cho mô hình biết các khóa nào cần tạo; lớp Pydantic sau đó xác thực kết quả đã phân tích. Hãy giữ một lệnh thử lại xung quanh nó cho phản hồi bị lỗi hiếm gặp.

Những gì không được hỗ trợ

Hai thành phần cốt lõi của LangChain cần một nguồn khác. API không có endpoint embeddings, vì vậy OpenAIEmbeddings trỏ vào đây sẽ thất bại. Để truy xuất qua tài liệu của bạn, hãy sử dụng mô hình embedding cục bộ hoặc nhà cung cấp embedding khác, và sử dụng endpoint này chỉ cho bước chat. Nó cũng không có đầu vào hình ảnh hoặc tạo, không có âm thanh và không có fine-tuning, vì vậy các chain xử lý hình ảnh và bộ tải đa phương tiện đều bị loại.

Xử lý lỗi chủ yếu là về phản hồi 429. Mã rate_limited có nghĩa là bạn đã vượt quá giới hạn mỗi phút, concurrency có nghĩa là quá nhiều lệnh gọi song song, và 429 với Retry-After: 5 đánh dấu quá tải tạm thời. Đặt max_retries trên ChatOpenAI để client chờ và thử lại. Các yêu cầu thất bại và bị từ chối không được tính phí.

Các tiêu đề phản hồi giúp theo dõi: X-Balance-USD hiển thị tín dụng còn lại của bạn và X-Request-Id xác định một lệnh gọi để hỗ trợ.

Chuyển đổi giữa cục bộ và lưu trữ với một biến

Nếu bạn muốn thiết lập kết hợp, hãy đặt ba cài đặt trong các biến môi trường và xây dựng mô hình trong một hàm. Các chain của bạn nhập hàm đó và không đề cập đến nhà cung cấp.

import os
from langchain_openai import ChatOpenAI

def make_llm():
    if os.environ.get("LLM_MODE") == "local":
        return ChatOpenAI(
            model=os.environ["LOCAL_MODEL"],
            base_url="http://localhost:11434/v1",
            api_key="not-needed",
        )
    return ChatOpenAI(
        model="uncensored",
        base_url="https://api.llmproxyapi.com/v1",
        api_key=os.environ["LLMPROXY_API_KEY"],
    )

Nhánh cục bộ giả định máy chủ Ollama trên cổng mặc định của nó, cung cấp route kiểu OpenAI dưới /v1; hãy kiểm tra tài liệu máy chủ của riêng bạn để biết địa chỉ và tên mô hình đúng. Hành vi sẽ khác nhau giữa các mô hình, vì vậy hãy chạy lại các prompt của bạn sau khi chuyển đổi. Một prompt được tinh chỉnh cho thói quen của một mô hình có thể hoạt động khác trên mô hình khác, và chất lượng tool calling thay đổi theo mô hình, vì vậy hãy kiểm tra các đường dẫn đó trước.

Quy trình hợp lý là phát triển prompt với mô hình lưu trữ khi bạn không có GPU rảnh, sau đó quyết định những phần nào của ứng dụng phải ở lại máy của bạn. Tài liệu nhạy cảm có thể sử dụng nhánh cục bộ và các tính năng sáng tạo công khai có thể sử dụng nhánh lưu trữ.

Chi phí và các bước tiếp theo

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, từ tín dụng trả trước không cần thuê bao. Một lệnh gọi chain với 2.000 token đầu vào và 500 token đầu ra tốn 2.000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055. Một nghìn lệnh gọi như vậy tốn $0.55. Nạp tiền chạy từ $20 đến $500 bằng crypto (USDT trên TRC20, USDC trên Base), với bonus 5% từ $50, 10% từ $100 và 15% từ $200. Chi tiết có trên trang giá cả.

Để xem API cùng dưới dạng HTTP đơn giản, hãy đọc hướng dẫn bắt đầu nhanh. Trang web cũng có tóm tắt ngắn về dịch vụ trả theo mức sử dụng.

Hỏi đáp

LangChain có thể dùng API lưu trữ thay vì mô hình cục bộ không?

Có. ChatOpenAI chấp nhận base URL tùy chỉnh, nên bất kỳ endpoint tương thích OpenAI nào cũng hoạt động. Đặt base_url thành https://api.llmproxyapi.com/v1 và mô hình thành uncensored.

Điều này có giống như chạy mô hình cục bộ không?

Không. Mô hình chạy trên máy chủ của nhà cung cấp, nên prompt truyền qua mạng, mặc dù chúng không được dùng để huấn luyện. Nếu dữ liệu phải ở lại máy bạn, hãy chạy máy chủ cục bộ.

Nó có hoạt động với embeddings của LangChain không?

Không. Không có endpoint embeddings. Hãy dùng mô hình embedding riêng cho truy xuất và API này cho tạo hội thoại.

Làm thế nào để LangChain tránh lỗi 429?

Giữ max_concurrency ở mức 8 hoặc thấp hơn với khóa đầy đủ, 2 với khóa dùng thử, và đặt max_retries trên client để chờ và thử lại.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.

Lấy khóa API