繁中 ▾

即插即用無審查 LLM 代理https://api.llmproxyapi.com/v1

LangChain 搭配本機 LLM 或託管端點

要以類似本機 LLM 的方式運行 LangChain,你只需要一個接受自訂 Base URL 的聊天類別。如果你沒有 GPU,或不想費心管理,同一個類別也可以指向託管的 OpenAI 相容端點,且你的鏈串不會改變。

等距桌面與雲端平台由發光鏈接連接,連結本機與託管模型

本機或託管:根據限制因素選擇

搜尋 LangChain 搭配本機模型的人通常想要以下三件事之一:隱私、無每 token 計費,或不受供應商綁定。在你自己的機器上運行、由 Ollama 或 llama.cpp 等工具服務的模型,如果你有能達到可用速度的硬體,就能提供這三點。代價是設定時間、記憶體限制以及你所擁有 GPU 或 CPU 的速度。

託管端點以少量使用成本交換這些優點。你透過網路傳送提示詞,模型在別人的硬體上運行。在此情況下,這意味著一個開放權重模型,經過調校以在法律允許的成人用途下不拒絕內容地回答,並透過 OpenAI 相容 API 提供服務。提示詞不會用於訓練,但它們確實會離開你的機器,因此如果你的規則是資料絕不能離開機器,託管服務就不是正確答案。

對 LangChain 開發者而言,有用的部分是程式碼差異極小。像 Ollama 和 llama.cpp 的本機伺服器會暴露 OpenAI 風格的端點,而託管端點也使用相同的協定。如果你在 ChatOpenAI 中撰寫應用程式並使用可配置的 Base URL,你可以在本機開發並透過環境變數切換到託管模型。這提供了實用的混合模式:在小規模本機模型上進行迭代,並在需要大型模型行為時使用託管模型,無需擁有 GPU。

將 ChatOpenAI 連接至端點

安裝整合套件,然後使用三個重要的設定建立模型物件。

pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmproxyapi.com/v1",
    api_key=os.environ["LLMPROXY_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

如果這能運行,其他一切運作方式相同。從 API 金鑰頁面 取得你的金鑰;新用戶註冊後可點擊一次領取 $0.50 的免費試用額度,無需信用卡。在程式碼中明確傳遞 Base URL,而非依賴環境變數,因為不同版本的函式庫會讀取不同的變數名稱,且靜默回退到預設 OpenAI 主機可能會將你的金鑰發送到錯誤的位置。

模型名稱是人們容易出錯的地方。這裡唯一的 ID 是 uncensored。像 llama3 或 gpt-4o 的名稱將無法被識別。

帶有提示詞範本的鏈串

標準的提示詞、模型與輸出解析器管線運作方式不變。此範例以指定語氣摘要文字。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a writing assistant. Answer in a {tone} tone."),
    ("human", "Summarize in two sentences:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))

對於大量輸入,請使用 batch 並限制並行請求。完整金鑰允許 8 個並行請求和每分鐘 300 個請求,因此請將設定保持在 8 或以下:

results = chain.batch(
    [{"tone": "dry", "text": t} for t in documents],
    config={"max_concurrency": 6},
)

試用金鑰僅允許 2 個並行請求和每分鐘 60 個請求,因此在測試時請使用 max_concurrency 為 2。

串流輸出

API 透過 Server-Sent Events 進行串流輸出,LangChain 透過 stream 暴露此功能。在有人觀看答案生成的聊天介面中使用它。

for chunk in llm.stream("Write a short scene set in a lighthouse."):
    print(chunk.content, end="", flush=True)

一個實際細節:串流請求會保留其並行請求槽位直到串流結束。如果你的使用者介面在半途放棄串流,請確保生成器已關閉,否則你的並行剩餘空間會縮小。非同步程式碼以相同方式使用 astream。

工具與代理

支援函式呼叫:API 接受 tools 與 tool_choice,串流輸出 tool_calls,並回傳 role: "tool" 訊息。LangChain 以 bind_tools 包裝此功能。

from langchain_core.tools import tool

@tool
def dice(sides: int) -> int:
    "Roll a die with the given number of sides."
    import random
    return random.randint(1, sides)

llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)

結果列出模型想要進行的呼叫,包含名稱和參數。執行它們,將結果作為工具訊息附加並再次呼叫模型,或讓 LangGraph 等代理框架運行該迴圈。代理程式每個使用者請求會進行多次呼叫,因此比簡單鏈串更早達到每分鐘限制。在選擇並行層級之前,請計算每次執行的呼叫次數。

上下文視窗為 100,000 token(含提示詞與完成內容),對對話記憶而言相當寬裕。即便如此,仍請修剪舊的對話輪次:每次呼叫時你需為整個歷史記錄付費,輸入 token 每 1M 為 $0.15。

JSON 輸出

JSON 模式透過 response_format 提供。在 LangChain 中,你可以透過 model_kwargs 傳遞,或使用 JSON 模式的結構化輸出輔助工具,並在提示詞中描述欄位。

from pydantic import BaseModel

class Character(BaseModel):
    name: str
    role: str
    secret: str

structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
    "Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)

使用 method="json_mode" 時,提示詞必須告知模型產生哪些鍵;然後使用 Pydantic 類別驗證解析後的結果。請為罕見的格式錯誤回覆保留重試機制。

哪些功能無法沿用

兩個 LangChain 常用功能需要不同的來源。此 API 沒有嵌入端點,因此指向此處的 OpenAIEmbeddings 會失敗。對於文件檢索,請使用本機嵌入模型或其他嵌入提供者,並僅將此端點用於聊天步驟。它也沒有影像輸入或生成、音訊和微調功能,因此視覺鏈串和多模態載入器無法使用。

錯誤處理主要關於 429 回應。程式碼 rate_limited 表示你超過了每分鐘上限,concurrency 表示並行呼叫過多,帶有 Retry-After: 5 的 429 表示暫時過載。在 ChatOpenAI 上設定 max_retries,讓用戶端等待並重試。失敗和拒絕的請求不會計費。

回應標頭有助於監控:X-Balance-USD 顯示你的剩餘預付額度,X-Request-Id 標識呼叫以供支援使用。

使用單一變數在本機與託管之間切換

如果你想要混合設定,請將三個設定放入環境變數,並在一個函式中建立模型。你的鏈串匯入該函式且從不提及供應商。

import os
from langchain_openai import ChatOpenAI

def make_llm():
    if os.environ.get("LLM_MODE") == "local":
        return ChatOpenAI(
            model=os.environ["LOCAL_MODEL"],
            base_url="http://localhost:11434/v1",
            api_key="not-needed",
        )
    return ChatOpenAI(
        model="uncensored",
        base_url="https://api.llmproxyapi.com/v1",
        api_key=os.environ["LLMPROXY_API_KEY"],
    )

本機分支假設 Ollama 伺服器在其預設連接埠上運行,該伺服器在 /v1 下暴露 OpenAI 風格的路由;請查看你自己的伺服器文件以獲取正確的地址和模型名稱。行為會因模型而異,因此在切換後請重新運行提示詞。針對一個模型習慣調校的提示詞在另一個模型上讀取方式可能不同,且函式呼叫品質因模型而異,因此請先測試這些路徑。

一個合理的工作流程是:在你沒有空閒 GPU 時,針對託管模型開發提示詞,然後決定應用程式的哪些部分必須保留在你自己的機器上。敏感文件可以使用本機分支,面向公眾的創意功能可以使用託管分支。

成本與後續步驟

定價為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,從預付額度扣除,無訂閱費。一次鏈串呼叫包含 2,000 個輸入 token 和 500 個輸出 token 的成本為 2,000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。一千次此類呼叫的成本為 $0.55。儲值金額從 $20 到 $500 不等,可透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行,儲值 $50 起贈 5%,$100 起贈 10%,$200 起贈 15%。詳細資訊請見 定價頁面。

若要查看相同 API 的純 HTTP 視圖,請閱讀 快速入門。該網站也提供了 隨用隨付服務 的簡短概述。

問答

LangChain 可以使用託管 API 取代本機模型嗎?

可以。ChatOpenAI 接受自訂 Base URL,因此任何 OpenAI 相容的端點皆可運作。將 base_url 設為 https://api.llmproxyapi.com/v1,並將模型設為 uncensored。

這與在本機運行模型相同嗎?

不同。模型在供應商的伺服器上運行,因此提示詞會透過網路傳輸,但不會用於訓練。如果資料必須保留在你的機器上,請改為運行本機伺服器。

它支援 LangChain 的嵌入嗎?

否。這裡沒有嵌入端點。請使用獨立的嵌入模型進行檢索,並使用此 API 進行聊天生成。

我該如何避免 LangChain 出現 429 錯誤?

完整金鑰請將 max_concurrency 保持在 8 或以下,試用金鑰請設為 2,並在用戶端設定 max_retries 以等待並重試。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改 Base URL。這就是整個設定過程。

取得 API 金鑰