中文 ▾

即插即用无审查 LLM 代理https://api.llmproxyapi.com/v1

LangChain 搭配本地 LLM 或托管接口

要以本地 LLM 风格的代码运行 LangChain,你只需要一个接受自定义 base URL 的聊天类。如果你没有 GPU,或者不想管理它,同一个类可以指向托管的 OpenAI 兼容接口,而你的链无需更改。

等距桌面和云平台通过发光的链接连接,连接本地和托管模型

本地或托管:根据限制因素选择

搜索本地 LLM 的 LangChain 用户通常想要以下三件事之一:隐私、无按 token 计费或独立于供应商。由 Ollama 或 llama.cpp 等工具提供服务的本地机器上的模型,如果你有能使其以可用速度运行的硬件,则能提供所有这些功能。代价是设置时间、内存限制以及你所拥有的任何 GPU 或 CPU 的速度。

托管接口用少量的使用成本换取这些。你通过网络发送提示词,模型在别人的硬件上运行。在这里,这意味着一个开放权重模型,经过调整以在法律允许的成人使用中无内容拒绝地回答,通过 OpenAI 兼容的 API 提供服务。提示词不用于训练,但它们确实离开了你的机器,因此如果你的规则是数据绝不能离开,托管服务是不正确的选择。

对于 LangChain 开发人员来说,有用的部分是代码几乎没有区别。Ollama 和 llama.cpp 等本地服务器暴露 OpenAI 风格的接口,托管接口也使用相同的协议。如果你针对 ChatOpenAI 编写应用并配置 base URL,你可以在本地开发并通过环境变量切换到托管模型。这为你提供了一个实用的混合方案:在小本地模型上迭代,并在需要更大模型行为时使用托管模型,而无需拥有 GPU。

将 ChatOpenAI 连接到接口

安装集成包,然后使用三个重要的设置创建模型对象。

pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmproxyapi.com/v1",
    api_key=os.environ["LLMPROXY_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

如果此运行正常,其他一切以相同方式工作。从 API 密钥页面 获取你的密钥;新用户注册后只需点击一次即可领取 $0.50 的试用额度,无需信用卡。在代码中显式传递 base URL,而不是依赖环境变量,因为不同的库版本读取不同的变量名,静默回退到默认的 OpenAI 主机可能会将你的密钥发送到错误的位置。

模型名称是人们容易出错的地方。这里唯一的 ID 是 uncensored。像 llama3 或 gpt-4o 这样的名称将不被识别。

带有提示词模板的链

提示词、模型和输出解析器的标准管道保持不变。此示例以选定的语气总结文本。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a writing assistant. Answer in a {tone} tone."),
    ("human", "Summarize in two sentences:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))

对于许多输入,使用 batch 并限制并发。完整密钥 允许 8 个并发请求和每分钟 300 个请求,因此将设置保持在 8 或更低:

results = chain.batch(
    [{"tone": "dry", "text": t} for t in documents],
    config={"max_concurrency": 6},
)

试用密钥 仅允许 2 个并发请求和每分钟 60 个请求,因此在测试时使用 max_concurrency 为 2。

流式输出

API 通过服务器发送事件(SSE)进行流式传输,LangChain 通过 stream 暴露此功能。在人们观看答案生成的聊天界面中使用它。

for chunk in llm.stream("Write a short scene set in a lighthouse."):
    print(chunk.content, end="", flush=True)

一个实际细节:流式请求会保留其并发槽位,直到流结束。如果你的 UI 在半途放弃流,请确保生成器已关闭,否则你的并发余量会减少。异步代码以相同方式使用 astream。

工具和代理

支持工具调用:API 接受 tools 和 tool_choice,流式传输 tool_calls 并将结果作为 role: "tool" 消息取回。LangChain 在 bind_tools 中封装了此功能。

from langchain_core.tools import tool

@tool
def dice(sides: int) -> int:
    "Roll a die with the given number of sides."
    import random
    return random.randint(1, sides)

llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)

结果列出模型希望进行的调用,包括名称和参数。运行它们,将结果作为工具消息附加并再次调用模型,或让 LangGraph 等代理框架运行该循环。代理在每个用户请求中进行多次调用,因此比简单链更快地达到每分钟限制。在选择并发级别之前,计算每次运行的调用次数。

上下文窗口为 100,000 个 token,包括提示词和补全,这对于对话记忆来说很慷慨。即便如此,也要修剪旧轮次:你为每次调用支付整个历史的费用,输入 token 为 $0.15 / 1M。

JSON 输出

通过 response_format 提供 JSON 模式。在 LangChain 中,你可以使用 model_kwargs 传递它,或使用 JSON 模式的结构化输出助手,并在提示词中描述字段。

from pydantic import BaseModel

class Character(BaseModel):
    name: str
    role: str
    secret: str

structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
    "Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)

使用 method="json_mode" 时,提示词必须告诉模型生成哪些键;然后 Pydantic 类验证解析结果。为其添加重试机制,以应对罕见的格式错误回复。

不适用的内容

两个 LangChain 常用功能需要不同的来源。API 没有嵌入接口,因此指向此处的 OpenAIEmbeddings 将失败。对于你的文档检索,请使用本地嵌入模型或其他嵌入提供商,并仅将此接口用于聊天步骤。它也没有图像输入或生成、音频和微调,因此视觉链和多模态加载器不适用。

错误处理主要涉及 429 响应。代码 rate_limited 表示你超过了每分钟限制,concurrency 表示并行调用过多,带有 Retry-After: 5 的 429 表示临时过载。在 ChatOpenAI 上设置 max_retries,以便客户端等待并重试。失败和拒绝的请求不收费。

响应头有助于监控:X-Balance-USD 显示你的剩余额度,X-Request-Id 在联系支持时标识某次调用。

使用一个变量在本地和托管之间切换

如果你想要混合设置,请将三个设置放入环境变量并在一个函数中构建模型。你的链导入该函数,且不提及供应商。

import os
from langchain_openai import ChatOpenAI

def make_llm():
    if os.environ.get("LLM_MODE") == "local":
        return ChatOpenAI(
            model=os.environ["LOCAL_MODEL"],
            base_url="http://localhost:11434/v1",
            api_key="not-needed",
        )
    return ChatOpenAI(
        model="uncensored",
        base_url="https://api.llmproxyapi.com/v1",
        api_key=os.environ["LLMPROXY_API_KEY"],
    )

本地分支假设 Ollama 服务器在其默认端口上运行,该端口在 /v1 下暴露 OpenAI 风格的路由;请查看你自己的服务器文档以获取正确的地址和模型名称。不同模型之间的行为会有所不同,因此在切换后重新运行你的提示词。针对一个模型习惯调整的提示词在另一个模型上的表现可能不同,工具调用质量也因模型而异,因此请首先测试这些路径。

一个合理的工作流程是:在没有可用 GPU 时针对托管模型开发提示词,然后决定应用的哪些部分必须保留在你的机器上。敏感文档可以使用本地分支,面向公众的创意功能可以使用托管分支。

成本和后续步骤

定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50,来自预付额度,无订阅。一次包含 2,000 个输入 token 和 500 个输出 token 的链调用成本为 2,000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。一千次此类调用成本为 $0.55。充值金额为 $20 至 $500,可通过加密货币(TRC20 上的 USDT、Base 上的 USDC)进行,$50 起赠 5%,$100 起赠 10%,$200 起赠 15%。详情见 定价页面。

要查看同一 API 的纯 HTTP 视图,请阅读 快速入门。该网站还提供了 按量付费服务 的简短概述。

问答

LangChain 可以使用托管 API 代替本地模型吗?

可以。ChatOpenAI 接受自定义 base URL,因此任何 OpenAI 兼容的接口均可使用。将 base_url 设置为 https://api.llmproxyapi.com/v1,并将模型设置为 uncensored。

这与在本地运行模型相同吗?

不是。该模型在提供商的服务器上运行,因此提示词会通过网络传输,但不会用于训练。如果数据必须保留在你的本地设备上,请改为运行本地服务器。

它是否支持 LangChain 嵌入?

不支持。没有嵌入接口。请使用单独的嵌入模型进行检索,并使用此 API 进行聊天生成。

我如何防止 LangChain 出现 429 错误?

在完整密钥上将 max_concurrency 保持在 8 或更低,在试用密钥上设为 2,并在客户端设置 max_retries 以便等待并重试。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改 base URL。这就是全部设置。

获取 API 密钥