本地或托管:根据限制因素选择
搜索本地 LLM 的 LangChain 用户通常想要以下三件事之一:隐私、无按 token 计费或独立于供应商。由 Ollama 或 llama.cpp 等工具提供服务的本地机器上的模型,如果你有能使其以可用速度运行的硬件,则能提供所有这些功能。代价是设置时间、内存限制以及你所拥有的任何 GPU 或 CPU 的速度。
托管接口用少量的使用成本换取这些。你通过网络发送提示词,模型在别人的硬件上运行。在这里,这意味着一个开放权重模型,经过调整以在法律允许的成人使用中无内容拒绝地回答,通过 OpenAI 兼容的 API 提供服务。提示词不用于训练,但它们确实离开了你的机器,因此如果你的规则是数据绝不能离开,托管服务是不正确的选择。
对于 LangChain 开发人员来说,有用的部分是代码几乎没有区别。Ollama 和 llama.cpp 等本地服务器暴露 OpenAI 风格的接口,托管接口也使用相同的协议。如果你针对 ChatOpenAI 编写应用并配置 base URL,你可以在本地开发并通过环境变量切换到托管模型。这为你提供了一个实用的混合方案:在小本地模型上迭代,并在需要更大模型行为时使用托管模型,而无需拥有 GPU。
将 ChatOpenAI 连接到接口
安装集成包,然后使用三个重要的设置创建模型对象。
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
如果此运行正常,其他一切以相同方式工作。从 API 密钥页面 获取你的密钥;新用户注册后只需点击一次即可领取 $0.50 的试用额度,无需信用卡。在代码中显式传递 base URL,而不是依赖环境变量,因为不同的库版本读取不同的变量名,静默回退到默认的 OpenAI 主机可能会将你的密钥发送到错误的位置。
模型名称是人们容易出错的地方。这里唯一的 ID 是 uncensored。像 llama3 或 gpt-4o 这样的名称将不被识别。
带有提示词模板的链
提示词、模型和输出解析器的标准管道保持不变。此示例以选定的语气总结文本。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
对于许多输入,使用 batch 并限制并发。完整密钥 允许 8 个并发请求和每分钟 300 个请求,因此将设置保持在 8 或更低:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
试用密钥 仅允许 2 个并发请求和每分钟 60 个请求,因此在测试时使用 max_concurrency 为 2。
流式输出
API 通过服务器发送事件(SSE)进行流式传输,LangChain 通过 stream 暴露此功能。在人们观看答案生成的聊天界面中使用它。
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
一个实际细节:流式请求会保留其并发槽位,直到流结束。如果你的 UI 在半途放弃流,请确保生成器已关闭,否则你的并发余量会减少。异步代码以相同方式使用 astream。
工具和代理
支持工具调用:API 接受 tools 和 tool_choice,流式传输 tool_calls 并将结果作为 role: "tool" 消息取回。LangChain 在 bind_tools 中封装了此功能。
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
结果列出模型希望进行的调用,包括名称和参数。运行它们,将结果作为工具消息附加并再次调用模型,或让 LangGraph 等代理框架运行该循环。代理在每个用户请求中进行多次调用,因此比简单链更快地达到每分钟限制。在选择并发级别之前,计算每次运行的调用次数。
上下文窗口为 100,000 个 token,包括提示词和补全,这对于对话记忆来说很慷慨。即便如此,也要修剪旧轮次:你为每次调用支付整个历史的费用,输入 token 为 $0.15 / 1M。
JSON 输出
通过 response_format 提供 JSON 模式。在 LangChain 中,你可以使用 model_kwargs 传递它,或使用 JSON 模式的结构化输出助手,并在提示词中描述字段。
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
使用 method="json_mode" 时,提示词必须告诉模型生成哪些键;然后 Pydantic 类验证解析结果。为其添加重试机制,以应对罕见的格式错误回复。
不适用的内容
两个 LangChain 常用功能需要不同的来源。API 没有嵌入接口,因此指向此处的 OpenAIEmbeddings 将失败。对于你的文档检索,请使用本地嵌入模型或其他嵌入提供商,并仅将此接口用于聊天步骤。它也没有图像输入或生成、音频和微调,因此视觉链和多模态加载器不适用。
错误处理主要涉及 429 响应。代码 rate_limited 表示你超过了每分钟限制,concurrency 表示并行调用过多,带有 Retry-After: 5 的 429 表示临时过载。在 ChatOpenAI 上设置 max_retries,以便客户端等待并重试。失败和拒绝的请求不收费。
响应头有助于监控:X-Balance-USD 显示你的剩余额度,X-Request-Id 在联系支持时标识某次调用。
使用一个变量在本地和托管之间切换
如果你想要混合设置,请将三个设置放入环境变量并在一个函数中构建模型。你的链导入该函数,且不提及供应商。
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
本地分支假设 Ollama 服务器在其默认端口上运行,该端口在 /v1 下暴露 OpenAI 风格的路由;请查看你自己的服务器文档以获取正确的地址和模型名称。不同模型之间的行为会有所不同,因此在切换后重新运行你的提示词。针对一个模型习惯调整的提示词在另一个模型上的表现可能不同,工具调用质量也因模型而异,因此请首先测试这些路径。
一个合理的工作流程是:在没有可用 GPU 时针对托管模型开发提示词,然后决定应用的哪些部分必须保留在你的机器上。敏感文档可以使用本地分支,面向公众的创意功能可以使用托管分支。
成本和后续步骤
定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50,来自预付额度,无订阅。一次包含 2,000 个输入 token 和 500 个输出 token 的链调用成本为 2,000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。一千次此类调用成本为 $0.55。充值金额为 $20 至 $500,可通过加密货币(TRC20 上的 USDT、Base 上的 USDC)进行,$50 起赠 5%,$100 起赠 10%,$200 起赠 15%。详情见 定价页面。
要查看同一 API 的纯 HTTP 视图,请阅读 快速入门。该网站还提供了 按量付费服务 的简短概述。
