ローカルかホストか:制約に応じて選択
ローカルモデル付きのLangChainを検索する人は、通常次の3つのいずれかを求めています:プライバシー、トークンごとの請求なし、ベンダーからの独立性。Ollamaやllama.cppなどのツールによって提供される、あなたのマシン上のモデルは、使用可能な速度で実行できるハードウェアがある場合、これらすべてを提供します。トレードオフは、セットアップ時間、メモリ制限、所有するGPUまたはCPUの速度です。
ホストエンドポイントはそれらを小さな使用コストと引き換えます。プロンプトをネットワーク経由で送信し、モデルは他人のハードウェア上で動作します。ここでは、合法的な成人利用向けにコンテンツ拒否なしで回答するように調整されたオープンウェイトモデルを、OpenAI互換APIを通じて提供しています。プロンプトはトレーニングには使用されませんが、あなたのマシンから離れるため、データが決して離れてはならないというルールがある場合、ホストサービスは正解ではありません。
LangChain開発者にとって有用な部分は、コードがほとんど変わらないことです。Ollamaやllama.cppなどのローカルサーバーはOpenAIスタイルのエンドポイントを公開し、ホストエンドポイントは同じプロトコルを話します。設定可能なbase URLを持つChatOpenAIに対してアプリを書けば、ローカルで開発し、環境変数でホストモデルに切り替えることができます。これにより、小さなローカルモデルで反復し、GPUを所有せずに大きなモデルの動作が必要な場合にホストモデルを使用するという、実用的なハイブリッドが得られます。
ChatOpenAIをエンドポイントに接続
統合パッケージをインストールし、重要な3つの設定でモデルオブジェクトを作成します。
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
これが実行されれば、他はすべて同じように動作します。APIキーのページからキーを取得してください。新規ユーザーはサインアップ後にカード不要でワンクリックで$0.50のトライアルクレジットを請求できます。環境変数に依存するのではなく、コードでbase URLを明示的に渡してください。異なるライブラリバージョンは異なる変数名を読み取り、デフォルトのOpenAIホストへのサイレントフォールバックにより、キーが間違った場所に送信される可能性があるためです。
モデル名は人がつまずく唯一の場所です。ここで唯一のIDはuncensoredです。llama3やgpt-4oのような名前は認識されません。
プロンプトテンプレート付きのチェーン
プロンプト、モデル、出力パーサーの標準パイプラインは変更されません。この例では、選択したトーンでテキストを要約します。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
大量の入力にはbatchを使用し、並列性を制限してください。フルキーでは同時8リクエスト、1分あたり300リクエストまで許可されるため、8以下に設定してください:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
トライアルキーでは同時2リクエスト、1分あたり60リクエストのみ許可されるため、テスト中はmax_concurrencyを2に設定してください。
ストリーミング
APIはServer-Sent Eventsでストリーミングされ、LangChainはこれをstreamで公開します。人が回答の形成を見ているチャットインターフェースで使用してください。
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
実用的な詳細:ストリーミングリクエストはストリームが終了するまで並列スロットを保持します。UIがストリームを途中で放棄する場合、ジェネレーターを閉じるようにして、並列の余力が減少しないようにしてください。非同期コードは同じ方法でastreamを使用します。
ツールとエージェント
ツール呼び出しがサポートされています:APIはtoolsとtool_choiceを受け付け、tool_callsをストリーミングし、結果をrole: "tool"メッセージとして受け取ります。LangChainはこれをbind_toolsでラップします。
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
結果にはモデルが呼び出したい呼び出しの名前と引数のリストが含まれます。それらを実行し、結果をツールメッセージとして追加してモデルを再度呼び出すか、LangGraphなどのエージェントフレームワークにそのループを実行させます。エージェントは1つのユーザーリクエストに対して多くの呼び出しを行うため、単純なチェーンよりも早く1分あたりの制限に達します。並列レベルを選択する前に、実行あたりの呼び出し数をカウントしてください。
コンテキストウィンドウはプロンプトと出力(completion)を合わせて100,000トークンで、会話の履歴には十分な容量があります。ただし、古い会話は削除してください。すべての呼び出しで履歴全体に対して課金されるため、入力トークン1Mあたり$0.15 かかります。
JSON 出力
JSONモードはresponse_formatを通じて利用可能です。LangChainではmodel_kwargsで渡すか、JSONモードの構造化出力ヘルパーを使用して、プロンプトでフィールドを記述できます。
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
method="json_mode"を使用する場合、プロンプトでモデルに生成すべきキーを指定する必要があります。その後、Pydantic クラスが解析結果を検証します。まれに形式が不正な応答が返ることに備えて、リトライ処理を入れておいてください。
対応していないもの
LangChainの2つの定番は異なるソースが必要です。APIには埋め込みエンドポイントがないため、ここを指すOpenAIEmbeddingsは失敗します。ドキュメントの検索にはローカルの埋め込みモデルまたは別の埋め込みプロバイダーを使用し、このエンドポイントはチャットステップのみで使用してください。画像入力や生成、オーディオ、ファインチューニングもないため、ビジョンチェーンやマルチモーダルローダーは対象外です。
エラー処理は主に429レスポンスに関するものです。コードrate_limitedは1分あたりの上限を超えたことを意味し、concurrencyは並列呼び出しが多すぎたことを意味し、Retry-After: 5付きの429は一時的な過負荷を示します。クライアントが待機して再試行するように、ChatOpenAIにmax_retriesを設定してください。失敗したリクエストと拒否されたリクエストは課金されません。
レスポンスヘッダーはモニタリングに役立ちます:X-Balance-USDは残高クレジットを示し、X-Request-Idはサポートのための呼び出しを識別します。
1つの変数でローカルとホストされた環境を切り替える
ハイブリッドセットアップが必要な場合は、3つの設定を環境変数に配置し、1つの関数でモデルを構築してください。あなたのチェーンはその関数をインポートし、ベンダーに言及しません。
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
ローカルブランチはデフォルトポートのOllamaサーバーを前提としており、/v1の下でOpenAIスタイルのルートを公開します。正しいアドレスとモデル名については、ご自身のサーバーのドキュメントを確認してください。モデル間で動作が異なるため、切り替え後にプロンプトを再実行してください。1つのモデルの習慣に合わせて調整されたプロンプトは、別のモデルでは異なる動作をする可能性があり、ツール呼び出しの品質もモデルによって異なるため、まずそれらのパスをテストしてください。
理にかなったワークフローは、GPUが空いていない間にホストモデルに対してプロンプトを開発し、アプリのどの部分が自分のマシン上に留まる必要があるかを決定することです。機密文書にはローカルブランチを使用し、公開されているクリエイティブ機能にはホストされたものを使用できます。
コストと次のステップ
料金は入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50で、前払いクレジットから差し引かれ、サブスクリプションは不要です。2,000入力トークンと500出力トークンのチェーン呼び出しのコストは、2,000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055です。そのような呼び出し1,000回のコストは$0.55です。チャージは暗号資産(TRC20上のUSDT、Base上のUSDC)で$20から$500まで行え、$50から5%、$100から10%、$200から15%のボーナスがあります。詳細は価格ページにあります。
同じAPIのプレーンHTTPビューについては、クイックスタートをお読みください。サイトには従量課金サービスの短い概要もあります。
