ในเครื่องหรือแบบโฮสต์: เลือกตามข้อจำกัดที่สำคัญที่สุด
ผู้ค้นหา LangChain พร้อมโมเดลในเครื่องมักต้องการสิ่งใดสิ่งหนึ่งจากสามอย่าง: ความเป็นส่วนตัว, ไม่มีค่าใช้จ่ายต่อโทเคน หรือความเป็นอิสระจากผู้ขาย โมเดลบนเครื่องของคุณที่ให้บริการโดยเครื่องมือเช่น Ollama หรือ llama.cpp ให้ทั้งสามอย่างนี้หากคุณมีฮาร์ดแวร์ที่รันได้เร็วพอ ข้อเสียคือเวลาติดตั้ง ขอบเขตหน่วยความจำ และความเร็วของ GPU หรือ CPU ที่มี
เอนด์พอยต์แบบโฮสต์แลกสิ่งเหล่านี้ด้วยค่าใช้จ่ายการใช้งานเล็กน้อย คุณส่งพรอมต์ผ่านเครือข่าย และโมเดลรันบนฮาร์ดแวร์ของผู้อื่น ที่นี่หมายถึงโมเดลแบบเปิดน้ำหนักที่ปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และให้บริการผ่าน API ที่เข้ากันได้กับ OpenAI พรอมต์ไม่ถูกนำไปฝึก แต่ข้อมูลออกจากเครื่องของคุณ ดังนั้นบริการแบบโฮสต์ไม่ใช่คำตอบที่ถูกต้องหากกฎของคุณคือข้อมูลต้องไม่ออกจากเครื่อง
ส่วนที่เป็นประโยชน์สำหรับนักพัฒนา LangChain คือโค้ดแทบไม่ต่างกัน เซิร์ฟเวอร์ในเครื่องอย่าง Ollama และ llama.cpp เปิดเอนด์พอยต์สไตล์ OpenAI และเอนด์พอยต์แบบโฮสต์ก็ใช้โปรโตคอลเดียวกัน หากคุณเขียนแอปพลิเคชันของคุณโดยใช้ ChatOpenAI พร้อม Base URL ที่กำหนดค่าได้ คุณสามารถพัฒนาในเครื่องและสลับไปใช้โมเดลแบบโฮสต์ด้วยการตั้งค่าตัวแปรสภาพแวดล้อม สิ่งนี้ให้ไฮบริดที่ใช้งานได้จริง: ทำซ้ำกับโมเดลขนาดเล็กในเครื่อง และใช้โมเดลแบบโฮสต์เมื่อคุณต้องการพฤติกรรมของโมเดลขนาดใหญ่โดยไม่ต้องเป็นเจ้าของ GPU
เชื่อมต่อ ChatOpenAI กับเอนด์พอยต์
ติดตั้งแพ็กเกจการผสานรวม จากนั้นสร้างออบเจ็กต์โมเดลด้วยการตั้งค่าสามอย่างที่สำคัญ
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
หากส่วนนี้ทำงาน ส่วนอื่นก็ทำงานได้เหมือนกัน รับคีย์จากหน้า API key ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ในคลิกเดียวหลังลงทะเบียน โดยไม่ต้องใส่บัตร ส่ง base URL ให้ชัดเจนในโค้ดแทนที่จะพึ่งพาตัวแปรสภาพแวดล้อม เพราะเวอร์ชันไลบรารีต่างกันอ่านชื่อตัวแปรต่างกัน และการ fallback ไปยังโฮสต์ OpenAI โดยปริยายอาจส่งคีย์ของคุณไปยังที่ผิด
ชื่อโมเดลเป็นจุดเดียวที่คนมักพลาด ID ที่นี่มีเพียง uncensored เท่านั้น ชื่อเช่น llama3 หรือ gpt-4o จะไม่ถูกจดจำ
เชนที่มีพรอมต์เทมเพลต
เส้นทางการทำงานมาตรฐานของพรอมต์ โมเดล และตัวแยกวิเคราะห์ผลลัพธ์ทำงานโดยไม่เปลี่ยนแปลง ตัวอย่างนี้สรุปข้อความในโทนเสียงที่เลือก
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
สำหรับข้อมูลจำนวนมาก ให้ใช้ batch และจำกัดความพร้อมกัน คีย์เต็มอนุญาตคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที ดังนั้นให้ตั้งค่าที่ 8 หรือน้อยกว่า:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
คีย์ทดลองอนุญาตคำขอพร้อมกันเพียง 2 คำขอและ 60 คำขอต่อนาที ดังนั้นให้ใช้ max_concurrency เป็น 2 ขณะทดสอบ
สตรีมมิง
API สตรีมมิงผ่าน Server-Sent Events และ LangChain เปิดให้ใช้งานผ่าน stream ใช้สิ่งนี้สำหรับส่วนติดต่อแชทที่ผู้ใช้เฝ้าดูการตอบกลับ
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
รายละเอียดทางปฏิบัติหนึ่งอย่าง: คำขอแบบสตรีมมิงจะครอบครองช่องความพร้อมกัน ไว้จนกว่าสตรีมจะเสร็จ หาก UI ของคุณยกเลิกสตรีมกลางคัน ให้แน่ใจว่า generator ถูกปิด มิฉะนั้นส่วนสำรองความพร้อมกัน ของคุณจะลดลง โค้ดแบบอะซิงโครนัส ใช้ astream ในลักษณะเดียวกัน
เครื่องมือและเอเยนต์
รองรับการเรียกใช้เครื่องมือ: API รับ tools และ tool_choice, สตรีม tool_calls และรับผลลัพธ์กลับเป็นข้อความ role: "tool" LangChain ห่อหุ้มสิ่งนี้ใน bind_tools
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
ผลลัพธ์จะแสดงรายการการเรียกที่โมเดลต้องการ พร้อมชื่อและอาร์กิวเมนต์ เรียกใช้สิ่งเหล่านั้น เพิ่มผลลัพธ์เป็นข้อความเครื่องมือ และเรียกโมเดลอีกครั้ง หรือให้เฟรมเวิร์กเอเยนต์เช่น LangGraph ทำงานลูปนั้น เอเยนต์ทำการเรียกหลายครั้งต่อคำขอของผู้ใช้ ดังนั้นจึงถึงขีดจำกัดอัตราต่อนาทีเร็วกว่าเชนธรรมดา นับจำนวนการเรียกต่อการรันก่อนเลือกระดับความพร้อมกัน
หน้าต่างบริบทมีขนาด 100,000 โทเคนสำหรับพรอมต์รวมกับการตอบกลับ ซึ่งเพียงพอสำหรับความจำการสนทนา อย่างไรก็ตาม ควรตัดการสนทนาเก่าออก: คุณจ่ายสำหรับประวัติทั้งหมดในทุกการเรียกที่ $0.15 ต่อ 1M โทเคนอินพุต
เอาต์พุต JSON
โหมด JSON มีให้ผ่าน response_format ใน LangChain คุณสามารถส่งผ่าน model_kwargs หรือใช้ตัวช่วยผลลัพธ์ที่มีโครงสร้างในโหมด JSON และอธิบายฟิลด์ในพรอมต์ของคุณ
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
ด้วย method="json_mode" พรอมต์ต้องบอกโมเดลว่าควรสร้างคีย์ใด จากนั้นคลาส Pydantic จะตรวจสอบผลลัพธ์ที่แยกวิเคราะห์ ให้มีกลไกการลองใหม่รอบๆ สำหรับการตอบกลับที่ผิดรูปแบบในกรณีที่หายาก
สิ่งที่ไม่รองรับ
สองฟีเจอร์หลักของ LangChain ต้องการแหล่งที่มาอื่น API นี้ไม่มี embeddings endpoint ดังนั้น OpenAIEmbeddings ที่ชี้มาที่นี่จะล้มเหลว สำหรับการดึงข้อมูลจากเอกสารของคุณ ให้ใช้โมเดล embedding ในเครื่องหรือผู้ให้บริการ embedding อื่น และใช้เอนด์พอยต์นี้เฉพาะสำหรับขั้นตอนแชท นอกจากนี้ยังไม่มีอินพุตรูปภาพหรือการสร้างภาพ ไม่มีเสียง และการปรับแต่งโมเดล ดังนั้น chains ด้านภาพและโหลดเดอร์มัลติโมดัลจึงใช้ไม่ได้
การจัดการข้อผิดพลาดส่วนใหญ่เกี่ยวข้องกับสถานะ 429 รหัส rate_limited หมายถึงคุณเกินขีดจำกัดต่อนาที, concurrency หมายถึงมีการเรียกพร้อมกันมากเกินไป และ 429 พร้อม Retry-After: 5 ระบุการโอเวอร์โหลดชั่วคราว ตั้งค่า max_retries บน ChatOpenAI เพื่อให้ไคลเอนต์รอและลองใหม่ คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน
ส่วนหัวของคำตอบช่วยในการตรวจสอบ: X-Balance-USD แสดงเครดิตคงเหลือของคุณ และ X-Request-Id ระบุการเรียกเพื่อขอการสนับสนุน
สลับระหว่างแบบในเครื่องและแบบโฮสต์ด้วยตัวแปรเดียว
หากคุณต้องการการตั้งค่าไฮบริด ให้ใส่การตั้งค่าสามอย่างในตัวแปรสภาพแวดล้อมและสร้างโมเดลในฟังก์ชันเดียว เชนของคุณนำเข้าฟังก์ชันนี้และไม่กล่าวถึงผู้ขาย
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
สาขาในเครื่องสมมติว่ามีเซิร์ฟเวอร์ Ollama บนพอร์ตเริ่มต้น ซึ่งเปิดให้ใช้เส้นทางสไตล์ OpenAI ภายใต้ /v1; ตรวจสอบเอกสารเซิร์ฟเวอร์ของคุณสำหรับที่อยู่และชื่อโมเดลที่เหมาะสม พฤติกรรมจะแตกต่างกันระหว่างโมเดล ดังนั้นให้รันพรอมต์ของคุณใหม่หลังการสลับ พรอมต์ที่ปรับแต่งสำหรับนิสัยของโมเดลหนึ่งอาจทำงานต่างออกไปบนอีกโมเดล และคุณภาพการเรียกใช้เครื่องมือแตกต่างกันไปตามโมเดล ดังนั้นให้ทดสอบเส้นทางเหล่านั้นก่อน
เวิร์กโฟลว์ที่เหมาะสมคือการพัฒนาพรอมต์กับโมเดลแบบโฮสต์ในขณะที่คุณไม่มี GPU ว่าง จากนั้นตัดสินใจว่าส่วนใดของแอปพลิเคชันที่ต้องอยู่ในเครื่องของคุณ เอกสารที่ละเอียดอ่อนสามารถใช้สาขาในเครื่องได้ และฟีเจอร์สร้างสรรค์ที่เปิดเผยต่อสาธารณะสามารถใช้แบบโฮสต์ได้
ค่าใช้จ่ายและขั้นตอนถัดไป
ราคา $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต จากเครดิตแบบเติมเงินล่วงหน้าโดยไม่ต้องสมัครสมาชิก การเรียก chain ที่มี 2,000 โทเคนอินพุตและ 500 โทเคนเอาต์พุตมีค่าใช้จ่าย 2,000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 การเรียกแบบเดียวกัน 1,000 ครั้งมีค่าใช้จ่าย $0.55 การเติมเงินตั้งแต่ $20 ถึง $500 ด้วยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส 5% จาก $50, 10% จาก $100 และ 15% จาก $200 รายละเอียดอยู่ที่หน้า ราคา
สำหรับการดู API เดียวกันผ่าน HTTP ธรรมดา อ่าน คู่มือเริ่มต้นอย่างรวดเร็ว เว็บไซต์ยังมีภาพรวมสั้นๆ ของ บริการจ่ายตามการใช้งาน
