Lokal atau terhost: pilih berdasarkan kendala yang paling membebani
Pengguna yang mencari LangChain dengan model lokal biasanya menginginkan salah satu dari tiga hal: privasi, tidak ada tagihan per token, atau kemandirian dari vendor. Model di mesin Anda sendiri, yang dilayani oleh alat seperti Ollama atau llama.cpp, memberikan ketiganya jika Anda memiliki perangkat keras yang dapat menjalankannya dengan kecepatan yang dapat digunakan. Kerugiannya adalah waktu setup, batas memori, dan kecepatan GPU atau CPU yang Anda miliki.
Endpoint terhost menukar hal-hal tersebut dengan biaya penggunaan kecil. Anda mengirim prompt melalui jaringan, dan model berjalan di perangkat keras orang lain. Di sini, itu berarti model bobot terbuka, yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dilayani melalui API OpenAI-compatible. Prompt tidak digunakan untuk pelatihan, tetapi mereka meninggalkan mesin Anda, sehingga layanan terhost adalah jawaban yang salah jika aturan Anda adalah data tidak boleh meninggalkannya.
Bagian yang berguna bagi pengembang LangChain adalah kodenya hampir tidak berbeda. Server lokal seperti Ollama dan llama.cpp mengekspos endpoint bergaya OpenAI, dan endpoint terhost menggunakan protokol yang sama. Jika Anda menulis aplikasi Anda terhadap ChatOpenAI dengan base URL yang dapat dikonfigurasi, Anda dapat mengembangkan secara lokal dan beralih ke model terhost dengan variabel lingkungan. Itu memberi Anda hibrida praktis: iterasi pada model lokal kecil, dan gunakan yang terhost saat Anda menginginkan perilaku model yang lebih besar tanpa memiliki GPU.
Hubungkan ChatOpenAI ke endpoint
Instal paket integrasi, lalu buat objek model dengan tiga pengaturan yang penting.
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Jika ini berjalan, semuanya berfungsi dengan cara yang sama. Dapatkan kunci Anda dari halaman kunci API; pengguna baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik di sana setelah mendaftar, tanpa kartu. Teruskan base URL secara eksplisit dalam kode daripada mengandalkan variabel lingkungan, karena versi perpustakaan yang berbeda membaca nama variabel yang berbeda dan fallback diam ke host OpenAI default akan mengirimkan kunci Anda ke tempat yang salah.
Nama model adalah satu tempat di mana orang tersandung. Satu-satunya ID di sini adalah uncensored. Nama seperti llama3 atau gpt-4o tidak akan dikenali.
Chain dengan template prompt
Pipeline standar prompt, model, dan parser output berjalan tanpa perubahan. Contoh ini meringkas teks dengan nada yang dipilih.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
Untuk banyak input, gunakan batch dan batasi paralelisme. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit, jadi pertahankan pengaturan di 8 atau lebih rendah:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
Kunci uji coba hanya memungkinkan 2 permintaan konkuren dan 60 per menit, jadi gunakan max_concurrency sebesar 2 saat pengujian.
Streaming
API melakukan streaming melalui Server-Sent Events, dan LangChain mengekspos ini melalui stream. Gunakan ini untuk antarmuka chat di mana seseorang melihat jawaban terbentuk.
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
Satu detail praktis: permintaan yang di-streaming mempertahankan slot konkurensinya hingga stream selesai. Jika UI Anda meninggalkan stream di tengah jalan, pastikan generator ditutup, atau cadangan kapasitas konkurensi Anda akan menyusut. Kode asinkron menggunakan astream dengan cara yang sama.
Tools dan agen
Tool calling (pemanggilan tool) didukung: API menerima tools dan tool_choice, melakukan streaming pada tool_calls, dan menerima kembali hasilnya sebagai pesan role: "tool". LangChain membungkus ini dalam bind_tools.
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
Hasilnya mencantumkan panggilan yang diinginkan model, dengan nama dan argumen. Jalankan panggilan tersebut, lampirkan hasilnya sebagai pesan alat dan panggil model lagi, atau biarkan kerangka kerja agen seperti LangGraph menjalankan loop itu. Agen melakukan banyak panggilan per permintaan pengguna, sehingga mereka mencapai batas per menit lebih cepat daripada chain sederhana. Hitung panggilan per eksekusi sebelum memilih tingkat konkurensi.
Jendela konteks adalah 100.000 token untuk prompt plus completion, yang cukup besar untuk memori percakapan. Meskipun demikian, pangkas putaran lama: Anda membayar untuk seluruh riwayat pada setiap panggilan sebesar $0,15 per 1M token input.
Output JSON
Mode JSON tersedia melalui response_format. Di LangChain, Anda dapat meneruskannya dengan model_kwargs atau menggunakan helper output terstruktur dalam mode JSON, dan mendeskripsikan bidang dalam prompt Anda.
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
Dengan method="json_mode", prompt harus memberi tahu model kunci mana yang harus dihasilkan; kelas Pydantic kemudian memvalidasi hasil yang diparsing. Pertahankan retry di sekitarnya untuk balasan tidak valid yang jarang terjadi.
Apa yang tidak didukung
Dua komponen utama LangChain memerlukan sumber yang berbeda. API ini tidak memiliki endpoint embedding, sehingga OpenAIEmbeddings yang diarahkan ke sini akan gagal. Untuk retrieval atas dokumen Anda, gunakan model embedding lokal atau penyedia embedding lain, dan gunakan endpoint ini hanya untuk langkah chat. API ini juga tidak memiliki input gambar atau generasi, tidak ada audio, dan tidak ada fine-tuning, sehingga chain visi dan pemuat multimodal tidak tersedia.
Penanganan error sebagian besar tentang respons 429. Kode rate_limited berarti Anda melebihi batas per menit, concurrency berarti terlalu banyak panggilan paralel, dan 429 dengan Retry-After: 5 menandai kelebihan beban sementara. Atur max_retries pada ChatOpenAI agar klien menunggu dan mencoba lagi. Permintaan yang gagal dan ditolak tidak dikenakan biaya.
Header respons membantu dengan pemantauan: X-Balance-USD menunjukkan sisa kredit Anda dan X-Request-Id mengidentifikasi panggilan untuk dukungan.
Beralih antara lokal dan terhost dengan satu variabel
Jika Anda menginginkan setup hibrida, masukkan tiga pengaturan ke dalam variabel lingkungan dan buat model dalam satu fungsi. Chain Anda mengimpor fungsi itu dan tidak menyebutkan vendor.
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
Cabang lokal mengasumsikan server Ollama di port defaultnya, yang mengekspos rute bergaya OpenAI di bawah /v1; periksa dokumentasi server Anda sendiri untuk alamat dan nama model yang tepat. Perilaku akan berbeda antar model, jadi jalankan ulang prompt Anda setelah beralih. Prompt yang disesuaikan untuk kebiasaan model tertentu dapat berperilaku berbeda di model lain, dan kualitas tool calling bervariasi tergantung model, jadi uji jalur itu terlebih dahulu.
Alur kerja yang masuk akal adalah mengembangkan prompt terhadap model terhost saat Anda tidak memiliki GPU yang tersedia, lalu memutuskan bagian mana dari aplikasi yang harus tetap di mesin Anda sendiri. Dokumen sensitif dapat menggunakan cabang lokal, dan fitur kreatif yang berorientasi publik dapat menggunakan yang terhost.
Biaya dan langkah selanjutnya
Harga adalah $0.15 per 1M token input dan $0.50 per 1M token output, diambil dari saldo prabayar tanpa langganan. Satu panggilan rantai dengan 2.000 token input dan 500 token output biayanya 2.000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055. Seribu panggilan seperti itu biayanya $0.55. Top-up mulai dari $20 hingga $500 dengan kripto (USDT pada TRC20, USDC pada Base), dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Detailnya ada di halaman harga.
Untuk melihat API yang sama melalui HTTP biasa, baca quickstart. Situs ini juga memiliki ringkasan singkat tentang layanan bayar sesuai pemakaian.
