Yerel veya barındırılan: sizi en çok zorlayan kısıta göre seçin
Yerel model ile LangChain arayanlar genellikle üç şeyden birini ister: gizlilik, token başına fatura olmaması veya bir satıcıdan bağımsızlık. Kendi makinenizdeki bir model, Ollama veya llama.cpp gibi bir araç tarafından sunulur, donanımınız onu kullanılabilir bir hızda çalıştırabiliyorsa üçünü de sağlar. Bedeli, kurulum süresi, bellek sınırları ve sahip olduğunuz GPU veya CPU'nun hızıdır.
Barındırılan bir uç nokta, bunları küçük bir kullanım maliyeti karşılığında sağlar. İstemleri ağ üzerinden gönderirsiniz ve model başkalarının donanımında çalışır. Burada bu, yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış bir açık ağırlıklı modeli ve OpenAI uyumlu bir API üzerinden sunulan bir hizmeti ifade eder. İstemler eğitim için kullanılmaz, ancak makinenizden ayrılırlar; bu nedenle verileriniz asla makinenizden ayrılmamalı kuralınız varsa, barındırılan bir hizmet yanlış bir çözümdür.
LangChain geliştiricisi için faydalı olan kısım, kodun neredeyse hiç farklı olmamasıdır. Ollama ve llama.cpp gibi yerel sunucular OpenAI tarzı uç noktalar sağlar ve barındırılan bir uç nokta aynı protokolü kullanır. Uygulamanızı yapılandırılabilir bir base URL ile ChatOpenAI üzerinden yazarsanız, yerel olarak geliştirebilir ve ortam değişkeniyle barındırılan modele geçiş yapabilirsiniz. Bu, küçük bir yerel model üzerinde iterasyon yapmanızı ve GPU'ya sahip olmadan daha büyük bir modelin davranışını kullanmak istediğinizde barındırılan modeli kullanmanızı sağlayan pratik bir hibrit sunar.
ChatOpenAI'yi uç noktaya bağlayın
Entegrasyon paketini yükleyin, ardından önemli olan üç ayarla model nesnesini oluşturun.
pip install langchain-openai langchain-core
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Bu çalışırsa, geri kalanı aynı şekilde çalışır. Anahtarınızı API anahtarı sayfası'ndan alın; yeni kullanıcılar kayıt olduktan sonra tek tıkla, kart gerekmeden, $0.50 deneme kredisi talep edebilir. Farklı kütüphane sürümlerinin farklı değişken adlarını okuması ve varsayılan OpenAI ana sunucusuna sessizce düşmenin anahtarınızı yanlış yere göndermesi nedeniyle, ortam değişkenine güvenmek yerine base URL'yi kodda açıkça geçirin. Ödeme yalnızca kripto (USDT TRC20, USDC Base) ile yapılır; kredi kartı kabul edilmez.
Model adı insanların takıldığı tek yerdir. Burada tek ID uncensored'dir. llama3 veya gpt-4o gibi bir ad tanınmayacaktır.
İstem şablonu ile bir zincir
İstem, model ve çıktı ayrıştırıcısının standart hattı değişmeden çalışır. Bu örnek, metni seçilen bir üslupta özetler.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a writing assistant. Answer in a {tone} tone."),
("human", "Summarize in two sentences:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "dry", "text": "Long article text goes here..."}))
Çok sayıda girdi için batch kullanın ve eşzamanlılığı sınırlayın. Tam anahtar 8 eşzamanlı istek ve dakika başına 300 istek izni verir, bu nedenle ayarı 8 veya altında tutun:
results = chain.batch(
[{"tone": "dry", "text": t} for t in documents],
config={"max_concurrency": 6},
)
Deneme anahtarı yalnızca 2 eşzamanlı istek ve dakikada 60 izin verir, bu nedenle test sırasında max_concurrency değerini 2 olarak kullanın.
Akış
API Server-Sent Events üzerinden akış yapar ve LangChain bunu stream üzerinden sunar. Bir kişinin cevabı izlediği sohbet arayüzleri için kullanın.
for chunk in llm.stream("Write a short scene set in a lighthouse."):
print(chunk.content, end="", flush=True)
Pratik bir detay: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu korur. Arayüzünüz bir akışı yolda bırakırsa, oluşturucuyu kapatın, aksi takdirde eşzamanlılık payınız azalır. Asenkron kod, astream'ı aynı şekilde kullanır.
Araçlar ve ajanlar
Araç çağırma desteklenir: API tools ve tool_choice kabul eder, tool_calls akış yapar ve sonuçları role: "tool" mesajları olarak alır. LangChain bunu bind_tools ile sarar.
from langchain_core.tools import tool
@tool
def dice(sides: int) -> int:
"Roll a die with the given number of sides."
import random
return random.randint(1, sides)
llm_tools = llm.bind_tools([dice])
msg = llm_tools.invoke("Roll a twenty-sided die for the goblin attack.")
print(msg.tool_calls)
Sonuç, modelin yapmak istediği çağrıları listeler. Bunları çalıştırın, sonuçları araç mesajları olarak ekleyin ve modeli tekrar çağırın veya LangGraph gibi bir ajan çerçevesi bu döngüyü çalıştırsın. Ajanlar kullanıcı isteği başına çok sayıda çağrı yapar, bu nedenle basit zincirlerden daha hızlı dakikalık limite çarpar. Bir eşzamanlılık düzeyi seçmeden önce çalıştırma başına çağrı sayısını hesaplayın.
Bağlam penceresi, istem ve tamamlamanın toplamı için 100.000 token'dır ve bu, konuşma belleği için cömert bir sayıdır. Yine de, eski konuşmaları kısaltın: her çağrıda tüm geçmiş için ödersiniz ve bu da 1M girdi token başına $0,15'tir.
JSON çıktısı
JSON modu response_format üzerinden mevcuttur. LangChain'de bunu model_kwargs ile geçebilir veya JSON modunda yapılandırılmış çıktı yardımcı programını kullanabilir ve alanları isteminizde tanımlayabilirsiniz.
from pydantic import BaseModel
class Character(BaseModel):
name: str
role: str
secret: str
structured = llm.with_structured_output(Character, method="json_mode")
out = structured.invoke(
"Invent a character for a mystery story. Reply in JSON with keys name, role, secret."
)
print(out)
method="json_mode" ile istem, modele hangi anahtarları üretmesi gerektiğini söylemelidir; Pydantic sınıfı ayrıştırılmış sonucu doğrular. Nadir bozuk yanıtlar için etrafına bir yeniden deneme ekleyin.
Desteklenmeyenler
İki LangChain temel öğesi farklı bir kaynağa ihtiyaç duyar. API'de embedding uç noktası olmadığı için, OpenAIEmbeddings burada başarısız olur. Belgeleriniz üzerinde getirme yapmak için yerel bir embedding modeli veya başka bir embedding sağlayıcısı kullanın ve bu uç noktayı yalnızca sohbet adımı için kullanın. Ayrıca görüntü girişi veya üretimi, ses ve ince ayar desteği de yoktur; bu nedenle çok modlu zincirler ve yükleyiciler uygun değildir.
Hata yönetimi çoğunlukla 429 yanıtları ile ilgilidir. rate_limited kodu dakikalık sınırı aştığınızı, concurrency çok fazla eşzamanlı çağrı olduğunu ve Retry-After: 5 ile 429 geçici aşırı yükü işaret eder. İstemcinin beklemesi ve yeniden denemesi için ChatOpenAI üzerinde max_retries ayarlayın. Başarısız ve reddedilen istekler ücretlendirilmez.
Yanıt başlıkları izleme için yardımcı olur: X-Balance-USD kalan kredinizi gösterir ve X-Request-Id bir çağrıyı destek için tanımlar.
Tek değişkenle yerel ve barındırılan arasında geçiş yapma
Hibrit kurulumu istiyorsanız, üç ayarı ortam değişkenlerine koyun ve modeli tek bir işlevde oluşturun. Zincirleriniz bu işlevi içe aktarır ve bir satıcıdan bahsetmez.
import os
from langchain_openai import ChatOpenAI
def make_llm():
if os.environ.get("LLM_MODE") == "local":
return ChatOpenAI(
model=os.environ["LOCAL_MODEL"],
base_url="http://localhost:11434/v1",
api_key="not-needed",
)
return ChatOpenAI(
model="uncensored",
base_url="https://api.llmproxyapi.com/v1",
api_key=os.environ["LLMPROXY_API_KEY"],
)
Yerel dal, varsayılan bağlantı noktasında çalışan ve /v1 altında OpenAI tarzı bir rota sunan bir Ollama sunucusunu varsayar; doğru adres ve model adı için kendi sunucu belgelerinizi kontrol edin. Davranış modeller arasında farklılık gösterecektir, bu nedenle geçişten sonra isteklerinizi yeniden çalıştırın. Bir modelin alışkanlıkları için ayarlanmış bir istem, başka birinde farklı davranabilir ve araç çağırma kalitesi modele göre değişir, bu nedenle önce bu yolları test edin.
Mantıklı bir iş akışı, boş bir GPU'nuz yokken istemleri barındırılan model üzerinde geliştirmek, ardından uygulamanın hangi kısımlarının kendi makinenizde kalması gerektiğine karar vermektir. Hassas belgeler yerel dalı kullanabilir, halka açık yaratıcı özellikler barındırılanı kullanabilir.
Maliyet ve sonraki adımlar
Fiyatlandırma, ön ödemeli kredi ile, abonelik olmadan, 1M girdi token başına $0.15 ve 1M çıktı token başına $0.50'dir. 2.000 girdi token ve 500 çıktı token içeren bir zincir çağrısı 2.000 x $0.15 / 1M + 500 x $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 maliyetine sahiptir. Bin böyle çağrı $0.55'e mal olur. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile bakiye yükleme $20 ile $500 arasında yapılır; $50'den itibaren %5, $100'den itibaren %10 ve $200'den itibaren %15 bonus sağlanır. Detaylar fiyatlandırma sayfasında yer almaktadır.
Aynı API'nin düz HTTP görünümü için hızlı başlangıç sayfasını okuyun. Sitede ayrıca kullandıkça öde hizmetine dair kısa bir genel bakış da bulunur.
