DSPy: Promot Otomasyonu ve LLM Pipeline Compile 2026

DSPy nedir? DSPy, Stanford NLP Group tarafından geliştirilen ve büyük dil modeli (LLM) çağrılarını manuel prompt mühendisliği yerine programlanabilir modüller olarak tanımlayan bir Python framework’üdür. Geleneksel yaklaşımda “prompt”u string olarak elle yazıp denemeden öteye gidemezken, DSPy Signature, Module ve Teleprompter soyutlamalarıyla pipeline’ı PyTorch tarzı bir hesap grafiği olarak modelleyip etiketli veriden otomatik olarak optimize eder. GitHub deposu Mayıs 2026 itibarıyla yaklaşık 18.000 yıldız ve haftalık 90.000+ indirmeyle topluluk açısından LangChain ve LlamaIndex’in yanında kategorinin üçüncü ağır siklet aracı haline gelmiştir.

Bu yazı, kurumsal mühendislik ekipleri için DSPy’yi netleştirir: hangi sorunu çözüyor, hangi modülleri sunuyor, MIPROv2 ve BootstrapFewShot gibi optimize ediciler nasıl çalışıyor, üretim ortamında latency/maliyet profili nedir ve LangChain, LlamaIndex, Guidance gibi alternatiflere göre nerede konumlanıyor. Ölçülebilir referansları (paper sayıları, benchmark gains, fiyat tabloları) ve kararı kolaylaştıran karşılaştırma tablolarını birlikte sunuyoruz.

DSPy’nin Temel Tezi: Prompt’tan Programlamaya

Geleneksel LLM uygulaması üç tipik problemden mustariptir: (1) string olarak yazılmış prompt’lar modeli değiştirdiğinde kırılır, (2) few-shot örneklerin elle seçimi geliştiriciye saatlerce sürer, (3) zincirleme (RAG → reranker → answer) çağrılarda hangi bileşenin kalite düşüşüne yol açtığı belirsizdir. DSPy bu üç sorunu tek bir soyutlamayla çözmeyi hedefler: pipeline’ı declarative tanımla, optimizer‘a derlettir.

Omar Khattab ve arkadaşlarının 2023’te yayınladığı “DSPy: Compiling Declarative Language Model Calls Into Self-Improving Pipelines” makalesi (arXiv:2310.03714) framework’ün matematiksel zeminini kurar. Makale, GSM8K matematik benchmark’ında elle yazılmış chain-of-thought prompt’lara göre DSPy ile compile edilmiş pipeline’ın aynı modeli kullanırken yaklaşık %25 mutlak doğruluk artışı (yaklaşık 35 → 60) elde ettiğini raporlar. HotPotQA çok-adımlı soru-cevap görevinde benzer büyüklükte iyileşmeler dokümante edilmiştir.

Pratik açıdan tezin özeti şudur: “Prompt’u sen yazma, görevi tarifle, demonstrasyonları DSPy bulup birleştirsin.” Bu yaklaşımın metodolojik akrabası, kurumsal prompt engineering pratiklerinde anlatılan disiplinli prompt versiyonlamadır; DSPy bu disiplini insan değil makine optimize eden bir varyanta dönüştürür. Yöntemsel olarak, LLM özelleştirme üçgeninde (fine-tuning, RAG, prompt engineering) DSPy, prompt engineering ucunu programlanabilir kılarak fine-tuning maliyetine girmeden anlamlı kalite kazancı sunan dördüncü bir alternatif olarak konumlanır.

Mimari Bileşenler: Signature, Module, Teleprompter

DSPy’nin üç temel soyutlaması, framework’ün öğrenme eğrisini de tanımlar. Ekibinizdeki her ML mühendisinin önce bu üçlüyü içselleştirmesi gerekir.

• Signature: Bir modülün giriş ve çıkış alanlarını isim+açıklamayla bildiren type benzeri yapı. Örnek: "question -> answer" ya da "context, question -> reasoning, answer". Signature’lar Pydantic destekler ve yapılandırılmış JSON çıktı için kullanılır.
• Module: Bir veya daha fazla LLM çağrısını içeren çalıştırılabilir blok. Hazır gelenler: Predict (tek geçişli), ChainOfThought (akıl yürütme adımı ekler), ProgramOfThought (Python kodu üretir+çalıştırır), ReAct (tool kullanım döngüsü).
• Teleprompter (Optimizer): Etiketli örneklerden ve bir metrik fonksiyondan demonstrasyon seçen / instruction’ı yeniden yazan bileşen. Aktif sınıflar: BootstrapFewShot, BootstrapFewShotWithRandomSearch, MIPROv2, COPRO, BootstrapFinetune.
• Metric: Optimizer’ın gradient yerine kullandığı skaler değerlendirici. Exact match, F1, BLEU gibi klasik metriklerin yanı sıra LLM-as-judge fonksiyonları da geçerli.

Bu soyutlama hiyerarşisi, ReAct ve Reflexion gibi popüler agent pattern’lerini doğal olarak temsil eder; DSPy ReAct modülü, “Thought-Action-Observation” döngüsünü built-in sunar.

Pratik bir örnek üzerinden zihinde somutlaştırmak gerekirse: hukuki bir destek bileti sınıflandırma görevini düşünün. Signature’ı "ticket_text -> category, priority, reasoning" şeklinde tanımlarsınız. Module olarak dspy.ChainOfThought kullanırsınız; bu modül LLM’i önce “reasoning” alanını doldurmaya, sonra “category” ve “priority” alanlarını üretmeye yönlendirir. Teleprompter olarak MIPROv2 seçtiğinizde framework 200 etiketli biletinizden 6-12 demonstrasyon seçer, instruction metnini 8-15 farklı varyantla dener, dev set üzerinde her kombinasyonu skorlar ve en iyi konfigürasyonu kalıcı hale getirir. Sonuç olarak elinizde 4 KB’lık bir JSON dosyası kalır; bu JSON, ekip içinde “pipeline.json v1.3” olarak versiyonlanır ve değiştirme PR’ı code review’dan geçer. Manuel prompt yazımına göre temel kazanç budur: prompt artık metin değil, üzerinde versiyon kontrolü işleyen bir yapı.

Optimizer Karşılaştırması: BootstrapFewShot vs MIPROv2 vs COPRO

DSPy’de “compile” çağrısı aslında bir hiperparametre+demonstrasyon arama döngüsüdür. Hangi optimizer’ın hangi senaryoda mantıklı olduğunu netleştirelim. Aşağıdaki tablo Mayıs 2026 itibarıyla resmi DSPy optimizer rehberinden ve topluluk benchmark’larından derlenmiştir.

Optimizer	Ne yapar	Tipik training set	Compile süresi (Llama 3.1 70B)	Beklenen kalite kazancı	Ne zaman seç
LabeledFewShot	Sabit demo’lar seçer	10-50 örnek	1-3 dk	+%5-10	Baseline kontrol
BootstrapFewShot	Teacher model ile demo sentezler	50-200 örnek	10-25 dk	+%15-25	Sıfırdan başlangıç
BootstrapFewShotWithRandomSearch	N farklı demo seti dener	100-300 örnek	30-60 dk	+%20-30	Kalite hassas
MIPROv2	Instruction + demo ortak optimize	150-500 örnek	60-180 dk	+%25-40	Üretim seviyesi
COPRO	Sadece instruction’ı evrimleştirir	50-150 örnek	15-40 dk	+%10-20	Demo gizliliği önemli
BootstrapFinetune	Distile edilmiş weights üretir	500-5000 örnek	2-8 saat (GPU)	+%30-50	Inference cost kritik

MIPROv2 (“Multi-prompt Instruction Proposal v2”) topluluk içinde 2025 boyunca tercih edilen optimizer haline geldi; Bayesian optimization ile instruction adaylarını ve demo kombinasyonlarını birlikte arar. Khattab ekibinin Aralık 2024 raporladığı verilere göre MIPROv2, BootstrapFewShot üzerine ortalama %12 ek kalite getirmektedir.

DSPy vs LangChain vs LlamaIndex vs Guidance

Karar verme noktasında ekipler genelde dört aracı karşılaştırır. Önemli not: bunlar tam ikame değil; örtüşen ama farklı odaklı katmanlardır.

Boyut	DSPy	LangChain	LlamaIndex	Guidance
Asıl odak	Prompt/pipeline optimization	Genel orkestasyon	RAG ve indeks	Constrained decoding
GitHub stars (May 2026)	~18.000	~99.000	~38.000	~20.000
Otomatik optimize	Evet (teleprompter)	Yok	Sınırlı	Yok
Öğrenme eğrisi	Orta-yüksek	Orta	Düşük-orta	Düşük
Yapılandırılmış çıktı	Pydantic + Signature	Output parser	PydanticProgram	Regex/CFG seviyesinde
Tipik kullanım	Multi-hop QA, classification	Agent + tool chain	Document RAG	JSON/regex zorunluluğu
Üretimde olgunluk	Yükseliyor	Yüksek	Yüksek	Orta

Pratik öneri: RAG altyapısı kuruyorsanız LlamaIndex’i indeks katmanı için, DSPy’yi retrieval+reranker+generator zincirini compile etmek için katmanlı kullanmak güçlü bir kombinasyondur. LangChain LCEL ise multi-tool agent senaryolarında hâlâ ekosistem açısından önde; gerçek kararı tek başlı bir araç değil, görev tipine göre katmanlı kombinasyon yönlendirir.

Üretim Mimarisi: DSPy Pipeline’ı Compile-Save-Serve Akışı

DSPy’nin gerçek değeri, “compile et, ağırlıkları (yani prompt+demo seti) kaydet, hizmette aynısını yükle” akışında ortaya çıkar. Bu, ekiplerin fine-tuning maliyetine girmeden düşük maliyetli özelleştirme alternatifi arayışına denk düşer.

1. Veri toplama: 150-500 etiketli (input, expected_output) çifti. Üretim loglarından örnekleme yaygın bir desendir.
2. Train/Dev/Test split: Genelde 60/20/20. Dev seti optimizer’ın seçim yapacağı set; test seti kapalı bırakılır.
3. Metric tanımı: Görev exact-match ise dspy.evaluate.answer_exact_match. Daha esnek değerlendirme için LLM-as-judge.
4. Pipeline tanımı: dspy.Module alt sınıfı, __init__‘te alt modülleri kaydet, forward‘da çağrı sırasını yaz.
5. Compile: compiled = MIPROv2(metric=...).compile(program, trainset=...).
6. Persist: compiled.save("pipeline.json") ile demonstrasyon+instruction artefaktı JSON olarak yaz.
7. Serve: Üretim servisinde aynı sınıfı tanımla, program.load("pipeline.json") ile geri yükle.
8. Re-compile cron: Yeni etiketli veri biriktikçe (örn. iki haftada bir) otomatik recompile.

Bu akış, MLOps disiplinini prompt katmanına taşır. Pipeline JSON’ları Git’te versiyonlanabilir, kod değişikliği gibi review edilir. Bir yönetilen LLM danışmanlık projesinde Ömer Önal, müşterinin sözleşme sınıflandırma pipeline’ını MIPROv2 ile compile ettikten sonra prompt değişikliği başvurularını PR sürecine bağlayarak değişiklik nedenini izlenebilir hale getirdi; bu, RankMath ve manuel düzenlemelerin aksine üretimde kontrolü yeniden mühendislere verir.

Latency, Maliyet ve Token Profilleri

DSPy çekici görünüyor; ama compile sırasında ek LLM çağrıları (teacher model çağrıları) ve inference sırasında daha kabarık few-shot prompt’lar maliyet yaratır. Tipik bir multi-hop QA pipeline’ında 8 demo eklendiğinde input token’ları kabaca 1.500-3.000 arası şişer.

Senaryo	Input tokens (avg)	Output tokens (avg)	Per-call maliyet (GPT-4o-mini, $0.15/1M giriş)	Latency p50 (ms)	Latency p95 (ms)
Düz Predict, zero-shot	250	120	~$0.000113	650	1.400
ChainOfThought + 4 demo	1.100	220	~$0.000297	950	2.100
MIPROv2-compiled + 8 demo	2.400	260	~$0.000516	1.250	2.700
ReAct + 3 tool çağrısı	3.800	450	~$0.000840	3.500	7.200
BootstrapFinetune sonrası	450	180	~$0.000175 (+GPU amortizasyon)	700	1.500

Bu tablodan iki kritik çıkarım vardır. Birincisi: MIPROv2-compiled pipeline, zero-shot baseline’a göre yaklaşık 4.5x daha pahalıdır ama %25-40 kalite artışı sunar; ROI hesabı görevin hata maliyetine bağlıdır. İkincisi: Eğer trafiğiniz günde 1M çağrıyı geçiyorsa BootstrapFinetune ile distile küçük model + kısa prompt yaklaşımı yıllık altı haneli dolar tasarruf yaratabilir. Anthropic veya OpenAI prompt caching aktif edildiğinde uzun few-shot prefix’leri %50-90 indirimle çağrılabilir; bu DSPy’nin maliyet dezavantajını büyük ölçüde kapatır.

Tipik Use Case’ler ve Sektör Uygulamaları

DSPy’nin nerede en çok fayda sağladığına dair Mayıs 2026 itibarıyla toplulukta gözlemlenen desenler:

• Multi-hop soru-cevap: Tek soruyu birden fazla alt soruya bölüp her birine retrieval yapan akış. HotPotQA tarzı kurumsal bilgi tabanı senaryoları. Ne zaman seç: cevabın 2-3 farklı kaynaktan birleştirilmesi gerektiğinde.
• Sınıflandırma ve etiketleme: Destek bileti routing, sözleşme sınıflandırma, hukuki ön inceleme. Avantaj: az veriyle yüksek doğruluk. Dezavantaj: çok sınıflı (50+) senaryoda demo seçimi pahalı.
• Yapılandırılmış bilgi çıkarımı: Faturadan tutar/tarih/satıcı çıkarımı, makaleden author/affiliation çıkarımı. Pydantic Signature ile JSON şema garanti.
• RAG zincirleri: Retriever-Reranker-Generator üçlüsü tek compile çağrısında birlikte optimize edilir; Ragas veya TruLens benzeri eval framework’leri ile metric tanımı yapılır.
• Agentic iş akışları: ReAct + tool çağrısı kombinasyonu, function calling/tool use tasarımıyla yakın akrabadır ve durum takibi için scratchpad mekanizması kullanır.
• Türkçe NLP görevleri: Tokenizer farkı nedeniyle Türkçe için demo sayısı 1.5x artırılmalı. Türkçe NLP çözümlerinde DSPy ile GPT-4o-mini, Türkçe entity extraction’da yaklaşık %88 F1’e ulaşabilmektedir.

Kurumsal entegrasyon perspektifinden bakıldığında DSPy, agentic AI iş akışları mimarisinin “prompt yönetişimi” sütununu doldurur: hangi prompt’un üretimde çalıştığı sorusuna deterministik bir JSON dosyasıyla cevap verir ve multi-step agent’ların prompt katmanını compile etmenin tek olgun yolunu sunar.

Metric Tasarımı ve LLM-as-Judge Pratikleri

DSPy optimizer’ı gradient yerine bir skaler metric optimize ettiğinden, metric tasarımı kalite tavanını belirler. Üç tipik metric ailesi:

1. Yer değiştirme bazlı (Exact Match, Token F1): Hızlı, deterministik, ama paraphrase’i cezalandırır. Klasifikasyon görevleri için iyi.
2. Embedding bazlı (Cosine similarity, BERTScore): Paraphrase’e dayanıklı, ama “doğru ama yanlış formatta” cevapları yanlış değerlendirebilir.
3. LLM-as-judge (G-Eval, MT-Bench tarzı): En esnek, en pahalı. Compile süresinde ek 2-5x maliyet ekler. G-Eval makalesi insan değerlendirme korelasyonunu Spearman 0.51’e çıkardığını raporlar.

Metric güvenilirliği zayıfsa “halüsinasyon ödüllendiren” optimize akışları doğabilir. LLM halüsinasyon azaltma stratejilerinden grounding-skor metriği, DSPy ile bütünleştiğinde compile aşamasında halüsine demo’ları filtreler. Pratik öneri: metrik fonksiyonunu önce ~30 örnekte insan etiketiyle kalibre edin, korelasyon <0.4 ise metrik yetersizdir.

Bilinen Sınırlar, Risk ve Anti-pattern’ler

DSPy’nin bir gümüş kurşun olmadığı çok sayıda yerde dokümante edildi. GitHub issue tracker‘da en sık tartışılan başlıklar:

Risk / Anti-pattern	Belirti	Önerilen önlem
Yetersiz train set (<30 örnek)	Compile sonrası test seti kalitesinde düşüş	En az 50-100 etiketli örnek topla
Test setine sızıntı	Compile çıktısı muhteşem, prod feci	Test seti compile akışına girmesin
Metric LLM-as-judge with same model	Reward hacking, döngüsel	Judge modelini target’tan farklı seç
Pipeline JSON’unu pin’lemeden serve	Sürekli değişen davranış	Pipeline JSON’unu Git’te versiyonla
Token bütçesi planlamama	Üretimde rate limit + maliyet patlaması	Compile öncesi p95 token tahmini yap
Recompile kadansının olmaması	Veri dağılımı kayınca kalite düşer	Aylık veya iki haftada bir cron

Ayrıca DSPy “compile” çağrısı stochastic’tir; aynı seed verilmediğinde aynı sonucu üretmez. dspy.settings.configure(seed=42) ve LLM provider’da temperature=0 ile sabitlemek üretim için gerekli.

Model Bazında DSPy Davranışı: Hangi LLM Hangi Senaryoda

DSPy “model agnostic” sloganıyla pazarlansa da pratikte her modelin instruction following, demo verisini kullanma ve token bütçesi açısından farklı bir karakteri vardır. Aşağıdaki tablo, topluluk benchmark’larında ve Artificial Analysis verilerinde dokümante edilen 2025 Q4 ölçümlerinden derlenmiştir.

Model	Context window	DSPy uyumluluk	MIPROv2 ile tipik kazanç	Tipik giriş fiyatı ($/1M)	Önerilen rol
GPT-4o	128K	Mükemmel	+%30-40	~$2.50	Teacher model
GPT-4o-mini	128K	Çok iyi	+%25-35	~$0.15	Student / üretim
Claude 3.7 Sonnet	200K	Mükemmel	+%28-38	~$3.00	Multi-hop QA
Gemini 2.0 Flash	1M	İyi	+%20-30	~$0.10	Uzun context görev
Llama 3.1 70B (self-host)	128K	İyi	+%22-32	~$0.40 (vLLM)	Veri egemenliği zorunlu
Mistral Large 2	128K	İyi	+%18-28	~$2.00	Avrupa veri rezidansı

Pratik desen: teacher-student bootstrap. Compile sırasında pahalı bir teacher (GPT-4o veya Claude 3.7) demonstrasyon sentezler, üretim ucuz student modelle (GPT-4o-mini veya self-hosted Llama) çalışır. Stanford ekibinin Şubat 2026 raporladığı veriler, bu desende üretim maliyetinin teacher-only kuruluma göre 8-15x düştüğünü ve kalitenin teacher seviyesinin %85-92’sinde kaldığını gösterir. AI destekli veri analitiği projelerinde bu desen, BI dashboard üreten LLM çağrılarının bütçesini kontrol altında tutan ana mekanizmadır.

Roadmap ve Ekosistem Komşuları (Mayıs 2026)

Stanford NLP ekibinin Nisan 2026 açıkladığı roadmap’e göre 2026 ikinci yarısında öne çıkan başlıklar: tipli Signature genişlemesi (TypedPredictors), MIPROv3 (multi-objective Bayesian), dspy.Streamify ile token-level streaming, retriever olarak built-in OpenAI Vector Store ve Pinecone v3 entegrasyonu.

Bu son madde vector veritabanı seçimini ve Türkçe embedding modeli karşılaştırmasını doğrudan etkiler; retriever olarak hangi embedding modelinin kullanıldığı DSPy compile sonucundaki kaliteyi belirleyen tek değişkenlerden biridir.

Ekosistem komşuları açısından üç entegrasyon güçleniyor: (a) LangSmith ile observability, (b) Weights & Biases Weave ile compile run tracking, (c) LiteLLM ile çoklu provider unifikasyonu (Anthropic Claude 3.7, Mistral Large 2, Google Gemini 2.0 hepsi tek arayüz).

Üretim ekiplerinin “agentic” yöne gitme arzusunda DSPy ReAct + tool kullanım modülleri kurumsal otomasyon mimarisinin alt yapı taşı olabilir; ancak çoklu-tool senaryolarda LangGraph + DSPy kombinasyonu hâlâ en pragmatik desendir. Tool registry tarafında klasik function calling/tool use şemaları, DSPy ReAct modülü tarafından adı verilen tool listesi olarak doğrudan beslenebilir.

Sık Sorulan Sorular (SSS)

Sonuç

DSPy, LLM uygulamalarını “prompt yazma sanatı”ndan “veriden öğrenen pipeline mühendisliği”ne taşıyan en olgun açık kaynak framework. Stanford ekibinin paper’ları ve MIPROv2 gibi optimize edicilerin 2024-2026 dönemindeki istikrarlı kalite kazançları, kategoriyi LangChain ve LlamaIndex’in yanına oturtmaya yetti. Avantajı: model versiyonu değiştiğinde recompile ile prompt’u baştan yazmadan kalite restore edilir; veri biriktikçe sistem otomatik iyileşir. Dezavantajı: compile başlangıç maliyeti ve few-shot şişmesi nedeniyle inference fiyatı klasik zero-shot’a göre 2-5x artabilir.

Karar çerçevesi netleştirelim. DSPy’yi seç: (1) en az 100 etiketli örneğin var, (2) görev tek prompt çağrısı değil 2+ adımlı, (3) recompile ve metric ölçümü için MLOps disiplinin var, (4) kalite kazancı için %50-300 ek inference maliyetini absorbe edebiliyorsun. Aksi durumda LangChain LCEL + manuel prompt yönetimi ya da LlamaIndex saf RAG tek başına yeterli olabilir. Hibrit kurulum (LlamaIndex index + DSPy compile + LangGraph agent) en güçlü 2026 deseni; ama ekibinizin Python, MLOps ve LLM ekonomisi olgunluğu olmadan bu kombinasyon kontrolden çıkar.

Türkçe içerik üreten, Türk müşterilere LLM çözümü kuran ekipler için ek bir dikkat noktası: DSPy default tokenizer’ı Türkçe için ekstra %30-50 token tüketebilir; kurumsal chatbot geliştirme projelerinde compile öncesi token profili çıkarmak elzem. Eğer DSPy ile multi-hop QA veya sınıflandırma pipeline’ı kurmaya hazırlanıyorsanız ve hangi optimizer’la başlayacağınızı kestiremiyorsanız, danışmanlık için iletişim formundan ulaşabilirsiniz; mevcut LLM yığınınız üzerine 2 haftalık pilot compile akışı tasarlanabilir.