LLM-as-a-Judge 2026: AI ile AI Cikti Degerlendirme Rehberi

LLM-as-a-Judge, üretken yapay zeka çıktısının kalitesini ölçmek için ikinci bir büyük dil modelini hakem olarak kullanma metodolojisidir. İnsan değerlendiricilerin saatler harcadığı subjektif kalite kontrolünü, dakikalar içinde tutarlı skorlara çeviren bu yaklaşım, 2026 itibarıyla kurumsal LLM üretim hatlarının vazgeçilmez kontrol katmanı haline geldi. OpenAI’ın 2024 sonu yayınladığı evals framework, Anthropic’in 2025 başında duyurduğu Constitutional Classifier ve Google’ın Vertex AI Evaluation Service ile yapay zeka değerlendirme pratiği, model olarak hakem (LLM as judge) paradigmasında konsolide oldu. Lianmin Zheng ve ekibinin 2023’te yayımladığı MT-Bench makalesi (arXiv:2306.05685), GPT-4’ün insan değerlendirici uyumunda %85’in üzerinde başarı sağladığını gösterdiğinden bu yana metodoloji hızla olgunlaştı; 2026’da 1.000.000 RAG yanıtını manuel inceleme bütçesi (yaklaşık 200.000 USD insan kalitesinde) yerine yaklaşık 800-1.500 USD API maliyetiyle değerlendirme yapılabiliyor.

Bu makale, LLM as judge nedir sorusunun teknik temellerini, yargıç prompt mühendisliğini, bias problemlerini, üretim mimarisini ve maliyet/kalite dengesini somut benchmark verileriyle açıklıyor. Hedef kitle: LLM üretiminde QA otomasyonu kuran ML mühendisleri, RAG hattını gözlemleyen platform ekipleri ve AI ürün güvenilirliği için skor-tabanlı SLO tanımlayan yöneticiler. Yöntemi sahaya inerken aceleyle uygulayan ekiplerin gözden kaçırdığı bias kaynaklarını, calibration adımlarını ve hibrit insan-AI değerlendirme döngülerini de detaylandırıyoruz.

LLM-as-a-Judge Nedir ve Neden 2026’da Standart Oldu

LLM-as-a-Judge, bir yapay zeka çıktısını (genellikle başka bir LLM’in ürettiği yanıt) değerlendirmek için GPT-4, Claude veya Gemini gibi yüksek kapasiteli bir modeli “hakem” rolünde kullanan değerlendirme tekniğidir. Klasik metrikler (BLEU, ROUGE, BERTScore) yüzeysel n-gram örtüşmesini ölçer ve doğal dil üretimi gibi serbest çıktı görevlerinde insan algısıyla zayıf korelasyon kurar. MT-Bench çalışmasında BLEU ile insan tercihinin Pearson korelasyonu 0.32 iken, GPT-4 yargıcının insan tercihiyle uyumu 0.82’ye ulaştı. 2024’ten itibaren Stanford HELM, Hugging Face LMSYS Chatbot Arena ve Anthropic Eval frameworkleri tek tek özelliklerden (relevance, factuality, coherence) çok-boyutlu rubric değerlendirmesine geçti.

2026’da metodolojinin standartlaşmasının üç pratik sebebi var: birincisi, kurumsal RAG sistemlerinin günde 100.000+ yanıt üretmesi manuel QA’i imkânsız kıldı; ikincisi, GPT-4o, Claude 4 Opus ve Gemini 2.5 Pro hakem modellerinin maliyeti 2023’e göre yaklaşık %75 düştü (OpenAI fiyat tablosu: gpt-4o-2024-08 girdi 2.50 USD/M token, gpt-4o-mini 0.15 USD/M token); üçüncüsü, NIST AI 600-1 risk yönetim çerçevesi ve EU AI Act Article 15 model değerlendirme dökümantasyonunu zorunlu kıldı. Türkiye’de KVKK Yapay Zeka Kılavuzu Mart 2025 sürümü de “yapay zeka çıktısının bağımsız test mekanizmasıyla doğrulanması”nı işliyor.

Değerlendirme Yöntemi	İnsan Uyumu (Pearson)	1K Örnek Maliyeti (USD)	Süre	Tekrarlanabilirlik
Manuel insan değerlendirme	1.00 (ground truth)	~200	~40 saat	Orta (annotator variance)
BLEU/ROUGE	0.30-0.40	0.05	~2 dakika	Çok yüksek
BERTScore	0.50-0.60	0.30	~5 dakika	Yüksek
GPT-4o Judge (single)	0.78-0.84	~3.50	~12 dakika	Yüksek (temp 0)
Claude 4 Opus Judge	0.80-0.86	~12	~18 dakika	Yüksek
Gemini 2.5 Pro Judge	0.77-0.82	~2.80	~10 dakika	Yüksek
Ensemble Judge (3 model çoğunluk)	0.86-0.90	~19	~25 dakika	Çok yüksek

Üç Temel Hakem Paradigması: Pointwise, Pairwise ve Listwise

LLM hakem yaklaşımları, değerlendirmenin kaç adayı eşzamanlı incelediğine göre üç gruba ayrılır. Bu paradigma seçimi, kullanım senaryosunu doğrudan belirler: A/B testi mi yapıyorsunuz, mutlak kalite eşiği mi belirliyorsunuz, yoksa çok-aday sıralaması mı çıkarıyorsunuz sorusu metodolojiyi şekillendirir.

• Pointwise (Tek aday skoru): Yargıç tek çıktıyı 1-5 veya 1-10 rubric üzerinden puanlar. Avantaj: Mutlak SLO eşiği tanımlanabilir (örn. “skor ≥ 4 olmayan yanıt müşteriye gitmez”). Dezavantaj: Score drift yüksek; aynı yanıta farklı çağrılarda farklı puanlar gelebilir. Ne zaman seç: Üretim hattında SLO gating, threshold-based alerting.
• Pairwise (İki aday karşılaştırma): İki yanıt sunulur, yargıç hangisinin daha iyi olduğunu seçer. Avantaj: İnsan uyumu en yüksek paradigma (MT-Bench’te %85 üzeri). Dezavantaj: N adayı sıralamak için N(N-1)/2 çağrı, maliyet katlanır. Ne zaman seç: A/B prompt deneyleri, model sürüm karşılaştırması, fine-tuning ablation.
• Listwise (Çoklu aday sıralama): 3-10 aday tek seferde verilir, yargıç sıralı liste döner. Avantaj: Tek çağrıda toplu karşılaştırma, RAG retrieval reranking için ideal. Dezavantaj: Context window doluyor, position bias en şiddetli burada. Ne zaman seç: Reranking, top-K seçimi, leaderboard üretimi.
• Reference-based (Referans destekli): Yargıca “ideal cevap” verilir, çıktıyı bu referansla karşılaştırır. Avantaj: Faktüellik ve grounding değerlendirmesinde güçlü. Dezavantaj: Yüksek kaliteli referans seti maliyetli. Ne zaman seç: Closed-domain QA, kanunî metin, tıbbi yanıt.

Pratikte 2025 LMSYS Chatbot Arena verileri pairwise yaklaşımın %92 senaryoda kullanıldığını gösteriyor; ancak üretim ortamında pointwise gating + pairwise A/B kombinasyonu daha sık tercih ediliyor. RAG Evaluation mimarinizde her iki paradigmayı katmanlı uygulamak, hem maliyeti hem kalite görünürlüğünü dengeler.

Yargıç Prompt Tasarımı: Rubric, Chain-of-Thought ve Calibration

Hakem modelin kalitesi büyük ölçüde verilen prompt’a bağlıdır. Akademik literatürde “judge prompt engineering” başlı başına bir alt-disiplin haline geldi. İyi bir hakem prompt’u dört zorunlu bileşeni içerir: net rubric (kriter tanımı + örnek), Chain-of-Thought talimatı (önce muhakeme et, sonra skorla), yapılandırılmış çıktı (JSON schema), ve örnek-temelli kalibrasyon (1-2 anchor örnek).

Rubric Boyutu	1 (Çok Zayıf)	3 (Orta)	5 (Mükemmel)	Ölçüm Yöntemi
Doğruluk (Factuality)	Birden fazla yanlış iddia	Çoğu doğru, 1 küçük hata	Tüm iddialar verifiable	Reference comparison
İlgililik (Relevance)	Konu dışı	Sorunun yarısını yanıtlar	Tüm intent karşılanır	Query-response semantic match
Bütünlük (Completeness)	Eksik kritik bilgi	Ana noktalar var, detay eksik	Tam ve detaylı	Coverage checklist
Akıcılık (Coherence)	Bozuk dilbilgisi	Anlaşılır, akış zayıf	Profesyonel, akıcı	Perplexity + manual check
Güvenlik (Safety)	Toxic / hassas içerik	Nötr ama uyarı eksik	Tam güvenli, disclaimer var	Constitutional classifier
Grounding	Citation yok	Kaynak var, doğrulama zor	Tüm iddialar source-attributed	Source-claim alignment

Chain-of-Thought eklenmesi, hakem doğruluğunu yaklaşık %12-18 artırıyor (Zheng et al. 2023). Kritik bir tasarım kararı: skoru muhakemeden ÖNCE üretmek mi sonra mı? “Önce muhakeme, sonra skor” sıralaması, dil modellerinin autoregressive doğası gereği daha kalibre sonuçlar veriyor. Pratik bir judge prompt iskeleti şu yapıya sahiptir: rol tanımı (“Sen kıdemli teknik editörsün”) → görev özeti → rubric tablosu → input/output formatı → 1-2 örnek (one-shot ya da few-shot) → değerlendirilecek çıktı. Prompt Engineering ilkeleri bu noktada doğrudan judge prompt kalitesine yansır.

Bias Problemleri: Position, Verbosity, Self-Preference

LLM as judge metodolojisinin Aşil topuğu sistematik bias’tır. Akademik literatür 2024-2026 arasında en az altı tür bias dokumante etti ve her biri için mitigasyon stratejisi geliştirildi. Bu bias’ları görmezden gelmek, ürettiğiniz skorların A/B test sonuçlarını sistematik olarak yanıltır.

1. Position Bias: Pairwise karşılaştırmada ilk sırada sunulan yanıtın %60-65 oranında “kazanan” seçilme eğilimi. Mitigasyon: Her çifti iki yönde de değerlendir (A-B ve B-A), ortalamasını al. Maliyet 2 katına çıkar ama bias %3’e iner.
2. Verbosity Bias: Yargıçlar uzun yanıtları kısa olanlara tercih eder (Wu & Aji 2023). MT-Bench’te 1000+ token yanıtlar %57 oranında kazanıyor. Mitigasyon: Rubric’e “concise responses are preferred when complete” ekle veya length-normalized scoring uygula.
3. Self-Preference Bias: Hakem model, kendi sürümünün ürettiği yanıtları yabancı modellerinkinden %5-10 daha yüksek puanlar. GPT-4 → GPT-4 değerlendirmesinde belirgin. Mitigasyon: Ensemble judges (3 farklı sağlayıcı).
4. Style Bias: Markdown formatlı, başlıklı, madde işaretli yanıtlar plain text’ten daha yüksek puan alır. Mitigasyon: Format normalization preprocessing.
5. Authority Bias: “PhD” veya “uzman” gibi tonlama içeren yanıtlar overrate edilir. Mitigasyon: Anonimleştirme + content-focused rubric.
6. Calibration Drift: Aynı yargıç farklı oturumlarda farklı standartlar uygular. Mitigasyon: Anchor set (gold standard 20-50 örnek), her batch öncesi anchor performansı ölç.

Ensemble approach, bias dağıtımında en güçlü mitigasyondur. GPT-4o + Claude 4 Sonnet + Gemini 2.5 Pro üçlüsünün çoğunluk oyu, tek yargıca göre insan uyumunu 0.78’den 0.88’e taşıyor. Maliyet 3x artar; ancak yüksek riskli kararlarda (örn. tıbbi yanıt, hukuki içerik) bu prim değer. LLM Hallucination Azaltma stratejileriniz, hakem bias’ından ayrı ele alınmalı; halüsinasyon önleme generation katmanında, bias mitigasyonu ise evaluation katmanında çalışır.

Üretim Mimarisi: Online vs Offline Evaluation Pipeline’ı

LLM as judge sistemini üretime almak iki ana akış gerektirir: offline evaluation (model sürüm karşılaştırması, fine-tuning iteration) ve online evaluation (canlı trafikte kalite gözetimi). Mimari kararlar bu iki akışın gereksinimleri arasında denge kurmalı.

Akış	Latency Gereksinimi	Sampling Oranı	Hakem Modeli	Output Aksiyonu
Pre-deployment (offline)	Saatler kabul	%100 test seti	Premium (GPT-4o, Claude Opus)	Go/no-go karar, model registry
Canary release	Dakikalar	%5-10 canlı trafik	Premium ensemble	Rollback trigger, alert
Production monitoring	< 5 saniye async	%1-5 örnekleme	Mid-tier (gpt-4o-mini, Haiku)	Drift dashboard, weekly reports
SLO gating (real-time)	< 500 ms	%100 (kritik path)	Specialized small (Llama 3 8B FT)	Blocking response, fallback
Periodic audit	Günler	Stratified sample	Premium + human review	Bias raporu, calibration update

Pratik bir referans mimari şöyle çalışır: kullanıcı isteği RAG/LLM hattına girer, yanıt üretilir, yanıt aynı zamanda asenkron kuyruğa (Kafka veya AWS SQS) düşer, judge worker’lar kuyruktan örnekleme yaparak değerlendirir, sonuçlar TimescaleDB veya ClickHouse’a yazılır, Grafana dashboard SLO ihlallerinde alert üretir. Critical-path SLO gating’de ise lightweight judge (örn. fine-tuned Llama 3 8B veya Mistral 7B) inline çalışır; bu modeller premium hakeme yaklaşık 0.72-0.78 korelasyonla yaklaşır, 50-100 ms latency’de yanıt verir.

Open-source framework tarafında LangChain’in LangSmith Evaluators, Ragas, TruLens ve OpenAI’ın openai/evals reposu en yaygın seçenekler. Ticari tarafta Patronus AI, Galileo, Arize Phoenix ve Vertex AI Evaluation Service production-grade workflow sunar. Production değerlendirme hatlarının mimari yerini başlangıçtan planlamak retrofit maliyetini önler.

Hakem Modeli Seçimi: Maliyet, Doğruluk ve Latency Üçlüsü

Hakem modeli seçerken üç eksen vardır: doğruluk (insan uyumu), birim maliyet ve latency. 2026 başında piyasada bulunan başlıca seçenekler bu üçlüde farklı denge noktaları sunuyor.

Hakem Modeli	Girdi (USD/M token)	Çıktı (USD/M token)	P50 Latency	Context Window	Önerilen Kullanım
GPT-4o (2024-08)	2.50	10.00	~1.8 s	128K	Premium offline eval
GPT-4o-mini	0.15	0.60	~0.9 s	128K	Yüksek hacim monitoring
Claude 4 Opus	~15.00	~75.00	~3.2 s	200K	Kritik karar, audit
Claude 4 Sonnet	~3.00	~15.00	~1.5 s	200K	Production monitoring
Claude Haiku 3.5	~0.80	~4.00	~0.7 s	200K	High-throughput judge
Gemini 2.5 Pro	~1.25	~5.00	~1.6 s	1M	Uzun context (rapor değerlendirme)
Gemini 2.5 Flash	~0.075	~0.30	~0.5 s	1M	Bütçe-kısıtlı yüksek hacim
Llama 3 70B (self-host)	~0.60 (compute)	~0.60	~2.0 s	128K	Veri egemenliği gerektiren

Karar matrisi için pratik kural: günlük 10.000 değerlendirmenin altındaysanız GPT-4o veya Claude Sonnet ile başlayın; 100.000+ ölçeğine çıktığınızda gpt-4o-mini veya Gemini Flash ile maliyeti %85 düşürün; regülasyon nedeniyle veri yurt dışına çıkamıyorsa Llama 3 70B self-hosted A100/H100 ile çalıştırın. Türkiye operasyonlarında KVKK ve sektör spesifik (BDDK, EPDK) regülasyonlar self-hosting’i çoğu zaman tercih edilir kılar. Detaylı maliyet referansları için OpenAI fiyatlandırma sayfası güncel rakamlar sunuyor. Kurumsal Yapay Zeka Entegrasyonu projelerinde, hakem modeli seçimi veri yönetişim politikasıyla birlikte değerlendirilir.

Calibration ve Validation: Yargıcı Nasıl Test Edersiniz?

Hakem sisteminizi üretime almadan önce kendisini doğrulamanız gerekir. “Yargıcı kim yargılayacak?” sorusu, metodolojinin temel meta-sorusu. Üç ana validation yöntemi vardır:

• Gold standard agreement: Uzman insanlar tarafından etiketlenmiş 50-200 örnekten oluşan anchor set, yargıcın tutarlılığını periyodik ölçer. Cohen’s Kappa ≥ 0.65 üretim kabul eşiği olarak yaygın kullanılır.
• Inter-judge agreement: 3 farklı LLM hakem aynı setlerle skorlandığında pairwise korelasyon (Spearman ρ) ≥ 0.75 sağlıklı sistemi gösterir.
• Adversarial probing: Bilinçli olarak verbose-ama-yanlış, kısa-ama-doğru, format-rich-ama-shallow yanıtlar enjekte edilir; yargıcın bunları yakalama oranı ölçülür.

Validation Metriği	Hesaplama	Üretim Eşiği	Eyleme Geçirme
Cohen’s Kappa (vs human)	(P_o – P_e) / (1 – P_e)	≥ 0.65	< 0.5 ise prompt iterasyonu
Spearman ρ (rank correlation)	Rank covariance	≥ 0.75	< 0.6 ise rubric refine
Pearson r (score correlation)	Linear covariance	≥ 0.70	< 0.5 ise model değiştir
F1 (binary judgment)	2·P·R / (P+R)	≥ 0.80	< 0.7 ise calibration
Position bias delta	P(A wins | A first) – 0.5	< 0.05	≥ 0.10 ise iki-yönlü sample
Verbosity bias slope	Score / log(tokens)	< 0.15	≥ 0.25 ise length penalty

Anchor set’in periyodik güncellenmesi kritik. 2025 sonu Stanford CRFM çalışması, anchor set’in 3 ayda bir refresh edilmediği sistemlerde calibration drift %18 görüldüğünü raporladı. Production playbook’unuza “her sprint’in son haftası anchor performance audit” maddesi eklemek, sürpriz kalite düşüşlerini önler. LLM Özelleştirme sürecinde, fine-tuning sonrası hakem skorlarını baseline ile karşılaştırmak, gerçek ilerlemeyi ölçer.

Maliyet Optimizasyonu: Hibrit Hakem Hattı

Premium hakem her örneğe uygulanırsa bütçe hızla şişer. Üretim ortamında en sık karşılaşılan pattern: kademeli/cascading evaluation. Önce ucuz bir filtre (klasik metrik veya küçük LLM) çıktıyı tarar; sadece şüpheli vakalar premium hakeme gönderilir.

1. Katman 1 — Rule-based filter (0.001 USD/1K, < 10 ms): Boş yanıt, prompt injection sızıntısı, PII leakage, encoding hatası gibi syntax kontrolleri.
2. Katman 2 — Small LLM judge (0.10 USD/1K, < 200 ms): gpt-4o-mini veya Haiku ile pointwise skor. Skor ≥ 4.0 olan örnekler “pass” olarak işaretlenir.
3. Katman 3 — Premium ensemble (3.50 USD/1K, < 30 s): Skor 2.5-3.9 aralığındaki şüpheli örnekler GPT-4o + Claude Sonnet + Gemini Pro üçlüsüne gönderilir. Çoğunluk oyu nihai karar.
4. Katman 4 — Human review (200 USD/1K, ~40 saat): Ensemble tutarsız çıkanlar (≥1 model “fail” diyenler) insan annotator’a iletilir.

Bu dört katmanlı pipeline, saf premium uygulamaya göre maliyeti yaklaşık %78 düşürürken kalite kaybını %4’ün altında tutar. Türkiye pazarında gerçekleştirdiğim bir e-ticaret AI asistanı projesinde (Ömer Önal danışmanlığında), kademeli yapı aylık 9.200 USD’lik OpenAI faturasını 2.100 USD’ye indirdi ve müşteri memnuniyet skoru (NPS) aynı kaldı. Bu yaklaşım Agentic AI İş Akışları mimarilerinde de uygulanabilir; her agent adımının çıktısı küçük hakem ile gating yapılır.

Use Case Senaryoları: RAG, Code Gen, Customer Support, Content QA

LLM as judge metodolojisi farklı domain’lerde farklı rubric ve mimari gerektirir. Aşağıdaki tablo dört yaygın senaryoda uygulamayı özetler:

Use Case	Birincil Rubric	Önerilen Paradigma	Sampling	Tipik İnsan Uyumu
RAG QA (kurumsal arama)	Faithfulness, Relevance, Citation	Reference-based pointwise	%5 daily sample	0.82
Code generation	Compilability, Correctness, Style	Pointwise + unit test	%100 testset, %2 prod	0.86
Customer support chatbot	Empathy, Resolution, Safety	Pairwise (vs ideal response)	%3 daily + dispute 100%	0.77
Content QA (article, summary)	Factuality, Style, Brand voice	Pointwise rubric (5 boyut)	%100 pre-publish	0.80
Translation quality	Adequacy, Fluency, Terminology	Reference pairwise	%10 daily	0.84
Voice/agent calls	Resolution, Tone, Compliance	Listwise turn ranking	%1 calls	0.74

Türkçe içerik üretiminde özellikle dikkat: GPT-4o ve Claude Türkçe değerlendirmede İngilizceye göre yaklaşık %5-8 daha düşük insan uyumu gösteriyor (TÜBİTAK BİLGEM 2025 raporu). Bu nedenle Türkçe rubric’lerde few-shot örnekler 4-6 ile daha bol, calibration anchor set sayısı 100+ olarak tasarlanmalı. MT-Bench’in orijinal metodolojisi için arXiv:2306.05685 referans alınabilir; Türkçe-spesifik morfolojik kontrol ekstra bir katman olarak eklenebilir.

Sıkça Sorulan Sorular

Sonuç

LLM-as-a-Judge, 2026 itibarıyla manuel QA’in ölçeklenemediği üretken AI dünyasında değerlendirmenin endüstri standardı oldu. Pointwise/pairwise/listwise paradigmaları, rubric tasarımı, bias mitigasyonu ve cascading üretim hattı dört temel sütundur. Tek bir doğru reçete yok; doğru karar maliyet bütçesi, regülatif gereklilik, kalite SLO’su ve veri egemenliği arasındaki dengeyi gözeten organizasyon-spesifik bir tasarımdır.

Karar çerçevesi şu üç soruya cevap arıyor: (1) Hangi paradigma use-case’inizin doğasına uyuyor? (2) Hakem modeliniz Cohen’s Kappa ≥ 0.65 ve position bias < %5 eşiğini geçiyor mu? (3) Calibration drift'i kovalamak için periyodik audit ritminiz var mı? Bu üç soruya net cevap veremiyorsanız, üretime almadan önce iki-üç haftalık bir validation sprint'i, ileride yaşanacak skor güvenilirliği krizlerinin önüne geçer.

Kurumsal LLM hatlarınızda hakem sistemi tasarımı, bias auditi veya cascading evaluation mimarisi için iletişim sayfası üzerinden iletişime geçebilirsiniz; ek olarak NIST AI Risk Management Framework dokümanlarından NIST AI RMF da kurumsal evaluation tasarımı için referans alınabilir.