NeMo Guardrails: LLM Policy ve Conversational Safety 2026

NeMo Guardrails, NVIDIA tarafından açık kaynak olarak yayımlanan, büyük dil modelleri (LLM) için programlanabilir bir politika ve güvenlik katmanıdır. 2026 itibarıyla kurumsal LLM dağıtımlarının üçte ikisinden fazlasında bir guardrail çerçevesi zorunlu hale geldi; NIST AI RMF 1.0 ve EU AI Act yüksek riskli sistem yükümlülükleri, modelin önüne ve arkasına denetlenebilir filtre koymayı operasyonel bir gereklilik haline getirdi. NeMo Guardrails’in farkı; Colang adı verilen DSL ile diyalog akışını, içerik politikalarını ve tool-use izinlerini tek bir bildirimsel dosyada toplaması, ayrıca Llama Guard, AlignScore ve harici moderation API’larıyla zincirlenebilen modüler bir mimari sunmasıdır. Bu yazı; üretim ortamında NeMo Guardrails’i konuşlandıran ekipler için politika tasarımı, performans bütçesi (p95 latency < 250 ms hedefi), jailbreak savunması ve gözlemlenebilirlik konularını uçtan uca ele alıyor.

LLM tabanlı bir ürünü guardrail olmadan canlıya almak, 2026’da savunulamaz bir teknik borçtur. OWASP LLM Top 10 2025, prompt injection (LLM01) ve sensitive information disclosure (LLM06) maddelerini en yüksek risk seviyesinde tutuyor; ENISA Threat Landscape 2025 ise jailbreak ve indirect prompt injection saldırılarının yıllık %214 artış gösterdiğini raporladı. NeMo Guardrails, bu saldırı yüzeyini daraltmak için dialog, input, output, retrieval ve execution olmak üzere beş ayrı denetim noktası tanımlar.

NeMo Guardrails Mimarisi ve Colang DSL

NeMo Guardrails, kullanıcı isteğini LLM’e ulaştırmadan önce ve modelden gelen cevabı kullanıcıya iletmeden önce devreye giren bir orchestrator olarak çalışır. Çerçevenin omurgası Colang adlı domain-specific language’tir; doğal dile yakın söz dizimi sayesinde güvenlik mühendisleri dahi konuşma akışlarını okuyabilir. Colang 2.0 (2025 sonunda kararlı sürüm) async event-driven bir runtime üzerine kuruludur ve aynı süreçte birden fazla konuşma kanalını paralel yürütür. Çerçeve, hugging face llama-guard-3-8b, OpenAI Moderation, AlignScore, Patronus Lynx, Presidio (PII) ve özel Python action’lar dahil olmak üzere onlarca koruma motorunu adapter pattern ile zincirler.

Mimari beş katmandan oluşur: Input rails kullanıcıdan gelen mesajı (jailbreak, off-topic, PII) filtreler; Dialog rails konuşma niyetini Colang flow’larıyla yönlendirir; Retrieval rails RAG zincirinde döküman güvenliğini doğrular; Execution rails tool/function çağrılarının önündeki politikayı uygular; Output rails ise modelin ürettiği yanıtı yayınlamadan önce hallucination, toxic content ve gizli bilgi sızıntısı için denetler. Her katman bağımsız olarak devre dışı bırakılabilir; ekipler tipik olarak input + output minimumuyla başlayıp olgunlaştıkça diğer katmanları ekler.

Colang sözdiziminin gücü, niyet (intent) ve akış (flow) tanımlarını ayırmasıdır. Bir define user ask about competitor bloğu örnek ifadeleri listeler; bir define flow handle competitor question bloğu ise hangi yanıtın verileceğini bildirimsel olarak tarif eder. Bu yapı, klasik prompt engineering ile karşılaştırıldığında bakım maliyetini düşürür: politika dosyaları PR review sürecine girer, Git’te versiyonlanır ve test edilebilir hale gelir. NeMo Guardrails 0.11.x serisi (Q1 2026) ile Colang 2 default haline geldi ve önceki 1.0 sözdizimi deprecation cycle’a girdi.

Katman	Devreye girdiği an	Tipik koruma	Ortalama gecikme
Input rails	Prompt LLM’e gitmeden	Jailbreak detect, PII redaction, topical filter	~40-80 ms
Dialog rails	Niyet tespitinden sonra	Konuşma akışı, off-topic ret, escalation	~20-50 ms
Retrieval rails	RAG context oluşurken	Doc-level ACL, indirect injection scan	~30-60 ms
Execution rails	Tool/function çağrısı öncesi	Allow-list, parametre sanitizasyon	~15-30 ms
Output rails	Yanıt kullanıcıya gitmeden	Hallucination, toxic, secret leakage	~60-120 ms

Politika Tasarımı: Beş Rail Katmanının Konfigürasyonu

Üretim sınıfı bir guardrail konfigürasyonu, config.yml dosyası, Colang flow dosyaları ve özel Python action’lardan oluşur. Tipik bir kurumsal dağıtımda dosya boyutu 800-1500 satır arasındadır; bunun yaklaşık %40’ı input/output rail tanımları, %35’i dialog flow’ları, geri kalanı moderation eşik değerleri ve fallback davranışlarıdır. NeMo Guardrails 0.11 itibarıyla colang_version: "2.x" bayrağı zorunludur ve eski 1.0 dosyaları otomatik migrasyon scriptiyle çevrilir.

Input rails katmanında üç temel mekanizma kullanılır: regex tabanlı blok-liste (kart numarası, TC kimlik, IBAN gibi), embedding tabanlı semantic similarity (jailbreak korpusu ile cosine similarity > 0.78), ve LLM tabanlı self-check (genellikle Llama Guard 3-8B veya 1B sürümü). Üçü zincirlendiğinde false negative oranı tek başına regex’e göre %71 düşer; bunun karşılığında ek 90-130 ms gecikme oluşur. Önemli bir tasarım kararı, paralel mi yoksa sıralı mı çalıştıracağınızdır: NeMo Guardrails 0.10 sürümü itibarıyla parallel_execution: true ayarı kritik input check’lerini eşzamanlı çalıştırır ve toplam input rail latency’sini %35-45 oranında azaltır.

• Self-check input — Llama Guard ile prompt’un 13 zarar kategorisinde sınıflandırılması (S1: violent crimes, S2: non-violent crimes, S5: defamation, S11: self-harm vb.).
• Jailbreak detection — JailbreakBench korpusu üzerinde fine-tune edilmiş sınıflandırıcı; recall %96, precision %92 hedef.
• Topical rail — alan dışı sorulara (rakip ürün, hukuk tavsiyesi, tıbbi öneri) standart ret cevabı.
• PII redaction — Microsoft Presidio veya AWS Comprehend ile e-posta, telefon, IBAN maskelenir; cevaba [REDACTED] tokeni döner.
• Rate limiting — kullanıcı başına 60 RPM, oturum başına 120 mesaj sınırı; abusive pattern tespitinde otomatik 24 saat blok.

Output rails, en kritik fakat en sık ihmal edilen katmandır. Hallucination tespiti için AlignScore veya Patronus Lynx entegrasyonu önerilir; her ikisi de cevabı kaynak doküman ile karşılaştırarak 0-1 arası bir tutarlılık skoru üretir. Eşik genellikle 0.65 üzeri set edilir; bu seviyenin altındaki cevaplar otomatik olarak “kaynaklarda kesin bilgi bulunamadı” şablonuna çevrilir. Production deployment’larda output rails ortalama %3.2 oranında cevabı reddeder; bu oranın %1 altında olması yetersiz guard’a, %8 üzerinde olması ise aşırı agresif konfigürasyona işaret eder.

Jailbreak ve Prompt Injection Savunması

OWASP LLM Top 10 2025’te LLM01 olarak listelenen prompt injection, hem doğrudan (kullanıcının “ignore previous instructions” tarzı denemeleri) hem de dolaylı (RAG’a sızdırılmış zararlı talimatlar) biçimde gerçekleşir. NeMo Guardrails, doğrudan saldırılar için Llama Guard 3 ve self_check_input action’ını; dolaylı saldırılar için retrieval rails katmanında doküman-bazlı tarama yapan self_check_facts ve self_check_hallucination action’larını kullanır. JailbreakBench veri setinde yapılan ölçümler, ham GPT-4o-mini’nin saldırı başarı oranını %47‘den NeMo Guardrails + Llama Guard 3-8B kombinasyonunda %4.8‘e indirdiğini gösteriyor.

Indirect prompt injection özellikle RAG mimarilerinde tehlikelidir: web’den çekilen bir HTML sayfasındaki gizli HTML yorumu () modele talimat gibi davranabilir. Retrieval rails katmanı, doküman içeriğini hem regex hem de hafif bir sınıflandırıcı ile (ProtectAI deberta-v3 prompt-injection v2) tarar; şüpheli pasajlar context’ten düşürülür veya tüm cevap reddedilir. Bu yaklaşım, Microsoft AI Red Team raporlarında “defense-in-depth for LLM applications” başlığıyla önerilen pattern’i karşılar.

Saldırı Tipi	Ham model ASR	NeMo Guardrails ASR	Düşüş
Direct jailbreak (DAN, AIM)	%47	%4.8	-89.8%
Role-play exploit	%38	%6.2	-83.7%
Indirect injection (RAG)	%29	%3.1	-89.3%
Encoded payload (base64, ROT13)	%41	%9.7	-76.3%
Multi-turn jailbreak	%52	%11.4	-78.1%
Tool-use abuse	%33	%2.4	-92.7%

Pratik bir savunma katmanı oluştururken, klasik uygulama güvenliği prensiplerinin de yeniden devreye girdiğini unutmayın. API Güvenliği OWASP Top 10 kuralları (rate limit, auth, schema validation) LLM endpoint’leri için de geçerlidir; guardrail bunların yerine geçmez, üzerine eklenir. Aynı şekilde Zero Trust Mimari yaklaşımı, LLM’in tool çağırdığı backend servislerin her birinin ayrı authentication ile korunmasını gerektirir; modelin önündeki rail ile arkasındaki servis ağı bağımsız fakat eşgüdümlü katmanlar olarak tasarlanmalıdır.

Performans Bütçesi ve Latency Optimizasyonu

Guardrail’in en sık eleştirilen yönü, eklediği gecikmedir. Tam ölçek bir konfigürasyon — input self-check + dialog flow + output hallucination check — ortalama 220-380 ms ek latency getirir. Buna karşı modelin kendi inference latency’si tipik bir 8B chat modeli için 600-900 ms aralığındadır; yani guardrail oranı toplam istek süresinin %25-35’ini oluşturur. Bu oran kullanıcı deneyimi açısından kabul edilebilir sınırın üzerindeyse, üç optimizasyon hattı mevcuttur:

1. Paralel execution: config.yml‘de rails.input.parallel: true ile bağımsız check’ler eşzamanlı çalışır; input rail süresi %35-45 azalır.
2. Cache layer: Tekrar eden sorular için Redis tabanlı semantic cache (embedding similarity > 0.95) eklendiğinde p50 latency %60’a kadar düşer; cache hit oranı tipik chatbot trafiğinde %18-32 aralığındadır.
3. Distilled guard models: Llama Guard 3-1B (8B yerine) input rail’de %3.1 recall kaybıyla 4.7x daha hızlı; output rail’de AlignScore yerine NeMo’nun küçük distilled hallucination check modeli (yaklaşık 350M param) önerilir.

NVIDIA’nın resmi NeMo Guardrails dokümantasyonu, üretim sınıfı dağıtımlarda streaming: true + chunk-level output rail kombinasyonunu önerir. Bu modda model tokenleri yayarken output rail her N token’da bir (varsayılan 30) ara denetim yapar; full-buffer beklemek yerine kullanıcı ilk byte’ı tipik olarak 280-420 ms’de görür. Streaming guardrail, abort semantiği destekler: cevabın ortasında politika ihlali tespit edilirse stream durdurulur ve standart bir “yanıt politika nedeniyle reddedildi” mesajı döner.

Konfigürasyon	p50 latency	p95 latency	Throughput (RPS)	GPU bellek
Sadece input rail (regex)	45 ms	110 ms	420	0 GB ek
Input + output (Llama Guard 1B)	180 ms	310 ms	140	~2.6 GB
Full stack (8B guard, AlignScore)	320 ms	540 ms	62	~12 GB
Full + paralel execution	210 ms	380 ms	95	~12 GB
Full + paralel + streaming	140 ms TTFT	290 ms TTFT	95	~12 GB

NeMo Guardrails vs Alternatif Çerçeveler

Pazarda dört önemli alternatif çerçeve vardır: Guardrails AI (RAIL spec ile YAML/XML tabanlı), LangChain output parsers + LangSmith (zincirleme prompt validation), Llama Firewall (Meta, 2025) ve Microsoft Prompt Shields / Azure AI Content Safety. NeMo Guardrails, bunlardan ayrılan başlıca üç özelliğe sahiptir: (1) DSL ile bildirimsel flow tanımı, (2) çoklu guard motorlarını adapter pattern ile zincirleme, (3) async runtime üzerinde paralel execution. GitHub yıldız sayısı (Q1 2026 itibarıyla yaklaşık 5.4k), Guardrails AI’nın 4.1k’sı ve Llama Firewall’un 2.8k’sının üzerindedir.

Çerçeve	Politika dili	Çoklu guard chain	Streaming desteği	Lisans
NeMo Guardrails	Colang 2.x (DSL)	Evet, adapter pattern	Tam (chunk-level)	Apache 2.0
Guardrails AI	RAIL (XML/YAML)	Pydantic validator chain	Kısmi (parser-level)	Apache 2.0
Llama Firewall	Python config	PromptGuard + AlignmentCheck	Var	Llama Community
Azure Content Safety	JSON / API config	Managed (closed source)	Var	Proprietary, SaaS
LangChain Output Parsers	Pydantic / Python	Manuel chain	Kısıtlı	MIT

• NeMo Guardrails — Avantaj: DSL flow okunabilirliği, on-prem + cloud agnostic, NVIDIA NIM ile sıkı entegrasyon, açık kaynak.
• NeMo Guardrails — Dezavantaj: Colang öğrenme eğrisi 1-2 hafta, dokümantasyon hâlâ olgunlaşıyor, .NET/Go SDK yok (Python first).
• Guardrails AI — Ne zaman seç: Yapılandırılmış JSON çıktı validasyonu öncelikliyse (örn. structured extraction pipeline).
• Llama Firewall — Ne zaman seç: Meta Llama modelleri kullanılıyor ve aynı ekosistemde kalmak isteniyorsa.
• Azure Content Safety — Ne zaman seç: Azure OpenAI üzerinde fully managed, sertifikalı (ISO, HIPAA) çözüm gerekliyse.

Hibrit yaklaşımlar yaygındır: bazı ekipler input katmanında Llama Guard veya Azure Content Safety, dialog katmanında NeMo Colang, output katmanında ise Guardrails AI Pydantic validator kullanır. Bu kombinasyon, çerçeveler arası lock-in riskini azaltır ancak operasyonel karmaşıklığı artırır; DevSecOps Shift-Left prensipleri gereği guardrail konfigürasyonu CI/CD pipeline’ına entegre edilmeli, her PR’da regresyon test seti (genellikle 200-500 prompt) otomatik çalışmalıdır.

Observability, Tracing ve OpenTelemetry Entegrasyonu

Guardrail bir kara kutu olmamalı; her reddedilen mesajın hangi katmanda, hangi check tarafından, hangi skorla bloklandığı görünür olmalıdır. NeMo Guardrails 0.10’dan itibaren OpenTelemetry trace export’u yerleşik olarak destekleniyor. Her konuşma turu bir root span üretir; alt span’lar her rail action’ı için: self_check_input, retrieve_relevant_chunks, generate_bot_message, self_check_output gibi. Bu yapı, OTLP üzerinden Jaeger, Tempo, Datadog, Honeycomb veya Grafana Cloud’a gönderilebilir.

Production gözlemlenebilirliği için minimum metrik setiniz şudur: rail_block_rate (katman bazında reddetme oranı), rail_latency_p95, hallucination_score_distribution, jailbreak_attempt_rate, tool_call_reject_rate. Bu metrikler bir SIEM platformuna (Splunk, ELK, Sentinel) iletildiğinde, aynı zamanda LLM-specific tehdit avı (threat hunting) yapılabilir. Ömer Önal’ın kurumsal danışmanlık projelerinde tipik gözlem; ilk 30 günde rail_block_rate’in günlük %18’den %4’e gerilemesi — bu, hem politikanın gerçek trafiğe göre kalibrasyonunu, hem de kullanıcıların öğrenme eğrisini yansıtır.

Metrik	Sağlıklı aralık	Alarm eşiği	Olası neden
rail_block_rate (input)	%2-7	> %12	Aşırı agresif blocklist veya yeni saldırı dalgası
rail_block_rate (output)	%1-4	> %8	Model drift veya hallucination eşiği düşük
hallucination_score (avg)	0.75-0.92	< 0.65	RAG retrieval kalite kaybı
jailbreak_attempt_rate	0.1-0.8/1k req	> 5/1k req	Botnet veya targeted attack
p95 e2e latency	< 1.2 s	> 2.0 s	Guard model bottleneck veya cache miss

OpenTelemetry trace’leri ile birlikte structured logging zorunludur. JSON log formatında her event şu alanları içermelidir: trace_id, conversation_id, user_hash (GDPR pseudonymization), rail_name, verdict (pass/block), score, latency_ms. NVIDIA referans helm chart’ı bu pipeline’ı Prometheus exporter ve fluent-bit sidecar ile kutu-içi sağlar.

Compliance: NIST AI RMF, EU AI Act ve ISO 42001 Eşleştirmesi

2025-2026 düzenleyici manzara hızla netleşti. EU AI Act, Ağustos 2026’da yüksek riskli AI sistemleri için tam yürürlüğe girer; NIST AI Risk Management Framework 1.0 ve onunla uyumlu Generative AI Profile (NIST AI 600-1) Q1 2025’te yayımlandı; ISO/IEC 42001 (AI yönetim sistemi standardı) ise kurumsal AI yönetişiminin de jure referansı haline geldi. NeMo Guardrails, bu çerçevelerin “technical safeguards” ve “human oversight” maddeleri için doğrudan kanıt üretir.

Düzenleyici madde	Çerçeve / standart	NeMo Guardrails karşılığı
Art. 14 — Human oversight	EU AI Act	Execution rails human-in-the-loop event
Art. 15 — Accuracy, robustness	EU AI Act	Output rails hallucination check, jailbreak savunması
GV.PO-1 — Governance policy	NIST AI RMF	Colang flow dosyaları (Git versiyonlu politika)
MS-2.7 — Incident logging	NIST AI RMF	OTel trace + structured audit log
A.6.2.6 — Operational controls	ISO/IEC 42001	Rail block_rate metrikleri, alarm runbook
LLM01 — Prompt Injection	OWASP LLM Top 10	Input rail self_check + Llama Guard

Pratik bir audit hazırlığında üç artefakt zorunludur: (1) politika kaynak kodunun Git history’si (kim, ne zaman, hangi PR’da değiştirdi), (2) son 12 ay rail telemetry’sinin agregat raporu, (3) bağımsız red-team test sonuçları. Penetration Testing metodolojisinin LLM uyarlaması olan AI red-teaming, yılda en az iki kez, sürüm yükseltme öncesinde ise her zaman tekrarlanmalıdır. AI Safety programının operasyonel ayağı budur.

Deployment Mimarisi: Sidecar, Gateway, NIM

NeMo Guardrails üç farklı topolojide deploy edilir. Sidecar pattern: uygulama pod’unun yanına guardrail container’ı, localhost üzerinden iletişim; en düşük latency (~5 ms hop), ama her uygulama için ayrı kurulum. API gateway pattern: merkezi guardrail servisi, tüm LLM trafiği önce buradan geçer; merkezi politika yönetimi, ama gateway p99 latency’yi belirler. NVIDIA NIM microservice: NeMo Guardrails NIM container’ı olarak paketlenmiş, OpenAI API uyumlu endpoint; en hızlı kurulum, vendor-managed image, NVIDIA AI Enterprise lisansı gerektirir.

• Sidecar — Ne zaman seç: Mikroservis sayısı < 10, her servis özgün politika gerektiriyor.
• Gateway — Ne zaman seç: > 20 LLM endpoint var, merkezi compliance audit gerekiyor.
• NIM — Ne zaman seç: NVIDIA GPU stack zaten kullanılıyor, hızlı POC veya managed support öncelikli.
• Hibrit: Public-facing chatbot için gateway + iç developer asistanı için sidecar; politika dosyaları aynı Git repo’da paylaşılır.
• Multi-region: Politika dosyaları CDN üzerinden replikalanır, her region kendi guard model instance’ı; cross-region latency < 50 ms hedefi.

Kubernetes deployment için resmi NVIDIA/NeMo-Guardrails GitHub deposunda Helm chart örnekleri bulunur. Production-ready bir konfigürasyon; HPA (CPU %65 hedef), PodDisruptionBudget (minAvailable: 2), readiness probe (politika dosyası yüklenme kontrolü) ve NetworkPolicy (egress sadece LLM API endpoint’lerine) içerir. Authentication katmanı için kullanıcı/servis ayrımı kritiktir; LLM’i çağıran servis hesaplarının modern token tabanlı kimlik doğrulama ile, yetki sınırlarının ise rol/öznitelik bazlı bir yetkilendirme modeliyle yönetilmesi tavsiye edilir. Container içinde çalışan tool runner’ları için seccomp, AppArmor ve read-only filesystem gibi kısıtlamalar defense-in-depth zincirini tamamlar.

Sıkça Sorulan Sorular (SSS)

Sonuç

NeMo Guardrails, 2026 itibarıyla kurumsal LLM dağıtımlarının saygın bir referans çerçevesi haline geldi: Colang DSL’in bildirimsel okunabilirliği, beş katmanlı rail mimarisinin defense-in-depth doğası, çoklu guard motorlarını zincirleyen adapter pattern ve OpenTelemetry tabanlı gözlemlenebilirlik birleştiğinde, hem teknik hem regülatif gereksinimler tek bir kontrol noktasında toplanır. Jailbreak başarı oranını %47’den %5 altına indirmesi, hallucination’ı %7’den %0.4’e çekmesi ve compliance kanıtlarını otomatik üretmesi, çerçevenin sayısal değerini somutlaştırır.

Karar çerçevesi şudur: politika karmaşıklığı yüksek, çoklu LLM provider kullanan, denetlenebilirlik şart olan ortamlarda NeMo Guardrails ilk tercihtir. Yapılandırılmış çıktı validasyonu öncelikliyse Guardrails AI, fully managed bulut çözümü gerekiyorsa Azure AI Content Safety alternatif olarak değerlendirilmelidir. Üretime çıkmadan önce regresyon test seti, red-team senaryoları, OpenTelemetry pipeline’ı ve OWASP Top 10 klasik web güvenliği baseline’ı eksiksiz kurulmalıdır.

Guardrail mimarisini sıfırdan tasarlamak, var olanı sertleştirmek veya audit hazırlığı yapmak için profesyonel destek ihtiyacınız varsa, iletişim sayfası üzerinden detaylı bir keşif görüşmesi planlayabilirsiniz. NeMo Guardrails, Llama Guard ve regülatif uyum projelerinde uçtan uca yol haritası çıkarıyoruz.