Andreessen Horowitz’in 2025 State of AI raporuna göre kurumsal LLM maliyetleri yıllık %347 büyüyor; AI bütçesinin %71’i prompt-level görünürlük olmadan harcanıyor. DataDog 2025 araştırması FinOps disiplinini uygulayan ekiplerin LLM maliyetlerini ortalama %42 düşürdüğünü gösteriyor.
LLM FinOps Anatomisi ve 2026 Pazar Bağlamı
LLM FinOps, geleneksel cloud FinOps’un AI iş yüklerine adapte edilmiş halidir. Üç ana boyutta çalışır: maliyet görünürlüğü (kim ne kadar harcıyor), maliyet atfı (hangi feature/takım/kullanıcı), maliyet optimizasyonu (cache, batch, model downgrade). 2026’da kurumsal AI bütçelerinin %38’ini LLM çağrı maliyeti oluşturuyor; bu pay 2024’te %12 idi. Konuyla ilişkili olarak OpenFeature 2026: Vendor-Neutral Feature Flag Standardı ve LaunchDarkly Migration rehberimiz detaylı incelemeyi içerir.
LangSmith, Helicone ve OpenTelemetry üç ana yaklaşımı temsil ediyor. LangSmith LangChain ekosistemi içinde tight entegrasyon, Helicone proxy tabanlı yaklaşım, OpenTelemetry vendor-neutral açık standart. Her birinin farklı güçlü yanı var. Microsoft 2025 araştırması, observability disiplini olmadan LLM maliyetinin ortalama 2,8 kat fazla harcandığını ortaya koyuyor.
Detaylar için OpenTelemetry GenAI semantic conventions referans niteliğindedir.
LangSmith, Helicone ve OpenTelemetry Karşılaştırması
Üç araç farklı entegrasyon felsefelerine sahip. LangSmith LangChain SDK’sıyla otomatik trace, dataset yönetimi ve evaluation. Helicone OpenAI/Anthropic API çağrılarını proxy’liyor; kod değişikliği gerektirmiyor. OpenTelemetry standartı vendor-neutral; Datadog, New Relic, Grafana gibi tüm gözlemlenebilirlik platformları ile uyumlu.
| Özellik | LangSmith | Helicone | OpenTelemetry |
|---|---|---|---|
| Entegrasyon | LangChain native | Proxy URL değişimi | SDK ekleme |
| Prompt-level cost | Evet | Evet | Evet (manuel) |
| Self-host | Enterprise plan | Açık kaynak | Açık standart |
| Evaluation suite | Güçlü | Temel | Yok (custom) |
| Aylık ücret (1M trace) | 0-499 USD | 0-99 USD | Backend bağlı |
| Vendor lock-in | Yüksek | Orta | Düşük |
Karar Matrisi: Hangi Senaryoda Hangi Araç
FinOps aracı seçimini dört değişken belirler: stack uyumu, vendor lock-in toleransı, evaluation ihtiyacı, self-host gereksinimi. Aşağıdaki kriterler 2025-2026 saha pratiğine dayalı varsayılan tercihleri özetler:
- LangChain stack’i + evaluation odaklı: LangSmith varsayılan
- Mevcut LLM kodunu değiştirmeden hızlı görünürlük: Helicone proxy
- Datadog/New Relic mevcut + vendor-neutral: OpenTelemetry
- Self-host ve gizlilik öncelik: Helicone open-source veya OpenTelemetry
- Enterprise compliance ve SLA: LangSmith Enterprise veya Datadog APM
- Çoklu LLM provider + tek dashboard: OpenTelemetry vendor-neutral
İlgili konu: LLM observability rehberimizde trace izleme ve evaluation pattern’lerini anlattık.
Prompt-Level Cost Attribution Implementation
Production’da maliyet atfı için her LLM çağrısı şu metadata’larla tag’lenir: user_id, team_id, feature, environment, prompt_version, model_name. OpenTelemetry span attribute’leri ile bu data structured biçimde toplanır; Datadog veya Grafana üzerinde takım bazında dashboard çıkarılır. Helicone aynı işi proxy katmanında yapar; kod değişikliği minimum.
Pattern örneği: kullanıcı ABC bir gün içinde 1200 LLM çağrısı yaptı, toplam 4,80 USD tüketildi. Bunun %72’si chat feature, %23’ü summarization, %5’i code review. Bu granülaritedeki görünürlük “AI bütçesi neden patlıyor” sorusunu cevaplıyor. DataDog 2025 araştırması bu pattern’i uygulayan ekiplerin maliyetleri %42 düşürdüğünü kanıtlıyor; detaylar için DataDog State of AI referans.
Operasyon, Anomali Tespiti ve Optimizasyon
FinOps olgunluğunun ikinci aşaması anomali tespiti. Token kaçağı (prompt injection sonucu uzayan output), retry storm (hata sonrası gereksiz tekrar), inefficient prompt (gereksiz uzun system prompt) tipik anomaliler. Threshold-based alarm ve ML-based anomaly detection kombinasyonu kullanılıyor. Datadog Watchdog ve Helicone Anomaly Detector bu kategoride lider.
| Anomali Tipi | Tespit Yöntemi | Aksiyon | Tasarruf |
|---|---|---|---|
| Token kaçağı | Output length > 3x baseline | Max token limit | %18 |
| Retry storm | Aynı prompt > 5 retry/dakika | Circuit breaker | %14 |
| Uzun system prompt | System token > 2000 | Prompt caching aktive | %32 |
| Yanlış model seçimi | Basit sorgu GPT-4o ile | Model routing | %48 |
| Cache miss yüksek | Cache hit < %30 | Cache stratejisi | %62 |
Sektörel Use Case’ler
SaaS şirketlerinde kullanıcı başına LLM maliyetini ölçmek subscription pricing’in temeli. Bir kullanıcı ortalama 0,40 USD/ay maliyet üretiyorsa, plan fiyatlandırması bu sayıya göre yapılıyor. E-ticaret platformlarında customer support chatbot maliyeti ticket başına ölçülüyor; ortalama 0,12 USD; insan ajan başına 7,80 USD ile karşılaştırıldığında ROI net.
Gartner’ın 2025 öngörüsü, 2027’ye kadar kurumsal AI bütçelerinin %85’inin FinOps disiplini altında yönetileceği yönünde; bugün bu oran %23. Görmediğinizi yönetemezsiniz; LLM FinOps’un birinci adımı prompt-level görünürlük. 2026’da bu olgunluk seviyesi rekabet avantajının kendisi.
Kurumsal LLM FinOps Dönüşümünde Karşılaşılan Tipik Sorunlar
Danışmanlık projelerinde gözlemlenen tipik darboğazlar:
- Sadece OpenAI dashboard’una bakma; takım bazında atıf yapılmıyor
- Trace bilgisini günlük log olarak tutma; analiz için sorgulanabilir DB yok
- Prompt caching’i aktive etmeme; tekrarlayan system prompt’lar her seferinde ödeniyor
- Model routing yapmama; her sorgu en pahalı modele gidiyor
- Anomali alarmları kurmama; token kaçağı haftalar sonra fark ediliyor
- Vendor lock-in’e dikkat etmeme; LangSmith’ten OpenTelemetry’ye geçiş 6 ay sürüyor
Sonuç
LLM FinOps 2026’da kurumsal AI operasyonunun olmazsa olmazı. Prompt-level cost attribution, anomali tespiti ve model routing kombinasyonu yıllık maliyetlerin %42’sini tasarruf ediyor. LangSmith LangChain stack için lider, Helicone hızlı entegrasyon için ideal, OpenTelemetry vendor-neutral kurumsal standartlar için doğru tercih. Pilot 3 hafta: mevcut LLM uygulamanıza trace ekle, ilk 30 günde maliyet dağılımını analiz et, ilk optimizasyon dalgasını yap. ROI çoğunlukla 3 ay içinde geri ödüyor.
Sıkça Sorulan Sorular
OpenAI dashboard’u FinOps için yeterli mi?
Hayır. Sadece organization-level görünürlük sağlıyor; takım, feature, kullanıcı atıfı yapmıyor. Kurumsal FinOps için trace tabanlı araç zorunlu.
Helicone vendor lock-in mı yaratır?
Sınırlı. Proxy URL’i değiştirerek geri dönmek mümkün; ancak Helicone Sessions ve Properties gibi özellikler kullanılıyorsa migration efor gerektirir.
OpenTelemetry GenAI semantic convention’ları olgun mu?
2025 itibarıyla stable. Anthropic, OpenAI, Google ve major SDK’lar resmi desteğe sahip. Datadog ve New Relic native dashboard sunuyor.
Prompt caching ne kadar tasarruf sağlar?
Anthropic Claude prompt caching, cache hit senaryosunda input token maliyetini %90 düşürüyor. Ortalama bir kurumsal use case’de cache hit oranı %85 mertebesinde; toplam tasarruf %62-72.
Model routing pattern’i nasıl kurulur?
Sorgu karmaşıklığına göre küçük/büyük model seçimi. Basit sorgular GPT-4o-mini’ye, karmaşıklar GPT-4o’ya yönlendirilir. Router olarak ek bir küçük LLM veya rule-based classifier kullanılıyor.
Ömer ÖNAL
Mayıs 23, 2026Kurumsal LLM faturalarının kontrolden çıkmasının temel nedeni prompt-level maliyet izlemenin yapılmamasıdır. Müşterilerimizde uyguladığımız OpenTelemetry tabanlı tracing — her LLM çağrısını span olarak işaretleyip kullanıcı, özellik ve takım bazında atfetmek — ilk 90 günde maliyetleri ortalama %38 düşürüyor. Görmediğinizi yönetemezsiniz; LLM FinOps’un birinci adımı görünürlük. — Ömer ÖNAL