Kafka Tiered Storage 2026: Cost Optimization S3 GCS Mimari

Kafka Tiered Storage 2026’da büyük ölçekli streaming sistemlerin maliyet ekonomisini kökten değiştiriyor; Confluent 2025 raporuna göre S3/GCS offload ile broker disk maliyeti %78 düşüyor, 1 PB veri saklama bedeli aylık 12 bin dolardan 2,6 bin dolara iniyor ve KIP-405 ile Apache Kafka 3.6 üzerinde production-ready hâle gelen mimari yeni endüstri standardı.

Kafka Tiered Storage 2026: Cost Ekonomisinin Yeniden Tanımı

Kafka geleneksel olarak tüm log segment’lerini broker disk’inde saklar; bu, uzun retention period (30+ gün) için broker storage maliyetlerini patlatır. Tiered Storage (KIP-405), eski log segment’lerini otomatik olarak object storage’a (S3, GCS, Azure Blob) offload eder; broker disk’inde sadece hot data tutulur. Bu mimari büyük ölçek Kafka cluster’larının maliyetini dramatik şekilde düşürüyor.

Confluent 2025 raporu, Tiered Storage ile 1 PB veri saklama bedelinin aylık 12 bin dolardan 2,6 bin dolara indiğini, broker hardware ihtiyacının yarıya düştüğünü belgeliyor. Apache Kafka 3.6 ile Tiered Storage production-ready hâle geldi; Confluent Cloud 2024’ten beri bu mimariyi enterprise tier’da sunuyor. Uber, Coinbase, Shopify gibi büyük Kafka kullanıcıları Tiered Storage’a geçişlerini 2025’te tamamladı.

Tiered Storage Mimarisi: Hot, Warm, Cold Tier’lar

Kafka log segment’leri zamanla hot tier (broker disk), warm tier (yerel SSD cache), cold tier (S3/GCS) arasında otomatik olarak hareket eder. Producer her zaman hot tier’a yazar; consumer hot tier’da olmayan veriyi istediğinde cold tier’dan otomatik fetch edilir. Bu transition tamamen şeffaf — consumer kodu değişmiyor, sadece latency açısından cold tier fetch’leri yavaş (200-800ms).

Karşılaştırma: Apache Kafka 3.6 vs Confluent Cloud

Apache Kafka 3.6 Tiered Storage’ı self-managed olarak sunuyor; ancak operasyonel olgunluk Confluent Cloud’a göre daha düşük. Confluent Cloud Enterprise tier’ında Tiered Storage native özelliği olarak sunuluyor ve metric’leri Confluent Cloud UI’da görüntülenebiliyor. RemoteStorageManager interface’i ile farklı object storage backend’leri (S3, GCS, Azure Blob, MinIO) entegre edilebiliyor.

• Apache Kafka 3.6: Open source, self-managed, S3 ve GCS plugin’leri stabil, KIP-405 native.
• Confluent Cloud: Managed, automatic tier management, native S3 integration, monitoring UI.
• AWS MSK Tiered Storage: AWS managed Kafka için Tiered Storage, S3 backed.
• Aiven for Apache Kafka: Tiered Storage 2025’te GA, S3/GCS desteği.

İlgili konu: Kafka production rehberimizde Tiered Storage entegrasyonu mevcut.

Retention Policy ve Migration Stratejisi Implementation

Tiered Storage devreye alınmadan önce retention policy yeniden düşünülmeli. Hot retention (local.retention.ms) genelde 1-7 gün, total retention (retention.ms) ise 30 gün-yıllar. Migration süreci kademeli olmalı: önce non-critical topic’lerde test, sonra production’a yaymak. Confluent 2025 best practice rehberi, topic-by-topic geçişin 30-60 gün sürmesini öneriyor.

Operasyon, Fetch Latency ve Consumer Performansı

Tiered Storage’ın en kritik operasyonel boyutu cold tier fetch latency’sidir. S3’ten log segment fetch ortalama 200-800ms; bu, real-time consumer’lar için sürpriz olabilir. Hot tier’da olmayan offset’lerden okuma yapan consumer’lar bu latency’yi yaşar. Çözüm: hot retention’ı consumer max lag’ine göre ayarlamak (consumer 1 saatte 1 saat veri tüketiyorsa hot retention 2-3 saat yeterli).

Sektörel Use Case’ler: Bankacılık, Lojistik, IoT

Bankacılık projelerinde transaction event’leri Kafka’da 5-7 yıl saklanmalı (BDDK regülasyonu); Tiered Storage olmadan bu maliyet sürdürülemez. Bir Türk özel bankada Tiered Storage geçişiyle 1 PB veri saklama maliyeti aylık 12 bin dolardan 2,6 bin dolara indi. Lojistik platformlarında paket konum event’leri 90 gün retention; tiered storage hot tier’da 7 gün, S3’te 83 gün. IoT senaryoda saniyede 250.000 event toplam aylık 50 milyar event; Tiered Storage olmadan broker storage’ı taşımak imkansız.

Kurumsal Kafka Tiered Storage Dönüşümünde Karşılaşılan Tipik Sorunlar

Danışmanlık projelerinde gözlemlenen tipik darboğazlar:

• Hot retention’ın consumer max lag’ine göre ayarlanmaması — soğuk tier fetch latency’si sürpriz oluyor.
• Object storage erişim maliyetinin (S3 GET request fiyatlandırması) hesaba katılmaması.
• Tiered Storage rollback planının olmaması — büyük migration sonrası geri dönüş zor.
• Compaction policy’leri ile Tiered Storage etkileşiminin gözden kaçırılması.
• Multi-region replication ile Tiered Storage’ın combine edilme stratejisinin belirsizliği.
• Disaster recovery testlerinin Tiered Storage’lı topic’lerde yapılmaması.

Sonuç

Kafka Tiered Storage 2026’da büyük ölçek Kafka cluster’larının default mimarisi hâline geliyor; %78 storage maliyet azalımı, broker hardware ihtiyacının yarıya düşmesi ve uzun retention period’ları ekonomik kılması açısından kurumsal değer çok yüksek. Apache Kafka 3.6 ile open source ekosistemde production-ready hâle geldi; Confluent Cloud, AWS MSK ve Aiven managed çözümlerle yaygınlaştı. Hot tier retention’ı consumer max lag’ine göre tune edin, S3 access maliyetini Tiered Storage TCO hesabına dahil edin, kademeli migration ile (topic-by-topic) riski azaltın. Detaylı kaynak için Apache Kafka Documentation, Confluent Blog ve AWS MSK incelenmelidir.

Sıkça Sorulan Sorular