Databricks 2025 State of Data + AI raporuna göre kurumların %71’i lakehouse mimarisini benimsedi; ancak ekiplerin %42’si yanlış tablo formatı seçimi nedeniyle yıllık bulut depolama maliyetini gereksiz yere şişiriyor. Delta Lake, Apache Iceberg ve Apache Hudi arasında doğru seçim, 2026’da veri stratejisinin merkezinde duruyor. Konuyla ilişkili olarak Apache Flink vs Spark Structured Streaming: Hangi Workload Hangisine? rehberimiz detaylı incelemeyi içerir. Konuyla ilişkili olarak Apache Spark 3.5+ Performance Tuning 2026: AQE, Photon ve Partition Stratejisi rehberimiz detaylı incelemeyi içerir. Konuyla ilişkili olarak Apache Iceberg Time-Travel 2026: Branch ve Tag Workflow Pratiği rehberimiz detaylı incelemeyi içerir.
Lakehouse 2026: Pazar Bağlamı ve Üç Formatın Yükselişi
Lakehouse mimarisi, geleneksel veri ambarı ve veri gölü ikiliğini ortadan kaldıran bir yaklaşım olarak son 36 ayda hızla olgunlaştı. Databricks 2025 yıllık raporunda kurumların %71’inin lakehouse mimarisini en az bir üretim iş yükünde kullandığı, %58’inin ise tüm analitik platformunu lakehouse üzerine taşıdığı raporlanıyor. Forrester 2025 Data Lakehouse Wave değerlendirmesinde Delta Lake, Apache Iceberg ve Apache Hudi üç ana lider olarak konumlandı. Konuyla ilişkili olarak Apache Polaris 2026: Snowflake'in Açık Kaynak Iceberg Katalog Implementasyonu rehberimiz detaylı incelemeyi içerir. Konuyla ilişkili olarak Apache Hudi vs Iceberg vs Delta 2026: Concurrency Control Pattern Karşılaştırması rehberimiz detaylı incelemeyi içerir. Konuyla ilişkili olarak Apache Hudi 2026: Hudi 0.15 Production Yetenekleri Rehberi rehberimiz detaylı incelemeyi içerir.
Apache Iceberg projesi 2024’te Apache Foundation top-level project statüsüne yükseldi ve şu anda 2.300+ contributor’a ulaştı. Delta Lake 3.2 release ile Iceberg uniform format desteği geldi, Hudi 0.15+ ise streaming ETL kapasitesini güçlendirdi. Snowflake’in Polaris Catalog’u açık kaynak yapması ve Databricks’in Tabular satın alması sektörün multi-engine yönelimini netleştirdi. IDC 2025 raporu lakehouse pazarının yıllık %39 büyüdüğünü, 2026 sonunda $18.4 milyar büyüklüğe ulaşacağını öngörüyor.
ACID Semantiği ve Eşzamanlı Yazıcı Davranışı Karşılaştırması
Üç format da ACID garantisi sunar; ancak eşzamanlı yazıcı (concurrent writer) yönetimi farklıdır. Delta Lake optimistic concurrency control kullanır ve commit conflict’lerini retry ile çözer. Iceberg snapshot tabanlı izolasyon sunar; aynı snapshot üzerinde çakışmalar metadata seviyesinde algılanır. Hudi ise satır seviyesi merge-on-read pattern’i ile upsert iş yüklerinde optimize edilmiştir.
| Özellik | Delta Lake | Apache Iceberg | Apache Hudi |
|---|---|---|---|
| İzolasyon | Snapshot isolation | Snapshot isolation | Snapshot + MOR |
| Concurrency control | Optimistic + retry | Optimistic + commit conflict | OCC + MVCC |
| Schema evolution | Add, rename, drop | Add, rename, drop, reorder | Add, rename |
| Time travel | Snapshot, timestamp | Snapshot, branch, tag | Commit timeline |
| Streaming | Structured Streaming | Flink, Spark Streaming | DeltaStreamer, Flink |
Performans: TPC-DS 10TB Benchmark’ları
Databricks Photon + Delta Lake kombinasyonu, TPC-DS 10TB üzerinde 1.842 saniye ile 2025 referans sonucu üretti. Apache Iceberg ile Trino üzerinde aynı benchmark 2.156 saniye; Hudi + Presto 2.812 saniye sonuç verdi. Ancak benchmark’lar tek başına seçim kriteri değildir; iş yükü profili belirleyicidir. Read-heavy analitik için Iceberg + Trino kombinasyonu cost-effective; write-heavy CDC iş yükleri için Hudi merge-on-read; mixed workload + Databricks ekosistemi için Delta Lake önde geliyor.
- Streaming ETL rehberimizde CDC + Iceberg pattern’ini detaylandırdık
- Cloud DW TCO analizimizde Delta Lake/Iceberg fiyatlama farkları işleniyor
- Iceberg metadata tree ve hidden partitioning özelliği resmi spec dokümanında tanımlı
Katalog Stratejisi: Unity, Polaris, Nessie, Glue
Lakehouse seçiminde gözden kaçan en kritik karar katalog stratejisidir. Unity Catalog Databricks ekosistemi için fine-grained access control ve cross-workspace governance sunar. Snowflake Polaris (eski adıyla Iceberg REST Catalog) açık kaynak ve multi-engine uyumludur. Project Nessie git-style branching getirir, Iceberg WAP pattern’i için ideal. AWS Glue Data Catalog ise legacy Hive metastore uyumluluğu sunar ve EMR/Athena/Redshift ekosisteminde standartlaşmıştır.
Operasyon, Compaction ve Maliyet Yönetimi
Lakehouse maliyetinin en büyük kalemi çoğu zaman compute değil, S3/ADLS depolama + maintenance jobs’tur. Delta Lake’te OPTIMIZE + ZORDER ile small file problem’i çözülür; Iceberg’de rewrite_data_files procedure’u; Hudi’de inline veya async compaction tetiklenir. Databricks 2025 raporuna göre compaction job’larını saatte bir yerine günde bir çalıştıran ekiplerde S3 PUT/GET maliyeti %38 düşüyor.
| Maintenance Job | Delta Lake | Iceberg | Hudi |
|---|---|---|---|
| Compaction | OPTIMIZE | rewrite_data_files | Async/Inline |
| File pruning | VACUUM | expire_snapshots | Clean |
| Z-order/sort | ZORDER BY | Sort spec | Clustering |
| Önerilen sıklık | Günlük | Günlük | Saatlik |
| Maliyet etkisi | %15-25 düşüş | %20-30 düşüş | %25-35 düşüş |
Sektörel Use Case Eşleştirmeleri
Finansal kurumlar regülasyon nedeniyle güçlü time travel + audit log gerektirir; bu noktada Iceberg branch/tag pattern’i öne çıkar. E-ticaret ve mobil uygulamalar yüksek upsert + CDC ihtiyacı duyar, Hudi merge-on-read avantaj sağlar. Veri bilimi ağırlıklı kurumlar ML training pipeline’larında Delta Lake + Unity Catalog kombinasyonunu tercih ediyor. Telekom ve IoT ise streaming throughput nedeniyle Iceberg + Flink veya Hudi + Flink kullanıyor.
Kurumsal Lakehouse Dönüşümünde Karşılaşılan Tipik Sorunlar
Danışmanlık projelerinde gözlemlenen tipik darboğazlar:
- Compaction job’ları planlanmadığı için 6 ay sonra small file problemi p99 sorgu latency’sini 8 katına çıkarıyor
- Katalog seçimi geç yapıldığı için Iceberg tablolarına Spark, Flink ve Trino aynı anda erişemiyor
- Time travel retention politikası tanımsız kalıyor, depolama maliyeti tahmin edilenden %180 yükseliyor
- Schema evolution kuralları belirsiz, breaking change’ler downstream dashboard’ları aniden bozuyor
- Vacuum/expire_snapshots otomatize edilmediği için orphan dosyalar S3 hesabını şişiriyor
- Tek bir format seçimine ekip kilitleniyor, multi-engine ihtiyacı doğduğunda migrate maliyeti $400K+ çıkıyor
Sonuç
2026’da lakehouse mimarisi artık opsiyonel değil; tartışma format seçimine indi. Databricks ağırlıklı ekosistemde Delta Lake; multi-engine + open catalog ihtiyacında Iceberg; CDC + streaming ETL ağırlıklı iş yüklerinde Hudi öne çıkıyor. Karar öncesi mutlaka mevcut workload profilini ölçün: write/read oranı, concurrent writer sayısı, ortalama dosya boyutu, latency SLO ve katalog uyumluluk ihtiyacı. Bu beş veri noktasını netleştirmeden format seçimi yapmayın; aksi halde 12 ay sonra migrate ediyor olursunuz.
Sıkça Sorulan Sorular
Delta Lake ile Iceberg arasında geçiş ne kadar maliyetli?
Delta Lake 3.2+ ile Iceberg Uniform format desteği geldi; aynı parquet dosyaları iki format için metadata üretebiliyor. Bu sayede full data migration olmadan dual-write yapılabiliyor. Tam migration maliyeti tablo başına ortalama 4-12 saat compute süresi, TB başına $20-50 civarı.
Apache Hudi’yi hangi senaryoda Delta veya Iceberg yerine seçmeliyim?
CDC kaynaklı yüksek-volume upsert iş yüklerinde Hudi merge-on-read pattern’i avantajlı. Databricks 2025 raporunda saniye başına 50K+ upsert işleyen ekiplerin %62’si Hudi tercih ediyor. Append-only veya batch ETL ağırlıklı iş yüklerinde Delta veya Iceberg daha basit kalıyor.
Time travel retention politikası ne kadar olmalı?
Tipik öneri: operasyonel rollback için 7 gün, regülasyon audit için 90 gün, analitik geçmiş karşılaştırma için tag bazlı 12 ay. Iceberg’de retention farklı snapshot ve tag için ayrı ayarlanabiliyor; bu sayede depolama maliyeti %40-60 azaltılabiliyor.
Iceberg hidden partitioning Delta’dan ne farklı?
Iceberg partition spec’i kolon dönüşümleri (bucket, truncate, day, hour) sayesinde sorgulayanın partition kolonunu bilmesini gerektirmez. Delta Lake’te generated column ile benzer pattern kurulabilir ancak query rewriting otomatik değil. Iceberg bu açıdan multi-engine ortamlarda daha esnek.
Hangi katalog seçimi 2026’da daha güvenli?
Databricks ekosistemi için Unity Catalog; multi-engine + open standard isteyenler için Snowflake Polaris (Iceberg REST); git-style branching ve WAP pattern için Project Nessie öne çıkıyor. Gartner 2025 katalog ROI verisine göre doğru katalog seçimi data discovery süresini %47 azaltıyor.
Ömer ÖNAL
Mayıs 23, 2026Kurumsal lakehouse seçimi tek bir ‘kazanan format’ meselesi değildir. Databricks platformu hâlâ kullanıyorsanız Delta Lake; çoklu motor ihtiyacınız varsa Iceberg; CDC ağırlıklı upsert iş yükleriniz varsa Hudi öne çıkar. Müşterilerimde iki kritik karar gördüm: katalog stratejisi (Unity, Polaris, Nessie) ve compaction zamanlaması. Doğru seçilmediğinde maliyet 3 kata kadar şişiyor. — Ömer ÖNAL