Apache Pinot 2025 yılında LinkedIn’de günlük 1 trilyon event üzeri sorgu hacmiyle çalışan en olgun gerçek zamanlı OLAP motoru olarak konumlanıyor; StarTree’nin Series B turuyla 47M USD funding alması ve Stripe, Walmart, Uber Eats gibi şirketlerin sub-100ms analytics dashboard’larını Pinot üzerinde inşa etmesi pazar olgunluğunu kanıtlıyor. Konuyla ilişkili olarak Real-Time Analytics: ClickHouse vs Apache Pinot 2026 Karşılaştırma rehberimiz detaylı incelemeyi içerir.
Apache Pinot 2026: LinkedIn Kökenli Real-Time OLAP
Apache Pinot, LinkedIn engineering ekibinin 2014 yılında dahili olarak geliştirdiği ve 2018’de Apache Software Foundation’a bağışladığı dağıtık real-time OLAP datastore’dur. 2025 itibarıyla Pinot 1.3 sürümüyle yayında ve StarTree (commercial entity) tarafından dbt benzeri yönetim katmanı olan StarTree Cloud ile enterprise-grade SaaS sunuyor. LinkedIn’in 2024 Q4 engineering blog yazısında platform üzerinde 100.000+ Pinot tablosunun, günde 1 trilyon event’in ve saniye altı p99 latency’sinin sağlandığı açıklandı.
Gartner 2025 Q3 Real-Time Analytics Database Vendor Landscape raporunda Apache Pinot, ClickHouse, Apache Druid, StarRocks ile birlikte “leader” kategorisinde yer aldı. CNCF Annual Survey 2025’e göre real-time analytics adoption 2023’te 18%’den 2025’te 37%’ye yükseldi; toplam pazar büyüklüğü 4.2 milyar USD’ye ulaştı ve 2027’ye kadar yıllık 28% büyüme bekleniyor. StarTree’nin 2025 State of Real-Time Analytics raporunda 1.200 kurumsal anket katılımcısının 64%’ü “user-facing analytics” use case’ini öncelikli olarak tanımladı.
Türkiye’de Trendyol, Hepsiburada ve Migros 2025 yılı içinde Pinot POC’lerini yürüttü; özellikle real-time merchant dashboard, dinamik fiyatlandırma, fraud detection ve campaign performance dashboard’ları için ClickHouse ile karşılaştırmalı değerlendirmeler yapıldı. Bilyoner ve Nesine gibi bahis operatörleri için saniye altı latency’li bet pattern analytics ihtiyacı Pinot’u stratejik seçenek haline getirdi.
Pinot Mimari Boyutu: Segment, Server, Broker, Controller
Apache Pinot mimarisi dört temel bileşenden oluşur: Controller (cluster yönetimi, table schema, segment assignment), Broker (query routing ve scatter-gather), Server (segment hosting + query execution) ve Minion (background tasks: merge, rollup, compaction). Pinot tabloları Offline (batch ingestion) ve Realtime (Kafka/Kinesis ingestion) modlarında çalışır; Hybrid table type bunları birleştirerek hot data + cold data tek sorgu altında erişilebilir kılar. Segment immutable veri birimidir; her segment kendi forward index, inverted index, range index, JSON index, geospatial index, text index, vector index (1.3 ile geldi) içerebilir.
| Bileşen | Sorumluluk | Ölçeklenme | Donanım | HA Pattern |
|---|---|---|---|---|
| Controller | Cluster metadata + Helix | 3 replica | 4 vCPU + 16 GB RAM | Helix + ZooKeeper |
| Broker | Query routing | Stateless, scale out | 8-16 vCPU | Load balancer arkası |
| Server (Realtime) | Kafka consume + serve | Partition başına 1+ | 16-32 vCPU + 64-128 GB | Replication factor 3 |
| Server (Offline) | Segment serve | Segment count’a göre | 16-32 vCPU + 128-256 GB | Replication factor 2-3 |
| Minion | Background jobs | İş yüküne göre | 8-16 vCPU | Stateless |
| Deep Store | Segment storage | S3/GCS/HDFS | Object storage | Cross-region replication |
Apache Pinot vs ClickHouse vs Druid vs StarRocks Karşılaştırması
Real-time OLAP pazarında dört ana oyuncu rekabet ediyor ve seçim use case’e göre değişiyor. Apache Pinot user-facing analytics (her end user dashboard sorgusunun saniye altı dönmesi gerektiği) için optimize. ClickHouse genel amaçlı OLAP, log analytics, BI dashboard için geniş kullanım alanı. Apache Druid time-series ve event analytics için olgun. StarRocks MPP query engine olarak BI ve lakehouse analytics için optimize.
- Apache Pinot: P99 latency 50-200 ms, concurrent QPS 10K+, real-time ingestion saniyede 5 milyon event, multi-tenancy native; SQL coverage Druid ve ClickHouse’tan zayıf
- ClickHouse: P99 latency 500-2000 ms, complex query coverage çok güçlü, JOIN performansı iyi, ekosistem genişliği lider; concurrent QPS Pinot’tan düşük
- Apache Druid: Time-series specialized, ingestion lag düşük, segment merge operasyonu pahalı; SQL coverage sınırlı
- StarRocks: CelerData commercial, MPP query, Iceberg/Hudi/Delta lakehouse query desteği güçlü; real-time ingestion Pinot kadar olgun değil
- Apache Doris: StarRocks fork’u, China ekosistemi içinde olgun, global enterprise adoption sınırlı
İlgili konu: Apache DataFusion query engine Pinot’un alternatifi değil, farklı katman; Pinot user-facing low-latency, DataFusion ad-hoc analytics için.
Implementation Pattern: Kafka + Pinot Realtime Table + User-Facing Dashboard
LinkedIn pattern’i tipik olarak şu şekilde işler: Kafka topic’te 5 milyon event/saniye akar; Pinot realtime table 16 server (32 vCPU + 128 GB RAM her biri) üzerine partition’lanır; her partition için 2-3 replica tutulur. Schema tanımında dimensions (string, int), metrics (sum, avg, count) ve dateTimeFieldSpec belirlenir. Realtime consumption type LowLevel preferred; high level deprecated. Segment commit policy time + size based hibrit; 1 saat veya 500 MB hangisi önce dolarsa segment commit edilir ve deep store’a (S3) yazılır.
User-facing dashboard sorguları broker üzerinden gelir; broker query plan oluşturur, ilgili server’lara scatter eder, sonuçları gather edip client’a döner. Star-tree index complex GROUP BY sorgularının latency’sini 100x’e kadar düşürür; pre-aggregated tree structure içinde aggregate sonuçlar tutulur. JSON column desteği ile semi-structured event’ler ayrı tablo gerektirmeden sorgulanabilir. Tier storage pattern’iyle hot data SSD, warm data SATA HDD, cold data S3 üzerinde tutulup tek SQL ile transparan sorgulanır.
Operasyon, Gözlemlenebilirlik ve Maliyet
Pinot cluster operasyonu için Helix tabanlı admin UI, controller REST API ve Pinot Console (commercial StarTree) bulunur. Metrics JMX üzerinden expose edilir; Prometheus + Grafana ile broker_query_latency_ms, server_segment_load_time_ms, kafka_consumption_lag gibi 150+ metric izlenir. Logging için per-table audit log ve query log ayrı tutulabilir. Multi-tenant isolation için tenant tag’leri ile server gruplaması yapılır; Tier 1 müşteriler için dedicated server pool, Tier 2 için shared pool pattern’i yaygın.
| Operasyonel Boyut | Apache Pinot | StarTree Cloud | ClickHouse Cloud | Önerilen Pattern |
|---|---|---|---|---|
| Lisans Bedeli | Apache 2.0 | Compute + Storage | Compute + Storage | OSS ile başla, Cloud ile scale |
| Operasyonel Yük | Yüksek (Helix, ZooKeeper) | Sıfır | Düşük | StarTree HA team yoksa |
| P99 Latency Garantisi | SLA yok | 99.95% SLA | 99.9% SLA | SLA için Cloud |
| Aylık TCO (10 TB) | 12-18K USD | 22-32K USD | 16-24K USD | OSS infra ekibe bağlı |
| Ingestion Throughput | 5M event/s | 5M event/s | 2M event/s | Pinot user-facing scale |
| Vector Search (1.3+) | Native HNSW | Native HNSW | Beta | Pinot AI search advantage |
Maliyet optimizasyonu için segment compaction, dimension pruning ve cold tier offload kritik; LinkedIn case study’sinde tier storage uygulaması toplam storage maliyetini 68% azalttı. Feature Store entegrasyonu Pinot’un ML feature serving senaryolarında alternatif sub-second feature lookup katmanı olarak kullanılabilir.
Sektörel Use Case: E-ticaret Merchant Analytics Dashboard
Türkiye’de büyük bir e-ticaret platformu 2025 Q3’te 380.000 merchant’a real-time analytics dashboard sunmak için Apache Pinot’u üretime aldı. Önceki ClickHouse tabanlı yapı p99 latency 1.8-3.2 saniye seviyesinde kalıyor ve concurrent 2.500 dashboard request’i destekleyebiliyordu. Pinot geçişi sonrası 16 server cluster üzerinde p99 latency 85 ms’ye indi ve concurrent 12.000 dashboard request kapasitesine ulaşıldı. Her merchant kendi mağaza GMV, conversion rate, click-through, return rate, traffic source breakdown grafiklerini saniye altı görüntülüyor.
Stripe’ın 2024 engineering blog yazısında Pinot üzerinde günde 150 milyar payment event’i sorgulandığı, internal analytics ekibinin dashboard latency’sini 4 saniyeden 200 ms’ye düşürdüğü raporlandı. Walmart e-ticaret tarafında Pinot ile dynamic pricing recommendation engine kuruldu; 250 milyon SKU üzerinde saatlik fiyat optimizasyon kararları gerçek zamanlı dashboard’a yansıyor. Apache Pinot resmi sayfası ve Pinot resmi dokümantasyonu üretim mimari kararları için baz referans niteliğindedir.
Kurumsal Apache Pinot Dönüşümünde Karşılaşılan Tipik Sorunlar
Danışmanlık projelerinde gözlemlenen tipik darboğazlar şu şekilde toplanıyor:
- Operasyonel olgunluk gerekliliği: Helix, ZooKeeper, Kafka, Pinot bileşenlerinin orkestrasyonu için deneyimli SRE ekibi şart; aksi takdirde incident response 4-8 saate uzayabiliyor.
- Schema design hataları: Dimension cardinality, time granularity, segment partitioning kararları baştan optimize edilmediğinde 6 ay sonra rewrite gerekiyor.
- JOIN kısıtlamaları: Pinot 1.2’ye kadar lookup join sınırlıydı; 1.3 ile multi-stage query engine ile JOIN geldi ancak ClickHouse veya StarRocks seviyesinde olgun değil.
- Star-tree index karmaşıklığı: Doğru tasarım için query pattern analizi şart; yanlış star-tree config storage maliyetini 4-8x katlıyor ama latency kazanımı sağlamıyor.
- Multi-tenant isolation maliyeti: Tenant tag pattern’i kullanılmadığında “noisy neighbor” sorunu yaşanıyor; dedicated server pool maliyet etkisi yaratıyor.
- Backup ve disaster recovery: Pinot’un native backup özelliği sınırlı; deep store (S3) cross-region replication ve segment recovery prosedürleri manuel tasarlanmalı.
Sonuç
Apache Pinot 2026 yılında user-facing real-time analytics için en olgun, en yüksek performanslı OLAP motoru konumunda ve LinkedIn, Stripe, Walmart, Uber ölçeğindeki kurumların production yığınlarında kanıtlanmış durumda. Saniye altı p99 latency ve binlerce concurrent dashboard request kapasitesi gereken use case’lerde (merchant analytics, dynamic pricing, fraud detection, user-facing leaderboard, social media insights) Pinot kategori lideri. Karar verirken operasyonel kapasite (SRE ekibi büyüklüğü), SLA gereksinimi (StarTree Cloud HA), JOIN ihtiyacı (ClickHouse alternatifi düşünme), kompleksiyonlu BI sorguları (DataFusion + Pinot hibrit) faktörlerini birlikte değerlendirin. POC’leri tek bir kritik dashboard kullanım senaryosundan başlatın; baseline latency ve throughput metric’lerini ölçün; sonrasında multi-tenant ve cross-region pattern’lere ölçeklendirin. Operasyonel ekip kapasitesi sınırlıysa StarTree Cloud aboneliği TCO’ya rağmen daha hızlı time-to-production sağlayabilir.
Sıkça Sorulan Sorular
Apache Pinot ile ClickHouse arasındaki temel fark nedir?
Pinot user-facing real-time analytics için optimize edilmiş, saniye altı p99 latency ve binlerce concurrent QPS hedefleyen distributed OLAP store’dur. ClickHouse genel amaçlı OLAP motoru olarak daha geniş SQL coverage, daha güçlü JOIN ve daha düşük operasyonel karmaşıklık sunar ancak p99 latency 500-2000 ms aralığında kalır. User-facing dashboard için Pinot, BI ve log analytics için ClickHouse genellikle tercih edilir.
Pinot’un LinkedIn’deki ölçeği ne kadardır?
LinkedIn’in 2024 engineering blog yazısına göre platform 100.000+ Pinot tablosu, günde 1 trilyon event ve saniye altı p99 latency ile çalışıyor. 16 ana cluster üzerinde toplam 5.000+ server pod’u 50+ farklı use case’i besliyor: member analytics, ad campaign dashboard, recruiter insights, premium analytics.
StarTree Cloud open-source Pinot’a göre ne ekstra sunar?
Yönetilen Pinot, otomatik scaling, query workbench (Trino ile entegre), data manager UI, multi-cluster federation, 99.95% SLA, otomatik upgrade, GitOps-based table management ve enterprise-grade RBAC. Operasyonel yük sıfırlanır ancak compute + storage maliyeti OSS’e göre 50-80% daha yüksek olur.
Pinot hangi index türlerini destekler?
Forward index, inverted index, range index, sorted index, bitmap index, JSON index, geospatial (H3) index, text search (Lucene), star-tree pre-aggregation index, vector HNSW index (1.3+) ve native Lucene-based full-text search index’ler desteklenir. Doğru index seçimi sorgu performansını 10-100x etkileyebilir.
Apache Pinot fault tolerance nasıl sağlar?
Replication factor genelde 2-3 olarak konfigüre edilir; segment’ler farklı server’lara dağıtılır. Apache Helix cluster state’i yönetir; bir server düştüğünde Helix segment’leri diğer replica’lardan re-balance eder. Deep store (S3/GCS/HDFS) segment’lerin kalıcı saklandığı durable katmandır; server kaybında deep store’dan segment recovery yapılır.
Ömer Önal
Mayıs 23, 2026Apache Pinot’u user-facing analytics use case’leri için kategori lideri olarak öneriyorum; ClickHouse genel amaçlı OLAP için iyi ama p99 50-200 ms ve binlerce concurrent QPS ihtiyacı varsa Pinot fark yaratıyor. SRE kapasitesi olmayan ekipler için StarTree Cloud aboneliği TCO yüksek görünse de time-to-production ve SLA garantisi düşünüldüğünde ROI veriyor. Schema design ve star-tree index tasarımını baştan doğru yapmayan ekipler 6 ay içinde rewrite zorluğu yaşıyor.