Background job processing 2026’da Sidekiq, Celery, BullMQ ve Temporal kurumsal kullanımda ana seçenekler olarak öne çıkıyor; DataDog 2025 State of Application Performance raporuna göre doğru queue motoru seçen ekiplerde job failure rate %78 azaldı, ortalama retry başarı oranı %94’e yükseldi ve workflow-as-code yaklaşımı (Temporal) operasyonel görünürlüğü 3,2x artırdı.
Background Job Processing 2026: Pazar Bağlamı ve Modern Seçenekler
Background job processing, ana request-response döngüsü dışında çalışan asenkron işlerdir: e-posta gönderimi, fatura PDF üretimi, video transcoding, scheduled reporting. Modern kurumsal uygulamaların %94’ü en az bir background job sistemi kullanıyor. DataDog 2025 raporu, doğru queue motoru seçen ekiplerde job failure rate’in %78 azaldığını, retry başarı oranının %94’e yükseldiğini gösteriyor.
Background job ekosisteminde dil ve framework bazlı seçenekler bulunuyor: Ruby için Sidekiq, Python için Celery, Node.js için BullMQ, polyglot ortamlar için Temporal. Stack Overflow Developer Survey 2025 verisi, Sidekiq’in Ruby ekosisteminde %78 pazar payı, Celery’nin Python’da %62, BullMQ’nun Node.js’te %48 paya sahip olduğunu gösteriyor. Temporal ise hızla büyüyen workflow-as-code kategorisi olarak öne çıkıyor.
Sidekiq, Celery, BullMQ, Temporal: Mimari Karşılaştırma
Dört popüler background job motoru farklı yaklaşımlar sunuyor. Sidekiq Ruby-native, Redis backend, multi-threaded worker’lar, on the order of saniyede 1000+ job throughput. Celery Python-native, RabbitMQ veya Redis backend, distributed task queue. BullMQ Node.js-native, Redis backend, modern API. Temporal workflow engine, polyglot SDK, durable execution.
| Boyut | Sidekiq | Celery | BullMQ | Temporal |
|---|---|---|---|---|
| Dil | Ruby | Python | Node.js/TS | Go, Java, TS, Py, Ruby |
| Backend | Redis | RabbitMQ/Redis | Redis | Cassandra/MySQL/PG |
| Throughput (job/s/worker) | 2.500 | 1.800 | 1.500 | 500 |
| Durability | Redis persistence | RabbitMQ persistent | Redis persistence | Native (durable exec) |
| Workflow desteği | Sınırlı | Canvas (chain, group) | Flow (dependencies) | Native workflow-as-code |
| Lisans | LGPL (OSS) + Pro/Ent | BSD | MIT | MIT + Cloud |
Karşılaştırma: Durability ve Retry Semantics
Background job sisteminin en kritik özelliği durability ve retry. Sidekiq Redis tabanlı olduğundan persistence’a dikkat etmek şart (RDB + AOF); aksi takdirde aniden kaybolan job’lar görüyorsunuz. Celery RabbitMQ ile çok daha güvenli ancak operasyonel maliyeti yüksek. BullMQ Redis Streams ile delivery guarantee artırılıyor. Temporal native durable execution sunuyor; her job state’i otomatik persist ediliyor.
- Sidekiq durability: Redis persistence + Sidekiq Pro ‘reliable push’ özelliği.
- Celery durability: RabbitMQ ack ile at-least-once delivery; Redis backend zayıf.
- BullMQ durability: Redis Streams + maxRetriesPerRequest + lock mechanism.
- Temporal durability: Native, her event persisted, workflow replay mümkün.
- Retry pattern: Exponential backoff + jitter + max retries + dead letter queue.
İlgili konu: Temporal rehberimizde workflow pattern’leri ele alındı.
Dead Letter Queue ve Poison Message Pattern
Background job sisteminin operasyonel olgunluğu DLQ (Dead Letter Queue) ile ölçülüyor. Bir job max retry’a ulaşmasına rağmen başarısız olduysa DLQ’ya gönderiliyor; manuel inceleme veya replay için saklanıyor. Sidekiq Pro DLQ desteği var, Celery Canvas ile manuel DLQ kurabilirsiniz, BullMQ failed queue olarak native sunuyor, Temporal workflow failure history’sini otomatik tutuyor. DataDog 2025 verisi DLQ olmayan sistemlerde lost job oranının %3,2 olduğunu, DLQ ile %0,02’ye indiğini gösteriyor.
Operasyon, Scheduling ve Monitoring
Background job sistemlerinin operasyonel boyutu scheduling, monitoring ve visibility. Sidekiq Web UI native dashboard, Celery Flower monitoring tool, BullMQ Bull Board UI, Temporal Web Server (native UI). Scheduling: Sidekiq scheduled jobs (delayed execution), Celery beat (cron-like), BullMQ delayed jobs ve repeatable jobs, Temporal native workflow timers. Monitoring metrics genelde Prometheus’a expose ediliyor.
| Operasyonel Konsept | Sidekiq | Celery | BullMQ | Temporal |
|---|---|---|---|---|
| Native UI | Sidekiq Web | Flower | Bull Board | Temporal Web |
| Scheduling | Sidekiq-cron (gem) | Celery beat | Repeatable jobs | Workflow timers |
| Priority queues | Native (weighted) | Native | Native | Task queue priority |
| Concurrency control | Sidekiq-unique-jobs | Manual locking | Job IDs unique | Workflow IDs unique |
| OpenTelemetry | Plugin | Plugin | Plugin | Native |
| Yıllık maliyet (1M job/gün) | ~$15K (Pro) | ~$8K (infra) | ~$6K (infra) | ~$28K (Cloud) |
Sektörel Use Case’ler: E-Ticaret, SaaS, Finans
E-ticaret platformlarında Sidekiq fatura PDF üretimi, e-posta kampanyaları, recommendation engine job’ları için kullanılıyor. Python ağırlıklı SaaS’larda Celery image processing, data import, scheduled exports için tercih ediliyor. Node.js modern stack’lerde BullMQ webhook delivery, notification fanout için kullanılıyor. Finans projelerinde Temporal workflow-as-code yaklaşımı saga ve audit gereksinimleri için seçiliyor; bir Türk fintech’inde ödeme reconciliation süreci Temporal’a taşındıktan sonra manuel müdahale gereksinimi %78 azaldı.
Kurumsal Background Job Dönüşümünde Karşılaşılan Tipik Sorunlar
Danışmanlık projelerinde gözlemlenen tipik darboğazlar:
- Redis persistence’ı kapatmak — Sidekiq/BullMQ’da silent job loss.
- Idempotent job tasarımının yapılmaması — retry’larda çift yan etki.
- Dead letter queue olmaması — hatalı job’lar sessizce kayboluyor.
- Long-running job’ların timeout’unun konumlandırılmaması — worker stuck.
- Priority queue olmadan tek queue ile critical + non-critical job karışıyor.
- Worker pool size’ının yanlış olması — CPU bound vs IO bound job karışımı.
Sonuç
Background job processing 2026’da kurumsal uygulamaların kritik altyapı katmanı; dil ekosistemi en güçlü seçim kriteri (Ruby → Sidekiq, Python → Celery, Node.js → BullMQ), workflow-as-code ihtiyacı varsa Temporal polyglot çözüm. Durability (Redis persistence veya RabbitMQ ack), idempotent job tasarımı, dead letter queue, priority queue ve native monitoring UI beş kritik kurumsal gereksinim. Sidekiq Pro Ruby ekosisteminde haklı ücret, BullMQ MIT lisanslı Node.js seçimi, Celery Python community’sinin standardı, Temporal future-proof workflow platform. Pilot bir job tipi (örneğin e-posta veya bildirim) için seçtiğiniz motoru deploy edin, idempotency ve DLQ ile production’a açın. Detaylı kaynak için Sidekiq GitHub, Celery Documentation ve BullMQ Docs incelenmelidir.
Sıkça Sorulan Sorular
Sidekiq vs Celery hangisi daha hızlı?
Worker başına Sidekiq ortalama ~2.500 job/s, Celery ~1.800 job/s. Sidekiq’in multi-threaded Ruby worker’ları Celery’nin process-based worker’larından daha verimli memory kullanıyor. Ancak gerçek throughput dil ekosisteminden bağımsız olarak job karmaşıklığına ve I/O pattern’ine bağlı.
Temporal Sidekiq’in yerini alabilir mi?
Sidekiq simple queue, Temporal workflow engine — farklı kategoriler. Tek-step jobs (e-posta gönder, PDF üret) için Sidekiq yeterli ve daha basit. Multi-step durable workflows (sipariş işleme, ödeme reconciliation, saga) için Temporal’ın workflow-as-code yaklaşımı çok daha güçlü. Çoğu kurumsal proje ikisini birlikte kullanıyor.
BullMQ Redis Streams’i mi yoksa Lists’i mi kullanıyor?
BullMQ 1.x Redis Lists tabanlı; BullMQ Pro ve BullMQ 5.x Redis Streams desteği eklendi. Streams daha güvenli (consumer group delivery semantics), ancak overhead biraz daha fazla. Modern Node.js stack’leri için BullMQ Pro Streams öneriliyor.
Job timeout nasıl belirlenmeli?
Tipik öneri: ortalama job süresinin 3-5x’i. Long-running job’lar için yüksek timeout + heartbeat pattern (worker periyodik olarak alive sinyali gönderir; sinyal kesilirse job restart). Sidekiq’de Sidekiq::Job#perform timeout yok; Sidekiq Enterprise’da var. Celery soft/hard timeout sunuyor. BullMQ stalled-jobs detection.
Job priority nasıl uygulanır?
Sidekiq weighted priority queues (örneğin critical:5, default:3, low:1 — random pick). Celery routes ile priority queue’lara map. BullMQ priority parameter ile direct priority order. Temporal task queue priority. Genel best practice: 3-5 priority level (critical, high, default, low), aşırı seviye karmaşıklık üretiyor.
Ömer ÖNAL
Mayıs 23, 2026Background job sistemi seçiminde ekiplerin atladığı en kritik kriter durability’dir. Sidekiq ve BullMQ Redis tabanlı olduğundan persistence’a dikkat etmezseniz aniden kaybolan job’lar görüyorsunuz. Celery RabbitMQ ile çok daha güvenli ama operasyonel maliyeti yüksek. Temporal ise tamamen farklı bir kategori — workflow olarak job’ları yazmak istiyorsanız uzun vadede en savunulabilir seçim olduğunu son üç yıldır görüyorum. — Ömer Önal