Speculative decoding, 2026 üretim LLM sistemlerinde GPU başına throughput’u 2.8-3.4x artırırken P99 latency’sini %52 düşüren bir teknik haline geldi; DeepMind’ın orijinal 2023 çalışmasından bu yana Medusa, EAGLE-2 ve Lookahead Decoding gibi varyantlarla token üretim hızında ortalama 3.1x kazanç ölçülüyor. Speculative Decoding 2026: Pazar Bağlamı ve Adopsiyon NVIDIA’nın 2025 GTC sunumuna göre datacenter GPU kullanımının %62’si […]
