NVIDIA Hopper Transformer Engine üzerinde FP8 quantization, Llama 3.1 70B modelinde inference throughput’unu FP16 baseline’ına göre 2.1x artırırken MMLU benchmark’ında ortalama %0.6 doğruluk kaybı raporladı; 2026 itibarıyla kurumsal LLM serving’in altın oranı. Konuyla ilişkili olarak Megatron-LM 2026: NVIDIA Large Scale Training Implementation Detayli rehberimiz detaylı incelemeyi içerir. FP8 Quantization 2026 Pazar Bağlamı LLM inference’in en […]
