2026 yılında pretraining veri karışım kalitesi, model performansını ham parametre sayısından daha fazla etkiliyor; Google Research’ün DoReMi makalesi, optimize edilmiş domain ağırlıklarının baseline uniform mixing’e göre downstream task perplexity’sini %17.3 düşürdüğünü ve 8B parametreli modelin baseline 30B muadiline yaklaşmasını sağladığını ortaya koyuyor. Data Mixing Pazarı ve Pretraining Ekonomisi Data mixing, LLM pretraining’inde farklı veri kaynaklarının […]
