On-Device AI 2026: Mobil ve Uç Cihazlarda Küçük Dil Modelleri

On-Device AI 2026: Mobil ve Uç Cihazlarda Küçük Dil Modelleri

On-device AI 2026’da yapay zekânın bulut tekelinden çıkıp telefon, tablet ve uç cihazlara yerleştiği bir dönüm noktasına ulaştı; temel soru artık “modeli buluta mı göndereyim” değil, “hangi görevi cihazda, hangisini bulutta çalıştırayım” sorusudur. Doğrudan yanıt: 1 ile 8 milyar parametre aralığındaki küçük dil modelleri (SLM) — Gemini Nano, Phi-3, Llama 3.2 1B/3B, Qwen2.5 — nicemleme (quantization) sayesinde modern mobil cihazlardaki NPU’larda saniyede onlarca token üreterek, gizliliği koruyarak, ağ gecikmesi olmadan ve sıfır API maliyetiyle çalışır. Cihaz üstü yapay zekânın üç belirleyici avantajı gizlilik (veri cihazdan çıkmaz), gecikme (ağ turu yok, anlık yanıt) ve maliyettir (token başına ücret yok). Sınırı ise model boyutu ve cihaz belleğidir; karmaşık akıl yürütme hâlâ bulut modellerini gerektirir. 2026’nın baskın mimarisi hibrittir: basit görevler cihazda, ağır görevler bulutta.

Neden Cihaz Üstü Yapay Zeka Yükseliyor

On-device AI’ın yükselişi üç teknolojik gelişmenin kesişiminden doğdu: güçlü mobil NPU’lar, küçük ama yetenekli modeller ve agresif nicemleme. Apple’ın Neural Engine’i (A18’de saniyede 35 trilyon işlem) ve Qualcomm’un Hexagon NPU’su (Snapdragon 8 Elite’te 45+ TOPS) artık masaüstü GPU’lara yaklaşan çıkarım gücü sunuyor. Bu donanım, birkaç milyar parametreli modellerin telefonda gerçek zamanlı çalışmasını mümkün kıldı.

Modeli cihaza taşımanın değeri salt teknik değil, stratejiktir. Gizlilik açısından kullanıcı verisi (mesajlar, fotoğraflar, sağlık verisi) cihazdan hiç çıkmaz; bu, KVKK/GDPR uyumunu kökten basitleştirir. Gecikme açısından ağ turu olmadığından yanıt 50-200 ms içinde başlar. Maliyet açısından her çıkarım için bulut API ücreti ödenmez. Bu yaklaşımın edge tarafındaki uzantısını edge AI ve on-device çıkarım yazısı kapsar.

• Gizlilik: Veri cihazda kalır, bulut sızıntısı riski sıfır.
• Gecikme: Ağ turu yok, ilk token 50-200 ms.
• Maliyet: Token başına API ücreti yok, çevrimdışı çalışır.

Küçük Dil Modelleri: 1B-8B Parametre Sınıfı

Küçük dil modelleri (Small Language Models, SLM), genellikle 1 ile 8 milyar parametre arasındaki, mobil ve uç cihazlarda çalışacak şekilde tasarlanmış modellerdir. Microsoft’un Phi-3-mini modeli 3,8 milyar parametreyle, çok daha büyük modellerle karşılaştırılabilir akıl yürütme sergileyerek bu sınıfın gücünü kanıtladı. Google’ın Gemini Nano’su Pixel ve Android cihazlara gömülü çalışır; Meta’nın Llama 3.2 1B ve 3B modelleri mobil için özel optimize edilmiştir. Bu modellerin başarısı, ölçek yasalarının (scaling laws) yanında veri kalitesinin de belirleyici olduğunu gösteren araştırmalara dayanır: özenle seçilmiş ve damıtılmış veriyle eğitilen küçük bir model, gelişigüzel veriyle eğitilen çok daha büyük bir modeli geçebilir.

Bu modellerin gücü “küçük ama akıllı” felsefesinden gelir: yüksek kaliteli, damıtılmış (distilled) eğitim verisi, devasa parametre sayısının yerini tutabilir. Açık kaynak SLM ekosistemi hızla genişliyor; Llama, Mistral, Qwen ve DeepSeek modellerinin karşılaştırması için açık kaynak LLM karşılaştırması kapsamlı bir referanstır. SLM’ler genel sohbette devasa modeller kadar geniş bilgi taşımaz ama özetleme, sınıflandırma, yeniden yazma ve yapılandırılmış çıkarım gibi dar görevlerde son derece etkilidir.

Bu modellerin telefonda gerçek zamanlı çalışabilmesinin arkasında, mobil işlemcilere eklenen özel yapay zeka donanımı (NPU) yatar. NPU’lar, sinir ağı çıkarımının çekirdeği olan matris işlemlerini düşük güç tüketimiyle yürütmek için tasarlandığından, aynı işi genel amaçlı CPU’dan kat kat verimli yapar. Aşağıdaki tablo başlıca mobil NPU platformlarının çıkarım gücünü karşılaştırır.

Nicemleme: Modeli Cihaza Sığdırmanın Anahtarı

Nicemleme (quantization), bir modelin ağırlıklarını 32-bit kayan noktadan 8-bit, 4-bit hatta daha düşük hassasiyete indirerek bellek ve hesaplama gereksinimini dramatik azaltan tekniktir. 4-bit nicemleme, model boyutunu yaklaşık dörtte bire düşürür; 7 milyar parametreli bir model 16 bit’te ~14 GB iken 4-bit’te ~4 GB’a iner ve böylece çoğu modern telefona sığar. GGUF formatı ve llama.cpp, bu nicemlenmiş modelleri cihazda çalıştırmanın fiili standardıdır. Nicemleme yalnızca depolama değil, çıkarım hızı kazancı da sağlar: daha küçük ağırlıklar bellek bant genişliği darboğazını hafifletir ve modern NPU’lar düşük hassasiyetli (int8/int4) işlemleri yerel olarak hızlandırır.

Nicemlemenin maliyeti küçük bir doğruluk kaybıdır; ancak modern teknikler (AWQ, GPTQ, k-quant) bu kaybı çoğu görevde fark edilmeyecek seviyeye indirir. Çalıştırma motorları arasında llama.cpp (CPU/GPU), Apple MLX (Apple Silicon optimize) ve MLC LLM (çapraz platform GPU) öne çıkar; bunların karşılaştırması için edge LLM deployment motorları yazısı detaylı bir kaynaktır.

Nicemleme seviyesinin seçimi, boyut, hız ve doğruluk arasında bilinçli bir denge gerektirir. Aşağıdaki tablo, 7 milyar parametreli bir model örneği üzerinden farklı hassasiyet seviyelerinin etkisini özetler.

Pratikte mobil cihazların çalışma atı 4-bit (Q4) ve k-quant varyantlarıdır; bunlar boyut ile kalite arasındaki tatlı noktayı yakalar. 3-bit ve altı agresif nicemleme yalnızca bellek gerçekten kritikse tercih edilir, çünkü kalite kaybı kullanıcı tarafından fark edilir hale gelir.

On-Device AI Model ve Motor Karşılaştırması

Hibrit Mimari: Cihaz ve Bulut Birlikte

2026’nın baskın deseni saf cihaz veya saf bulut değil, akıllı yönlendirmeli hibrittir. Apple Intelligence ve Google’ın AICore’u bu modeli benimser: gizlilik-hassas ve basit görevler (metin özetleme, akıllı yanıt, bildirim sınıflandırma) cihazda; karmaşık akıl yürütme, geniş bilgi gerektiren sorgular ise güvenli bulut katmanında çalışır. Apple’ın Private Cloud Compute’u, bulut çıkarımında bile cihaz seviyesi gizlilik garantisi sunmayı hedefler. Bu hibrit yönlendirme, kullanıcı deneyimi açısından da kritiktir: cihaz modeli anlık bir taslak yanıt üretirken, gerekiyorsa bulut modeli arka planda daha zengin bir cevabı tamamlayarak algılanan gecikmeyi gizler.

Bu yönlendirme mantığı, tarayıcı tarafında WebGPU ile de uygulanabilir; istemci tarafı çıkarımın web boyutunu tarayıcıda yapay zeka ve WebGPU yazısı ele alır. Hibrit kararın özü maliyet-gizlilik-yetenek üçgenidir: cihaz ucuz ve özel ama sınırlı, bulut güçlü ama maliyetli ve gizlilik takası gerektirir.

Hibrit yönlendirmenin pratik uygulamasında karar genellikle bir eşik mantığına dayanır: gelen görev, cihaz modelinin güvenle çözebileceği bir kategoriye (özetleme, sınıflandırma, biçimlendirme, basit yanıt) giriyorsa cihazda işlenir; girmiyorsa veya cihaz modeli düşük bir güven skoru üretirse istek buluta yükseltilir (escalation). Bu tasarım, kullanıcıların büyük çoğunluğunun sık yaptığı basit işlemleri sıfır maliyetle ve anında karşılarken, yalnızca gerçekten karmaşık azınlığı bulut faturasına dönüştürür; sonuç hem maliyet hem gecikme açısından optimaldir. Apple Intelligence’ın cihaz modeli ile Private Cloud Compute arasındaki, Google AICore’un ise yerel Gemini Nano ile bulut Gemini arasındaki devirleri tam olarak bu mantığı somutlaştırır. Önemli bir tasarım inceliği de geri dönüş (fallback) deneyimidir: cihaz hızlı bir taslak yanıt gösterirken bulut arka planda zenginleştirilmiş cevabı tamamlarsa, kullanıcı hiçbir bekleme hissetmez.

Performans, Pil ve Bellek Dengeleri

Cihaz üstü çıkarımın gerçek maliyeti pil ve bellektir. Bir SLM’yi sürekli çalıştırmak NPU’yu yoğun kullanır ve pili tüketir; bu yüzden modeller talep üzerine yüklenir ve kullanım sonrası bellekten boşaltılır. Mobil bellek bütçesi kritiktir: 8 GB RAM’li bir telefonda 4 GB’lık bir model çalıştırmak diğer uygulamaları sıkıştırır. Aşağıdaki tablo cihaz-bulut dengelerini özetler.

Tipik Sorunlar ve Çözümleri

On-device AI projelerinde ekipler genellikle cihaz sınırlarını hafife alarak aynı tuzaklara düşer. En sık karşılaşılan sorunlar ve çözümleri şunlardır:

• Bellek aşımı (OOM): Büyük model cihaz RAM’ini doldurur, uygulama çöker. Çözüm: 4-bit nicemleme, talep üzerine yükleme, model boyutu seçimi.
• Pil tükenmesi: Sürekli çıkarım NPU’yu ısıtır. Çözüm: Görev tabanlı çalıştırma, sonuç önbellekleme, küçük model tercihi.
• Tutarsız donanım: Her cihazda NPU/RAM farklı. Çözüm: Cihaz yeteneğine göre model katmanı seçimi (tier’lama).
• Doğruluk kaybı: Aşırı nicemleme kaliteyi düşürür. Çözüm: AWQ/k-quant dengeli nicemleme, kritik görevde bulut fallback.
• Dar görev sınırı: SLM genel bilgi sorularında zayıftır. Çözüm: RAG ile yerel bağlam besleme veya hibrit bulut yönlendirme.
• Model güncelleme dağıtımı: Büyük model dosyaları güncellemeyi zorlaştırır. Çözüm: Delta güncelleme, cihaz üstü model deposu (AICore/Foundation Models).

Sonuç

On-device AI 2026’da deneysel bir konseptten üretim gerçeğine dönüştü; güçlü NPU’lar, yetenekli küçük dil modelleri ve agresif nicemleme bu üçlüyü mümkün kıldı. SLM’ler özetleme, sınıflandırma ve yapılandırılmış çıkarım gibi dar görevlerde gizliliği koruyarak, anlık ve sıfır marjinal maliyetle çalışır; karmaşık akıl yürütme hâlâ bulutu gerektirir. Doğru strateji saf cihaz veya saf bulut değil, görev tipine göre akıllı yönlendiren hibrit mimaridir. Pratik tavsiye: Önce hangi görevlerin gerçekten cihazda çalışması gerektiğini (gizlilik veya çevrimdışı zorunluluğu) listeleyin; bu görevler için Llama 3.2 1B/3B veya Phi-3-mini’yi 4-bit nicemlemeyle prototipleyip pil ve bellek etkisini ölçün, gerisini buluta bırakın.

Sıkça Sorulan Sorular