Apple M3 çipinde yapay zeka hızını düşüren donanım hatası çözüldü

Apple M3 işlemcisinde yer alan Neural Engine (ANE) biriminde, toplam ağırlık boyutu 1 MiB'ın tam katı olduğunda bellek veri aktarım hızını 17 ila 19 GB/s seviyesine düşüren bir donanım başarım hatası saptandı. Normalde 45 ila 60 GB/s aralığında çalışması gereken veri akışı, çekirdek DMA motorundaki 14 bitlik adres sayacının taşması nedeniyle yavaşlıyor. Yapılan analizler ve geliştirilen yazılımsal iş yükü bölme yöntemi, veri yolunu 50 GB/s düzeyine kadar geri kazandırarak dil modellerinde çalışma hızını iki kattan fazla artırdı.

Araştırma, tekil belirteç (token) çıkarımı sırasında tensör boyutunun 2048 ve katları olduğu durumlarda bellek bant genişliğinin sert biçimde çöktüğünü gösterdi. M3 Air üzerinde yürütülen deneyler, sorunun çekirdekler arası çekişmeden değil, ANE'nin spekülatif ön getirme (prefetch) halkasındaki döngüsel işaretçi aritmetiğinden kaynaklandığını belgeledi. Aritmetikte tur bitişi için ek denetim biti kullanılmadığı için tam 1 MiB katlarındaki aktarımlar kuyruğu boş algılıyor ve ön getirme mekanizmasını durdurup aktarımı seri moda zorluyor.

Geliştirilen yazılım tabanlı çözümde, 1 MiB ve katlarına denk gelen çekirdek transferleri 512 KiB gibi ara parçalara bölünerek donanım hatasından kaçınıldı. İş yükünün parçalara ayrılmasıyla Llama 3.2 1B modelinin çıktı hızı saniyede 10 belirteçten 24,3 belirtece, DRAM bant genişliği kullanımı ise 24,7 GB/s'den 60 GB/s'ye ulaştı. Qwen3-8B modelinde de hız saniyede 1,36 belirteçten 2,97 belirtece çıkarak ANE üzerinde çalışan modellerde kayda değer performans artışı sağladı.