Genel Matris Çarpımı (GEMM), yüksek performanslı hesaplama ve derin öğrenme alanlarında kritik bir çekirdek işlemdir. ARM'ın Ölçeklenebilir Matris Uzantısı (SME) gibi modern mimariler, matris işlemleri için özel donanımlar sunsa da, mevcut doğrusal cebir kütüphaneleri, özellikle büyük matrisler için bu potansiyeli tam olarak kullanamamaktadır. Bu durum, derin öğrenme modellerinin ve diğer yoğun hesaplama gerektiren uygulamaların performansını kısıtlamaktadır. Bu makale, bu eksikliği gidermek amacıyla, ARM SME'nin temel mimari özelliklerinden yararlanarak GEMM'i çeşitli hassasiyet seviyelerinde optimize eden açık kaynaklı bir kütüphane olan MpGEMM'i sunmaktadır.
MpGEMM'in tasarımı, SME'nin sistematik bir karakterizasyonundan elde edilen optimizasyon yönergelerine dayanmaktadır. Kütüphane, önbellek farkındalıklı bölümleme, anında transpozisyon ile verimli veri paketleme ve çoklu vektör yüklemeleri ile tüm mevcut döşeme yazmaçlarını kullanan özelleşmiş mikro-çekirdekler gibi yenilikçi teknikler kullanmaktadır. Bu yaklaşımlar, SME donanımının sunduğu paralel işleme yeteneklerini maksimize etmeyi hedeflemektedir.
Apple M4 Pro üzerinde DeepSeek ve LLaMA gibi gerçek dünya iş yükleri ile yapılan değerlendirmelerde, MpGEMM, satıcı tarafından optimize edilmiş Apple Accelerate kütüphanesine göre ortalama 1.23 kat hızlanma sağlamış ve diğer açık kaynak alternatiflerinden önemli ölçüde daha iyi performans göstermiştir. Bu sonuçlar, MpGEMM'in ARM SME tabanlı sistemlerde matris çarpımı performansını önemli ölçüde artırma potansiyelini ortaya koymaktadır.
Bu araştırma, ARM'ın özel matris donanımının potansiyelini tam olarak kullanan yeni bir açık kaynak kütüphanesi sunarak, derin öğrenme ve yüksek performanslı hesaplama uygulamalarının performansını önemli ölçüde artırıyor.