Apple MLX ile çoklu Mac Studio sistemlerinde büyük dil modellerini çalıştırdı

Apple makine öğrenimi ekibi, açık kaynaklı MLX çatısı ve Thunderbolt üzerinden RDMA desteğini kullanarak büyük dil modellerinin Mac Studio donanımlarında yerel ve dağıtık olarak çalıştırılabildiğini duyurdu. Yapılan testlerde, 816 milyar parametreli Muse Spark Open gibi devasa modeller dört adet M5 Ultra işlemcili Mac Studio kümesinde saniyede 36 token üretim hızına ulaştı. Yeni M5 Ultra yongasındaki GPU Neural Accelerator birimi ve 1,2 TB/s birleşik bellek bant genişliği, önceki nesil M3 Ultra modeline kıyasla ilk token üretim süresinde 4,6 kata kadar, üretim hızında ise 1,6 kata kadar artış sağladı.

Araştırmacılar, tek bir cihaza sığmayan büyük modelleri çalıştırmak için boru hattı (pipeline) ve tensör paralelleştirme yöntemlerini devreye aldı. macOS 26.2 sürümüyle sunulan Thunderbolt 5 üzerinden düşük gecikmeli RDMA sürücüsü ve MLX kütüphanesinin "jaccl" iletişim altyapısı sayesinde makineler birbirine bağlandı. Tensör paralelleştirmede cihazlar Thunderbolt ağ örgüsüyle eşler arası çift kablo üzerinden haberleşti. Testlerde Mistral Medium 3.5 ve Qwen 3.8 modelleri de değerlendirildi; Qwen 3.8 dört makineli tensör kurulumunda saniyede 50,89 token hızına çıktı.

Tek bir Mac Studio modelinin en yüksek güç tüketimi M3 Ultra için 200W, M5 Ultra için ise yaklaşık 300W seviyesinde ölçüldü. Bu enerji verimliliği ve 512GB birleşik bellek kapasitesi, gelişmiş yapay zeka modellerinin veri merkezlerine ihtiyaç duymadan yerel ofis ortamlarında çalıştırılmasına olanak tanıyor. Ekip ayrıca yerel MLX sunucusunun OpenCode gibi otonom kodlama araçlarına doğrudan entegre edilebildiğini gösterdi.