M4 Pro Mac mini ile yerel yapay zeka sunucusu kuruluyor
Öne çıkanlar
- 48 GB birleşik belleğe sahip M4 Pro Mac mini, 35 milyar parametreli MoE modellerini 4-bit nicemleme ile sorunsuz çalıştırıyor.
- oMLX çıkarım sunucusu ve Tailscale ağı, yerel modellere tüm kişisel cihazlardan tek merkezden erişim sağlıyor.
- OptiQ 4-bit nicemleme, FP16 temel model başarımına göre sadece 1-2 puanlık kayıpla bellek ihtiyacını önemli ölçüde düşürüyor.
Apple Silicon donanımlarında yerel büyük dil modelleri çalıştırmak, bulut API bağımlılığını ve maliyetleri azaltan bir alternatif sunuyor. 48 GB belleğe sahip M4 Pro Mac mini üzerinde kurulan yerel sunucu mimarisi, farklı cihazlardan erişilebilen bir yapay zeka altyapısı sağlıyor. Kurulumda mantık yürütme görevleri için Qwen3.6-35B-A3B, hafif sohbet ve biçimlendirme işlemleri içinse Gemma-4-E4B modelleri kullanılıyor.
Sistemin merkezinde çıkarım sunucusu olarak oMLX yer alırken, cihazlar arası güvenli bağlantı Tailscale ağı üzerinden sağlanıyor. Mac mini üzerinde arka planda çalışan Hermes etmenine iPhone, MacBook ve Telegram üzerinden bağlanılabiliyor. OptiQ 4-bit nicemleme sayesinde bellek kullanımı optimize edilirken, Uzmanlar Karması (MoE) mimarisi aktif parametre sayısını düşük tutarak çıkarım hızını artırıyor.
Yerel model kurulumları veri gizliliğini koruma, internet bağlantısı olmadan çalışabilme ve sabit maliyet avantajları sunuyor. oMLX yazılımının anahtar-değer (KV) önbelleğini diske kaydetme yeteneği, etmen tabanlı kodlama ve uzun bağlamlı görevlerde yanıt sürelerini belirgin şekilde kısaltıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.