Apple Silicon için geliştirilen Lithos-metal çıkarım motoru yayımlandı
Öne çıkanlar
- Qwen3.8-27B modeli 40 çekirdekli M5 Max işlemcide saniyede 168 belirteç üretim hızına ulaştı.
- Metal megakernel mimarisi ve DSpark spekülatif kod çözme yöntemi bellek okuma yükünü düşürüyor.
- OpenAI, Anthropic ve Ollama uyumlu yerel sunucu arayüzü tek oturumda 32 bin bağlam destekliyor.
Açık kaynaklı yapay zeka çıkarım motoru lithos-metal, Apple Silicon işlemcilerde büyük dil modellerini yüksek hız ve düşük gecikmeyle çalıştırmak amacıyla kullanıma sunuldu. Yazılım; katman bazlı birleştirilmiş Metal çekirdekleri (megakernel), GPU üzerinde çalışan üretim denetimi ve DSpark spekülatif kod çözme mimarisini bir araya getiriyor. Proje, kodlama asistanları ve yerel uygulamalar için Mac bilgisayarlarda yüksek verimli yerel sunucu desteği sağlıyor.
Geliştiriciler tarafından paylaşılan test sonuçlarına göre sistem, 40 çekirdekli M5 Max ve 48 GB birleşik bellek konfigürasyonunda Qwen3.8-27B-NVFP4 modeliyle 128 bağlam uzunluğunda saniyede 168 belirteç (token) hızına ulaştı. Bağlam uzunluğu 32 bine çıktığında ise üretim hızının saniyede 127 belirteç seviyesinde seyrettiği kaydedildi. Sistem, her geçişte önerilen yedi belirteci doğrulayarak ağırlık okuma maliyetlerini azaltıyor ve bellek bant genişliğini daha verimli kullanıyor.
Apache 2.0 lisansıyla dağıtılan motor, OpenAI uyumlu API uç noktaları, Anthropic Messages bağdaştırıcıları ve Ollama protokolüyle yerel istemcilere doğrudan entegre olabiliyor. M3 serisinden itibaren dinamik bellek tahsisini destekleyen Apple grafik işlemcilerine uyarlanan altyapı, Xcode ve Homebrew üzerinden kolayca kurulabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.