Janas bellekten büyük dil modellerini SSD üzerinden çalıştırıyor
Öne çıkanlar
- Janas-LLM, 32 GB RAM barındıran dizüstü bilgisayarda 48,4 GB boyutundaki 80 milyar parametreli modeli çalıştırdı.
- NVMe SSD üzerinden katman akışı sağlayan sistem, llama.cpp'ye kıyasla yaklaşık 8,5 kat daha yüksek yazma hızına ulaştı.
- Yalnızca C standart kütüphanesine dayanan yazılım, dinamik çekirdek dağılımı ve doğrudan disk erişimi (O_DIRECT) kullanıyor.
Maurizio Cammalleri, büyük dil modellerini standart bilgisayarlarda yüksek hızla çalıştırmayı hedefleyen Janas adlı C tabanlı açık kaynaklı araç ailesini duyurdu. Sistemin ilk bileşeni olan Janas-LLM, uzman karması mimarisine dayanan yapay zeka modellerinin ağırlıklarını doğrudan diskte tutuyor. Modelin her belirteç için ihtiyaç duyduğu uzman katmanları NVMe SSD üzerinden belleğe aktarılırken sık kullanılan parçalar bellek önbelleğinde saklanıyor.
Geliştiricinin paylaştığı test verilerine göre 32 GB RAM taşıyan dizüstü bilgisayarda 48,4 GB boyutundaki Qwen3-Next-80B modeli saniyede 24 belirteç üretim hızına ulaştı. Taslak belirteç tahmin mekanizması devreye girdiğinde bu hız saniyede 37 belirtece kadar çıktı. Aynı donanımda çalışan llama.cpp ise bellek sınırları nedeniyle modeli özel yapılandırmayla çalıştırabildi ve saniyede yalnızca 2,8 belirteç üretebildi.
Doğrudan C kütüphanesi dışında bağımlılık içermeyen yazılım, istemleri okurken entegre grafik işlemcisini devreye sokuyor ve CPU çekirdeklerini iş yüküne göre dinamik biçimde dağıtıyor. GNU GPL v3 lisansıyla yayımlanan proje; Linux ve Windows platformlarında yerel olarak derlenebiliyor, MCP desteği sunuyor ve harici kod tamamlama araçlarıyla birlikte çalışabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.