Samsung araştırmacıları dil modellerini 1 bitin altına indiren LittleBit yöntemini tanıttı
Öne çıkanlar
- Ağırlık matrislerini gizil çarpanlara ayıran yöntem, modelleri parametre başına 0,1 bite kadar sıkıştırıyor.
- LittleBit-2 sürümündeki Joint-ITQ hizalaması, çıkarım aşamasına hiçbir hesaplama yükü eklemiyor.
- Kod tabanı Llama 2/3, Gemma 2/3, Phi-4 ve Qwen gibi popüler açık ağırlıklı modelleri destekliyor.
Samsung araştırmacıları, büyük dil modellerini ağırlık başına 1 bitin altına kadar sıkıştırabilen LittleBit ve LittleBit-2 yöntemlerinin kaynak kodlarını yayımladı. Araştırma ekibi, yoğun ağırlık matrislerini düşük dereceli gizil çarpanlara ayırıp bu çarpanları ikili hale getirerek modelleri 0,1 bit seviyesine kadar küçülttü. Sistem, büyüklük bilgilerini hafif öğrenilmiş ölçeklerle geri yükleyerek çıkarım anında özgün model mimarisini tamamen korudu.
NeurIPS 2025 ve ICML 2026 konferanslarında sunulan çalışmalar, SVD tabanlı gizil çarpanların ikili hiperküp ile geometrik uyumsuzluğunu gidermeye odaklanıyor. LittleBit-2 sürümü, kuantizasyon farkındalı eğitim öncesinde Joint-ITQ tabanlı iç gizil rotasyon uygulayarak başlangıç aşamasındaki spektral enerji kazancını artırdı. Başlatma aşamasında devreye giren bu yeni yöntem, çıkarım süresine hiçbir ek yük getirmedi.
Açık kaynaklı kod tabanı; Llama, Qwen, Gemma ve Phi serisi gibi yaygın dil modellerini doğrudan destekliyor. Araştırmacılar, geliştiricilerin 0,1 ile 1,0 bit aralığındaki modelleri eğitebilmesi ve değerlendirebilmesi için DeepSpeed Zero3 yapılandırmalarını ve test betiklerini projeye ekledi. Yazılım paketi, ticari olmayan kullanım lisansıyla Hugging Face ekosistemine entegre biçimde çalışıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.