Tim Dettmers yerel donanımda çalışan açık kaynak yapay zeka araçlarını duyurdu
Öne çıkanlar
- 125 milyar parametreli Qwen modeli 24 GB belleğe sahip tek bir masaüstü ekran kartında çalıştırıldı.
- CliffCompaction adlı yeni sıkıştırma tekniği ajan oturumlarının maliyetini yüzde 50 oranında düşürdü.
- Otonom araştırma sistemi internet bağlantısı olmadan yerel donanımda bağımsız bilimsel analiz gerçekleştirdi.
Carnegie Mellon Üniversitesi araştırmacısı Tim Dettmers, akademik laboratuvarların kısıtlı donanımla sınır modelleri çalıştırabilmesini sağlayan yeni açık kaynak ekosistemini tanıttı. Dettmers, büyük teknoloji şirketlerinin binlerce GPU ile yürüttüğü araştırma tekeline karşı üniversite laboratuvarlarının yeniden öne çıkacağını belirtti. Yeni yaklaşım, tekil makaleler yayımlamak yerine birbiriyle bütünleşik çalışan yazılım ekosistemleri kurmayı temel araştırma birimi olarak tanımlıyor.
Geliştirilen çıkarım çerçevesi ve otonom ajan altyapısı, 125 milyar parametreli Qwen 3.8 Flash Next modelini 24 GB belleğe sahip tek bir tüketici ekran kartında çalıştırmayı mümkün kılıyor. Sistem ayrıca Apple Silicon işlemcili 128 GB bellekli bir dizüstü bilgisayarda 550 milyar parametreli DeepSeek V4.1 modelini çalıştırabiliyor. Kernel optimizasyonlarını kendi kendine yapan otonom ajan, 1,5 bit ağırlık başına nicemleme ile saniyede 450 token üretim hızına ulaştı.
Araştırma grubu, uzun süren ajan oturumlarında maliyeti yarı yarıya düşüren CliffCompaction adlı otomatik bağlam sıkıştırma tekniğini de duyurdu. Tamamen yerel donanımda ve internet bağlantısı olmadan çalışan otonom araştırma sistemi, biyoinformatik alanında iki saatlik bir denemede yeni bir sezgisel yöntem geliştirdi ve mevcut veri kümelerindeki hataları tespit etti. Proje kapsamında iki açık kaynak yazılım ve dört akademik makale eş zamanlı olarak erişime açılıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.