Açık ağırlıklı yapay zeka modellerinde yeni mimariler donanım sınırlarını esnetiyor

Açık kaynaklı büyük dil modellerinde standart yoğun Transformer yapısının getirdiği yüksek bellek ve işlem maliyetleri, uzman karması (MoE), hibrit katmanlar ve üçlü ağırlıklar gibi yenilikçi yaklaşımlarla aşılıyor. 8 GB VRAM kapasiteli tüketici sınıfı donanımlar üzerinde yapılan inceleme, modellerin artık yalnızca boyut büyüterek değil, katman tasarımlarını dönüştürerek geliştiklerini gösterdi. Llama, Qwen, Gemma ve Nemotron gibi güncel açık modeller, çıkarım sürecindeki ana darboğazları çözmek için farklı mühendislik tavizleriyle üretildi.

Yoğun modellerde bağlam uzadıkça ana bellekten daha fazla yer kaplayan KV önbelleği yükü, dikkat mekanizmasının yerini Mamba-2 ve Gated DeltaNet gibi tekrarlayan durumlara bıraktığı hibrit yapılarda sabit kalıyor. Qwen3.6-35B ve Nemotron 3 Nano gibi modeller, hesaplama yükünü sadece aktif parametrelere indirgeyen MoE tasarımını tekrarlayan katmanlarla birleştiriyor. LFM3 ise dikkat katmanlarının çoğunu kısa evrişimlerle değiştirerek uzun bağlam maliyetlerini hafifletiyor.

Kuantalama tarafında ise PrismML tarafından geliştirilen Ternary Bonsai 2 27B, ağırlıkları yaklaşık 1,58 bit seviyesine indirerek 27 milyar parametrelik yapıyı 5,95 GB belleğe sığdırdı. Çıkarım aşamasında token üretim hızının doğrudan bellek bant genişliğine bağlı olması, GPU belleği yetmediğinde sistem RAM'i ve PCIe hattını devreye sokan llama.cpp gibi altyapıların kullanımını zorunlu kılıyor.