Reflection 501 milyar parametreli açık kaynaklı Beam modelini duyurdu
Öne çıkanlar
- 501 milyar parametreli model, belirteç başına 23 milyar parametre çalıştırarak 1 milyon belirteç bağlamını destekliyor.
- Hibrit dikkat mimarisi sayesinde tam bağlamdaki KV önbellek boyutu 208 GB seviyesinden 36 GB seviyesine indi.
- Model Apache 2.0 lisansıyla yayımlandı ve BF16, FP8 ile NVFP4 biçimlerinde indirilebiliyor.
Reflection ekibi, kodlama ve otonom yazılım aracı senaryolarına odaklanan 501 milyar parametreli yeni açık kaynaklı yapay zeka modeli Beam'i tanıttı. Uzmanlar karması mimarisiyle geliştirilen model, her bir belirteç için yalnızca 23 milyar parametreyi etkinleştirerek büyük bir ağın kapasitesini küçük bir modelin çalışma hızıyla birleştiriyor. Model ayrıca 1 milyon belirteçlik bağlam penceresi sunuyor ve Apache 2.0 lisansıyla dağıtılıyor.
Beam, toplam 52 katmandan oluşuyor ve bunlardan 49'unda 256 uzmanlık bloklar yer alıyor. Modelin dikkat mekanizmasında hibrit bir yaklaşım benimsenerek 43 kayan pencereli ve 9 küresel katman kullanıldı; bu mimari bağlam belleği tüketimini geleneksel yöntemlere kıyasla altıda bir oranında azaltıyor. Ağırlıkları BF16, FP8 ve NVIDIA Blackwell mimarisi için optimize edilen NVFP4 biçimlerinde yayımlanan Beam, vLLM ve SGLang kütüphanelerinde ilk günden itibaren çalıştırılabiliyor.
Modelin donanım gereksinimleri dağıtım biçimine göre değişiklik gösteriyor; 4 bitlik NVFP4 sürümü yaklaşık 280 GB yer kaplarken dört adet NVIDIA B200 GPU üzerinde tam bağlamla hizmet verebiliyor. Reflection ekibi ayrıca TRL kütüphanesi üzerinden LoRA tabanlı ince ayar ve Miles altyapısıyla pekiştirmeli öğrenme tariflerini geliştiricilerin erişimine açtı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.