Baidu 280 milyar parametreli ERNIE 5.5 Flash Base modelini yayımladı
Öne çıkanlar
- ERNIE-5.5-Flash-Base, 280 milyar toplam parametreye ve belirteç başına 14 milyar etkin parametreye sahiptir.
- Model, 33,5 trilyon belirteç üzerinde önceden eğitildi ve 1 milyon belirtece kadar bağlam uzunluğunu destekliyor.
- 43 katmanın 37'sinde kullanılan sıkıştırılmış dikkat yapısı sayesinde KV önbellek maliyeti önemli ölçüde azaldı.
- Temel model ağırlıkları FP8 ve BF16 sürümleriyle Hugging Face üzerinde genel erişime açıldı.
Baidu, 280 milyar toplam parametreye ve belirteç başına 14 milyar etkin parametreye sahip seyrek uzmanlar karması (MoE) dil modeli ERNIE-5.5-Flash-Base sürümünü duyurdu. Model, herhangi bir ara veya son eğitim aşamasından geçirilmeden doğrudan 33,5 trilyon belirteçlik veri kümesi üzerinde sıfırdan eğitildi. 128 bin belirtece kadar eğitim bağlamına sahip olan sistem, ince ayar ve çıkarım aşamalarında 1 milyon belirteçlik bağlam uzunluğunu destekliyor.
Yeni mimaride bellek ve işlem maliyetlerini düşürmek amacıyla hibrit dikkat mekanizması kullanıldı. 43 Transformer katmanından oluşan modelde her yedi katmandan yalnızca biri tam bağlama erişirken, geri kalan katmanlar her 128 belirteci tek bir önbellek girdisine sıkıştıran sıkıştırılmış dikkat yapısından yararlanıyor. Ayrıca tek yönlendirici yerine bağımsız çoklu yönlendiricili MoE tasarımı, paralel artık bağlantılar ve çoklu belirteç tahminini omurga katmanına entegre eden ECHO modülü sisteme dahil edildi.
Eğitim altyapısında binlerce GPU üzerinde çalışan dağıtık Muon eniyileyicisi ve geniş dikkat boyutlarını destekleyen FlashMask-4 çekirdeği tercih edildi. Hugging Face üzerinden FP8 ve BF16 formatlarında araştırmacıların erişimine açılan temel ağırlıklar, alan uyarlaması, komut ince ayarı ve pekiştirmeli öğrenme çalışmaları için optimize edilmiş bir zemin sunuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.