Tencent 770 milyar parametreli Hy4 modelini açık kaynak sundu
Öne çıkanlar
- Model toplam 770 milyar parametreden oluşuyor ve belirteç başına 49 milyar parametreyi devreye sokuyor.
- Sistem 1 milyon belirteçlik bağlam uzunluğuna kadar geniş girdi pencerelerini destekliyor.
- Model ağırlıkları Apache 2.0 lisansı altında FP8 nicemleme desteğiyle yayımlandı.
Tencent, açık kaynaklı yeni nesil amiral gemisi yapay zeka modeli Hy4 Önizleme sürümünü Hugging Face ve ModelScope platformlarında yayımladı. Uzmanlar Karışımı mimarisiyle geliştirilen model, toplamda 770 milyar parametreye sahipken belirteç başına yalnızca 49 milyar parametreyi etkinleştiriyor. Model ayrıca 1 milyon belirteçlik bağlam uzunluğunu destekliyor.
Sistemin dikkat mekanizmasında DeepSeek Sparse Attention mimarisi ve katmanlar arası indeks paylaşımı sağlayan IndexCache tekniği kullanılıyor. Modelin gecikmesini düşürmek amacıyla varsayılan olarak yerel bir çoklu belirteç tahmin katmanı bulunuyor. Geliştirici ekip, modeli doğrudan vLLM ve SGLang gibi popüler çıkarım motorlarıyla uyumlu hale getirdi.
Tencent bünyesindeki yazılım, finans ve oyun geliştirme uzmanlarının sağladığı verilerle eğitilen model, Apache 2.0 lisansı altında topluluğun kullanımına sunuldu. Şirket, erken önizleme sürümünün karmaşık akıl yürütme süreçlerinde gereğinden fazla doğrulama yapma gibi kısıtlar barındırdığını, geri bildirimlerle geliştirmelerin süreceğini bildirdi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.