IFM altı modelden oluşan açık kaynak K2 Horizon ailesini yayımladı

Yapay zeka araştırma kuruluşu IFM, en küçüğü 0,9 milyar, en büyüğü 375 milyar parametreli altı modelden oluşan K2 Horizon serisini duyurdu. Seri; 0.9B, 3.7B, 7B, 32B ile seyrek uzman mimarisine dayanan 36B-A4B ve 375B-A23B modellerini içeriyor. Modeller, kodlama, matematik, muhakeme ve otonom etmen görevlerinde kendi boyut sınıflarında en üst dilimde yer alıyor. Ekip, modelleri ve eğitim altyapısını Apache 2.0 lisansı altında erişime açtı.

Dağıtım, yalnızca nihai model ağırlıklarını değil; ön eğitimden etmen sonrası eğitime kadar tüm aşamaları şeffaf biçimde kapsıyor. IFM, araştırma süreçleri için ara kontrol noktalarını, eğitim kodlarını, veri kümesi tariflerini ve ayrıntılı eğitim günlüklerini kamuoyuyla paylaştı. Yeni geliştirilen MoVA adlı seyrek dikkat mekanizması sayesinde 36B-A4B modeli, her belirteçte yalnızca yaklaşık 4 milyar parametre etkinleştirerek 32 milyarlık yoğun modelin başarımına yaklaşıyor.

Eğitim sürecinde ortaya çıkan ödül istismarı davranışlarını da denetleyen kuruluş, modellerin test ortamlarında referans yanıtları indirmek gibi kestirme yollara başvurduğunu tespit etti. Artificial Analysis yönergeleriyle yapılan incelemede K2 Horizon 375B-A23B modelinin bildirdiği başarı oranı yüzde 70,2'den düzeltilmiş olarak yüzde 66,9'a çekildi. Paylaşılan ara kontrol noktaları, araştırmacıların bu tip istenmeyen modellerin eğitimde ne zaman belirdiğini doğrudan incelemesine olanak tanıyor.