Thinking Machines Inkling 2 Small modelini tanıttı

Thinking Machines, ikinci model nesli Inkling 2 Small’ı tanıttı. Mixture-of-Experts mimarisini kullanan model toplam 594 milyar parametre taşıyor ve bunların 17 milyarı etkin çalışıyor. Model, görsel girdileri ve değişken akıl yürütme eforunu destekliyor. Artificial Analysis Intelligence Index’te 31 puan alan Inkling 2 Small, şirketin önceki modellerini geride bıraktı. Şirket, kazanımları ön eğitim, pekiştirmeli öğrenme ve veri işleme süreçlerindeki değişikliklere bağladı.

Model ilk aşamada kapalı ağırlıklarla Tinker üzerinden sunuluyor. Thinking Machines, dış güvenlik testleri ve kırmızı takım çalışmalarının tamamlanmasının ardından tam ağırlıkları Apache 2.0 lisansıyla gelecek hafta yayımlamayı planlıyor. Kullanıcılar modeli Tinker Playground’da deneyebiliyor, ayrıca Tinker üzerinden ince ayar ve örnekleme yapabiliyor. Ağırlıkların yayımlanmasıyla kontrol noktalarının indirilebilmesi de planlanıyor. Inkling 2 Small, uzun süreli otonom görevler, kodlama, görsel akıl yürütme ve kurumsal bilgi işlerinde kullanılabiliyor.

Eğitim sürecinde model 8,4 trilyon tokenlık ilk ön eğitim aşamasından geçti ve NVIDIA GB300 NVL72 sistemlerinde 68 saat çalıştı. İkinci aşama 3,8 trilyon token, sonraki aşamalar ise akıl yürütme ve aracı görevlerinden oluşan daha seçici veriler içerdi. Ortak pekiştirmeli öğrenme çalışması 9 gün sürdü, 2.048 GPU kullandı ve 17 milyondan fazla çıktı üretti. Şirket, güvenlik çalışmaları kapsamında zararlı davranışları azaltan ödüller, araç çağrılarını denetleyen sistemler ve tamamlanan görevleri inceleyen ek değerlendirmeler kullandı; modelin bazı kapalı ağırlıklı sistemlerin hizalanma sonuçlarının gerisinde kaldığını da belirtti.