Moonshot AI açık ağırlıklı Kimi K3.1 Pro modelini yayımladı
Öne çıkanlar
- Kimi K3.1 Pro, toplam 2,8 trilyon parametre ve 104 milyar aktif parametreli MoE mimarisiyle yayımlandı.
- Model, 1 milyon token bağlam penceresi desteğiyle uzun metin ve görsel verileri doğrudan işleyebiliyor.
- Ağırlıklar Hugging Face üzerinden sunulurken vLLM ve SGLang motorlarıyla yerel çalıştırma destekleniyor.
Moonshot AI, K3 serisinin ilk sürümü olan çok modlu yapay zeka modeli Kimi K3.1 Pro'nun model ağırlıklarını Hugging Face üzerinde erişime açtı. 2,8 trilyon toplam parametreye ve 104 milyar aktif parametreye sahip olan model, 1 milyon token bağlam penceresi desteğiyle kullanıma sunuldu. Şirket, Kimi K3 modelinden pekiştirmeli öğrenme teknikleriyle geliştirilen sistemin kodlama, 3B tasarım ve finansal analiz yeteneklerini artırdığını bildirdi.
Model mimarisinde Uzmanlar Karması (MoE) yapısı korunurken toplam 896 uzmandan her token için 16'sı devreye giriyor. Geliştirici ekip, uzun bağlam işlemeyi daha verimli kılmak amacıyla önceki sürümdeki tam dikkat katmanları yerine Gated DeepSeek Sparse Attention (Gated DSA) katmanlarının yerleştirildiğini açıkladı. Görsel girdi tarafında ise 401 milyon parametrelik MoonViT-V2 kodlayıcısı görev yapıyor ve ağırlıklar MXFP4 formatında kuantize ediliyor.
Kullanıcılar Kimi K3.1 Pro modelini Transformers, vLLM ve SGLang kütüphaneleri üzerinden yerel olarak çalıştırabiliyor veya platformun OpenAI uyumlu API arayüzüyle doğrudan çağırabiliyor. Çok turlu konuşmalarda ve araç kullanım senaryolarında sistemin düşünme süreçlerinin korunabilmesi için API çağrılarında akıl yürütme içeriğinin eksiksiz aktarılması gerekiyor. Dağıtım seçenekleri arasında Docker kapsayıcısı ve popüler çıkarım motorları da bulunuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.