Batılı yapay zeka şirketleri Çinli laboratuvarların mimari tekniklerini benimsiyor
Öne çıkanlar
- DeepSeek geliştirdiği optimizasyonlarla KV önbellek boyutunu ilk sürümlere göre yaklaşık 437 kat düşürdü.
- DeepSeek-V4.1-Flash FP4 önbellekleme ve katmanlar arası yeniden kullanım ile gereksinimi 890 bayta indirdi.
- Claude Opus 5.5 önbellek okuma fiyatlarını yüzde 60, GPT-6.1 Sol ise yüzde 80 oranında düşürdü.
Batılı yapay zeka şirketleri, Çin merkezli laboratuvarların geliştirdiği açık kaynaklı mimari ve bellek optimizasyonlarını kendi büyük dil modellerine uygulamaya başladı. DeepSeek gibi laboratuvarların duyurduğu KV önbellek sıkıştırma teknikleri, uzun bağlamlı çıkarım süreçlerinde grafik işlemci belleği ihtiyacını önemli ölçüde düşürerek batılı laboratuvarların operasyonel maliyetlerini azalttı.
DeepSeek, çok başlı gizli dikkat (MLA) mimarisiyle önbellek boyutunu yaklaşık 15 kat küçültmesinin ardından sıkıştırılmış dikkat yöntemlerini ve FP4 önbelleklemesini devreye aldı. DeepSeek-V4.1-Flash sürümüyle birlikte token başına küresel önbellek gereksinimi 890 bayta kadar indi. Gelişmiş GPU'lara erişim kısıtlamaları nedeniyle verimlilik optimizasyonlarına ağırlık veren Çinli ekiplerin bu yöntemleri kamuya açık paylaşması sektörde dengeleri değiştirdi.
OpenAI ve Anthropic gibi şirketler, bu optimizasyonları yeni model sürümlerine sessizce entegre ederek çıkarım maliyetlerinde belirgin indirimlere gitti. Claude Opus 5.5 önbellek okuma fiyatını Opus 5 modeline kıyasla yüzde 60 oranında düşürürken, GPT-6.1 Sol aynı kalemde yüzde 80 fiyat indirimi sağladı. Çin laboratuvarlarının geliştirdiği açık teknikler, batılı şirketlerin çıkarım kârlılığını doğrudan destekliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.