Inception difüzyon tabanlı Mercury 2.5 modelini yayımladı
Öne çıkanlar
- Mercury 2.5, standart NVIDIA GPU'larda saniyede 1.107 belirteç üretim hızına ulaştı.
- Model, 260 bin belirteç bağlam desteği ve yüzde 40 zeka artışı ile kullanıma sunuldu.
- Tanıtımla birlikte Mercury Voice ve Mercury Router ürünlerinin ön izlemeleri duyuruldu.
Inception Labs, difüzyon tabanlı büyük dil modeli serisinin yeni sürümü Mercury 2.5'i kullanıma sundu. Şirket, yeni modelin Mercury 2 sürümüne kıyasla yüzde 40 daha yüksek zeka seviyesi sunduğunu ve bugüne kadar eğitilen en büyük difüzyon dili modeli olduğunu açıkladı. Yaygın NVIDIA grafik işlemcileri üzerinde saniyede 1.107 belirteç (token) işleme hızına ulaşan model, 260 bin belirteçlik bağlam penceresini destekliyor. Giriş maliyeti milyon belirteç başına 0,20 dolar, çıkış maliyeti ise 0,75 dolar olarak belirlendi.
Modelin üretim ortamlarındaki arama ve geri alma (RAG) süreçleri, sesli asistanlar ve yazılım geliştirme araçları gibi gecikmeye duyarlı iş yüklerine odaklandığı bildirildi. Canlı müşteri çağrılarını yöneten OpenCall şirketi, modelin yanıt medyan süresini 170 milisaniyeye kadar düşürdüğünü aktardı. Yazılım geliştirme asistanı Augment Code ise bağlam sıkıştırma işlemlerinde Mercury kullanarak işlem gecikmesini yüzde 82 oranında azalttığını ve maliyetleri yüzde 90 düşürdüğünü bildirdi. Yeni sürüm ayarlanabilir akıl yürütme, paralel araç çağırma ve şemaya uygun JSON çıktısı özelliklerini barındırıyor.
Inception Labs, model duyurusunun yanında Mercury Voice ve Mercury Router ürünlerinin ön izleme sürümlerini de paylaştı. Mercury Voice modeli ilk belirteç teslim süresini 170 milisaniyenin altında tutarak doğrudan sesli etkileşimlere hizmet veriyor. Mercury Router ise gelen komutları analiz ederek açık ve kapalı kaynaklı en uygun modellere yönlendiriyor. Şirket, difüzyon tabanlı yeni ve daha büyük bir sonraki modelin eğitimine başladığını duyurdu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.