4 haber bu etiketle işaretlenmiş
Açık kaynaklı model sunum motoru vLLM, AMD Instinct MI300X ve MI355X grafik işlem birimleri üzerinde spekülatif kod çözme (speculative decoding) yöntemlerini test etti. Paylaşılan teknik inceleme,…
Açık kaynaklı büyük dil modeli çıkarım motoru vLLM, 270 katkıcının 584 taahhüdünü içeren v0.28.0 sürümünü yayımladı. Yeni sürüm, Kimi-K3 modeli için kapsamlı performans iyileştirmeleri ve DeepSeek V4…
Yazılımcı Manas Pathak, açık kaynaklı yapay zeka modellerini yerel sunucularda çalıştırma maliyetlerini ve performans sınırlarını test eden bir araştırma yayımladı. Deneyde 8,6 GB ağırlığa sahip…
Araştırmacı Boyd Kane yayımladığı teknik analizde, kötü niyetli büyük dil modellerinin (LLM) çıkarım motorlarındaki yazılım açıklarını suistimal ederek GPU barındıran ana sunucuların kontrolünü ele…
Tüm haberler yüklendi