DeepSeek çıkarım motoru DeepInfer’ı açık kaynak yaptı
Öne çıkanlar
- DeepInfer şu aşamada yalnızca DeepSeek-V4.1-Flash modelini destekliyor.
- Framework, NVIDIA SM100 GPU’ları ve Huawei Ascend 950 NPU’ları üzerinde çalışıyor.
- Yapılandırılmış çıktılar regex, JSON şeması veya EBNF grameriyle sınırlandırılabiliyor.
- Tam servis kurulumu için KV önbelleği ve yük dengeleme bileşenlerinin ayrıca eklenmesi gerekiyor.
DeepSeek, büyük ölçekli üretim hizmetlerinde kullandığı çıkarım framework’ü DeepInfer’ı Apache License 2.0 ile açık kaynak yaptı. GitHub üzerinden yayımlanan proje, DeepSeek modellerini çevrim dışı çalıştırmak ve ölçekli sunum altyapıları geliştirmek için gerekli çekirdek özellikleri sunuyor. DeepInfer’ın desteklediği model şu aşamada DeepSeek-V4.1-Flash ile sınırlı kalıyor.
Framework; FlashMLA, DeepGEMM, DeepEP, TileKernels ve DeepSelect gibi optimize çekirdeklerin yanı sıra model ve örnekleyici çalışma zamanlarını içeriyor. Attention DP, dengeli CP, MoE EP ve EPLB paralellik yöntemleri destekleniyor. DSpark ile güven planlı doğrulama, taslak belirteçlerle kod çözmeyi hızlandırıyor. SWA bounded replay, ön işleme yükünü azaltırken asenkron zamanlayıcı CPU’daki parti planlamasıyla cihaz yürütmesini üst üste çalıştırıyor. Batch-invariant inference farklı parti bileşimlerinde aynı sonuçları koruyor; deterministik örnekleme de aynı girdiler için tekrarlanabilir çıktılar üretiyor.
DeepInfer, NVIDIA SM100 GPU’ları ve Huawei Ascend 950 NPU’ları destekliyor. Tam bir çıkarım hizmeti için KV önbelleği, prefill ve decode ayrıştırması ile veri paraleli kopyalar arasında yük dengeleme gibi bileşenlerin ayrıca sağlanması gerekiyor. Proje Linux, Python 3.12, GCC 13 veya üzeri ve NVIDIA tarafında CUDA 13, Ascend tarafında CANN 9.2 gerektiriyor. DeepInfer, vLLM temel alınarak geliştirildi; SGLang ve TensorRT-LLM’den de yararlanıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.