Samsung bellek içi işlem teknolojisiyle LLM çıkarımını hızlandırıyor
Öne çıkanlar
- Samsung LPDDR5X-PIM, paket içi hesaplama birimleriyle 614 GB/s dahili bant genişliği sunuyor.
- Llama 3.1 8B testinde token üretim hızı saniyede 27'den 81,3'e yükseldi.
- Address Align Mode özelliği sayesinde standart DRAM kontrolcüleri donanımı doğrudan yönetebiliyor.
- Yaygın kuantizasyon formatları ve işletim sistemi bellek yerleşimleri yazılım tarafında engel oluşturuyor.
Samsung, Hot Chips 2026 etkinliğinde doğrudan bellek hücrelerinin yanına hesaplama birimleri yerleştiren 16 GB kapasiteli LPDDR5X-PIM yongasını tanıttı. Paket içi bant genişliğini 614 GB/s seviyesine çıkaran teknoloji, harici veri yollarındaki darboğazı aşarak büyük dil modellerinin yerel çıkarım performansını üç katına yükseltiyor.
Şirket, standart bellek kontrolcüleriyle uyumluluk sağlayan Address Align Mode sayesinde ek donanım zorunluluğunu ortadan kaldırdı. Llama 3.1 8B modeliyle yapılan testlerde çalışma süresi 12,3 saniyeden 5,4 saniyeye gerilerken saniye başına üretilen token sayısı 27'den 81,3'e ulaştı. PIM mimarisi, ağırlık verilerini doğrudan bellek dizileri içinde işleyerek harici veri transferi maliyetini düşürüyor.
Donanım seviyesinde çalışan mimarinin önünde yazılım ve derleyici uyumluluğu gibi engeller bulunuyor. llama.cpp veya vLLM gibi yaygın yazılımların PIM desteği sunmaması, k-quant kuantizasyon şemalarının doğrudan çalıştırılamaması ve işletim sistemlerinin bellek bankası hizalamalı yerleşimleri desteklememesi çözüm bekleyen temel başlıklar arasında yer alıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.