Yerel yapay zeka watt başına verimliliği artırıyor
Öne çıkanlar
- Yerel dil modelleri 1 milyon sorgunun yüzde 88,7’sini başarıyla yanıtladı.
- Yerel olarak işlenebilen sorguların oranı 2023-2025 arasında yüzde 23,2’den yüzde 71,3’e yükseldi.
- Watt başına zeka verimliliği aynı dönemde 5,3 kat arttı.
- Yerel hızlandırıcılar, bulut hızlandırıcılarına göre en az 1,4 kat daha düşük IPW elde etti.
Yerel yapay zeka çıkarımının merkezi bulut altyapısındaki talebin bir bölümünü karşılayıp karşılayamayacağını inceleyen araştırma, bu değerlendirme için “watt başına zeka” adlı bir metrik önerdi. Çalışma, 20’den fazla güncel yerel dil modeli, yerel ve bulut ortamındaki 8 donanım hızlandırıcısı ile 1 milyon gerçek dünya sohbet ve akıl yürütme sorgusunu değerlendirdi. Araştırmacılar her sorgu için doğruluk, enerji tüketimi, gecikme ve güç kullanımını ölçtü.
Sonuçlara göre yerel dil modelleri sorguların yüzde 88,7’sini başarıyla yanıtladı ancak doğruluk alanlara göre değişti. 2023-2025 dönemini kapsayan analiz, algoritma ve hızlandırıcı ilerlemelerinin watt başına zeka değerini 5,3 kat artırdığını gösterdi. Yerel olarak işlenebilen sorguların oranı aynı dönemde yüzde 23,2’den yüzde 71,3’e yükseldi. Araştırma, 20 milyar veya daha az etkin parametreye sahip küçük modellerin birçok görevde büyük modellere yaklaşabildiğini belirtti.
Yerel hızlandırıcılar, aynı modelleri çalıştıran bulut hızlandırıcılarına kıyasla watt başına zeka bakımından en az 1,4 kat daha düşük değer elde etti. Bu sonuç, yerel donanımların verimliliğini artırmak için alan bulunduğuna işaret etti. Çalışmaya göre watt başına zeka metriği, yerel modellerin yetenekleri ile güç kısıtlı dizüstü bilgisayarlardaki enerji verimliliğini birlikte izlemeyi sağlıyor. Bulgular, yerel çıkarımın merkezi altyapı talebini sorguların belirli bir bölümünde azaltabileceğini ortaya koydu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.