Raspberry Pi, yerel büyük dil modellerini (LLM) çalıştırmak için tasarlanmış yeni AI HAT+ 2'yi tanıttı. Bu 130 dolarlık eklenti, bir Hailo 10H NPU ve 8GB LPDDR4X RAM içeriyor. Amacı, Pi'nin CPU'sunu ve sistem RAM'ini diğer görevler için serbest bırakarak LLM'leri tamamen bağımsız çalıştırmak. Hailo 10H, 40 TOPS INT8 çıkarım performansı sunarken, maksimum 3W güç tüketimiyle dikkat çekiyor.
Ancak, yapılan testler bu vaatlerin pratikte tam olarak karşılanmadığını gösteriyor. Yazarın 8GB'lık bir Pi 5 üzerinde yaptığı karşılaştırmalarda, Pi'nin kendi CPU'su çoğu LLM testinde Hailo 10H'den daha iyi performans gösterdi. Hailo, yalnızca Qwen2.5 Coder 1.5B gibi daha küçük modellerde Pi'nin CPU'suna yakın bir performans sergileyebildi. Hailo'nun daha düşük güç tüketimi (3W'a karşı Pi CPU'sunun 10W'ı) performansı sınırlayan ana faktörlerden biri olarak öne çıkıyor.
Ayrıca, kart üzerindeki 8GB RAM, birçok orta boyutlu LLM'in (genellikle 10-12GB RAM gerektiren) çalıştırılması için yetersiz kalıyor. Örneğin, 16GB RAM'e sahip bir Pi 5, Qwen3 30B gibi daha büyük modelleri çalıştırabilirken, 8GB'lık AI HAT+ 2 bu modeller için yeterli alanı sunmuyor. Bu durum, AI HAT+ 2'nin genel Pi kullanıcıları için "bir soruna çözüm arayan bir çözüm" olmaktan çok, daha niş geliştirme ve gömülü sistem uygulamaları için tasarlandığı izlenimini yaratıyor.
Raspberry Pi'nin yeni AI HAT'i, yerel LLM çalıştırma potansiyeli sunsa da, pratikteki performans ve bellek sınırlamaları nedeniyle genel kullanıcılar yerine daha çok niş geliştirme projelerine hitap ediyor.