Günümüzde çoğu kullanıcı, büyük dil modelleri (LLM'ler) ile çevrimiçi, tarayıcı tabanlı arayüzler aracılığıyla etkileşim kurar. Sorgular, modellerin barındırıldığı veri merkezlerine gönderilir. Bu yaklaşım, veri merkezi kesintileri ve kişisel verilerin anonim bir kuruluşa gönderilmesi konusundaki isteksizlik gibi sorunlar yaratır. Düşük gecikme süresi, kişisel ihtiyaçlara daha iyi uyum ve verilerin kendi makinenizde kalmasının getirdiği gizlilik gibi önemli avantajlar sunan yerel model çalıştırma potansiyeli bu sorunlara çözüm olabilir. Ancak, bir yıldan eski ortalama bir dizüstü bilgisayarın (dört ila sekiz çekirdekli CPU, özel GPU veya NPU yok, 16 GB RAM) yerel olarak faydalı bir yapay zeka modeli çalıştırma yeteneği neredeyse sıfırdır. Yeni, üst düzey dizüstü bilgisayarlar bile, trilyonlarca parametreye sahip en büyük yapay zeka modelleri için yüzlerce gigabayt bellek gerektirdiğinden zorlanabilir. Daha küçük modeller mevcut olsa da, genellikle büyük modellerin zekasından yoksundurlar. Görüntü ve video oluşturma gibi diğer yapay zeka özellikleri de yerel olarak çalıştırması zordur.
Yapay zekanın yaygınlaşması için bu durum bir sorun teşkil etmektedir. Yapay zeka modellerini yerel olarak çalıştırmak için dizüstü bilgisayarların donanım ve yazılımlarının yükseltilmesi gerekmektedir. Bu, mühendislerin geçmişin kalıntılarını terk edip PC'yi sıfırdan yeniden tasarlama fırsatı bulacağı bir dizüstü bilgisayar tasarımında bir değişimin başlangıcıdır. Bu dönüşümün en belirgin yolu, CPU'nun yanına güçlü bir NPU yerleştirmektir. NPU'lar, çoğu yapay zeka modelinin dayandığı matris çarpımı hesaplamaları için özel olarak tasarlanmış çiplerdir. Bu matris işlemleri yüksek derecede paralelleştirilmiştir ve bu nedenle GPU'lar yapay zeka veri merkezleri için tercih edilen seçenek haline gelmiştir. Ancak NPU'lar, 3D grafikler gibi diğer görevler yerine yalnızca bu matris işlemlerini ele almak üzere tasarlandıkları için GPU'lardan daha güç verimlidir. Bu, taşınabilir tüketici teknolojisinde yapay zekayı hızlandırmak için önemlidir. NPU'lar ayrıca, yapay zeka modellerinin taşınabilir donanımlarda hesaplama ve bellek ihtiyaçlarını azaltmak için sıklıkla kullandığı düşük hassasiyetli aritmetik için daha iyi destek sağlama eğilimindedir.
Yapay zeka modellerinin buluttan yerel cihazlara kayması, NPU'lar gibi yeni donanımlarla PC tasarımını temelden değiştirerek kullanıcılara daha fazla gizlilik, hız ve kişiselleştirme sunacak.