nCPU, geleneksel bir CPU'nun tüm işlevlerini bir GPU üzerinde tamamen yapay zeka modelleriyle yürüten çığır açıcı bir projedir. Bu projede, CPU'nun kayıtları, belleği, bayrakları ve program sayacı gibi tüm temel bileşenleri PyTorch tensörleri olarak GPU üzerinde konumlandırılmıştır. Komut çözme, ALU (Aritmetik Mantık Birimi) işlemleri ve durum güncellemeleri, ana bilgisayar CPU'suna herhangi bir veri gidiş-dönüşü olmaksızın doğrudan GPU üzerinde gerçekleştirilir. Bu yaklaşım, donanım seviyesindeki aritmetik işlemlerin bile önceden eğitilmiş sinir ağları aracılığıyla yapılmasını sağlar.
Projenin en dikkat çekici yönlerinden biri, her bir ALU operasyonunun eğitilmiş bir sinir ağı modeli tarafından gerçekleştirilmesidir. Örneğin, toplama işlemleri Kogge-Stone taşıma-ileri (carry-lookahead) mimarisi kullanan sinir ağlarıyla, çarpma işlemleri öğrenilmiş bayt-çifti arama tablolarıyla ve bit düzeyindeki mantıksal işlemler sinirsel doğruluk tablolarıyla yapılır. Kaydırma işlemleri ise dikkat tabanlı bit yönlendirme mekanizmaları kullanır. Bu sayede, herhangi bir sabit kodlanmış aritmetik kuralına ihtiyaç duyulmaz. Proje, tam sayı aritmetiğinde %100 doğruluk oranı elde ettiğini ve bu doğruluğun 347 otomatik testle doğrulandığını belirtiyor.
nCPU, toplamda 23 modelden oluşan (yaklaşık 135 MB) bir model seti kullanır ve bunlardan 13'ü aktif olarak çeşitli CPU işlevlerini yerine getirmektedir. Bu modeller, sadece temel aritmetik işlemleri değil, aynı zamanda sinüs, kosinüs, karekök gibi matematiksel fonksiyonları da yapay zeka aracılığıyla hesaplar. Apple Silicon (MPS backend) üzerinde yapılan kıyaslamalarda, bazı işlemlerin mikrosaniyeler düzeyinde düşük gecikmelerle çalıştığı gözlemlenmiştir. Proje, geliştiricilere kolay kurulum ve farklı programları çalıştırma, izleme veya doğrudan assembly kodu ile etkileşim kurma imkanı sunar. Özellikle --fast modu, GPU tensör operasyonlarını kullanarak maksimum hız sağlar.
Bu proje, geleneksel işlemci mimarisini yapay zeka ve GPU hızlandırmasıyla birleştirerek donanım tasarımına ve performansına yeni bir bakış açısı getiriyor.