Tone3000, Neural Amp Modeler'ı (NAM) Electrosmith Daisy Seed gibi gömülü donanımlarda çalıştırmak için yaptığı çalışmaları ve elde ettiği bulguları paylaştı. Masaüstü eklentisi olarak başlayan NAM'ın, daha geniş bir donanım yelpazesinde çalışabilmesi için geliştirilen Architecture 2 öncesinde, gömülü sistemlerdeki pratik dağıtımını anlamak amacıyla bu projeye giriştiler. Ancak, NAM'ın temel kütüphanesi olan NeuralAmpModelerCore'un masaüstü ortamlar için tasarlanmış olması, sınırlı belleğe, işletim sistemine sahip olmayan ve katı gerçek zamanlı ses işleme gerektiren gömülü donanımlarda ciddi zorluklar yarattı.
İlk denemelerde, cihaza sığacak kadar küçük bir modelle (A1-Nano) bile 2 saniyelik sesi işlemek 5 saniyeden fazla sürdü, bu da bir gitar pedalı için kabul edilemez bir durumdu. Karşılaşılan temel sorunlar üç ana başlıkta toplandı: sinir ağlarının bellek ayak izi (model boyutu), NAM'ın kullandığı küçük matris boyutları için optimize edilmemiş lineer cebir kütüphanesinin (Eigen) işlem verimliliği ve sınırlı RAM'e sahip cihazlarda standart .nam JSON formatını ayrıştırmanın zorluğu (model yükleme).
Bu sorunları çözmek için Tone3000 ekibi, öncelikle kod profilini çıkararak darboğazları tespit etti. Ana sorun, Eigen kütüphanesinin küçük, sabit boyutlu matris çarpımlarını ele alış biçimiydi. NAM modellerinde görülen matris boyutlarına özel optimize edilmiş rutinler eklenerek işlem verimliliği artırıldı. Model yükleme sorununa ise, gömülü cihazlar için .nam'e alternatif olarak tasarlanmış yeni, kompakt bir ikili model formatı (.namb) geliştirildi. Bu format, bir eşlikçi uygulama (telefon veya masaüstü) aracılığıyla .nam dosyalarını dönüştürüp cihaza aktararak, cihazın kısıtlamaları dahilinde daha yalın bir temsil sağlıyor. Ayrıca, daha küçük bir model varyantı (A1-nano) ve ReLU aktivasyon fonksiyonu kullanıldı.
Masaüstü ortamlar için geliştirilen yapay zeka modellerinin gömülü sistemlere başarılı bir şekilde entegrasyonu, kapsamlı performans optimizasyonları ve donanıma özel veri formatları gerektirmektedir.