ByteShape, Qwen3-30B-A3B-Instruct-2507 modelini Raspberry Pi gibi kısıtlı donanımlarda bile gerçek zamanlı çalıştırmayı başardığını duyurdu. Bu başarı, özellikle modelin performansını (saniyedeki token sayısı - TPS) ve çıktı kalitesini, mevcut bellek kapasitesi dahilinde optimize etmeye odaklanarak elde edildi. Shapelearn adlı bit uzunluğu öğrenme yöntemleri kullanılarak, ağırlık veri tipleri, modelin belleğe sığmasını sağlarken en yüksek TPS ve kaliteyi sunacak şekilde seçildi. Amaç, dosya boyutunu küçültmekten ziyade, kullanıcının deneyimlediği hız ve kalite dengesini iyileştirmek oldu.
Yapılan testlerde, 16GB RAM'e sahip bir Raspberry Pi 5 üzerinde Qwen3-30B modelinin Q3_K_S-2.70bpw [KQ-2] formatında 2.70 BPW ile 8.03 TPS hızına ulaştığı ve BF16 kalitesinin %94.18'ini koruduğu gözlemlendi. Bu performans, modelin "gerçek zamanlı" hissettirmesi için yeterli kabul edilen 8 TPS eşiğini rahatlıkla aşıyor. ByteShape modellerinin, Unsloth ve MagicQuant gibi alternatiflere kıyasla daha iyi bir TPS/kalite dengesi sunduğu belirtiliyor. CPU'larda, model belleğe sığdıktan sonra bit uzunluğunu azaltmanın TPS'yi genellikle artırdığı ve doğru veri tipi seçimiyle hız için kaliteden ödün vermenin öngörülebilir olduğu vurgulanıyor.
Bu gelişme, Raspberry Pi sınıfı sistemler için yapay zeka modellerinin çalıştırılmasına dair beklentileri yeniden şekillendiriyor. Özellikle etkileşimli ve cihaz üzerinde kullanım senaryolarında, metnin hızlı bir şekilde görünmesi algılanan yanıt hızını belirlediği için, bu tür optimizasyonlar büyük önem taşıyor. ByteShape'in ShapeLearn yöntemi, aynı kalitede daha yüksek TPS veya aynı verimde daha yüksek kalite sunarak sürekli olarak daha iyi modeller üretiyor.
Bu gelişme, kısıtlı donanımlarda bile yüksek kapasiteli yapay zeka modellerinin gerçek zamanlı çalışabileceğini göstererek, uç bilişim ve gömülü sistemlerde yapay zeka kullanımının potansiyelini genişletiyor.