Yeni kurulan Taalas şirketi, Llama 3.1 8B büyük dil modelini (LLM) özel bir ASIC çip üzerinde çalıştırarak dikkate değer bir başarıya imza attı. Bu çip, saniyede 17.000 token gibi etkileyici bir çıkarım hızı sunuyor; bu da yaklaşık 30 A4 sayfasını bir saniyede yazmaya eşdeğer. Taalas, bu teknolojinin GPU tabanlı sistemlere göre sahiplik maliyetini 10 kat düşürdüğünü, enerji tüketimini 10 kat azalttığını ve performansı 10 kat artırdığını iddia ediyor.
Taalas'ın yaklaşımı, geleneksel yazılım ve donanım anlayışının ötesine geçiyor. Şirket, LLM'nin ağırlıklarını (modelin bilgisi) doğrudan çipin üzerine, fiziksel transistörler olarak 'basıyor'. Bu, modelin sabit bir fonksiyona sahip olmasını sağlıyor; tıpkı bir CD-ROM veya oyun kartuşu gibi, sadece tek bir modeli barındırabiliyor ve yeniden yazılamıyor. Bu sabit fonksiyonlu ASIC (Application-Specific Integrated Circuit) tasarımı, NVIDIA GPU'larının yaşadığı bellek bant genişliği darboğazını ortadan kaldırıyor. GPU'lar, her bir token üretimi için modelin katmanları arasındaki verileri VRAM'e sürekli gidip getirirken, Taalas'ın çipi veriyi fiziksel yollarla doğrudan bir sonraki katmana aktarıyor.
Şirketin, 4-bit veriyi tek bir transistörle işleyebilen 'sihirli çarpıcı' donanım mekanizması da bu verimliliğin temelini oluşturuyor. Bu yenilikçi yöntem, LLM'lerin çıkarım sürecini kökten değiştirerek, daha hızlı, daha ucuz ve daha az enerji tüketen bir teknoloji vaat ediyor. Bu gelişme, yapay zeka donanımları alanında yeni bir dönemin habercisi olabilir.
Taalas'ın LLM'leri doğrudan çip üzerine 'basma' yöntemi, yapay zeka donanımlarının verimliliğini ve maliyetini kökten değiştirme potansiyeli taşıyor.