Nvidia'nın, gelir hedefini %75 oranında ıskalamış bir şirket olan Groq'u 20 milyar dolara satın alması, yapay zeka balonunun patlamak üzere olduğuna dair bir işaret olarak yorumlanıyor. Groq (Elon Musk'ın Grok'u ile karıştırılmamalıdır), büyük dil modellerinin (LLM) yanıt sürelerini önemli ölçüde hızlandıran donanım ve yazılım çözümleri geliştiriyor. Şirket, geleneksel GPU'lar yerine, özel olarak dil işleme için tasarlanmış LPU (Language Processing Unit) adı verilen yeni bir çip türü kullanıyor. Bu LPU'lar, ASIC tabanlı olup belirli bir görevi çok daha verimli bir şekilde yerine getiriyor.
LPU'lar ile GPU'lar arasındaki temel fark, bellek erişim yöntemlerinde yatıyor. Nvidia'nın GPU'ları, yüksek bant genişliğine sahip HBM (High Bandwidth Memory) kullanırken, Groq'un LPU'ları çok daha hızlı referans veren SRAM kullanıyor. Bu durum, LLM'lerin yanıt üretirken ihtiyaç duyduğu verilere erişim hızını artırarak, gecikmeleri ortadan kaldırıyor. Yazar, bu farkı bir alışveriş listesi benzetmesiyle açıklıyor: GPU'lar her yeni reyon için telefonla eşini ararken, LPU'lar listeyi cebinde taşıyan bir alışverişçiye benziyor, bu da süreci çok daha hızlı hale getiriyor.
Groq'un ana iş modeli, geliştiricilerin uygulamalarında hızlı çıkarım (inference) yapabilmeleri için LPU'lar üzerinde çalışan GroqCloud hizmetini sunmaktı. Şirket, hızlı, ucuz ve düşük enerji tüketimli çözümler vaat etse de, genellikle açık kaynaklı modellerle (Llama, Mistral gibi) çalışmasıyla biliniyordu. Nvidia'nın bu satın alması, yapay zeka hızlandırma pazarındaki rekabeti ve Nvidia'nın bu alandaki liderliğini pekiştirme arzusunu gösteriyor.
Yapay zeka hızlandırma teknolojilerine olan talebin ve rekabetin ne denli yoğun olduğunu gösteren bu satın alma, sektördeki değerlemeler ve gelecekteki konsolidasyonlar hakkında önemli ipuçları veriyor.