Yapay zeka çiplerinde bellek bant genişliği darboğazı derinleşiyor
Öne çıkanlar
- Pascal mimarisinden bu yana işlem gücü 106 kat artarken bellek bant genişliği yalnızca 11 kat büyüdü.
- B200 modelinde FP4 hassasiyetinde işlem başına düşen bellek bant genişliği P100 dönemine kıyasla 39 kat geriledi.
- Micron 1 trilyon dolar değerleme ve yüzde 56 kâr marjına rağmen 6 kat ileriye dönük F/K ile işlem görüyor.
Tradestie tarafından 3 binden fazla çip ve akademik yayın incelenerek hazırlanan analiz, yapay zeka hızlandırıcılarında işlem gücü ile bellek bant genişliği arasındaki makasın hızla açıldığını ortaya koydu. 2016 yılındaki Nvidia P100 modelinden güncel B200 mimarisine kadar işlem gücü 106 katına çıkarken, bellek bant genişliği yalnızca 10,9 kat arttı. Bu durum, modern çiplerin işlem başına düşen veri aktarım kapasitesinde yaklaşık 39 kata varan bir düşüşe yol açtı.
Donanım üreticileri işlem mimarisini değiştirmeden yalnızca bellek artıran ara modeller sunmaya başladı. Nvidia H200 ve AMD Instinct MI325X gibi güncellemeler, işlem kapasitesini sabit tutarak yalnızca HBM kapasitesini ve bant genişliğini yükseltti. Benzer şekilde yapay zeka alanındaki akademik araştırmalar da model sıkıştırma ve düşük duyarlıklı çıkarım gibi bellek tasarrufu sağlayan yöntemlere yöneldi.
Finansal piyasaların bu yapısal kısıtı henüz tam olarak fiyatlamadığı belirtiliyor. HBM üreticisi Micron yüzde 55,9 kâr marjı ve yıllık yüzde 345 gelir artışına rağmen 6 F/K çarpanıyla işlem görürken, Nvidia ve TSMC gibi şirketler 24-25 F/K bandında değerleniyor. Analiz, HBM arzının yapısal bir darboğaz olmaya devam etmesi durumunda bellek üreticilerinin piyasa değerlemelerinde uyumsuzluk olduğunu kaydediyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.