Jeff Geerling'in makalesi, büyük GPU'ların her zaman güçlü ve pahalı bilgisayarlara ihtiyaç duymadığına dair yaygın kanıyı sorguluyor. Yazar, Raspberry Pi 5 gibi tek şeritli PCIe Gen 3 bant genişliğine sahip küçük bir bilgisayar ile modern bir masaüstü bilgisayarı karşılaştırarak çeşitli testler yapıyor. Bu testler arasında Jellyfin ile medya dönüştürme, GravityMark ile GPU odaklı grafik performansı ve büyük dil modelleri (LLM) için yapay zeka performansı bulunuyor. Şaşırtıcı bir şekilde, Raspberry Pi'nin birçok senaryoda modern bir PC ile başa çıkabildiği ve hatta tepe performansın sadece %2-5'inden feragat ederek çok daha yüksek verimlilik sunduğu ortaya çıkıyor.
Makalenin en dikkat çekici bulgularından biri, GitHub kullanıcısı mpsparrow'un dört adet Nvidia RTX A5000 GPU'yu tek bir Raspberry Pi'ye bağlayarak Llama 3 70b modelini çalıştırmasıdır. Bu kurulum, referans bir Intel sunucusuna kıyasla sadece %2'lik bir performans farkıyla (Pi'de saniyede 11.83 token, sunucuda 12 token) sonuçlanmıştır. Bu durum, harici bir PCIe anahtarının GPU'ların belleğe PCIe Gen 4 veya Gen 5 hızlarında doğrudan erişmesine izin vermesiyle mümkün olmakta, böylece Pi'nin daha yavaş PCIe Gen 3 hattının darboğaz oluşturması engellenmektedir.
Sonuç olarak, Raspberry Pi tabanlı bir eGPU kurulumu, modern bir PC'ye göre çok daha uygun maliyetli (350-400 dolar vs. 1500-2000 dolar) ve enerji verimli (boşta 4-5W vs. 30W) bir alternatif sunuyor. Özellikle çoklu GPU uygulamaları ve harici PCIe anahtarları kullanıldığında, küçük bilgisayarların büyük GPU'larla bile şaşırtıcı derecede rekabetçi performans sergileyebileceği ve önemli ölçüde tasarruf sağlayabileceği gösteriliyor.
Büyük GPU'ların yüksek performans için pahalı ve büyük bilgisayarlara ihtiyaç duymadığı, Raspberry Pi gibi uygun maliyetli ve enerji verimli platformlarla da rekabetçi sonuçlar elde edilebileceği kanıtlandı.