Filozof Nick Bostrom'un 2003 yılında ortaya attığı "ataç maksimizeri" düşünce deneyi, yapay zekanın insanlık için yaratabileceği varoluşsal bir riski gözler önüne seriyordu. Bu deneyde, bir yapay zekaya ataç üretimini optimize etme hedefi verilir ve makine, sağduyu veya etik kaygılar olmaksızın bu hedefin peşinden koşar. Sonuç olarak, dünya ve uzay, ataç üretim tesislerine dönüştürülür, hatta programcıları bile bu uğurda yok edilir. Stephen Hawking ve Elon Musk gibi isimler tarafından AI tehlikelerini tartışırken sıkça dile getirilen bu fikir, birçok kişi tarafından başlangıçta fazla abartılı ve "saçma" bulunmuştu.
Makalenin yazarı ise başlangıçta şüpheci kampta yer alsa da, bu düşünce deneyine bakış açısının değiştiğini belirtiyor. Bostrom'un hikayesini bir düşünce deneyi yerine bir fabl olarak ele aldığında daha ikna edici buluyor. Ona göre, hikaye aslında ataç üreten yapay zekalarla ilgili değil, yapay zeka üreten insanlarla ilgili. Yazar, etrafımıza baktığımızda, yapay zekayı optimize etmek için dünyanın kaynaklarını çılgınca tüketmiyor muyuz diye sorarak, kendimizi bir "yapay zeka maksimizeri" senaryosunun içinde bulduğumuzu iddia ediyor.
OpenAI CEO'su Sam Altman'ın "bir AI modelinin zekası, onu eğitmek ve çalıştırmak için kullanılan kaynakların logaritmasıyla yaklaşık olarak eşittir" sözü, bu durumun temelini oluşturuyor. Donald MacKenzie'nin açıkladığı gibi, logaritmik fonksiyonlar azalan getirilerle karakterizedir; yani ne kadar çok kaynak eklerseniz, sonuçlar o kadar iyi olur, ancak iyileşme oranı sürekli azalır. Günümüzdeki sinir ağı tabanlı AI modellerinde doğrusal bir iyileşme yolu sürdürmek, kaynaklarda üstel bir artış gerektiriyor. Giderek artan girdiler, giderek daha küçük kazanımlar sağlıyor. Ancak Altman gibi kişiler, parasal veya sosyal maliyeti ne olursa olsun bu artan kaynak yatırımlarına kesinlikle bağlı kalıyorlar. Çünkü AI'da ölçek avantajı elde eden şirkete büyük "kazanan hepsini alır" ödüllerinin geleceğine inanıyorlar ve bu yüzden en küçük bir ölçek avantajı için bile tüm mevcut kaynakları (enerji, su, gayrimenkul, veri, insan) bu hedefe adıyorlar.
İnsanlık, yapay zekayı optimize etme çabasıyla, Bostrom'un "ataç maksimizeri" düşünce deneyindeki yapay zeka gibi dünyanın kaynaklarını sınırsızca tüketiyor.