İnternet Arşivi'nin Depolama Mimarisi: PetaBox'ın Evrimi

Bruce Li'nin "The Long Now of the Web: Inside the Internet Archive’s Fight Against Forgetting" başlıklı raporu, İnternet Arşivi'nin dijital mirası koruma mücadelesinin teknik detaylarını gözler önüne seriyor. Bu raporun depolama bölümüne odaklanan makale, Arşiv'in yıllar içindeki veri saklama çözümlerinin gelişimini inceliyor. İlk olarak, Brewster Kahle ve Bruce Gilliat tarafından kurulan Alexa Internet'ten gelen veri taramalarını tutan bant sürücüleri kullanıldı. Bu ilk adımlar, Arşiv'in devasa veri depolama ihtiyacının temelini oluşturdu.

İnternet Arşivi'nin ilk özel tasarlanmış depolama sistemi, 2004 yılında tanıtılan ve canlı kırmızıya boyanmış 1U boyutundaki PetaBox'ın ilk versiyonuydu. Bu sistem, o dönem için muazzam bir yoğunluk sunarak 100 terabayt (TB) veriyi sadece 6 kilovat güç tüketimiyle barındırabiliyordu. Karşılaştırmak gerekirse, 2003'te Wayback Machine ayda sadece 12 TB büyüyordu. LOCKSS Programı gibi diğer kurumlar da bu sistemleri bir süre kullandı. Zamanla, hem LOCKSS Programı hem de Arşiv, daha büyük kapasiteli 4U sistemlere geçiş yaptı ve bu sistemler Backblaze'in kullandıklarına benzer bir yapıya sahipti.

Depolama teknolojisi ilerledikçe, Arşiv de PetaBox sistemini sürekli olarak geliştirdi. 2010 civarında tanıtılan dördüncü nesil PetaBox, her biri 2 terabaytlık 240 disk içeren 4U yüksekliğindeki raf üniteleriyle dikkat çekiyordu. Bu üniteler Intel Xeon işlemciler ve 12 gigabayt RAM ile destekleniyordu. 2025 yılına gelindiğinde, depolama kapasitesi bir kez daha önemli ölçüde arttı. Mevcut PetaBox rafları, her bir rafta 1.4 petabayt depolama alanı sunuyor. Bu büyük sıçrama, daha fazla disk yuvası eklemek yerine, 8TB, 16TB ve hatta 22TB gibi çok daha büyük disklerin kullanılmasıyla sağlandı. 2012 ile 2016 yılları arasında depolama kapasitesi üç katına çıkmasına rağmen, toplam disk sayısı neredeyse aynı kaldı, bu da teknolojik ilerlemenin verimliliğini gösteriyor.