Hugging Face, makine öğrenimi (ML) geliştiricilerinin ara dosyaları yönetme ihtiyacını karşılamak üzere "Storage Buckets" (Depolama Kovaları) adını verdiği yeni bir depolama çözümünü tanıttı. Mevcut Hugging Face Model ve Dataset depoları nihai ürünler için ideal olsa da, üretimdeki ML iş akışları sürekli olarak kontrol noktaları, optimize edici durumları, işlenmiş veri parçaları ve günlükler gibi sıkça değişen ve sürüm kontrolüne ihtiyaç duymayan geçici dosyalar üretir. Storage Buckets, bu mutable (değişken) ve sürüm kontrolü olmayan nesne depolama ihtiyacını karşılamak üzere S3 benzeri bir yapı sunar. Kullanıcılar bu kovaları Hub üzerinden tarayabilir, Python ile programatik olarak yönetebilir veya hf CLI aracıyla kontrol edebilirler.
Bu yeni çözümün temelinde Hugging Face'in parça tabanlı depolama arka ucu olan Xet teknolojisi yatmaktadır. Xet, dosyaları tek parça bloklar yerine küçük parçalara ayırır ve bu parçalar arasında tekilleştirme (deduplication) yapar. Bu sayede, ham veriye büyük ölçüde benzeyen işlenmiş bir veri kümesi yüklendiğinde veya modelin büyük kısımları değişmeyen ardışık kontrol noktaları depolandığında, zaten var olan parçalar tekrar yüklenmez. Bu yaklaşım, daha az bant genişliği, daha hızlı veri transferleri ve daha verimli depolama anlamına gelir. Özellikle ML iş yükleri için doğal bir uyum sağlayan Xet, ilgili yapay zeka eserleri arasındaki örtüşmeden faydalanarak hem hızı artırır hem de kurumsal müşteriler için faturalandırılan depolama alanını doğrudan azaltır.
Storage Buckets'ın bir diğer önemli özelliği ise "pre-warming" (ön ısıtma) yeteneğidir. Verilerin varsayılan olarak global Hub üzerinde depolanmasına rağmen, büyük ölçekli dağıtık eğitim ve veri işleme süreçlerinde depolama konumu doğrudan performansı etkileyebilir. Pre-warming, sıcak veriyi hesaplama birimlerinin çalıştığı bulut sağlayıcısına ve bölgesine yaklaştırarak, işler başladığında verilerin zaten orada olmasını sağlar. Bu özellik, büyük veri kümelerine veya kontrol noktalarına hızlı erişim gerektiren eğitim kümeleri ve çok bölgeli kurulumlar için kritik öneme sahiptir.
Hugging Face'in yeni depolama kovaları, makine öğrenimi geliştiricilerinin ara dosyaları daha verimli yönetmelerini sağlayarak model eğitimini ve veri işleme süreçlerini hızlandırıyor.