Robotik için açık kaynaklı dünya ve eylem modeli OpenWAM geliştirildi
Öne çıkanlar
- OpenWAM, 5 milyar parametreli video modeli ile 2 milyar parametreli eylem uzmanını tek mimaride birleştirdi.
- Video ardından eylem üreten yapılandırma, LIBERO testlerinde yüzde 98,6 ortalama başarı yakaladı.
- 32 bin alternatif senaryo içeren karşıolgusal veri seti, ters dinamik modellerinin görev transferini yüzde 84'e yükseltti.
Stanford Üniversitesi araştırmacıları, robotik kontrol ve video üretimini ortak bir yapay zeka çatısında birleştiren OpenWAM adlı açık kaynaklı çerçeveyi yayımladı. Robotların eylem kararı vermeden önce göreceği geleceği tahmin etmesini veya iki süreci eşzamanlı yürütmesini inceleyen proje, farklı etkileşim modelleri için ortak bir zemin sunuyor. Altyapı, Wan2.2-5B video omurgasının 14 bin 640 saatlik robot etkileşimi verisiyle 32 adet NVIDIA B200 GPU üzerinde 14 gün boyunca önceden eğitilmesine dayanıyor.
Sistem, video uzmanı ile 2 milyar parametreli bir eylem uzmanını Mixture-of-Transformers mimarisinde bir araya getiriyor. Model, videoyu eylemden önce üretme, eylemi videodan önce üretme, ortak gürültü giderme ve ayrık tahmin gibi farklı etkileşim programlarını çalıştırıyor. Araştırmacılar ayrıca sadece başarılı gösterimlere bağlı kalmamak amacıyla simülatör durumlarını sıfırlayıp alternatif eylemleri test eden 32 bin segmentlik LIBERO-Long-CF veri setini oluşturdu.
Test sonuçlarına göre video ardından eylem üreten model, LIBERO kıyaslama paketlerinde yüzde 98,6 başarı oranına ulaştı ve iki kollu robot görevlerinde yüzde 92,1 ortalama başarı sergiledi. Karşıolgusal verilerle desteklenen yerel bağlamlı ters dinamik modelleri, görev diline veya geçmişe ihtiyaç duymadan yeni görevlere aktarıldığında başarı oranını yüzde 21,5 seviyesinden yüzde 84'e çıkardı. Projenin kaynak kodları, model ağırlıkları ve eğitim araçları araştırmacıların erişimine açıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.