NVIDIA tarafından geliştirilen NitroGen, video oyunlarını doğrudan ham görüntülerden oynayabilen birleşik bir görüşten-eyleme (vision-to-action) yapay zeka modelidir. Bu model, oyun içi görüntüleri girdi olarak alır ve gamepad eylemleri üretir. Geleneksel olarak ödül veya görev hedefleriyle eğitilen modellerin aksine, NitroGen tamamen insan oyun videoları üzerinden büyük ölçekli taklit öğrenimi (imitation learning) ile eğitilmiştir. Bu yaklaşım, modelin genel amaçlı, bedensel yetenekler geliştirmesini hedeflemektedir, tıpkı büyük dil modellerinde ölçeklendirmenin ortaya çıkardığı davranışlar gibi.
NitroGen, özellikle gamepad kontrolleriyle tasarlanmış aksiyon, platform ve yarış oyunlarında en iyi performansı gösterirken, fare ve klavye ağırlıklı strateji oyunlarında daha az etkilidir. Modelin mimarisi, RGB kareleri işleyen önceden eğitilmiş bir SigLip2 görüş transformatörü ve ardından SigLip çıktısına göre eylemler üreten bir difüzyon eşleştirme transformatörü (DiT) içerir. 493 milyon parametreye sahip olan bu model, NVIDIA GPU hızlandırmalı sistemlerde optimize edilmiştir. Potansiyel uygulamaları arasında yeni nesil oyun yapay zekası, video oyunları için otomatik kalite güvencesi (QA) ve genel olarak bedensel yapay zeka araştırmalarının ilerletilmesi bulunmaktadır.
NitroGen 1, serinin ilk modelidir ve yalnızca araştırma ve geliştirme amaçlıdır. Proje, büyük ölçekli insan oynanışı verileri üzerinde eğitimin, yapay zekada ortaya çıkan, genel amaçlı yeteneklere yol açıp açmayacağını keşfetmeyi amaçlamaktadır. Bu model, araştırmacılar, mühendisler ve oyun geliştiricileri için önemli bir araç olabilir.
Bu model, yapay zekanın video oyunlarını insan benzeri bir şekilde oynamasını sağlayarak oyun geliştirme ve genel yapay zeka araştırmalarında yeni ufuklar açma potansiyeli taşıyor.