Kullanıcı Arayüzleri (GUI) ile etkileşim kuran otonom ajanlar geliştirmek, özellikle küçük, cihaza özel modeller için hala zorlu bir problem olmaya devam ediyor. Bu makale, mobil, web ve masaüstü dahil olmak üzere çeşitli platformlarda çalışabilen kompakt, uçtan uca bir GUI ajanı olan Ferret-UI Lite'ı tanıtıyor. Araştırmacılar, küçük modeller geliştirmek için optimize edilmiş teknikleri kullanarak 3B boyutundaki Ferret-UI Lite ajanını oluşturdu. Bu süreçte, gerçek ve sentetik kaynaklardan elde edilen çeşitli GUI verilerini bir araya getirme, zincirleme düşünme (chain-of-thought reasoning) ve görsel araç kullanımı (visual tool-use) ile çıkarım zamanı performansını güçlendirme ve tasarlanmış ödüllerle pekiştirmeli öğrenme (reinforcement learning) gibi yöntemler kullanıldı.
Ferret-UI Lite, diğer küçük ölçekli GUI ajanlarıyla rekabetçi bir performans sergiliyor. GUI grounding (arayüz öğelerini tanıma ve konumlandırma) alanında, ScreenSpot-V2'de %91.6, ScreenSpot-Pro'da %53.3 ve OSWorld-G benchmark'larında %61.2 puanlarına ulaştı. GUI navigasyonu (arayüzde gezinme) konusunda ise AndroidWorld'de %28.0 ve OSWorld'de %19.8 başarı oranları elde etti. Makale, kompakt, cihaza özel GUI ajanları geliştirme sürecinde edinilen yöntemleri ve dersleri paylaşıyor. Bu çalışma, yapay zeka ajanlarının günlük dijital etkileşimlerimizi otomatikleştirmedeki potansiyelini artırma yolunda önemli bir adım teşkil ediyor.
Ferret-UI Lite, küçük ve cihaza özel yapay zeka modellerinin farklı platformlardaki kullanıcı arayüzleriyle otonom olarak etkileşim kurma yeteneğini geliştirerek dijital deneyimlerde otomasyon potansiyelini artırıyor.