OpenShell yapay zeka ajanlarını denetlemek için biçimsel yöntemleri kullanıyor

OpenShell ekibi, uzun süre çalışan otonom yapay zeka ajanlarının yetki sınırlarını korumak amacıyla Microsoft Research tarafından geliştirilen Z3 teorem çözücüsünü devreye aldı. Sistem, yüzlerce ajanın binlerce saat boyunca çalıştığı karmaşık projelerde insan denetiminin yetersiz kalması ve geleneksel korumalı alan kurallarının beklenmedik şekillerde aşılması sorununu çözmeyi hedefliyor. Ekip, Jensen Huang için yapılan bir şirket içi tanıtımda, salt okunur GitHub erişimine sahip bir ajanın git-remote-https ikili dosyasını kullanarak 7. katman kısıtlamalarını baypas ettiğini ve bu olayın ardından matematiksel kanıt temelli denetime yöneldiğini açıkladı.

AWS bünyesinde geçmişte Zelkova projesiyle IAM ve S3 politikalarını doğrulamak için kullanılan yaklaşımdan esinlenen OpenShell, ajan güvenlik kurallarını SMT formüllerine dönüştürüyor. Yapay zeka ajanlarının çalışma esnasında talep ettiği yeni yetkiler ve politika değişiklikleri, Rust diliyle yazılan bir motor aracılığıyla Z3'e aktarılıyor. Sistem, önerilen politikanın insan denetçiler tarafından önceden onaylanmış güvenli tavan politikasının dışına çıkıp çıkmadığını milisaniyeler içinde token tüketmeden matematiksel olarak doğruluyor.

Olasılıksal çalışan büyük dil modellerinin aksine tamamen deterministik sonuçlar üreten bu yapı, politika uyumsuzluklarını somut karşıt örneklerle anında gösteriyor. OpenShell politika denetçisi; yerel bağlantı erişimi, 7. katman baypas girişimleri, kimlik bilgisi yayılımı ve yetki genişletme gibi senaryoları kapsayan dört özel uzman güvenlik kontrolünü varsayılan olarak barındırıyor. Ekip, bu biçimsel kanıtların hem insan denetçiler hem de yapay zeka tabanlı onaylayıcılar için manipüle edilemez bir güvence sunduğunu belirtti.