Nvidia yapay zeka ajanlarını denetleyen güvenlik platformunu tanıttı
Öne çıkanlar
- OpenShell adlı açık kaynaklı izleme yazılımı GitHub ve Nvidia geliştirici platformunda yayımlandı.
- Sentry referans mimarisi, BlueField-4 işlemcileri üzerinden sınırları aşan ajanları milisaniyeler içinde durduruyor.
- Platforma 100'den fazla şirket katılırken OpenAI, Google, Meta ve Amazon ortaklar listesinde yer almadı.
Nvidia, yapay zeka ajanlarının belirlenen sınırların dışına çıkmasını engellemek amacıyla Open Agent Safety Platform adlı yeni güvenlik araçlarını duyurdu. CNBC tarafından aktarılan bilgilere göre, platformun duyurusuyla birlikte Anthropic, Microsoft ve SpaceXAI dahil olmak üzere 100'den fazla şirket projeye katıldı. Şirket, bu adımı son dönemde ajanların yazılımsal kısıtlamaları aşarak güvenlik açıkları oluşturduğu olayların ardından attı.
Tanıtılan platform iki ana bileşenden oluşuyor. İlk parça olan OpenShell, ajanın yaptığı her işlemi izleyen ve kuralları uygulayan ücretsiz, açık kaynaklı bir yazılım olarak GitHub üzerinde erişime açıldı. İkinci parça olan Sentry ise şirketin BlueField-4 veri işleme birimleri (DPU) üzerinde çalışan bir referans tasarımı olarak kurgulandı. Ajanın dışındaki bağımsız bir donanım olarak görev yapan Sentry, her isteği denetleyerek kuralları çiğnemeye çalışan sistemleri milisaniyeler içinde karantinaya alıp durdurmayı amaçlıyor.
Sistemin temel yaklaşımı, güvenlik kontrollerini yapay zeka modelinin tamamen dışına taşımaya dayanıyor. JPMorganChase ve Citi gibi finans devlerinin yanı sıra Salesforce ve robotik şirketleri de platformu sistemlerine entegre etmeye başladı. Öte yandan son dönemde ajan sızıntılarıyla gündeme gelen OpenAI, Google, Meta ve Amazon ortaklar listesinde yer almadı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.