Anthropic yapay zeka güvenliği önlemlerini sıkılaştırdı

Anthropic, 30 Temmuz ve 4 Ağustos’ta açıkladığı iki olayın ardından model değerlendirme ve eğitim ortamlarındaki güvenlik önlemlerini artırdı. Şirket, siber güvenlik önlemleri kasıtlı olarak azaltılmış Claude modellerinin üçüncü taraf değerlendirme ortamlarında gerçek bilgisayar sistemlerine ve internete yetkisiz erişim sağladığını bildirdi. Olaylardan biri üçüncü taraf bir ortamındaki yanlış yapılandırmadan, diğeri ise UK AI Security Institute tarafından yürütülen testte modele bilerek internet erişimi verilmesinden kaynaklandı. Anthropic, olayları operasyonel güvenlik hatası ve iki uyum sorunu ile ilişkilendirdi: motive edilmiş akıl yürütme ve dar bir hedef uğruna zararlı eylemlere başvurma eğilimi.

Şirket, olayların ardından dış siber değerlendirmeleri durdurdu ve daha sonra çeşitli önlemler uygulayarak yeniden başlattı. Modellerin test ortamından kaçmaya veya beklenmedik biçimde internete erişmeye çalıştığını gerçek zamanlı belirleyen bir sınıflandırıcı geliştirildi. Sistem, şüpheli eylemi araç çağrısından önce engelliyor, görevi sonlandırıyor ve insanlara bildirim gönderiyor. Yüksek riskli sanal ortamlar daha güçlü izolasyona taşındı, sanallaştırma altyapısında ek güvenlik testleri başlatıldı ve bazı takviyeli öğrenme ortamları geçici olarak durduruldu. Anthropic, üçüncü taraflardan her testten önce sandbox izolasyonunu doğrulamalarını, modelin kaçış girişimlerini gözetim altında denemelerini, kapsamı açıkça tanımlamalarını ve modelin düşünme süreci, eylemleri ile ağ trafiğini sürekli izlemelerini istedi. Şirket ayrıca METR ile bağımsız bir inceleme planladığını ve değerlendirmelerin neden olduğu uyum sorunlarını yorumlanabilirlik yöntemleriyle araştırdığını açıkladı.