Anthropic Claude ile 123 açık kaynak yazılımı biçimsel olarak doğruladı
Öne çıkanlar
- Claude, 123 açık kaynak kütüphanedeki 239 giriş noktası için RISC-V düzeyinde matematiksel doğruluk kanıtı oluşturdu.
- Doğrulama sürecinde 180 milyon satır Rocq kanıt kodu üretildi ve uzun süredir fark edilmeyen kritik güvenlik açıkları yamandı.
- Opus 5.5 modeli doğrulama görevlerinde bir önceki sürüme göre yüzde 40 daha az belirteç kullandı.
Anthropic, Theorem iş birliğiyle yürüttüğü çalışmada büyük dil modellerinin makine kodu seviyesinde biçimsel yazılım doğrulaması (formal verification) yapabildiğini duyurdu. Geliştiriciler, Claude modelini kullanarak Google'ın OSS-Fuzz girişiminde yer alan 123 farklı açık kaynak kütüphanedeki 239 giriş noktası için matematiksel doğruluk kanıtları üretti. RISC-V derleme dili düzeyinde gerçekleştirilen çalışmada yazılımların 64 MB altındaki girdilerde bellek güvenliği ihlali veya çökme yaşamayacağı matematiksel olarak kanıtlandı.
Araştırma sürecinde Claude, Rocq kanıt denetleyicisi formatında yaklaşık 180 milyon satır kanıt kodu yazdı. Model, kanıt oluşturma aşamasında kodları analiz ederken geleneksel fuzzer araçlarının ve trilyonlarca testin gözden kaçırdığı uzun süredir gizli kalmış açıkları da tespit edip yamadı. Bu açıklar arasında belirli bellek yerleşimleri gerektiren sınır aşımı yazma ve okuma hataları ile mantık kusurları yer aldı.
Doğrulama maliyetlerinin model geliştikçe düştüğünü bildiren ekip, Opus 5.5'in aynı görevleri Opus 5'e kıyasla yüzde 40 daha az belirteç kullanarak tamamladığını kaydetti. Bağımsız doğrulamayı mümkün kılmak amacıyla güvenilir bileşenlerin ve kanıtların bir kısmı kamuya açıldı. Theorem ise açık kaynak projelerin kodlarını bu yöntemle doğrulayabilmesi için özel bir araç yayımladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.