SREGym ekibi LLM ajansız Jev tabanlı arıza teşhis hattını tanıttı

SREGym ekibi, bağımsız bir büyük dil modeli ajanı kullanmadan sistem arızalarını teşhis edebilen Jev odaklı yeni bir teşhis hattı geliştirdiğini açıkladı. Geliştirilen yazılım mimarisi, Kubernetes kümesindeki nesneleri, günlükleri ve kaynak kullanımlarını programatik bir toplayıcı aracılığıyla derleyip Jev sistemine sunuyor. Yapılan testlerde Jev, sunulan seçenekler arasından kök nedeni ve destekleyici kanıtları belirleyerek teşhis raporu hazırladı. SREGym-Lite ortamındaki 21 farklı arıza senaryosunda çalıştırılan hat, 105 denemenin 80'inde başarı sağladı.

Araştırma sonuçlarına göre yeni boru hattı yüzde 76,2 başarı oranına ulaştı ve medyan teşhis süresi 14,6 saniye olarak ölçüldü. Bu performans düzeyi, yüzde 77,8 başarı yakalayan GPT-5.6 Sol modeline yaklaşırken, sürecin yaklaşık 7 kat daha hızlı tamamlandığı ve vaka başına maliyetin yaklaşık 200 kat azaldığı kaydedildi. Toplam 105 teşhis sürecinde 3,48 milyon girdi belirteci işlendi ve toplam çıkarım maliyeti 0,15 dolar seviyesinde kaldı. Test edilen 21 arıza türünün 16'sında tüm denemeler tam başarıyla sonuçlanırken, 5 senaryoda sistem tüm denemelerde başarısız oldu.

Ekip, başarısız denemelerin iki temel nedenden kaynaklandığını tespit etti. Bazı senaryolarda Jev sunulan kanıtlar arasından yanlış ipucunu seçti, diğerlerinde ise toplayıcı gerekli telemetri verilerini rapora dahil edemedi. Servisler arası etkileşimlerden ve döngüsel isteklerden doğan karmaşık arızalarda tek bir bileşene odaklanılmasının teşhisi engellediği aktarıldı. Mühendisler, sonraki aşamada telemetri verilerini metne dökmek için GPT-6 Luna gibi küçük modelleri hatta eklemeyi ve çoklu servis etkileşimlerini kapsayacak biçimde teşhis kapsamını genişletmeyi hedefliyor.