Mendral, sürekli entegrasyon (CI) günlüklerini analiz etmek için büyük dil modellerini (LLM) kullanarak önemli bir yenilik gerçekleştirdiğini duyurdu. Şirket, terabaytlarca CI verisini bir LLM'e sunarak, hatalı testleri veya bağımlılık güncellemelerinden kaynaklanan sorunları saniyeler içinde tespit edebilen bir sistem geliştirdi. Bu sistem, LLM'in kendi SQL sorgularını yazmasına, yüz milyonlarca günlük satırını taramasına ve iş meta verilerinden ham günlük çıktılarına kadar uzanan bir izi takip etmesine olanak tanıyor. Bu sayede, önceden tanımlanmış bir sorgu kütüphanesine veya katı bir araç API'sine ihtiyaç duymadan, beklenmedik arızaların hata ayıklanmasında esneklik sağlanıyor.
Sistem, her hafta yaklaşık 1.5 milyar CI günlük satırı ve 700 bin işin işlendiği büyük bir veri hacmini ClickHouse üzerinde depoluyor. LLM, bu veriye SQL arayüzü aracılığıyla erişiyor ve iki ana hedefi sorguluyor: iş meta verileri (CI işi yürütme başına bir satır) ve ham günlük satırları (günlük satırı başına bir satır). İş meta verileri, başarısızlık oranları veya en yavaş işler gibi genel sorular için kullanılırken, ham günlük satırları belirli hata çıktıları veya günlük desenlerinin görünümü gibi derinlemesine incelemeler için kullanılıyor. Analizler, bir ajanın tek bir soruyu yanıtlamak için ortalama 4.4 sorgu yürüttüğünü ve 335 bin satırı taradığını gösteriyor; bu, bazı durumlarda milyarlarca satıra kadar çıkabiliyor.
LLM'in sorgu yeteneği, geniş bir veri kümesinde karmaşık sorunları çözme potansiyelini ortaya koyuyor. Ajan, önce iş meta verileriyle genel bir arama yaparak başlar, ardından ilginç bulgulara rastladığında ham günlük verilerine inerek detaylı incelemeler yapar. Bu yaklaşım, hata ayıklama süreçlerinde insan müdahalesini azaltırken, daha önce fark edilemeyen sorunların hızlı bir şekilde tespit edilmesine olanak tanıyor. LLM'lerin SQL konusundaki yetkinliği, doğal dil sorgularını veri manipülasyonuna dönüştürme becerileri sayesinde, bu tür gelişmiş gözlemlenebilirlik ve hata ayıklama çözümlerinin temelini oluşturuyor.
LLM'lerin SQL yetenekleri sayesinde, büyük ölçekli CI günlük verilerinde karmaşık sorunları otomatik ve hızlı bir şekilde tespit etmek mümkün hale geliyor.