Lemmalog, LLM belleğini program analizine dönüştürdü

LLM ajanları büyük kod tabanlarını inceleme ve güvenlik açığı araştırmalarında yardımcı olabiliyor, ancak saatler süren çalışmalarda daha önce yanlışlanan varsayımlara dayanmaya devam edebiliyor. Yazar, bu sorunu azaltmak için geleneksel konuşma geçmişi ve vektör araması tabanlı bellek sistemleri yerine, bilgiyi güncel ve tutarlı bir durum olarak yöneten Lemmalog adlı bir Datalog motoru geliştirdi. Sistem, LLM tarafından doğal dilden, kaynak koddan veya debugger çıktısından çıkarılan bilgileri yapılandırılmış gerçeklere dönüştürüyor ve bu gerçeklerden yeni sonuçlar türetiyor.

Lemmalog, bir gerçek değiştiğinde ona bağlı sonuçları yeniden hesaplamadan güncelleyebiliyor. Sistem, sonuçların hangi gözlemler ve kurallardan türetildiğini izlediği için geçersiz hale gelen çıkarımları kaldırabiliyor ve bir sonucun neden doğru kabul edildiğini gösterebiliyor. Bir gerçeğin silinmesi, aynı sonucu destekleyen başka türetimler varsa sonucun korunmasını da sağlıyor. Ayrıca sistem, gerçekleri geçerlilik aralıklarıyla saklayarak hem mevcut durumu hem de geçmişteki değerlendirmelerin nedenlerini sorgulayabiliyor.

Yazar, vektör veri tabanlarının geçmişteki ilgili bilgiyi bulmada yararlı olduğunu, ancak bir ifadenin daha sonra çürütüldüğünü veya başka sonuçları geçersiz kıldığını kendiliğinden anlayamadığını belirtiyor. Bu nedenle LLM belleğinde erişim ve güncel doğruluk sorunlarını ayrı ele alıyor. LLM doğal dili yapılandırılmış gerçeklere çeviren ön yüz gibi çalışırken, Lemmalog bu gerçekleri analiz motoru ve ara gösterim olarak yönetiyor. Motor; artımlı değerlendirme, kaynak izleme, zamansal gerçekler ve hibrit erişim gibi özellikleri destekliyor.