Falconer, şirketlerin sürekli değişen kod tabanlarına ayak uydurmakta zorlanan paylaşılan bilgi ve dokümantasyon sorununa odaklanıyor. 'Dokümantasyon çürümesi' olarak adlandırılan bu durum, kod değiştikçe belgelerin güncelliğini yitirmesi ve yanlış bilginin bir yük haline gelmesi anlamına geliyor. Yapay zeka destekli araçlar bilgiyi bulmayı kolaylaştırsa da, güncel olmayan bir belgenin kolayca bulunması sorunu çözmüyor. Asıl zorluk, bulunan bilginin doğruluğuna güvenebilmekte yatıyor. Falconer, bu güven sorununu çözmek için çapraz fonksiyonel ekiplerin ve ajanlarının paylaşılan bilgilerini güncel tutan bir 'paylaşılan bellek katmanı' geliştiriyor.
Bu çözümün temelinde, kod değişikliklerini izleyerek dokümantasyon güncellemeleri önermek yatıyor. Bir PR (Pull Request) birleştirildiğinde, hangi belgelerin güncellenmesi gerektiğine karar vermek basit bir desen eşleştirme problemi değil. Test dosyaları veya CI konfigürasyonları gibi bariz aday olmayanlar elenebilse de, kalanlar için bağlama, ekibin önceliklerine ve belgenin hedef kitlesine göre yargı yürütmek gerekiyor. Bu süreç, bir insan tarafından manuel olarak yapıldığında günler sürebilirken, Falconer'ın akıllı ajanı bu karmaşık değerlendirmeyi saniyeler içinde gerçekleştiriyor.
Falconer, bu yargı mekanizmasını güçlendirmek için 'LLM-as-a-Courtroom' adını verdiği bir değerlendirme sistemi tasarladı. Geleneksel 'LLM-as-a-judge' yaklaşımlarının yetersiz kaldığı durumlarda, bir mahkeme yapısı kurarak daha iyi bir yargı süreci sunmayı hedefliyorlar. İlk denemelerinde, modellerinden alaka düzeyi, özellik ekleme ve zarar düzeyi gibi faktörleri sayısal ölçeklerde derecelendirmesini istedikleri kategorik puanlama yöntemini kullandılar. Bu sistem, belgelerin güncellenmesi gerekip gerekmediğine dair güçlü ve otomatik bir karar verme yeteneği sağlıyor.
Falconer'ın 'LLM-as-a-Courtroom' sistemi, kod değişikliklerine dayalı dokümantasyon güncellemelerinde güvenilirliği ve doğruluğu otomatik olarak sağlayarak, manuel süreçlerin karmaşıklığını ve zaman kaybını ortadan kaldırıyor.