Büyük Dil Modelleri (LLM'ler), genellikle bir "kara kutu" gibi çalışır; isteği gönderir, çıktıyı beklersiniz. Özellikle karmaşık aracı sistemler, araç entegrasyonları veya RAG (Retrieval Augmented Generation) boru hatları geliştirirken, modelin aslında ne aldığını görmek oldukça zordur. Yanlış bir mesaj, parametre veya sistem komutu değişikliği, tüm sürecin beklenmedik şekilde ilerlemesine neden olabilir. vLLora, bu görünürlük sorununu çözmek ve geliştiricilere LLM isteklerini daha iyi kontrol etme imkanı sunmak amacıyla "Hata Ayıklama Modu"nu (Debug Mode) tanıttı.
Bu yeni mod sayesinde, her LLM isteği modele ulaşmadan önce duraklatılır. Geliştiriciler, gönderilmek üzere olan tam isteği (seçilen model, mesaj dizisi, sıcaklık, maksimum token gibi parametreler, araç tanımları ve diğer ek alanlar dahil) gerçek zamanlı olarak inceleyebilirler. En önemlisi, bu istek yükünü anında düzenleyebilirler. Mesaj içeriği, sistem komutları, model adı, parametreler veya araç tanımları gibi her türlü değişiklik yapılabilir. Bu, yazılım mühendisliğindeki "duraklat -> incele -> düzenle -> devam et" iş akışını LLM geliştirmesine taşıyarak, hataları hızlıca doğrulamayı, yeni fikirleri test etmeyi ve aracının ne göndermesi gerektiğini teyit etmeyi kolaylaştırır.
Düzenlenen istek gönderildikten sonra, modelden gelen yanıt uygulamaya geri iletilir ve iş akışı normal seyrinde devam eder. Bu özellik, özellikle uzun süreli karar zincirlerine sahip olan ve her adımın bir öncekine bağlı olduğu aracı sistemler için kritik öneme sahiptir. Hata Ayıklama Modu, sessiz araç çağrısı hataları, bağlamın bozulması, uzun iş akışlarında hata birikimi ve modelin aldığı gerçek isteğin görünürlüğünün olmaması gibi yaygın sorunlara karşı güçlü bir çözüm sunar.
vLLora'nın Hata Ayıklama Modu, LLM tabanlı uygulamaların geliştirilmesindeki "kara kutu" sorununu çözerek geliştiricilere model istekleri üzerinde benzeri görülmemiş bir kontrol ve görünürlük sağlıyor.