OpenRouter, büyük dil modellerinden (LLM) gelen yapılandırılmış çıktıların JSON kusurlarını otomatik olarak düzelten yeni özelliği "Response Healing"i duyurdu. Şirket, API'lerin %99.999 çalışma süresi beklentisine karşın, LLM'lerin sürekli olarak JSON sözdizimini bozmasını kabul edilemez buluyor. Bu yeni özellik, hatalı JSON yanıtlarını uygulamanıza ulaşmadan önce düzeltiyor ve böylece geliştiricilerin karşılaştığı yaygın bir sorunu kökten çözüyor.
Bir haftalık verilere göre, Response Healing'in etkisi oldukça çarpıcı. Yapılandırılmış çıktı için en popüler model olan Gemini 2.0 Flash, hata oranında %80'lik bir düşüş yaşarken, en yetenekli açık kaynak modellerinden Qwen3 235B'nin hata oranı %99.8 oranında azaldı. OpenRouter, %2'lik bir JSON hata oranının %1'e düşürülmesinin sadece %1'lik bir iyileştirme olmadığını, aksine hata, hata ve destek taleplerinin yarı yarıya azalması anlamına geldiğini vurguluyor. Bu, üretim sistemleri için kritik öneme sahip marjinal güvenilirlik iyileştirmelerinin ne kadar değerli olduğunu gösteriyor.
LLM'ler, JSON oluştururken beklenmedik hatalar yapabilir; bunlar arasında son öğeden sonra virgül, dizelerde kaçış karakteri eksikliği, kapanış parantezlerinin olmaması ve çeşitli sözdizimi hataları bulunur. OpenRouter, platformlarında milyonlarca yapılandırılmış çıktı üretimini analiz ederek bu hata modlarını tespit edip düzeltiyor. Bu iyileştirme, geliştiricilerin gece yarısı gelen uyarıları, kızgın kullanıcıları ve ajanlarının neden aniden çalışmayı durdurduğunu hata ayıklamak için harcadıkları saatleri önemli ölçüde azaltıyor.
Büyük dil modellerinden gelen yapılandırılmış çıktıların güvenilirliğini artırarak geliştiricilerin hata ayıklama yükünü ve kullanıcı şikayetlerini önemli ölçüde azaltıyor.