OTelBench, yapay zeka modellerinin üretim sistemlerinde dağıtık izleme (distributed tracing) yeteneklerini ölçmek amacıyla geliştirilmiş açık kaynaklı bir benchmark aracıdır. Quesma tarafından tanıtılan bu araç, özellikle mikroservis mimarilerinde hata ayıklama ve sistem görünürlüğü için kritik öneme sahip OpenTelemetry enstrümantasyonunu test etmektedir. Gelişmiş yapay zeka modellerinin fonksiyon yazmada başarılı olmasına rağmen, gerçek dünya üretim ortamlarında arızaları giderme ve sistemleri izleme konusunda ne kadar etkili oldukları merak konusu olmuştur.
OTelBench, 14 farklı büyük dil modelini (LLM), 11 programlama dilinde (Go, Java, Python, JavaScript, PHP, Ruby, Rust, Erlang, .NET, Swift ve C++) 23 gerçekçi OpenTelemetry enstrümantasyon görevi üzerinde test etmiştir. Bu görevler, bir Site Güvenilirlik Mühendisi (SRE) için kolay kabul edilebilecek düzeyde seçilmiştir. Dağıtık izleme, tek bir isteğin mikroservisler arasında nasıl hareket ettiğini takip ederek, geleneksel log dosyalarının yetersiz kaldığı karmaşık sistemlerde hata tespiti ve performans analizi için vazgeçilmezdir. OpenTelemetry, bu telemetri verileri için endüstri standardı olup, semantik kurallar, evrensel SDK'lar ve Collector gibi bileşenleri içerir.
Test sonuçları, yapay zeka modellerinin bu enstrümantasyon görevlerinde önemli ölçüde zorlandığını ortaya koymuştur. Örneğin, Opus 4.5 modeli sadece %29'luk bir başarı oranı elde etmiştir. Bu durum, OpenTelemetry'nin endüstri standardı olmasına rağmen karmaşıklığı nedeniyle SRE'ler için bile zorlayıcı olabileceği gerçeğini pekiştirmektedir. OTelBench, sonuçların yeniden üretilmesi, yeni modellerin test edilmesi veya özel kullanım durumları için benchmark'lar oluşturulması amacıyla açık kaynak olarak sunulmuştur. Bu benchmark, yapay zeka modellerinin üretim ortamlarındaki pratik uygulanabilirliği hakkında önemli bilgiler sağlamaktadır.
Yapay zeka modellerinin üretim sistemlerinde hata ayıklama ve izleme gibi temel SRE görevlerinde henüz yetersiz olduğu ortaya çıktı.