BullshitBench, yapay zeka modellerinin kulağa mantıklı gelen ancak aslında saçma olan bilgileri tespit etme yeteneğini ölçen yeni bir kıyaslama aracıdır. Yazılım, tıp, hukuk, finans ve fizik gibi beş farklı alandan 100 adet yanıltıcı prompt kullanarak modellerin performansını değerlendirir. Bu benchmark, modellerin bir bilgiyi tamamen reddetme (yeşil), kısmen sorgulama (sarı) veya tamamen kabul etme (kırmızı) oranlarını yüzdesel olarak sunar. Özellikle "yeşil oran", modellerin saçmalığı ne kadar net bir şekilde tespit edebildiğini gösterir.
Çalışma, her bir modelin farklı alanlardaki saçmalık tespit yeteneğini detaylı bir şekilde incelemektedir. Modellerin genel performansının yanı sıra, her bir domaindeki yeşil oranları karşılaştırmalı olarak sunulur. Ayrıca, modellerin piyasaya sürülme tarihleri ile saçmalık tespit oranları arasındaki ilişkiyi gösteren grafikler de mevcuttur; bu sayede zamanla modellerin bu alandaki gelişimleri gözlemlenebilir.
BullshitBench, modellerin "daha fazla düşünme" çabasını gösteren ortalama muhakeme (reasoning) token kullanımı ile saçmalık tespit oranı arasındaki bağlantıyı da analiz eder. Daha fazla muhakeme tokeni kullanan modellerin genellikle daha yüksek tespit oranlarına sahip olduğu gözlemlenmiştir. Son olarak, farklı "BS tekniği" türlerinin modeller tarafından ne kadar zor tespit edildiği de ortalama tespit oranları ile ortaya konulmuştur; bu, belirli yanıltma yöntemlerinin yapay zeka için daha büyük bir zorluk teşkil ettiğini göstermektedir.
Yapay zeka modellerinin yanıltıcı ve yanlış bilgiyi ayırt etme kapasitesini ölçmek, bu teknolojilerin güvenilirliği ve yaygın kullanımı açısından kritik öneme sahiptir.