Büyük Dil Modelleri (LLM'ler), güvenilirliklerini ciddi şekilde zedeleyen, mantıklı ancak gerçek dışı çıktılar olan halüsinasyonlar üretme eğilimindedir. Bu olgu, yapay zeka topluluğu için önemli bir sorun teşkil etmektedir. Önceki araştırmalar genellikle halüsinasyonları eğitim verileri ve hedefler gibi daha geniş, makro düzeydeki perspektiflerden incelemiş olsa da, bu yanılsamaların altında yatan nöron düzeyindeki mekanizmalar büyük ölçüde keşfedilmemiş bir alan olarak kalmıştır. Bu makale, LLM'lerde halüsinasyonla ilişkili nöronları (H-Neurons) sistematik bir şekilde inceleyerek bu boşluğu doldurmayı hedeflemektedir.
Araştırma, H-Neurons'ları üç temel perspektiften ele alıyor: tanımlama, davranışsal etki ve kökenleri. Tanımlama aşamasında, toplam nöronların %0.1'inden daha azını oluşturan şaşırtıcı derecede seyrek bir nöron alt kümesinin, halüsinasyon olaylarını güvenilir bir şekilde tahmin edebildiği ve çeşitli senaryolarda güçlü bir genelleme yeteneği gösterdiği ortaya konmuştur. Davranışsal etki açısından yapılan kontrollü müdahaleler, bu H-Neurons'ların modellerin "aşırı uyum" davranışlarıyla nedensel bir bağlantısı olduğunu ortaya koymaktadır.
H-Neurons'ların kökenleri incelendiğinde, bu nöronların önceden eğitilmiş temel modellerde zaten var olduğu ve ön eğitim sürecinde ortaya çıktığı tespit edilmiştir. Bu bulgular, halüsinasyon tespiti için bu nöronların tahmin edici gücünü koruduğunu göstermektedir. Çalışma, makro düzeydeki davranışsal kalıplar ile mikro düzeydeki nöral mekanizmalar arasında önemli bir köprü kurarak, daha güvenilir ve doğru Büyük Dil Modelleri geliştirmek için değerli içgörüler sunmaktadır.
Büyük dil modellerindeki halüsinasyonların fiziksel nöron düzeyindeki kaynağının belirlenmesi, bu modellerin güvenilirliğini artırma potansiyeli taşıyor.