Yapay zeka modellerinin, özellikle Büyük Dil Modelleri'nin (LLM) sorunları çözme biçimi üzerine geleneksel yaklaşımlar sorgulanıyor. Makale, insanların yaptığı gibi problemleri yukarıdan aşağıya (top-down) özyinelemeli olarak çözmeye çalışmak yerine, FORTH gibi ilişkisel (associative) ve uygulamalı (applicative) dillerin transformer mimarileri için daha uygun olabileceğini öne sürüyor. Bu dillerin "entegre etmek yerine birleştirme" (concatenate, not integrate) felsefesi ve yığın (stack) durumuna odaklanması, LLM'lerin çalışma prensipleriyle daha iyi örtüşebilir.
İlişkisel dillerin temel özelliklerinden biri, programın yerel olarak düzenlenebilmesine olanak tanımasıdır. Yazar, "Sideways Passing Join" örneğiyle bu özelliği açıklıyor ve bir programın "bağlam içinde üretilmiş" ve "üretilmesi gereken" kısımlara ayrılabilmesini vurguluyor. Bu yaklaşım, birer birer token üreterek bağlamı genişletme ve üretim sürecini yönetme imkanı sunar. Manfred von Thun'un "sözdizimsel birleştirme anlamsal bileşimdir" (syntactic concatenation is semantic composition) sözüyle bu felsefenin altı çiziliyor.
Bu hipotezi test etmek amacıyla bir karşılaştırma deneyi yapılmıştır. Deneyde, bir dikkat transformer'ının terimlerin sırasına nasıl tepki verdiği ölçülmüştür. Sayılar üzerinde bir eşlik ağacı (parity tree) oluşturma görevi verilmiş ve ağacın talimatlara ne zaman uyduğu incelenmiştir. Özellikle, önek (prefix) ve sonek (postfix) gösterimlerinin performansı karşılaştırılmıştır. Sonuçlar, "düşünen" modellerin "düşünmeyen" modellere, Opus'un Haiku'ya ve en önemlisi, sonek gösteriminin (alt-üst, bottom-up üretim) önek gösterimine (üst-alt, top-down üretim) göre tutarlı bir şekilde daha iyi performans gösterdiğini ortaya koymuştur. Bu bulgu, transformer mimarileri için alt-üst üretim stratejisinin daha verimli olabileceğini desteklemektedir.
Yapay zeka modellerinin problem çözme yeteneklerini geliştirmek için geleneksel programlama yaklaşımları yerine FORTH gibi ilişkisel dillerin ve alt-üst üretim stratejilerinin daha uygun olabileceği gösteriliyor.