2025 Sonunda Yapay Zeka Üzerine Düşünceler: LLM'lerin Evrimi ve Geleceği

2025 yılına gelindiğinde, yapay zeka araştırmacıları arasında uzun süredir devam eden "büyük dil modelleri (LLM'ler) yalnızca istatistiksel papağanlardır" görüşü büyük ölçüde terk edildi. Artık LLM'lerin istemin anlamı ve üretecekleri yanıt hakkında içsel temsilleri olduğu kabul ediliyor. Zincirleme düşünce (Chain of Thought - CoT), LLM çıktısını iyileştirmek için temel bir yöntem haline geldi. Yazar, CoT'nin iki ana mekanizma ile çalıştığına inanıyor: model temsillerinde örnekleme (bir tür dahili arama) ve pekiştirmeli öğrenme (reinforcement learning) ile bir jetonu diğerinin ardından koyarak faydalı bir yanıta yakınsama yeteneği. Pekiştirmeli öğrenme ve doğrulanabilir ödüller sayesinde, ölçeklendirmenin yalnızca sahip olduğumuz jeton sayısıyla sınırlı olduğu fikri geçerliliğini yitirdi. Yazar, LLM'lere uygulanan pekiştirmeli öğrenmedeki gelişmelerin yapay zekadaki bir sonraki büyük atılım olacağına inanıyor. Ayrıca, programcıların yapay zeka destekli programlamaya karşı direnci önemli ölçüde azaldı. LLM'ler hata yapsa bile, faydalı kod ve ipuçları sunma yetenekleri o kadar gelişti ki birçok şüpheci bile bu araçları kullanmaya başladı. Programlama dünyası, LLM'leri meslektaş olarak kullananlar ile bağımsız kodlama ajanları olarak kullananlar arasında bölünmüş durumda. Bazı önde gelen yapay zeka bilimcileri, Transformers ile yaşanan devrimin farklı yollar izlenerek tekrar yaşanabileceğine inanıyor ve Transformers'a alternatifler ile açık sembolik temsiller veya dünya modelleri içeren modelleri araştırmak için ekipler kuruyor. Yazar ise LLM'lerin ayrık muhakeme adımlarını yaklaştırabilen bir uzayda eğitilmiş türevlenebilir makineler olduğunu ve temelden yeni paradigmalar ortaya çıkmadan bile yapay genel zekaya (AGI) ulaşmanın imkansız olmadığını düşünüyor. AGI'ye birçok radikal farklı mimariyle bağımsız olarak ulaşılabileceği de olası görülüyor.