Yapay zeka mühendisliği deterministik kurallardan olasılıksal tahminlere geçiyor
Öne çıkanlar
- Büyük dil modelleri gerçekleri kesin olarak hatırlamak yerine en olası kelime dizilerini tahmin ediyor.
- Modeller durumsuz mimariyle çalışıyor ve önceki mesajları kendi hafızasında tutmuyor.
- Tüm diyalog geçmişi ve sistem talimatları token sınırı bulunan bağlam penceresine sığdırılıyor.
Geleneksel yazılım geliştirme süreçleri, belirli girdilere karşı kesin ve deterministik kurallar tanımlama mantığına dayanıyor. Bu yaklaşım fiyat hesaplama veya liste sıralama gibi kesin adımlı problemlerde başarılı sonuçlar verirken, insan dili ve niyetini anlamak gibi belirsizlik barındıran durumlarda yetersiz kalıyor. Büyük dil modelleri ise milyarlarca örnek üzerinden kalıpları öğrenerek, kesin kurallar işletmek yerine bir sonraki en olası kelime dizilimini tahmin eden tahmin makineleri olarak çalışıyor.
Büyük dil modelleri yapısal olarak durumsuz bir mimari sunuyor ve her yeni istekte geçmiş etkileşimleri sıfırdan değerlendiriyor. Kullanıcıların sohbet botlarında gördüğü bellek hissi, her yeni istek gönderildiğinde önceki konuşma geçmişinin modele baştan iletilmesiyle yapay biçimde sağlanıyor. Modelin doğrudan hatırlama yeteneği bulunmadığı için bağlamın doğru şekilde yönetilmesi yazılım tarafında çözülen bir probleme dönüşüyor.
Sistemin tek bir çağrıda görebileceği bilgi miktarı ise bağlam penceresi adı verilen sınırla kısıtlanıyor. Sistem talimatı, kullanıcı mesajı ve geçmiş diyalogların tamamı bu pencereye sığdırılmak zorunda kalıyor. Yapay zeka mühendisleri bu kısıt altında hangi verilerin modele aktarılacağını optimize ederek sistem tasarımını şekillendiriyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.