TypeSafe'in sınıflandırma modeli Jev'in olasılık kalibrasyonu tartışılıyor
Öne çıkanlar
- Jev, önceden veri toplamaya gerek duymadan her sınıflandırma problemine uygulanabiliyor.
- Model, adil bir madeni paranın tura gelme olasılığını yüzde 92 olarak tahmin etti.
- Farklı veri dağılımları nedeniyle Jev çıktılarının doğrudan olasılık değil sıralama puanı olduğu belirtiliyor.
- Geliştiriciler birkaç yüz etiketli veri ve Platt ölçeklemesiyle modeli kendi sistemlerine göre yeniden kalibre edebiliyor.
TypeSafe şirketinin geliştirdiği "System One Model" mimarisine sahip Jev, yapılandırılmamış verileri önceden tanımlanmış kategorilere sınıflandırıyor ve her sonuca bir olasılık değeri atıyor. Modelin eğitim verisi gerektirmeden çalışabilmesi ve sonuçlarını kalibre edilmiş olasılıklarla sunduğu vaadi dikkat çekti. Ancak bağımsız incelemeler, genel amaçlı bir modelin her şirketin kendi veri dağılımında kalibre edilmiş olasılıklar sunamayacağını ve bu iddianın pratikte geçerliliğini yitirdiğini ortaya koydu.
Bir yapay zeka modelinin kalibrasyonu yalnızca mimarisine değil, çalıştığı veri kümesinin dağılımına doğrudan bağlı kalıyor. Farklı kurumlardaki aynı sınıflandırma görevi farklı veri profilleri içerse bile Jev aynı girdi için her sisteme aynı olasılığı döndürüyor. Bu durum modelin üreticinin test verisinde kalibre edilmiş olsa dahi kullanıcıların kendi üretim sistemlerinde hatalı olasılıklar üretmesine yol açıyor. Ayrıca yapılan bağımsız testlerde modelin adil bir madeni paranın yazı gelme ihtimalini yüzde 92 olarak hesapladığı saptandı.
Uzmanlar, Jev çıktılarının kesin birer olasılık değeri yerine birer sıralama puanı olarak ele alınması gerektiğini belirtti. Eşik değerleri, beklenen maliyet hesapları veya çoklu model birleşimleri kuran geliştiricilerin sisteme güvenmeden önce kendi verileri üzerinde ölçüm yapması öneriliyor. Modelin çıktılarını güvenilir olasılıklara dönüştürmek için birkaç yüz etiketli veri ile Platt ölçeklemesi uygulamanın yeterli bir çözüm sunduğu vurgulandı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.