Eski CNN mimarisi cilt kanseri teşhisinde büyük dil modellerini geride bıraktı
Öne çıkanlar
- Inception v3 modeli 200 lezyonun 125'inde doğru tanı koyarak yüzde 62 başarı oranına ulaştı.
- GPT-6 Astra ve Claude Fable 5.1 modelleri aynı test setinde yüzde 42 doğruluk oranında kaldı.
- Büyük dil modelleri 30 melanom vakasından sırasıyla 8 ve 11 tanesini ilk tercihte doğru teşhis etti.
- Kullanılan CNN mimarisi WebGPU teknolojisiyle telefon tarayıcısında harici sunucuya ihtiyaç duymadan çalışıyor.
Bir dermatolog tarafından yürütülen çalışmada, Google'ın 2015 yılında tanıttığı Inception v3 evrişimli sinir ağı (CNN) mimarisi ile GPT-6 Astra ve Claude Fable 5.1 modellerinin cilt kanseri teşhis yetenekleri karşılaştırıldı. Biyopsi ile doğrulanmış 200 lezyon görseli üzerinde yapılan testlerde, yaklaşık 20 dakika boyunca kamuya açık dermatoloji verileriyle ince ayar yapılan Inception v3, yüzde 62 doğruluk oranına ulaşırken iki büyük dil modeli yüzde 42 seviyesinde kaldı.
Uluslararası Cilt Görüntüleme İş Birliği tarafından yayımlanan MILK10k veri setinden seçilen lezyonlar arasında 30 melanom ile 100 tehlikeli ve 100 zararsız vaka yer aldı. Modeller klinik fotoğraf ve dermoskopik görüntü üzerinden altı olası teşhis arasında tercih yaptı. Inception v3 toplam 125 lezyonda doğru tanı koyarken, GPT-6 Astra 84 ve Claude Fable 5.1 ise 85 lezyonu doğru tanımlayabildi. İlk ve ikinci tahminler birlikte değerlendirildiğinde de CNN modeli 173 vakayı bilerek büyük dil modellerinin önüne geçti.
Araştırmacı, büyük dil modellerinin tanı sırasında belirli yanıtlara aşırı eğilim gösterdiğini, GPT-6 Astra'nın 75 vakaya bazal hücreli karsinom tanısı koyduğunu aktardı. WebGPU aracılığıyla doğrudan bir telefon tarayıcısında çalışabilecek kadar hafif olan Inception v3 mimarisinin, gelişmiş ve genel amaçlı dil modellerine kıyasla görsel tıp uzmanlığı gerektiren alanlarda çok daha başarılı sonuçlar verdiği gözlemlendi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.