OpenAI'ın sınırlı bir kitleye sunduğu ve kullanıcıların tıbbi kayıtlarını bağlayarak sağlık tavsiyeleri almasını sağlayan ChatGPT Health özelliği, yapılan bağımsız bir güvenlik değerlendirmesinde ciddi eksiklikler gösterdi. Nature Medicine dergisinde yayımlanan bu ilk çalışma, ChatGPT Health'in tıbbi acil durumları ve intihar düşüncelerini sıklıkla gözden kaçırdığını ortaya koydu. Uzmanlar, bu durumun "gereksiz zararlara ve ölümlere yol açabileceği" konusunda uyarıyor. Her gün 40 milyondan fazla kişinin ChatGPT'den sağlıkla ilgili tavsiye aldığı bildiriliyor.
Dr. Ashwin Ramaswamy ve ekibi, 60 gerçekçi hasta senaryosu oluşturarak ChatGPT Health'in tavsiyelerini üç bağımsız doktorun değerlendirmeleriyle karşılaştırdı. Platform, inme gibi "ders kitabı" acil durumlarda iyi performans gösterirken, diğer durumlarda zorlandı. Örneğin, astım senaryosunda solunum yetmezliği belirtilerine rağmen acil tedavi yerine beklemeyi tavsiye etti. Acilen hastaneye gitmesi gereken vakaların %51,6'sında platformun evde kalmayı veya rutin bir randevu almayı önerdiği görüldü.
University College London'dan Alex Ruani, bu durumu "inanılmaz derecede tehlikeli" olarak nitelendirdi. Ruani, "Solunum yetmezliği veya diyabetik ketoasidoz yaşıyorsanız, bu yapay zekanın size bunun önemli olmadığını söyleme şansı %50'dir" dedi. Bir simülasyonda, boğulan bir kadının %84 oranında yaşayamayacağı gelecekteki bir randevuya yönlendirildiği belirtildi. Ayrıca, platformun, bir "arkadaşının" semptomların ciddi olmadığını söylediği durumlarda belirtileri küçümseme olasılığının neredeyse 12 kat daha fazla olduğu tespit edildi, bu da yanlış bilgiye karşı savunmasızlığını gösteriyor.
ChatGPT Health gibi yapay zeka destekli sağlık araçlarının, yanlış yönlendirmelerle insan hayatını riske atabilecek ciddi güvenlik açıkları barındırdığı ve bu teknolojilerin tıbbi alanda kullanımı için kapsamlı testler ve düzenlemeler gerektiğini gösteriyor.