Google, The Guardian'ın yaptığı bir araştırmanın yanlış ve yanıltıcı bilgilerin insanları riske attığını ortaya koymasının ardından, yapay zeka destekli AI Overviews sağlık özetlerinin bir kısmını kaldırdı. Gazete, Google'ın üretken yapay zeka özelliğinin arama sonuçlarının en üstünde yanlış sağlık bilgileri sunduğunu ve potansiyel olarak ciddi hastaların yanlışlıkla sağlıklı oldukları sonucuna varmalarına neden olabileceğini tespit etti. Uzmanlar tarafından tehlikeli olarak işaretlenen "karaciğer kan testleri için normal aralık nedir" gibi belirli sorgular devre dışı bırakıldı. Raporda ayrıca, pankreas kanseriyle ilgili olarak yapay zekanın hastaların yüksek yağlı yiyeceklerden kaçınmasını önermesi gibi, standart tıbbi rehberlikle çelişen ve hasta sağlığını tehlikeye atabilecek hatalar da vurgulandı. Google, diğer potansiyel zararlı cevapları bırakarak sadece karaciğer testi sorgularını devre dışı bıraktı.
Araştırma, karaciğer testi normlarını aramanın, temel bağlamdan yoksun ham veri tabloları ürettiğini ve bu rakamları yaş, cinsiyet gibi hasta demografik özelliklerine göre ayarlayamadığını gösterdi. Uzmanlar, yapay zeka modelinin "normal" tanımının tıbbi standartlardan farklı olması nedeniyle, ciddi karaciğer rahatsızlığı olan hastaların yanlışlıkla sağlıklı olduklarına inanıp gerekli bakımları atlayabileceği konusunda uyardı. British Liver Trust'tan Vanessa Hebditch, karaciğer fonksiyon testlerinin karmaşık olduğunu ve AI Overviews'in, ciddi karaciğer hastalığı olan bir kişinin normal sonuçlar alabileceği ancak yine de tıbbi bakıma ihtiyaç duyabileceği konusunda uyarıda bulunmadığını belirtti. Google ise, AI Overviews'in kalitesine yatırım yaptığını ve çoğu bilginin doğru olduğunu savunarak, dahili klinik uzman ekibinin incelemelerinde birçok bilginin yanlış olmadığını ve yüksek kaliteli web siteleri tarafından desteklendiğini ifade etti.
Yapay zeka destekli sağlık bilgilerinin yanlış veya eksik olması, hastaların yanlış teşhis veya tedaviye yönelerek ciddi sağlık riskleriyle karşı karşıya kalmasına neden olabilir.