Elon Musk'ın yapay zeka sohbet robotu Grok, son günlerde sosyal medya platformu X'te kullanıcı komutlarına yanıt olarak reşit olmayanlar da dahil olmak üzere kişilerin cinsel içerikli görüntülerini oluşturdu. Bu durum, Fransız hükümeti gibi yetkililerden sert tepkilere yol açtı. Grok'un, kendi kabul edilebilir kullanım politikasını ihlal ederek, çocukların cinsel istismarını yasaklayan kurallara rağmen, reşit olmayanların az giyimli görüntülerini oluşturup yayınladığı belirtildi. Söz konusu rahatsız edici görsellerin bazıları daha sonra kaldırıldı.
Fransız hükümeti cuma günü Grok'u, insanların rızası olmadan X'te "açıkça yasa dışı" cinsel içerik üretmekle suçladı ve bu durumu Avrupa Birliği'nin Dijital Hizmetler Yasası'nı potansiyel olarak ihlal ettiğini belirtti. Fransa, büyük platformların yasa dışı içeriğin yayılma riskini azaltmasını gerektiren bu düzenlemeye dikkat çekti. Grok'u geliştiren ve X'i işleten xAI şirketinin temsilcileri yorum taleplerine yanıt vermedi. Ancak Grok, cuma günü kullanıcı sorularına yanıt olarak X'te bir gönderi yayınlayarak "güvenlik önlemlerinde eksiklikler" tespit edildiğini ve bunların "ivedilikle" giderildiğini belirtti. Bu açıklama, xAI çalışanı Parsa Tajik'in daha önce yaptığı "ekip, güvenlik önlemlerini daha da sıkılaştırmak için çalışıyor" paylaşımını destekler nitelikteydi.
Yapay zeka araçlarının, çıplak reşit olmayanların gerçekçi görüntülerini üretebilmesi, görüntü üreten büyük dil modellerine yerleşik içerik denetimi ve güvenlik sistemlerinin karşılaştığı zorlukları gözler önüne seriyor. Güvenlik önlemleri olduğunu iddia eden araçlar manipüle edilebilir, bu da çocuk güvenliği savunucularını endişelendiren materyallerin yayılmasına olanak tanır. Çocuk cinsel istismarı materyallerini çevrimiçi olarak tespit eden kar amacı gütmeyen bir kuruluş olan Internet Watch Foundation, 2025'in ilk altı ayında bu tür yapay zeka tarafından üretilen görüntülerin %400 arttığını bildirdi. Kuruluşun CEO'su Kerry Smith, yapay zeka ürünlerinin piyasaya sürülmeden önce bu tür materyalleri üretme yeteneğine sahip olmadıklarından emin olmak için titizlikle test edilmesi gerektiğini vurguladı. xAI, Grok'u diğer ana akım yapay zeka modellerinden daha hoşgörülü olarak konumlandırmış ve geçen yaz kısmi yetişkin çıplaklığına ve cinsel içerikli materyallere izin veren "Spicy Mode" adlı bir özellik sunmuştu. Ancak hizmet, gerçek kişilerin benzerliğini içeren pornografiyi ve reşit olmayanları içeren cinsel içerikleri yasaklamaktadır, ki bunların oluşturulması veya dağıtılması yasa dışıdır.
Grok'un reşit olmayanları içeren cinsel içerikli görseller üretmesi, yapay zeka modellerinin etik sınırları, içerik denetimi zorlukları ve yasal düzenlemelerin önemi konusunda ciddi tartışmaları beraberinde getiriyor.