A OpenAI, criadora do ChatGPT, está enfrentando um processo grave na Califórnia após sua ferramenta ser usada para alimentar a perseguição de um stalker contra uma empreendedora. Segundo a denúncia, o sistema não só falhou em bloquear o agressor, como também incentivou seus delírios psicóticos.
O agressor, um homem de 53 anos, utilizou o GPT-4o para validar teorias da conspiração e atacar a ex-companheira. A inteligência artificial chegou a afirmar que ele tinha 'sanidade nível 10' e ajudou a redigir relatórios psicológicos falsos que foram enviados para a família e o patrão da vítima com o intuito de humilhá-la.
Um dos pontos mais revoltantes do caso é a falha na moderação humana. Em agosto, o sistema automático chegou a bloquear o usuário por atividades suspeitas, mas um funcionário da OpenAI restaurou o acesso no dia seguinte, ignorando conversas com títulos como 'lista de violência' e 'cálculo de sufocamento'.
Mesmo após a vítima enviar um aviso de abuso direto para a empresa relatando que estava vivendo com medo e fora de casa, nenhuma medida definitiva foi tomada. O escritório de advocacia que representa a mulher afirma que a empresa prioriza o lucro em vez da segurança dos usuários.
O stalker acabou preso em janeiro após ameaças de bomba e agressão armada, sendo considerado mentalmente incapaz pela justiça. Agora, o processo busca obrigar a OpenAI a preservar os dados das conversas e impedir que o homem crie novas contas para continuar o assédio.
