Pesquisadores do King’s College London (KCL) e da Association of Clinical Psychologists UK (ACP) alertaram que o ChatGPT pode fornecer respostas inadequadas a pessoas enfrentando crises emocionais. O estudo, focado na versão gratuita do chatbot, revelaram falhas na identificação de comportamentos de risco em interações que envolviam delírios, risco de autolesão ou sintomas graves.
Falhas no reconhecimento de sinais de risco
A pesquisa simulou perfis psicológicos variados, incluindo um adolescente suicida e uma pessoa com delírios, e constatou que o ChatGPT não contesta frequentemente afirmações graves nem desestimula comportamentos prejudiciais. Um exemplo alarmante incluía um usuário convencido de ser 'o próximo Einstein', cujo discurso delirante foi encorajado pelo chatbot, que elogiou suas afirmações sem oferecer alertas adequados.
Em um caso que envolveu uma intenção de 'purificação' através do fogo, o ChatGPT apenas recomendou ajuda após uma declaração ainda mais extrema, demonstrando a sua incapacidade de reconhecer sinais de alerta precoce e de intervir de forma adequada.
Orientações adequadas, mas inconsistentes
Embora o estudo tenha evidenciado falhas significativas, também foram encontrados momentos em que o ChatGPT ofereceu orientações corretas, especialmente em cenários menos complexos, como problemas relacionados ao estresse diário. Os pesquisadores, no entanto, enfatizaram que essas respostas positivas não substituem a necessidade de avaliação clínica profissional.
Entre os pontos destacados, os especialistas ressaltaram que o chatbot pode reforçar delírios, apresentar dificuldade em identificar psicose e proporcionar mensagens de encorajamento inadequadas. Eles também destacaram que apenas profissionais de saúde mental estão capacitados para lidar com situações de risco.
Recomendações e regulamentações
Representantes da Royal College of Psychiatrists e da ACP pedem regulamentações mais rigorosas para o uso de IA em contextos relacionados à saúde mental, visando garantir a segurança dos usuários. Em resposta às críticas, a OpenAI anunciou que está aprimorando suas ferramentas para detecção de sofrimento emocional e que continuará a colaborar com especialistas para minimizar riscos e melhorar a experiência do usuário.
