A OpenAI, dona do ChatGPT, está testando um novo sistema para identificar usuários que demonstram sinais de extremismo violento, automutilação ou transtornos alimentares. A ideia é que, ao detectar o perigo, a inteligência artificial encaminhe a pessoa diretamente para serviços de apoio especializados.
O projeto é uma parceria com a startup ThroughLine, da Nova Zelândia, que já trabalha com gigantes como Google e Anthropic. O sistema funciona de forma híbrida: o robô identifica o comportamento de risco e conecta o usuário a uma rede que conta com mais de 1.600 linhas de ajuda em 180 países.
A iniciativa ganha força após empresas de tecnologia sofrerem pressão por falhas na segurança. Recentemente, a OpenAI foi questionada pelo governo do Canadá após um autor de ataque escolar ser banido da plataforma sem que as autoridades fossem avisadas sobre o risco que ele representava.
Diferente de outros sistemas, essa ferramenta não usa apenas dados comuns da internet, mas orientações de especialistas em saúde mental e segurança. O objetivo é evitar que o usuário seja apenas bloqueado e fique sem assistência, o que poderia agravar a situação.
Ainda não há uma data oficial para que o recurso chegue a todos os usuários, mas os testes já incluem conversas sobre prevenção ao ódio online. O sistema também poderá ser usado por pais e moderadores de fóruns de jogos para monitorar comportamentos suspeitos.
Especialistas alertam que o sucesso da medida depende da qualidade do atendimento humano que será oferecido após o alerta da IA. O desafio é garantir que a pessoa receba ajuda real em vez de simplesmente migrar para aplicativos sem nenhuma fiscalização.
