Nos últimos meses surgiu um problema sério e perturbador: pessoas tentaram usar o ChatGPT para criar dramatizações sexuais que, em alguns casos, incluíam material de abuso sexual infantil nas narrativas. Isso não é só um risco hipotético — há números que mostram a dimensão do problema.
O que os dados mostram?
O Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) registrou um aumento de 1.325% em incidentes envolvendo inteligência artificial generativa. Além disso, a entidade recebeu em média 100 casos por dia relacionados à sextorsão financeira. Desde 2021, segundo dados citados pela empresa, pelo menos 36 adolescentes tiraram a própria vida após serem vítimas de sextorsão.
Como a OpenAI reagiu
A OpenAI diz ter denunciado ao NCMEC usuários que tentaram gerar material de abuso ou exploração infantil e bloqueado essas contas — embora reconheça que alguns contornaram as restrições criando novas contas. A empresa também afirmou que notificou desenvolvedores responsáveis por aplicativos problemáticos e deu chance para correção; quando padrões persistentes continuaram, apps foram banidos.
Para reduzir riscos, a OpenAI implementou novos controles parentais: restringiu o uso de respostas por voz, limitou a criação e edição de imagens e desativou memórias salvas do chatbot. A empresa reforça que seus modelos foram treinados para não gerar resultados nocivos e que usa uma combinação de classificadores contextuais, monitoramento de abuso e revisão humana para evitar respostas que violem os termos de uso.
“É por isso que apoiamos projetos de lei, como a Lei de Prevenção de Material Abusado Sexualmente Infantil no estado de Nova York. Esta legislação garantiria proteção legal clara para denúncias responsáveis, cooperação e ações proativas destinadas a detectar, classificar, monitorar e mitigar conteúdo prejudicial gerado por IA”, afirmou a empresa.
O que está proibido
Atualmente, a OpenAI proíbe o uso de seus serviços para atividades ilícitas relacionadas a menores, entre elas:
- Material de abuso sexual infantil, inclusive gerado por IA;
- Aliciamento de menores e exposição a conteúdo sexual ou violento;
- Promoção de dietas ou exercícios não saudáveis para menores e desafios perigosos;
- Jogos de interpretação de papéis sexuais ou violentos envolvendo menores.
Outras iniciativas e parcerias
No esforço público, o principal órgão de investigação de exploração infantil dos EUA contratou a empresa Hive AI para desenvolver software capaz de distinguir imagens geradas por IA de material que retrata vítimas reais, em parceria com o Centro de Crimes Cibernéticos do Departamento de Segurança Interna. A Hive AI também tem trabalhado com organizações de segurança infantil para criar ferramentas de moderação.
Impacto e o debate público
O aumento desses incidentes gerou pressão por mecanismos de proteção mais robustos. Organizações da sociedade civil pedem ações claras e fiscalização mais dura. O problema já provocou debates e mobilização até em cidades brasileiras, como Paulo Afonso (BA), onde grupos locais viram na questão um sinal da necessidade de regulamentação nacional.
Como resposta, foram apoiados projetos de lei e firmados contratos para desenvolver ferramentas de detecção de conteúdo gerado por IA — medidas que fazem parte da resposta combinada do setor público e privado.
Em suma, os dados mostram um problema real e complexo: é preciso tecnologia, políticas públicas e cooperação entre empresas, governos e organizações para proteger crianças e adolescentes. A conversa e as medidas estão em andamento, porque a prevenção exige ação rápida e contínua.
