Pesquisadores da Universidade de Zurique revelaram que os grandes modelos de linguagem (LLMs) podem ser tendenciosos ao conhecer a origem do texto que analisam. O estudo, publicado na Science Advances, avaliou quatro LLMs de destaque—OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 e Mistral—em temas polêmicos como vacinação, geopolítica e mudança climática.
Os pesquisadores realizaram testes com as IAs, criando 50 declarações sobre esses temas, que foram então avaliadas em diferentes condições, com ou sem informações sobre a autoria. A concordância entre os modelos foi superior a 90% quando a identidade do autor era desconhecida. Segundo Giovanni Spitale, coautor do estudo, isso indica que não há um conflito ideológico real entre as IAs: “O perigo do nacionalismo da IA está sendo superestimado na mídia”.
No entanto, ao serem apresentados a fontes fictícias, a concordância entre os modelos caiu drasticamente. Um exemplo alarmante constatou que textos atribuídos a autores chineses reduziriam a concordância em até 75%, revelando um viés antichinês presente até mesmo no modelo Deepseek, desenvolvido na China.
Além disso, os LLMs mostraram uma tendência de disponibilidade e confiança maior em autores humanos do que em outros modelos de IA, o que ressalta a influência da identidade do autor na avaliação do conteúdo. Spitale destacou a importância de se considerar essa desconfiança intrínseca ao abordar a utilização das IAs.
Para combater essa tendência, os pesquisadores sugerem práticas como ocultar a identidade do autor durante as avaliações, realizar testes sob diferentes ângulos e sempre envolver uma análise humana no processo de julgamento. Federico Germani, coautor do estudo, afirmou que, sem transparência e governança, as IAs podem perpetuar vieses humanos prejudiciais.