OpenAI publicou um estudo que explica por que modelos de linguagem ainda cometem as chamadas alucinações — respostas falsas, mas plausíveis. O problema foi relacionado principalmente às formas de treino e de avaliação, e gerou debate internacional, incluindo repercussão no Brasil e na Bahia.
O que o estudo mostrou
Os autores trouxeram exemplos concretos. Perguntado sobre a tese de doutorado de Adam Tauman Kalai, o chatbot deu três respostas diferentes e erradas. Ao ser questionado sobre a data de nascimento do pesquisador, citou igualmente três datas distintas, nenhuma correta. Situações assim mostram como um mesmo sistema pode oferecer versões conflitantes de um mesmo fato.
Por que isso acontece
Segundo o estudo, parte do problema vem das métricas e dos testes usados para avaliar os modelos. Como esses critérios recompensam respostas corretas, os modelos acabam preferindo arriscar um palpite em vez de admitir incerteza. Um exemplo simples: se o modelo arrisca 10 de setembro como data de aniversário, há uma chance em 365 de estar certo; dizer que não sabe normalmente não rende pontos.
Se o modelo arrisca 10 de setembro como data de aniversário, há uma chance em 365 de estar certo. Já dizer não sei garante zero pontos.
Do ponto de vista técnico, isso tem origem no treinamento inicial: os modelos foram treinados para prever a próxima palavra em grandes volumes de texto, sem exemplos rotulados como verdadeiros ou falsos. Isso dificulta separar afirmações válidas de inválidas, especialmente quando se trata de fatos raros ou aleatórios, como datas de nascimento.
O que os pesquisadores propõem
Como caminhos para reduzir as alucinações, o relatório recomenda mudanças nas avaliações e nos incentivos. Entre as propostas estão:
- penalizar mais os erros dados com confiança do que a própria incerteza;
- dar crédito parcial a respostas que expressem dúvida de forma adequada;
- adotar métricas similares às de algumas provas padronizadas, que desestimulam o chute.
O estudo também contrapõe a ideia de que alucinações sejam inevitáveis ou que só modelos maiores possam evitá‑las. Em alguns casos, modelos menores reconhecem melhor seus próprios limites.
Nossos modelos mais recentes têm taxas menores de alucinação e seguimos trabalhando para reduzir ainda mais os erros confiantes.
O relatório conclui que reduzir as alucinações pode passar menos por aumentar capacidade computacional e mais por revisar como os modelos são avaliados e recompensados durante o desenvolvimento. Em outras palavras: ajustar as regras do jogo pode ser tão importante quanto aumentar a potência da máquina.
