A OpenAI lançou um modelo de linguagem grande (LLM) experimental que promete transformar a forma como pesquisadores compreendem o funcionamento interno das redes neurais. O protótipo, que busca oferecer maior transparência, foi desenvolvido com o objetivo de permitir que cientistas entendam como as decisões são tomadas em um contexto onde os modelos frequentemente operam como "caixas-pretas".
Esse novo modelo utiliza a arquitetura denominada weight-sparse transformer, que se diferencia das redes densas utilizadas em modelos tradicionais. Ao limitar o número de conexões entre os neurônios, a nova abordagem possibilita uma organização mais clara dos conceitos, permitindo a atribuição de funções específicas a grupos de neurônios, algo que se mostrava desafiador nas versões anteriores.
A iniciativa foi elogiada por especialistas como Elisenda Grigsby, do Boston College, que apontaram o modelo como um passo promissor. A proposta não visa competir com LLMs como GPT-5 ou Gemini, mas sim agregar conhecimento ao campo da interpretabilidade mecanicista, que tenta desvendar os mecanismos subjacentes aos modelos de linguagem.
Entre os experimentos realizados com o modelo, foi possível completar tarefas simples de maneira mais compreensível, revelando a lógica utilizada pela rede. Os pesquisadores identificaram circuitos internos que operam com algoritmos que ecoam procedimentos que um humano poderia aplicar manualmente, mas que foram totalmente aprendidos pela máquina durante o treinamento.
A OpenAI destaca que, embora o modelo seja mais lento e tenha desempenho inferior ao de versões comerciais, a expectativa é que esse trabalho possa evoluir e, no futuro, possibilitar a criação de um LLM totalmente interpretável no nível do GPT-3. Essa capacidade de análise poderá viabilizar um maior controle e segurança na aplicação de sistemas de inteligência artificial em contextos críticos.
