Categories: Notícias

Teoria desafia visão de ‘caixa preta’ da IA e propõe neurônios mais transparentes

Share

Uma nova perspectiva sobre o funcionamento interno da inteligência artificial (IA) acaba de ser apresentada nos Estados Unidos. O pesquisador Nick Cammarata, especialista em interpretabilidade mecanicista e associado ao laboratório Goodfire, além de ex-integrante da OpenAI, divulgou um ensaio científico que sugere uma compreensão direta dos neurônios artificiais em modelos de IA. Essa abordagem, se confirmada, pode ser crucial para desmistificar a “caixa preta” da IA e avançar significativamente no controle e segurança desses sistemas.

A hipótese de Cammarata contrapõe a ideia predominante de que as redes neurais mesclam conceitos de maneira quase indecifrável. Seus testes preliminares indicam que até 90% das estruturas analisadas desempenham uma única função principal, o que as torna potencialmente mais acessíveis à compreensão humana.

Crédito: Mixvale.com.br

Intitulado “Neural Networks Are Already Clean” (Redes Neurais Já São Limpas), o estudo aprofunda-se nos mecanismos computacionais internos que guiam um sistema a gerar suas respostas. No documento publicado pela Goodfire, Cammarata afirmou que “quase toda a rede é interpretável se olharmos de perto o suficiente”, embora ressalte que se trata de uma hipótese de trabalho, não significando ainda um controle total sobre os modelos.

A publicação questiona diretamente os fundamentos da teoria da superposição, uma explicação desenvolvida no campo para descrever como as redes neurais conseguem representar mais características do que o número de neurônios disponíveis permitiria em uma simples correspondência. De acordo com essa visão anterior, para a qual o próprio Cammarata contribuiu no passado, a análise isolada de um neurônio revelaria uma confusa mistura de conceitos distintos, fenômeno conhecido como polissemia, tornando a leitura direta dos circuitos internos extremamente desafiadora para os cientistas.

Em uma revisão apresentada em 15 de outubro de 2026, o autor argumenta que os desafios de interpretação observados em modelos mais antigos resultavam de limitações nas ferramentas de análise da época e de falhas nas arquiteturas estudadas. O pesquisador declarou, em tradução livre, que “a causa da polissemia nos primeiros modelos estudados não era a superposição, mas vários problemas comuns e em grande parte corrigíveis”.

Para ilustrar sua tese, o cientista reavaliou um exemplo clássico do modelo de visão computacional InceptionV1. Nele, um mesmo neurônio artificial era ativado tanto por imagens de rostos de gatos quanto pela parte frontal de automóveis. Em vez de considerar isso como uma fusão aleatória de conceitos, Cammarata propôs que a estrutura identificava uma característica geométrica comum às duas imagens: formas pontiagudas, semelhantes à letra V, em contraste com contornos arredondados.

O ensaio também introduz a noção de generalização recursiva, um termo empregado para explicar como a funcionalidade de um neurônio se expande para casos relacionados durante a fase de treinamento. Em modelos de linguagem, por exemplo, uma unidade que inicialmente responde à sequência de letras “iy” pode passar a ser ativada pela sigla “diy” e, posteriormente, estender seu reconhecimento para a expressão completa em inglês “do it yourself” (faça você mesmo).

Utilizando ferramentas de agentes automatizados, o pesquisador conduziu auditorias preliminares para aferir a proporção de estruturas compreensíveis em sistemas de visão e de linguagem. Esses dados foram também confrontados com levantamentos anteriores do setor.

A divulgação do ensaio gerou avaliações divergentes entre os cientistas dedicados à segurança e ao alinhamento de sistemas de inteligência artificial. Enquanto entusiastas da nova abordagem e pesquisadores como Roon, da OpenAI, consideraram o estudo um possível marco histórico, capaz de remover o principal obstáculo técnico da área, outros especialistas contestaram o alcance prático das conclusões apresentadas pela Goodfire e alertaram para os limites da análise individual de componentes.

Neel Nanda, pesquisador de interpretabilidade mecanicista do Google DeepMind, destacou que ativações sutis dentro da rede ainda podem ocultar informações distribuídas. Ele argumentou que a compreensão de neurônios isolados não comprova que o funcionamento global dos sistemas esteja completamente decifrado. Nanda avaliou, em tradução livre: “Este é um trabalho interessante, mas não acho que seja uma atualização significativa para o quadro geral da interpretabilidade.” O debate também foi acompanhado por analistas do setor, como Dean W. Ball, pesquisador de políticas de inteligência artificial e autor da publicação Hyperdimensional.

O campo da interpretabilidade mecanicista dedica-se a mapear os cálculos internos das redes neurais com o objetivo de prever e prevenir comportamentos indesejados antes que os sistemas sejam acionados. Nos anos que antecederam a publicação da Goodfire, três experimentos foram cruciais para a evolução das tentativas de decifrar o interior dessas arquiteturas.

Em um experimento de 2024, a própria Anthropic já havia registrado que a simples localização de representações internas e o teste de relações de causa e efeito não eram suficientes para explicar todos os cálculos de um modelo, nem garantiam, por si só, a eliminação de riscos de segurança.

A validação das estimativas preliminares de Cammarata, incluindo o índice de 90% registrado no modelo Qwen3-32B, ainda depende de reprodução independente por outros laboratórios científicos. O pesquisador informou que publicará posteriormente um artigo técnico complementar com o detalhamento metodológico dos experimentos em modelos de linguagem até a escala de trilhões de parâmetros, mas a data de divulgação do documento ainda não foi definida.