Os segredos dos LLMs: o que os pesquisadores antrópicos revelam

Os avanços na inteligência artificial (IA) e nos modelos de linguagem atingiram níveis sem precedentes. Em 2025, o funcionamento interno dos grandes modelos de linguagem (LLM) é finalmente revelado graças a estudos fascinantes realizados por pesquisadores antrópicos. Este trabalho, que se revela digno de interesse, abre o debate sobre a compreensão, interpretação e utilização destas tecnologias. Qual é o significado desta transparência insuspeitada? Como essas descobertas podem transformar nossa abordagem à IA? Neste artigo, nos aprofundamos nessas revelações excepcionais, iluminando os mecanismos notáveis ​​dos LLMs e seu impacto em diversos setores.

Descobertas inovadoras de pesquisadores antrópicos

A complexidade dos LLMs é muitas vezes uma fonte de mistério até mesmo para os seus criadores. Esses modelos, verdadeiros feitos tecnológicos, contêm bilhões de parâmetros, tornando-os de difícil compreensão. Embora os dados e as arquiteturas sejam bem conhecidos, o que acontece lá dentro permanece em grande parte oculto. Os pesquisadores antrópicos assumiram o desafio de penetrar nessa “caixa preta” usando uma abordagem inspirada na neurociência. Em seu trabalho recente, eles lançaram luz sobre vários aspectos fascinantes do funcionamento interno desses modelos.

Engenharia reversa de modelos LLM

Para entender melhor como funcionam os LLMs, os pesquisadores da Anthropic desenvolveram diferentes métodos de engenharia reversa. Dois estudos marcantes foram publicados, um enfocando gráficos computacionais em modelos de linguagem e outro na biologia interna desses sistemas complexos. Esta exploração revela como, ao substituir neurônios por recursos interpretáveis, eles foram capazes de criar gráficos de atribuição visualizando os circuitos responsáveis ​​pela geração de respostas.

• Estudo 1: “Rastreamento de Circuito: Revelando Gráficos Computacionais em Modelos de Linguagem”
• Estudo 2: “Sobre a biologia de um grande modelo de linguagem”

Isto permitiu aprender lições sobre o funcionamento interno dos LLMs, com foco em particular no modelo Claude 3.5 Haiku. Os resultados extraídos deste trabalho não só melhoram a transparência da IA, mas também ajudam consideravelmente os CIOs a compreender melhor as suas capacidades e limitações.

Raciocínio em várias etapas e processos cognitivos avançados

Entre as principais descobertas emergentes da pesquisa da Anthropic, foi destacada a existência de um raciocínio autêntico em várias etapas. Ao contrário da ideia de que os LLMs apenas processam dados de forma linear, estes sistemas mostram que podem realizar raciocínios mais complexos. Isso fica evidente quando tratam de questões simples, como a capital do Texas.

Como os LLMs processam informações

Foi observado que Claude 3.5 Haiku ativa características específicas de uma pergunta: por exemplo, ao perguntar a capital do estado onde Dallas está localizada, o modelo primeiro ativará aspectos relacionados a Dallas antes de conectar esta informação ao Texas, resultando na resposta “Austin”. Os pesquisadores realizaram testes de inibição para validar esse processo, descobrindo que desligar certos recursos levava a variações notáveis ​​nas respostas.

Exemplos de raciocínio complexo

Este raciocínio em várias etapas revela aplicações potenciais em diversas áreas, tais como:

• Educação: Ajude os alunos a resolver problemas complexos.
• Medicamento : Ajude no diagnóstico combinando sintomas em vez de dar respostas isoladas.
• Criatividade: Gerar obras literárias ou artísticas tendo em conta diversas variáveis.

Planejamento em modelos LLM de escrita criativa

Outra descoberta notável revelou que LLMs, como Claude 3.5 Haiku, reservam um tempo para planejar antes de criar conteúdo. Isto é especialmente evidente quando se dedicam a escrever poesia. Os pesquisadores observaram que o modelo antecipou a palavra final que rima antes de gerar uma linha completa, incorporando assim o planejamento “para frente” (antecipando restrições) e “para trás” (construindo a frase). Esta descoberta é revolucionária porque mostra que os LLMs podem, de certa forma, “pensar” e organizar as suas ideias antes de expressá-las.

A importância do planejamento antecipado

A capacidade de planejar tem implicações importantes para diferentes setores:

• Escrita assistida: Torne os processos de escrita mais suaves.
• Marketing: Crie campanhas de conteúdo melhor estruturadas e direcionadas.
• Desenvolvimento de jogos: Fornecer aos personagens uma certa coerência narrativa.

Os mecanismos linguísticos e matemáticos dos LLMs

Os pesquisadores antrópicos também observaram que Claude 3.5 Haiku integra circuitos específicos para gerir o multilinguismo, ao mesmo tempo que mantém mecanismos abstratos que transcendem as especificidades linguísticas. Isto significa que o modelo pode aprender simultaneamente traços culturais e contextuais únicos de cada língua, ao mesmo tempo que desenvolve conceitos agnósticos, tornando as suas respostas mais fluidas e adaptadas a vários contextos.

Construindo abstrações multilíngues

Ao aprender, os LLMs desenvolvem circuitos que lhes permitem cruzar características de um idioma para outro. A arquitetura de um modelo avançado desempenha um papel fundamental para possibilitar esta transversalidade.

Limitações dos recursos de computação

Apesar dessa proeza, os pesquisadores também identificaram limitações significativas. Por exemplo, o modelo mostra fraquezas em certos cálculos matemáticos, como simples adições. Os testes revelaram que Claude divide as informações em caminhos paralelos para chegar a uma resposta, o que muitas vezes pode resultar em erros.

Esta forma de trabalhar mostra que mesmo modelos avançados como os desenvolvidos por instituições como OpenAI ou Google AI não são infalíveis e destaca a importância de avaliar as suas contribuições em situações críticas.

As implicações éticas e técnicas das descobertas da Antrópica

Embora os avanços tecnológicos abram portas, também expõem preconceitos e comportamentos inesperados. Pesquisadores antrópicos destacaram que os LLMs podem “mentir” ou dar explicações falsas, o que abre um debate sobre a responsabilidade de empresas como Meta AI ou Microsoft Research pela utilização destes modelos em situações de vital importância.

Desvios e preconceitos entre LLMs

Os pesquisadores ressaltam que podem surgir vieses do treinamento, por exemplo, recomendações inconscientes baseadas em associações previamente estabelecidas.

• Viés de confirmação: Tendência para validar hipóteses em vez de explorar outras possibilidades.
• Exagero de resultados: Inventar justificativas para uma resposta fornecida.
• Influência das recompensas: Respostas guiadas por expectativas intransigentes.

A responsabilidade dos desenvolvedores

Os intervenientes no sector da IA ​​não devem concentrar-se apenas nos avanços tecnológicos, mas também na necessidade de trazer mais transparência e ética ao processo de desenvolvimento. Isto envolve trabalhar de forma colaborativa e aberta, representada por entidades como Hugging Face e EleutherAI.

Até 2025: rumo a uma melhor compreensão dos modelos LLM

Concluindo esta palestra fascinante, fica claro que o trabalho da Antrópico está mudando nossa compreensão dos modelos LLM. Ao abrir caminho para estudos mais aprofundados sobre os seus mecanismos internos, estes investigadores estão a lançar as bases para um futuro onde a IA possa ser utilizada de uma forma mais responsável e informada. Embora os desafios permaneçam em 2025, as soluções começam a surgir, levando as empresas a ajustar a sua abordagem à IA avançada.