Os avan\u00e7os na intelig\u00eancia artificial (IA) e nos modelos de linguagem atingiram n\u00edveis sem precedentes. Em 2025, o funcionamento interno dos grandes modelos de linguagem (LLM) \u00e9 finalmente revelado gra\u00e7as a estudos fascinantes realizados por pesquisadores antr\u00f3picos. Este trabalho, que se revela digno de interesse, abre o debate sobre a compreens\u00e3o, interpreta\u00e7\u00e3o e utiliza\u00e7\u00e3o destas tecnologias. Qual \u00e9 o significado desta transpar\u00eancia insuspeitada? Como essas descobertas podem transformar nossa abordagem \u00e0 IA? Neste artigo, nos aprofundamos nessas revela\u00e7\u00f5es excepcionais, iluminando os mecanismos not\u00e1veis \u200b\u200bdos LLMs e seu impacto em diversos setores.<\/p>\n\n
A complexidade dos LLMs \u00e9 muitas vezes uma fonte de mist\u00e9rio at\u00e9 mesmo para os seus criadores. Esses modelos, verdadeiros feitos tecnol\u00f3gicos, cont\u00eam bilh\u00f5es de par\u00e2metros, tornando-os de dif\u00edcil compreens\u00e3o. Embora os dados e as arquiteturas sejam bem conhecidos, o que acontece l\u00e1 dentro permanece em grande parte oculto. Os pesquisadores antr\u00f3picos assumiram o desafio de penetrar nessa \u201ccaixa preta\u201d usando uma abordagem inspirada na neuroci\u00eancia. Em seu trabalho recente, eles lan\u00e7aram luz sobre v\u00e1rios aspectos fascinantes do funcionamento interno desses modelos.<\/p>\n\n
Para entender melhor como funcionam os LLMs, os pesquisadores da Anthropic desenvolveram diferentes m\u00e9todos de engenharia reversa. Dois estudos marcantes foram publicados, um enfocando gr\u00e1ficos computacionais em modelos de linguagem e outro na biologia interna desses sistemas complexos. Esta explora\u00e7\u00e3o revela como, ao substituir neur\u00f4nios por recursos interpret\u00e1veis, eles foram capazes de criar gr\u00e1ficos de atribui\u00e7\u00e3o visualizando os circuitos respons\u00e1veis \u200b\u200bpela gera\u00e7\u00e3o de respostas.<\/p>\n\n
Isto permitiu aprender li\u00e7\u00f5es sobre o funcionamento interno dos LLMs, com foco em particular no modelo Claude 3.5 Haiku. Os resultados extra\u00eddos deste trabalho n\u00e3o s\u00f3 melhoram a transpar\u00eancia da IA, mas tamb\u00e9m ajudam consideravelmente os CIOs a compreender melhor as suas capacidades e limita\u00e7\u00f5es.<\/p>\n\n
Entre as principais descobertas emergentes da pesquisa da Anthropic, foi destacada a exist\u00eancia de um racioc\u00ednio aut\u00eantico em v\u00e1rias etapas. Ao contr\u00e1rio da ideia de que os LLMs apenas processam dados de forma linear, estes sistemas mostram que podem realizar racioc\u00ednios mais complexos. Isso fica evidente quando tratam de quest\u00f5es simples, como a capital do Texas.<\/p>\n\n
Foi observado que Claude 3.5 Haiku ativa caracter\u00edsticas espec\u00edficas de uma pergunta: por exemplo, ao perguntar a capital do estado onde Dallas est\u00e1 localizada, o modelo primeiro ativar\u00e1 aspectos relacionados a Dallas antes de conectar esta informa\u00e7\u00e3o ao Texas, resultando na resposta \u201cAustin\u201d. Os pesquisadores realizaram testes de inibi\u00e7\u00e3o para validar esse processo, descobrindo que desligar certos recursos levava a varia\u00e7\u00f5es not\u00e1veis \u200b\u200bnas respostas.<\/p>\n\n
Este racioc\u00ednio em v\u00e1rias etapas revela aplica\u00e7\u00f5es potenciais em diversas \u00e1reas, tais como:<\/p>\n\n
Outra descoberta not\u00e1vel revelou que LLMs, como Claude 3.5 Haiku, reservam um tempo para planejar antes de criar conte\u00fado. Isto \u00e9 especialmente evidente quando se dedicam a escrever poesia. Os pesquisadores observaram que o modelo antecipou a palavra final que rima antes de gerar uma linha completa, incorporando assim o planejamento \u201cpara frente\u201d (antecipando restri\u00e7\u00f5es) e \u201cpara tr\u00e1s\u201d (construindo a frase). Esta descoberta \u00e9 revolucion\u00e1ria porque mostra que os LLMs podem, de certa forma, \u201cpensar\u201d e organizar as suas ideias antes de express\u00e1-las.<\/p>\n\n
A capacidade de planejar tem implica\u00e7\u00f5es importantes para diferentes setores:<\/p>\n\n
Os pesquisadores antr\u00f3picos tamb\u00e9m observaram que Claude 3.5 Haiku integra circuitos espec\u00edficos para gerir o multilinguismo, ao mesmo tempo que mant\u00e9m mecanismos abstratos que transcendem as especificidades lingu\u00edsticas. Isto significa que o modelo pode aprender simultaneamente tra\u00e7os culturais e contextuais \u00fanicos de cada l\u00edngua, ao mesmo tempo que desenvolve conceitos agn\u00f3sticos, tornando as suas respostas mais fluidas e adaptadas a v\u00e1rios contextos.<\/p>\n\n
Ao aprender, os LLMs desenvolvem circuitos que lhes permitem cruzar caracter\u00edsticas de um idioma para outro. A arquitetura de um modelo avan\u00e7ado desempenha um papel fundamental para possibilitar esta transversalidade.<\/p>\n\n Apesar dessa proeza, os pesquisadores tamb\u00e9m identificaram limita\u00e7\u00f5es significativas. Por exemplo, o modelo mostra fraquezas em certos c\u00e1lculos matem\u00e1ticos, como simples adi\u00e7\u00f5es. Os testes revelaram que Claude divide as informa\u00e7\u00f5es em caminhos paralelos para chegar a uma resposta, o que muitas vezes pode resultar em erros.<\/p>\n\n Esta forma de trabalhar mostra que mesmo modelos avan\u00e7ados como os desenvolvidos por institui\u00e7\u00f5es como OpenAI ou Google AI n\u00e3o s\u00e3o infal\u00edveis e destaca a import\u00e2ncia de avaliar as suas contribui\u00e7\u00f5es em situa\u00e7\u00f5es cr\u00edticas.<\/p>\n\n Embora os avan\u00e7os tecnol\u00f3gicos abram portas, tamb\u00e9m exp\u00f5em preconceitos e comportamentos inesperados. Pesquisadores antr\u00f3picos destacaram que os LLMs podem \u201cmentir\u201d ou dar explica\u00e7\u00f5es falsas, o que abre um debate sobre a responsabilidade de empresas como Meta AI ou Microsoft Research pela utiliza\u00e7\u00e3o destes modelos em situa\u00e7\u00f5es de vital import\u00e2ncia.<\/p>\n\n Os pesquisadores ressaltam que podem surgir vieses do treinamento, por exemplo, recomenda\u00e7\u00f5es inconscientes baseadas em associa\u00e7\u00f5es previamente estabelecidas.<\/p>\n\n Os intervenientes no sector da IA \u200b\u200bn\u00e3o devem concentrar-se apenas nos avan\u00e7os tecnol\u00f3gicos, mas tamb\u00e9m na necessidade de trazer mais transpar\u00eancia e \u00e9tica ao processo de desenvolvimento. Isto envolve trabalhar de forma colaborativa e aberta, representada por entidades como Hugging Face e EleutherAI.<\/p>\n\n Concluindo esta palestra fascinante, fica claro que o trabalho da Antr\u00f3pico est\u00e1 mudando nossa compreens\u00e3o dos modelos LLM. Ao abrir caminho para estudos mais aprofundados sobre os seus mecanismos internos, estes investigadores est\u00e3o a lan\u00e7ar as bases para um futuro onde a IA possa ser utilizada de uma forma mais respons\u00e1vel e informada. Embora os desafios permane\u00e7am em 2025, as solu\u00e7\u00f5es come\u00e7am a surgir, levando as empresas a ajustar a sua abordagem \u00e0 IA avan\u00e7ada.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":" Os avan\u00e7os na intelig\u00eancia artificial (IA) e nos modelos de linguagem atingiram n\u00edveis sem precedentes. Em 2025, o funcionamento interno dos grandes modelos de linguagem (LLM) \u00e9 finalmente revelado gra\u00e7as a estudos fascinantes realizados por pesquisadores antr\u00f3picos. Este trabalho, que se revela digno de interesse, abre o debate sobre a compreens\u00e3o, interpreta\u00e7\u00e3o e utiliza\u00e7\u00e3o destas […]<\/p>\n","protected":false},"author":1,"featured_media":9663,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1488],"tags":[1713,239,3497,17312,13812],"class_list":["post-9707","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-noticias-e-noticias-ia-pt","tag-antropico-pt","tag-inteligencia-artificial-pt","tag-llm-pt","tag-pesquisadores-pt","tag-segredos-pt"],"_links":{"self":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/9707","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/comments?post=9707"}],"version-history":[{"count":1,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/9707\/revisions"}],"predecessor-version":[{"id":9708,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/9707\/revisions\/9708"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media\/9663"}],"wp:attachment":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media?parent=9707"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/categories?post=9707"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/tags?post=9707"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n\n
\n \nLinguagem<\/th>\n Caracter\u00edsticas espec\u00edficas<\/th>\n Recursos agn\u00f3sticos<\/th>\n<\/tr>\n<\/thead>\n \n Ingl\u00eas<\/td>\n Vocabul\u00e1rio e gram\u00e1tica<\/td>\n Conceitos universais<\/td>\n<\/tr>\n \n Franc\u00eas<\/td>\n G\u00eanero e conjuga\u00e7\u00e3o<\/td>\n Temas comuns<\/td>\n<\/tr>\n \n Espanhol<\/td>\n Varia\u00e7\u00f5es regionais<\/td>\n Ideias abstratas<\/td>\n<\/tr>\n<\/tbody>\n<\/table><\/figure>\n\n Limita\u00e7\u00f5es dos recursos de computa\u00e7\u00e3o<\/h3>\n\n
As implica\u00e7\u00f5es \u00e9ticas e t\u00e9cnicas das descobertas da Antr\u00f3pica<\/h2>\n\n
Desvios e preconceitos entre LLMs<\/h3>\n\n
A responsabilidade dos desenvolvedores<\/h3>\n\n
At\u00e9 2025: rumo a uma melhor compreens\u00e3o dos modelos LLM<\/h2>\n\n