A inteligência artificial tem sido amplamente celebrada como uma ferramenta revolucionária para simplificar tarefas complexas, incluindo a criação de resumos de textos técnicos. No entanto, um estudo recente conduzido pela Associação Americana para o Avanço da Ciência (AAAS) revela que o ChatGPT Falha em Resumir Artigos Científicos de forma precisa e confiável.
Resumir pesquisas científicas complexas para o público leigo é um dos maiores desafios do jornalismo científico.
Uma investigação recente da Associação Americana para o Avanço da Ciência (AAAS) revelou que o ChatGPT, embora consiga imitar a estrutura de resumos, ainda falha em precisão e profundidade.
De acordo com o estudo, realizado entre dezembro de 2023 e dezembro de 2024, o modelo de linguagem produziu resumos que priorizavam simplicidade em detrimento da exatidão.
Isso levantou preocupações entre jornalistas especializados, já que a clareza e a fidelidade aos dados são essenciais na comunicação científica.
Estudo de Um Ano Testou Limites do ChatGPT
Durante 12 meses, a equipe da AAAS pediu ao ChatGPT para resumir até dois artigos científicos por semana.
Foram selecionados trabalhos com jargões técnicos, descobertas controversas e formatos não convencionais. No total, 64 artigos passaram pelo teste.
Os resultados mostraram que, em média, os resumos gerados obtiveram nota 2,26 em uma escala de 1 a 5 quando avaliados por jornalistas da SciPak, responsáveis por elaborar comunicados para a revista Science.
Além disso, no quesito atratividade, a pontuação foi ainda menor: apenas 2,14.
Metodologia do Estudo da AAAS
Entre dezembro de 2023 e dezembro de 2024, a equipe da AAAS conduziu um experimento abrangente para avaliar a capacidade do ChatGPT em produzir resumos no estilo “SciPak”, um formato específico utilizado pela revista Science e o site EurekAlert.
Seleção e Critérios dos Artigos
Os pesquisadores selecionaram cuidadosamente até dois artigos por semana, focando especificamente em publicações com características desafiadoras:
- Presença de jargões técnicos complexos
- Insights controversos ou polêmicos
- Descobertas inovadoras e pioneiras
- Estudos envolvendo sujeitos humanos
- Formatos não tradicionais de pesquisa
Ferramentas e Versões Utilizadas
O estudo utilizou a versão “Plus” dos modelos GPT mais recentes disponíveis durante o período experimental, abrangendo principalmente as versões GPT-4 e GPT-4o.
Foram aplicados três tipos diferentes de prompts com níveis variados de especificidade para avaliar como diferentes abordagens afetavam a qualidade dos resumos.
Resultados Decepcionantes – ChatGPT Falha em Resumir Artigos Científicos
Entre dezembro de 2023 e dezembro de 2024, os editores do SciPak analisaram 64 resumos produzidos pelo ChatGPT sobre artigos científicos.
Os estudos foram selecionados para avaliação por diferentes motivos, o que gerou sobreposições nos critérios.
Entre os trabalhos revisados, 34 continham terminologia técnica, 7 traziam conclusões polêmicas, 7 abordavam temas sensíveis, 3 apresentavam descobertas inéditas, 15 envolviam participantes humanos, 9 tinham formatos fora do padrão e 13 foram incluídos por outros motivos adicionais.
Vários artigos se enquadravam em mais de uma categoria, por exemplo, um mesmo trabalho podia ter linguagem técnica e envolver seres humanos.
A distribuição por periódico seguiu esse panorama:
Avaliação Quantitativa
O formato do questionário aplicado aos editores passou por ajustes ao longo do tempo para acompanhar atualizações do ChatGPT Plus e permitir respostas mais detalhadas.
Apesar dessas mudanças, duas perguntas principais permaneceram fixas:
- Pergunta 1: “Numa escala de 1 a 5, até que ponto estes resumos se encaixam nos demais resumos do SciPak?” (5 = totalmente; 1 = de forma alguma). → Objetivo: medir de forma global se o ChatGPT Plus reproduz estilo, tom e precisão do SciPak.
- Pergunta 2: “Numa escala de 1 a 5, quão convincentes são esses resumos? Eles mudaram a forma como você enxerga a narrativa do resumo?” (5 = totalmente; 1 = de forma alguma). → Objetivo: avaliar a capacidade do ChatGPT Plus de captar e manter a atenção dos jornalistas.
Resultados Gerais
As respostas forneceram dados numéricos baseados em impressões qualitativas:
- Pergunta 1: média de 2,26 — sem evolução ou queda significativa na capacidade de se alinhar ao estilo do SciPak ao longo do tempo.
- Pergunta 2: média de 2,14 — sem variação perceptível na habilidade de engajar os repórteres.
Detalhamento das Pontuações
- Pergunta 1: análise detalhada dos resultados obtidos.
- Pergunta 2: análise detalhada das avaliações registradas.
Problemas Identificados: Onde o ChatGPT Falhou
Confusão Entre Correlação e Causalidade
Um dos problemas mais sérios identificados pelos avaliadores foi a tendência do ChatGPT de confundir correlação com causalidade.
Esta é uma distinção fundamental na pesquisa científica, e sua confusão pode levar a interpretações errôneas e potencialmente perigosas dos resultados.
Falta de Contexto Adequado
Os redatores observaram que o ChatGPT frequentemente falhava em fornecer contexto essencial para compreender a importância real das descobertas.
Por exemplo, ao discutir atuadores flexíveis, a IA não mencionava que esses dispositivos tendem a ser significativamente mais lentos, informação crucial para avaliar sua aplicabilidade prática.
Tendência ao Exagero e Linguagem Promocional
Outro problema recorrente foi a propensão do ChatGPT a superestimar os resultados, utilizando termos como “inovador” e “revolucionário” de forma excessiva.
Embora este comportamento pudesse ser parcialmente corrigido através de prompts específicos, a tendência natural da IA era em direção a uma linguagem mais promocional do que analítica.
Transcrição vs. Tradução
Competência em Transcrição
O estudo revelou que o ChatGPT demonstrava competência razoável em “transcrever” informações diretamente dos artigos científicos, especialmente quando estes não continham muitas nuances ou complexidades metodológicas.
A IA conseguia reproduzir dados e informações básicas de forma relativamente precisa.
Deficiências na Tradução Científica
No entanto, a ferramenta mostrou-se significativamente deficiente na “tradução” dessas descobertas para um público mais amplo. Esta tarefa mais sofisticada requer:
- Compreensão profunda das metodologias utilizadas
- Identificação de limitações dos estudos
- Contextualização das implicações mais amplas
- Avaliação crítica dos resultados
Dificuldades com Múltiplos Resultados
As limitações se tornavam ainda mais evidentes quando os artigos apresentavam múltiplos resultados divergentes ou quando o ChatGPT era solicitado a sintetizar informações de dois estudos relacionados em um único resumo coerente.
Questões de Precisão Factual
Predominância de Erros Factuais
Embora o tom e estilo dos resumos gerados pelo ChatGPT fossem frequentemente apropriados para conteúdo científico, as “preocupações com a precisão factual em conteúdo gerado por LLM” foram identificadas como predominantes pelos avaliadores.
Inviabilidade como Ponto de Partida
Surpreendentemente, o estudo concluiu que mesmo utilizar os resumos do ChatGPT como ponto de partida para edição humana “exigiria tanto, se não mais, esforço quanto redigir os próprios resumos do zero”.
Esta descoberta é particularmente significativa porque sugere que, pelo menos no contexto atual, a IA não oferece ganhos de eficiência no processo de criação de resumos científicos.
Necessidade de Verificação Extensiva
A necessidade de “extensa verificação de fatos” foi identificada como um requisito fundamental ao trabalhar com resumos gerados pelo ChatGPT, processo que essencialmente anula qualquer vantagem de tempo que a ferramenta poderia oferecer.
Deficiências na Tradução de Conteúdo Científico
Os avaliadores destacaram que o ChatGPT confundia correlação com causalidade, deixava de contextualizar dados importantes e, em alguns casos, exagerava termos como “inovador”.
Apesar de transcrever corretamente partes dos artigos, o modelo mostrou dificuldade em traduzir metodologias, limitações e implicações gerais para uma linguagem mais acessível.
Essa fragilidade foi ainda mais evidente quando o sistema precisou resumir dois artigos diferentes em um único texto.
Nesses casos, a falta de precisão e de clareza tornou os resumos inviáveis para uso jornalístico sem intensa revisão.
O Papel Insustituível do Toque Humano
Para Abigail Eisenstadt, redatora da AAAS, os modelos de IA ainda não estão prontos para substituir o trabalho humano na produção de resumos científicos.
Mesmo quando usados como ponto de partida, exigem uma checagem de fatos tão extensa que, segundo os jornalistas, escrever o resumo do zero pode ser mais eficiente.
Essa conclusão reforça estudos anteriores que já mostraram falhas graves em sistemas de IA, como a citação incorreta de fontes em mais da metade dos casos.
Perspectivas Futuras e Desenvolvimentos Esperados
Possibilidade de Melhorias Futuras
Apesar das limitações identificadas, os pesquisadores da AAAS não descartaram completamente o potencial futuro do ChatGPT.
O estudo concluiu que valeria a pena repetir o experimento caso a ferramenta “passasse por uma grande atualização significativa”.
Lançamento do GPT-5
É importante notar que o GPT-5 foi apresentado ao público em agosto, após o período de teste do estudo.
Esta nova versão pode potencialmente abordar algumas das limitações identificadas, embora isso ainda precise ser validado através de novos estudos específicos.
Lições Aprendidas e Recomendações
Para Jornalistas Científicos
- Mantenha ceticismo saudável em relação a resumos gerados por IA
- Continue priorizando verificação factual rigorosa
- Reconheça o valor único da expertise humana em comunicação científica
Para Desenvolvedores de IA
- Foque no desenvolvimento de capacidades de contextualização
- Melhore a distinção entre correlação e causalidade
- Implemente verificações de precisão factual mais robustas
Para a Comunidade Científica
- Permaneça vigilante quanto à qualidade da comunicação científica
- Continue investindo em formação de comunicadores científicos qualificados
- Apoie pesquisas sobre melhorias na comunicação científica assistida por IA
Futuro da IA no Jornalismo Científico
Apesar das limitações atuais, os pesquisadores não descartam o uso do ChatGPT como ferramenta auxiliar em redações.
Contudo, destacam que atualizações significativas seriam necessárias para atingir os padrões de qualidade exigidos em publicações científicas.
O relatório ainda sugere que novos testes poderão ser conduzidos caso versões mais avançadas, como o recém-lançado GPT-5, mostrem evolução no campo da precisão e contextualização.
No momento, a conclusão da AAAS é clara: o ChatGPT não atende aos padrões de qualidade do SciPak e não é confiável para resumos científicos que exigem rigor, clareza e fidelidade às descobertas originais.
* Este artigo é baseado em pesquisa publicada pela Associação Americana para o Avanço da Ciência (AAAS) em setembro de 2025.
Baixe a pesquisa completa: ChatGPT Plus: Pontos fortes e fracos na escrita científica
Aviso legal
Este conteúdo foi produzido com o apoio de ferramentas de Inteligência Artificial, sendo posteriormente revisado, validado e aprimorado por Lc Palauro . Em conformidade com os critérios definidos em nossa Política Editorial , garantindo precisão, clareza e confiabilidade nas informações apresentadas.
