Primeiras impressões na ciência: prevendo o impacto de artigos a partir de títulos e metadados básicos
Open Access
- 1 January 2026
- journal article
- research article
- Published by FapUNIFESP (SciELO) in Em Questão
- Vol. 32, e-149912
Abstract
Resumo A avaliação do impacto científico depende, majoritariamente, de indicadores baseados em citações, que apenas se consolidam após longos períodos, limitando sua utilidade em decisões editoriais, avaliativas e de gestão da informação. Este estudo investiga em que medida o título de artigos científicos, isoladamente ou enriquecido com metadados bibliográficos simples disponíveis antes da publicação, pode antecipar o impacto futuro em termos de citações. O problema é formulado como classificação binária de artigos de alto e baixo impacto. Os experimentos utilizam 78.707 artigos da revista Physical Review A, da American Physical Society, com impacto definido por agrupamento por quartis de citações. Emprega-se um modelo baseado em representações linguísticas contextuais, avaliado por validação cruzada estratificada (5-fold), comparando o uso exclusivo do título e sua combinação com metadados simples, ano de publicação, número de autores e pontuação. Os resultados, avaliados pelo Coeficiente de Correlação de Matthews, métrica normalizada cujo valor máximo é 1 e valores próximos de 0 indicam desempenho aleatório, indicam desempenho limitado para títulos isolados (MCC ≈ 0,283) e ganho expressivo com metadados (MCC ≈ 0,509), estatisticamente significativo (Wilcoxon, p < 0,05). Os achados indicam o potencial de abordagens preditivas como apoio à avaliação científica, políticas editoriais e comunicação da ciência.Keywords
Funding Information
- Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (001)
This publication has 10 references indexed in Scilit:
- Predicting citation impact of research papers using GPT and other text embeddingsPhysica A: Statistical Mechanics and its Applications, 2025
- Predicting citation impact of academic papers across research areas using multiple models and early citationsScientometrics, 2024
- Impact of Large Language Models on Scholarly Publication Titles and Abstracts: A Comparative AnalysisJournal of Social Computing, 2024
- A deep-learning based citation count prediction model with paper metadata semantic featuresScientometrics, 2021
- A context-aware citation recommendation model with BERT and graph convolutional networksScientometrics, 2020
- Citation Count Prediction using AbstractsJournal of Web Engineering, 2019
- Predicting the long-term citation impact of recent publicationsJournal of Informetrics, 2015
- Prediction of highly cited papersEurophysics Letters, 2014
- Quantifying Long-Term Scientific ImpactScience, 2013
- Citation Indexes for ScienceScience, 1955