Abstract
Resumo Nos últimos anos, chatbots baseados em modelos de linguagem em larga escala têm se popularizado, embora ainda apresentem dificuldades na resolução de problemas matemáticos. Neste estudo, analisamos o desempenho do ChatGPT-3.5 em questões de Matemática do Enem entre 2017 e 2022, buscando identificar padrões de dificuldade e tipos de erro. Foram analisadas 266 questões, categorizadas de acordo com as competências do Enem e os tipos de representação visual, nas modalidades com e sem alternativas. A análise revelou uma taxa de acerto que variou entre 22,2% e 55,5%. As maiores dificuldades ocorreram em questões envolvendo conhecimentos geométricos e representações visuais de formas geométricas descritas. Os erros mais comuns identificados foram de interpretação, de lógica e de cálculo de valores incorretos, evidenciando limitações do modelo em tarefas que exigem um raciocínio matemático estruturado.

This publication has 10 references indexed in Scilit: