Evolução da IA em resolver problemas contábeis: uma comparação entre o GPT4 e GPT4o na resolução do Exame de Suficiência
Open Access
- 29 September 2025
- journal article
- Published by Sistema de Bibliotecas PUCP in Contabilidad y Negocios
Abstract
A pesquisa teve por objetivo avaliar o desempenho do modelo GPT-4o em relação ao modelo GPT-4 na resolução de questões do Exame de Suficiência em Contabilidade. Esse estudo se caseia no conceito de processamento de linguagem natural (PLN) de Brown et al. (2020). A pesquisa foi operacionalizada com a metodologia de design science, que visa construir e/ou avaliar diferentes artefatos tecnológicos, mediante a aplicação das questões do Exame de Suficiência no GPT-4o, por meio do ChatGPT da OpenAI. Enquanto as estatísticas reais do Exame de Suficiência demonstram a aprovação de apenas uma parcela dos contabilistas, os resultados da inteligência artificial (IA) foram de aprovação em todas as quatro edições avaliadas com pelo menos 64% de aproveitamento. No âmbito geral da amostra analisada, o modelo de IA do GPT-4o apresentou 77% de aproveitamento de respostas frente a 71% do modelo GPT-4, alcançando uma acurácia de 84% nos últimos dois exames pelo modelo mais recente. Ainda assim, em algumas questões que o modelo GPT-4 havia acertado, esse modelo mais atual acabou respondendo de forma equivocada, ou diferente do previsto pelos elaboradores das questões. Esses resultados contribuem para a literatura que estuda o uso de IA dentro do campo da contabilidade, em especial a aplicação de modelos de linguagem de processamento natural e large language models (LLMs).Keywords
This publication has 17 references indexed in Scilit:
- A scoping review of ChatGPT research in accounting and financeInternational Journal of Accounting Information Systems, 2024
- ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skillsPLOS ONE, 2024
- Re-evaluating GPT-4’s bar exam performanceArtificial Intelligence and Law, 2024
- GPT-4 passes the bar examPhilosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2024
- ChatGPT effects on cognitive skills of undergraduate students: Receiving instant responses from AI-based conversational large language models (LLMs)Computers and Education: Artificial Intelligence, 2023
- Indústria 4.0: Características e Potenciais Impactos no Ambiente Interno das EmpresasAdvances in Scientific and Applied Accounting, 2023
- Performance of ChatGPT on the US fundamentals of engineering exam: Comprehensive assessment of proficiency and potential implications for professional environmental engineering practiceComputers and Education: Artificial Intelligence, 2023
- ChatGPT for good? On opportunities and challenges of large language models for educationLearning and Individual Differences, 2023
- Statistical and Machine Learning forecasting methods: Concerns and ways forwardPLOS ONE, 2018
- Textual Analysis in Accounting and Finance: A SurveyJournal of Accounting Research, 2016