Desempenho do ChatGPT nas questões da avaliação anual de residentes do Colégio Brasileiro de Radiologia
Open Access
- 1 January 2024
- journal article
- research article
- Published by FapUNIFESP (SciELO) in Radiologia Brasileira
- Vol. 57, e20230083
Abstract
Resumo Objetivo: Testar o desempenho do ChatGPT em questões de radiologia formuladas pelo Colégio Brasileiro de Radiologia (CBR), avaliando seus erros e acertos. Materiais e Métodos: 165 questões da avaliação anual dos residentes do CBR (2018, 2019 e 2022) foram apresentadas ao ChatGPT. Elas foram divididas, para análise estatística, em questões que avaliavam habilidades cognitivas de ordem superior ou inferior e de acordo com a subespecialidade, o tipo da questão (descrição de um achado clínico ou sinal, manejo clínico de um doente, aplicação de um conceito, cálculo ou classificação dos achados descritos, associação entre doenças ou anatomia) e o ano da residência (R1, R2 ou R3). Resultados: O ChatGPT acertou 53,3% das questões (88/165). Houve diferença estatística entre o desempenho em questões de ordem cognitiva inferior (64,4%; 38/59) e superior (47,2%; 50/106) (p = 0,01). Houve maior índice de acertos em física (90,0%; 18/20) do que em questões clínicas (48,3%; 70/145) (p = 0,02). Não houve diferença significativa de desempenho entre subespecialidades ou ano de residência (p > 0,05). Conclusão: Mesmo sem treinamento dedicado a essa área, o ChatGPT apresenta desempenho razoável, mas ainda insuficiente para aprovação, em questões de radiologia formuladas pelo CBR.Keywords
This publication has 11 references indexed in Scilit:
- ChatGPT makes medicine easy to swallow: an exploratory case study on simplified radiology reportsEuropean Radiology, 2023
- Comparative Performance of ChatGPT and Bard in a Text-Based Radiology Knowledge AssessmentCanadian Association of Radiologists Journal, 2023
- ChatGPT failed Taiwan’s Family Medicine Board ExamJournal of the Chinese Medical Association, 2023
- Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and LimitationsRadiology, 2023
- ChatGPT in medicine: an overview of its applications, advantages, limitations, future prospects, and ethical considerationsFrontiers in Artificial Intelligence, 2023
- ChatGPT and the Future of Medical WritingRadiology, 2023
- Aye, AI! ChatGPT passes multiple-choice family medicine examMedical Teacher, 2023
- Artificial Hallucinations in ChatGPT: Implications in Scientific WritingCureus, 2023
- How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge AssessmentJMIR Medical Education, 2023
- AI in Health: State of the Art, Challenges, and Future DirectionsYearbook of Medical Informatics, 2019