Rodrigo André Cuevas Gaete
Current Organizations / Institutes
The organizations/institutes from the scholar's latest article
Previous Organizations / Institutes
The organizations / institutes from the scholar's other articles in the past ten years
Research Subjects
Rodrigo André Cuevas Gaete has a total of 61 co-authors. Here are the top co-authors by number of shared publications:
- Ione Carvalho Pinto
Graduate Program in Public Health Nursing, University of São Paulo at Ribeirão Preto College of Nursing, Ribeirão Preto, São Paulo, Brazil
5 shared publications - Adriana Silvina Pagano
Universidade Federal de Minas Gerais, Brazil
4 shared publications - Fabiana Costa Machado Zacharias
Universidade de São Paulo, Brazil
4 shared publications - Isaias Jose Ramos de Oliveira
Universidade Federal de Minas Gerais, Brasil
4 shared publications - Zilma Silveira Nogueira Reis
Department of Gynecology and Obstetrics, Federal University of Minas Gerais, Belo Horizonte, Brazil
4 shared publications - Igor de Carvalho Gomes
National Secretariat of Primary Health Care Brasília Federal District 70058-900 Unified Health System
3 shared publications
Latest Publications
- Open Access
- 26 May 2026
- Published by JMIR Publications Inc. in Journal of Medical Internet Research
- Vol. 28, e84444
Large Language Model–Generated Patient Instructions for Prescriptions in Primary Health Care: Preclinical Algorithm Validation
Background: The application of generative artificial intelligence to simplify medication use instructions has the potential to enhance people’s health by improving treatment adherence. Objective: We evaluated the performance of large language models (LLMs) in generating medication usage instructions to complement prescriptions in primary health care. Methods: This randomized, blinded experimental preclinical study used prescription-inducing scenarios, assigned to 62 health care professionals, to validate instructions generated by LLMs during electronic prescriptions. The instructions were generated by ChatGPT-4.0 (OpenAI), Llama3.1-8B (Meta), and Llama3.1-8B-RAG (Meta) using retrieval-augmented generation based on patient information leaflets. Performance metrics assessed adequacy, completeness, clarity, language simplification, usefulness, and errors in the generated instructions, with scores to analyze overall and individual metrics. Results: The 3 models yielded high overall scores for producing qualified instructions (ChatGPT-4.0: median 88.4, IQR 22.8; Llama3.1-8B: median 66.5, IQR 50.9; Llama3.1-8B-RAG: median 79.9, IQR 34.4; Kruskal-Wallis test P=.003). Llama3.1-8B-RAG received evaluations with similar overall scores to ChatGPT-4.0 (post hoc test, P=.05) and similar to Llama3.1-8B (post hoc test, P=.44). ChatGPT-4.0 outperformed Llama3.1-8B (Bonferroni test, P<.001). Regarding specific domains, Llama3.1-8B-RAG received scores equivalent to those of ChatGPT-4.0 for adequacy (mean 6.24, SD 2.3 vs mean 6.82, SD 2.1; post hoc test, P=.54); completeness (mean 5.94, SD 2.2 vs 6.55, SD 1.9; post hoc test P=.38), clarity (mean 5.77, SD 2.4 vs mean 6.68, SD 1.9; post hoc test P=.09), and usefulness (mean 5.42, SD 2.4 vs mean 5.96, SD 2.2; post hoc test P=.63). ChatGPT-4.0 received higher scores in the language simplification criterion than Llama3.1-8B-RAG (mean 7.05, SD 1.5 vs mean 5.44, SD 2.6; post hoc test P<.001). Interrater variability in assigning scores ranged from 4.2% (n=3) to 85.8% (n=6) among primary health care professionals. Instructions leading to incorrect use of the medication had similar frequency among the models(ChatGPT-4.0: n=15, 22.7%; Llama3.1-8B: n=19, 22.8%; Llama3.1-8B-RAG: n=19, 22.8%; chi-square test P=.71). The frequencies of hallucination were similar (ChatGPT-4.0: n=7, 10.6%; Llama3.1-8B: n=9, 13.6%; Llama3.1-8B-RAG: n=6, 9.1%; chi-square test P=.67). Conclusions: The open-source LLM enhanced with external information presented similar performance to the closed-source model, except for ChatGPT4.0, which was superior in language simplification of messages. LLM generation demonstrated potential for instructing patients on medication use. Nonetheless, the introduction of this innovation into the electronic prescribing workflow demands prescriber validation for human oversight of the technology and requires a strategy for LLM performance governance. International Registered Report Identifier (IRRID): RR2-10.12688/verixiv.1359.1
- 26 May 2026
- Published by JMIR Publications Inc. in Journal of Medical Internet Research
- Vol. 28, e84444
Open AccessLarge Language Model–Generated Patient Instructions for Prescriptions in Primary Health Care: Preclinical Algorithm Validation
Background: The application of generative artificial intelligence to simplify medication use instructions has the potential to enhance people’s health by improving treatment adherence. Objective: We evaluated the performance of large language models (LLMs) in generating medication usage instructions to complement prescriptions in primary health care. Methods: This randomized, blinded experimental preclinical study used prescription-inducing scenarios, assigned to 62 health care professionals, to validate instructions generated by LLMs during electronic prescriptions. The instructions were generated by ChatGPT-4.0 (OpenAI), Llama3.1-8B (Meta), and Llama3.1-8B-RAG (Meta) using retrieval-augmented generation based on patient information leaflets. Performance metrics assessed adequacy, completeness, clarity, language simplification, usefulness, and errors in the generated instructions, with scores to analyze overall and individual metrics. Results: The 3 models yielded high overall scores for producing qualified instructions (ChatGPT-4.0: median 88.4, IQR 22.8; Llama3.1-8B: median 66.5, IQR 50.9; Llama3.1-8B-RAG: median 79.9, IQR 34.4; Kruskal-Wallis test P=.003). Llama3.1-8B-RAG received evaluations with similar overall scores to ChatGPT-4.0 (post hoc test, P=.05) and similar to Llama3.1-8B (post hoc test, P=.44). ChatGPT-4.0 outperformed Llama3.1-8B (Bonferroni test, P<.001). Regarding specific domains, Llama3.1-8B-RAG received scores equivalent to those of ChatGPT-4.0 for adequacy (mean 6.24, SD 2.3 vs mean 6.82, SD 2.1; post hoc test, P=.54); completeness (mean 5.94, SD 2.2 vs 6.55, SD 1.9; post hoc test P=.38), clarity (mean 5.77, SD 2.4 vs mean 6.68, SD 1.9; post hoc test P=.09), and usefulness (mean 5.42, SD 2.4 vs mean 5.96, SD 2.2; post hoc test P=.63). ChatGPT-4.0 received higher scores in the language simplification criterion than Llama3.1-8B-RAG (mean 7.05, SD 1.5 vs mean 5.44, SD 2.6; post hoc test P<.001). Interrater variability in assigning scores ranged from 4.2% (n=3) to 85.8% (n=6) among primary health care professionals. Instructions leading to incorrect use of the medication had similar frequency among the models(ChatGPT-4.0: n=15, 22.7%; Llama3.1-8B: n=19, 22.8%; Llama3.1-8B-RAG: n=19, 22.8%; chi-square test P=.71). The frequencies of hallucination were similar (ChatGPT-4.0: n=7, 10.6%; Llama3.1-8B: n=9, 13.6%; Llama3.1-8B-RAG: n=6, 9.1%; chi-square test P=.67). Conclusions: The open-source LLM enhanced with external information presented similar performance to the closed-source model, except for ChatGPT4.0, which was superior in language simplification of messages. LLM generation demonstrated potential for instructing patients on medication use. Nonetheless, the introduction of this innovation into the electronic prescribing workflow demands prescriber validation for human oversight of the technology and requires a strategy for LLM performance governance. International Registered Report Identifier (IRRID): RR2-10.12688/verixiv.1359.1
- Open Access
- 18 May 2026
- Published by Sociedade Brasileira de Informática em Saúde in Journal of Health Informatics
- Vol. 18, 1585
IVCF-20 no prontuário eletrônico e-SUS APS: inovação digital no cuidado à pessoa idosa na Atenção Primária à Saúde
Objetivo: Analisar a aplicação da modelagem de negócios em saúde como estratégia metodológica para viabilizar a digitalização do instrumento Índice de Vulnerabilidade Clínico-Funcional (IVCF-20) ao Prontuário Eletrônico e-SUS APS. Método: Trata-se de uma pesquisa aplicada, com abordagem qualitativa, baseada na análise de negócios. O processo de incorporação do IVCF-20 apoia-se nos princípios da Política Nacional de Saúde da Pessoa Idosa e nas diretrizes da Saúde Digital. Resultados: Evidenciou-se a viabilidade técnica da incorporação do IVCF-20 ao sistema, com registro estruturado, cálculo automático do escore e classificação de risco funcional. A funcionalidade foi testada em municípios pilotos, com boa aceitação e potencial de qualificação do cuidado. Posteriormente foi disponibilizada para todo o Brasil. Conclusão: A iniciativa representa uma inovação estratégica no fortalecimento da Atenção Primária à Saúde e da Saúde Digital, promovendo o cuidado integral e orientado para pessoas idosas.
- 18 May 2026
- Published by Sociedade Brasileira de Informática em Saúde in Journal of Health Informatics
- Vol. 18, 1585
Open AccessIVCF-20 no prontuário eletrônico e-SUS APS: inovação digital no cuidado à pessoa idosa na Atenção Primária à Saúde
Objetivo: Analisar a aplicação da modelagem de negócios em saúde como estratégia metodológica para viabilizar a digitalização do instrumento Índice de Vulnerabilidade Clínico-Funcional (IVCF-20) ao Prontuário Eletrônico e-SUS APS. Método: Trata-se de uma pesquisa aplicada, com abordagem qualitativa, baseada na análise de negócios. O processo de incorporação do IVCF-20 apoia-se nos princípios da Política Nacional de Saúde da Pessoa Idosa e nas diretrizes da Saúde Digital. Resultados: Evidenciou-se a viabilidade técnica da incorporação do IVCF-20 ao sistema, com registro estruturado, cálculo automático do escore e classificação de risco funcional. A funcionalidade foi testada em municípios pilotos, com boa aceitação e potencial de qualificação do cuidado. Posteriormente foi disponibilizada para todo o Brasil. Conclusão: A iniciativa representa uma inovação estratégica no fortalecimento da Atenção Primária à Saúde e da Saúde Digital, promovendo o cuidado integral e orientado para pessoas idosas.
- Open Access
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Revista Brasileira de Epidemiologia
- Vol. 29
Estratégias de saúde digital na Atenção Primária à Saúde: relato de experiência do município do Recife, Brasil
RESUMO Objetivo: Descrever e analisar a implementação de estratégias de saúde digital na Atenção Primária à Saúde no município de Recife (Brasil), com foco em produção, integração e uso de dados. Métodos: Estudo descritivo, do tipo relato de experiência, com abordagem qualitativa. A análise baseou-se em documentos institucionais, marcos normativos e no percurso de implementação das estratégias de saúde digital desenvolvidas entre janeiro de 2021 e junho de 2026, interpretados à luz da literatura científica. Resultados: A transformação digital em Recife promoveu a informatização integral das unidades de saúde, a ampliação da conectividade e a integração de prontuários eletrônicos entre níveis assistenciais. A plataforma Conecta Recife ampliou o acesso digital aos serviços, incluindo agendamento e consulta de informações em saúde. Destacam-se inovações como o uso de inteligência artificial para apoio à decisão clínica, estratificação de risco e redução do absenteísmo. O sistema Recife Monitora fortaleceu a avaliação de desempenho e a gestão orientada por dados, com maior participação dos usuários. Essas iniciativas contribuíram para a coordenação do cuidado, ampliação do acesso e maior eficiência dos serviços. Persistem desafios relacionados à governança de dados, à interoperabilidade, à infraestrutura e ao letramento digital. Conclusão: A experiência de Recife evidencia que estratégias de saúde digital podem fortalecer a Atenção Primária à Saúde (APS), qualificar o uso de dados e contribuir para a redução das iniquidades em saúde. A sustentabilidade desses avanços requer investimentos contínuos em infraestrutura, governança e capacitação.
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Revista Brasileira de Epidemiologia
- Vol. 29
Open AccessEstratégias de saúde digital na Atenção Primária à Saúde: relato de experiência do município do Recife, Brasil
RESUMO Objetivo: Descrever e analisar a implementação de estratégias de saúde digital na Atenção Primária à Saúde no município de Recife (Brasil), com foco em produção, integração e uso de dados. Métodos: Estudo descritivo, do tipo relato de experiência, com abordagem qualitativa. A análise baseou-se em documentos institucionais, marcos normativos e no percurso de implementação das estratégias de saúde digital desenvolvidas entre janeiro de 2021 e junho de 2026, interpretados à luz da literatura científica. Resultados: A transformação digital em Recife promoveu a informatização integral das unidades de saúde, a ampliação da conectividade e a integração de prontuários eletrônicos entre níveis assistenciais. A plataforma Conecta Recife ampliou o acesso digital aos serviços, incluindo agendamento e consulta de informações em saúde. Destacam-se inovações como o uso de inteligência artificial para apoio à decisão clínica, estratificação de risco e redução do absenteísmo. O sistema Recife Monitora fortaleceu a avaliação de desempenho e a gestão orientada por dados, com maior participação dos usuários. Essas iniciativas contribuíram para a coordenação do cuidado, ampliação do acesso e maior eficiência dos serviços. Persistem desafios relacionados à governança de dados, à interoperabilidade, à infraestrutura e ao letramento digital. Conclusão: A experiência de Recife evidencia que estratégias de saúde digital podem fortalecer a Atenção Primária à Saúde (APS), qualificar o uso de dados e contribuir para a redução das iniquidades em saúde. A sustentabilidade desses avanços requer investimentos contínuos em infraestrutura, governança e capacitação.
- Open Access
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Revista Brasileira de Epidemiologia
- Vol. 29
Digital health strategies in primary health care: an experience report from the municipality of Recife, Brazil
Objective: To describe and analyze the implementation of digital health strategies in Primary Health Care in Recife (Brazil), focusing on data production, integration, and use. Methods: This is a descriptive qualitative study, based on an experience report. The analysis relied on institutional documents, regulatory frameworks, and the implementation trajectory of digital health strategies developed between January 2021 at June 2025, interpreted in light of scientific literature. Results: Digital transformation in Recife led to full computerization of health units, expanded connectivity, and integration of electronic health records across levels of care. The Conecta Recife platform enabled digital access to services, including scheduling and access to health information. Innovations included the use of artificial intelligence for clinical decision support, risk stratification, and reduction of absenteeism. The Recife Monitora system enhanced performance evaluation and data-driven management, with increased user participation. These initiatives improved care coordination, access, and service efficiency. Challenges remain regarding data governance, interoperability, infrastructure, and digital literacy. Conclusion: Recife’s experience demonstrates that digital health strategies can strengthen Primary Health Care, improve data use, and contribute to reducing health inequities. Sustaining these advances requires continuous investment in infrastructure, governance, and capacity building.
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Revista Brasileira de Epidemiologia
- Vol. 29
Open AccessDigital health strategies in primary health care: an experience report from the municipality of Recife, Brazil
Objective: To describe and analyze the implementation of digital health strategies in Primary Health Care in Recife (Brazil), focusing on data production, integration, and use. Methods: This is a descriptive qualitative study, based on an experience report. The analysis relied on institutional documents, regulatory frameworks, and the implementation trajectory of digital health strategies developed between January 2021 at June 2025, interpreted in light of scientific literature. Results: Digital transformation in Recife led to full computerization of health units, expanded connectivity, and integration of electronic health records across levels of care. The Conecta Recife platform enabled digital access to services, including scheduling and access to health information. Innovations included the use of artificial intelligence for clinical decision support, risk stratification, and reduction of absenteeism. The Recife Monitora system enhanced performance evaluation and data-driven management, with increased user participation. These initiatives improved care coordination, access, and service efficiency. Challenges remain regarding data governance, interoperability, infrastructure, and digital literacy. Conclusion: Recife’s experience demonstrates that digital health strategies can strengthen Primary Health Care, improve data use, and contribute to reducing health inequities. Sustaining these advances requires continuous investment in infrastructure, governance, and capacity building.
- Open Access
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Ciencia & Saude Coletiva
- Vol. 31 (5)
Continuing Education for Digital Transformation in Primary Health Care: The Educa e-SUS PHC Iniciative
This study presents the results achieved by the National Program for Continuing Education in Digital Health for Primary Health Care (PHC), delivered through a massive open online course (MOOC) platform. Collected data are used to monitor participants’ progress towards goal achievement for certification purposes and to evaluate course quality. Prolonged inactivity, defined as more than 90 days without progress, triggers an AI-generated motivational message tailored to the participant. Between November 2023 and November 2025, the program registered 236,309 enrollments by 84,408 participants, reaching 5,111 municipalities across all Brazilian states. A total of 15,292 (18.1%) people dropped out of their selected course, of whom 4,498 (11.7%) later returned to it. Content relevance and educational resources received high approval ratings: 57,259 (94.9%) and 56,230 (93.2%), respectively. The results demonstrate the broad reach of this educational strategy in supporting digital acceleration in PHC. It is expected that digital literacy focused on the effective use of e-SUS PHC software will enable digital systems to advance their role as catalysts of social transformation.
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Ciencia & Saude Coletiva
- Vol. 31 (5)
Open AccessContinuing Education for Digital Transformation in Primary Health Care: The Educa e-SUS PHC Iniciative
This study presents the results achieved by the National Program for Continuing Education in Digital Health for Primary Health Care (PHC), delivered through a massive open online course (MOOC) platform. Collected data are used to monitor participants’ progress towards goal achievement for certification purposes and to evaluate course quality. Prolonged inactivity, defined as more than 90 days without progress, triggers an AI-generated motivational message tailored to the participant. Between November 2023 and November 2025, the program registered 236,309 enrollments by 84,408 participants, reaching 5,111 municipalities across all Brazilian states. A total of 15,292 (18.1%) people dropped out of their selected course, of whom 4,498 (11.7%) later returned to it. Content relevance and educational resources received high approval ratings: 57,259 (94.9%) and 56,230 (93.2%), respectively. The results demonstrate the broad reach of this educational strategy in supporting digital acceleration in PHC. It is expected that digital literacy focused on the effective use of e-SUS PHC software will enable digital systems to advance their role as catalysts of social transformation.
- Open Access
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Ciencia & Saude Coletiva
- Vol. 31 (5) , e23672025
Educação Permanente para a Transformação Digital na Atenção Primária à Saúde: A Oferta Educa e-SUS APS
Resumo O estudo apresenta os resultados alcançados pelo programa Oferta Nacional de Educação Permanente em Saúde Digital para a Atenção Primária à Saúde (APS), realizado em plataforma massiva online e aberta (MOOC). Dados coletados permitem monitorar a evolução do participante no cumprimento das metas, proceder à sua certificação e avaliar a qualidade dos cursos. A ausência de progresso por mais de 90 dias aciona uma mensagem personalizada motivacional, criada com apoio de inteligência artificial. Entre novembro de 2023 e novembro de 2025, foram contabilizadas 236.309 matrículas de 84.408 cursistas, alcançando 5.111 municípios de todos os estados brasileiros. 15.292 (18,1%) pessoas abandonaram o curso escolhido, 4.498 (11,7%) tendo retomado o mesmo. Relevância de conteúdo e recursos educacionais tiveram elevado índice de aprovação: 57.259 (94,9%) e 56.230 (93,2%). Os resultados demonstram o amplo alcance da estratégia formativa em apoio à aceleração digital na APS. Espera-se que com o letramento digital centrado na utilização eficiente dos softwares da Estratégia e-SUS APS os sistemas digitais avancem em seu papel catalisador da transformação social.
- 1 January 2026
- Published by FapUNIFESP (SciELO) in Ciencia & Saude Coletiva
- Vol. 31 (5) , e23672025
Open AccessEducação Permanente para a Transformação Digital na Atenção Primária à Saúde: A Oferta Educa e-SUS APS
Resumo O estudo apresenta os resultados alcançados pelo programa Oferta Nacional de Educação Permanente em Saúde Digital para a Atenção Primária à Saúde (APS), realizado em plataforma massiva online e aberta (MOOC). Dados coletados permitem monitorar a evolução do participante no cumprimento das metas, proceder à sua certificação e avaliar a qualidade dos cursos. A ausência de progresso por mais de 90 dias aciona uma mensagem personalizada motivacional, criada com apoio de inteligência artificial. Entre novembro de 2023 e novembro de 2025, foram contabilizadas 236.309 matrículas de 84.408 cursistas, alcançando 5.111 municípios de todos os estados brasileiros. 15.292 (18,1%) pessoas abandonaram o curso escolhido, 4.498 (11,7%) tendo retomado o mesmo. Relevância de conteúdo e recursos educacionais tiveram elevado índice de aprovação: 57.259 (94,9%) e 56.230 (93,2%). Os resultados demonstram o amplo alcance da estratégia formativa em apoio à aceleração digital na APS. Espera-se que com o letramento digital centrado na utilização eficiente dos softwares da Estratégia e-SUS APS os sistemas digitais avancem em seu papel catalisador da transformação social.
- Open Access
- 19 September 2025
- Published by JMIR Publications Inc. in JMIR Preprints
Large Language Model–Generated Patient Instructions for Prescriptions in Primary Health Care: Preclinical Algorithm Validation (Preprint)
BACKGROUND The application of generative artificial intelligence to simplify medication use instructions has the potential to enhance people’s health by improving treatment adherence. OBJECTIVE We evaluated the performance of large language models (LLMs) in generating medication usage instructions to complement prescriptions in primary health care. METHODS This randomized, blinded experimental preclinical study used prescription-inducing scenarios, assigned to 62 health care professionals, to validate instructions generated by LLMs during electronic prescriptions. The instructions were generated by ChatGPT-4.0 (OpenAI), Llama3.1-8B (Meta), and Llama3.1-8B-RAG (Meta) using retrieval-augmented generation based on patient information leaflets. Performance metrics assessed adequacy, completeness, clarity, language simplification, usefulness, and errors in the generated instructions, with scores to analyze overall and individual metrics. RESULTS The 3 models yielded high overall scores for producing qualified instructions (ChatGPT-4.0: median 88.4, IQR 22.8; Llama3.1-8B: median 66.5, IQR 50.9; Llama3.1-8B-RAG: median 79.9, IQR 34.4; Kruskal-Wallis test P=.003). Llama3.1-8B-RAG received evaluations with similar overall scores to ChatGPT-4.0 (post hoc test, P=.05) and similar to Llama3.1-8B (post hoc test, P=.44). ChatGPT-4.0 outperformed Llama3.1-8B (Bonferroni test, P<.001). Regarding specific domains, Llama3.1-8B-RAG received scores equivalent to those of ChatGPT-4.0 for adequacy (mean 6.24, SD 2.3 vs mean 6.82, SD 2.1; post hoc test, P=.54); completeness (mean 5.94, SD 2.2 vs 6.55, SD 1.9; post hoc test P=.38), clarity (mean 5.77, SD 2.4 vs mean 6.68, SD 1.9; post hoc test P=.09), and usefulness (mean 5.42, SD 2.4 vs mean 5.96, SD 2.2; post hoc test P=.63). ChatGPT-4.0 received higher scores in the language simplification criterion than Llama3.1-8B-RAG (mean 7.05, SD 1.5 vs mean 5.44, SD 2.6; post hoc test P<.001). Interrater variability in assigning scores ranged from 4.2% (n=3) to 85.8% (n=6) among primary health care professionals. Instructions leading to incorrect use of the medication had similar frequency among the models(ChatGPT-4.0: n=15, 22.7%; Llama3.1-8B: n=19, 22.8%; Llama3.1-8B-RAG: n=19, 22.8%; chi-square test P=.71). The frequencies of hallucination were similar (ChatGPT-4.0: n=7, 10.6%; Llama3.1-8B: n=9, 13.6%; Llama3.1-8B-RAG: n=6, 9.1%; chi-square test P=.67). CONCLUSIONS The open-source LLM enhanced with external information presented similar performance to the closed-source model, except for ChatGPT4.0, which was superior in language simplification of messages. LLM generation demonstrated potential for instructing patients on medication use. Nonetheless, the introduction of this innovation into the electronic prescribing workflow demands prescriber validation for human oversight of the technology and requires a strategy for LLM performance governance. INTERNATIONAL REGISTERED REPORT RR2-10.12688/verixiv.1359.1
- 19 September 2025
- Published by JMIR Publications Inc. in JMIR Preprints
Open AccessLarge Language Model–Generated Patient Instructions for Prescriptions in Primary Health Care: Preclinical Algorithm Validation (Preprint)
BACKGROUND The application of generative artificial intelligence to simplify medication use instructions has the potential to enhance people’s health by improving treatment adherence. OBJECTIVE We evaluated the performance of large language models (LLMs) in generating medication usage instructions to complement prescriptions in primary health care. METHODS This randomized, blinded experimental preclinical study used prescription-inducing scenarios, assigned to 62 health care professionals, to validate instructions generated by LLMs during electronic prescriptions. The instructions were generated by ChatGPT-4.0 (OpenAI), Llama3.1-8B (Meta), and Llama3.1-8B-RAG (Meta) using retrieval-augmented generation based on patient information leaflets. Performance metrics assessed adequacy, completeness, clarity, language simplification, usefulness, and errors in the generated instructions, with scores to analyze overall and individual metrics. RESULTS The 3 models yielded high overall scores for producing qualified instructions (ChatGPT-4.0: median 88.4, IQR 22.8; Llama3.1-8B: median 66.5, IQR 50.9; Llama3.1-8B-RAG: median 79.9, IQR 34.4; Kruskal-Wallis test P=.003). Llama3.1-8B-RAG received evaluations with similar overall scores to ChatGPT-4.0 (post hoc test, P=.05) and similar to Llama3.1-8B (post hoc test, P=.44). ChatGPT-4.0 outperformed Llama3.1-8B (Bonferroni test, P<.001). Regarding specific domains, Llama3.1-8B-RAG received scores equivalent to those of ChatGPT-4.0 for adequacy (mean 6.24, SD 2.3 vs mean 6.82, SD 2.1; post hoc test, P=.54); completeness (mean 5.94, SD 2.2 vs 6.55, SD 1.9; post hoc test P=.38), clarity (mean 5.77, SD 2.4 vs mean 6.68, SD 1.9; post hoc test P=.09), and usefulness (mean 5.42, SD 2.4 vs mean 5.96, SD 2.2; post hoc test P=.63). ChatGPT-4.0 received higher scores in the language simplification criterion than Llama3.1-8B-RAG (mean 7.05, SD 1.5 vs mean 5.44, SD 2.6; post hoc test P<.001). Interrater variability in assigning scores ranged from 4.2% (n=3) to 85.8% (n=6) among primary health care professionals. Instructions leading to incorrect use of the medication had similar frequency among the models(ChatGPT-4.0: n=15, 22.7%; Llama3.1-8B: n=19, 22.8%; Llama3.1-8B-RAG: n=19, 22.8%; chi-square test P=.71). The frequencies of hallucination were similar (ChatGPT-4.0: n=7, 10.6%; Llama3.1-8B: n=9, 13.6%; Llama3.1-8B-RAG: n=6, 9.1%; chi-square test P=.67). CONCLUSIONS The open-source LLM enhanced with external information presented similar performance to the closed-source model, except for ChatGPT4.0, which was superior in language simplification of messages. LLM generation demonstrated potential for instructing patients on medication use. Nonetheless, the introduction of this innovation into the electronic prescribing workflow demands prescriber validation for human oversight of the technology and requires a strategy for LLM performance governance. INTERNATIONAL REGISTERED REPORT RR2-10.12688/verixiv.1359.1
- Open Access
- 29 September 2023
- Published by Instituto de Comunicacao e Informacao Cientifica e Tecnologica em Saude in RECIIS
- Vol. 17 (3)
A formulação de uma plataforma eletrônica para a saúde: inovação a partir de uma encomenda tecnológica
Este artigo analisa o processo de formulação de uma plataforma eletrônica para a saúde, derivada de uma encomenda tecnológica, considerando os fatores que influenciaram a trajetória dessa formulação e o formato com o qual ela foi implementada. A análise documental, bibliográfica e a realização das entrevistas semiestruturadas com informantes-chave foram trabalhadas na perspectiva metodológica de um estudo de caso com uso do process tracing e de recursos da teoria da mudança institucional gradual. Destacam-se como resultados a identificação dos principais fatores relacionados à atuação da Fundação Estatal Saúde da Família na área de ciência, tecnologia e inovação e à realização da encomenda tecnológica. Bem como os fatores relacionados à formulação de cada uma das três inovações que caracterizam a experiência em análise: o Registro Eletrônico de Saúde, a plataforma que serviu de base para o ecossistema de inovação e o modelo jurídico-administrativo da organização criada para implementar e desenvolver as soluções necessárias.
- 29 September 2023
- Published by Instituto de Comunicacao e Informacao Cientifica e Tecnologica em Saude in RECIIS
- Vol. 17 (3)
Open AccessA formulação de uma plataforma eletrônica para a saúde: inovação a partir de uma encomenda tecnológica
Este artigo analisa o processo de formulação de uma plataforma eletrônica para a saúde, derivada de uma encomenda tecnológica, considerando os fatores que influenciaram a trajetória dessa formulação e o formato com o qual ela foi implementada. A análise documental, bibliográfica e a realização das entrevistas semiestruturadas com informantes-chave foram trabalhadas na perspectiva metodológica de um estudo de caso com uso do process tracing e de recursos da teoria da mudança institucional gradual. Destacam-se como resultados a identificação dos principais fatores relacionados à atuação da Fundação Estatal Saúde da Família na área de ciência, tecnologia e inovação e à realização da encomenda tecnológica. Bem como os fatores relacionados à formulação de cada uma das três inovações que caracterizam a experiência em análise: o Registro Eletrônico de Saúde, a plataforma que serviu de base para o ecossistema de inovação e o modelo jurídico-administrativo da organização criada para implementar e desenvolver as soluções necessárias.
- Open Access
- 1 May 2021
- Published by Universidad Nacional de Colombia in Avances en Enfermería
- Vol. 39 (2) , 157-166
Instrumento para avaliar o uso do prontuário eletrônico do cidadão da estratégia e- SUS Atenção Primária à Saúde*
Objetivo: descrever a construção e a validação de um instrumento para avaliar o uso do Prontuário Eletrônico do Cidadão da Estratégia e-SUS Atenção Primária (e-SUS APS). Materiais e método: Trata-se de um estudo metodológico no qual foi construído um Modelo Lógico do Prontuário Eletrônico do Cidadão da Estratégia e-SUS APS, que evidencia a necessidade de descrever a Estratégia e-SUS APS, possibilitando observar de maneira ampliada a assistência na Atenção Primária à Saúde, e compreender o Prontuário Eletrônico do Cidadão. O Modelo Lógico baseou-se em: gestão do e-SUS APS e Prontuário Eletrônico do Cidadão. O Modelo foi essencial para subsidiar a elaboração das questões avaliativas. Na sequência, foi elaborado um instrumento e realizada a validação de conteúdo e de aparência, considerando os critérios de relevância, objetividade e clareza, por meio da Técnica Delphi. Para a análise dos dados, foram calculados o Índice de Validade de Conteúdo e a Razão de Validade de Conteúdo das questões. Resultados: a validade foi realizada por 16 juízes, em duas rodadas. O instrumento final consta de 30 questões — seis referentes ao perfil pessoal; duas, ao perfil da unidade de saúde e 22 questões de avaliação do Prontuário Eletrônico do Cidadão e-SUS APS. Conclusões: conclui-se que o instrumento foi considerado apropriado. Satisfação, facilidade do uso, suporte técnico, capacitação e utilização dos relatórios gerados foram os itens elencados como os mais importantes nas questões. O instrumento poderá promover melhor articulação da equipe multiprofissional por meio das informações inseridas no sistema.
- 1 May 2021
- Published by Universidad Nacional de Colombia in Avances en Enfermería
- Vol. 39 (2) , 157-166
Open AccessInstrumento para avaliar o uso do prontuário eletrônico do cidadão da estratégia e- SUS Atenção Primária à Saúde*
Objetivo: descrever a construção e a validação de um instrumento para avaliar o uso do Prontuário Eletrônico do Cidadão da Estratégia e-SUS Atenção Primária (e-SUS APS). Materiais e método: Trata-se de um estudo metodológico no qual foi construído um Modelo Lógico do Prontuário Eletrônico do Cidadão da Estratégia e-SUS APS, que evidencia a necessidade de descrever a Estratégia e-SUS APS, possibilitando observar de maneira ampliada a assistência na Atenção Primária à Saúde, e compreender o Prontuário Eletrônico do Cidadão. O Modelo Lógico baseou-se em: gestão do e-SUS APS e Prontuário Eletrônico do Cidadão. O Modelo foi essencial para subsidiar a elaboração das questões avaliativas. Na sequência, foi elaborado um instrumento e realizada a validação de conteúdo e de aparência, considerando os critérios de relevância, objetividade e clareza, por meio da Técnica Delphi. Para a análise dos dados, foram calculados o Índice de Validade de Conteúdo e a Razão de Validade de Conteúdo das questões. Resultados: a validade foi realizada por 16 juízes, em duas rodadas. O instrumento final consta de 30 questões — seis referentes ao perfil pessoal; duas, ao perfil da unidade de saúde e 22 questões de avaliação do Prontuário Eletrônico do Cidadão e-SUS APS. Conclusões: conclui-se que o instrumento foi considerado apropriado. Satisfação, facilidade do uso, suporte técnico, capacitação e utilização dos relatórios gerados foram os itens elencados como os mais importantes nas questões. O instrumento poderá promover melhor articulação da equipe multiprofissional por meio das informações inseridas no sistema.
- Open Access
- 1 January 2021
- Published by FapUNIFESP (SciELO) in Revista Latino-Americana de Enfermagem
- Vol. 29, e3447
Implementation of the e-SUS Primary Care system: Impact on the routine of Primary Health Care professionals
Objective: to understand how the implementation of the e-SUS Primary Care system has been processed and its impact on the daily life of the health teams. Method: a qualitative research study, conducted in a municipality in the inland of the state of São Paulo with professionals who work in Primary Health Care and use the e-SUS Primary Care system as a work tool. Semi-structured interviews and thematic data analysis were used with Kotter’s three-phase approach. Results: a total of 17 professionals, nurses, physicians, dentists and community agents were interviewed. The implementation of e-SUS Primary Care and its impact on the daily life of health teams were understood in terms of mandatory implementation; weaknesses for implementation, such as absence of material resources and implicit imposition for the use of the system; fragile training for deployment and learning from experience. Conclusion: a harmful incentive process was observed, conducted from the perspective of institutional pressure, use of the system to justify the work performed and, on the other hand, there was the creation of collaborative learning mechanisms between the teams.
- 1 January 2021
- Published by FapUNIFESP (SciELO) in Revista Latino-Americana de Enfermagem
- Vol. 29, e3447
Open AccessImplementation of the e-SUS Primary Care system: Impact on the routine of Primary Health Care professionals
Objective: to understand how the implementation of the e-SUS Primary Care system has been processed and its impact on the daily life of the health teams. Method: a qualitative research study, conducted in a municipality in the inland of the state of São Paulo with professionals who work in Primary Health Care and use the e-SUS Primary Care system as a work tool. Semi-structured interviews and thematic data analysis were used with Kotter’s three-phase approach. Results: a total of 17 professionals, nurses, physicians, dentists and community agents were interviewed. The implementation of e-SUS Primary Care and its impact on the daily life of health teams were understood in terms of mandatory implementation; weaknesses for implementation, such as absence of material resources and implicit imposition for the use of the system; fragile training for deployment and learning from experience. Conclusion: a harmful incentive process was observed, conducted from the perspective of institutional pressure, use of the system to justify the work performed and, on the other hand, there was the creation of collaborative learning mechanisms between the teams.