Tamás Joó
Current Organizations / Institutes
The organizations/institutes from the scholar's latest article
Tamás Joó has a total of 75 co-authors. Here are the top co-authors by number of shared publications:
- Péter Pollner
Data-Driven Health Division of National Laboratory for Health Security, Health Services Management Training Centre, Semmelweis University, Kútvölgyi út 2, 1125 Budapest, Hungary
7 shared publications - Tamás Palicz
Semmelweis Egyetem Egészségügyi Menedzserképző Központ
5 shared publications - Melinda Pénzes
Data-Driven Health Division of the National Laboratory for Health Security, Health Services Management Training Centre, Semmelweis University, Budapest, Hungary
4 shared publications József Bodrogi
University Pharmacy Department of Pharmacy Administration, Semmelweis University, Budapest, Hungary
3 shared publications- Miklós Szócska
Health Services Management Training Centre, Semmelweis University, Budapest, Hungary
3 shared publications - Andras Hajdu
Department of Data Science and Visualization, Faculty of Informatics, University of Debrecen, H-4032 Debrecen, Hungary
2 shared publications
Latest Publications
- Open Access
- 11 August 2026
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 25 (2) , 51-57
Generatív és képfeldolgozó mesterséges intelligencia a szemészeti szűrésben a krónikus betegségek korai felismerésére és a betegedukáció javítására
Háttér: A diabétesz és a hipertónia világszerte egyre növekvő népegészségügyi terhet jelentenek. Gyakori szemészeti szövődményeik – a diabéteszes, illetve hipertóniás retinopátia – a munkaképes korú lakosság körében a megelőzhető látásvesztés vezető okai. A korai felismerés – rendszeres szemfenék vizsgálattal – jelentősen csökkentheti a súlyos látásromlás kockázatát. A szűrés széles körű megvalósítása kihívásokba ütközik (szakemberhiány, alacsony részvétel). Célkitűzés: A tanulmány áttekinti a mesterséges intelligencia, különösen a modern mélytanulás alapú képfeldolgozó és generatív eszközök alkalmazásának szerepét a krónikus betegségek (kiemelten a diabétesz és hipertónia) korai felismerésében és a betegedukáció javításában. Módszerek: Narratív szakirodalmi áttekintés PubMed-indexelt klinikai tanulmányok, meta-analízisek és szabályozási dokumentumok felhasználásával. Eredmények: Az Amerikai Gyógyszerügyi Hivatal által engedélyezett autonóm algoritmusok a diabéteszes retinopátia szűrésében szemész bevonása nélkül képesek referálási szintű elváltozásokat detektálni (érzékenység 87–96%, specificitás 85–94%). A generatív modellek a betegedukációban is megjelentek, de pontossági problémák limitálják használatukat. Következtetés: A mesterséges intelligencia alapú szemészeti szűrőrendszerek jelentősen növelhetik a szűrés hatékonyságát és hozzáférhetőségét. Az európai uniós szabályozói környezet szigorú követelményeket ír elő a biztonságos működés érdekében. Kulcsszavak: mesterséges intelligencia; szemészeti szűrés; diabéteszes retinopátia; generatív modellek; betegedukáció; egészségügyi informatika
- 11 August 2026
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 25 (2) , 51-57
Open AccessGeneratív és képfeldolgozó mesterséges intelligencia a szemészeti szűrésben a krónikus betegségek korai felismerésére és a betegedukáció javítására
Háttér: A diabétesz és a hipertónia világszerte egyre növekvő népegészségügyi terhet jelentenek. Gyakori szemészeti szövődményeik – a diabéteszes, illetve hipertóniás retinopátia – a munkaképes korú lakosság körében a megelőzhető látásvesztés vezető okai. A korai felismerés – rendszeres szemfenék vizsgálattal – jelentősen csökkentheti a súlyos látásromlás kockázatát. A szűrés széles körű megvalósítása kihívásokba ütközik (szakemberhiány, alacsony részvétel). Célkitűzés: A tanulmány áttekinti a mesterséges intelligencia, különösen a modern mélytanulás alapú képfeldolgozó és generatív eszközök alkalmazásának szerepét a krónikus betegségek (kiemelten a diabétesz és hipertónia) korai felismerésében és a betegedukáció javításában. Módszerek: Narratív szakirodalmi áttekintés PubMed-indexelt klinikai tanulmányok, meta-analízisek és szabályozási dokumentumok felhasználásával. Eredmények: Az Amerikai Gyógyszerügyi Hivatal által engedélyezett autonóm algoritmusok a diabéteszes retinopátia szűrésében szemész bevonása nélkül képesek referálási szintű elváltozásokat detektálni (érzékenység 87–96%, specificitás 85–94%). A generatív modellek a betegedukációban is megjelentek, de pontossági problémák limitálják használatukat. Következtetés: A mesterséges intelligencia alapú szemészeti szűrőrendszerek jelentősen növelhetik a szűrés hatékonyságát és hozzáférhetőségét. Az európai uniós szabályozói környezet szigorú követelményeket ír elő a biztonságos működés érdekében. Kulcsszavak: mesterséges intelligencia; szemészeti szűrés; diabéteszes retinopátia; generatív modellek; betegedukáció; egészségügyi informatika
- Open Access
- 28 July 2026
- Published by Elsevier in The Journal of Prosthetic Dentistry
- Vol. 136 (4) , 1157-1169
Automated classification of dental implant brands and prosthetic platform sizes on panoramic radiographs using deep learning
- 28 July 2026
- Published by Elsevier in The Journal of Prosthetic Dentistry
- Vol. 136 (4) , 1157-1169
Open AccessAutomated classification of dental implant brands and prosthetic platform sizes on panoramic radiographs using deep learning
- Open Access
- 2 September 2025
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 24 (KSZ 1) , 4-10
Egészségügyi adatvagyon hasznosításának lehetőségei Magyarországon
- 2 September 2025
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 24 (KSZ 1) , 4-10
Open AccessEgészségügyi adatvagyon hasznosításának lehetőségei Magyarországon
- Open Access
Censoring Sensitivity Analysis for Benchmarking Survival Machine Learning Methods
(1) Background: Survival analysis models in clinical research must effectively handle censored data, where complete survival times are unknown for some subjects. While established methodologies exist for validating standard machine learning models, current benchmarking approaches rarely assess model robustness under varying censoring conditions. This limitation creates uncertainty about model reliability in real-world applications where censoring patterns may differ from training data. We address this gap by introducing a systematic benchmarking methodology focused on censoring sensitivity. (2) Methods: We developed a benchmarking framework that assesses survival models through controlled modification of censoring conditions. Five models were evaluated: Cox proportional hazards, survival tree, random survival forest, gradient-boosted survival analysis, and mixture density networks. The framework systematically reduced observation periods and increased censoring rates while measuring performance through multiple metrics following Bayesian hyperparameter optimization. (3) Results: Model performance showed greater sensitivity to increased censoring rates than to reduced observation periods. Non-linear models, especially mixture density networks, exhibited higher vulnerability to data quality degradation. Statistical comparisons became increasingly challenging with higher censoring rates due to widened confidence intervals. (4) Conclusions: Our methodology provides a new standard for evaluating survival analysis models, revealing the critical impact of censoring on model performance. These findings offer practical guidance for model selection and development in clinical applications, emphasizing the importance of robust censoring handling strategies.
Open AccessCensoring Sensitivity Analysis for Benchmarking Survival Machine Learning Methods
(1) Background: Survival analysis models in clinical research must effectively handle censored data, where complete survival times are unknown for some subjects. While established methodologies exist for validating standard machine learning models, current benchmarking approaches rarely assess model robustness under varying censoring conditions. This limitation creates uncertainty about model reliability in real-world applications where censoring patterns may differ from training data. We address this gap by introducing a systematic benchmarking methodology focused on censoring sensitivity. (2) Methods: We developed a benchmarking framework that assesses survival models through controlled modification of censoring conditions. Five models were evaluated: Cox proportional hazards, survival tree, random survival forest, gradient-boosted survival analysis, and mixture density networks. The framework systematically reduced observation periods and increased censoring rates while measuring performance through multiple metrics following Bayesian hyperparameter optimization. (3) Results: Model performance showed greater sensitivity to increased censoring rates than to reduced observation periods. Non-linear models, especially mixture density networks, exhibited higher vulnerability to data quality degradation. Statistical comparisons became increasingly challenging with higher censoring rates due to widened confidence intervals. (4) Conclusions: Our methodology provides a new standard for evaluating survival analysis models, revealing the critical impact of censoring on model performance. These findings offer practical guidance for model selection and development in clinical applications, emphasizing the importance of robust censoring handling strategies.
- Top Cited PapersOpen Access
- 10 February 2025
- Published by MDPI AG in Machine Learning and Knowledge Extraction
- Vol. 7 (1) , 15
Investigating the Performance of Retrieval-Augmented Generation and Domain-Specific Fine-Tuning for the Development of AI-Driven Knowledge-Based Systems
Generative large language models (LLMs) have revolutionized the development of knowledge-based systems, enabling new possibilities in applications like ChatGPT, Bing, and Gemini. Two key strategies for domain adaptation in these systems are Domain-Specific Fine-Tuning (DFT) and Retrieval-Augmented Generation (RAG). In this study, we evaluate the performance of RAG and DFT on several LLM architectures, including GPT-J-6B, OPT-6.7B, LLaMA, and LLaMA-2. We use the ROUGE, BLEU, and METEOR scores to evaluate the performance of the models. We also measure the performance of the models with our own designed cosine similarity-based Coverage Score (CS). Our results, based on experiments across multiple datasets, show that RAG-based systems consistently outperform those fine-tuned with DFT. Specifically, RAG models outperform DFT by an average of 17% in ROUGE, 13% in BLEU, and 36% in CS. At the same time, DFT achieves only a modest advantage in METEOR, suggesting slightly better creative capabilities. We also highlight the challenges of integrating RAG with DFT, as such integration can lead to performance degradation. Furthermore, we propose a simplified RAG-based architecture that maximizes efficiency and reduces hallucination, underscoring the advantages of RAG in building reliable, domain-adapted knowledge systems.
- 10 February 2025
- Published by MDPI AG in Machine Learning and Knowledge Extraction
- Vol. 7 (1) , 15
Top Cited PapersOpen AccessInvestigating the Performance of Retrieval-Augmented Generation and Domain-Specific Fine-Tuning for the Development of AI-Driven Knowledge-Based Systems
Generative large language models (LLMs) have revolutionized the development of knowledge-based systems, enabling new possibilities in applications like ChatGPT, Bing, and Gemini. Two key strategies for domain adaptation in these systems are Domain-Specific Fine-Tuning (DFT) and Retrieval-Augmented Generation (RAG). In this study, we evaluate the performance of RAG and DFT on several LLM architectures, including GPT-J-6B, OPT-6.7B, LLaMA, and LLaMA-2. We use the ROUGE, BLEU, and METEOR scores to evaluate the performance of the models. We also measure the performance of the models with our own designed cosine similarity-based Coverage Score (CS). Our results, based on experiments across multiple datasets, show that RAG-based systems consistently outperform those fine-tuned with DFT. Specifically, RAG models outperform DFT by an average of 17% in ROUGE, 13% in BLEU, and 36% in CS. At the same time, DFT achieves only a modest advantage in METEOR, suggesting slightly better creative capabilities. We also highlight the challenges of integrating RAG with DFT, as such integration can lead to performance degradation. Furthermore, we propose a simplified RAG-based architecture that maximizes efficiency and reduces hallucination, underscoring the advantages of RAG in building reliable, domain-adapted knowledge systems.
- Open Access
- 2 May 2024
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 23 (1) , 39-48
„Egészségpart” mobil nyári szűrő- és egészség-edukációs programsorozat: a 2021–2023. évek között megvalósult programok értékelése
In many countries, mobile health clinics operates, on the one hand, as a mobile platform for improving health literacy, raising awareness, and providing health education, and on the other hand, they also contribute to the screening of cancers and other non-communicable diseases. The goal of our “Egészségpart” program series launched in 2021 is to provide screenings, lifestyle counselling, and health education free-of-charge for the Hungarian, adult, working-age population vacationing or living at Lake Balaton, in order to detect early their diseases and improve their health literacy. The aim of the present study is to evaluate the input (partnership, human resources), process (activities, including screening and health education), and output indicators (number of participants and their socio-demographic characteristics) by applying descriptive statistical analyses. During the three years, 13 “Egészségpart” days were implemented, with an average of n=18–31 human resources present per day, and the number of partnerships was increased. Not all program activities were available in all three years, but overall, the number of screening and health education activities increased year by year (a maximum of 15 and 8 activities, respectively). The number of participants registered with socio-demographic data was between n=727–906, their average age was slightly over 50 years, the participation rate of females was around 60%, and in each year, the 45–64-year old age group participated in the largest proportion. Compared to the baseline year, >65-year old people participated increasingly in the program. The participation rate of residents living at Lake Balaton increased significantly from baseline to the third year (27% versus 53%, respectively). Complex evaluation of the “Egészségpart” program series is essential in order to identify areas for future development in program planning and implementation. Dynamic response for the changing socio-demographic characteristics and health needs of participants is necessary during year by year program planning. Besides, revision of professional partnerships as well as allocation of human resources are also needed. Számos országban az ún. mobil egészségklinikák egyrészt az egészségműveltséget javító, figyelemfelhívó és egészségedukációs mozgó platformként működnek, másrészt a daganatok- és más nem fertőző betegségek szűrésében is közreműködnek. A 2021-ben indított „Egészségpart” programsorozatunk célja a Balatonnál nyaraló, elsősorban munkaképes korú, magyar felnőtt lakosság számára ingyenes szűrések, életmód-tanácsadás és egészség-edukáció biztosítása a betegségek korai felismerése és az egészségműveltség javítása érdekében. Tanulmányunk célja a 2021–2023. évek nyári hónapjaiban, Balaton-parti településeken megvalósult, „Helybe visszük a szűrővizsgálatokat” szűrőprogramhoz kapcsolódó „Egészségpart” programsorozat értékelése bemeneti- (partnerség, humánerőforrás), folyamat- (aktivitások – szűrés és egészség-edukáció) és kimeneti (résztvevők száma és szociodemográfiai jellemzői) indikátorok alapján, leíró statisztikai elemzéssel. A három év során 13 „Egészségpart” nap valósult meg, átlagosan napi 18–31 humánerőforrás jelenléte és bővülő szakmai partnerségek mellett. A programaktivitások közül nem mindegyik volt jelen mindhárom évben, de összességében a szűrő- és egészség-edukációs aktivitások száma évről évre bővült (maximum 15, illetve 8 aktivitás). A szociodemográfiai adatokkal regisztrált résztvevők száma n=727–906 között alakult, átlagéletkoruk kissé 50 év feletti, a nők részvételi aránya 60% körüli volt, legnagyobb arányban minden évben a 45–64 éves korcsoport vett részt. A kiindulási évhez képest jelentősen emelkedett a >65 évesek érdeklődése a program iránt. A Balaton-környéki lakosok részvételi aránya az első évhez képest (27%) jelentősen megemelkedett a harmadik évre (53%). Az „Egészségpart” program komplex értékelése elengedhetetlen annak érdekében, hogy a későbbiekben fejlesztendő területek a programtervezésben és -megvalósításban azonosíthatókká váljanak. A résztvevők esetenként változó összetételére és igényeire dinamikus reagálás szükséges, valamint elengedhetetlen a szakmai partnerségek akár évről-évre történő felülvizsgálata és humánerőforrás allokálásának átgondolása.
- 2 May 2024
- Published by Magyar Egeszsegugyi Menedzsment Tarsasag in IME - Az egészségügyi vezetők szaklapja
- Vol. 23 (1) , 39-48
Open Access„Egészségpart” mobil nyári szűrő- és egészség-edukációs programsorozat: a 2021–2023. évek között megvalósult programok értékelése
In many countries, mobile health clinics operates, on the one hand, as a mobile platform for improving health literacy, raising awareness, and providing health education, and on the other hand, they also contribute to the screening of cancers and other non-communicable diseases. The goal of our “Egészségpart” program series launched in 2021 is to provide screenings, lifestyle counselling, and health education free-of-charge for the Hungarian, adult, working-age population vacationing or living at Lake Balaton, in order to detect early their diseases and improve their health literacy. The aim of the present study is to evaluate the input (partnership, human resources), process (activities, including screening and health education), and output indicators (number of participants and their socio-demographic characteristics) by applying descriptive statistical analyses. During the three years, 13 “Egészségpart” days were implemented, with an average of n=18–31 human resources present per day, and the number of partnerships was increased. Not all program activities were available in all three years, but overall, the number of screening and health education activities increased year by year (a maximum of 15 and 8 activities, respectively). The number of participants registered with socio-demographic data was between n=727–906, their average age was slightly over 50 years, the participation rate of females was around 60%, and in each year, the 45–64-year old age group participated in the largest proportion. Compared to the baseline year, >65-year old people participated increasingly in the program. The participation rate of residents living at Lake Balaton increased significantly from baseline to the third year (27% versus 53%, respectively). Complex evaluation of the “Egészségpart” program series is essential in order to identify areas for future development in program planning and implementation. Dynamic response for the changing socio-demographic characteristics and health needs of participants is necessary during year by year program planning. Besides, revision of professional partnerships as well as allocation of human resources are also needed. Számos országban az ún. mobil egészségklinikák egyrészt az egészségműveltséget javító, figyelemfelhívó és egészségedukációs mozgó platformként működnek, másrészt a daganatok- és más nem fertőző betegségek szűrésében is közreműködnek. A 2021-ben indított „Egészségpart” programsorozatunk célja a Balatonnál nyaraló, elsősorban munkaképes korú, magyar felnőtt lakosság számára ingyenes szűrések, életmód-tanácsadás és egészség-edukáció biztosítása a betegségek korai felismerése és az egészségműveltség javítása érdekében. Tanulmányunk célja a 2021–2023. évek nyári hónapjaiban, Balaton-parti településeken megvalósult, „Helybe visszük a szűrővizsgálatokat” szűrőprogramhoz kapcsolódó „Egészségpart” programsorozat értékelése bemeneti- (partnerség, humánerőforrás), folyamat- (aktivitások – szűrés és egészség-edukáció) és kimeneti (résztvevők száma és szociodemográfiai jellemzői) indikátorok alapján, leíró statisztikai elemzéssel. A három év során 13 „Egészségpart” nap valósult meg, átlagosan napi 18–31 humánerőforrás jelenléte és bővülő szakmai partnerségek mellett. A programaktivitások közül nem mindegyik volt jelen mindhárom évben, de összességében a szűrő- és egészség-edukációs aktivitások száma évről évre bővült (maximum 15, illetve 8 aktivitás). A szociodemográfiai adatokkal regisztrált résztvevők száma n=727–906 között alakult, átlagéletkoruk kissé 50 év feletti, a nők részvételi aránya 60% körüli volt, legnagyobb arányban minden évben a 45–64 éves korcsoport vett részt. A kiindulási évhez képest jelentősen emelkedett a >65 évesek érdeklődése a program iránt. A Balaton-környéki lakosok részvételi aránya az első évhez képest (27%) jelentősen megemelkedett a harmadik évre (53%). Az „Egészségpart” program komplex értékelése elengedhetetlen annak érdekében, hogy a későbbiekben fejlesztendő területek a programtervezésben és -megvalósításban azonosíthatókká váljanak. A résztvevők esetenként változó összetételére és igényeire dinamikus reagálás szükséges, valamint elengedhetetlen a szakmai partnerségek akár évről-évre történő felülvizsgálata és humánerőforrás allokálásának átgondolása.
- Open Access
- 19 January 2024
- Published by BMJ in Tobacco Control
- Vol. 34 (4) , 430-435
Impact of regulatory tightening of the Hungarian tobacco retail market on availability, access and cigarette smoking prevalence of adolescents
Introduction Policies that reduce tobacco retail density to decrease tobacco use among the youth are critical for the tobacco endgame. This paper reviews a Hungarian tobacco regulatory measure, which, since 2013, has confined the sale of tobacco products exclusively to so-called National Tobacco Shops, summarises the changes in the national tobacco retail marketplace and reports on analyses of the impact of this intervention on illegal sales to minors and adolescent smoking behaviour. Methods We reviewed the available national statistical data on the structure and dynamics of the tobacco retail market. Changes in lifetime and current (past 30 days) use of cigarettes among Hungarian adolescents aged 13–17 years were assessed using data from international youth surveys on health behaviours collected in 2010–2020. Results Since the start of policy implementation, the density of tobacco shops in Hungary decreased by 85%, from 4.1 to 0.6 per 1000 persons. The prevalence of lifetime and current cigarette smoking among adolescents declined by 13–24 percentage points (pp) and by 4.8–15 pp, respectively. The rate of illegal sales of tobacco products to minors decreased by 27.6 pp, although the prevalence of compensatory access strategies, especially asking others to buy cigarettes for minors, increased. Conclusions After a significant decrease in the nationwide availability of licensed tobacco retailers, Hungary experienced short-term reductions in youth smoking prevalence. However, the sporadic implementation of complementary, evidence-based tobacco control strategies might limit further declines in youth smoking initiation and tobacco product use.
- 19 January 2024
- Published by BMJ in Tobacco Control
- Vol. 34 (4) , 430-435
Open AccessImpact of regulatory tightening of the Hungarian tobacco retail market on availability, access and cigarette smoking prevalence of adolescents
Introduction Policies that reduce tobacco retail density to decrease tobacco use among the youth are critical for the tobacco endgame. This paper reviews a Hungarian tobacco regulatory measure, which, since 2013, has confined the sale of tobacco products exclusively to so-called National Tobacco Shops, summarises the changes in the national tobacco retail marketplace and reports on analyses of the impact of this intervention on illegal sales to minors and adolescent smoking behaviour. Methods We reviewed the available national statistical data on the structure and dynamics of the tobacco retail market. Changes in lifetime and current (past 30 days) use of cigarettes among Hungarian adolescents aged 13–17 years were assessed using data from international youth surveys on health behaviours collected in 2010–2020. Results Since the start of policy implementation, the density of tobacco shops in Hungary decreased by 85%, from 4.1 to 0.6 per 1000 persons. The prevalence of lifetime and current cigarette smoking among adolescents declined by 13–24 percentage points (pp) and by 4.8–15 pp, respectively. The rate of illegal sales of tobacco products to minors decreased by 27.6 pp, although the prevalence of compensatory access strategies, especially asking others to buy cigarettes for minors, increased. Conclusions After a significant decrease in the nationwide availability of licensed tobacco retailers, Hungary experienced short-term reductions in youth smoking prevalence. However, the sporadic implementation of complementary, evidence-based tobacco control strategies might limit further declines in youth smoking initiation and tobacco product use.
- Open Access
A multimodal deep learning architecture for smoking detection with a small data approach
Introduction Covert tobacco advertisements often raise regulatory measures. This paper presents that artificial intelligence, particularly deep learning, has great potential for detecting hidden advertising and allows unbiased, reproducible, and fair quantification of tobacco-related media content. Methods We propose an integrated text and image processing model based on deep learning, generative methods, and human reinforcement, which can detect smoking cases in both textual and visual formats, even with little available training data. Results Our model can achieve 74% accuracy for images and 98% for text. Further-more, our system integrates the possibility of expert intervention in the form of human reinforcement. Conclusions Using the pre-trained multimodal, image, and text processing models available through deep learning makes it possible to detect smoking in different media even with few training data.
Open AccessA multimodal deep learning architecture for smoking detection with a small data approach
Introduction Covert tobacco advertisements often raise regulatory measures. This paper presents that artificial intelligence, particularly deep learning, has great potential for detecting hidden advertising and allows unbiased, reproducible, and fair quantification of tobacco-related media content. Methods We propose an integrated text and image processing model based on deep learning, generative methods, and human reinforcement, which can detect smoking cases in both textual and visual formats, even with little available training data. Results Our model can achieve 74% accuracy for images and 98% for text. Further-more, our system integrates the possibility of expert intervention in the form of human reinforcement. Conclusions Using the pre-trained multimodal, image, and text processing models available through deep learning makes it possible to detect smoking in different media even with few training data.
- Open Access
- 9 December 2022
- Published by Springer Nature in Scientific Reports
- Vol. 12 (1) , 1-11
Physical imaging parameter variation drives domain shift
Statistical learning algorithms strongly rely on an oversimplified assumption for optimal performance, that is, source (training) and target (testing) data are independent and identically distributed. Variation in human tissue, physician labeling and physical imaging parameters (PIPs) in the generative process, yield medical image datasets with statistics that render this central assumption false. When deploying models, new examples are often out of distribution with respect to training data, thus, training robust dependable and predictive models is still a challenge in medical imaging with significant accuracy drops common for deployed models. This statistical variation between training and testing data is referred to as domain shift (DS).To the best of our knowledge we provide the first empirical evidence that variation in PIPs between test and train medical image datasets is a significant driver of DS and model generalization error is correlated with this variance. We show significant covariate shift occurs due to a selection bias in sampling from a small area of PIP space for both inter and intra-hospital regimes. In order to show this, we control for population shift, prevalence shift, data selection biases and annotation biases to investigate the sole effect of the physical generation process on model generalization for a proxy task of age group estimation on a combined 44 k image mammogram dataset collected from five hospitals.We hypothesize that training data should be sampled evenly from PIP space to produce the most robust models and hope this study provides motivation to retain medical image generation metadata that is almost always discarded or redacted in open source datasets. This metadata measured with standard international units can provide a universal regularizing anchor between distributions generated across the world for all current and future imaging modalities.
- 9 December 2022
- Published by Springer Nature in Scientific Reports
- Vol. 12 (1) , 1-11
Open AccessPhysical imaging parameter variation drives domain shift
Statistical learning algorithms strongly rely on an oversimplified assumption for optimal performance, that is, source (training) and target (testing) data are independent and identically distributed. Variation in human tissue, physician labeling and physical imaging parameters (PIPs) in the generative process, yield medical image datasets with statistics that render this central assumption false. When deploying models, new examples are often out of distribution with respect to training data, thus, training robust dependable and predictive models is still a challenge in medical imaging with significant accuracy drops common for deployed models. This statistical variation between training and testing data is referred to as domain shift (DS).To the best of our knowledge we provide the first empirical evidence that variation in PIPs between test and train medical image datasets is a significant driver of DS and model generalization error is correlated with this variance. We show significant covariate shift occurs due to a selection bias in sampling from a small area of PIP space for both inter and intra-hospital regimes. In order to show this, we control for population shift, prevalence shift, data selection biases and annotation biases to investigate the sole effect of the physical generation process on model generalization for a proxy task of age group estimation on a combined 44 k image mammogram dataset collected from five hospitals.We hypothesize that training data should be sampled evenly from PIP space to produce the most robust models and hope this study provides motivation to retain medical image generation metadata that is almost always discarded or redacted in open source datasets. This metadata measured with standard international units can provide a universal regularizing anchor between distributions generated across the world for all current and future imaging modalities.
- Open Access
- 16 May 2022
- Published by Elsevier in Addictive Behaviors Reports
- Vol. 15, 100432
Perceived harm of heated tobacco products, e-cigarettes, and nicotine replacement therapy compared with conventional cigarettes among ever and current heated tobacco users
- 16 May 2022
- Published by Elsevier in Addictive Behaviors Reports
- Vol. 15, 100432
Open AccessPerceived harm of heated tobacco products, e-cigarettes, and nicotine replacement therapy compared with conventional cigarettes among ever and current heated tobacco users