Aghiles Kebaili

Deep Generative Models for the Prediction of Brain Tumor Progression from Multimodal Data: L'apprentissage profond a révolutionné l'imagerie médicale, permettant une précision sans précédent dans des tâches telles que la segmentation d'organes, la détection de lésions et la classification tissulaire. Il devient de plus en plus essentiel d'appliquer ces méthodes à des prédictions cliniques complexes, notamment la progression du cancer et la réponse au traitement. Dans cette thèse, nous nous intéressons à la prédiction spatiale pixel à pixel de l'évolution des tumeurs cérébrales, en particulier des gliomes, en développant une framework novatrice pour la modélisation spatiale de la croissance tumorale. Ces tâches de prédiction sont intrinsèquement complexes et exigent de vastes jeux de données longitudinales et multimodales afin d'appréhender l'ensemble des paramètres cliniques, biologiques ou radiologiques qui régissent le comportement tumoral. Or, les données d'imagerie médicale restent très limitées : d'une part à cause de protocoles d'acquisition lourds et coûteux, de la réglementation sur la confidentialité, et de la survie restreinte des patients atteints de gliome, d'autre part en raison de la nature souvent irrégulière des suivis IRM en pratique clinique, qui aboutit à des séries incomplètes et déséquilibrées. Pour surmonter ces difficultés, nous proposons dans la première partie de notre travail deux méthodes d'augmentation générative, tirant parti des autoencodeurs variationnels et des modèles de diffusion pour synthétiser des images médicales longitudinales de haute fidélité ainsi que leurs masques de segmentation correspondants, offrant une représentation spatiale claire des tumeurs générées. En enrichissant le jeu de données d'entraînement de cette façon, nous améliorons significativement la qualité des modèles prédictifs en aval. En nous appuyant sur les données synthétiques générées précédemment, nous avons élaboré un modèle de diffusion multitâche, capable de prévoir l'évolution spatiale des gliomes à partir de deux acquisitions initiales uniquement. Lors de nos tests sur des cohortes publiques et privées, il atteint un coefficient de Dice moyen de 0,75 sur des prévisions s'étalant sur plusieurs mois, tout en conservant une robustesse remarquable entre différents centres d'imagerie. En combinant notre approche d'augmentation générative, cette approche démontre la possibilité de modéliser avec précision la progression des gliomes, sans être contraint par un repère temporel fixe, même lorsque les séries longitudinales restent limitées. Ces résultats représentent une avancée majeure pour la neuro-oncologie, en offrant aux cliniciens un outil de planification thérapeutique plus fin et adapté à chaque patient.

Despite the increasing use of deep learning in medical image segmentation, acquiring sufficient training data remains a challenge in the medical field. In response, data augmentation techniques have been proposed; however, the generation of diverse and realistic medical images and their corresponding masks remains a difficult task, especially when working with insufficient training sets. To address these limitations, we present an end-to-end architecture based on the Hamiltonian Variational Autoencoder (HVAE). This approach yields an improved posterior distribution approximation compared to traditional Variational Autoencoders (VAE), resulting in higher image generation quality. Our method outperforms generative adversarial architectures under data-scarce conditions, showcasing enhancements in image quality and precise tumor mask synthesis. We conduct experiments on two publicly available datasets, MICCAI's Brain Tumor Segmentation Challenge (BRATS), and Head and Neck Tumor Segmentation Challenge (HECKTOR), demonstrating the effectiveness of our method on different medical imaging modalities.

Deep learning has become a popular tool for medical image analysis, but the limited availability of training data remains a major challenge, particularly in the medical field where data acquisition can be costly and subject to privacy regulations. Data augmentation techniques offer a solution by artificially increasing the number of training samples, but these techniques often produce limited and unconvincing results. To address this issue, a growing number of studies have proposed the use of deep generative models to generate more realistic and diverse data that conform to the true distribution of the data. In this review, we focus on three types of deep generative models for medical image augmentation: variational autoencoders, generative adversarial networks, and diffusion models. We provide an overview of the current state of the art in each of these models and discuss their potential for use in different downstream tasks in medical imaging, including classification, segmentation, and cross-modal translation. We also evaluate the strengths and limitations of each model and suggest directions for future research in this field. Our goal is to provide a comprehensive review about the use of deep generative models for medical image augmentation and to highlight the potential of these models for improving the performance of deep learning algorithms in medical image analysis.