Ali Taleb

Réalité augmentée basée sur les caractéristiques de l'image dans la chirurgie de l'oreille mini-invasive: Le domaine de la chirurgie otolaryngologique a connu des avancées significatives grâce à l’intégration des technologies de réalité augmentée (RA). La RA offre le potentiel de fournir une précision accrue et une sécurité renforcée lors des procédures délicates. Cette recherche se concentre sur le développement d'un système de recalage spécialisé pour la chirurgie endoscopique de l’oreille.L’approche initiale consistait à aligner des images 2D dérivées de séquences endoscopiques avec des endoscopies virtuelles générées à partir de scanners CT. En utilisant une méthode de segmentation basée sur l’apprentissage profond, les caractéristiques anatomiques du marteau et de la membrane tympanique ont été identifiées. Ensuite, l’algorithme des points les plus proches itératifs (ICP) a été appliqué pour aligner les caractéristiques segmentées. Cela a permis de superposer de manière transparente les données préopératoires aux vues chirurgicales en direct.Les développements ultérieurs de la recherche ont inclus la transition du recalage 2D-vers-2D à un processus d'alignement plus sophistiqué de type 3D-vers-2D. L'algorithme comprenait un processus d'optimisation permettant le rendu d'une image avec une vue claire des structures de l'oreille moyenne. L'évaluation dans un cadre chirurgical contrôlé à l'aide de fantômes d'os temporal a démontré la grande précision du système pour le recalage des images et son potentiel à réduire les erreurs humaines pendant les opérations. De plus, dans une étude novatrice, nous avons évalué l’approche de l’erreur de reprojection de recalage cible (TRRE) comme métrique pour mesurer l'erreur de recalage. Le TRRE évalue l’erreur lorsqu'une des entrées est de dimension 2D. Il a été constaté que la métrique est influencée par plusieurs facteurs, tels que la distance de la cible par rapport à l'objectif de la caméra.En outre, une revue systématique des techniques de recalage image-patient a été réalisée. Elle a mis en lumière les forces et les limites de diverses méthodes, notamment celles basées sur l'anatomie, sur les marqueurs, sur les surfaces, et sur la vision par ordinateur. La revue a souligné la nécessité de méthodes de recalage précises et rapides pour les chirurgies assistées par ordinateur (CAS). Les résultats ont suggéré que les méthodes invasives basées sur des marqueurs restent la référence en termes de précision, tandis que les méthodes basées sur les surfaces offrent une rapidité supérieure mais avec une précision moindre. Les méthodes émergentes basées sur la vision par ordinateur promettent des performances en temps réel, mais nécessitent des améliorations pour faire face aux défis chirurgicaux tels que les déplacements de tissus et les changements anatomiques rapides.La recherche a également exploré l’utilisation de l’Homologie Persistante, une théorie mathématique, pour la tâche de segmentation. L’HP a été intégrée dans la fonction de perte du U-Net, dans le but d’apprendre au modèle à capturer les caractéristiques topologiques des anatomies cibles. En raison des temps d’exécution prolongés, les travaux actuels se concentrent sur le développement d’une bibliothèque HP compatible avec les GPU plutôt qu’avec les CPU.D’un point de vue pratique, le système de RA développé présente plusieurs avantages pour les chirurgies endoscopiques de l’oreille. D’un point de vue médical, il permet des interventions extrêmement précises, réduisant les complications postopératoires possibles. D’un point de vue technique, la recherche a relevé des défis liés au traitement d’images, à la réduction de la latence, et à la création d’un système convivial.Les travaux futurs pourraient se concentrer sur l'intégration de modalités d'imagerie supplémentaires comme l'IRM peropératoire et sur l'amélioration des modèles d’apprentissage profond pour une extraction de caractéristiques encore plus robuste.

Augmented reality in the operating room enhances surgical precision. Merging information from preoperative 3D imaging into the real-time video during surgery allows for better visualization of critical structures. Displaying an augmented real-time video on a screen requires a 2D/3D to 2D image registration as a preliminary step. An accurate error estimation is crucial for evaluating the system’s performance. A reprojection error estimation has been commonly calculated based on a pinhole camera model, which does not accurately represent the optical properties of an endoscope or an operative microscope. In our work, a system for registering a CT-scan to a 2D-otoendoscopic video was evaluated. This system was designed for use in an augmented reality setup for ear surgery. Evaluation was performed using the target registration reprojection error measurement. A comparison between the pinhole camera model and the thin-lens model was conducted. Additionally, a quantification formula for the target registration reprojection error was established and the parameters affecting it were analyzed. Specifically, the target’s distance from the camera lens and its angle of alignment with the optical axis were assessed. Five human ear resin models bearing spherical Markers with their corresponding CT-scans were used. The estimated error with the thin-lens model was 0.65 ± 0.52 mm versus 0.79 ± 0.60 mm with the pinhole model (18% of difference). Target registration reprojection error tended to be correlated to the distance from the camera lens. In conclusion, both the target-lens distance and the target alignment influence the target registration reprojection error measurement. The choice of the optical model affects significantly the error estimation, and the thin-lens model should be preferred in endoscopic applications. Based on the results, the tested augmented reality system is compatible with ear surgery.

Today, image-guided systems play a significant role in improving the outcome of diagnostic and therapeutic interventions. They provide crucial anatomical information during the procedure to decrease the size and the extent of the approach, to reduce intraoperative complications, and to increase accuracy, repeatability, and safety. Image-to-patient registration is the first step in image-guided procedures. It establishes a correspondence between the patient’s preoperative imaging and the intraoperative data. When it comes to the head-and-neck region, the presence of many sensitive structures such as the central nervous system or the neurosensory organs requires a millimetric precision. This review allows evaluating the characteristics and the performances of different registration methods in the head-and-neck region used in the operation room from the perspectives of accuracy, invasiveness, and processing times. Our work led to the conclusion that invasive marker-based methods are still considered as the gold standard of image-to-patient registration. The surface-based methods are recommended for faster procedures and applied on the surface tissues especially around the eyes. In the near future, computer vision technology is expected to enhance these systems by reducing human errors and cognitive load in the operating room.