Note ABES AI-enabled IVUS-guided augmented reality for liver surgery Réalité augmentée et intelligence artificielle pour une chirurgie hépatique guidée par échographie intravascularie Intelligence Artificielle Réalité Augmentée Chirurgie Hépatique Artificial Intelligence Augmented Reality Liver Surgery 006 617.4 Intelligence artificielle en médecine Réalité augmentée Chirurgie assistée par ordinateur Cette thèse présente un nouveau système de réalité augmentée (RA) guidé par l'échographie intravasculaire (IVUS) destiné à améliorer la précision des interventions chirurgicales hépatiques mini-invasives. Bien que l'IVUS offre des avantages pour l'imagerie peropératoire, aucune méthode antérieure n’a intégré ces données en temps réel dans le guidage chirurgical des procédures hépatiques. La méthode proposée vise à aligner les données IVUS peropératoires avec les images CT préopératoires, offrant ainsi aux chirurgiens une vue anatomiquement précise des structures hépatiques, adaptée à la déformation de l'organe durant l'intervention. Pour la mise en place de ce système, nous adoptons une approche de recalage non-rigide basée sur les caractéristiques anatomiques, combinant un modèle biomécanique avec des modèles d'intelligence artificielle (IA). Cette combinaison permet d'assurer à la fois la précision et le fonctionnement en temps réel. Les contributions majeures comprennent le développement du SOniCS, intègrant FEniCS et SOFA pour une modélisation précise des tissus mous, ainsi qu'une méthode alimentée par l'IA permettant de reconstruire des volumes IVUS 3D sans systèmes de suivi externes, simplifiant ainsi la configuration chirurgicale. La contribution principale est la méthode de recalage spécifique au patient et fonctionnant en temps réel, permettant un alignement continu des données IVUS avec les modèles préopératoires et une adaptation aux caractéristiques individuelles des patients. Le travail présenté dans cette thèse constitue une avancée significative dans le domaine de la chirurgie hépatique assistée par ordinateur, offrant un système pratique pour assister les interventions chirurgicales hépatiques mini-invasives. This thesis presents a novel augmented reality (AR) system guided by intravascular ultrasound (IVUS) to enhance the precision of minimally invasive liver surgeries. While IVUS provides advantages for intraoperative imaging, no previous method has integrated this real-time data into the surgical guidance of liver procedures. The proposed method aims to align intraoperative IVUS data with preoperative CT images, providing surgeons with an anatomically accurate view of liver structures that adapt to the deformation of the organ during the intervention. We adopt a non-rigid registration approach based on anatomical features to implement this system, which combines a biomechanical model with artificial intelligence (AI) models. This combination allows for both accuracy and real-time. Major contributions include the development of SOniCS, a framework that integrates FEniCS and SOFA for accurate soft tissue simulation, and an AI-driven method for reconstructing 3D IVUS volumes without external tracking systems, thus simplifying the surgical setup. The primary contribution of this thesis is developing a patient-specific, real-time registration method that allows for continuous alignment of IVUS data with preoperative models and adaptation to patient-specific characteristics. The work presented in this thesis represents an advancement in computer-assisted liver surgery, providing a practical system to assist minimally invasive liver interventions. Electronic Thesis or Dissertation Text en PDF 15686361 https://publication-theses.unistra.fr/public/theses_doctorat/2024/ELHADRAMY_Sidaty_2024_ED269.pdf http://www.theses.fr/2024STRAD031/abes https://theses.hal.science/tel-04834247 https://theses.hal.science/tel-04834247 https://theses.hal.science/tel-04834247 https://theses.hal.science/tel-04834247 El Hadramy Sidaty 1997-12-10 FR 282928650 0ELLAQ01HK0 22126910 4200018 https://theses.fr/2024STRAD031 2024STRAD031 https://doi.org/10.70675/4f39b582zde14z401bzb5e5zd93977d5505e 2024-12-02 Informatique Strasbourg 131056549 Doctorat Docteur es non oui Cotin Stéphane MADS_DIRECTEUR_DE_THESE_1 081392931 Padoy Nicolas MADS_DIRECTEUR_DE_THESE_2 14741167X Essert Caroline MADS_PRESIDENT_DU_JURY 067239773 Elle Ole Jacob MADS_MEMBRE_DU_JURY_1 263475123 Delingette Hervé MADS_RAPPORTEUR_1 050645714 Payan Yohan MADS_RAPPORTEUR_2 069363978 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 269 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 260728 176969721 ddc:004 ddc:610 Cotin Stéphane Padoy Nicolas Essert Caroline Elle Ole Jacob Delingette Hervé Payan Yohan École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) PDF 15686361