Note ABES Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos Méthodes d'apprentissage profond pour la détection et la reconnaissance d'outils et d'activités chirurgicaux dans les vidéos laparoscopiques Apprentissage profond Détection d'outils Suivi d'outils Interaction outil-tissu Reconnaissance de triplet d'action CholectT50 Supervision faible Mécanisme d'attention Deep learning Tool detection Tool tracking Tool-tissue interaction Action triplet recognition CholecT50 Weak supervision Attention mechanism 610 Robotique en médecine Apprentissage profond Chirurgie -- Informatique Nous abordons les deux problèmes de détection d'outils et de reconnaissance d'activité à grain fin en salle d'opération, qui sont essentielles pour le développement d'applications d'assistance chirurgicale. En tirant parti d'une supervision faible pour la modélisation temporelle et la localisation spatiale, nous proposons un modèle de détection et de suivi conjoint pour les instruments chirurgicaux, contournant le manque de jeu de données annotées spatialement. Pour une assistance plus utile de l'IA dans la salle d'opération, nous formalisons les activités chirurgicales sous forme de triplets de <instrument, verbe, cible>, et proposons plusieurs méthodes d'apprentissage en profondeur, qui tirent parti de l'activation de l'instrument, des mécanismes d'attention spatiale et sémantique, pour reconnaître les triplés directement à partir de vidéos. L'évaluation est effectuée sur des ensembles de données, que nous introduisons dans cette thèse, et donne des résultats de pointe pour ces tâches. In this thesis, we address the two problem of tool detection and fine-grained activity recognition in the operating room (OR), which are key ingredients in the development of surgical assistance applications. Leveraging weak supervision for temporal modeling and spatial localization, we propose a joint detection and tracking model for surgical instruments, circumventing the lack of spatially annotated dataset on this task. For a more helpful AI assistance in the OR, we formalize surgical activities as triplets of <instrument, verb, target>, and propose several deep learning methods, that leverages instrument's activation, spatial attention, and semantic attention mechanisms, to recognize these triplets directly from surgical videos. Evaluation is performed on large scale datasets, which we introduce in this thesis, obtaining state-of-the-art results for these tasks Electronic Thesis or Dissertation Text en PDF 23210094 Université de Strasbourg Strasbourg 2022-12-31 https://theses.hal.science/tel-03855189 application/pdf 20785099 https://publication-theses.unistra.fr/public/theses_doctorat/2021/Nwoye_Chinedu_2021_ED269.pdf http://www.theses.fr/2021STRAD038/abes https://theses.hal.science/tel-03855189 https://theses.hal.science/tel-03855189 https://theses.hal.science/tel-03855189 Nwoye Chinedu Innocent 1989-10-16 FR 264797388 0EFB1T05KP5 21823318 4200018 https://theses.fr/2021STRAD038 2021STRAD038 https://doi.org/10.70675/373ea1f9z2f19z4553zaf89ze13a45a6682c 2021-11-16 Image et vision Strasbourg 131056549 Doctorat Docteur es non oui Padoy Nicolas MADS_DIRECTEUR_DE_THESE_1 14741167X Mutter Didier MADS_DIRECTEUR_DE_THESE_2 090340612 Navab Nassir MADS_PRESIDENT_DU_JURY 147411777 Speidel Stefanie MADS_RAPPORTEUR_1 243206038 Sznitman Raphaël MADS_RAPPORTEUR_2 231502184 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 269 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 260728 176969721 ddc:610 Padoy Nicolas Mutter Didier Navab Nassir Speidel Stefanie Sznitman Raphaël École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg) PDF 23210094