Note ABES Vision-based approaches for surgical activity recognition using laparoscopic and RBGD videos Approches basées vision pour la reconnaissance d’activités chirurgicales à partir de vidéos laparoscopiques et multi-vues RGBD Reconnaissance d’activités chirurgicales Deep learning Vidéo laparoscopique Vidéo multi-vues RGBD Computer vision Deep learning Laparoscopic video Multi-view RGBD video Machine learning Activity recognition Surgical workflow modeling 006.4 617.9 Coelioscopie Imagerie interventionnelle Traitement d'images -- Techniques numériques Vision par ordinateur en médecine Laparoscopie Dissertations universitaires Cette thèse a pour objectif la conception de méthodes pour la reconnaissance automatique des activités chirurgicales. Cette reconnaissance est un élément clé pour le développement de systèmes réactifs au contexte clinique et pour des applications comme l’assistance automatique lors de chirurgies complexes. Nous abordons ce problème en utilisant des méthodes de Vision puisque l’utilisation de caméras permet de percevoir l’environnement sans perturber la chirurgie. Deux types de vidéos sont utilisées : des vidéos laparoscopiques et des vidéos multi-vues RGBD. Nous avons d’abord étudié les résultats obtenus avec les méthodes de l’état de l’art, puis nous avons proposé des nouvelles approches basées sur le « Deep learning ». Nous avons aussi généré de larges jeux de données constitués d’enregistrements de chirurgies. Les résultats montrent que nos méthodes permettent d’obtenir des meilleures performances pour la reconnaissance automatique d’activités chirurgicales que l’état de l’art. The main objective of this thesis is to address the problem of activity recognition in the operating room (OR). Activity recognition is an essential component in the development of context-aware systems, which will allow various applications, such as automated assistance during difficult procedures. Here, we focus on vision-based approaches since cameras are a common source of information to observe the OR without disrupting the surgical workflow. Specifically, we propose to use two complementary video types: laparoscopic and OR-scene RGBD videos. We investigate how state-of-the-art computer vision approaches perform on these videos and propose novel approaches, consisting of deep learning approaches, to carry out the tasks. To evaluate our proposed approaches, we generate large datasets of recordings of real surgeries. The results demonstrate that the proposed approaches outperform the state-of-the-art methods in performing surgical activity recognition on these new datasets. Electronic Thesis or Dissertation Text en PDF 8659339 Université de Strasbourg Strasbourg 2017-12-31 https://theses.hal.science/tel-01557522 application/pdf 8336803 https://publication-theses.unistra.fr/public/theses_doctorat/2017/Twinanda_AndruPutra_2017_ED269.pdf http://www.theses.fr/2017STRAD005/abes https://theses.hal.science/tel-01557522 https://theses.hal.science/tel-01557522 https://theses.hal.science/tel-01557522 Twinanda Andru Putra 1990-02-24 ID 202911896 https://theses.fr/2017STRAD005 2017STRAD005 https://doi.org/10.70675/767f12cazeacfz469bz8dc7z3678ac4ee7c6 2017-01-27 Image et vision Strasbourg 131056549 Doctorat Docteur es non oui Mathelin Michel de MADS_DIRECTEUR_DE_THESE_1 079382983 Troccaz Jocelyne MADS_PRESIDENT_DU_JURY 031497977 Padoy Nicolas MADS_MEMBRE_DU_JURY_1 14741167X Hager Gregory D. MADS_RAPPORTEUR_1 110117069 Quellec Gwenolé MADS_RAPPORTEUR_2 129585998 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 176969721 260728 ddc:004 ddc:610 De Mathelin Michel Pertin Jocelyne Padoy Nicolas Hager Gregory D. Quellec Gwenole École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg) PDF 8659339