Note ABES Recognition and retrieval tasks in large quasi-unannotated surgical video databases Reconnaissance et fouille dans une grande base de vidéos endoscopiques quasi-non annotée Apprentissage profond Vision par ordinateur Fouille Hachage Apprentissage auto-supervisé Apprentissage semi-supervisé Endoscopie Deep learning Computer vision Retrieval Hashing Self-supervised learning Semi-supervised learning Endoscopy 006 Endoscopie Reconnaissance des formes (informatique) Les flux vidéos endoscopiques, riches en informations sur le site opératoire, ont un fort potentiel pour alimenter des algorithmes de vision fondés sur l’apprentissage profond. Ces algorithmes peuvent en effet opérer au sein de systèmes de chirurgie assistée par ordinateur, capables d’améliorer la qualité de vie des patients. Cependant, dans les conditions classiques de supervision complète, cette approche nécessiterait de vastes quantités de vidéos annotées. Or les annotations, contrairement aux vidéos elles-mêmes, sont rares, incitant ainsi à des méthodes utilisant des vidéos non-annotées. Nous proposons d’abord une méthode semi-supervisée de reconnaissance de phase, générant des annotations automatiques pour un modèle opérant en temps réel. Nous passons ensuite de la reconnaissance à la fouille de vidéos, avec des méthodes auto-supervisées recherchant en direct du contenu similaire à un flux vidéo au sein d’une grande base de données. Endoscopic video streams, as rich sources of information on the operating field, show great potential for exploitation by deep learning-based computer vision algorithms. Such algorithms can indeed serve as the foundation for context-aware surgery systems, capable of improving clinical outcomes by assisting surgeons during interventions. However this approach would require, under ordinary circumstances of full supervision, vast quantities of annotated recordings. While video data is abundant in endoscopy, annotations are highly scarce, which calls for alternative solutions using unannotated videos. We first propose a semi-supervised surgical phase recognition method, where an offline teacher model automatically labels data for a real-time model. We then move from recognition to video retrieval tasks, with self-supervised methods capable of continuously scanning large video databases for content visually matching a video live stream. Electronic Thesis or Dissertation Text en PDF 31669020 Université de Strasbourg Strasbourg 2022-12-31 https://theses.hal.science/tel-03884631 application/pdf 31415367 https://publication-theses.unistra.fr/public/theses_doctorat/2021/yu_tong_2021_269.pdf http://www.theses.fr/2021STRAD051/abes https://theses.hal.science/tel-03884631 https://theses.hal.science/tel-03884631 https://theses.hal.science/tel-03884631 Yu Tong 1994-11-02 FR 266118925 1004036227A 21823910 4200018 https://theses.fr/2021STRAD051 2021STRAD051 https://doi.org/10.70675/f5e83c93zb3b1z4c08zb9a4z720a08af1026 2021-12-09 Informatique Strasbourg 131056549 Doctorat Docteur es non oui Padoy Nicolas MADS_DIRECTEUR_DE_THESE_1 14741167X Mutter Didier MADS_DIRECTEUR_DE_THESE_2 090340612 Berger Marie-Odile MADS_PRESIDENT_DU_JURY 075878518 Jannin Pierre MADS_RAPPORTEUR_1 116295848 Stoyanov Danail MADS_RAPPORTEUR_2 202758680 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 269 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 260728 176969721 ddc:004 Padoy Nicolas Mutter Didier Berger Marie-Odile Jannin Pierre Stoyanov Danail École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg) PDF 31669020