Note ABES 3D Pose estimation of continuously deformable instruments in robotic endoscopic surgery Mesure par vision de la position d'instruments médicaux flexibles pour la chirurgie endoscopique robotisée Robotique medicale flexible Estimation de la pose 3D à partir d’une seule image Extraction des primitives pour instrument flexible in in-vivo Apprentissage Medical flexible robotics Single-Image-Based 3D pose estimation In-vivo flexible instrument segmentation Learning regression 629.89 006.6 Chirurgie endoscopique Robotique en médecine Vision artificielle (robotique) Imagerie tridimensionnelle en médecine Connaître la position 3D d’instruments robotisés peut être très utile dans le contexte chirurgical. Nous proposons deux méthodes automatiques pour déduire la pose 3D d’un instrument avec une unique section pliable et équipé avec des marqueurs colorés, en utilisant uniquement les images fournies par la caméra monoculaire incorporée dans l'endoscope. Une méthode basée sur les graphes permet segmenter les marqueurs et leurs coins apparents sont extraits en détectant la transition de couleur le long des courbes de Bézier qui modélisent les points du bord. Ces primitives sont utilisées pour estimer la pose 3D de l'instrument en utilisant un modèle adaptatif qui prend en compte les jeux mécaniques du système. Pour éviter les limites de cette approche dérivants des incertitudes sur le modèle géométrique, la fonction image-position-3D peut être appris selon un ensemble d’entrainement. Deux techniques ont été étudiées et améliorées : réseau des fonctions à base radiale avec noyaux gaussiens et une régression localement pondérée. Les méthodes proposées sont validées sur une cellule expérimentale robotique et sur des séquences in-vivo. Knowing the 3D position of robotized instruments can be useful in surgical context for e.g. their automatic control or gesture guidance. We propose two methods to infer the 3D pose of a single bending section instrument equipped with colored markers using only the images provided by the monocular camera embedded in the endoscope. A graph-based method is used to segment the markers. Their corners are extracted by detecting color transitions along Bézier curves fitted on edge points. These features are used to estimate the 3D pose of the instrument using an adaptive model that takes into account the mechanical plays of the system. Since this method can be affected by model uncertainties, the image-to-3d function can be learned according to a training set. We opted for two techniques that have been improved : Radial Basis Function Network with Gaussian kernel and Locally Weighted Projection. The proposed methods are validated on a robotic experimental cell and in in-vivo sequences. Electronic Thesis or Dissertation Text en PDF 24168764 Université de Strasbourg Strasbourg 2017-12-31 https://theses.hal.science/tel-01484485 application/pdf 24043533 https://publication-theses.unistra.fr/public/theses_doctorat/2016/cabras_paolo_2016_ED269.pdf http://www.theses.fr/2016STRAD007/abes https://theses.hal.science/tel-01484485 https://theses.hal.science/tel-01484485 https://theses.hal.science/tel-01484485 Cabras Paolo 1985-05-08 IT 19918948X 21218014 https://theses.fr/2016STRAD007 2016STRAD007 https://doi.org/10.70675/2aa102bdz3ff5z47d4z9697zd7d807ea8852 2016-02-24 Automatique, vision et robotique Strasbourg 131056549 Doctorat Docteur es non oui Doignon Christophe MADS_DIRECTEUR_DE_THESE_1 161029299 Casals Alicia MADS_PRESIDENT_DU_JURY 06701870X Mathelin Michel de MADS_MEMBRE_DU_JURY_1 079382983 Nageotte Florent MADS_MEMBRE_DU_JURY_2 098492519 Morel Guillaume MADS_RAPPORTEUR_1 132243369 Andreff Nicolas MADS_RAPPORTEUR_2 154344710 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 MA 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 UMR7357 176969721 260728 ddc:620 ddc:004 Doignon Christophe Casals Alicia De Mathelin Michel Nageotte Florent Morel Guillaume Andreff Nicolas École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg) PDF 24168764