Note ABES Gait impairment analysis in neurodegenerative diseases Analyse des troubles de la marche dans les maladies neurodégénératives Classification de la marche pathologique Score de marche MDS-UPDRS Estimation du mouvement humain en 3D Apprentissage contrastif multimodal Modèle de langage large Raisonnement Chain-of-Thought Pathological gait classification MDS-UPDRS gait score Human 3D motion estimation Multimodal contrastive learning Large language model Chain-of-thought reasoning 004 616 Médecine -- Informatique Marche (locomotion) Maladies neurodégénératives L’analyse vidéo de la marche pathologique offre une méthode non invasive pour évaluer les troubles moteurs dans les syndromes parkinsoniens, mais souffre actuellement du manque de jeux de données annotés. Pour y remédier, nous avons collecté des vidéos de la marche et développé MAX-GRNet, un reconstructeur exploitant l’attention partielle et la correction de pose guidée par des paramètres de marche, produisant des mouvements 3D stables, même en cas d’occlusions et de caméras fixes. Le jeu de données 3DGait, composé de 90 séquences reconstruites, est rendu public. Pour maximiser l’efficacité d’utilisation des données, nous proposons GaVA-CLIP, un cadre d’apprentissage contrastif multimodal alignant les caractéristiques vidéo avec des textes cliniques via le « prompt tuning », offrant une meilleure classification avec un nombre comparable de paramètres entraînables aux approches basées sur le squelette. Au-delà de la précision, AGIR vise l’interprétabilité clinique en combinant un tokenizer VQ-VAE avec un LLM affiné, prédisant les scores MDS-UPDRS accompagnés d’explications lisibles, renforçant la transparence et l’applicabilité. Video-based pathological gait analysis offers a non-invasive avenue to assess motor impairments in Parkinsonian syndromes, but currently suffering from limited annotated datasets. To address this, we collected RGB gait videos and developed MAX-GRNet, a gait-specific reconstructor using part-based attention and gait-parameter-guided pose correction to produce stable, distance-invariant 3D motion under occlusions and static camera viewpoints. The resulting 3DGait dataset of 90 reconstructed sequences is publicly released, and the need to maximize data efficiency motivates GaVA-CLIP. This multimodal contrastive learning framework aligns gait video features with clinical text and parameters using prompt tuning, achieving superior classification performance with a similar number of trainable parameters as skeleton-based approaches. Beyond accuracy, the need for clinical interpretability drives AGIR, an explainable gait assessment framework that combines a VQ-VAE motion tokenizer with an LLM fine-tuned on motion–text pairs, predicting MDS-UPDRS scores alongside human-readable reasoning to enhance transparency and applicability. Electronic Thesis or Dissertation Text en PDF 52918148 https://publication-theses.unistra.fr/public/theses_doctorat/2025/WANG_Diwei_2025_ED269.pdf http://www.theses.fr/2025STRAD011/abes https://theses.hal.science/tel-05293699 https://theses.hal.science/tel-05293699 https://theses.hal.science/tel-05293699 https://theses.hal.science/tel-05293699 Wang Diwei 1996-10-15 CN 274461005 193293889EJ 22121638 4200018 https://theses.fr/2025STRAD011 2025STRAD011 https://doi.org/10.70675/9e5f4cc5z3f94z4c33zbeb0z28d37621e06b 2025-07-04 Informatique Strasbourg 131056549 Doctorat Docteur es non oui Seo Hyewon MADS_DIRECTEUR_DE_THESE_1 191309567 Blanc Frédéric MADS_DIRECTEUR_DE_THESE_2 224690302 Becker Matthias MADS_PRESIDENT_DU_JURY 289670276 Bobenrieth Cédric MADS_MEMBRE_DU_JURY_1 243235453 Vuillerme Nicolas MADS_MEMBRE_DU_JURY_2 069848475 Bouakaz Saïda MADS_RAPPORTEUR_1 032057881 Kim Jinman MADS_RAPPORTEUR_2 289670802 École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) MADS_ECOLE_DOCTORALE_1 269 156504863 Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) MADS_PARTENAIRE_DE_RECHERCHE_1 260728 176969721 ddc:004 ddc:610 Seo Hyewon Blanc Frédéric Becker Matthias Bobenrieth Cédric Vuillerme Nicolas Bouakaz Saïda Kim Jinman École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....) Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....) PDF 52918148 restriction 2025-07-04 2025-10-01 restriction 2025-07-04 2025-10-01