Thèse Année : 2024

3D motion reconstruction with deep learning methods : application to motor disabilities

Reconstruction de mouvements en 3D à l'aide de méthodes d'apprentissage profond : application aux handicaps moteurs

Résumé

Currently perceived as the best means for recording the movement of people, motion capture sys- tems (MoCap) remain difficult to use in some complex situations, notably motor disability cases. This thesis deals with the reconstruction of 3D motion from RGB video using deep learning tech- niques and proposes an alternative solution to MoCap in these situations. We first propose the design of a solution based on human pose estimation, followed by motion reconstruction using a correction process that preserves temporal continuity between successive poses. We define for that purpose, a Laplacian loss function for training AI models, as well as metrics for assessing motion temporal features and skeletal structure preservation. The motion correction system devel- oped by coupling Laplacian motion modeling and deep learning enables motion reconstruction with improved temporal and spatial quality. In a second step, we apply our motion reconstruction system to motor disability situations. We make up for the lack of data by generating 2D videos from 3D movements captured by MoCap. This original approach augments our data by using multiple re- cording cameras (different viewpoints) and various 3D models of virtual characters. Our recon- struction model performs well on these videos and offers promising prospects for real-time applications.
Actuellement perçus comme le meilleur moyen de capturer des données de mouvement humain, les systèmes de capture de mouvement (MoCap) restent difficiles à utiliser dans certaines situa- tions complexes, notamment le handicap moteur. Cette thèse porte sur la reconstruction de mou- vement 3D à partir de vidéo RGB en utilisant des techniques d'apprentissage profond et propose une solution alternative à la MoCap dans ces situations. Nous proposons d’abord la conception d'une solution basée sur l'estimation de poses, suivie de la reconstruction du mouvement par un processus de correction qui préserve la continuité temporelle entre les poses successives. Nous définissons une fonction de perte Laplacienne pour entraîner les modèles d’IA, ainsi que des mé- triques d'évaluation de la temporalité du mouvement et la préservation de la structure du squelette. Le système de correction de mouvement développé en couplant modélisation Laplacienne du mou- vement et apprentissage profond permet une reconstruction avec une meilleure qualité temporelle et spatiale. Dans un second temps, nous appliquons notre système de reconstruction de mouve- ment en situation de handicap moteur. Nous pallions le manque de données en générant des vi- déos 2D à partir de mouvements 3D capturés par MoCap. Cette approche originale augmente nos données en utilisant plusieurs caméras d’enregistrement (différents points de vue) et des modèles 3D de personnages virtuels variés. Notre modèle de reconstruction montre de bonnes perfor- mances sur ces vidéos et offre des perspectives prometteuses pour des applications temps réel.
Fichier principal
Vignette du fichier
2024theseTchenegnonM.pdf (7) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04954849 , version 1 (18-02-2025)

Identifiants

  • HAL Id : tel-04954849 , version 1

Citer

Mansour Tchenegnon. 3D motion reconstruction with deep learning methods : application to motor disabilities. Artificial Intelligence [cs.AI]. Université de Bretagne Sud, 2024. English. ⟨NNT : 2024LORIS692⟩. ⟨tel-04954849⟩
0 Consultations
0 Téléchargements

Partager

More