Transfer learning for facial analysis with limited and inconsistent annotations - Université de Rennes Accéder directement au contenu
Thèse Année : 2023

Transfer learning for facial analysis with limited and inconsistent annotations

Apprentissage par transfert pour l'analyse faciale avec des données annotées limitées et incohérentes

Résumé

Deep learning has developed considerably in recent years. However, many existing methods are still based on supervised learning, which requires annotated data. Obtaining such data can be difficult. In this thesis, we present a methodology, based on transfer learning, for training neural networks with a low volume of annotated data. Our approach consists in augmenting a pre-trained self-supervised generative network with new layers and connections, to adapt it to a supervised image-to-image task. Unlike most methods based on transfer learning, we use the entire generative model, including the decoder, for the supervised task. Our methodology is inspired by the 3FabRec network proposed by Browatzki et al. for face alignment, which we have extended to other supervised tasks and generative networks. We have also proposed and studied different ways of augmenting the generative network for the supervised task. We applied our methodology to two supervised tasks: face alignment and 3D face reconstruction. For the first application, our models outperformed the state-of-the-art on many datasets when the number of training data is limited. For 3D face reconstruction, we were able to improve the predictions of a self-supervised network via the addition of supervised information, but obtained with very little annotated data.
L'apprentissage profond s'est grandement développé ces dernières années. Cependant, beaucoup des méthodes existantes reposent toujours sur l'apprentissage supervisé qui requiert des données annotées. Or, obtenir ce type de données peut se révéler difficile. Dans ce mémoire, nous présentons une méthodologie, basée sur l'apprentissage par transfert, pour l'entraînement de réseaux de neurones avec un faible volume de données annotées. Notre approche consiste à augmenter avec de nouvelles couches et connexions un réseau génératif autosupervisé pré-entraîné, pour l'adapter à une tâche image-vers-image supervisée. Contrairement à la plupart des méthodes basées sur l'apprentissage par transfert, nous utilisons l'ensemble du modèle génératif, notamment le décodeur, pour la tâche supervisée. Notre méthodologie s'inspire du réseau 3FabRec proposé par Browatzki et al. pour l'alignement facial que nous avons étendu à différentes tâches supervisées et réseaux génératifs. Nous avons également proposé et étudié différentes façons d'augmenter le réseau génératif pour la tâche supervisée. Nous avons appliqué notre méthodologie à deux tâches supervisées: l'alignement facial et la reconstruction 3D de visage. Pour la première application, nos modèles ont dépassé l'état de l'art sur de nombreux jeux de données quand le nombre de données d'entraînement est limité. Pour la reconstruction 3D de visage, nous avons pu améliorer les prédictions d'un réseau autosupervisé via l'ajout d'information supervisée mais obtenue avec très peu de données annotées.
Fichier principal
Vignette du fichier
th_se_Martin_Dornier-5.pdf (8.69 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04458467 , version 1 (14-02-2024)

Identifiants

  • HAL Id : tel-04458467 , version 1

Citer

Martin Dornier. Transfer learning for facial analysis with limited and inconsistent annotations. Computer Science [cs]. INSA RENNES, 2023. English. ⟨NNT : ⟩. ⟨tel-04458467⟩
19 Consultations
10 Téléchargements

Partager

Gmail Facebook X LinkedIn More