Accurate Sparse Feature Regression Forest Learning for Real-Time Camera Relocalization
Résumé
Camera relocalization is needed in several applications such as augmented reality or robot navigation. However, it is still challenging to have a both real-time and accurate method. In this paper, we present our hybrid method combing machine learning approach and geometric approach for real-time camera relocalization from a single RGB image. We introduce our sparse feature regression forest to improve the machine learning part. In our regression forest, we propose a novel split function, that uses a whole feature vector instead of classical binary test function to improve the accuracy of 2D-3D point correspondences. Moreover, we use sparse feature extraction (SURF features) to reduce time processing. The results indicate that our method is the only real-time hybrid method (50ms per frame). We also achieve results as accurate as the best state-of-the-art methods (hybrid methods) and outperform machine learning based and sparse feature based methods.
La relocalisation de caméra est nécessaire dans plusieurs applications telles que la réalité augmentée ou la navigation de robots. Cependant, il est encore difficile d'avoir une méthode à la fois précise et temps réel. Dans cet article, nous présentons notre méthode hybride combinant une approche d'apprentissage automatique et une approche géométrique pour la relocalisation de caméra en temps réel à partir d'une seule image RGB. Nous introduisons notre forêt de régression s'appuyant sur ces caractéristiques éparses pour améliorer la partie apprentissage automatique. Dans notre forêt de régression, nous proposons une nouvelle fonction de séparation qui utilise un vecteur caractéristique entier au lieu d'une fonction de test binaire classique pour améliorer la précision des correspondances 2D-3D des points. De plus, nous utilisons l'extraction de caractéristiques éparses (caractéristiques SURF) pour réduire le temps de traitement. Les résultats indiquent que notre méthode est la seule méthode hybride temps réel (50ms par image). Nous obtenons également des résultats aussi précis que les meilleures méthodes de l'état de l'art(méthodes hybrides) et surpassons les méthodes basées sur l'apprentissage automatique et les méthodes basées sur des caractéristiques éparses.