Pose Recovery of Curved 3D Models Based on Stereoscopic Images
Recalage de Modèles Tridimensionnels Courbes sur des Images Stéréoscopiques
OPEN ACCESS
This paper deals with the use of mixed reality as a new assistance and training tool for performing teleoperation tasks in hostile environments. During a maintenance operation, a telerobotic task needs a perfect knowledge of the remote scene in which the robot operates because this local model is the world over which the robot is working. We will describe here a new interactive approach combining image analysis and mixed reality techniques for assisted 3D geometric and semantic modeling. We also tackle the problem of pose recovery using a stereoscopic system mounted on a robot arm. The proposed model-based approach is used for accurate locating of complex parametric curved objects. It therefore constitutes a unified tool for building (during an interactive modeling session) and maintaining (by correcting badly estimated displacements of the robots) the local geometric model of the remote environment. This augmented reality and vision-based system is being developed in order to improve the teleoperation already in use atEDF.
Résumé
Cet article traite de l'utilisation d'algorithmes de vision artificielle et de techniquesde réalité augmentée dans le but d'améliorer les fonctionnalités des postes de téléopération déjà utilisés à EDF. Au cours d'une opération de maintenance sur site, la connaissance exacte de la géométrie de l'environnement distant sur lequel le robot intervient est cruciale puisque ce modèle constitue le seul monde connu sur lequel s'appuyent les assistances proposées par le système informatique. Le système décrit ici combine des outils d'analyse d'images et de réalité augmentée au sein d'un environnementinteractif contrôlé par un opérateur humain. L'utilisation d'un algorithme de recalage automatique permet à l'opérateur de spécifier interactivement un modèle géométrique et sémantique du site distant en s'appuyant sur les images du site retournées par des caméras embarquées. Cet algorithme permet en outre au système informatique de maintenir à jour le modèle global de l'environnement lors de changements de configuration ou de point de vue mal estimés . L'approche retenue, qui sera détaillée dans ce papier, opère sur des objets paramétriques à surface courbe.
3D/2D fitting, parametric models, interactive modeling, teleoperation.
Mots clés
Recalage 3D/2D, modèles paramétriques, modélisation interactive, téléopération.
[Abr68] M. Abramovitz, «Handbook of Mathematical Functions» Dover Publications,Vol. 55, 1968, New York, USA.
[Bat95] C. Batut, D. Bernardi, H. Cohen, M. Olivier, «User's Guide to PARIGP», LaboratoireA2X, U.M.R. 9936 du CNRS, Université de Bordeaux I, 1995.
[Chi92] E.W. Chionh, R.N. Goldman, «Using Multivariate Resultants to Find the Implicit Equation of a Rational Surface», The Visual Computer, Vol. 8, n°3, 1992, p. 171-180.
[Coo94] C. Cooke, S. Stansfiled, «Interactive Graphical Model Building using Telepresence and Virtual Reality».IEEE?, 1994, p. 1436-1440.
[Der87] R. Deriche. «Using Canny's Criteria to Derive a Recursively Implemented Optimal Edge Detector», International Journal of Computer Vision, 1(2), 1987, p. 167-187.
[Dho89] M. Dhome, M. Richetin, J-T. Lapresté, G. Rives, «Determination of the Attitude of 3D Objects from a Single Perspective View», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, 1989, p. 1265-1278.
[Eve93] P. Even, R. Fournier, «Telerobotics Tasks Execution Based on 3D Geometric Modelling and Graphical Programming», IEEE /SMC Conference, 1993, Le Touquet, France.
[Fuc96] P. Fuchs, «Les Interfaces de la Réalité Virtuelle», Le Corum, 1996, Montpellier.
[Gri89] W.E.L. Grimson. «On the Recognition of Curved Objects». IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, n°6, 1989, p. 632-643.
[Hof89] C.M. Hoffmann, «Geometric and Solid Modeling, an Introduction», Morgan Kauffmann Publishers, 1989.
[Hor93] R. Horaud, O. Monga. «Vision par Ordinateur, Outils Fondamentaux», EditionsHermès, 1993.
[Kim96] W.S. Kim, <<Virtual Reality Calibration and Preview /Predictive Displays for Telerobotics», Presence, Vol.5, n°2, 1996, p. 173-190.
[Kri90] D.J. Kriegman, J. Ponce, <<On Recognizing and Positioning Curved 3D Objects from Image Contours», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, n° 12, 1990, p. 1127-1137.
[Low9l] D.G. Lowe, «Fitting Parameterized Three-Dimensional Models to Images>>, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, n°5, 1991, p. 441-450.
[Low92] D.G. Lowe, «Robust Model-Based Motion Tracking Through the Integration of Search and Estimation», University of British Columbia (Canada), Computer Science Department, Technical Report, 1992.
[Mam96] D.Maman, P.Fuchs,F. Nashashibi, C. Laurgeau, «Utilisation desTechniques de la Réalité Virtuelle pour la Modélisation Interactive en Téléopération», Congrès Informatique 96 : l'Interface des Mondes Réels et Virtuels, 1995, Montpellier.
[Mam98a] D. Maman, F. Nashashibi, P. Fuchs, J-C. Bordas, «Stereo Vision Based Mixed Reality :an Assistance for Teleoperation», SPIEInternational Symposium on Intelligent Systems and Advanced Manufacturing, 1998, Boston, USA.
[Mam98b] D. Maman, «Recalage de Modèles Tridimensionnels sur des Images Réelles : Application à la Modélisation Interactive pour la Téléopération», Thèse deDoctorat, Ecole desMines de Paris, 1998.
[Pon92] J. Ponce, S. Petitjean, D.J. Kriegman, «Computing Exact Aspect Graphs of Curved Objects : Algebraic Surfaces», Second European Conference on Computer Vision, p. 599-614, 1992, Santa Margherita Ligure, Italy.
[Pre92] W.H. Press, S.A. Teukolsky, W.T. Vetterling, B.P. Flannery «Numerical Recipes in C. The Art of Scientific Computing », Cambridge University Press, 2nd edition, 1992.
[Pyr95] «Pyramide : Modélisation Interactive d'Environnement», CEA -Aleph Technologies, 1995, Saint-Martin d'fières, France.
[Ric9l] M. Richetin, M. Dhome, J-T. Lapresté, G. Rives, «Inverse Perspective Transform using Zero-Curvature Contour Points : Application to the Localization of Some Generalized Cylinders from a Single View», IEEE Transactions on Pattern. Analysis and Machine Intelligence, Vol. 13, 1991.
[Zha93] Z. Zhang, « Recalage de Deux Nuages de Points 3D», Traitement du Signal, Vol. 10, n°4, 1993, p. 263-281.