Towards Gesture Modeling by Vision. Vers la Modélisation du Geste par la Vision

Towards Gesture Modeling by Vision

Vers la Modélisation du Geste par la Vision

Hocine Ouhaddi Patrick Horain 

Institut National des Télécommunications Unité de projets Artemis, département Signal et Image 9, rue Charles tourier, 9101 1 Evry Cedex

Page: 
15-29
|
Received: 
2 April 1998
|
Accepted: 
N/A
|
Published: 
28 February 1999
| Citation

OPEN ACCESS

Abstract: 

In this paper, we present our work on the design, adjustment and registration of a 3D articulated model of the hand on monoscopic images sequences, without markers. After a review of the state of the art, we describe our 3D generic model of the hand and how it is adjusted to the operator's morphology on an image of his open hand. Then, we compare various cost functions and optimisation methods to register the 3D model of the hand. As an innovative contribution, we integrate biomechanical constraints into the optimisation procedure. This considerably reduces the search space by excluding irrealistic postures . Finally, we show results on image sequences. Gesture capture by artificial vision could be a valuable help for applications such as human-machine interaction by gesture, for virtual humanoid animation, low bit rate coding of gesture for telepresence, or sign language recognition.

Résumé 

Nous présentons nos travaux sur la conception, l'ajustement et le recalage d'un modèle 3D articulé de la main pour son suivi dans des séquences d'images monoscopiques, sans recourir à des marqueurs . Après un état de l'art, nous décrivons notre modèle 3D générique de la main et son ajustement à la morphologie de l'opérateur sur une image de sa main ouverte . Nous comparons ensuite différentes fonctionnelles et méthodes d'optimisation pour le recalage. Une originalité de notre approche réside dans la prise en compte des contraintes biomécaniques dans la procédure de recalage, ce qui permet de réduire considérablement l'espace de recherche en évitant l'obtention de configurations irréalistes. Enfin, des résultats sur des séquences d'images sont présentés. A terme, un tel système d'acquisition du geste par la vision artificielle pourrait être utilisé pour des interfaces homme-machine par le geste, pour l'animation d'humains virtuels, le codage à très bas débit du geste pour la téléprésence, ou la reconnaissance de la langue des signes.

Keywords: 

Articulated model, anthropometry, biomechanics, morphological adjustment, registration, tracking 

Mots clés 

Modèle articulé, anthropométrie, biomécanique, ajustement morphologique, recalage, suivi.

1. Introduction
2. La Reconnaissance de Gestes par Recalage d'un Modèle 3D
3. La Main
4. Modèle de la Main
5. Ajustement Morphologique
6. Suivi de ;a Main: Fonctionnelles de la Main et Optimisations
7. Conclusion et Perspectives
  References

[Baudel93] T. Baudel and M. Beaudouin-Lafon, «Charade : Remote Control of objects using Free-Hand Gestures>, Communications of the ACM, Vol . 36, no 7, 1993, p. 28-35. 

[Berard95] F. Berard, J. Coutaz et J. L. Crowley, «Finger Tracking as Input Device for Augmented Reality», Proc. Intel Workshop on Automatic Face and Gesture-Recognition, Zurich, Switzerland, June 1995. 

[Bellik96] Y. Bellik, «Modality Integration: Speech and Gesture», Sunvey of the State of the Art in Human Language Technology, Section 9.4, R. A. Cole ed in chief, 1996. http ://www.ese.orgi.edu/CSI,UIHLTsurvey 

[Buchholz92] B.Buchholzand T. J. Armstong, «A Kinematic model of the human hand to evaluate its prehensile capabilities», J. Biomecanics, Vol. 25, no 2, 1992, p. 149-162. 

[Borgefors86] G. Borgefors, «Distance Transformations in Digital Images». Computer Vision, Graphics and Image Processing, Vol. 34, 1986, p. 344371.

[Bourges97] M.Bourges-Sevenier,P. Horain, F. Preteux, P. Leray, «Recalaged'un modèlegénériquesur une séquence d'images2D",Actes CORESA'97: 3ème Journées d'études et d'échanges Compression et Représentation des Signaux Audiovisuels,Issy-les-Moulineaux, France, 26-27March 1997, p. 163-171. 

[Braffort96] A. Braffort,Reconnaissance etCompréhensiondegestes, application à la langue des signes, thèse del'universitéde Paris XI, spécialité informatique, juin 1996.

[Cootes95] T. F. Cootes, C. J. Taylor, D.H. Cooper and J. Graham, «Active Shape Models : their Training and Application», Computer Vision and Image Understanding, vol. 61, n 1, p. 38-59, 1995 . 

[Davis94] J. Davis, J. and M. Shah, «Determining 3-D Hand Motion», Proc. 28th of Asimolar Conf. Signals, Systems and Computers, 1994. 

[Deimel99] B. Deimel and S. Schroter, «Improving Hand-Gesture Recognition via Video Based Methods for the Separation of the forearm from the Human Hand», Gesture Workshop'99, France, March 1999.

[Dorner94] B. Dorner, Chasing the color glove : visual hand tracking, Master Thesis, SimonFraser University, 1994.

[Foley95] J. D. Foley, A. Van Dam, S. K.Feinerand J. F.Highes. Introduction à l'infographie, Addison-Wesley France 1996.

[Gavrila96] D. M. Gravila and L. S. Davis, «3-D model-based tracking of humans in action :a multi-view approach», Proc.IEEE Computer Vision and Pattern Recognition,San Francisco, 1996. 

[Gourret89] J. Gourret, N. Magnenat-Thalmann and D. Thalmann, «Simulation of Object and Human Skin in a Grasping Task», Comp. Graphics, Vol. 23, no. 3, Siggraph'89, 1989, p. 21-30. 

[Hienz96] H. Hienz, K. Grobel and G. offner, «Real-Time Hand Arm Motion Analysing using a Single Video Camera», Proc. of Gesture Workshop'96, Univ. of York, p. 323-327. 

[Heap96] T. Heap and D. Hogg, «3D Deformable Hand Models, Progress in Gestural Interaction», Proc. of Gesture Workshop' 96, March 19th, 1996, University of York, UK, Philip A. Harling and Alstair D. N. Edwards (Eds), p. 131-139. 

[Iwai96] Y. Iwai, Y. Yagi and M. Yachida, «Gesture Recognition using Colored Gloves», Proc. of ICPR'96, p. 662-666. 

[Kuch95] J. J. Kuch, and T. S. Huang, «Vision Based Hand Modeling and Tracking for Virtual Teleconferencing and Telecollaboration». In Proc. of fifth International Conference on Computer Vision, June 20-23, 1995, MIT, Cambridge, Massachusetts, p. 666-671. 

[Kuno94] KunoY. Kuno, M. Sakamoto, K. Sakata and Y. Shirai, «Vision Based Human Interface with User-Centered Frame, Proc. of IROS'94, p.2923-2929. 

[Lee95] J. Lee and T. Kunii, «Model-Based Analysis of Hand Posture». IEEE Computer Graphics and Applications, September 1995, p. 77-86. 

[Martin97] J. Martin and J. L. Crowley, «An Appearance-Based Approach to Gesture-Recognition», Proc. of 9th Conff on Image Analysis and Processing, Italy, 1997.

[McKinnon96] K. I. M. Me Kinnon, «Convergence of the Nelder-Mead Simplex method to a non-stationary point», Technical Report MS96-000, Department of Mathematics and Sta-tistics, University of Edinburgh, May 1996. 

[Millar96] R. J. Millar, C. F. Crawford, «A Mathematical Model for Hand-Shape Analysis», Proc. Of Gesture Workshop'96, March 19th 1996, University of York, UK, Philip A. Harling and Alstair D. N. Edwards (Eds), p. 235-245. 

[Mochimaru94] M. Mochimaru and N. Yamazaki, «The three-dimensional measurement of unconstrained motion using a model-matching method», Ergonomics, Vol. 37, no 3, 1994, p. 493-510. 

[Nelder65] J. A. Nelder and R. Mead, «A Simplex Method for Function Minimization», Computer Journal, Vol. 7, 1965, pp. 308-313.

[Ohya94] J. Ohya and F. Kishino, «Human Posture Estimation from Multiple Images Using Genetic Algorithm», Proc. of the 12th IAPR Int. Conf On Pattern Recognition, Vol 1, pp. 750-753. 

[Ouhaddi98a] H. Ouhaddi et P. Horain, «Conception et ajustement d'un modèle 3Darticuléde la main»,Actes des6èm« Journéesde Travail du GT Réalité Virtuelle, Issy-les-Moulineaux, 12-13 Mars, 1998, p. 83-90. http ://wwwsim.int-evry/Publications.

[Ouhaddi98b] H. Ouhaddi, P. Horain and K. Mikolajczyk , «Modélisation et suivi de la main», Actes des 4èmeS Journées d'études et d'échanges «Compressionet REprésentation des Signaux Audiovisuels» (CORESA'98), Lannion, France, 9-10 1998, pp. 109-114.

[Preteux98] F.Preteux, E Horain, H. Ouhaddi and M. Preda,Report on Core Experiment 3 on Hand Baps interpretation, ISO/IEC JTC1/W G1 MPEG97/M3332, March 1998. 

[Press92] W. H. Press, B. P. Flannery, S. A. Teykolsky and W. T. Vetterling, Numerical Recipes in C, Cambridge University Press, 1992. 

[Regh94] J.M. Regh and T. Kanade, « Visual Tracking of Height DOF Articulated Structures : an Application to Human Hand Tracking», Proc. of 3rd ECCV, vol 2, 1994, p. 37-46.

[Rijpkema9l] H. Rijpkema and M. Girard,«Computer Animation of KnowledgeBased Human Grasping», Computer Graphics, Vol. 25, no. 4, 1991, p. 339348. 

[Serra94] J.Serraand P. Soille, Mathematical morphology and its applications to image processing,Kluwer Academic Publishers, 1994. 

[Shimada95] N. Shimada, Y. Shirai and Y. Kuno, «Hand Gesture Recognition Using Computer Vision Based on Model-Matching Method», Proc. of5th International Conference on HCI, p. 11-16. Elsevier, 1995.

[Shimada98] N. Shimada, Y. Shirai, Y Kuno and J. Mivra, «Hand Gesture Estimation and Model Refinement using Monocular Camera - Ambiguity Limitations by Inequality Constraints »,Proceedings of FG'98, p. 268-273, april 1998 Nara, Japan. 

[Teo94] C.G. Teo, A Hybrid Procedural Knowledge-Based Approach to the Animation of Human Hand Grasping, Master Thesis,SimonUniversity, 1994. 

[Wagner88] C.Wagner, «The pianist's hand anthropometry and biomechanics», Ergonomics,Vol. 31, no 1, 1988, p. 97-131.

[Wernecke94] J. Wernecke, The Inventor Mentor, Addison-Wesley Publishing Company, 1994.