Parametric Models for Facial Features Segmentation. Extraction des Traits Caractéristiques du Visage À l’Aide de Modèles Paramétriques Adaptés

Parametric Models for Facial Features Segmentation

Extraction des Traits Caractéristiques du Visage À l’Aide de Modèles Paramétriques Adaptés

Zakia Hammal Nicolas Eveno  Alice Caplier  Pierre-Yves Coulon 

LIS, INPG, 46 avenue Félix Viallet, 38031 Grenoble Cedex

Page: 
59-72
|
Received: 
18 December 2003
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

In this paper,we are dealing with the problem of facial features segmentation (mouth,eyes and eyebrows).A specific parametric model is defined for each feature,each model being able to take into account all the possible deformations. In order to initialize each model,some characteristic points are extracted on each image to be processed (for example, the corners of the eyes,mouth and eyebrows).In order to fit the model with the contours to be extracted, a gradient flow (of luminance or chrominance ) through the estimated contour is maximized because at each point of the searched contour,the gradient (of luminance or chrominance) is normal.The advantage of the definition of a model associated to each feature is to be able to introduce a regularisation constraint.However,the chosen models are flexible enough in order to produce realistic contours for the mouth,the eyes and eyebrows.This facial features segmentation is the first step of a set of multi-media applications.

Résumé

Dans cet article,nous nous intéressons à l’extraction automatique des contours des traits permanents du visage à savoir:les yeux,les sourcils et les lèvres. Pour chacun des traits considérés,un modèle paramétrique spécifique capable de rendre compte de toutes les déformations possibles est défini. Lors de la phase d’initialisation,des points caractéristiques du visage sont extraits (coins des yeux et de la bouche par exemple) et servent de points d’ancrage initiaux pour chacun des modèles. Dans la phase d’évolution,chaque modèle est déformé afin de coïncider au mieux avec les contours des traits présents sur le visage analysé. Cette déformation se fait par maximisation d’un flux de gradient (de luminance et/ou de chrominance) le long des contours définis par chaque courbe du modèle. La définition de modèles permet d’introduire naturellement une contrainte de régularisation sur les contours recherchés. Néanmoins,les modèles choisis restent suffisamment flexibles pour permettre une extraction réaliste des contours des yeux,des sourcils et de la bouche. L’extraction précise des contours des principaux traits du visage constitue la première étape d’un ensemble d’applications multimédia.

Keywords: 

Parametric models,facial features,segmentation.

Mots clés

Modèles paramétriques,traits du visage,segmentation.

1. Introduction
2. Choix des Modèles
3. Pré-traitements
4. Extraction de Points Caractéristiques
5. Evolution des Modèles
6. Résultats
7. Conclusion
  References

[1] P.S. ALEKSIC, J.J. WILLIAMS, Z. WU et K. KATSAGGELOS, « Audio-Visual Speech Recognition Using MPEG-4 Compliant Visual Features », EURASIP Journal on Applied Signal Processing, Special Issue on Joint Audio-Visual Speech Processing, September 2002, pp.1213-1227. 

[2] W. BEAUDOT, The neural information processing in the vertebra retina: a melting pot of ideas for artificial vision. Phd thesis, tirf laboratory, Grenoble, France, 1994. 

[3] M.O. BERGER, R. MOHR, «Towards Autonomy in Active Contour Models ». In Proc. ICPR’90, June 1990, pp.847-851. 

[4] Base de séquences vidéos émotions de Kanade et Cohn URL: http://www.cs.cmu.edu/~face 

[5] T. COIANIZ, L. TORRESANI, B. CAPRILE, «2D Deformable Models for Visual Speech Analysis». In NATO Advanced Study Institute: Speech reading by Man and Machine, 1995, pp.391-398. 

[6] N. EVENO, A. CAPLIER, P.Y. COULON, «A new color transformation for lip segmentation». In Proc. IEEE MSSP’01, Cannes, France, September 2001. 

[7] N. EVENO, A. CAPLIER, P.Y. COULON, A parametric model for realistic lip segmentation. International Conference on Control, Automation, Robotics and Vision (ICARV’02), Singapore, December 2002. 

[8] N. EVENO, A. CAPLIER, P.Y. COULON, «Jumping snakes and parametric model for lip segmentation». International Conference on Image Processing, Barcelone, Espagne, Septembre 2003. 

[9] N. EVENO, « Segmentation des lèvres par un modèle déformable analytique ». Thèse de l’INPG, novembre 2003. 

[10] The Database of Faces, Cambridge University Department, http://www.uk.research.att.com/facedatabase.html 

[11] Z. HAMMAL, A. CAPLIER, M. ROMBAUT, « Classification des émotions faciales par la théorie de l’évidence ». 12ème Colloque sur la Logique Floue et ses Applications,Nantes,France,novembre 2004. 

[12] M.E. HENNECKE, K.V PRASAD, D.G. STORCK, «Using Deformable Templates to Infer Visual Speech Dynamics ». In Proc. 28th Annual Asilomar Conference on Signals, Systems and computers, 1994, pp. 578-582. 

[13] H. HJELMÄS, B. LOW, « Face detection: a survey ». Computer Vision and Image Understanding, 83, 2001, pp. 236-274. 

[14] A. HULBERT, T. POGGIO, « Synthesizing a Color Algorithm from Examples ». Science, Vol.239, 1998, pp.482-485.

[15] M. KASS, A. WITKINS, D. TERSOPOULOS, « Snakes: Actives Contours Models », International Journal of computer vision, 1(4), January 1988, pp.321-331. 

[16] J. LUETTIN, N.A. TRACKER et S.W. BEET, « Active Shape Model for Visual Speech Feature Extraction » University of Sheffield, U.K., Electronic System Group Report N°95/44, 1995. 

[17] A. NEFIAN, L. LIANG, X. PI, L. XIAOXIANG, C. MAO et K. MURPHY, « A couple HMM for Audio-visual Speech Recognition ». In Proc. ICASSP’02, 2002, pp.2013-2016. 

[18] K. SOBOTTKA and I. PITAS, « Looking for Faces and Facial Features in Color Images », Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications, Russian Academy of Sciences, Vol. 7, No. 1, 1997. 

[19] D. TERZOPOULOS et K. WATERS, « Analysis and Synthesis of Facial Image Sequences Using Physical and Anatomical Models ». IEEE Trans. On PAMI, 15(6), June 1993, pp.569-579. 

[20] Y. TIAN, T. KANADE, J. COHN, « Robust Lip Tracking by Combining Shape, Color and Motion ». Proc ACCV’00, 2000. 

[21] Y. TIAN, T. KANADE, and J. COHN, « Dual state Parametric Eye Tracking ». Proceedings of the 4th IEEE International Conference on Automatic Face and Gesture Recognition ,Grenoble,France,pp. 110115, March 2000. 

[22] N. TSAPATSOULIS, Y. AVRITIS, S. KOLLIAS, « Efficient Face Detection for Multimedia Applications ». In Proc. ICIP’00, Vancouver, Canada, September 2000. 

[23] R. WANG and Y. WANG, « Facial Feature Extraction and Tracking in Video Sequences ». IEEE Signal Processing Society 1997 Workshop on Multimedia Signal Processing June 23 – 25, 1997, Princeton, New Jersey, USA Electronic Proceedings. pp. 233-238. 

[24] M.H. YANG, N. AHUJA,« Gaussian Mixture Model for Human Skin Color and Its Application in Image and Video Database ». In Proc. Of the SPIE: Conf. On Storage and Retrieval for Images and video Databases, vol.3656, 1999, pp.458-466. 

[25] M.H. YANG, D. KRIEGMAN, and N. AHUJA, « Detecting face in images: a survey ». IEEE Trans on PAMI, vol. 24, n°1, pp. 34-58, January, 2002. 

[26] A. YUILLE, P. HALLINAN et D. COHEN, « Feature Extraction from faces using deformable templates ». Int. Journal of computer Vision, 8(2), 1992, pp.99-111. 

[27] X. ZHANG, R.M. MERSEREAU, M.A. CLEMENTS, C.C BROUN, « Visual Speech Feature Extraction for Improved Speech Recognition ». In Proc. ICASSP’02, 2002, pp. 1993-1996.