Video Object Tracking by Label Propagation and Backward Projection
Suivi d'objets Vidéo par Propagation d'étiquettes et Rétro-Projection
OPEN ACCESS
This paper presents an approach dedicated to the tracking of one or several semantic objects in a video shot. A state of the art on spatio-temporal segmentation techniques allows us to introduce our own approach.It combines three different steps:label prediction based on partition projection,local segmentation associated with a label propagation,and classification by backward projection. Experimental results highlight the visual quality obtained with this method. Different kinds of objects can be accurately tracked in different kinds of video sequences.
Résumé
Cet article présente nos travaux sur le suivi d'objets dans un plan séquence. Un état de l'art sur les techniques de segmentation spatio-temporelle nous permet d'introduire notre propre méthode de suivi temporel d'objets. Elle est constituée de trois phases distinctes:une prédiction d'étiquettes par projection de partition,une segmentation locale associée à une propagation d'étiquettes,et une classification par rétro-projection. L'association de ces trois étapes cumule les avantages de chaque approche pour un suivi rigoureux d'objets et réduit le temps de traitement de chaque image. La qualité visuelle des résultats obtenus par cette méthode est illustrée en fin d'article. Pour cela nous avons considéré le suivi d'objets ayant des caractéristiques différentes au niveau de leur composition et de leur déplacement.
Local segmentation,irregular pyramid,label propagation,partition projection,tracking,video objects.
Mots clés
Segmentation locale,pyramide irrégulière,propagation d'étiquettes,projection de partition,suivi temporel, objets vidéo.
[Alat98] A. ALATAN, L.ONURAL, M.WOLLBORN, R.MECH, E.TUNCEL, T.SIKORA, “Image Sequence Analysis for Emerging Interactive Multimedia Services - The European COST 211 Framework”, IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, N°7, pp.802-813, November 1998.
[Bert95] P.BERTOLINO, Contribution des pyramides irrégulières en segmentation d'images multirésolution, PhD thesis, Thèse de Doctorat de L'Institut National Polytechnique de Grenoble, Novembre 1995.
[Bonn98] L.BONNAUD, Schémas de suivi d'objets vidéo dans une séquence animée : application à l'interpolation d'images intermédiaires. PhD thesis, Thèse de Doctorat de l'Université de Renne 1, Octobre 1998.
[Chen01] Y.-S. CHEN, Y.-P. HUNG, C.-S. FUH, “Fast Block Matching Algorithm Based on the Winner-Update Strategy”, IEEE Transactions on Image Processing, Vol.10, N°8, pp.1212-1222, August 2001.
[Fore03] G.FORET, Segmentation spatio-temporelle d'objets vidéo en vue de leur caractérisation, PhD thesis, Thèse de Doctorat de L'Institut National Polytechnique de Grenoble, Octobre 2003.
[Gati01a] D.GATICA-PEREZ, C.GU, M.SUN, “Semantic Video Object Extraction Using Four-band Watershed and Partition Lattice Operators”, IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, N°5, pp.603-618, May 2001.
[Gati01b] D.GATICA-PEREZ, M.SUN, C.GU, “Multiview Extensive Partition Operators for Semantic Video Object Extraction”, IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, N°7, pp.788-801, July 2001.
[Gati99] D.GATICA-PEREZ, M.SUN, C.GU, “Semantic Video Object Extraction based on Backward Tracking of Multivalued Watershed”, In:Proc. of the IEEE International Conference on Image Processing, ICIP'99, p., Kobe, Japan, 1999.
[Gu98a] C.GU, M.LEE, “Semantic Video Object Tracking using regionbased Classification”, In:Proc. of the IEEE International Conference on Image Processing, ICIP'98, pp.643-647, Chicago, USA, 1998.
[Gu98b] C.GU, M.LEE, “Semiautomatic Segmentation and Tracking of Semantic Video Objects'”, IEEE Transactions on Circuits andSystems for Video Technology, Vol.8, N°5, pp.572-584, September 1998.
[Jeha01] S.JEHAN-BESSON, M.BARLAUD, G.AUBERT, “Regionbased active contours for video object segmentation with camera compensation”, In:Proc. of the IEEE International Conference on Image Processing, ICIP'01, Thessaloniki, Greece, 2001.
[Lee97] C.LEE, L.CHEN, “A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid”, IEEE Transactions on Image Processing, Vol.6, N°11, pp.1587-1591, November 1997.
[Lin98] C.LIN, Y.CHANG, Y.CHEN, “Hierarchical Motion Estimation Algorithm based on Pyramidal Successive Elimination”, In: International Computer Symposium, pp.41-44, Tainan, Taiwan, 1998.
[Mahb02] A.MAHBOUBI, J.BENOIS-PINEAU, D.BARBA, “Tracking of objects in video scenes with time varying content”, EURASIP Journal of Applied Signal Processing, Special issue on Image Analysis for Multimedia Interactive Services, Vol.2002, N°6, pp.582-594, June 2002.
[Marq97] F.MARQUÈS, C.MOLINA, “Object Tracking for ContentBased Functionalities”, In:SPIE Visual Communications and Image Processing, VCIP'97, pp.190-199, San Jose, USA, 1997.
[Marq98] F.MARQUÈS, J.LLACH, “Tracking of Generic Objects for Video Object Generation”, In:Proc. of the IEEE International Conference on Image Processing, ICIP'98, pp.628-632, Chicago, USA, 1998.
[Mont91] A.MONTANVERT, P.MEER, A.ROSENFELD, “Hierarchical Image Analysis using Irregular Tessellations”, IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 13, N°4, pp.307-316,April 1991.
[Pard94] M.PARDÀS, P.SALEMBIER, Joint Region and Motion Estimation with Morphological Tools, pp.93-100, In J. Serra and P. Soille, editors, Mathematical Morphology and Its Applications to Image Processing, Kluwer Academic Press, 1994.
[Park00] D.PARK, H.YOON, C.WON, “Fast Object Tracking in Digital Video”, IEEE Transactions on Consumer Electronics, Vol.46, N°3, pp.785-790,August 2000.
[Pate00] S.PATEUX, “Tracking of video objects using a backward projection technique”, In: SPIE Visual Communications and Image Processing, VCIP'00, pp.1107-1114, Perth,Australia, 2000.
[Vinc91] L.VINCENT, P.SOILLE, “Watersheds in Digital Spaces: an Efficient Algorithm Based on Immersion Simulations”, IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 13, N°6, pp.583-598, June 1991.
[Wang98] D.WANG, “Unsupervised Video Segmentation Based on Watersheds and Temporal Tracking”, IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, N°5, pp.539-546, September 1998.
[Wu95] L.WU, J.BENOIS-PINEAU, D.BARBA, “Spatio-Temporal Segmentation of Image Sequences for Object-Oriented Low BitRate Image Coding”, In:Proc. of the IEEE International Conference on Image Processing, ICIP'95, pp.2406-2409, Washington DC, 1995.