A Localized Correlation Function for Stereoscopic Image Matching. Une Fonction Decorrélation Localisée pour la Miseen Correspondance des Images Stéréoscopiques

A Localized Correlation Function for Stereoscopic Image Matching

Une Fonction Decorrélation Localisée pour la Miseen Correspondance des Images Stéréoscopiques

Jérôme Perrin Bruno Torrésani  Philippe Fuchs 

Centre de Robotique de l'École Nationale Supérieure des Mines de Paris, 60 bd Saint-Michel, 75006 PARIS

Laboratoire d'Analyse, Topologie et Probabilités, CMI, Université de Provence, 39 rueJoliot-Curie, 13453 Marseille Cedex, France

Page: 
3-14
|
Received: 
8 June 1998
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

We propose and study a localized correlation function for stereoscopic matching . The latter is based onthe wavelet decomposition of the input images. Contrarily to « coarse-to-fine » algorithms, this one simultaneously processes information at the different scales . The localized correlation function is defined by locally integrating with respect to the scale variable . We show that it is equivalent to the definition of a correlation kernel, which is extremely precise in terms of position and disparity . The definition can then be modified in order to account for the local frequency content of the images. Then, we suggest pre-processings of the images : we argue in favour of the use of multiresolution contrast techniques, associated to a quadratic normalization .

Résumé 

Nous proposons et étudions une fonction de corrélation localisée permettant la mise en correspondance d'images stéréoscopiques. Celle-ci est fondée sur la décomposition en échelles des images d'entrée . À l'inverse des algorithmes de type « coarse-to-fine », celui-ci traite simultanément les informations des différentes bandes de fréquence . Pour cela, nous définissons en chaque point des deux images une fonction de corrélation localisée par intégration sur le paramètre d'échelle, dont nous montrons qu'elle est équivalente à la définition d'un noyau de corrélation extrêmement fin dans les paramètres de position et de disparité. La définition peut ensuite être modifiée pour prendre en compte la composition fréquentielle locale des images d'entrées. Enfin, nous nous intéressons au problème de la normalisation préalable des images à apparier et justifions le choix du contraste multirésolution associé à une normalisation quadratique.

Keywords: 

Stereoscopic vision, matching, correlation, wavelet transform, image analysis .

Mots clés 

Vision stéréoscopique, appariement, corrélation, transformation en ondelettes, analyse d'images.

1. Introduction
2. Rappels Mathématiques
3. Localiser la Corrélation
4, Pré-Traitements Normalisation et Contraste
5. Applications Potentielles dans le Cadre de la Réalité Virtuelle
6. Conclusions
  References

[AMV97] J. P. Antoine, R. Murenszi, V. Vandergheynst. «The Cauchy wavelets : a new class of 2D, directionnal wawelets ». Technical Report UCL-ILPT 97-01, LouvainlaNeuve, Belgique, 1997. 

[BBS+97] W. Blohm, I.P. Beldie, K.Schenke,K. Fazel, S. Pastoor. « Stereoscopic image representation with synthetic depth of field».Journal of the Society for Information Display, 1997. 

[CR68] F. W. C. Campbell, J. Robson. « Application ofFourrieranalysis to the visibility of gratings». Journal of physiology (London), 197 :551-556, 1968. 

[CSS61] L.K. Cormack, S. B. Stevenson, C.M. Schor. « Interocular correlation, luminance constrast and cyclopean processing». Vision Research, 31 (12) 2195-2207, 1991. 

[DD91] M. Duval-Destin.Analyse spatiale et spatiotemporelle de la stimulation visuelle à l'aide de la transformée en ondelettes. Doctorat de physique théorique, Faculté des Sciences de Luminy, 1991.

[DDMT93] M. Duval-Destin, M.A. Muschietti, B. Torrésani. «Continuous wavelet decompositions, multiresolution and contrast analysis». SIAM Journal of Mathematical Analysis, 24(3) : 739-755, 1993.

[DF94] F. Devernay, O. Faugeras. «Computing differential properties of 3D shapes from stereoscopic images without 3D models» . Technical Report 2304, INRIA (Robotique,image et vision), 1994.

[ECR66] C. Enroth-cugel, J. D. Robson. «The constrast sensitivity of retinal ganglion cells of the cat». Journal of Physiology, 187 :517-522, 1966. 

[F1e94] D.J. Fleet. «Disparity from local weighted phase-correlation ». In IEEE International Conference on Systems, Man and Cybernetics, volume 1, pages 48-54, 1994. 

[Gri8l] W.E.L Grimson. In From images to surface : a computational study of the human early vision system. M.I.T. Press, Cambridge, 1981. 

[Hel88] U.V. Helava. «Object-space least- squares correlation».PE&RS,54(6) 711-714, 1988. 

[JM91] D.G. Jones, J. Malik. «A computational framework for determining stereo correspondence from a set of linear spatial filters» . Technical Report UCB/CSD 91/655, Computer Science Division, Berkeley, University of California, 1991. 

[Jul71] B. Julesz. In Foundations of the cyclopean perception. University of Chicago Press, Chicago, 1971. 

[LNN94] K. O. Ludwing, H. Neumann, B. Neumann. «Local stereoscopic depth estimation». Image and Vision Computing, 12(l) :16-35, 1994. 

[Ma189] S.G. Mallat. «A Theory for multiresolution signal decomposition : the wavelet representation ».IEEE Transactions on Pattern Analysis and Machine Intelligence, 11(7) :674-693, 1989. 

[Mar82] D. MARR. In Vision : a computational investigation into the human representation and processing of visual information. Freeman, New York, 1982.

[MGA96] H.A. Mallot, S. Gillner, P.A. Arndt. « Is correspondence search in human stereo vision a coarse-to-fine process».Biological Cybernetics, 74:95106, 1996. 

[MSJ96] J.S. MCVEIGH, M.W. SIEGEL, A.G. JORDAN. «Algorithm for automated eye strain reduction in real stereoscopic images and sequences» . In Proceedings of the SPIE, volume 2657, pages 307-316, 1996. 

[Nis87] H.K. Nishihara. In M.A. Fichier. O. Firschein, éditeurs, Readings in Computer Vision. Kauffman, Los Altos, 1987. 

[OLL96] M.H. OUALI, 11, LANGE, C. LAURGEAU. «An energy minimization approach to dense stereovision» . In Proceedingg of the IEEE International Conference on Image Processing. volume 2, pages 841-846, Lausanne (Suisse), septembre 1996. 

[Per98] J. Perrin, Profondeur et binocularité a'-:orithmie, étude psychophysique et application à l'ergonomie des interfaces Stéréscopiques, Doctorat deInformatique temps réel, Robotique et automatique, Ecole des Mines de Paris, 1998. 

[PFRP98I .1. Perrin, P.Fuchs,C. Roumes, F. Perret. «Improvement of stereoscopic comfort through control of the disparity and of the spatial frequency content» . INProceessing ofthe SPIE, Aerosense'98, Orlanda (FL), 1998. 

[Rou95] C. Roumes. Contenufréquentiel de l'imageet vision binoculaire : étude psychophysique chez l'homme. Doctorat de neurosciences, Université Paris 6, 1995. [Sma95] H.S. Smallman. «Fine-to-coarse scale disambiguation in stereopsis». Vision Research, 35(8) :1047-1060, 1995. 

[Wöp95] M. Wöpking.«Viewing comfort with stereoscopic pictures : an experimental study on the subjective effects of disparity magnitude and depth of focus». Journal of the SID, 3 :101-103, 1995.