Gestion intelligente de capteurs et fusion multisensorielle pour la détection et le suivi d'obstacles sur route

Gestion intelligente de capteurs et fusion multisensorielle pour la détection et le suivi d'obstacles sur route

Smart Sensing and Multisensorial Data Fusion for Road Obstacle Detection and Tracking

Laurent Trasoudaine Paul Checchin  Joseph Alizon  François Collange  Jean Gallice 

Laboratoire des Sciences et Matériaux pour l ' Electronique et d 'Automatique (LASMEA), U .R .A. 1793 du C .N .R .S . , Université Blaise Pascal de Clermont-Ferrand, F-63177 Aubière cedex

Corresponding Author Email: 
trassou©lasmea.univ-bpclermont.fr
Page: 
127-142
|
Received: 
6 September 1994
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

In this article, we present a multisensorial solution for road obstacle detection and tracking . This solution is based on a mixed camera/3D sensor mounted on the front of an experimental vehicle .

The multisensor is described . The calibration step enables the matching of the heterogeneous data . Two capabalities of the sensor have been developped: the controlled perception making possible the acquisition of depth data in an area defined in the intensity image; the visual servoing carrying out the focusing of the laser beam on a moving target detected in the intensity image . These two capabalities allow a Feedback control on the acquisition mode of the sensor according to the environment .'

The perception strategy is based on the selection of the best sensor for a given goal . The obstacle detection is based on the segmentation and interpretation of depth data which are well suited in this context . However, the rate of acquisition of these data is too slow in order to extract the kinematic state of the obstacle . So, the tracking process is based on the collaboration between intensity image processing which ensures the tracking itself and a 3D process which returns the obstacle model size to search in the image. This algorithm of heterogeneous data fusion, associated with a Kalman filtering, permits to compute the state of obstacles . This work fits into the european project PROMETHEUS . Experimental results have been validated in real situation on the Prolab vehicle .

Résumé

Dans cet article, nous présentons une solution multisensorielle temps réel pour la détection et le suivi d'obstacles sur route . Cette solution est basée sur l'utilisation d'un capteur mixte caméra vidéo/capteur de profondeur placé à l'avant d'un véhicule expérimental .

Le capteur multisensoriel est décrit. Le calibrage permet l'alignement des données hétérogènes. Deux facultés du capteur sont développées : la perception dirigée permet l'acquisition d'une image de profondeur dans une zone définie dans l'image de luminance ; l'asservissement visuel réalise la focalisation du faisceau laser sur un point de l'image de luminance . De façon générale, ces facultés permettent un contrôle par rétroaction sur le mode d'acquisition du capteur en fonction de la situation dans laquelle se trouve le système de perception .

La stratégie de perception est basée sur la sélection du capteur adéquat pour un objectif donné . La détection d'obstacle repose sur la segmentation et l'interprétation des données de profondeur qui sont d'une grande pertinence dans ce contexte . En revanche, la cadence d'acquisition de ces données n'est pas suffisante si l'on souhaite dériver les caractéristiques cinématiques des obstacles. En conséquence, le suivi des obstacles combine un traitement de l'image de luminance rapide avec un traitement de l'information 3D. Le premier permet de réactualiser la position de l'obstacle afin d'asservir le faisceau laser sur celui-ci et le second assure la connaissance de la taille du modèle de l'obstacle à chercher dans l'image . Cet algorithme de fusion de données hétérogènes accompagné d'un filtrage de Kalman permet d'inférer les caractéristiques cinématiques des obstacles dont la connaissance est indispensable pour aborder ceux-ci dans de bonnes conditions .

Ces recherches sont menées dans le cadre du projet européen PROMETHEUS et sont validées en situation réelle à bord du véhicule expérimental Prolab .

Keywords: 

Perception, Data fusion, Active vision, Smart sensing, Obstacle detection

Mots clés

Perception de l'environnement, Fusion de données, Capteur actif, Capteur intelligent, Détection d'obstacles

1. Introduction
2. Le Capteur Multisensoriel
3. Un capteur Intelligent
4. Détection Et Suivi D'obstacles Par Fusion Multisensorielle
5. Résultats
6. Conclusion
  References

[C91] R. Chapuis : Suivi de primitives images - Application à la conduite automatique sur route", Thèse de doctorat d'université, Clermont-Ferrand , 1991 .

[D91] J .P. Derutin : A parallel vision machine : TRANSVISION, Computer Architecture for Machine Perception, pp . 241-251, 1991 .

[FT87] O . D. Faugeras, G . Toscani : Camera Calibration for 3D Computer Vision, Proc. of International Workshop on Machine Vision and Machine Intelligence, Tokyo, Febuary 87 .

[DER94] V. Der Gharapetian, B . El-Eter, M . Rombaut : Reliable system for dynamic fusion of high level data in the Prolab II demonstrator, Intelligent Vehicles '94, Paris, 24-26 octobre, pp . 473-478, 1994 .

[HLLM94] M. Hassoun, L. Laugier, N . LeFort, D . Meizel : An assistance system for diagnosis and monitoring of driving manoeuvres, IEEE-SMC IMACS international symposium on signal processing, robotics and neural networks , Lille, pp .1-6, 1994.

[HVG94] D . Hutber, T. Vieville, G. Giraudon : Data fusion for reliable detection and tracking of multiple obstacles in a raod environment . An asynchronous approach, IEEE-SMC IMACS international symposium on signal processing, robotics and neural networks, Lille, pp .15-18, 1994 .

[H95] D. Hutber : Suivi multi-capteurs de cibles multiples en vision par ordinateur, appliqué à un véhicule dans un environnement routier, thèse de l'université de Nice - Sophia Antipolis, novembre 1995 .

[J93] F. Jurie :Perception visuelle par propagation d'informations dans un réseau d'hypothèses : application à l'interprétation de scènes routières, Thèse de doctorat d'université, Clermont-Ferrand, 1993 .

[KB60] R. E. Kalman, R .S . Bucy : New results in linear filtering and prediction theory, Trans. ASME, Series D journal of Basic Eng., vol . 38, pp 95-101 , 1960.

[R94] R . Reynaud : La fusion de données, du capteur au raisonnement, Editorial, Traitement du signal, vol . l i, n 6, pp 431-434, 1994 . LES AUTEURS Laurent TRASSOUDAINE

[RM95] R . Reynaud, T. Maurin : Le concept ProChip : la détection des situations dangereuses - fusion multisensorielle, L'intégration des systèmes électroniques dans l'automobile du XXI° siècle, Chapitre 2, pp 90-103 , Cépadués éditions, ISBN 2 .85428 .386 .4, 1995 .

[TDD94] F. Thomaneck, E.D . Dickmanns, D. Dickmanns : Multiple object recognition and scene interpretation for autonomous road vehicle guidance, Intelligent Vehicles '94, Paris, 24-26 octobre, pp . 231-236, 1994 .

[XTAT+93] M . Xie, L . Trassoudaine, J . Alizon, M . Thonnat, J . Gallice : Active and Intelligent Sensing of Road Obstacles : Application to the European Eureka - Prometheus Project, 4th Int . Conference on Computer Vision, Berlin, 11-1 3 mai, pp . 616-623,1993 .