Classification and Automatic Annotation Extension of Images Using a Bayesian Network. Classification et Extension Automatique D’Annotations D’Images en Utilisant un Réseau Bayésien

The rapid growth of Internet and multimedia information has shown a need in the development of multimedia information retrieval techniques,especially in image retrieval.We can distinguish two main trends.The first one,called “text-based image retrieval”,consists in applying text-retrieval techniques from fully annotated images.The textdescribes high-level concepts but this technique presents some drawbacks:it requires a tedious work of annotation. Moreover,annotations could be ambiguous because two users can use different keywords to describe a same image. Consequently some approaches have proposed to useWordnet in order to reduce these potential ambiguities.The second approach,called “content-based image retrieval”is a younger field.These methods rely on visual features (color, texture or shape) computed automatically,and retrieve images using a similarity measure.However,the obtained performances are not really acceptable,except in the case of well-focused corpus.In order to improve the recognition, a solution consists in combining visual and semantic information.In many vision problems,instead of having fully annotated training data,it is easier to obtain just a subset of data with annotations,because it is less restrictive for the user.This paper deals with modeling,classifying,and annotating weakly annotated images.More precisely,we propose a scheme for image classification optimization,using a joint visual-text clustering approach and automatically extending image annotations.The proposed approach is derived from the probabilistic graphical model theory and dedicated for both tasks of weakly-annotated image classification and annotation.We consider an image as weakly annotated if the number of keywords defined for it is less than the maximum defined in the ground truth.Thanks to their ability to manage missing values,a probabilistic graphical model has been proposed to represent weakly annotated images.We propose a probabilistic graphical model based on a Gaussian-Mixtures and Multinomial mixture.The visual features are estimated by the Gaussian mixtures and the keywords by a Multinomial distribution.Therefore,the proposed model does not require that all images be annotated:when an image is weakly annotated,the missing keywords are considered as missing values.Besides,our model can automatically extend existing annotations to weakly-annotated images,without user intervention.The uncertainty around the association between a set of keywords and an image is tackled by a joint probability distribution (defined from Gaussian-Mixtures and Multinomial mixture) over the dictionary of keywords and the visual features extracted from our collection of images.Moreover,in order to solve the dimensionality problem due to the large dimensions of visual features,we have adapted a variable selection method.Results of visual-textual classification,reported on a database of images collected from the Web,partially and manually annotated,show an improvement of about 32.3% in terms of recognition rate against only visual information classification.Besides the automatic annotation extension with our model for images with missing keywords outperforms the visual-textual classification of about 6.8%.Finally the proposed method is experimentally competitive with the state-of-art classifiers.

Résumé

Nous proposons,dans cet article,d'améliorer la classification d'images,en utilisant une approche de classification visuo-textuelle (à base de caractéristiques visuelles et textuelles),et en étendant automatiquement les annotations existantes aux images non annotées. L'approche proposée est dérivée de la théorie des modèles graphiques probabilistes et dédiée aux deux tâches de classification et d'annotation d'images partiellement annotées. Nous considérons une image comme partiellement annotée si elle ne possède pas le nombre maximal de mots-clés disponibles par image dans la vérité-terrain. Grâce à leur capacité à fonctionner en présence de données manquantes,un modèle graphique probabiliste a été proposé pour représenter les images partiellement annotées. Ce modèle est basé sur un mélange de lois multinomiales et de mélanges de Gaussiennes. La distribution des caractéristiques visuelles est estimée par des mélanges de Gaussiennes et celle des mots-clés par une loi multinomiale. Par conséquent,le modèle proposé ne requiert pas que toutes les images soient annotées :lorsqu'une image est partiellement annotées, les mots-clés manquants sont considérés comme des valeurs manquantes. De plus,notre modèle peut automatiquement étendre des annotations existantes à des images partiellement annotées,sans l'intervention de l'utilisateur. L'incertitude autour de l'association entre un ensemble de mots-clés et une image est capturée par une distribution de probabilité jointe (définie par un mélange de lois multinomiales et de mélanges de Gaussiennes) sur le dictionnaire de mots-clés et les caractéristiques visuelles extraites de notre collection d'images. De plus,de façon à résoudre le problème de dimensionnalité dû à la grande dimension des caractéristiques visuelles,nous avons adapté une méthode de sélection de variables. Les résultats de la classification visuo-textuelle,obtenus sur une base d'images collectées sur Internet,partiellement et manuellement annotée,montrent une amélioration de 32.3 % en terme de taux de reconnaissance,par rapport à la classification basée sur l'information visuelle uniquement. Par ailleurs,l'extension automatique d'annotations,avec notre modèle,sur des images avec mots-clés manquants,améliore encore la classification visuo-textuelle de 6.8 %. Enfin,la méthode proposée s'est montrée compétitive avec des classificateurs de l'état de l'art.