Fast Quasi-Flat Zones Filtering Using Area Threshold and Region Merging
Abstract Quasi-flat zones are morphological operators which segment the image into homogeneous re... more Abstract Quasi-flat zones are morphological operators which segment the image into homogeneous regions according to certain criteria. They are used as an image simplification tool or an image segmentation pre-processing, but they induced a very important oversegmentation. Several filtering methods have been proposed to deal with this issue but they suffer from different drawbacks, eg, loss of quality or edge deformation.
Spatial and Spectral Morphological Template Matching
Template matching is a very topical issue in a wide range of imaging applications. Mathematical m... more Template matching is a very topical issue in a wide range of imaging applications. Mathematical morphology offers the hit-or-miss transform, an operator which has been successfully applied for template matching in binary images. More recently, it has been extended to greyscale images and even to multivariate images. Nevertheless, these extensions, despite being relevant from a theoretical point-of-view, might lack of practical interest due to the inherent difficulty to set up correctly the transform and its parameters (\eg the structuring functions). In this paper, we propose a new user-friendly operator which allows for morphological template matching in multivariate images from both a spatial and spectral point of view. We illustrate the potential of this operator in the context of remote sensing.
Symbol spotting for technical documents : An efficient template-Matching approach
Symbol retrieval for technical documents is still a hot challenge in the document analysis commun... more Symbol retrieval for technical documents is still a hot challenge in the document analysis community. In this paper we propose another way to spot symbols. A pixel-based template operator which is an adaptation of the hit-or-miss transform is defined. This operator is robust to translation, rotation and reflection. Experimental results on a real application show the efficiency of our approach.
Revisiting Component Tree Based Segmentation Using Meaningful Photometric Informations
This paper proposes to revisit a recent interactive segmentation algorithm based on an original i... more This paper proposes to revisit a recent interactive segmentation algorithm based on an original image representation called the component-tree (Passat et al., PR, 2011). This method relies on an optimisation process allowing to choose a segmentation result fitting at best some image markers defined by the user. We propose different solutions to improve the efficiency of the method, in particular by including meaningful photometric informations and by assessing automatically the user parameter alpha.
Towards efficient satellite time series analysis: combination of Dynamic Time Warping and Quasi-Flat Zones
Satellite Image Time Series (SITS, for short) are useful resources for Earth monitoring. Upcoming... more Satellite Image Time Series (SITS, for short) are useful resources for Earth monitoring. Upcoming satellites will provide a global coverage of the Earth's surface with a short revisit time (five days); a huge amount of data to analyze will be produced. In order to be able to analyze efficiently and accurately these images, new methods have to be designed. In this article, we propose to combine a spatio-temporal segmentation pre-processing method quasi-flat zones, which have been recently extended to video analysis and the distortion power of DTW to simplify the representation of the SITS, in order to reduce both the time and the memory consumption. Experiments carried out on a series of 46 images show that the memory consumption can be reduced by an order of magnitude without reducing the relevance of the analysis.
Video data is continuously increasing in personal databases and Web repositories. To exploit such... more Video data is continuously increasing in personal databases and Web repositories. To exploit such data, a prior segmentation is often needed in order to get the objects-of-interest to be further processed. However, the segmentation of a given video is often not unique and indeed depends on user needs. Personalized segmentation may be achieved using interactive methods but only if their computational cost stays reasonable to enable user interactivity. We address here the problem of interactive video segmentation and introduce a 2-step segmentation scheme: 1) offline processing to automatically extract quasi-flat zones from video data, and 2) online processing to interactively gather quasi-flat zones and build objects-of-interest. Our approach is able to deal with multiple objects, robust to errors introduced by the automatic segmentation step, and does not require to perform again the whole segmentation process each time the user provides some feedback.
In order to face the various needs of users, user-driven segmentation methods are expected to pro... more In order to face the various needs of users, user-driven segmentation methods are expected to provide more relevant results than fully automatic approaches. Within Mathematical Morphology, several user-driven approaches have been proposed, mostly relying on the watershed transform. Nevertheless, Soille (IEEE TPAMI, 2008) has recently suggested another solution by gathering puzzle pieces computed as Quasi-Flat Zones (QFZ) of an image. In this paper, we study more deeply this user-driven segmentation scheme in the context of video data. Thus we also introduce the concept of Spatio-Temporal QFZ and propose several methods for extracting such zones from a video sequence.
Le volume des données vidéo ne cesse d'augmenter dans les bases de données personnelles et sur le... more Le volume des données vidéo ne cesse d'augmenter dans les bases de données personnelles et sur le Web. Pour exploiter ces données, une segmentation préalable est souvent nécessaire afin d'obtenir les objets d'intérêt à traiter ultérieurement. Cependant, la segmentation d'une séquence vidéo n'est pas unique et dépend des besoins de chaque utilisateur. Une segmentation personnalisée peut être réalisée en utilisant des méthodes interactives, mais seulement si leur temps de calcul reste raisonnable afin de permettre dans de bonnes conditions cette interactivité. Dans cet article, nous abordons le problème de la segmentation vidéo interactive et proposons une approche en deux étapes : 1) un traitement hors-ligne pour extraire automatiquement les zones quasi-plates à partir d'une séquence vidéo, et 2) un traitement en-ligne interactif destiné à assembler les zones quasi-plates afin de construire les objets d'intérêt. Notre approche est capable de faire face à de multiples objets, est robuste aux erreurs introduites par l'étape de présegmentation automatique et ne nécessite pas de réitérer l'ensemble du processus de segmentation à chaque correction des marqueurs par l'utilisateur.
La qualité d'une segmentation s'apprécie généralement au regard de l'usage qui en est fait. Afin ... more La qualité d'une segmentation s'apprécie généralement au regard de l'usage qui en est fait. Afin de s'adapter aux besoins très variés pour lesquels elle est employée, la segmentation peut être guidée par l'utilisateur, au lieu d'être complètement automatique. La morphologie mathématique a fournit plusieurs méthodes de segmentation guidée par l'utilisateur, reposant le plus souvent sur la Ligne de Partage des Eaux. Néanmoins, Soille a récemment suggéré une nouvelle approche consistant à assembler des pièces de puzzle obtenues en produisant les zones quasi-plates (ZQP) d'une image. Dans cet article, nous étudions plus profondément ce schéma de segmentation guidée par l'utilisateur dans le contexte des séquences vidéo. Nous introduisons ainsi le concept de ZQP spatio-temporelles, et proposons plusieurs méthodes pour extraire de telles zones d'une séquence vidéo.
Actuellement, le média vidéo est une des premières sources d’information, mais aussi une des plus... more Actuellement, le média vidéo est une des premières sources d’information, mais aussi une des plus volumineuses. Pour traiter cette masse d’infor- mations, les systèmes actuels de fouille vidéo font face à un problème de fossé sémantique : il existe une différence entre la signification sémantique du contenu des séquences vidéos et l’information numérique codée dans les fichiers associés. Ce fossé peut être en partie comblé par l’utilisation des objets réels (du point de vue de l’utilisateur) présents dans les séquences. Cependant la fouille vidéo orientée objet nécessite l’introduction d’informations sémantiques, que ce soit pour l’extraction des objets ou pour la fouille de ces objets. Nous proposons d’introduire de telles informations par le biais d’une interaction avec l’utilisateur. Cette interaction consiste en un mécanisme de retour de pertinence. Le système propose à l’utilisateur un échantillon des résultats obtenus, puis l’utilisateur valide, invalide ou corrige ces résultats. Ces informations de validation/invalidation/correction sont alors utilisées pour guider le système et lui permettre d’améliorer les résultats qu’il produit. Cet article ne propose pas un système complètement opérationnel mais explore certaines pistes pour arriver à un tel système.
Segmentation morphologique interactive pour la fouille de séquences vidéo
Nous observons actuellement une augmentation importante du volume de données vidéo disponibles. L... more Nous observons actuellement une augmentation importante du volume de données vidéo disponibles. L'utilisation efficace de cette masse de données nécessite d'en extraire de l'information. Dans cette thèse, nous proposons d'utiliser les méthodes de fouille de données et de les appliquer sur les objets-vidéo d'intérêt afin de combler le fossé sémantique en impliquant l'utilisateur dans le processus. Extraire ces objets à partir des pixels nécessite de manipuler un grand volume de données, induisant un traitement couteux (en temps et en mémoire) peu compatible avec une implication interactive de l'utilisateur. Ainsi, nous proposons d'appliquer le processus interactif de segmentation sur une réduction des données, les zones quasi-plates. N'étant définies que pour les images fixes, nous proposons une extension des zones quasi-plates aux séquences vidéo ainsi qu'une nouvelle méthode de filtrage. La segmentation est effectuée interactivement par l'utilisateur qui dessine des marqueurs sur les objets d'intérêt afin de guider la fusion des zones quasi-plates composant ces objets. Elle est effectuée sur un graphe d'adjacence de régions représentant les zones quasi-plates spatiotemporelles ainsi que leurs relations d'adjacence. L'utilisation de cette structure assure un faible temps de calcul. Les objets-vidéo obtenus sont ensuite utilisés dans un processus de fouille interactif guidé par des descripteurs extraits automatiquement de la video et des informations données par l'utilisateur. La forte interactivité avec l'utilisateur, à la fois lors de l'étape de segmentation puis lors de l'étape de fouille favorise la synergie entre données numériques et interprétation humaine.
Urban Remote Sensing Joint Event, 2007, Jan 1, 2007
This paper presents a new method for buildings extraction in Very High Resolution (VHR) remotely ... more This paper presents a new method for buildings extraction in Very High Resolution (VHR) remotely sensed images based on binary mathematical morphology (MM) operators. The proposed approach involves several advanced morphological operators among which an adaptive hit-or-miss transform with varying sizes and shapes of the structuring element and a bidimensional granulometry intended to determine the optimal filtering parameters automatically. A clustering-based approach for image binarization is also introduced. This one avoids an empirical thresholding of input panchromatic images. Experiments made on a Quickbird VHR-image show the effectiveness of the method.
Cet article présente une nouvelle méthode de détection et d’extraction des bâtiments en milieu ur... more Cet article présente une nouvelle méthode de détection et d’extraction des bâtiments en milieu urbain à partir d’images satellitaires à très haute résolution spatiale. L’approche proposée est fondée sur l’application et l’enchainement automatique d’opérateurs issus de la morphologie mathématique binaire. Plusieurs étapes constituent la méthode : (1) binarisation de l’image, (2) filtrage du bruit et des éléments de taille inférieure aux bâtiments par lissage morphologique, (3) détection des bâtiments par application d’une transformée en tout ou rien adaptative, avec un élément structurant de taille et de forme variable, (4) restauration de la forme des bâtiments par reconstruction géodésique. Deux stratégies différentes de binarisation sont proposées lors de l’étape initiale. La première consiste à binariser l’image par seuillage, le seuil étant défini soit de manière automatique, soit de manière empirique en fonction de l’image traitée. La seconde est fondée sur l’application d’une classification non supervisée pour laquelle le nombre de classes n’est pas fixé a priori. La méthode a été mise en œuvre sur une image Quickbird panchromatique de la région de Strasbourg. Les résultats obtenus confirment l’intérêt et l’efficacité de l’approche.
The Hit-or-Miss transform is a well-known morphological operator for template matching in binary ... more The Hit-or-Miss transform is a well-known morphological operator for template matching in binary and grey-level images. However it cannot be used straightforward in multivalued images (such as colour or multispectral images) since Mathematical Morphology needs an ordering relation which is not trivial on multivalued spaces. Moreover, existing definitions of the Hit-Or-Miss Transform in grey-level use only spatial templates (or structuring elements) which could be insufficient for some feature extraction problems. In this paper, we propose a multivariate Hit-or-Miss Transform operator which combines spatial and spectral patterns to perform template matching. We illustrate its relevance with an application in the remote sensing field, the extraction of coastline from very high (spatial) resolution images.
Ce poster présente une nouvelle méthode de détection de bâtiments dans les images THRS (Très Haut... more Ce poster présente une nouvelle méthode de détection de bâtiments dans les images THRS (Très Haute Résolution Spatiale) en utilisant des opérateurs de la morphologie mathématique binaire. Notre méthode ne requiert aucune donnée exogène, contrairement aux autres approches (utilisant par exemple des données d’élévation ou une classification qupervisée en post-traitement). Elle est basée sur plusieurs opérateurs morphologiques, et notamment une transformée en tout ou rien adaptative, pour laquelle la taille et la forme de l’élément structurant varient. Appliquée sur une image Quickbird de Strasbourg, la méthode présentée fournit des résultats intéressants, limités cependant par la binarisation de l’image.
In this article, we are dealing with the problem of coastline extraction in Very High Resolution ... more In this article, we are dealing with the problem of coastline extraction in Very High Resolution (VHR) multispectral images (Quickbird) on the Normandy Coast (France). Locating precisely the coastline is a crucial task in the context of coastal resource management and planning. In VHR imagery, some details on coastal zone become visible and the coastline definition depends on the geomorphologic context. According to the type of coastal units (sandy beach, wetlands, dune, cliff), several definitions for the coastline has to be used. So in this paper we propose a new approach in two steps based on morphological tools to extract coastline according to their context. More precisely, we first perform two detections of possible coastline pixels (respectively without false positive and without false negative). To do so, we apply a recent extension to multivariate images of the hit-or-miss transform, the morphological template matching tool, and rely on expert knowledge to define the sought templates. We then combine these two results through a double thresholding procedure followed by a final marker-based watershed to locate the exact coastline. In order to assess the performance and reliability of our method, results are compared with some ground-truth given by expert visual analysis. This comparison is made both visually and quantitatively. Results show the high performance of our method and its relevance to the problem under consideration.
Today, video is becoming one of the primary sources of information. Current video mining systems ... more Today, video is becoming one of the primary sources of information. Current video mining systems face the problem of the semantic gap (i.e., the difference between the semantic meaning of video contents and the digital information encoded within the video files). This gap can be bridged by relying on the real objects present in videos because of the semantic meaning of objects. But video object mining needs some semantics, both in the object extraction step and in the object mining step. We think that the introduction of semantics during these steps can be ensured by user interaction. We then propose a generic framework to deal with video object mining.
Uploads
Papers by Jonathan Weber
We address here the problem of interactive video segmentation and introduce a 2-step segmentation scheme: 1) offline processing to automatically extract quasi-flat zones from video data, and 2) online processing to interactively gather quasi-flat zones and build objects-of-interest. Our approach is able to deal with multiple objects, robust to errors introduced by the automatic segmentation step, and does not require to perform again the whole segmentation process each time the user provides some feedback.
mations, les systèmes actuels de fouille vidéo font face à un problème de fossé sémantique : il existe une différence entre la signification sémantique du contenu des séquences vidéos et l’information numérique codée dans les fichiers associés. Ce fossé peut être en partie comblé par l’utilisation des objets réels (du point de vue de l’utilisateur) présents dans les séquences. Cependant la fouille vidéo orientée objet nécessite l’introduction d’informations sémantiques, que ce soit pour l’extraction des objets ou pour la fouille de ces objets. Nous proposons d’introduire de telles informations par le biais d’une interaction avec l’utilisateur. Cette interaction consiste en un mécanisme de retour de pertinence. Le système propose à l’utilisateur un échantillon des résultats obtenus, puis l’utilisateur valide, invalide ou corrige ces résultats. Ces informations de validation/invalidation/correction sont alors utilisées pour guider le système et lui permettre d’améliorer les résultats qu’il produit. Cet article ne propose pas un système complètement opérationnel mais explore certaines pistes pour arriver à un tel système.
bidimensional granulometry intended to determine the optimal filtering parameters automatically. A clustering-based approach for image binarization is also introduced. This one avoids an empirical thresholding of input panchromatic images. Experiments made on a Quickbird VHR-image show the effectiveness of the method.
binariser l’image par seuillage, le seuil étant défini soit de manière automatique, soit de manière empirique en fonction de l’image traitée. La seconde est fondée sur l’application d’une classification non supervisée pour laquelle le nombre de classes n’est pas fixé a priori. La méthode a été mise en œuvre sur une image Quickbird panchromatique de la région de Strasbourg. Les résultats obtenus confirment l’intérêt et l’efficacité de l’approche.
problem under consideration.