Classification de séquences audiovisuelles

J. Carrive

LIP6 2000/030: THÈSE de DOCTORAT de l'UNIVERSITÉ PARIS 6 LIP6 / LIP6 research reports
187 pages - Septembre/September 2000 - French document.

Get it : 20985 Ko /Kb

Contact : par mail / e-mail

Thème/Team: Objets et Agents pour Systèmes d'Information et de Simulation

Titre français : Classification de séquences audiovisuelles
Titre anglais : Classification of audiovisual sequences

Résumé : Dans le contexte de l'indexation automatique de documents audiovisuels, nous nous intéressons aux collections d'émissions de télévision respectant une structure générale commune, telles que certains journaux télévisés ou certains magazines d'actualité ou de variétés. Nous cherchons à représenter et à reconnaître dans de telles émissions des séquences caractéristiques pouvant être annotées comme un tout par un(e) documentaliste, comme une chanson dans un magazine de variétés ou un reportage de journal télévisé. Nous proposons un langage de représentation de ces classes de séquences appelées canevas. La définition d'un canevas repose d'une part sur un vocabulaire d'événements primitifs directement observables, tels que les logos ou les jingles, et d'autre part sur un ensemble de relations temporelles prescrites entre ces événements. Nous proposons de représenter les événements primitifs dans un formalisme de logiques de descriptions et nous étendons l'algèbre d'intervalles temporels de Allen avec un opérateur d'itération noté « * » désignant des séquences d'événements temporellement adjacents ainsi qu'avec des contraintes spécifiques faisant intervenir une négation. Nous présentons le problème de la reconnaissance des canevas comme un problème de satisfaction de contraintes et nous proposons une méthode de résolution efficace ainsi qu'une implémentation de cette méthode dans un système de satisfaction de contraintes existant. Nous exposons enfin une série d'expérimentations conduites à l'Institut National de l'Audiovisuel (INA) sur un corpus de journaux télévisés.

Abstract : In the context of automatic indexing of audio-visual documents, we are interested in collections of programs that respect a common general structure, such as broadcast news or some news or variety programs. We aim at representing and recognizing in scuch programs some characteristic sequences which can be annotated as a whole by a documentalist, such as a song in a variety program or a report in a broadcast news. We propose a language that represent such classes of sequences as templates. The definition of a template relies on the one hand on a vocabulary of directly observable primitive events, such as logos or jingles, and on the other hand on a set of temporal relations between these events. We propose to represent primitive events in a description logic formalism and we extend Allen's temporal interval algebra with an iteration operator « * » denoting a sequence of temporally adjacent events, and with specific constraints involving a negation. We present the template recognition problem as a constraint satisfaction problem and propose an efficient solving procedure, as well as an implementation of this procedure in an existing constraint satisfaction framework. We finally expose a set of experiments conducted at the French National Institute of Audiovisual (INA) on a corpus of broadcast news.

Mots-clés : indexation audiovisuelle, collection d’émissions, canevas, séquences, logiques de descriptions, raisonnement temporel, satisfaction de contraintes

Key-words : audiovisual indexing, program collection, template, sequence, description logics, temporal reasoning, constraint satisfaction

Publications internes LIP6 2000 / LIP6 research reports 2000

Responsable Éditorial / Editor :Valerie.Mangin@lip6.fr