Domaine de l'invention

La présente invention se rapporte de manière générale au domaine du traitement d'images, et plus précisément au codage d'images en trois dimensions (3D) et de séquences d'images en trois dimensions.

De façon plus particulière, la présente invention concerne le codage d'au moins un motif holographique sur lequel est enregistré un signal lumineux représentatif de la lumière reçue par au moins un objet en perspective dans une scène.

L'invention peut notamment, mais non exclusivement, s'appliquer au codage vidéo mis en œuvre dans les codeurs vidéo actuels et de leurs amendements (MPEG, H.264, H.264 SVC, H.264 MVC, etc) ou à venir (ITU- T/VCEG (H.265) ou ISO/MPEG (HEVC)), et au décodage correspondant.

Art antérieur

De façon connue en soi, un motif holographique est le résultat d'un procédé holographique qui consiste à enregistrer un front d'onde lumineux émanant d'une scène ou d'un objet en imprimant la valeur de ce front d'onde de type monochromatique sur une plaque semi-transparente. Une telle impression est rendue possible en éliminant les variations temporelles de la phase du front d'onde lumineux par interférence avec un front d'onde lumineux de référence ayant la même fréquence que ledit front d'onde lumineux.

Le motif holographique ainsi créé est une image monochromatique comportant des détails de l'ordre de la longueur d'onde du front d'onde lumineux émanant de la scène ou de l'objet. Cette image peut être modélisée comme la transformée de Fresnel du front d'onde émanant de la scène ou de l'objet, transformée qui a pour propriété de disperser les détails fréquentiels spatiaux. L'information dans un motif holographique est donc très mal localisée, et se prête donc mal aux codages classiques. Un premier exemple de codage de tels motifs est décrit dans le document E. Darakis, T. Naughton, "Compression of Digital Hologram Séquence Using MPEG-4", Proc. SPIE vol. 7358, 2009. Dans ce document, il est procédé au codage d'une trame contenant un ensemble de motifs holographiques indexés par le temps, ladite trame définissant ainsi une vidéo holographique. Au même titre qu'une image d'une séquence vidéo, chaque motif de la trame est placé successivement en entrée d'un codeur vidéo conforme au standard MPEG- 4 de façon à subir un codage par blocs selon un schéma prédictif par exploitation des redondances spatiales entre les motifs (codage Intra) ou par exploitation des redondances temporelles entre les motifs (codage Inter).

Un deuxième exemple de codage de tels motifs est décrit dans le document M. Liebling, M. Unser, "Fresnelets : New Multiresolution Wavelet Bases for Digital Holography", IEEE Trans. Image Processing, Vol 12, Nol, January 2003. Comme dans le document précédent, il est procédé au codage d'une trame contenant un ensemble de motifs holographiques indexés par le temps, ladite trame définissant ainsi une vidéo holographique. Chaque motif de la trame est modélisé par une fonction à laquelle sont appliqués des bancs de filtres de façon à obtenir une décomposition dans une base de fonctions donnée, par exemple des ondelettes.

Un inconvénient de tels exemples de codage de motifs holographiques est que ces derniers sont très coûteux en termes de calcul et que les données codées obtenues sont très coûteuses à transmettre dans un flux destiné en particulier à être décodé. En outre, de tels procédés de codage ne tiennent pas compte du fait que les motifs holographiques comportent une dispersion d'informations initialement bien localisées dans le domaine spatial.

Objet et résumé de l'invention

Un des buts de l'invention est de remédier à des inconvénients de l'état de la technique précité.

A cet effet, selon un premier aspect, la présente invention concerne un procédé de codage d'au moins un motif holographique sur lequel est enregistré un signal lumineux représentatif de la lumière reçue par au moins un objet en perspective dans une scène.

Le procédé de codage selon l'invention est remarquable en ce qu'il met en œuvre les étapes consistant à :

- déterminer à partir du signal lumineux, pour chaque point Xj, l≤j≤M, du motif holographique, un ensemble de N rayons lumineux passant par le point précité et correspondant respectivement à N positions de visualisation différentes du motif,

- générer, à partir des M ensembles de N rayons lumineux déterminés, une pluralité de N vues en deux dimensions de l'objet correspondant respectivement aux N positions de visualisation du motif, par intersection, en chacune des positions de visualisation contenues dans un plan de visualisation parallèle à un plan contenant le motif holographique, de M rayons déterminés,

- agencer les N vues générées en une image multi-vues de l'objet, les N vues correspondant respectivement aux sous-images de l'image multi- vues,

- comprimer l'image multi-vues.

Grâce à une telle reconstitution du signal lumineux sous forme d'une pluralité de rayons dans le domaine spatial, au lieu d'une reconstruction dudit signal par application d'une transformée de Fresnel inverse, il est ainsi possible de réduire de façon non négligeable le temps et la complexité calculatoire du codage d'un motif holographique.

En outre, une telle reconstitution couplée à une exploitation des rayons sous forme d'une pluralité de vues représentant respectivement une pluralité de perspectives de la même scène 3D permet ainsi d'exploiter de façon optimale les multiples redondances spatiales et temporelles qui existent entre les différentes vues afin de coder efficacement le motif holographique.

En évitant d'inclure dans le signal codé à transmettre des informations de codage redondantes et donc inutiles à transmettre, il en résulte ainsi une diminution importante du coût de signalisation. Selon un mode de réalisation particulier, l'étape de détermination consiste à démoduler en amplitude et en fréquence le signal lumineux, délivrant, pour chaque point Xj, l≤j≤M, du motif holographique, un ensemble de N couples de données, les données d'un couple considéré étant associées respectivement à l'amplitude et la direction d'un rayon lumineux passant par un point considéré.

Une telle disposition permet d'optimiser sensiblement le coût de codage.

Selon un autre mode de réalisation particulier, la démodulation est effectuée par transformée de Gabor ou transformée en ondelettes.

De telles transformées ont pour avantage de localiser efficacement les fréquences spatiales associées à une position donnée dans l'hologramme.

Selon encore un autre mode de réalisation particulier, au cours de l'étape de génération des N vues, pour un point Xj courant, l≤j≤M, du motif holographique, le plan de visualisation est décomposé en une pluralité de N partitions, le centroïde de chaque partition correspondant au point d'intersection avec le plan de visualisation du rayon lumineux passant par le point Xj.

Une telle disposition a pour avantage d'associer à des amas de pixels la valeur de l'intensité d'un pixel de référence.

Selon une variante de cet autre mode de réalisation, au cours de l'étape de génération des N vues, pour un point x'j courant, l≤j≤M, du motif holographique, le plan de visualisation est décomposé récursivement en quatre partitions, jusqu'à ce que chaque sous-partition résultant de la décomposition ne contienne qu'un seul centroïde, le centroïde de chaque sous-partition correspondant au point d'intersection avec le plan de visualisation du rayon lumineux passant par le point x'j.

Une telle disposition a également pour avantage d'attribuer à des amas de pixels la valeur de l'intensité d'un pixel de référence.

Selon encore un autre mode de réalisation particulier, l'étape de compression met en œuvre, pour l'image multi-vues, les sous-étapes de : - prédiction de l'image multi-vues en fonction d'au moins une image multi-vues de référence précédemment codée puis décodée, délivrant une image multi-vues prédite,

- détermination de données résiduelles, par comparaison de données relatives à l'image multi-vues précitée avec des données relatives à l'image multi-vues prédite,

- transformée et quantification des données résiduelles déterminées,

- encodage des données résiduelles transformées et quantifiées. Une telle disposition permet lors du codage d'optimiser l'élimination des redondances spatiales et temporelles entre les N vues de l'image multi-vues obtenue, en vue de réduire sensiblement le coût de codage.

Selon encore un autre mode de réalisation particulier, le codage est de type MVC.

Une telle disposition permet de d'appliquer à des motifs holographiques la technique de codage standard MVC (abréviation anglaise de « Multi-view coding ») dévolue jusqu'à maintenant au codage d'images multi-vues.

De façon correspondante, l'invention concerne un dispositif de codage destiné à mettre en œuvre le procédé de codage selon l'invention. Le dispositif de codage selon l'invention est donc destiné à coder au moins un motif holographique sur lequel est enregistré un signal lumineux représentatif de la lumière reçue par au moins un objet en perspective dans une scène.

Un tel dispositif de codage est remarquable en ce qu'il comprend des moyens de traitement qui sont aptes à :

- déterminer à partir du signal lumineux, pour chaque point Xj, l≤j≤M, du motif holographique, un ensemble de N rayons lumineux passant par le point précité et correspondant respectivement à N positions de visualisation différentes dudit motif,

- générer, à partir des M ensembles de N rayons lumineux déterminés, une pluralité de N vues en deux dimensions de l'objet correspondant respectivement aux N positions de visualisation du motif, par intersection, en chacune des positions de visualisation contenues dans un plan de visualisation parallèle à un plan contenant le motif holographique, de M rayons déterminés,

- agencer les N vues générées en une image multi-vues de l'objet, les N vues correspondant respectivement aux sous-images de l'image multi- vues,

- compresser l'image multi-vues.

Selon un autre aspect, l'invention concerne un programme d'ordinateur comportant des instructions pour mettre en œuvre le procédé de codage selon l'invention, lorsqu'il est exécuté sur un ordinateur.

L'invention vise également un programme d'ordinateur sur un support d'informations, ce programme comportant des instructions adaptées à la mise en œuvre du procédé de codage selon l'invention, tel que décrit ci-dessus.

Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.

L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus.

Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur.

D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.

Le dispositif de codage et le programme d'ordinateur précité présentent au moins les mêmes avantages que ceux conférés par le procédé de codage selon la présente invention.

Brève description des dessins

D'autres caractéristiques et avantages apparaîtront à la lecture de plusieurs modes de réalisation préférés décrits en référence aux figures dans lesquelles:

- la figure 1 représente un exemple de motif holographique auquel est destiné à s'appliquer le procédé de codage selon l'invention,

- la figure 2 représente des étapes du procédé de codage selon l'invention,

- la figure 3 représente un mode de réalisation d'un dispositif de codage selon l'invention,

- la figure 4 est un schéma illustrant l'étape de génération d'une pluralité de vues mise en œuvre dans le procédé de codage selon l'invention,

- la figure 5 est un schéma illustrant, pour une position de visualisation donnée du motif holographique, les rayons lumineux associés à cette position et interceptant le motif holographique,

- les figures 6A et 6B représentent respectivement deux modes de réalisation particuliers mettant en œuvre une subdivision du plan de visualisation au cours de l'étape de génération d'une pluralité de vues mise en œuvre dans le procédé de codage selon l'invention,

- la figure 7 représente schématiquement l'image multi-vues obtenue à partir de la pluralité de vues générées selon l'invention,

- la figure 8 représente schématiquement un mode de réalisation de reconstruction d'un motif holographique codé selon l'invention. Description détaillée d'un mode de réalisation

Un mode de réalisation de l'invention va maintenant être décrit, dans lequel le procédé de codage selon l'invention est utilisé pour coder un motif holographique courant M H tel que représenté sur la figure 1, sur lequel est enregistré un signal lumineux SL représentatif de la lumière reçue par au moins un objet OBJ en perspective dans une scène SC en trois dimensions. Dans l'exemple représenté, l'objet OBJ est une théière. De façon connue en tant que telle, le motif holographique MH contient une pluralité de points xi, X ₂ ,...,XJ, ...,XM, avec l≤j≤M, qui sont obtenus à la suite d'une discrétisation selon un pas d'échantillonnage prédéterminé.

Le motif holographique MH peut être unique ou bien appartenir à un ensemble de motifs représentatifs du même objet et indexés par le temps, autrement dit une trame d'une vidéo holographique.

Le procédé de codage selon l'invention est représenté sous la forme d'un algorithme comportant des étapes Cl à C4 représentées à la figure 2.

Selon le mode de réalisation de l'invention, le procédé de codage selon l'invention est implémenté dans un dispositif de codage CO représenté à la figure 2.

La première étape Cl, représentée à la figure 2, est la détermination à partir dudit signal lumineux SL, pour chaque point Xj, l≤j≤M, dudit motif holographique courant MH, d'un ensemble de N rayons lumineux passant par ledit point considéré et correspondant respectivement à N positions de visualisation angulaires différentes dudit motif. Une telle étape est mise en œuvre par un module logiciel de démodulation DEM et un module logiciel de conversion CONV tels que représentés sur la figure 3.

En référence aux figures 2 et 3, l'étape de détermination Cl comprend une première sous-étape Cil, au cours de laquelle le module de démodulation DEM procède à une démodulation en amplitude et en fréquence du signal lumineux SL, de façon à délivrer, pour chaque point Xj l≤j≤M, dudit motif holographique courant MH, un ensemble de N signaux d'amplitude et de fréquence spatiale orientée données. Dans un souci de clarté, seuls trois signaux parmi N sont représentés sur la figure 3.

Une telle démodulation peut être effectuée par exemple par transformée de Gabor, transformée en ondelettes, développement en série d'ondelettes, etc....

L'étape de détermination Cl comprend en outre une deuxième sous- étape C12, au cours de laquelle les N signaux obtenus sont convertis respectivement en N rayons d'amplitude et de direction données.

Selon le mode préféré de réalisation, la sous-étape de démodulation Cil met en œuvre une transformée de Gabor. A cet effet, en chaque point Xj (l≤j≤M) dudit motif holographique courant MH, un filtrage de Gabor est appliqué dans un ensemble de directions 2D (6> ₀ , ..., Θ _Ν ). Un ensemble S _j de N couples de données : amplitude, fréquence spatiale orientée est alors obtenu en chaque point Xj l≤j≤M, tel que Sj = {(aji, fji),(aj ₂ , fj2) (ajN,fjN) }, lorsque les amplitudes sont supérieures à un seuil donné.

A l'issue de la sous-étape de démodulation Cil, M ensembles Si à S _M de couples de données dont obtenus.

La sous-étape de conversion C12 convertit ensuite chacun des M ensembles Si à S _M en respectivement M ensembles SCi à SC _M de couples de données : amplitude, direction 3D. Pour un point Xj du motif holographique courant MH, l'ensemble SQ = {(a _j i,d _j i), (a _j2 ,d _j2 ), (a _jN ,d _jN )} est obtenu selon l'équation sin(a) = Â/f, liant la fréquence spatiale f à la direction de diffraction a pour une onde plane incidente perpendiculairement à un plan contenant ledit motif holographique courant MH, a étant considérée dans le plan azimutal défini par ledit ensemble de directions 2D (6> ₀ , Θ _Ν ).

A titre d'alternative, la sous-étape de démodulation Cil applique une transformée en ondelettes 2D en chaque point Xj (l≤j≤M) dudit motif holographique courant MH. A cet effet, on considère une ondelette génératrice φ et la transformée a _jN = ^ (sf ^t {f _jN .{x _c - T)MH{T)dT , pour une discrétisation suffisante dudit ensemble de directions 2D ( Θ _0r 6> _N ), avec x _c un point courant du motif holographique MH et T une variable d'intégration. L'ondelette génératrice φ peut être n'importe quelle fonction satisfaisant le critère

d'admissibilité classiq <∞, où φ désignant la transformée de

Fourier de φ .

Au cours d'une étape C2 représentée à la figure 2, il est procédé, à partir des M ensembles SCi à SC _M de couples de données obtenus à la sous- étape de conversion C12, à la génération de N vues en deux dimensions (2D) de l'objet OBJ. Une telle génération de vues est mise en œuvre par un module logiciel de traitement GSI tel que représenté sur la figure 3.

A cet effet, comme représenté sur la figure 4, les N vues générées correspondent respectivement à ce que visualisent respectivement N observateurs situés respectivement selon N positions de visualisation angulaires différentes pl à pN dudit motif holographique MH. De telles vues sont générées par intersection, en chacune desdites positions de visualisation contenues dans un même plan de visualisation PV parallèle au plan H contenant ledit motif holographique MH, de M rayons d'amplitude et de direction 3D déterminés à l'issue de la sous-étape C12. Dans l'exemple représenté, N=9, et par conséquent, neuf positions de visualisation pl à p9 sont représentées. Dans un souci de clarté de la figure 4, seuls quelques rayons sont représentés uniquement en relation avec les positions de visualisation p4 et p9.

Comme représenté sur la figure 5, où pour des raisons de clarté, une seule position de visualisation est représentée, par exemple pl, M rayons Ru, R12, RIM, interceptent le motif holographique MH contenu dans le plan H en M points xi, X2,..., XM de ce motif.

Selon un premier mode de réalisation tel que représenté sur la figure 6A, au cours de l'étape C2 de génération des N vues, pour un point Xj courant, l≤j≤M, dudit motif holographique MH, le plan de visualisation PV est décomposé selon un diagramme de Voronoï en une pluralité de N partitions PAi à PA _N , le centroïde de chaque partition correspondant au point d'intersection avec le plan de visualisation PV d'un rayon lumineux de direction et d'amplitude donnés, passant par le point Xj. Dans l'exemple représenté où N=9, Ii à I ₉ représentent les neuf intersections des neuf rayons Rij, R¾,..., R¾ issus du point Xj et ayant chacun une direction donnée. Chaque partition PAi à PA _N est associée à l'amplitude des N rayons Rij, R¾,..., RNJ- Selon un deuxième mode de réalisation tel que représenté sur la figure

6B, au cours de l'étape C2 de génération des N vues, pour un point x'j courant, l≤j≤M, dudit motif holographique MH, le plan de visualisation PV est subdivisé récursivement en quatre partitions ΡΑΊ à PA' ₄ jusqu'à ce que chaque sous- partition issue de ladite décomposition ne contienne qu'un seul centroïde, le centroïde de chaque sous-partition correspondant au point d'intersection avec le plan de visualisation du rayon lumineux passant par le point x'j. Dans l'exemple représenté où N=9, ΙΊ à I' ₉ représentent les neuf intersections des neuf rayons R'ij, R'¾,..., R'9j issus du point x'j et ayant chacun une direction donnée. Chacune des N sous-partitions obtenues est associée à l'amplitude des N rayons R'ij, R'¾,..., R'NJ -

Au cours d'une étape suivante C3 représentée à la figure 1, les N vues générées sont organisées en une seule image IE multi-vues, selon un parcours prédéterminé. Une telle étape est effectuée par un module logiciel TI de traitement d'images tel que représenté à la figure 3. Un exemple d'une telle image IE est représenté sur la figure 7. Dans l'exemple représenté, N=9. L'image IE contenue dans un repère (X, Y) comprend neuf vues Vi à Vg du même objet OBJ, qui sont contenues respectivement dans un repère (ui,vi) à (u _N ,v _N ). Les vues Vi à V ₉ correspondent respectivement aux positions de visualisation pl à p9 telles que représentées à la figure 4 et sont par exemple organisées à la suite les unes des autres selon un trajet par exemple en zigzag.

Au cours d'une étape suivante C4 représentée à la figure 2, l'image IE multi-vues générée est comprimée.

Une telle étape est mise en œuvre par un module logiciel de compression CMP représenté sur la figure 3.

Une telle compression est fiable et précise, puisque compte tenu de l'agencement particulier des N vues qui composent l'image IE multi-vues, ladite compression exploite les redondances tant spatiales que temporelles entre les N vues générées.

Selon un premier mode de réalisation représenté sur la figure 2, ladite étape de compression C4 met en œuvre un codage prédictif par blocs de l'image IE multi-vues, selon un schéma similaire à celui du codage prédictif d'images en deux dimensions tel que défini dans le standard H.264. Ainsi, l'image IE multi-vues peut être codée en Intra (en tant qu'image I) ou bien en Inter. Dans le cas où l'image IE est codée en Inter, elle peut être codée :

- soit en tant qu'image P, c'est-à-dire prédite de façon classique par rapport à une image multi-vues déjà codée, puis décodée,

- soit en tant qu'image B (bi-directionnelle), c'est-à-dire prédite par rapport à une ou plusieurs images passées et futures.

A cet effet, l'étape de compression C4 comprend les sous-étapes décrites ci-dessous.

Au cours d'une sous-étape C41 représentée à la figure 2, il est procédé au découpage de l'image courante IE multi-vues en une pluralité de blocs de pixels. La dimension de chacun des blocs est d'ordre 4, dans le repère (X, Y, u, v) représenté sur la figure 7.

Au cours d'une sous-étape C42 représentée à la figure 2, il est procédé à la prédiction de chacun des blocs de l'image multi-vues courante en fonction respectivement de un ou plusieurs blocs de référence d'une image multi-vues de référence, c'est à dire précédemment codée puis décodée. Il est ainsi obtenu une pluralité de blocs prédits.

Au cours d'une sous-étape C43 représentée à la figure 2, il est procédé à la détermination de données résiduelles par comparaison des données relatives à chaque bloc courant avec respectivement les données relatives à chaque bloc prédit.

Au cours d'une sous-étape C44 représentée à la figure 2, il est procédé à la transformée et quantification des données résiduelles déterminées précédemment. La transformée appliquée est par exemple une transformée en cosinus discrète (DCT). Au cours d'une sous-étape C45 représentée à la figure 2, il est procédé à l'encodage desdites données résiduelles quantifiées.

Selon un deuxième mode de réalisation représenté sur la figure 2, ladite étape de compression C4 met en œuvre un codage multi-vues de l'image IE multi-vues. De façon connue en soi, un tel codage est effectué par un algorithme MVC (MPEG-4 multiview-coding).

A l'issue de l'étape de compression C4, un signal vidéo codé SGI (codage prédictif par blocs) ou SG2 (codage MVC) est produit. Ledit signal est stocké ou bien transmis à un décodeur (non représenté).

Le procédé de codage qui vient d'être décrit ci-dessus est réitéré pour une pluralité de motifs holographiques appartenant à une trame déterminée.

Dans le cas où le signal codé SGI ou SG2 est transmis à un décodeur, ce dernier est adapté pour reconstituer ledit nombre N de vues, à partir des données encodées contenues dans le signal SG1 ou SG2.

Selon un premier mode de réalisation représenté à la figure 8, les N vues reconstruites Vi à V _N sont modulées respectivement avec N motifs d'interférences M à MI _N calculés préalablement. Les vues ainsi modulées sont ensuite superposées pour reconstituer le motif holographique initial MH. Une telle méthode est par exemple décrite dans le document : Wendy Plesniak, Michael Halle, V. Michael Bove Jr., James Barabas, Ravikanth Pappu, "Reconfigurable image projection holograms", Optical Engineering 45(1 1 ), 1 15801 (November 2006).

A titre d'alternative, les N vues reconstruites V-i à V _N sont respectivement transformées en N fronts d'onde élémentaires au moyen d'une transformée de Fourier. Lesdits N fronts d'onde sont ensuite transportés par transformée de Fresnel dans un même plan pour reconstituer le motif holographique initial MH. Une telle méthode est par exemple décrite dans le document : K. Yamamoto, T. Senoh, R. Oi, T. Kurita, "8K4K-size Computer Generated Hologram for 3D Visual System Using Rendering Technology", Universal Communication Symposium (IUCS), 2010 4th International, Oct. 2010, pp. 193 - 196.

Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.