ŒUVRE DANS CE SYSTEME

DOMAINE DE L’INVENTION

La présente invention concerne un procédé de génération d’images de synthèse prédictive d’une scène réelle. Elle vise également un système de génération d’images de synthèse prédictive mettant en œuvre ce procédé, ainsi qu’un équipement d’acquisition d’environnements lumineux implémenté dans ce système.

ETAT DE LA TECHNIQUE

Il existe une demande considérable pour des outils numériques d’aide à la conception intégrant des simulations de scènes réelles qui soient les plus réalistes possibles pour les concepteurs. On parle alors de simulations physico-réalistes.

Les systèmes classiques de génération d’images virtuelles généralement conçus pour l’Industrie Créative fonctionnent dans le référentiel tri chromique RGB très éloigné de la réalité physique des interactions lumière/matière.

On peut citer des logiciels de simulation de systèmes optiques, tels que le logiciel SPEOS de la société Ansys, développé pour prédire l’illumination et les performances optiques de systèmes afin de gagner du temps et des coûts de prototypage, et le logiciel THEIA-RT de la même société, qui procure un rendu en temps réel basé sur la physique.

EP3526697A1 divulgue un procédé informatique de modélisation d'au moins une source de lumière, comprenant: une étape de réception de données d'entrée comprenant des données de caractéristiques des matériaux constituant la source de lumière; et une étape de création, à partir de données de caractéristiques des matériaux reçus, ainsi que de données géométriques et de données de caractéristiques d'émission lumineuse de la source lumineuse, un modèle de données représentant la lumière source, ces données géométriques décrivant la source de lumière et définissant une pluralité de volumes et de surfaces; dans lequel, lors de la création du modèle de données: les données es caractéristiques des matériaux sont liées aux volumes et aux surfaces des données géométriques, et aux données des caractéristiques d'émission lumineuse de la lumière la source sont liées aux surfaces des données géométriques; et une étape de stockage du modèle de données dans l'ordinateur. On peut également citer le logiciel OCEAN développé par la société Eclat Digital, qui procure une simulation spectrale et polarisée pour du prototypage virtuel avec un rendu d’image photo réaliste, ainsi que le logiciel 3D EXCITE développé par la société Dassault Systems qui fournir une solution de visualisation temps réel.

Pour autant, ces outils logiciels de simulation optique ne permettent pas encore une validation de l’aspect final du produit manufacturé. Il y a de fait rupture dans la chaîne de conception numérique et des recours à des maquettes physiques restent nécessaires ce qui augmentent considérablement les coûts et les délais.

Le document « Omen Simulation Suite », XP055898677 publié le 31 décembre 2019, divulgue un moteur de rendu iso-photographique pour une conception d'apparence assistée par ordinateur. Ce moteur, qui traite des données provenant de plusieurs sources de données, peut prédire comment des aspects de la lumière vont interagir avec un objet ou un matériau dans un environnement de lumière naturelle ou artificielle.

Le document « Iso Photographie Rendering », XP055898959 publié le 31 décembre 2018, divulgue un procédé de rendu iso-photographique mettant en œuvre une acquisition séquentielle d'images successivement filtrées par des filtres chromatiques et polarisants avec différents temps de pose. Dans ce procédé de rendu qui permet de recréer une image virtuelle visant à être identique à ce à quoi une vraie photographie aurait ressemblé, seules les données mesurées sont utilisées pour alimenter le moteur de rendu.

Le but de la présente invention est de dépasser les limitations des procédés de simulation existants et de procurer aux concepteurs un nouvel outil de simulation physico-réaliste d’une qualité telle qu’il puisse délivrer des simulations prédictives dites iso-photographiques d’une scène qui soient indiscernables par rapport à une photographie réelle de cette scène prise au même moment et dans les mêmes conditions.

EXPOSE DE L’INVENTION

Cet objectif est atteint avec un procédé pour générer une image de synthèse prédictive d’une scène réelle, comprenant : une ou plusieurs étapes d’acquisition d’environnements lumineux de la scène réelle, comprenant des étapes de mesures physiques en relation avec ladite scène réelle, ces étapes de mesures physiques comprenant une pluralité de prises de vue hyper- spectrales de la scène réelle, selon une pluralité de positions angulaires une ou plusieurs étapes de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, une ou plusieurs étapes de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réelle, avec un rendu physico-réaliste, et agencées pour produire une image brute simulée de la scène réelle.

Suivant l’invention, le procédé de génération d’image de synthèse prédictive comprend en outre : une étape préalable pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée de ladite scène réelle, une étape pour développer numériquement respectivement ladite image brute capturée et ladite image brute simulée, agencée pour générer respectivement une photographie réelle et une photographie prédite de ladite scène réelle.

Les étapes de traitement des données de mesures physiques peuvent comprendre des étapes pour délivrer une cartographie lumineuse de la scène réelle, des étapes pour délivrer une réponse spectrale de la scène réelle, et des étapes pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.

Les étapes de simulation prédictive sont de préférence spectrales et polarisées, et agencées pour produire une image brute simulée de la scène réelle.

L’étape de développement numérique peut comprendre une étape pour démosaïquer l’image brute capturée et l’image brute simulée.

Il s’agit ainsi avec la présente invention de proposer l’ensemble des outils nécessaires à la génération d’images de synthèse « Iso-Photographique » c’est-à-dire indiscernables d’une photographie prise au même moment dans les mêmes conditions. Toute intervention liée à une éventuelle estimation esthétique de l’utilisateur est écartée. La particularité de cet outil de simulation est d’associer phénomènes physiques et méthodes mathématiques pour livrer des résultats théoriques susceptibles d’être utilisé dans le champ de la réalité virtuelle. Tous les phénomènes physiques en cause sont pris en considération, en particulier l’aspect spectral et la polarisation de la lumière. La résolution de l’équation du rendu est exacte (Illumination Globale par la méthode de Monte-Carlo). À ce titre les résultats sont prédictifs et répétables, condition indispensable à la crédibilité de tels outils de simulation de conception de l’aspect visuel d’un objet.

Selon un autre aspect de l’invention, il est proposé une utilisation du procédé de génération d’image de synthèse dans un outil de Conception de l'Apparence Assistée par Ordinateur.

Selon encore un autre aspect de l’invention, il est proposé un système pour générer une image de synthèse prédictive d’une scène réelle, pour la mise en œuvre du procédé selon l’invention, comprenant : des moyens pour acquérir des environnements lumineux de la scène réelle, comprenant des moyens de mesures physiques de la scène réelle, pour délivrer des données de mesures physiques en relation avec ladite scène réelle, lesdits moyens d’acquisition comprenant une caméra hyper-spectrale disposée sur une platine motorisée pour procurer une pluralité de positions angulaires de prise de vue d’une scène réelle, des moyens de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, de des moyens de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réaliste, avec un rendu physico-réaliste, et .pour produire une image brute simulée de la scène réelle (6).

Suivant, le système de génération d’image de synthèse prédictive comprend en outre : des moyens pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée de ladite scène réelle, des moyens pour développer numériquement respectivement ladite image brute capturée et ladite image brute simulée, agencés pour générer respectivement une photographie réelle et une photographie prédite de ladite scène réelle.

Les moyens de traitement des données de mesures physiques peuvent comprendre des moyens pour délivrer une cartographie lumineuse de la scène réelle, des moyens pour délivrer une réponse spectrale de la scène réelle, et des moyens pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.

Les moyens optiques de mesures physiques et les moyens de traitement des données de mesures physiques peuvent avantageusement être intégrés au sein d’un dispositif polarimètre spectral (DSP).

Les moyens de simulation prédictive peuvent en outre être agencés pour produire une image brute simulée de la scène réelle.

Les moyens de développement numérique peuvent comprendre des moyens pour démosaïquer l’image brute capturée et l’image brute simulée.

Selon encore un autre aspect de l’invention, il est proposé un équipement pour acquérir des environnements lumineux d’une scène réelle, mis en œuvre dans un système de génération d’image de synthèse selon l’invention, comprenant une caméra hyper-spectrale pourvue d’un objectif grand angle, cette caméra comprenant un réseau de diffraction et des lignes de capture spectrale entrelacées et étant disposée sur un plateau motorisé de façon à procurer une pluralité de positions angulaires.

Cet équipement d’acquisition d’environnements lumineux peut en outre comprendre des moyens pour synchroniser la rotation de la caméra avec les vitesses d’obturation en relation avec les temps d’intégration. La caméra hyper-spectrale peut en outre être programmée pour effectuer une pluralité de captures consécutives d’une scène réelle présentant de hautes dynamiques lumineuses, à des vitesses différentes.

L’équipement d’acquisition d’environnements lumineux peut en outre comprendre des moyens locaux pour stocker temporairement des données de capture d’une scène réelle.

DEFINITIONS

Balance des blancs : réglage qui permet, sur un appareil de prise de vues électronique, d'adapter la dominante de couleur à l'éclairage

Courbe gamma : La caractéristique de transfert d'un transducteur optique électronique Environnement lumineux : Image omnidirectionnelle (360 x 360 degrés) mémorisant Tillumination incidente en un point particulier de l’espace.

Imagerie hyper-spectrale : technologie permettant d'obtenir l'image d'une scène dans un grand nombre de bandes spectrales à la fois étroites et contigües

Image Raw : désignation générique d'un type de fichier d'images numériques issues d’appareils photo numériques ou de scanners. Un fichier Raw contient les données brutes du capteur et les paramètres nécessaires à la transformation en fichier image visible sur écran

Image de synthèse : Image créée par un ordinateur à partir d'un modèle numérique

Isophotographie :Image de synthèse indiscernable d’une photographie prise au même moment dans les mêmes conditions Réflectance d’un matériau : Proportion de lumière réfléchie par la surface du matériau

DESCRIPTION DES FIGURES

La Figure 1 est un synoptique illustrant un exemple de réalisation d’un procédé de génération d’image de synthèse prédictive selon l’invention ; • La Figure 2 illustre un processus de comparaison entre une photo réelle et une photo prédite par le procédé de génération selon l’invention ;

• La Figure 3 illustre un exemple d’un processus connu de dématriçage d’une image Raw, mis en œuvre dans le procédé de génération d’image selon l’invention « La Figure 4 illustre un exemple d’un algorithme de traitement implémentant le procédé de génération d’image selon l’invention ; et

• La Figure 5 est un schéma représentant un équipement d’acquisition d’environnements lumineux mis en œuvre dans un système de génération d’image selon l’invention. DESCRIPTION DETAILLEE

Exemple de réalisation d’un système de génération d’images de synthèse prédictive

L’apparence optique d’un objet provient de l’interaction entre la lumière et la matière qui traduit comment un objet capte la lumière et comment il la réémet. La caractérisation complète de l’apparence visuelle d’un objet modulée par sa forme (géométrie, texture, rugosité,...) et par sa nature (transparence, translucidité, couleur,..), nécessite un ensemble de mesures physiques pour quantifier les variations spectrales, angulaires et spatiales de la lumière réfléchie ou transmise par l’objet.

En référence à la Figure 1, un procédé de génération d’une image de synthèse prédictive selon selon l’invention comprend une première séquence I d’acquisition d’environnements lumineux d’une scène réelle comprenant des mesures physiques de ces environnements, une seconde séquence II de traitement des données de mesures physiques pour développer et délivrer des isophotographies, puis une séquence III de visualisation de ces isophotographies.

La séquence I d’acquisition d’environnements lumineux comprend des mesures IA d’émittance, des mesures IB de réflectance de matériaux mis en œuvre dans la scène réelle, et des mesures IC de réponse spectrale.

Grâce à la séquence I, le procédé de génération d’image de synthèse prédictive selon l’invention présente procure une description des phénomènes d’interaction lumière/matière la plus exhaustive et précise possible. Tous les phénomènes physiques en cause sont pris en considération : spatial, spectral et polarisation. La séquence II de traitement des données de mesures physiques comprend une exploitation IIA d’une géométrie 3D de la scène réelle dans un moteur IIB de rendu prédictif basé sur les mesures et un développement IIC d’isophotographies.

On va maintenant décrire, en référence à la figure 2, un exemple pratique de mise en œuvre du procédé de synthèse d’images prédictives selon l’invention, avec une comparaison entre photographie réelle et photographie prédictive.

A partir d’une prise de photographie réelle 20 d’une scène réelle, on obtient 22 une image brute capturée. On réalise en parallèle 21 une simulation isophotographique de cette scène réelle, qui conduit à une image brute simulée 23. Ces deux images brutes respectivement capturée et simulées 22,23 sont traitées 24 par un processus de développement numérique et de démosaïcage.

Il est à noter que le démosaïcage, aussi connu sous le nom de dématriçage, est une des phases du traitement du signal brut issu du capteur d'un appareil photographique numérique. Il consiste à interpoler les données de chacun des photosites monochromes rouge, vert et bleu composant le capteur électronique pour obtenir une valeur trichrome pour chaque pixel.

La mosaïque de Bayer, comportant une moitié de capteurs à filtre vert disposés en quinconce, séparés par des capteurs à filtre alternativement rouge et bleu, est la disposition la plus courante pour les capteurs couleur. Le démosaïcage ou dématriçage est l'opération de base du traitement de l'image ; il s'accompagne souvent d'opérations correctives. Il se fait dans l'appareil et, si on a enregistré un fichier Raw, avec un logiciel spécialisé, tenant compte des caractéristiques de l'appareil.

Ainsi, en référence à la figure 3, dans le cas d’une photographie couleur (ou d’une iso photographie couleur), l’image Raw est une image en niveau de pixel matricée. Affichée à l’écran, elle apparaît en niveau de gris. Pour former l’image couleur, on peut appliquer un processus connu de dématriçage qui permet d’obtenir une image composée de trois canaux rouge, vert et bleu par pixel.

On applique aux images brutes une courbe gamma et on réalise une balance des blancs. On obtient alors une photographie réelle 25 à comparer avec une photographie prédite 26.

En référence à la figure 4, l’ensemble des étapes de traitement qui viennent d’être décrites pour mettre en œuvre le procédé de génération d’image selon l’invention est réalisé sous la forme d’un algorithme implémenté dans un processeur graphique (GPU) ou un processeur central (CPU). Cet algorithme reçoit des informations d’entrée mesurées, spectrales ou non, polarisées ou non, notamment une ou plusieurs fonctions de diffusion des matériaux, une ou plusieurs réponses des capteurs ou de l’œil, une ou plusieurs fonctions de distribution des sources de lumière.

Cet algorithme implémente un intégrateur stochastique et réalise les opérations suivantes :

- initialisation des chemins,

- génération de rayons primaires spectraux et polarisés pour les chemins inactifs,

- simulation de l’interaction lumière -matière et extension des chemins, - accumulation des chemins terminés sur le capteur virtuel.

L’algorithme de traitement délivre en sortie une image Raw, une image RGB et une image spectrale ou non et polarisée ou non.

Un équipement d’acquisition d’environnements lumineux 1, dédié à la collecte des mesures nécessaires pour la génération d’images de synthèse prédictives d’une scène réelle 6, comprend, en référence à la figure 5, une caméra hyper-spectrale 2 pourvue d’un objectif grand-angle 4 , par exemple de type « Fish-Eye » et fixée à une plateforme motorisée 3 équipée de capteurs de position angulaire (non représentés) et pourvu d’un système de pieds 5. Cet équipement est dénommé dans la suite DSP pour « Digital Spectral Polarimeter ». IL permet l’identification et la quantification de la totalité les informations qui influencent l’intensité des phénomènes de réflexion et de transmission.

L’imagerie hyper-spectrale (HSI) est une technologie qui combine l’imagerie spatiale 2D et la spectroscopie pour fournir des informations détaillées sur la composition d’une cible. Elle permet l’acquisition d’informations spectrales résolues spatialement sous formes de nombreuses bandes de longueurs d’ondes étroites et contiguës. Chaque pixel de l’image résultante contient un spectre complet.

Une des principales méthodes d’acquisition de données hyper-spectrales est la technique connue dite du « pushbroom ». En utilisant une ouverture de fente linéaire et un élément optique diffractif, les informations spectrales peuvent être acquises ligne par ligne au moyen d’un balayage spatial. Traditionnellement la cartographie des images hyper-spectrales est réalisée en déplaçant l’objet ou la caméra en translation. Les informations spatiales et spectrales acquises forment un ensemble de données 3D présentées sous forme d’un cube, souvent appelé « Cube hyper-spectral ». Les dimensions dans ces cubes sont celles de l’espace (axes x et y) et la troisième est la dimension spectrale (z), correspondant à l’intensité lumineuse en fonction de la longueur d’onde.

Pendant le calcul, on réalise une interpolation linéaire entre les points ou les directions d'échantillonnage.

Exemple de réalisation d’un dispositif DSP

Dans un exemple pratique de réalisation d’un dispositif DSP, la caméra hyper spectrale utilisée est commercialisée par la société Resonon (https://resonon.com/hyperspectral-cameras) et le modèle retenu est : PIKA L.

La platine de rotation motorisée utilisée dans cet exemple de réalisation est commercialisée par la société Newport (https://www.newport.com), avec une plage angulaire de 360°, une vitesse maximale de 40°. s ¹ , et une précision de ± 15 mdeg.

La caméra hyper spectrale, équipée d’un objectif Fish Eye 4 prévu sans aberration chromatique et non polarisant, est composée de deux systèmes optiques distincts :

- un réseau de diffraction permettant la séparation chromatique

- un capteur CCD ou CMOS enregistrant l’information.

Ce première réseau de diffraction est du type par transmission de type VPH (Volume Phase Gratings), qui ne modifie pas la polarisation entrante. Pour de plus amples informations sur ce type de réseau de diffraction, on peut consulter le site suivant https://wasatchphotonics.com/technologies/volume-phase-holog raphic-gratings/

Le capteur peut être par exemple un capteur CMOS de référence IMX250 commercialisé par SONY. Les lignes de captures spectrales sont entrelacées. (Une ligne avec les filtres -45° et 0° et une seconde avec les filtres 90° et 45°). Un post-traitement spécifique est nécessaire et de fait les dimensions spectrales et spatiales sont divisées par 2 par rapport au système initial.

Connaissant les informations spectrales filtrées en polarisation linéaire, il est possible de déterminer les composantes du vecteur de Stokes nécessaires aux simulations de scène réelle Cependant, les composantes indicatrices des angles de polarisations sont dépendantes des repères dans lesquels elles sont calculées. Ces informations sont ensuite transformées dans un repère fixe.

La rotation de la caméra hyper-spectrale 2 est synchronisée avec les vitesses d’obturation en relation avec les temps d’intégration. La rotation doit être la plus rapide possible afin de diminuer le temps d’intégration et éviter les "flous" de mouvements liés aux objets mobiles de la scène, en restant dans les limites de l’efficacité quantique du capteur.

La dynamique radiométrique d’un environnement naturel peut être très élevée, en particulier en présence du soleil et de zones d’ombre. Pour couvrir l’ensemble de la dynamique de la scène, plusieurs captures consécutives à des vitesses différentes peuvent être nécessaires.

Exemple de réalisation d’un moteur de rendu prédictif

Le moteur de rendu prédictif, dénommé OMEN Render, est un outil logiciel de simulation, totalement spectral et polarisé, développé sur les techniques et architecture informatiques les plus récentes et respectant dans son fonctionnement la totalité des lois de la physique. Sa fonction est de générer des images prédictives, au plus proche de la réalité, de ce que sera le produit à venir. Ce moteur de rendu prédictif est iso-photographique, prédictif et répétable. Il peut intégrer des outils de réalité virtuelle, et implémenter des calculs haute performance (HPC) procurant des temps de calcul de l’ordre de la seconde (avec un cluster de 128 GPU) à comparer avec des temps de plusieurs minutes avec un ordinateur standard.

Le principe général du moteur de rendu prédictif mis en œuvre dans un système de génération d’images de synthèse prédictive selon l’invention est l’acquisition par valeurs ou par bandes de longueur d’onde de séries d’images spectrales fournissant l’intensité et les états de polarisation de la lumière incidente. La répartition spatiale sphérique est liée à l’utilisation d’un objectif grand angle, type fish-eye, produisant des images circulaires. Un ajout de filtres polarisants permet une détermination, par pixel, des vecteurs de Stokes, Ces données physiques sont nécessaires et suffisantes pour caractériser l’éclairement d’un objet dans un environnement réel distant.

Le moteur de rendu prédictif peut tenir compte de nombreux phénomènes optiques, habituellement ignorés dans les moteurs de rendu de l’état de l’art, tels que la dispersion spectrale de l’illuminant, la polarisation.

Les données issues du système DSP permettent un traitement d’image avec un pas de l’ordre du nanomètre. Cette précision garantit aux utilisateurs que les images virtuelles seront des représentations fidèles voire exactes. L’outil de Conception de l’Apparence Assistée par Ordinateur CA ² 0 que permet le procédé de génération d’images de synthèse prédictive, vient avantageusement compléter les outils existantes de CF AO (Conception Fabrication Assistée par ordinateur).

Bien entendu, la présente invention n’est pas limitée aux exemples de réalisation qui viennent d’être décrits et on peut prévoir bien d’autres modes de réalisation sans sortir du cadre de l’invention.