Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
ADAPTIVE GENERATION OF A HIGH DYNAMIC RANGE IMAGE OF A SCENE, ON THE BASIS OF A PLURALITY OF IMAGES OBTAINED BY NON-DESTRUCTIVE READING OF AN IMAGE SENSOR
Document Type and Number:
WIPO Patent Application WO/2018/134029
Kind Code:
A1
Abstract:
The invention relates to the generation of a high dynamic range image of a scene, termed an HDR image, on the basis of a plurality of images obtained by non-destructive reading of an image sensor, called NDRO images. Such an HDR image generation method comprises: the determination of a criterion of desired quality for the HDR image; at least two non-destructive readings of the sensor delivering at least two successive NDRO images; the selection, as a function of the criterion of desired quality, of the first and of the last NDRO image to be used to generate the HDR image; the generation of the HDR image on the basis of information extracted from a series of successive NDRO images starting with the first and terminating with the last NDRO image to be used; the storage of a single image at one and the same time throughout the entire HDR generation phase.

Inventors:
DARSON DAVID (FR)
DUBOIS JULIEN (FR)
HEYRMAN BARTHÉLÉMY (FR)
GINHAC DOMINIQUE (FR)
BOUDERBANE MUSTAPHA (FR)
Application Number:
PCT/EP2017/084393
Publication Date:
July 26, 2018
Filing Date:
December 22, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CENTRE NAT RECH SCIENT (FR)
UNIV PIERRE ET MARIE CURIE UPMC (FR)
UNIV PARIS DIDEROT PARIS 7 DIDEROT VALORISATION (FR)
ECOLE NORMALE SUPERIEURE DE PARIS (FR)
UNIV BOURGOGNE (FR)
International Classes:
H04N5/235; H04N5/353; H04N5/355; H04N5/372; H04N5/3745
Foreign References:
US20070268396A12007-11-22
US6219097B12001-04-17
US20150130967A12015-05-14
US7868938B22011-01-11
Other References:
SAMUEL W HASINOFF ET AL: "Noise-optimal capture for high dynamic range photography", 2010 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 13-18 JUNE 2010, SAN FRANCISCO, CA, USA, IEEE, PISCATAWAY, NJ, USA, 13 June 2010 (2010-06-13), pages 553 - 560, XP031725992, ISBN: 978-1-4244-6984-0
MUSTAPHA BOUDERBANE ET AL.: "Suppression de l'artéfact de ghost pour la génération de vidéo HDR temps-réel", COMPAS'2016 : PARALLÉLISME/ARCHITECTURE/SYSTÈME, 5 July 2016 (2016-07-05)
Attorney, Agent or Firm:
HOLTZ, Béatrice (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de ladite scène obtenues par lecture non destructive d'un capteur d'image, appelées images N DRO,

ledit capteur (204, 304) comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière,

caractérisé en ce qu'il comprend :

une première lecture non destructive dudit capteur d'image, délivrant une première image NDRO courante d'indice n=0, et une mémorisation de ladite première image, au sein d'une zone mémoire, en association avec un temps d'exposition associé à ladite première image ;

pour chaque pixel de ladite première image, une comparaison d'une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel à un seuil de sélection de signal, et une sélection dudit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal ;

au moins une itération des étapes successives suivantes, pour n entier, n variant de 1 à N :

une lecture non destructive dudit capteur d'image, délivrant une image NDRO courante d'indice n ;

une actualisation de ladite zone mémoire par mémorisation, pour chaque pixel de ladite image NDRO courante d'indice n non précédemment sélectionné dans une image N DRO précédant ladite image N DRO courante, d'une valeur de signal associée audit pixel, en association avec un temps d'exposition associé à ladite image NDRO courante d'indice n ; pour chaque pixel de ladite image NDRO courante d'indice n, une comparaison d'une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel audit seuil de sélection de signal, et une sélection dudit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal ;

une génération (108) de ladite image à grande gamme dynamique à partir des valeurs de signal mémorisées, pondérées par lesdits temps d'exposition associés desdites valeurs de signal associées auxdits pixels sélectionnés et desdits temps d'exposition mémorisés en association.

2. Procédé de génération d'une image à grande gamme dynamique selon la revendication 1, caractérisé en ce que les étapes dudit procédé nécessaires à ladite génération de ladite image à grande gamme dynamique mettent en œuvre une mémorisation d'une unique image à un instant donné.

3. Procédé de génération d'une image à grande gamme dynamique selon la revendication 1 ou 2, caractérisé en ce qu'il comprend une étape préliminaire de détermination (100) d'un critère de qualité souhaité pour ladite image à grande gamme dynamique et d'un temps d'exposition maximum dudit capteur.

4. Procédé de génération d'une image à grande gamme dynamique selon la revendication 3, caractérisé en ce que ledit critère de qualité souhaité est un critère de rapport signal sur bruit des pixels de ladite image à grande gamme dynamique.

5. Procédé de génération d'une image à grande gamme dynamique selon la revendication 3 ou 4, caractérisé en ce que ladite image NDRO d'indice N est :

la première desdites images NDRO successives dans laquelle tous les pixels sont associés à une valeur de signal supérieure ou égale audit seuil de sélection de signal ; ou

une image N DRO, associée audit temps d'exposition maximum dudit capteur, si elle contient au moins un pixel associé à une valeur de signal inférieure audit seuil de sélection de signal.

6. Procédé de génération d'une image à grande gamme dynamique selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ladite génération (108) de ladite image à grande gamme dynamique comprend un calcul d'une valeur de signal associée à chaque pixel de ladite image à grande gamme dynamique par pondération évaluée, en fonction de la réponse du capteur, de ladite valeur de signal mémorisée dans ladite zone mémoire pour chacun desdits pixels par ledit temps d'exposition associé.

7. Procédé de génération d'une image à grande gamme dynamique selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comprend également une détermination préalable d'un temps minimum d'accumulation de charges électriques sur le capteur d'image avant ladite première lecture non destructive dudit capteur d'image, noté tmin,

et en ce que ledit temps minimum d'accumulation tmin satisfait la condition :

où :

• tNDR0 est un temps entre deux desdites itérations successives de lecture non destructive dudit capteur d'image ;

• Ssat est un signal de saturation dudit capteur d'image ; • 50 est un signal électronique exploitable, hors bruit, le plus faible issu dudit capteur d'image.

8. Produit programme d'ordinateur comprenant des instructions de code de programme pour la mise en œuvre d'un procédé selon l'une quelconque des revendications 1 à 7, lorsqu'il est exécuté par un processeur.

9. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé de génération d'une image à grande gamme dynamique selon l'une quelconque des revendications 1 à 7.

10. Système de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de ladite scène obtenues par lecture non destructive d'un capteur d'image, appelées images N DRO,

ledit capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière,

caractérisé en ce que il comprend une unité de calcul adaptée à la mise en œuvre des étapes du procédé de génération d'image à grande gamme dynamique selon l'une quelconque des revendications 1 à 7.

11. Système (200, 300) de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de ladite scène obtenues par lecture non destructive d'un capteur d'image, appelées images NDRO,

ledit système comprenant un capteur (204, 304) comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière, ledit capteur étant apte à fonctionner dans un mode de lecture non destructive,

caractérisé en ce qu'il comprend :

une unité de calcul (201, 301) apte à comparer, pour chaque pixel d'une image NDRO, parmi une pluralité d'images N DRO successives délivrées par ledit capteur, une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel à un seuil de sélection de signal, et à sélectionner ledit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal et si ledit pixel n'a pas été précédemment sélectionné dans une image NDRO précédente de ladite pluralité d'images NDRO ; une mémoire (202, 302) apte à mémoriser des valeurs de signal associées auxdits pixels sélectionnés desdites images N DRO successives en association avec des temps d'exposition associés auxdites images N DRO ;

une unité de calcul configurée pour générer ladite image à grande gamme dynamique à partir desdites valeurs de signal associées auxdits pixels sélectionnés et desdits temps d'exposition mémorisés en association.

12. Système (200, 300) de génération d'une image à grande gamme dynamique d'une scène selon la revendication 11, caractérisé en ce que il comprend également un module d'interface (211, 311) pou r saisie par un utilisateur d'un critère de qualité souhaité pour ladite image à grande gamme dynamique et d'un temps d'exposition maximu m d udit capteur.

Description:
Génération adaptative d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images obtenues par lecture non destructive d'un capteur d'image.

1. Domaine de l'invention

Le domaine de l'invention est celui de l'acquisition d'images au moyen de dispositifs de captures tels que des appareils photos numériques (APN), des caméras, des microscopes, des téléphones intelligents (en anglais « smartphones ») équipés d'APN, etc. Plus précisément, l'invention concerne une méthode d'acquisition d'images à grande gamme dynamique, ou HDR (pour l'anglais « High Dynamic Range »).

Elle trouve des applications notamment, mais non exclusivement, dans le domaine du cinéma, de la vidéo-surveillance, du transport aérien ou routier, du contrôle non-destructif, dans le domaine médical, ou encore dans celui des sciences fondamentales comme la physique, l'astronomie, etc.

2. Art antérieur et ses inconvénients

Les performances des dispositifs de capture d'image existants sont souvent limitées par l'étroitesse de leur gamme dynamique. Ainsi, lorsqu'une scène à capturer, sous forme d'image fixe ou de vidéo, présente de forts contrastes, l'image restituée par le dispositif de capture peut présenter des zones surexposées, dans lesquelles les pixels de l'image sont saturés, correspondant aux zones très lumineuses de la scène, et des zones sombres, aux détails peu ou pas visibles, correspondant aux zones peu éclairées de la scène.

Pour résoudre ce problème, et générer, à partir de dispositifs de capture existants, des images à grande gamme dynamique, dites images H DR, il a été envisagé de combiner plusieurs images classiques, dites LDR (pour l'anglais « Low Dynamic Range », faible gamme dynamique), associées à des temps de pose différents. Ainsi, la scène à imager est photographiée à plusieurs reprises, par le même dispositif de capture, avec des temps de pose différents : les temps de pose courts permettent de ne pas saturer les zones de l'image à forte luminosité, et les temps de pose longs permettent de détecter un signal utile dans les zones à faible luminosité. Les différentes images LDR obtenues sont ensuite traitées pour extraire de chacune les parties de l'image ayant le meilleur rendu, et ces différentes parties sont combinées pour construire une image H DR de la scène.

Ce procédé de génération d'image HDR s'avère coûteux en temps et en nombre de poses à réaliser. De ce fait, il n'est notamment pas adapté à la génération d'une séquence vidéo HDR, du fait de son caractère non temps réel.

En outre, lorsque la scène à imager comprend des éléments en mouvement, ils peuvent occuper des positions différentes dans les différentes images LDR capturées, ce qui peut entraîner l'apparition d'artefacts lors de la génération de l'image H DR. Ces effets de fantômes peuvent être corrigés avant la reconstruction de l'image HDR, mais au prix d'une électronique de traitement complexe et coûteuse. Un algorithme de suppression de tels artefacts est présenté par exemple par Mustapha Boude rba ne et al. dans l'article « Suppression de l'artéfact de ghost pour la génération de vidéo HDR temps-réel », Compas'2016 : Parallélisme/Architecture/Système, Lorient, France, du 5 au 8 juillet 2016.

L'évolution des détecteurs embarqués dans ces dispositifs de capture d'image permet désormais à ces derniers de fonctionner en mode de lecture non destructive, ou NDRO pour l'anglais « Non Destructive Read Out ». Dans ce mode de fonctionnement, les charges électriques accumulées par les éléments de conversion photoélectrique du détecteur peuvent être lues, sans remise à zéro : il est ainsi possible, pendant la durée de l'exposition du capteur, de procéder à plusieurs lectures des signaux de pixels, tout en permettant aux charges électriques de continuer à s'accumuler, sous l'effet de l'exposition du capteur à la lumière.

L'exploitation de ce mode de lecture non destructive, qui permet plusieurs lectures des signaux associés aux pixels du capteur pendant un seul temps de pose, offre une solution intéressante, tant au problème du coût temporel des méthodes de génération d'images HDR antérieures, qu'à celui de l'apparition d'artefacts. Il est en effet possible de générer une image à grande gamme dynamique d'une scène à partir de plusieurs images obtenues par lecture non destructive du capteur au cours d'un même temps de pose.

Ainsi, le document de brevet US 7,868,938 propose un nouveau type de dispositif de capture d'image, dans lequel un premier lecteur opère une lecture des charges accumulées par les éléments de conversion photoélectrique du capteur en mode de lecture destructive, avec remise à zéro des signaux des pixels après chaque lecture, à l'issue d'un temps d'exposition standard, et un second lecteur fonctionne en mode de lecture non destructive, pour obtenir plusieurs images N DRO associées à différents temps d'exposition courts, i.e. plus courts que le temps d'exposition standard. Les différentes images NDRO associées à des temps d'exposition courts sont utilisées pour prédire si certains pixels de l'image obtenue par le premier lecteur seront saturés, du fait d'une surexposition des parties correspondantes de la scène à imager pendant le temps d'exposition standard. Dans l'affirmative, une image HDR est générée dans laquelle les pixels saturés de l'image obtenue par le premier lecteur dans le temps d'exposition standard sont remplacés par les pixels non saturés correspondants extraits d'une image N DRO associée à un temps d'exposition plus court.

Si elle est intéressante en ce qu'elle permet, par rapport aux techniques antérieures, de réduire le temps nécessaire à la génération d'une image à grande gamme dynamique, cette méthode présente cependant encore plusieurs inconvénients, parmi lesquels un besoin en puissance de calcul élevé, lié aux multiples lectures non destructives successives du capteur requises.

En outre, cette technique, qui apporte une solution intéressante à la problématique de la saturation de certaines zones de l'image, ne permet pas de résoudre le problème des zones faiblement exposées. En effet, selon cette technique, les pixels saturés de l'image via une pose classique sont « dé-saturés », car remplacés par les mêmes pixels issus de lectures N DRO avec des temps de pose équivalents plus courts ; en revanche, cette technique ne permet pas de s'adapter aux faibles signaux, qui sont fixés par l'accumulation liée à la pose classique.

Il existe donc un besoin d'une technique de génération d'une image à grande gamme dynamique ne présentant pas ces différents inconvénients de l'art antérieur. Notamment, il existe un besoin d'une telle technique qui soit moins coûteuse, tant en temps qu'en puissance de calcul. Il existe également un besoin d'une telle technique de génération d'image H DR qui soit adaptative, et puisse ajuster automatiquement le nombre de lectures N DRO requises au niveau de luminosité de la scène à rendre en image H DR, en fonction de la qualité de l'image finale visée, et de la dynamique finale souhaitée tant par les forts signaux que les faibles signaux.

3. Exposé de l'invention

L'invention répond à ce besoin en proposant un procédé de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de la scène obtenues par lecture non destructive d'un capteur d'image, appelées images N DRO. Le capteur comprend une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler les charges électriques pendant un temps d'exposition à la lumière.

Selon l'invention, un tel procédé comprend :

une première lecture non destructive dudit capteur d'image, délivrant une première image NDRO courante d'indice n=0, et une mémorisation de ladite première image, au sein d'une zone mémoire, en association avec un temps d'exposition associé à ladite première image ;

pour chaque pixel de ladite première image, une comparaison d'une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel à un seuil de sélection de signal, et une sélection dudit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal ;

au moins une itération des étapes successives suivantes, pour n entier, n variant de 1 à N :

une lecture non destructive dudit capteur d'image, délivrant une image NDRO courante d'indice n ; une actualisation de ladite zone mémoire par mémorisation, pour chaque pixel de ladite image NDRO courante d'indice n non précédemment sélectionné dans une image N DRO précédant ladite image N DRO courante, d'une valeur de signal associée audit pixel, en association avec un temps d'exposition associé à ladite image NDRO courante d'indice n ; pour chaque pixel de ladite image NDRO courante d'indice n, une comparaison d'une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel audit seuil de sélection de signal, et une sélection dudit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal ;

une génération de ladite image à grande gamme dynamique à partir desdites valeurs de signal associées auxdits pixels sélectionnés et desdits temps d'exposition mémorisés en association.

Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive de la génération d'images HDR à partir d'une pluralité d'images dites NDRO, i.e. obtenues par lecture non destructive des pixels du capteur. Un tel procédé est adaptatif, en ce qu'il permet d'optimiser le nombre de lectures non destructives à opérer, ainsi que leurs temps d'exposition associés, en regard des caractéristiques de la scène à imager.

En effet, le procédé de l'invention, selon un mode de réalisation, propose de procéder à plusieurs itérations d'une lecture du capteur en mode de lecture non destructive, et d'optimiser dynamiquement le nombre de lectures nécessaires à la reconstruction HDR, en déterminant, en fonction d'un critère de qualité visé de l'image H DR finale, quelle est la première image NDRO dans laquelle un ou plusieurs pixels répondent aux critères de qualité déterminés pour l'image H DR. Ces pixels sont sélectionnés et mémorisés dans une zone mémoire unique, constituant une image du capteur. A chaque nouvelle image N DRO successive, on sélectionne de nouveaux pixels répondant aux critères de qualité déterminés pour l'image H DR, s'ils existent, et on actualise en conséquence la zone mémoire. Les valeurs des pixels précédemment sélectionnés et mémorisés dans les images N DRO précédentes restent quant à elles figées, et ne sont pas actualisées. On construit ainsi progressivement une image du capteur mémorisant en association les valeurs des pixels répondant aux critères de qualité souhaités, en association avec les temps d'exposition des images N DRO dont ils sont extraits.

Plus précisément, on définit un seuil de sélection 5 sei tel que 5 0 < 5 sei < S sat , où 5 0 est le signal correspondant au signal électronique exploitable le plus faible issu du détecteur (typiquement, le signal dont le niveau correspond au bruit de lecture du détecteur ou plus généralement du système imageur), et où S sat est le signal de saturation du capteur (imposé par le premier élément saturé dans le détecteur : pixel, chaîne de conversion de charge et/ou d'amplification...). Ce seuil de sélection de signal est défini avant le début de l'acquisition des images NDRO, et peut être modifié pour chaque nouvelle séquence d'images N DRO en vue d'une reconstruction HDR. Ainsi, il peut être modifié pour s'adapter au mieux aux conditions d'illumination de la scène (et donc à la dynamique à imager), ou pour optimiser le temps de pose ou le RSB final des signaux les plus faibles par exemple.

Dès que la valeur de signal d'un pixel atteint ce seuil de sélection, ce pixel est sélectionné pour la reconstruction de l'image H DR, et mémorisé, en association avec le temps d'exposition de l'image N DRO dont il est extrait. Le premier pixel sélectionné définit, en conséquence, la première image N DRO à utiliser pour la reconstruction de l'image HDR.

On ajuste ainsi à la volée le nombre de lectures non destructives à effectuer pour atteindre le niveau de qualité visé de l'image HDR, en fonction notamment des niveaux de luminosité de la scène à imager.

Cet ajustement dynamique du nombre de lectures non destructives nécessaires s'opère pour chaque image HDR, de sorte que le nombre de poses et les temps d'exposition associés peuvent être optimisés en fonction des différents niveaux de luminosité rencontrés dans la scène à imager.

En outre, un tel procédé de génération d'image HDR repose sur l'utilisation d'une zone mémoire unique, correspondant à une image du capteur, et ne nécessite pas de mémoriser l'ensemble des images successives obtenues par lectures non destructives du capteur d'image, ce qui permet, par rapport aux techniques de l'art antérieur, un gain important, tant en termes d'espace de mémorisation requis et de bande passante entre espace de mémorisation et unité de traitement, que de puissance de calcul nécessaire à la génération de l'image HDR. De plus cette génération à la volée à espace de mémorisation unique permet dans un mode d'utilisation en temps réel d'étendre le nombre d'images, nombre qui peut ainsi être augmenté sans limitation matérielle et donc potentiellement la dynamique imagée. Grâce à un tel procédé, on garde en mémoire un seul plan image, avec mise à jour progressive des pixels pondérés par leur temps de pose associé, au fur et à mesure des lectures NDRO successives.

Ainsi, une représentation de la matrice du capteur est stockée dans une zone mémoire, et est réactualisée à chaque nouvelle image NDRO acquise. Chaque élément de cette zone mémoire stocke la valeur courante de chacun des pixels de la dernière image N DRO lue, ou, si cette valeur a atteint le seuil de sélection de signal dans une image NDRO précédente, la valeur correspondante dans cette image précédente, qui va servir à la reconstruction de l'image H DR. Ces valeurs sont mémorisées en association avec les temps d'exposition des images NDRO dont elles sont extraites. Selon un aspect avantageux de l'invention, les étapes du procédé nécessaires à la génération de ladite image à grande gamme dynamique mettent en œuvre une mémorisation d'une unique image à un instant donné. Ainsi, dans la zone mémoire, seule une image est mémorisée à chaque instant de la phase de génération de l'image à grande gamme dynamique.

Selon un aspect de l'invention, un tel procédé comprend une étape préliminaire de détermination d'un critère de qualité souhaité pour ladite image à grande gamme dynamique et d'un temps d'exposition maximum dudit capteur. Un tel temps d'exposition maximum du capteur permet de borner dans le temps la fin du processus itératif de génération de l'image HDR.

Selon un mode de réalisation de l'invention, le critère de qualité souhaité est un critère de rapport signal sur bruit des pixels de l'image à grande gamme dynamique.

Ainsi, un tel procédé de génération d'une image HDR repose sur une optimisation du RSB (Ratio Signal sur Bruit), défini selon l'équation (Eq. 9) ci-après, sur un niveau fixé à l'avance dans un temps d'acquisition de l'image HDR aussi court que possible. Le RSB est optimisé au niveau de chaque NDRO et des pixels sélectionnés selon ce critère. Ainsi le RSB final sera optimisé pour chaque pixel sélectionné à chacune de leur NDRO respective et notamment pour les signaux les plus faibles qui ont été sélectionnés et auront conduit à la dernière N DRO (à la condition que le RSB souhaité ait été atteint pour les pixels avec les signaux les plus faibles avant le 'time-out' t out , fixé par avance également).

Selon un autre aspect de ce mode de réalisation, l'image NDRO d'indice N, i.e. la dernière image N DRO à utiliser pour la génération d'image H DR, est :

la première desdites images NDRO successives dans laquelle tous les pixels sont associés à une valeur de signal supérieure ou égale audit seuil de sélection de signal ; ou

la dernière desdites images NDRO successives, associée audit temps d'exposition maximum dudit capteur, si elle contient au moins un pixel associé à une valeur de signal inférieure audit seuil de sélection de signal.

Ainsi, dès que tous les pixels de l'image ont atteint une valeur supérieure ou égale au seuil de sélection de signal, on cesse les lectures non destructives du capteur, pour reconstruire l'image H DR. A l'inverse, si, à l'issue d'un temps d'exposition maximum préalablement choisi, il existe encore des pixels dont la valeur reste inférieure à ce seuil de sélection de signal, on interrompt néanmoins les lectures non destructives du capteur, pour éviter que le temps de pose ne soit trop important, voire ne dérive vers une valeur infinie, lorsque les conditions d'illumination de la scène ne permettent pas l'atteinte de ce seuil. Pour ces pixels, la valeur retenue lors de la reconstruction de l'image HDR correspond à la valeur de signal dans la dernière image N DRO lue.

Selon un autre aspect de ce mode de réalisation, la génération de l'image à grande gamme dynamique comprend un calcul d'une valeur de signal associée à chaque pixel de l'image à grande gamme dynamique par pondération évaluée, en fonction de la réponse du capteur, de la valeur de signal mémorisée dans ladite zone mémoire pour chacun des pixels par le temps d'exposition associé.

La reconstruction de l'image H DR peut se faire progressivement, au fur et à mesure des différentes lectures N DRO du capteur, à partir des valeurs de chaque pixel sélectionné comme ayant une valeur supérieure au seuil de sélection de signal, pondérées par les temps d'exposition respectifs associés des images N DRO dont ils sont extraits.

Selon un autre aspect, un tel procédé comprend également une détermination préalable d'un temps minimum d'accumulation de charges électriques sur le capteur d'image avant la première lecture non destructive dudit capteur d'image, noté t min ,

et un tel temps minimum d'accumulation t min satisfait la condition :

où :

• t NDR0 est un temps entre deux itérations successives de lecture non destructive du capteur d'image ;

• S sat est un signal de saturation du capteur d'image ;

• 5 0 est le signal électronique exploitable le plus faible issu du capteur d'image.

Ce temps t min correspond donc au temps d'accumulation minimal du système. Il est ainsi choisi de façon à éviter toute perte d'information, en s'assurant, dans le cas où un tel procédé est mis en œuvre dans un système comprenant un capteur à réponse linéaire, que l'on reste dans la plage de fonctionnement linéaire du capteur.

En considérant que t min correspond au temps d'accumulation de la première image NDRO, et que toutes les lectures N DRO suivantes ont un temps d'accumulation croissant de façon régulière d'un pas t NDR0 , la condition imposée au temps d'accumulation t min consiste à s'assurer que le rapport des temps d'accumulation de la deuxième image N DRO (t min +t NDR o) et de la première image N DRO (t min ) est sensiblement le même que la dynamique du capteur d'image à réponse linéaire.

La mise en œuvre d'un tel procédé dans un système d'acquisition comprenant un capteur d'image à réponse mixte linéaire/logarithmique permet de s'affranchir de cette contrainte imposée au temps minimum d'accumulation t min , qui peut alors être réduit jusqu'à un coup d'horloge système.

L'invention concerne également un produit programme d'ordinateur comprenant des instructions de code de programme pour la mise en œuvre d'un procédé tel que décrit précédemment, lorsqu'il est exécuté par un processeur. Un tel programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.

L'invention vise également un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé de génération d'une image à grande gamme dynamique selon l'invention tel que décrit ci-dessus.

Un tel support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur, ou encore une mémoire flash, telle qu'une clé USB.

D'autre part, un tel support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d'ordinateur qu'il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau par exemple le réseau Internet.

Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé de contrôle d'affichage précité.

L'invention concerne encore un système de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de la scène obtenues par lecture non destructive d'un capteur d'image, appelées images N DRO. Un tel capteur comprend une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler les charges électriques pendant un temps d'exposition à la lumière. Un tel système comprend une unité de calcul (processeur, FPGA, ...) adaptée à la mise en œuvre des étapes du procédé de génération d'image à grande gamme dynamique tel que décrit précédemment.

L'invention concerne enfin un système de génération d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images de la scène obtenues par lecture non destructive d'un capteur d'image, appelées images N DRO. Un tel système comprend un capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler les charges électriques pendant un temps d'exposition à la lumière, le capteur étant apte à fonctionner dans un mode de lecture non destructive. Selon un mode de réalisation de l'invention, un tel système comprend : un module d'interface pour saisie par un utilisateur d'un critère de qualité souhaité pour l'image à grande gamme dynamique et d'un temps d'exposition maximum dudit capteur ;

une unité de calcul (processeur, FPGA, ...) apte à comparer, pour chaque pixel d'une image N DRO, parmi une pluralité d'images N DRO successives délivrées par ledit capteur, une valeur de signal correspondant auxdites charges électriques accumulées par ledit pixel à un seuil de sélection de signal, et à sélectionner ledit pixel si ladite valeur de signal associée audit pixel est supérieure audit seuil de sélection de signal et si ledit pixel n'a pas été précédemment sélectionné dans une image NDRO précédente de ladite pluralité d'images N DRO ; une mémoire apte à mémoriser des valeurs de signal associées auxdits pixels sélectionnés desdites images N DRO successives en association avec des temps d'exposition associés auxdites images NDRO ;

une unité de calcul (processeur, FPGA, ...) configurée pour générer ladite image à grande gamme dynamique à partir desdites valeurs de signal associées auxdits pixels sélectionnés et desdits temps d'exposition mémorisés en association.

Plus généralement, un tel système de génération d'une image à grande gamme dynamique comprend, en combinaison, l'ensemble des moyens nécessaires à la mise en œuvre du procédé de génération d'une image à grande gamme dynamique tel que décrit précédemment, selon toutes ses implémentations et modes de réalisation.

4. Liste des figures

D'autres buts, caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée à titre de simple exemple illustratif, et non limitatif, en relation avec les figures, parmi lesquelles :

la figure 1 illustre sous forme d'organigramme un mode de réalisation d'un procédé adaptatif de génération d'une image HDR à partir d'une pluralité d'images N DRO obtenues par lecture non destructive du capteur d'images ;

les figures 2 et 3 proposent deux exemples d'architecture matérielle d'un système de génération d'image HDR mettant en œuvre le procédé illustré en figure 1.

5. Description détaillée de modes de réalisation de l'invention

Le principe général de l'invention repose sur la reconstruction d'images à grande gamme dynamique (HDR) à partir d'images obtenues par lectures non destructives d'un capteur d'images, selon un procédé adaptatif, permettant d'améliorer sensiblement la vitesse d'acquisition de l'image H DR, et d'optimiser dynamiquement le nombre de lectures non destructives nécessaires, en fonction de la dynamique de l'image H DR visée, et des paramètres de luminosité de la scène à imager.

5.1 Notations, définitions et principes

Dans la suite de ce document, on considère que les éléments de conversion photoélectrique sous-jacents aux pixels du capteur du système d'acquisition d'image sont réalisés, par exemple, selon une technologie CMOS (en anglais, « Complementary Métal Oxide Semiconductor »). On rappelle que la technologie CMOS équipe la plupart des systèmes photographiques ou vidéos. Les détecteurs d'images de type CMOS présentent l'avantage de pouvoir être lus dans un mode de lecture dite non destructive, ou N DRO.

Le mode de lecture non destructive permet de lire les charges électriques accumulées par chacun des éléments de conversion photoélectriques du capteur (donc les valeurs de signal associées aux pixels), sans remise à zéro de ces derniers. En d'autres termes, la lecture N DRO permet d'observer la formation d'une image sur le détecteur pendant une pose sans la détruire.

Par « saturation », on entend un état dans lequel la quantité de lumière incidente sur les éléments de conversion photoélectrique du capteur dépasse la quantité maximale, dans la plage de fonctionnement linéaire du détecteur, de charges électriques que ces éléments de conversion peuvent accumuler. Il en résulte un phénomène de surexposition des zones correspondantes de l'image, si l'on se restreint au domaine linéaire des capteurs. Cependant, certains capteurs peuvent exploiter deux réponses, linéaire et logarithmique, simultanément, permettant de lever cette contrainte, notamment dans le choix du temps d'accumulation de la première N DRO.

On propose ci-après quelques notations et définitions qui seront utilisées dans la suite de ce document.

• ADU : pour l'anglais « Analog to Digital Unit » désigne une unité analogique- numérique, correspondant à la quantité de signal analogique en entrée d'un convertisseur analogique numérique, pour qu'il délivre une unité en sortie. Ainsi, par la connaissance du gain système (exprimé en e-/ADU (électrons par ADU) par exemple), on peut remonter à la quantité d'électrons issus du détecteur, et par la connaissance du rendement quantique, on peut remonter à la quantité de photons incident.

• Ο λ : rendement quantique du système, défini comme le ratio entre le nombre de photons, à une longueur d'onde λ donnée, tombés sur le capteur par rapport au nombre de charges électriques créées par les éléments de conversion photoélectriques du capteur et exploitables comme signal par le système électronique de lecture du système d'acquisition d'images. Les charges électriques créées par les éléments de conversion photoélectrique du détecteur, ou capteur, à partir de photons incidents mais 'perdues' ensuite dans le bruit de lecture global sont donc ici déduites.

Fm a x,A : flux lumineux maximal incident à une longueur d'onde λ donnée, qui peut être exprimé par exemple en photons par seconde.

F M IN ,A : flux lumineux minimal incident à une longueur d'onde λ donnée, qui peut être exprimé par exemple en photons par seconde.

Ttimeout : Temps d'exposition maximum du capteur pour une image, exprimé en secondes. Ce temps d'exposition maximum, également appelé temps de pose maximum, est déterminé avant toute acquisition d'image, et peut être ajusté avant chaque nouvelle phase de génération d'image H DR.

ritimeout : index de la n' eme image NDRO, associée à un temps d'exposition égal au temps d'exposition maximum T time out-

T P : temps de pose pour une image HDR à générer, exprimé en secondes, au cours duquel sont effectuées les lectures non destructives du capteur. Le temps de pose T P est inférieur ou égal au temps d'exposition maximum Ttimeout et correspond au temps d'exposition équivalent de la dernière image N DRO utilisée pour la reconstruction de l'image HDR.

t min : temps d'accumulation minimal du système d'acquisition d'images, correspondant au temps minimum d'accumulation jusqu'à la première lecture non destructive possible du capteur, exprimé en secondes, t acc ui : temps d'accumulation jusqu'à la première image N DRO utile à la reconstruction H DR. Ce temps t accu i correspond au temps d'exposition associé à la première des images NDRO successives utilisée pour la reconstruction de l'image H DR.

ÎNDRO : temps de lecture, exprimé en secondes, d'une image NDRO.

S min : signal le plus faible sur l'image H DR finale générée selon un mode de réalisation de la présente invention.

s min : signal le plus faible dû au flux incident le plus faible sur les différentes images NDRO successives obtenues par lecture non destructive du capteur du système d'acquisition d'images.

S max : signal le plus fort sur l'image H DR finale générée selon un mode de réalisation de la présente invention. • s max : signal le plus fort dû au flux incident le plus fort sur les différentes images NDRO successives obtenues par lecture non destructive du capteur du système d'acquisition d'images.

• S sat : signal de saturation du capteur (imposé par le premier élément saturé dans le détecteur : pixel, chaîne de conversion de charge et/ou d'amplification ...)

• S 0 : signal correspondant au signal électronique exploitable hors bruit le plus faible issu du détecteur. C'est typiquement le signal dont le niveau correspond au bruit de lecture du détecteur (ou plus généralement du système imageur).

• S se i : seuil de sélection de signal pour la sélection de la valeur des pixels pour la reconstruction HDR selon un deuxième mode de réalisation de l'invention décrit ci-après.

• N r : bruit de lecture du détecteur, ou plus généralement du système imageur.

• N T : Bruit thermique associé au signal thermique du détecteur (accumulé pendant la pose).

• N p : Bruit de photon associé au signal lumineux accumulé pendant la pose.

Les bruits N r , N T , et N p sont généralement exprimés en électrons ramenés à la sortie du détecteur, ou en ADU avec la connaissance du Gain système en e-/ADU (électrons par ADU).

• p NDRO n . y a | eu r ^ u s jg na | assoc jé au pixel de coordonnées (i,j) dans la matrice du capteur, issu de l'image N DRO de rang n N DRO n , où 0 < n <

^timeout-

• RSB | N j DR ° n : Rapport Signal sur Bruit du pixel de coordonnées (i,j) issu de l'image N DRO de rang n N DRO n , où 0 < n < n timeout .

On notera que les différents signaux S max , s max , S min , s min , S sat , S se i, S 0 sont décrits, ci-dessus, sans unité associée. En effet, s'ils sont vus après conversion analogique-numérique, ils seront exprimés en unités ADU. En revanche, s'ils sont considérés avant l'étape de conversion analogique-numérique, ils seront alors exprimés dans l'unité de la grandeur physique (analogique) qui les caractérise : Volts ou Ampères.

Sur la base de ces notations, la dynamique D de l'image HDR à générer peut s'exprimer comme le rapport : avec

smin-7p x ^min,A x QA (Eq2)

On en déduit donc la relation :

et:

Tp-tmin + (( n l +n 2) X t NDRO n 2 ≥ n (Eq6) où l'indice ni désigne l'indice, parmi une succession d'images NDRO obtenues par lecture non destructive du capteur d'image, de la première image N DRO à utiliser pour générer l'image à grande gamme dynamique H DR, et où l'indice n 2 désigne le nombre d'images NDRO prises depuis la première image utile d'indice ni, de sorte que ni+n 2 est l'indice, parmi la succession d'images N DRO obtenues par lecture non destructive du capteur d'image, de la dernière image NDRO à utiliser pour générer l'image à grande gamme dynamique H DR.

La dynamique du système d'acquisition d'images (avec au premier chef le détecteur) est finie, elle est limitée aux faibles valeurs par le niveau de bruit le plus fort (S 0 ) et aux fortes valeurs par le niveau de saturation du système S sat (au premier élément de la chaîne qui sature). Les flux lumineux incidents qui peuvent être rendus sur une image 'brute' (non H DR) sont ceux qui, intégrés pendant un temps de pose t, donnent un signal Sig qui répond à 5O<Sig<S sat . Les flux lumineux étant fixés par la scène à imager et le diaphragme du chemin optique qui sont, a priori, non modifiables, les paramètres ajustables sont donc les différents temps de poses avec en particulier T P , qui correspond au temps d'exposition associé à la dernière image NDRO utilisée pour générer l'image H DR, et donc au temps de pose de cette image H DR, et t accu i, qui, comme indiqué ci-avant, correspond au temps d'exposition associé à la première image N DRO utilisée pour générer l'image H DR.

Ces deux paramètres ajustables le sont cependant dans certaines limites, à savoir :

• t accul > t min : en effet, le temps d'exposition associé à la première image NDRO à utiliser pour générer l'image H DR ne peut être inférieur au temps d'accumulation minimal du système d'acquisition d'images ; et

• T p ≤ T timeout (Eq7)

En effet, le temps de pose associé à l'image HDR est borné par le temps d'exposition maximum défini au préalable.

On notera que les temps t min et T timeo u t sont fixes pour une séquence de prises de vues H DR, mais peuvent être modifiés pour être plus adaptés aux conditions de luminosité de la scène à imager. Néanmoins, T timeo u t doit être suffisamment 'court' pour que le bruit associé au signal thermique accumulé pendant T time out ne soit pas supérieur au signal minimum à détecter. La température, en fonctionnement, du détecteur étant connue, le signal thermique (en électrons/seconde créés, accumulés puis lus) est connu, son bruit associé aussi. Le signal thermique (appelé aussi 'bruit' thermique) en fonction de la température, est une donnée constructeur du détecteur.

En outre, les inventeurs de la présente demande de brevet ont établi que certaines contraintes supplémentaires devaient être respectées par le temps minimum d'accumulation du système t min , afin d'éviter toute perte d'information dans un système à réponse linéaire, et ce, afin de ne pas sortir de la plage de fonctionnement linéaire du capteur.

Ainsi, dans le cas limite où t accu i = t min , et où le temps d'accumulation associé à la n' eme image N DRO est t accu n = t accul + ((n— l)xt NDR0 ), i-e. que les temps d'accumulation associés aux différentes images NDRO successives croissent d'un pas t NDR0 , une contrainte supplémentaire doit être respectée entre le temps d'accumulation de la première et de la deuxième images N DRO utiles, sous la forme :

t

'-accu Z ^ çsat

taccul $0

soit (Eq. 8) :

En d'autres termes, pour éviter toute perte d'information, il convient, pour les systèmes avec des capteurs à réponse linéaire, de satisfaire la condition de l'équation Eq. 8. A titre alternatif, il est possible d'utiliser des systèmes avec des capteurs à réponses mixtes linéaires/logarithmiques, qui lèvent le verrou du temps d'accumulation relatif entre la première et la deuxième images N DRO utiles, t accu i et t accu _ 2 , ce qui permet de réduire le temps minimum d'accumulation du système d'acquisition t min jusqu'au temps minimum physique de l'horloge système (i.e. jusqu'à un coup d'horloge).

5.2 Description d'un mode de réalisation

Ces principes ayant été rappelés, on présente désormais, en relation avec la figure 1, un organigramme d'une méthode de génération d'une image à grande gamme dynamique HDR selon un mode de réalisation de la présente invention.

Une telle méthode peut être mise en œuvre dans tout type de système d'acquisition d'images, qu'il s'agisse d'images fixes ou vidéo. Un tel système est notamment décrit plus en détail ci-après en relation avec les figures 2 et 3. Selon ce mode de réalisation, on procède à une sélection en temps réel des valeurs des pixels à utiliser pour la reconstruction de l'image H DR finale avec uniquement la mémorisation d'une seule image à tout instant de la génération.

En effet, à partir de la première image N DRO lue (lecture effectuée après le temps d'accumulation t min ), il faut déterminer les pixels, issus de cette première image N DRO et des images NDRO qui suivent, qui seront pertinents pour la reconstruction HDR. En effet une valeur d'un pixel issu de la n' eme image N DRO, P^ D R ° N , ne sera exploitable que si au minimum S 0 <fj'' DRC)n <S sat où 5 0 est le signal correspondant au signal électronique exploitable le plus faible issu du détecteur (typiquement, le signal dont le niveau correspond au bruit de lecture du détecteur ou plus généralement du système imageur), et où S SAT est le signal de saturation du capteur (imposé par le premier élément saturé dans le détecteur : pixel, chaîne de conversion de charge et/ou d'amplification...). Dans ce mode de réalisation, on cherche à optimiser le RSB (Ratio Signal sur Bruit) sur un niveau fixé à l'avance dans le temps le plus court, n'excédant pas un temps maximum d'exposition (T ) fixé lui aussi à l'avance.

RS B NDRO„ = *>,,, ( Eq _ g )

avec N TOT = ΙΝ? +Ν +Ν* soit RSBJJ 0 0 * = (Eq. 10)

La valeur du bruit associé à la valeur d'un pixel évolue en racine de la valeur du signal accumulé sur le pixel. Pour maximiser le ratio signal sur bruit RSBy d'un pixel de coordonnées (i,j), il faut accumuler le plus de signal possible pour augmenter sa valeur Py, c'est-à-dire augmenter au maximum son temps de pose : en effet, Py évolue en fonction du temps de pose et le bruit associé évolue, lui, en racine de Py, donc beaucoup moins rapidement. Dans la plupart des cas, cette fonction est linéaire (à flux lumineux incident constant pendant la pose). Cela permet l'exploitation directe des images N DROs par une pondération simple (Eq. 13, voir ci-après). Dans le cas d'un comportement non linéaire, il faut obtenir la fonction de réponse du détecteur (et/ou du système imageur) pour chaque pixel, lors de la calibration du détecteur et/ou du système imageur associé. Cette réponse pour chaque pixel permettra de pondérer la valeur de chaque pixel, et ainsi de retomber sur l'exploitation linéaire décrite à l'équation (Eq. 13). Le RSB est optimisé au niveau de chaque N DRO et des pixels sélectionnés selon ce critère. Ainsi le RSB final sera optimisé pour chaque pixel sélectionné à chacune de leur N DRO respective et notamment pour les signaux les plus faibles qui ont été sélectionnés et auront conduit à la dernière N DRO (à la condition que le RSB souhaité ait été atteint pour les pixels avec les signaux les plus faibles avant le 'time-out' t out , fixé par avance également). Ainsi qu'illustré en figure 1, au cours d'une étape préalable référencée 100, on détermine la valeur de certains paramètres ajustables du système, parmi lesquels :

le temps minimum d'accumulation du système d'acquisition t min ;

le temps maximum d'exposition du capteur T time out ;

le rapport signal sur bruit RSB souhaité pour chacun des pixels et surtout pour les pixels avec les signaux les plus faibles, pour l'image H DR à générer (voir Eq. 10) ;

la valeur d'un seuil de sélection de signal S se i, qui est défini tel que S se i<S sat (et S se | > S 0 ).

La valeur de ces paramètres est notamment établie en fonction des conditions de luminosité (flux lumineux) de la scène à imager. Ainsi, le temps minimum d'accumulation du système d'acquisition t min , qui est fixé avant la prise de vue, peut être optimisé, avant la prise, au fort flux lumineux de la scène. Pour un système d'acquisition avec un capteur à réponse linéaire, ce temps minimum d'accumulation t min doit cependant respecter la contrainte de l'équation Eq. 8 : tmm+ ^ tNDR0 ^ <

-^, et ce afin de rester dans la plage de fonctionnement linéaire du capteur, et éviter toute perte d'information. Pour un système d'acquisition avec un capteur à réponse mixte linéaire/logarithmique, il est possible de réduire le temps t min le cas échéant jusqu'au temps minimum de l'horloge système.

De même, le seuil de sélection de signal S se i peut être modifié pour s'adapter au mieux aux conditions d'illumination de la scène, ou bien pour optimiser et privilégier le temps de pose T P , ou encore optimiser et privilégier le RSB final pour les signaux les plus faibles etc.

Cette étape préalable référencée 100 doit être mise en œuvre à l'initialisation du système d'acquisition d'images. Elle peut être réitérée à chaque nouvelle prise d'images en vue d'une reconstruction HDR. A titre alternatif, les mêmes paramètres peuvent être conservés pour plusieurs captures d'images H DR successives. On peut également envisager que certains de ces paramètres restent inchangés d'une prise de vue H DR à la suivante, tandis que d'autres sont adaptés à chaque nouvelle prise de vue.

Au cours d'une étape référencée 101, on débute une succession de lectures non destructives du capteur, qui délivrent chacune une image dite N DRO d'indice n, n étant initialisé à 0 (étape référencée 102).

Pour chaque image N DRO courante d'indice n, la valeur du pixel fj^ DR ° n es sélectionnée pour être utilisée pour la reconstruction de l'image H DR finale à partir du moment où : 7

Cette comparaison de la valeur des pixels P " de l'image NDRO n courante au seuil de sélection de signal S se i est effectuée au cours d'une étape référencée 103. Lorsque la condition est vérifiée, le pixel sélectionné est mémorisé (étape référencée 104), en association avec le temps d'exposition de l'image N DRO n dont il est extrait, noté ¾ Ν0ΚΟη . Il servira alors à la génération de l'image HDR référencée 108.

Plus S se i est élevé (tout en vérifiant S se i < S sat ) et plus les pixels p^ DR ° n dont la valeur satisfait la condition de l'équation Eq. 11, dans un temps inférieur à T tim eout, ont un RSB élevé.

La première image N DRO dans laquelle au moins un pixel vérifie la condition de l'équation Eq. 11 est la première image de la succession d'images N DRO qui sera utilisée pour la reconstruction de l'image HDR, référencée 108.

Si aucun pixel de l'image N DRO n courante ne satisfait la condition de l'équation Eq. 11, on vérifie au cours d'une étape référencée 105, si le temps d'exposition tr ,j N DROn associé à l'image N DROn courante n'atteint pas le temps d'exposition maximum déterminé au cours de l'étape préliminaire 100.

Si ce n'est pas le cas, l'indice de l'image NDRO courante est incrémenté au cours d'une étape référencée 106 (n :=n+l), et les lectures non destructives du capteur se poursuivent.

Si en revanche, le résultat de la comparaison de l'étape référencée 105 est positif, cela signifie que pour certains pixels de l'image N DRO associée au temps d'exposition maximum, pNDRO n reste j n r jeur à S se i. Dans ce cas, le pixel, parmi les n 2 images N DRO prises, qui donnera le meilleur RSB, sera celui de la dernière image N DRO prise, associée au temps d'exposition maximum prédéfini.

On mémorise alors, au cours d'une étape référencée 107, les valeurs des pixels de cette dernière image N DRO utile, en association avec le temps d'exposition maximum qui leur est associé, dont la valeur est restée inférieure au seuil de sélection S se |.

En effet, si pour au moins certains pixels du capteur la condition de l'équation Eq. 11 n'est pas vérifiée avant la fin du temps de pose T P , alors c'est la dernière valeur de pixel issue de la dernière image NDRO prise qui sera conservée, en association avec son temps d'exposition (correspondant ici à T P ).

Les itérations de lecture non destructive du capteur peuvent être interrompues lorsque tous les pixels du capteur ont atteint une valeur de signal supérieure ou égale au seuil de sélection de signal S se |.

Chaque pixel retenu pour la reconstruction de l'image HDR sera donc issu d'une des images NDRO prises entre t min et T P avec T P ≤ T timeouU il sera caractérisé par sa valeur f^ DROn et son temps d'exposition t j DROn =t m i n + ((n— l)xt NDR0 ) (Eq. 12). La génération de l'image H DR, référencée 108, est effectuée à partir des valeurs des pixels mémorisées au cours des étapes référencées 104 et 107, pondérées par leur temps d'exposition respectif : /¾ DR = (Eq. 13)

On notera que, dans le cas où le temps d'acquisition t min ne respecte pas la contrainte de l'équation Eq. 8, tous les pixels de l'image reconstruite HDR finale, dont la valeur fy DR =

est telle que -^— < fy DR < Ssat , ne contiendront pas d'information pertinente.

Dans un mode de réalisation, une 'image' de la matrice du détecteur est stockée dans une mémoire et est réactualisée à chaque nouvelle image N DRO prise. Chaque élément de cette zone mémoire stocke la valeur p^ DR ° n (courante lors de la dernière image N DRO lue) pondérée par son temps d'exposition correspondant t. r j DROn . p ou r | es pixels dont la valeur a atteint le seuil de sélection S se i dans une image NDRO précédente, les éléments de la zone mémoire ne sont bien sûr pas réactualisés, et restent figés à la valeur mémorisée au cours de l'étape référencée 104.

Ainsi, lors de la première lecture N DRO de l'étape référencée 101, la zone mémoire représentative de la matrice du détecteur est initialisée avec les valeurs des pixels fj^ DR0 ° de la première image NDRO d'indice n=0. Ceux de ces pixels dont la valeur est supérieure au seuil de sélection du signal S se i sont mémorisés de façon définitive dans la zone mémoire, sans qu'ils ne puissent plus être actualisés au cours des lectures N DRO suivantes.

La reconstruction de l'image à grande gamme dynamique HDR s'opère donc progressivement, au fur et à mesure des différentes lectures non destructives du capteur effectuées durant le temps de pose T P .

Ce mode de réalisation, illustré en figure 1, permet l'adaptation en temps réels des temps d'expositions (avec toujours le prérequis de l'équation Eq. 7). Ce mode de réalisation n'impose pas de déterminer les images NDRO aux instants T p et t accu i, l'image H DR se construisant d'elle- même à chaque nouvelle image NDRO, jusqu'à un optimum préalablement défini. Par ailleurs, cette méthode fonctionne de manière optimale avec une et une seule 'image' de la matrice du détecteur stockée en mémoire. Cette matrice, en mémoire, est réactualisée à chaque nouvelle image N DRO prise. Chaque élément, de cette matrice, stocke une valeur, du pixel, que ce soit courante lors de la dernière image N DRO lue ou bien de la n' eme N DRO, et est pondérée par son temps d'exposition respectif.

Ce procédé est donc particulièrement avantageux en termes d'espace mémoire requis, et de capacité de calcul nécessaire pour la génération de l'image HDR. Contrairement à certaines méthodes de l'état de l'art, il n'est pas nécessaire d'accéder à plusieurs N DRO simultanément. Par conséquent, lors d'une génération HDR en temps réel, le nombre de N DRO n'est alors pas limité par le système.

On notera par ailleurs que, dans le cas d'un système avec capteur à réponse mixte linéaire/logarithmique, il convient d'avoir une calibration de la réponse logarithmique et de la zone de transition linéaire/logarithmique, afin de pondérer la valeur de chaque pixel, et ainsi retomber sur l'exploitation linéaire décrite par l'équation Eq. 13. Par ailleurs, dans ce cas également, le seuil de sélection des pixels doit être adapté à la zone de fonctionnement du capteur. Ainsi, pour les deux premières images NDRO, le seuil de sélection S se i pourra exploiter la partie logarithmique du fonctionnement du capteur, en étant tel que 5 sei > S satjin , où S satjin est le niveau de signal maximum auquel le détecteur linéaire/logarithmique offre une réponse linéaire. Etant dans une réponse logarithmique, il n'y a en effet plus à ce moment de limite de saturation maximum pertinente. Au-delà de la deuxième image N DRO, toutes les images N DRO suivantes étant lues après un temps d'accumulation croissant régulièrement d'un pas t NDR0 , on se trouve dans la plage de fonctionnement linéaire du capteur. On a alors 5 sei < S satjin , où la valeur S satjin devient équivalente à la valeur S sat du signal de saturation du capteur, évoquée précédemment dans le présent document.

5.3 Exemples de systèmes de génération d'image HDR

On présente désormais, en relation avec les figures 2 et 3, deux exemples d'architecture matérielle d'un système de génération d'image HDR (200, 300) mettant en œuvre le procédé décrit ci-avant en relation avec la figure 1.

Les éléments communs aux figures 2 et 3 portent les mêmes références numériques, et sont décrits brièvement ci-après.

Un tel système de génération d'images H DR 200, 300 comprend les éléments suivants, qui sont reliés les uns aux autres par un bus de données et d'adresses :

une unité de traitement et de contrôle numérique 201, 301, qui peut être, par exemple, un microprocesseur, un FPGA (pour l'anglais « Field-Programmable Gâte Array »), un DSP (pour l'anglais « Digital Signal Processor »), un GPU (pour l'anglais « Graphics Processing Unit ») ;

une mémoire 202, 302 ;

une interface utilisateur, non représentée, reliée au processeur 201, 301 par un lien numérique externe 205, 305 de type Ethernet, USB, Cam Link...

un module de traitement analogique 203, 303, comprenant notamment un capteur 204, 304 d'image comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler ces charges électriques pendant un temps d'exposition à la lumière. Ce capteur est apte à fonctionner dans un mode de lecture non destructive.

Un tel système 200, 300 comprend également, classiquement, une mémoire de type ROM (Read Only Memory) qui comprend au moins un programme et différents paramètres nécessaires à l'exécution du procédé selon un mode de réalisation de l'invention. Lorsqu'il est mis sous tension, le processeur charge le programme dans une mémoire de type RAM (« Random Access Memory ») et exécute les instructions correspondantes.

Le système 200, 300 comprend également une source d'alimentation électrique, non représentée, par exemple sous forme de batterie, qui fournit notamment les différents signaux d'alimentation 214, 314.

L'interface utilisateur permet à l'utilisateur de choisir les paramètres déterminés au cours de l'étape référencés 100 sur la figure 1. Ils alimentent un module 211, 311 (« User external Controls & Values interpréter », en français « module d'interprétation des valeurs et commandes externes utilisateur »), dans lequel ils sont mémorisés, et qui est apte à les fournir aux autres éléments du système 200, 300. Ce module référencé 211, 311 stocke notamment :

le temps d'exposition maximum du capteur T timeo u t ;

le signal de saturati on S sat ;

le signal minimum S 0 .

Un processeur 212, 312 est configuré pour calculer automatiquement le seuil de sélection de signal S se i, à partir du signal de saturation S sat , du signal minimum S 0 , et d'informations issues de la prise d'image H DR précédente, tel que So<S se i<S sat .

Le temps d'exposition maximum du capteur T timeo u t est également transmis à un générateur d'horloge 213, 313, destiné à générer et piloter les différents signaux d'horloge synchrones nécessaires au fonctionnement du module de traitement analogique 203, 303.

La mémoire 202, 302, comprend plusieurs cellules mémoires (i,j), qui contiennent chacune la valeur du pixel p^ DR ° n sélectionnée au cours de l'étape référencée 104 ou 107 sur la figure 1. Chaque cellule mémoire mémorise également l'indice n de l'image N DRO courante dont cette valeur de pixel est extraite. Le temps d'exposition associé au pixel est n*t NDR0 .

A chaque lecture non-destructive du capteur 204, 304, ce dernier délivre un signal analogique, représentant la valeur des charges électriques accumulées par chacun des pixels du capteur.

Comme illustré précédemment en relation avec la figure 1, les valeurs des pixels p^ DR ° n sont testées par rapport au seuil de sélection de signal S se i (Threshold Value) simplement par comparaison de niveaux (de tension par exemple). Dans l'exemple de la figure 2, cette comparaison s'effectue, de manière très simple, analogiquement, par l'utilisation de comparateurs 215. Après amplification 216, les valeurs de pixel véhiculées par le signal analogique issu du capteur 604 sont comparées au seuil de sélection de signal S se i (Threshold Value) et au signal de saturation S sat (Saturation Value). Après amplification et conversion analogique numérique 217, les pixels dont la valeu r est supérieure au seuil de sélection S se i doivent être mémorisés, et sont donc transmis par un bus vers la mémoire 202.

Par sa simplicité, ce prétraitement analogique (pour l'aspect adaptatif de ce procédé de reconstruction H DR par image N DRO) peut être intégré directement, On Chip', au sein du capteur, pour des 'clusters' de pixels, ou bien directement au sein de chaque pixel dans une structure 3 D-CMOS par exemple.

Dans l'exemple de la figure 3 au contraire, cette comparaison s'effectue de manière déportée au sein de l'unité de traitement numérique 301, dans un mod ule comparateu r 315. Ainsi, le signal analogique délivré par le capteur 304 est amplifié et converti en signal numérique (module 317), avant d'être fourni en entrée du module comparateur 315, qui compare la valeur numérique de signal associé à chaque pixel au seu il de sélection de signal S se i et au signal de satruration S sat , et sélectionne ceux qui doivent être mémorisés dans la mémoire 302, en vu de leu r utilisation pour la reconstruction de l'image H DR.