DESCRIPTION

DOMAINE TECHNIQUE

La présente invention concerne le domaine des dispositifs d'acquisition d'images, et plus particulièrement ceux utilisant des filtres matriciels de couleurs.

ÉTAT DE LA TECHNIQUE ANTÉRIEURE

La plupart des dispositifs d'acquisition d'images, tels que appareils photo ou vidéo numériques, font appel à un capteur (CCD ou CMOS) constitué par une matrice de capteurs élémentaires photosensibles encore dénommés pixels. L'information de couleur est obtenue grâce à une matrice de filtres élémentaires de couleur ou CFA (Color Filter Array) disposée sur la matrice de pixels, de sorte que chaque pixel est recouvert par un filtre élémentaire de la matrice, ne laissant passer qu'une partie du spectre visible.

Les matrices de filtres de couleurs ainsi que les techniques de reconstruction d'images à partir des signaux reçus par les différents pixels, ont fait l'objet d'importantes recherches.

La matrice de filtres de couleurs la plus répandue actuellement est décrite dans le document US-A-3971065 et représentée en Fig. 1.

Cette matrice, dite matrice de Bayer, est obtenue par la répétition périodique d'un motif constitué de quatre filtres élémentaires, à savoir : où G est un filtre ne laissant passer que le vert, R est un filtre ne laissant passer que le rouge et B est un filtre ne laissant passer que le bleu. Les pixels situés sous les filtres élémentaires G, R, B sont respectivement dénommés pixels verts, rouges et bleus. On voit que la matrice de Bayer est constituée de 50% de pixels verts, 25% de pixels rouges et 25% de pixels bleus.

L'opération consistant à reconstruire une image couleur à partir de l'intensité reçue par les différents pixels du capteur est dénommée dématriçage (demosaicking). Cette opération de dématriçage a été étudiée de manière extensive dans la littérature, par exemple dans l'article de D. Alleyson et al. intitulé « Frequency sélection demosaicking : a review and a look-ahead », publié dans Proc. of IS&T/SPIE VCIP, San José, CA, Jan. 2008.

D'autres matrices de filtres de couleurs ont été proposées pour améliorer la sensibilité du capteur dans des conditions de faible éclairement. La plupart de ces matrices utilisent des pixels supplémentaires dits pixels blancs, encore appelés pixels transparents, neutres ou panchromatiques. Ils permettent d'obtenir un signal de luminance en sus du signal de chrominance. Des exemples de telles matrices sont donnés dans la demande WO-A-2007/089416.

Une matrice de filtres couramment utilisée pour obtenir une bonne sensibilité dans des conditions de faible éclairement est celle dite de Kodak™, générée par le motif de base :

Kodak (2)

où les éléments R, G, B ont le même sens que précédemment et W désigne un pixel blanc, autrement dit une absence de filtrage chromatique. Cette matrice de filtres est représentée en Fig. 2.

Une première solution simple pour améliorer davantage la sensibilité du capteur dans des conditions de faible éclairement est d'exploiter la réponse du capteur dans le proche infrarouge. Toutefois, la plupart des dispositifs d'acquisition d'images comprennent en entrée un filtre infrarouge (infrared cut-off filter), de manière à réduire le bruit en sortie du capteur CCD ou CMOS. En effet, d'une part, les capteurs élémentaires couramment utilisés sont en silicium et par conséquent sensibles au proche infrarouge, et, d'autre part, les filtres élémentaires de couleur placés devant les différents pixels ne permettent pas de bloquer efficacement la partie infrarouge du spectre.

Le document JP-A-2010062604 propose d'utiliser en sus de pixels de couleurs, des pixels infrarouges, les premiers étant utilisés pour la vision de jour et les seconds pour la vision de nuit. Le capteur ne peut donc être protégé dans ce cas par un filtre d'entrée infrarouge. Il en résulte un niveau de bruit important lorsque le capteur fonctionne en vision de jour.

L'objectif de la présente invention est de proposer un système d'acquisition d'images capable de fonctionner en vision de jour comme en vision de nuit, avec un bon rapport signal sur bruit.

EXPOSÉ DE L'INVENTION

La présente invention est définie par un dispositif d'acquisition d'images comprenant un capteur constitué d'une matrice d'éléments photosensibles, dits pixels, une matrice de filtres élémentaires, recouvrant ledit capteur, chaque filtre élémentaire étant associé à un pixel correspondant, et des moyens de traitement. Ce dispositif est particulier en ce que :

- la matrice de filtres élémentaires comprend des filtres de couleurs primaires, un filtre de couleur primaire ne transmettant qu'une couleur primaire, des filtres transmettant l'intégralité du spectre visible, dits filtres panchromatiques, et des filtres infrarouges transmettant le proche infrarouge, les filtres panchromatiques représentant au moins 50% desdits filtres élémentaires ;

les moyens de traitement sont adaptés à :

- calculer une moyenne de luminance sur un ensemble de pixels panchromatiques pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement ;

- si ladite zone est dans des conditions de faible éclairement, former une image monochrome de ladite zone à partir des pixels panchromatiques ;

- si ladite zone est dans des conditions de fort éclairement, former une image couleur de ladite zone à partir des pixels de couleurs primaires et en retrancher une image infrarouge de ladite zone obtenue à partir des pixels infrarouges.

Avantageusement, l'image monochrome de ladite zone est obtenue au moyen d'une interpolation des pixels panchromatiques appartenant à cette zone.

De manière similaire, l'image couleur de ladite zone est obtenue par combinaison des images de couleurs primaires de ladite zone, une image de couleur primaire étant obtenue au moyen d'une interpolation des pixels de la couleur primaire de ladite zone.

Enfin, l'image infrarouge de ladite zone peut être obtenue au moyen d'une interpolation des pixels infrarouges de ladite zone.

Avantageusement, les filtres panchromatiques représentent au moins 75% des filtres élémentaires.

Selon un premier mode de réalisation avantageux, la matrice de filtres élémentaires est générée par répétition périodique bidimensionnelle du motif suivant :

R W G W

W W W W

IR W B W

W W W W où R, G, B représentent respectivement des filtres de transmission dans le rouge, le vert et le bleu, IR un filtre infrarouge et W un filtre panchromatique, le motif étant défini à une permutation près de R, G, B, IR.

Selon un second mode de réalisation avantageux, la matrice de filtres élémentaires est générée par répétition périodique bidimensionnelle du motif suivant :

où V¾ Ma, Cy représentent respectivement des filtres de transmission dans le jaune, le magenta et le cyan, IR un filtre infrarouge et W un filtre panchromatique, le motif étant défini à une permutation près de Ye, Ma, Cy IR.

Selon un troisième mode de réalisation avantageux, la matrice de filtres élémentaires est générée par répétition périodique bidimensionnelle du motif suivant :

où R, G, B représentent respectivement des filtres de transmission dans le rouge, le vert et le bleu, IR un filtre infrarouge et W un filtre panchromatique, le motif étant défini à une permutation près de R, G, B, IR.

Selon un quatrième mode de réalisation avantageux, la matrice de filtres élémentaires est générée par répétition périodique bidimensionnelle du motif suivant :

où Ye, Ma, Cy représentent respectivement des filtres de transmission dans le jaune, le magenta et le cyan, IR un filtre infrarouge et W un filtre panchromatique, le motif étant défini à une permutation près de V¾ Ma, Cy IR.

De préférence, les moyens de traitement déterminent que ladite zone est à faible éclairement si la moyenne de la luminance sur l'ensemble des pixels panchromatiques de ladite zone est inférieure à un premier seuil et que ladite zone est à fort éclairement si la moyenne de la luminance sur l'ensemble des pixels panchromatiques de ladite zone est supérieure à un second seuil, le second seuil étant supérieur au premier seuil.

Si la moyenne de la luminance sur l'ensemble des pixels panchromatiques de ladite zone est comprise entre les premier et second seuils, les moyens de traitement peuvent effectuer une combinaison de l'image monochrome et de l'image couleur de ladite zone.

Lorsque la zone du capteur est la totalité du capteur, les moyens de traitement déterminent si le capteur est dans des conditions de faible éclairement ou de fort éclairement.

Alternativement, l'image monochrome du capteur est segmentée en régions homogènes et les moyens de traitement opèrent indépendamment sur chaque zone homogène du capteur.

BRÈVE DESCRIPTION DES DESSINS

D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de modes de réalisation préférentiels de l'invention faite en référence aux figures jointes parmi lesquelles :

La Fig. 1 représente schématiquement une première matrice de filtres de couleurs connue de l'état de la technique ;

La Fig. 2 représente schématiquement une seconde matrice de filtres de couleurs connue de l'état de la technique ;

La Fig. 3A représente schématiquement un exemple de matrice de filtres pour un dispositif d'acquisition d'images selon un premier exemple de réalisation de l'invention ;

La Fig. 3B représente schématiquement un exemple de matrice de filtres pour un dispositif d'acquisition d'images selon un second exemple de réalisation de l'invention ;

La Fig. 4A représente schématiquement un exemple de matrice de filtres pour un dispositif d'acquisition d'images selon un troisième exemple de réalisation de l'invention ;

La Fig. 4B représente schématiquement un exemple de matrice de filtres pour un dispositif d'acquisition d'images selon un quatrième exemple de réalisation de l'invention ;

La Fig. 5 représente schématiquement le traitement des pixels pour un dispositif d'acquisition d'images selon un premier mode de réalisation de l'invention ; La Fig. 6 représente schématiquement le traitement des pixels pour un dispositif d'acquisition d'images selon un second mode de réalisation de l'invention.

EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS Nous considérerons à nouveau dans la suite un dispositif d'acquisition d'images comprenant un capteur constitué par une matrice de capteurs élémentaires (CCD ou CMOS) photosensibles, encore dénommés pixels, ainsi qu'une matrice de filtres élémentaires recouvrant le capteur, chaque filtre élémentaire étant associé à un pixel. Plus précisément, chaque filtre élémentaire filtre la lumière incidente pour le pixel associé.

Les filtres élémentaires de la matrice sont des filtres de transmission de trois types différents : filtres de couleur, filtres transparents (ou panchromatiques) et filtres infrarouges.

Les filtres élémentaires de couleur laissent passer un ensemble de couleurs primaires permettant une synthèse additive ou soustractive de toutes les couleurs du spectre visible. Ainsi, les filtres de couleur peuvent être des filtres R, G, B tels que définis en introduction, dans le cas d'une synthèse additive, ou bien des filtres Υβ, Μθ, Cy où Ye laisse passer le jaune, M3 le magenta, et Cy le cyan, dans le cas d'une synthèse soustractive. D'autres bases de couleurs primaires peuvent être envisagées par l'homme du métier sans sortir du cadre de la présente invention.

Les filtres élémentaires panchromatiques, laissent passer l'ensemble du spectre visible. I ls peuvent être réalisés en pratique par de simples épargnes dans la matrice ou des filtres transparents (dans le visible). Les pixels situés sous ces filtres élémentaires panchromatiques reçoivent dans ce cas une lumière non filtrée.

Les filtres élémentaires infrarouges ne laissent passer qu'une bande spectrale dans le proche infrarouge, par exemple dans la bande [700nm-1700nm], plus particulièrement dans la bande [700nm-1100nm] .

Les filtres élémentaires sont avantageusement arrangés sous la forme d'un motif se répétant de manière périodique, selon deux directions distinctes, généralement orthogonales, dans le plan du capteur.

Les filtres élémentaires peuvent être réalisés en matériau polymère ou bien être des filtres interférentiels, de manière connue en soi.

De préférence, la proportion de filtres élémentaires panchromatiques dans la matrice sera supérieure ou égale à 50%, les autres filtres élémentaires (filtres de couleur et filtres infrarouges) étant répartis en proportions égales. Avantageusement, la proportion de filtres élémentaires panchromatiques sera égale à 75% et les autres filtres élémentaires ayant chacun une proportion de 6.25%.

La Fig. 3A représente une matrice de filtres élémentaires pour un système d'acquisition d'images selon un premier exemple de réalisation de l'invention.

A chaque filtre élémentaire correspond un pixel du capteur.

Les filtres élémentaires de couleurs sont ici les filtres R, G, B. Les filtres élémentaires infrarouges sont notés IR et les filtres panchromatiques, 1/1/ .

On remarque que la matrice élémentaire est générée par une répétition périodique bidimensionnelle du motif de base 4 4 :

R W G W )

W W W W

d&n ^' (3)

IR W B W

W W W W j

Des variantes de cette matrice peuvent être obtenues par permutation des filtres R, G, B, IR dans \e motif (3).

La Fig. 3B représente une matrice de filtres élémentaires pour un système d'acquisition d'images selon un second exemple de réalisation de l'invention.

Les filtres élémentaires de couleur sont ici les filtres Ye, MB, Cy et le motif de base est alors :

Comme dans le premier exemple, des variantes de cette matrice peuvent être obtenues par permutation des filtres Ye, Ma, C IR dans la matrice (4).

Dans les exemples des Figs. 3A et 3B, on notera que la proportion de filtres panchromatiques dans la matrice est de 75% et celle de chacun des filtres de couleur et infrarouge de 6,25%.

La Fig. 4A représente une matrice de filtres élémentaires pour un système d'acquisition d'images selon un troisième exemple de réalisation de l'invention.

Les filtres élémentaires composant la matrice sont des filtres R, G, B, IR, le motif de base étant ici :

Comme dans le premier exemple, des variantes de cette matrice peuvent être obtenues par permutation des filtres R, G, B, IR dans le motif (5).

La Fig. 4B représente une matrice de filtres élémentaires pour un système d'acquisition d'images selon un quatrième exemple de réalisation de l'invention.

Les filtres élémentaires composant la matrice sont des filtres Y Ma, Cy, IR et le motif de base est : W Ye W Ma

Ye W IR W

d&n ^' W Ma W Cy (6)

IR W Cy W

Comme dans le second exemple, des variantes de cette matrice peuvent être obtenues par permutation des filtres V¾ Ms, Cy, IR dans le motif (6).

Dans les exemples des Figs. 4A et 4B, on notera que la proportion de filtres panchromatiques dans la matrice n'est que de 50% et celle de chacun des filtres de couleur et infrarouges de 12,5%.

La Fig. 5 représente schématiquement le traitement des pixels dans un dispositif d'acquisition d'images selon un premier mode de réalisation de l'invention.

Dans la suite, on comprendra une opération sur des pixels comme une opération sur les signaux reçus par ces pixels.

Dans une première étape, 510, on estime la moyenne de la luminance / de l'image acquise par le dispositif en calculant la moyenne des pixels panchromatiques.

En 520, on compare la moyenne ainsi obtenue à une valeur de seuil prédéterminée, l _th . Si la moyenne excède ladite valeur de seuil, le dispositif d'acquisition fonctionne en mode diurne (ou fort éclairement), à défaut il fonctionne en mode nocturne (ou faible éclairement).

Si le dispositif d'acquisition fonctionne en mode diurne, on interpole en 530 les pixels de couleur de manière à obtenir une image pour chacune des couleurs primaires, R, G, B ou Ye, Mâ, Cy. Plus précisément, comme on l'a vu plus haut la proportion de pixels d'une couleur donnée étant relativement faible, on obtient la valeur des pixels manquants par interpolation des pixels voisins présents dans la matrice. Par exemple, en référence avec la Fig. 3A, le pixel bleu 310 étant manquant (puisque situé sous un filtre élémentaire rouge), il est obtenu par une interpolation entre les quatre pixels bleus avoisinants 311, 312, 313, 314.

Les images de couleurs primaires peuvent faire l'objet d'un traitement optionnel pour améliorer leur netteté (image sharpening). Par exemple, on peut obtenir une image monochrome en interpolant les pixels panchromatiques et combiner cette image monochrome, le cas échéant après filtrage passe-haut, avec chaque image de couleur primaire. La proportion de pixels panchromatiques dans la matrice étant plus élevée que celle des pixels de couleur, la résolution des images de couleurs primaires s'en trouve ainsi améliorée.

A l'étape 540, on obtient une image en proche infrarouge par interpolation entre les pixels infrarouges de la matrice, selon le même principe que celui décrit précédemment pour les pixels de couleur.

A l'étape 550, on ajoute les images de couleurs primaires (pour une synthèse additive) pour obtenir une image de couleur et lui soustrait l'image infrarouge, pixel par pixel. De manière plus générale on combine les images de couleurs primaires pour obtenir une image de couleur. La soustraction de l'image infrarouge permet d'améliorer considérablement le rapport signal sur bruit. Le cas échéant, pour éviter les problèmes de saturation, on soustrait l'image infrarouge pondérée par des facteurs de pondération (similaires ou identiques) à chacune des images de couleurs primaires pour obtenir des images de couleurs primaires débruitées, avant de les sommer (ou plus généralement de les combiner). L'image résultante peut être alors affichée ou stockée dans une mémoire pour un traitement ultérieur.

L'étape 560 correspond à un fonctionnement en mode nocturne (ou sous faible éclairement).

Dans ce mode, on obtient une image monochrome par interpolation des pixels panchromatiques. Ceux-ci étant majoritaires dans la matrice, on obtient un degré de résolution élevé. Cette image peut être affichée ou stockée dans une mémoire pour un traitement ultérieur.

Dans tous les cas, le traitement se termine en 570.

On comprend que le traitement des pixels exposé ci-dessus est très différent selon que le dispositif d'acquisition d'images opère en mode diurne ou en mode nocturne, le basculement d'un mode à l'autre se faisant par comparaison de la luminance moyenne avec un seuil prédéterminé.

Selon une première variante de ce mode de réalisation, le basculement d'un mode à l'autre opère avec hystérésis de manière à éviter tout bruit de commutation (chattering). Pour ce faire, un premier seuil de luminance est prévu pour la transition du mode diurne vers le mode nocturne et un second seuil de luminance est prévu pour la transition inverse, le premier seuil étant choisi inférieur au second seuil.

Selon une seconde variante du premier mode de réalisation, le basculement d'un mode à l'autre se fait progressivement en passant par une phase de transition. Ainsi, le dispositif d'acquisition d'images fonctionne en mode nocturne lorsque la luminance moyenne est inférieure à un premier seuil et en mode diurne lorsqu'elle est supérieure à un second seuil, le second seuil étant choisi supérieur au premier seuil. Lorsque la luminance moyenne est comprise entre les premier et second seuils, le dispositif d'acquisition d'images effectue une combinaison linéaire de l'image obtenue par le traitement en mode diurne et de celle obtenue par le traitement en mode nocturne, les coefficients de pondération étant donnés par les écarts de la luminance moyenne avec les premier et second seuils respectivement. La Fig. 6 représente schématiquement le traitement des pixels dans un dispositif d'acquisition d'images selon un second mode de réalisation de l'invention.

A la différence du premier mode de réalisation, le basculement entre le mode diurne (ou de fort éclairement) et le mode nocturne (ou de faible éclairement) opère sur des régions homogènes d'une image acquise, chaque région homogène étant traitée indépendamment. A l'étape 603, on obtient une image monochrome en interpolant les pixels panchromatiques. Plus précisément, pour chaque pixel panchromatique manquant de la matrice (par exemple pixel de couleur ou infrarouge) on calcule une intensité à partir des pixels panchromatiques avoisinants.

A l'étape 605, on segmente l'image monochrome ainsi obtenue en régions homogènes. On pourra utiliser à cet effet une technique de segmentation connue de l'état de la technique, telle que décrite par exemple dans l'article de S. Tripathi et al. intitulé « Image Segmentation : a review » publié dans International Journal of Computer Science and Management Research, vol. 1, N° 4, nov. 2012, pp. 838-843. On obtient ainsi P régions homogènes.

A l'étape 610, on calcule la moyenne de la luminance, notée 7 _P , pour chacune des régions Z _p , β = \,..., Ρ.

A l'étape 620, on compare les moyennes de luminances ainsi obtenues à une valeur de seuil prédéterminée. Si la moyenne I _p excède ladite valeur de seuil, la région

Z _p est considérée comme à fort éclairement. A l'inverse, si la moyenne / _P est inférieure à ladite valeur de seuil, la région Z _p est considérée comme à faible éclairement.

Il est important de noter que, pour une zone donnée, la distinction entre faible éclairement et fort éclairement repose sur la moyenne de la luminance, telle qu'obtenue à partir des pixels panchromatiques. Autrement, dit la moyenne de la luminance est obtenue sur la totalité du spectre.

A l'étape 630, on traite les régions à fort éclairement. Pour chaque région à fort éclairement, on interpole les pixels de couleurs appartenant à cette région de manière à obtenir une image de cette région pour chacune des couleurs primaires, R, G, B ou

Ye, Ma, Cy. A l'étape 640, on obtient une image en proche infrarouge de chaque région à fort éclairement, en interpolant les pixels infrarouges appartenant à cette région.

A l'étape 650, on combine pour chaque région à fort éclairement, les images de couleurs primaires (simple sommation dans le cas d'une synthèse additive) et l'on soustrait l'image infrarouge, pixel par pixel. On obtient ainsi des pixels de couleur formant une image couleur pour chaque région à fort éclairement.

A l'étape 660, on remplace dans l'image monochrome obtenue à l'étape 603, les pixels panchromatiques des régions à fort éclairement par les pixels de couleur obtenus à l'étape 650. Alternativement, pour chaque pixel appartenant à une région à fort éclairement, on effectue une combinaison linéaire du pixel panchromatique (autrement dit du pixel de l'image monochrome) et du pixel de couleur obtenu à l'étape 650. On superpose ainsi pour les régions à faible éclairement, l'image monochrome (obtenue à l'étape 603) et l'image couleur (obtenue à l'étape 650).

Comme dans le premier mode de réalisation, on peut prévoir, dans une première variante, d'utiliser deux seuils distincts, un premier seuil pour détecter lorsqu'une région passe d'un niveau de faible éclairement à un niveau de fort éclairement, et un second seuil pour détecter lorsqu'une région passe d'un niveau de fort éclairement à un niveau de faible éclairement, le premier seuil étant inférieur au second.

En outre, on peut également prévoir, dans une seconde variante, une phase de transition entre les deux seuils. Autrement dit, en deçà du premier seuil la région est représentée en mode monochrome par interpolation des pixels panchromatiques, au delà du second seuil la région est représentée en couleur et entre les deux seuils la région peut être représentée par une combinaison linéaire de l'image monochrome et de l'image couleur.

On comprend ainsi que l'on dispose d'un dispositif d'acquisition d'images capable de fonctionner indépendamment des conditions d'éclairement tout en présentant un très bon rapport signal sur bruit. Selon une autre variante non représentée du second mode de réalisation, lorsqu'une zone a été déterminée comme étant à faible éclairement par le test 620, on détermine si l'intensité des pixels infrarouges appartenant à cette zone est supérieure à un seuil IR prédéterminé. Les pixels infrarouges dont l'intensité est supérieure au seuil IR sont alors représentés en fausses couleurs en superposition avec l'image monochrome de la zone. Ainsi, si une sous-zone de la zone à faible éclairement présente une forte intensité dans le domaine infrarouge, celle-ci sera aisément identifiable dans l'image monochrome de la zone en question. Alternativement encore, le critère de basculement entre représention monochrome et représentation en fausses couleurs pourra se faire par sous-zones homogènes de la zone à faible éclairement. Dans ce cas, une segmentation de la zone à faible éclairement est d'abord effectuée sur la base des pixels infrarouges, après interpolation, selon le même principe que celui déjà décrit en relation avec les étapes 603 et 605. Pour chaque sous-zone homogène au sens précédent, on calcule alors la moyenne de l'intensité des pixels infrarouges dans cette sous-zone et on la compare au seuil IR précité. Lorsque cette moyenne est supérieure au seuil IR, la sous- zone est représentée en fausses couleurs, superposée à l'image monochrome de la zone. L'image en fausses couleurs de la sous-zone est obtenue au moyen d'une interpolation des pixels infrarouges dans cette sous-zone. On comprend ainsi que, dans ce cas, l'image de la zone à faible éclairement mais présentant des sous-zones à forte intensité infrarouge, est obtenue à l'aide d'une combinaison des pixels panchromatiques (partie monochrome) et des pixels infrarouges (partie en fausses couleurs) à l'exclusion des pixels de couleurs élémentaires (RGB) ou (Cyan, Magenta, Jaune).