Domaine de l’invention

La présente invention concerne le domaine de la détection de l’intégrité d’une image numérique.

Par concision, une image numérique sera dénommée ci-après « image ».

Au sens de la présente invention, une image est intègre si elle n’a pas subi de modification.

La modification, ou indistinctement la falsification, d’une image originale envisagée ici est une technique de peinture connue sous l’anglicisme « Inpainting » et décrite par exemple à l’adresse suivante : htps://fr.wikipedia.org/wiki/lnpainting.

L’inpainting est une technique de reconstruction d'images ou de remplissage des parties manquantes d'une image. C’est une technique de synthèse d’image qui consiste à remplacer des pixels supprimés d’une zone prédéterminée de l’image originale par diffusion des pixels adjacents, pour les méthodes dites « diffusion-based », ou par collage et assemblage de pixels copiés pour les méthodes dites « examplar-based ».

Par concision, on entend ci-après par pixel « falsifié » un pixel modifié par inpainting, qu’il soit diffusé ou collé et assemblé.

On entend indistinctement inpainting et « technique de reconstruction d'images ».

Contrairement à d’autres techniques de manipulation d’image, les pixels falsifiés par inpainting proviennent de l’image originale et non d’une autre source, c’est une modification intrinsèque.

Une autre technique de manipulation d’image est par exemple celle de copié/collé de pixels qui consiste à une duplication à l’identique de pixels existants. Cette technique est étrangère à l’invention car dans une technique d’inpainting, les pixels falsifiés ne sont pas des duplications exactes de pixels existants. En effet, contrairement aux techniques de copier/collé, lorsque l’inpainting met en œuvre un copier/coller de pixels, les pixels collés sont alors également réassemblés ou réagencés; ils ne sont donc pas dupliqués à l’identique.

L’inpainting est utilisé par exemple pour supprimer tout ou partie d’un objet ou d’un personnage d’une image. La partie supprimée est remplacée par un autre objet, un autre personnage, ou un fond, que ce soit à des fins artistiques ou frauduleuses.

Quelle que soit sa finalité, l’inpainting implique toujours la création d’une texture de fond. L’utilisateur de cette technique s’emploie ensuite à fusionner la texture de fond ainsi créée avec celle d’origine pour que la modification de l’image soit la moins détectable possible.

Il existe par exemple des logiciels d’inpainting qui sont appliqués pour masquer un « trou » dans une image.

Lorsqu’une image a été traitée par un logiciel d’inpainting, elle a, nécessairement, subi un traitement préalable consistant à supprimer les pixels d’une zone de l’image dont la forme et la position est définie.

Il existe donc un contour correspondant, temporairement, à la bordure de la zone des pixels supprimés.

Un algorithme d’inpainting remplit ladite zone par un ensemble de pixels, dont la bordure est une zone de transition, de l’ordre de quelques pixels à quelques dizaines de pixels qui sépare les pixels originaux, c’est-à-dire les pixels de l’image originale des pixels recréés par l’algorithme d’inpainting.

Par conséquent, la zone de transition d’une telle image modifiée peut apparaitre plus floue que le reste de l’image, c’est-à-dire que la netteté de celle-ci peut localement diminuer.

La présente invention vise à exploiter astucieusement cette caractéristique.

Dans ce contexte, la présente invention vise, selon un premier de ses objets, un procédé de vérification d’une image candidate, pour déterminer si celle-ci a subi une falsification par reconstruction d'images.

Il est essentiellement caractérisé en ce qu’il comprend des étapes consistant à :

- déterminer la réflectance estimée ^A R(x; y) pour la totalité des pixels (x; y) de l’image candidate,

- pour chaque pixel (x; y) d’au moins une fenêtre présentant une forme prédéterminée et des dimensions prédéterminées, centrée ledit pixel (x,y), et comprenant un groupe de pixels (x; y) de l’image candidate, déterminer la variance locale de la réflectance estimée ^A R(x; y) pour le groupe de pixels de ladite fenêtre,

- calculer la déviation absolue de la variance locale de la réflectance estimée ^A R(x; y) pour chaque pixel de chaque groupe de pixels (x; y) de l’image candidate,

- comparer la déviation absolue calculée à une valeur seuil prédéterminée,

- si la déviation absolue est inférieure à ladite valeur seuil prédéterminée, alors ledit pixel (x; y) est considéré comme un pixel original, sinon ledit pixel (x; y) est considéré comme un pixel falsifié par reconstruction d'images, et

- émettre un signal représentatif d’une alerte si le nombre de pixels (x; y) considérés comme falsifiés par reconstruction d'images est supérieur à une valeur seuil prédéterminée.

On peut prévoir en outre une étape d’affichage d’une carte de chaleur, consistant à affecter une valeur de couleur prédéterminée à la totalité desdits pixels (x; y) considérés comme falsifiés.

On peut prévoir en outre une étape consistant à affecter une valeur de couleur prédéterminée à la totalité desdits pixels (x; y) considérés comme originaux.

On peut prévoir que l’étape de calcul de la déviation absolue comprend le calcul des déviations absolues des variances locales de la réflectance estimée ^A R(x; y) pour une pluralité de groupes de pixels (x; y), et que chaque groupe correspond à une couleur respective.

On peut prévoir que le calcul de la déviation absolue comprend le calcul d’une unique déviation absolue de la variance locale de la réflectance estimée ^A R(x; y) pour la totalité des pixels (x; y) de l’image candidate.

On peut prévoir en outre une étape consistant à diviser l’image candidate en une pluralité de sous-images, qui ne se chevauchent pas et qui peuvent être adjacents ou distants, dans lequel l’étape de calcul de la moyenne comprend le calcul de la moyenne de la réflectance estimée ^A R(x; y) pour chaque sous-image.

On peut prévoir que l’image candidate est une image représentant tout ou partie d’un document de valeur, notamment d’une page de données d’un document d’identité, d’un visa, d’un chèque, etc. On peut prévoir que le document d’identité comprend une zone de lecture automatique (MRZ), le procédé comprenant une étape consistant à sélectionner comme image candidate au moins l’une parmi :

- une image de la zone de lecture automatique (MRZ),

- un champ relatif à l’identité du porteur dudit document d’identité, et

- un champ relatif au document d’identité tel que sa date d’émission, sa date de validité, l’autorisation (par exemple pour un permis de conduire), etc...

On peut prévoir une étape consistant à augmenter le grain ISO de l’image candidate au-delà d’une valeur seuil prédéterminée, lors de la capture de ladite image candidate.

Selon un autre de ses objets, l’invention concerne un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé selon l’invention, lorsque ledit programme est exécuté sur un ordinateur.

Par ordinateur, on entend un ordinateur personnel, mais également une tablette, un smartphone ou un serveur.

D’autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre d’exemple illustratif et non limitatif et faite en référence aux figures annexées.

Figures

[Fig. 1] illustre une image candidate présentant deux textures différentes,

[Fig. 2] illustre le résultat de l’application d’un filtre médian à l’image de la figure 1 ,

[Fig. 3] illustre une segmentation binaire de l’image de la figure 2,

[Fig. 4] illustre une autre image candidate, représentant un stylo,

[Fig. 5] illustre l’image de la figure 4, falsifiée,

[Fig. 6] illustre une carte de chaleur selon l’invention de l’image candidate de la figure 5,

[Fig. 7] illustre une autre image candidate, représentant une partie d’une MRZ, falsifiée,

[Fig. 8] illustre une carte de chaleur selon l’invention de l’image candidate de la figure 7.

- Description détaillée -

Au sens de la présente invention, une image est une image issue d’un capteur photo/vidéo ou une image de synthèse.

L’image est en niveaux de gris ou préférentiellement en couleurs, mais pas en noir et blanc.

Elle est appelée image candidate en ce qu’il s’agit de déterminer, grâce à l’invention, si cette image candidate est une image originale ou une image modifiée par inpainting, c’est-à-dire falsifiée.

De préférence, l’image candidate présente au moins l’une des caractéristiques suivantes :

- une définition suffisante, c’est-à-dire un nombre total de pixels de l’image supérieur à une valeur seuil prédéterminée, - une faible compression avant l’éventuelle falsification, c’est-à-dire dont le taux de compression est inférieur à une valeur seuil prédéterminée. Autrement dit l’image falsifiée ne doit pas présenter un fort taux de compression.

De préférence, lorsque cela est possible, l’image originale présente une augmentation du bruit, un grain, par augmentation des ISO au-delà d’une valeur seuil, lors de la capture de l’image originale, ce qui génère une sorte de texture qui est très difficile à reproduire par un algorithme d’inpainting, et qui facilite la détection d’une éventuelle falsification.

Pour simplifier la présente description, on considère ici uniquement le cas dans lequel une image candidate est une image d’une page de données d’un document de valeur.

Par document de valeur, on entend tout document d’identité ou document de sécurité, officiel, c’est-à-dire émis par un gouvernement ou une autorité (carte d’identité, passeport, permis de conduire, certificat de naissance, de travail, visa, etc.) ou non officiel (carte d’abonnement, carte de fidélité, ticket de spectacle ou de transport etc.).

*Réflectance*

Sous forme numérique, une image candidate peut être modélisée comme le produit de l’intensité lumineuse et de la réflectance de son objet.

On peut ainsi définir une équation (1) par l(x; y) = L(x; y) * R(x; y), telle que :

I est l’image,

(x, y) sont les coordonnées cartésiennes des pixels de l’image I,

L est l’intensité lumineuse de la source d’éclairage, c’est-à-dire la quantité de lumière (réelle ou simulée pour une image de synthèse) arrivant à la surface du document de valeur en un point correspondant au pixel de coordonnées (x, y) de l’image, et R est la réflectance, qui est la proportion de lumière réfléchie par la surface, en l’espèce du document de valeur, dont est issue l’image originale.

On peut prendre le logarithme de l’équation (1).

On obtient ainsi l’équation (2) : ln(l (x; y)) = ln(L(x; y)) + ln(R(x; y))

Dans le domaine fréquentiel, filtrer une image revient à faire une opération mathématique de multiplication. Et il est plus rapide de calculer le résultat d’une multiplication que d’une convolution (dans le domaine spatial).

On transforme donc avantageusement l’équation (2) dans le domaine fréquentiel, en lui appliquant une transformée de Fourier F, soit l’équation (2’) telle que : F(ln( I (x; y))) = F(ln(L(x; y)) + ln(R(x; y)))

La réflectance R étant dans les hautes fréquences, on peut appliquer un filtre passe-haut H dans le domaine de Fourier à l’équation (2’),

On a donc : F(ln(l(x; y))) H(u; v) = [F(ln(L(x; y)) + ln(R(x; y)))] H(u; v) Soit F(ln(l(x; y))) H(u; v) = F(ln(L(x; y)) H(u; v) + ln(R(x; y))) H(u; v)

En supprimant les basses fréquences grâce au filtre H, on a :

F(ln(l(x; y))) H(u; v) = F(ln(L(x; y)) H(u; v) ce qui permet d’obtenir l’équation (3) : r(u; v) = F(ln(l(x; y)))H(u; v) avec

- (u; v) les fréquences correspondantes aux coordonnées (x, y), H un filtre passe-haut dans le domaine de Fourier,

F la transformée de Fourier,

- r un changement de variable de calcul tel que r(u ; v) = F(ln(L(x; y)) H(u; v)

On peut ainsi estimer la réflectance ^A R en calculant l’exponentielle de la transformée de Fourier inverse de l’équation (3).

On obtient ainsi l’équation (4) : ^A R(x; y) = exp(F ¹ (r(u; v)))

La réflectance estimée ^A R(x; y) est une estimation de la rugosité de surface au pixel (x; y). C’est-à-dire que plus la réflectance ^A R varie autour du pixel de coordonnées (x; y), plus la texture de l’image est rugueuse dans la zone de l’image autour de ce point.

On calcule ainsi une matrice de réflectance, qui donne la valeur de la réflectance estimée ^A R(x; y) pour un pixel (x; y) de l’image candidate.

* Variance locale de la réflectance*

On prévoit de calculer la variance locale de la réflectance estimée ^A R(x; y) pour au moins un groupe de pixels (x; y) de l’image candidate.

En l’espèce, pour un pixel (x; y), on prend une forme prédéterminée dont les dimensions sont prédéterminées, également appelée « fenêtre », et qui est centrée sur ledit pixel (x,y), et on détermine la variance locale de la réflectance estimée ^A R dudit pixel (x; y) au sein de ladite forme prédéterminée.

Par exemple, la variance locale est calculée pour une fenêtre rectangulaire de taille NxM pixels centrée autour du pixel (x, y), et en l’espèce un carré de 11 pixels de côté. Pour les pixels des bords de l’image candidate, on peut utiliser une technique de symétrie ou une autre technique connue de l’homme du métier.

On peut alors calculer, pour chaque groupe de pixels, la variance des variances locales, également appelée « variance du groupe ».

Dans une première variante,

On prévoit de calculer une unique variance locale de la réflectance estimée ^A R(x; y) pour un groupe de pixels qui correspond à la totalité des pixels (x; y) de l’image candidate.

Dans une deuxième variante, on prévoit de calculer la variance locale de la réflectance estimée ^A R(x; y) pour une pluralité de groupes de pixels (x; y), dans lequel chaque groupe correspond à une couleur respective pour la totalité des pixels (x; y) de l’image candidate.

Chaque couleur est déterminée par des valeurs RGB qui sont comprises dans des valeurs prédéterminées.

On calcule ainsi, pour chaque couleur, la variance locale respective pour la totalité des pixels (x; y) de chaque groupe. Dans une troisième variante, on peut aussi prévoir que chaque groupe de pixels correspond à un bloc de pixels adjacents deux à deux, indépendamment de la texture qu’ils représentent ou de leur couleur.

On peut ainsi diviser l’image candidate en plusieurs sous-images, ou blocs, adjacents, qui ne se chevauchent pas, et on calcule ainsi pour chaque bloc les variances locales respectives pour la totalité des pixels (x; y) du bloc. La forme et les dimensions des sous-images sont prédéterminées et peuvent différer d’une sous-image à l’autre.

Dans une quatrième variante, on prévoit que chaque groupe de pixels correspond à un bloc de pixels dont les pixels sont adjacents deux à deux et représentent une même texture, indépendamment de leur couleur ; par exemple par un algorithme de segmentation d'image.

Enfin dans une cinquième variante, on extrait une sous-image de l’image candidate et on applique à cette sous-image, au moins l’une quelconque des 4 variantes ci-dessus, en remplaçant la totalité des pixels (x; y) de l’image candidate par la totalité des pixels (x; y) de la sous-image. Par exemple, pour une image candidate telle qu’un passeport, une sous- image peut être une zone prédéfinie du passeport, en particulier la MRZ comme illustré sur la figure 7.

* Déviation absolue de la variance locale de la réflectance*

Quelle que soit la variante ci-dessus, pour chaque pixel (x; y) d’un groupe donné de l’image candidate, on mesure la déviation absolue de la variance locale de la réflectance estimée ^A R dudit pixel (x; y) par rapport à l’ensemble des pixels (x; y) dudit groupe de pixels selon la variante mise en œuvre.

Dans un premier mode de réalisation, on peut alors, pour chaque pixel (x; y) d’un groupe de pixel, calculer la différence entre :

- la variance locale de la réflectance estimée ^A R de chaque pixel (x; y) dudit groupe de pixel et

- la variance de la réflectance estimée ^A R de tous les pixels (x; y) dudit groupe de pixel, c’est-à-dire la variance du groupe.

Le calcul de la variance du groupe est facultatif.

Alternativement, dans un deuxième mode de réalisation, on peut en effet déterminer des valeurs de référence qui sont des valeurs de variance du groupe, pour tous les groupes. Ces valeurs de référence sont obtenues par exemple dans une phase d’apprentissage, grâce à des mesures faites sur des images originales. A titre d’exemple, les variances de groupes pour des images de documents normés, typiquement des documents d’identité, varient peu d’une image à l’autre. On peut donc assigner une valeur de référence unique par groupe.

Dans ce cas, on peut alors, pour chaque pixel (x; y) d’un groupe de pixel, calculer la différence entre :

- la variance locale de la réflectance estimée ^A R de chaque pixel (x; y) dudit groupe de pixel et

- la valeur de référence.

De préférence, les valeurs de référence sont indexées à un type de document de valeur. De préférence, les conditions d’acquisition de l’image candidate sont connues et les mêmes pour les images originales pendant la phase d’apprentissage. Ce deuxième mode de réalisation permet généralement des calculs plus rapides que le premier mode de réalisation.

L’un ou l’autre des calculs de différence selon les 2 modes de réalisation ci-dessus permet de déterminer si la variance locale d’un pixel est anormale par rapport à la variance du groupe.

On peut prévoir de comparer le résultat du calcul de différence à une valeur seuil prédéterminée, ce qui permet de binariser le résultat.

Par exemple, pour la deuxième variante, pour déterminer les pixels de même couleur, on prend tous les pixels dans une tranche de couleur donnée, par exemple les pixels verts, et pour chaque pixel vert, on calcule la déviation absolue de la variance locale de la réflectance. Et ainsi de suite pour les autres couleurs.

Pour une couleur donnée, on compare donc la variance locale de la réflectance de chaque pixel (x; y) à la médiane des variances locales de la réflectance de l’ensemble des pixels de ladite couleur.

Quelle que soit la variante, si la déviation absolue est inférieure à une valeur seuil prédéterminée, alors ledit pixel (x; y) est considéré comme un pixel original, sinon ledit pixel (x; y) est considéré comme un pixel falsifié.

On peut alors prévoir d’afficher sur l’image candidate l’ensemble desdits pixels (x; y) considérés comme pixels falsifiés avec une valeur de RGB prédéterminée, et obtenir ainsi une carte de chaleur.

On peut aussi, pour la production d’une carte de chaleur, affecter tous les pixels considérés comme pixels falsifiésd’une valeur de RGB prédéterminée, éventuellement de la même valeur. Optionnellement, en outre, on peut prévoir d’affecter tous les pixels considérés comme pixels originaux d’une autre valeur de RGB prédéterminée, ce qui permet, par effet de contraste, de faire ressortir les pixels considérés comme pixels falsifiés.

On peut aussi, pour la production d’une carte de chaleur, prévoir d’affecter tous les pixels considérés comme pixels falsifiés d’une valeur de RGB ou l’intensité dépend de l’écart entre la variance locale de la réflectance estimée ^A R dudit pixel (x; y) et la variance du groupe.

Plus l’écart entre la variance locale de la réflectance estimée ^A R dudit pixel (x; y) et la variance du groupe est grand, plus la probabilité que ledit pixel (x; y) soit falsifié est grande.

Pour illustrer ce principe, on peut prévoir que plus la valeur de l’écart est grande et plus l’intensité affectée audit pixel est grande, ou plus la couleur qui lui est affectée tend vers le rouge. Réciproquement, plus la valeur de l’écart est faible et plus l’intensité affectée audit pixel est faible, ou plus la couleur qui lui est affectée tend vers le bleu.

La présente invention permet ainsi de localiser, sur l’image candidate, la zone falsifiée. Ainsi, si la zone falsifiée sur un passeport est une partie du fond, il peut s’agir d’un artefact. En revanche, si la zone falsifiée sur un passeport est une partie de la MRZ ou d’un champ relatif à l’identité du porteur, alors l’image candidate a certainement été falsifiée.

En outre, grâce à la carte de chaleur, il est possible de déterminer la position de la zone falsifiée dans l’image.

A cet effet, on peut aussi prévoir une étape de sélection de zones de forme et de position prédéterminées, par exemple la MRZ d’un passeport, ou des zones de champs alphanumériques dont la position est connue, par exemple le nom, prénom, date de naissance etc. du porteur du document d’identité. On peut alors ne traiter que ces zones qui sont les plus susceptibles d’être modifiées, ce qui permet de gagner du temps de traitement.

* Exemples *

La figure 1 illustre une image candidate présentant deux textures différentes : une texture fine dans sa partie gauche et une texture plus lisse dans sa partie droite.

En appliquant un filtre médian à l’image de la figure 1, on obtient la figure 2. Le filtre médian permet de réduire le bruit.

La figure 3 est obtenue en binarisant la figure 2, en l’espèce avec une binarisation d’Otsu.

La figure 3 illustre clairement que la texture de gauche est globalement plus nette que celle de droite, et que la texture de droite, les zones blanches sur fond noir, correspondent effectivement à des zones plus nettes, voir les zones correspondantes sur la figure 2.

Ce principe exposé sur les figures 1 à 3 est utilisé pour détecter les zones de transition de netteté sur une image candidate.

Par exemple, la figure 4 représente un stylo. Cette figure a été falsifiée par inpainting en supprimant celui-ci, comme illustré sur la figure 5.

Toute la zone falsifiée peut être identifiée sur la carte de chaleur selon l’invention illustrée sur la figure 6.

Ce principe a été appliqué aux documents d’identité, en l’espèce à un passeport.

Par exemple, dans le domaine des documents d’identité, certaines fraudes consistent à falsifier une image de la page de données en supprimant une zone de texte puis en réécrivant un autre texte dans cette zone.

Ce type de falsification est parfois employé dans le domaine de l’enregistrement à distance pour rembarquement à bord d’un vol aérien, une image du document d’identité est envoyée à un centre de contrôle. La présente invention permet par exemple de vérifier que cette image n’a pas été retouchée numériquement.

La figure 7 illustre une partie de la zone de lecture automatique (MRZ par anglicisme) qui a été falsifiée par inpainting. La falsification a consisté à supprimer le nom du porteur du document et à le remplacer par le nom factice « OLIVERA » suivi d’un caractère « < ».

Cette falsification est clairement détectée par le procédé selon l’invention, dont la carte de chaleur correspondante à la figure 7 est illustrée à la figure 8.

L’invention n’est pas limitée aux modes de réalisation précédemment décrits.

On peut prévoir d’éliminer des calculs de variance et de moyenne, les pixels trop clairs ou trop sombres, c’est-à-dire les pixels dont la valeur d’intensité lumineuse est supérieure à une valeur seuil prédéterminée ou inférieure à une autre valeur seuil prédéterminée.

Quelle que soit la variante, pour un pixel (x; y) donné, plus la variance de la réflectance estimée ^A R est élevée, plus l’image est nette dans le voisinage local dudit pixel (x; y). Alternativement au calcul de la variance mathématique de la réflectance estimée ^A R, on peut mettre en œuvre un calcul de gradient de la réflectance estimée ^A R, selon un ensemble d’au moins une direction prédéterminée par rapport audit pixel (x; y).

La falsification d’une image originale génère des contours qui ne sont pas forcément visibles sur l’image candidate. On peut également mettre en œuvre une étape de détection de contours sur la carte de chaleur et sur l’image originale.

On peut alors comparer les contours de la carte de chaleur et de l’image originale pour détecter des contours qui sont sur la carte de chaleur et qui ne sont pas sur l’image originale. L’ensemble des pixels contenus dans le ou les contours fermés ainsi détectés sont considérés comme des pixels falsifiés.

Grâce à l’invention, il est possible d’exercer une sorte d’auto-contrôle d’une image candidate, c’est-à-dire que l’image candidate se suffit à elle-même, ce qui permet de s’affranchir d’une éventuelle base de données de référence, qui comprendrai typiquement une image originale à laquelle l’image candidate serait comparée.