DESCRIPTION

DOMAINE DE L'INVENTION

La présente invention concerne un procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique.

ETAT DE LA TECHNIQUE

Une caméra plénoptique est un dispositif connu qui se distingue d'autres caméras par le fait qu'elle comprend une matrice de microlentilles. Une telle matrice de microlentilles permet de capter une information de profondeur de champ lumineux, composée de l'intensité lumineuse d'une scène, mais aussi la direction d'arrivée des rayons lumineux. Cette propriété est par exemple exploitée pour produire une image tridimensionnelle d'une scène, comme le ferait également une caméra stéréoscopique, mais avec un encombrement moindre.

Outre une matrice de microlentilles, une caméra plénoptique comprend une lentille principale située en amont de la matrice, et un capteur photosensible en aval de la matrice.

Il est connu de l'état de la technique un procédé de caractérisation d'une telle caméra plénoptique, comprenant l'estimation d'une distorsion radiale causée par la lentille principale. La distorsion radiale est une aberration optique qui a pour effet de dévier de manière indésirable la propagation de rayons lumineux traversant la lentille principale, et donc de créer des artefacts visuels dans une image acquise par la caméra plénoptique. En caractérisant cette distorsion radiale, celle-ci peut être compensée par un post-traitement adéquat.

Il est également des procédés de calibrage d'une caméra plénoptique, comprenant la génération de de données de calibrage permettant de reconstruire une image 3D d'une scène à partir d'une ou plusieurs images acquise(s) par une caméra plénoptique. Ces données de calibrage tiennent compte d'aberrations optiques causées par la caméra, de sorte à minimiser voire éliminer des artefacts susceptibles d'entacher l'image 3D à reconstruire. De tels procédés sont par exemple décrits dans les documents suivants :

• Bergamasco, Filippo, et al. "Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

• Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. 13 Mar. 2018. Au cours de La mise en œuvre de ces procédés, la caméra plénoptique est vue comme une boîte noire, et les données de calibrage générées au moyen de ces procédés forment des tables de correspondance.

Or, de telles tables de correspondances ne sont pas interprétables facilement, au sens où elles ne permettent pas d'établir un diagnostic sur l'état de la caméra plénoptique. Certains composants peuvent présenter des défauts de fabrication causant l'apparition de distorsions importante ne pouvant pas être corrigées convenablement par de telles données de calibrage.

Par ailleurs, la génération des tables de correspondances nécessite des calculs coûteux.

EXPOSE DE L'INVENTION

Un but de l'invention est d'établir un diagnostic sur le niveau d'aberrations optiques causées par une caméra sans nécessiter des calculs aussi coûteux que ceux utilisés dans les procédés décrits précédemment.

Il est à cet effet proposé, selon un premier aspect, un procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes : obtention d'un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres ; obtention d'une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique ; à partir de l'image et à partir du modèle géométrique, identification d'un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l'image ; pour chacune des microlentilles adjacentes de l'ensemble, calcul d'un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique central de la microlentille ; et estimation d'une distorsion radiale causée par la matrice de microlentilles, à partir de chaque écart calculé, du modèle géométrique de la matrice de microlentilles, et d'une position du point caractéristique.

Le procédé selon le premier aspect peut également comprendre les caractérsitiques optionnelles suivantes, prises seules ou combinées entre elles lorsque cela est techniquement possible.

De préférence, la mire est de couleur uniforme à l'exception d'un motif montré par la mire, Le point caractéristique étant défini par le motif. De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'identification et de calcul d'écarts pour plusieurs points caractéristiques présentés par la mire et ayant des positions différentes, la distorsion radiale étant estimée après la répétition.

De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'obtention d'image acquise par la caméra plénoptique, d'identification et de calcul d'écarts après un déplacement de la mire par rapport à la caméra plénoptique, la distorsion radiale étant estimée après la répétition.

De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'obtention d'image acquise par la caméra plénoptique, d'identification et de calcul d'écarts après remplacement de la mire par une deuxième mire présentant un deuxième point caractéristique non présenté par la mire, la distorsion radiale étant estimée après la répétition.

De préférence, la mire et la deuxième mire sont successivement affichées par un même écran d'affichage.

De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'identification et de calculs d'écarts de sorte qu'au moins écart soit calculé pour chaque microlentille de la matrice.

De préférence, le procédé selon le premier aspect comprend une étape de détermination d'une orientation de la matrice de microlentilles par rapport à la surface photosensible, la distorsion radiale étant estimée également à partir de l'orientation déterminée.

De préférence, la détermination de l'orientation de la matrice de microlentilles par rapport à la surface photosensible comprend les étapes suivantes : obtention d'une image de référence acquise par la caméra plénoptique, l'image de référence montrant des motifs distincts les uns des autres et respectivement issus de différentes microlentilles de la matrice ; et estimation d'une homographie entre un plan de la matrice de microlentilles et un plan de la surface photosensible, à partir de positions respectives des motifs dans l'image de référence et à partir du modèle géométrique de la matrice de microlentilles.

De préférence, le procédé selon le premier aspect comprend une estimation d'une distorsion radiale et/ou d'une distorsion de profondeur causée par une lentille de la caméra plénoptique agencée en amont de la matrice de microlentilles, à partir de la distorsion radiale causée par la matrice de microlentilles ayant été estimée. Il est également proposé, selon un deuxième aspect, un procédé de calibrage d'une caméra plénoptique comprenant les étapes suivantes : caractérisation de distorsions dans la caméra plénoptique au moyen du procédé selon le premier aspect ; et génération d'un modèle de calibrage adapté pour reconstruire une image tridimensionnelle d'une scène à partir d'au moins une image acquise par la caméra plénoptique en tenant compte de la distorsion estimée.

Il est encore proposé, selon un quatrième aspect, un dispositif de calibrage d'une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible. Ce dispositif comprend une mémoire configurée pour stocker un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres, et une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique. Ce dispositif comprend par ailleurs au moins un processeur configuré pour mettre en œuvre les étapes suivantes : à partir de l'image de la mire et à partir du modèle géométrique, identifier des microlentilles adjacentes de la matrice qui projettent le point caractéristique en différentes pixels de l'image ; pour chacune des microlentilles adjacentes identifiées, calculer un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique de la microlentille ; et estimer une distorsion radiale causée par la matrice de microlentilles, à partir des écarts calculés, du modèle géométrique et d'une position du point caractéristique.

Il est aussi proposé, selon un cinquième aspect, un kit comprenant une caméra plénoptique comprenant une matrice de microlentilles et un capteur présentant une surface photosensible, et un dispositif de calibrage de la caméra plénoptique selon le troisième aspect.

DESCRIPTION DES FIGURES

D'autres caractéristiques, buts et avantages de l'invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :

La figure 1 illustre de façon schématique différents composants optiques d'une caméra plénoptique 1 , selon un premier modèle.

La figure 2 illustre de façon schématique différents composants optiques d'une caméra plénoptique 1 , selon un deuxième modèle. La figure 3 illustre de façon schématique un système comprenant une caméra plénoptique 1 et un dispositif de caractérisation de la caméra plénoptique 1 , selon un mode de réalisation.

La figure 4 est un organigramme d'étapes d'un procédé de calibrage d'une caméra plénoptique 1 , selon un mode de réalisation.

La figure 5 détailles les sous-étapes d'une étape du procédé de la figure 4, selon un mode de réalisation.

La figure 6 et la figure 7 représentent chacune la projection d'un même point sur une surface par plusieurs microlentilles (à gauche de la figure), et une projection équivalente de plusieurs points sur une surface par une seule microlentille (à droite de la figure).

Sur l'ensemble des figures, les éléments similaires portent des références identiques.

DESCRIPTION DETAILLEE DE L'INVENTION

En référence à la figure 1 , une caméra plénoptique 1 comprend une lentille 2, une matrice 4 de microlentilles et un capteur photosensible 6.

La lentille 2, dite « lentille principale », constitue une optique d'entrée de la caméra plénoptique 1. La lentille principale 2 présente un centre O et un axe optique principal représenté sur la figure 1 par une ligne horizontale.

La lentille principale 2 est configurée pour conjuguer un point objet P d'une scène, et le focaliser en un point intermédiaire P'. Sur la figure 1 , le point intermédiaire P' est situé en amont de la matrice 4 de microlentilles, ce qui correspond à une configuration dite Keplerienne. En variante, le point intermédiaire P' pourrait être en aval de la matrice 4 voire même en aval du capteur photosensible 6, ce qui correspond à une configuration dite Galiléenne.

Le capteur photosensible 6 présente une surface photosensible en regard de la matrice 4 de microlentilles. Cette surface photosensible est représentée sous la forme d'une ligne verticale sur la figure 1. La surface photosensible est plane et s'étend dans un plan appelé « plan d'acquisition » dans la suite.

Le capteur photosensible 6 est configuré pour générer une image en deux dimensions à partir de la lumière que le capteur photosensible 6 reçoit sur sa surface photosensible. Chaque pixel d'une telle image est issu d'une zone de la surface photosensible du capteur photosensible 6 qui lui est associée. Plus précisément, le capteur photosensible 6 est configuré pour générer une valeur de pixel en fonction d'une intensité lumineuse atteignant la zone de la surface photosensible qui lui est associée. La matrice 4 de microlentilles est agencée entre la lentille principale 2 et le capteur photosensible 6. Une fonction de la matrice 4 de microlentilles est d'échantillonner angulairement un cône de lumière issu du point intermédiaire P', image du point objet P.

La matrice 4 de microlentilles comprend une pluralité de microlentilles comprenant des centres respectifs situés dans un même plan, ce plan étant appelé « plan de la matrice 4 » dans la suite.

Les microlentilles sont typiquement réparties en plusieurs lignes et plusieurs colonnes de la matrice 4. Ainsi, chaque microlentille appartient à une ligne et une colonne de la matrice 4. La figure 1 montre un exemple non limitatif de matrice 4 ayant 11 microlentilles par colonne (une seule colonne étant visible sur cette figure).

Chaque microlentille est adjacente à au moins une autre microlentille appartenant à la même ligne ou la même colonne de la matrice 4.

La distance horizontale qui sépare le centre d'une microlentille et le centre d'une microlentille adjacente de la même ligne de la matrice 4 est constante. En outre, la distance verticale qui sépare le centre d'une microlentille du centre d'une microlentille adjacente de la même colonne de la matrice 4 est constante (ce que l'on voit en particulier sur la figure 1 ).

Dans un mode de réalisation de la matrice 4, la distance horizontale et la distance verticale précitées sont égales à une même valeur d. dans ce mode de réalisation, les centres des microlentilles forment ensemble une grille carrée dans le plan de la matrice 4.

Les microlentilles de la matrice 4 présentent des axes optiques qui sont parallèles entre eux, et perpendiculaires au plan de la matrice 4. Chaque axe optique central d'une microlentille passe par le centre de cette microlentille.

Une propriété de la matrice 4 de microlentilles, qui propre à toute caméra plénoptique 1 , est qu'une microlentille de la matrice 4 ne peut illuminer qu'une zone spécifique de la surface photosensible du capteur photosensible 6. Dit autrement, une zone spécifique de la surface photosensible ne peut recevoir de la lumière que d'une des microlentilles.

Par ailleurs, la matrice 4 de microlentilles est configurée pour conjuguer le point intermédiaire P' et le focaliser en plusieurs points du plan d'acquisition, en sollicitant certaines microlentilles de la matrice 4, mais pas toutes. Dans l'exemple de la figure 1, seule cinq des microlentilles représentées sur cette figure sont sollicitées pour imager le point intermédiaire Pj' sur le plan d'acquisition. La figure 1 représente un modèle idéal de caméra plénoptique 1 , faisant les hypothèses suivantes : la lentille principale 2 et chaque microlentille constitue un sténopé (« pinhole » en anglais) ; en outre, la matrice 4 de microlentilles est parfaitement parallèle à la surface photosensible du capteur photosensible 6 (autrement dit, le plan de la matrice 4 et le plan d'acquisition sont parallèles).

Dans ce modèle idéal, la lentille principale 2 est telle que les points P, O et P' sont alignés. En outre, l'image par la lentille principale 2 d'un plan objet normal à l'axe optique de la lentille principale 2 est un plan intermédiaire parallèle au plan objet.

La figure 2 montre un deuxième modèle de la caméra plénoptique 1 qui est plus proche de la réalité, car ce deuxième modèle tient compte de certaines aberrations optiques.

Premièrement, la lentille principale 2 cause des distorsions radiales. En raison de ces distorsions radiales, un point objet Pj, le centre O de la lentille principale 2 et un point intermédiaire Pj' image du point Pj ne sont plus alignés. Autrement dit, le point Pj' est angulairement dévié. Sur la figure 2 les notations suivantes sont utilisées :

• aj désigne l'angle entre la droite (PjO) et l'axe optique de la lentille principale 2 (angle d'incidence du point Pj sur la lentille principale 2).

• désigne l'angle entre la droite (Pj 'O) et l'axe optique de la lentille principale 2.

Ces deux angles aj et sont différents en présence de distorsions radiales. Il est également à noter que l'écart entre ces deux anglais varie en fonction de la position du point Pj. Plus le point Pj est éloigné de l'axe optique de la lentille 2, plus cet écart est important.

Deuxièmement, la lentille principale 2 cause des distorsions de profondeur. En raison de ces distorsions de profondeur, l'image d'un plan objet normal à l'axe optique de la lentille principale 2 (représenté sur la figure par une ligne verticale passant par le point objet Pj) n'est plus un plan intermédiaire parallèle au plan objet, mais une surface courbe (cette surface courbe étant représentée par une ligne courbe passant par le point Pj' sur la figure 2).

Troisièmement, chaque microlentille de la matrice 4 cause des distorsions radiales. En raison de ces distorsions radiales, un point intermédiare Pj', le centre d'une microlentille et un point pj t image du point Pj' par la microlentille d'indice i ne sont pas alignés. On note ainsi : • β _j,i l'angle entre l'axe optique d'une microlentille d'indice i et la droite passant par le centre de la microlentille d'indice i et par le point intermédiaire Pj' (angle d'incidence du point P'j sur la microlentille d'indice i).

• l'angle entre l'axe optique de la microlentille d'indice i et la droite passant par le centre de la microlentille d'indice i et par le point p _j,i .

Pour plus de lisibilité, la figure 2 indique les angles se rapportant à une lentille d'indice i+n.

Quatrièmement, le plan des microlentilles est incliné d'un angle θ _MLA non nul par rapport au plan d'acquisition. En pratique, cet angle θ _MLA peut être proche de zéro, et ainsi être toléré. Toutefois, la prise en compte de cet angle est avantageuse pour calibrer la caméra plénoptique 1 , même si sa valeur est proche de zéro.

En revanche, les distorsions de profondeur causées par les microlentilles de la matrice 4 sont ignorées dans le modèle de la figure 2 car le plan intermédiaire est projeté sur le capteur photosensible 6. Ainsi l'effet de la distorsion de profondeur des microlentilles ne se traduit que par un flou sur le capteur photosensible 6.

En référence à la figure 3, un dispositif de caractérisation 10 pour caractériser la caméra plénoptique 1 comprend une interface de communication 12, une mémoire 14 et au moins un processeur 16.

L'interface de communication 12 est configuré pour communiquer avec des équipements externes, en particulier avec la caméra plénoptique 1 2 pour permettre le transfert d'images acquises par la caméra plénoptique 1 2 vers le dispositif de caractérisation 1 . Cette interface de communication est quelconque, par exemple filaire ou radio sans fil (Wi-Fi, Bluetooth, etc.).

La mémoire 14 est configurée pour stocker certaines données, en particulier des images acquises par la caméra plénoptique 1 2 et un modèle géométrique de la matrice 4 de microlentilles.

Le modèle géométrique de la matrice 4 de microlentilles indique comment les microlentilles sont positionnées les unes par rapport aux autres.

Le modèle géométrique comprend par exemple les coordonnées du centre de chaque microlentille dans le plan de la matrice 4. En variante, le modèle géométrique comprend les coordonnées du centre d'une des microlentilles de la matrice 4, le nombre de lignes et de colonnes de la matrice 4, et les distances horizontales et verticale précitées. La mémoire 14 stocke par ailleurs un programme d'ordinateur comprenant des instructions de code assurant une fonction de caractérisation d'aberrations optiques causées par la caméra plénoptique 1. Le ou chaque processeur 16 est adapté pour exécuter le programme d'ordinateur, de sorte à mettre en œuvre un procédé de caractérisation de la caméra plénoptique 1 .

La figure 3 montre un mode de réalisation dans lequel le dispositif de caractérisation 10 est un dispositif distinct de la caméra plénoptique 1. Toutefois, le dispositif de caractérisation 10 peut alternativement partie de la caméra plénoptique 1.

En référence à la figure 4, un procédé d'estimation d'aberrations optiques causées par la caméra plénoptique 1 comprend les étapes suivantes.

Dans une étape 101 optionnelle, le processeur 16 détermine une orientation de la matrice 4 de microlentilles par rapport au capteur photosensible 6.

Dans un mode de réalisation détaillé sur la figure 5, l'étape 100 est mise en œuvre comme suit.

Une mire de référence est placée en vue de la caméra plénoptique 1 , et la caméra plénoptique 1 acquiert une image de la mire de référence, dite image de référence.

La mire de référence est choisie de telle sorte que l'image de référence montre des motifs de référence distincts respectivement issus de différentes microlentilles de la matrice 4.

Une image de référence ayant une telle propriété peut par exemple être obtenue facilement lorsque la mire de référence est de couleur uniforme. Dans ce cas, l'image de de référence comprend une pluralité de motifs de référence ellipsoïdes, chaque motif de référence ellipsoïde résultant de la projection de lumière par une seule microlentille sur une zone de la surface photosensible du capteur photosensible 6.

La mire de référence peut être formée sur un support rétroéclairé ou non. Par exemple, la mire de référence est imprimée avec de l'encre sur un support tel qu'une feuille de papier. En variante, le support est un écran d'affichage, et la mire de référence est affichée par cet écran d'affichage.

L'image de référence acquise par la caméra plénoptique 1 est transmise au dispositif de caractérisation 10, qui la reçoit via l'interface de communication 12, et est stockée dans la mémoire 14. Dans une étape 200, le processeur 16 obtient l'image de référence, soit par lecture de l'image de référence dans la mémoire 14, soit parce que l'image de référence lui a été directement transmise par l'interface de communication 12.

Dans une étape 202, le processeur 16 analyse l'image de référence, de sorte à localiser les motifs de référence représentés dans l'image de référence. Pour aider à cette localisation, le processeur 16 peut éventuellement appliquer un seuillage à l'image de référence.

Au cours de l'étape de localisation 202, le processeur 16 détermine la position de chaque centre de motif. Cette position est indiquée par les coordonnées d'un pixel de l'image de référence. Chaque position de centre de motif est mémorisée dans la mémoire 14.

Dans une étape 204, le processeur 16 estime ensuite une homographie entre le plan de la matrice 4 et le plan d'acquisition du capteur photosensible 6. Pour réaliser cette estimation, le processeur 16 se fonde sur les positions respectives des motifs représentés sur l'image de référence (en particulier les positions des centres respectifs de ces motifs), et sur le modèle géométrique stocké dans la mémoire 14 se rapportant à la matrice 4 de microlentilles.

Une homographie est une transformation bijective, pouvant être décomposée en une translation, une rotation, et une projection linéaire. Le processeur 16 détermine en particulier la rotation constituant une composante de l'homographie préalablement estimée, à l'aide d'une méthode connue de l'homme du métier. L'angle 6 _MLA peut être déduit de cette rotation.

L'angle θ _MLA est mémorisé dans la mémoire 14. L'étape de détermination d'orientation 100 est alors terminée.

Il est à relever que l'étape 100 peut être réalisée d'autres manières que celle proposée en figure 5. Par ailleurs, cette étape 100 est facultative. Il peut être mémorisé dans la mémoire 14 une valeur prédéfinie pour l'angle θ _MLA . En particulier le processeur 16 peut faire l'hypothèse que cet angle est nul dans la suite du procédé de caractérisation.

De retour à la figure 3, le processeur obtient dans une étape 101 le modèle géométrique de la matrice 4 qui a été discuté plus haut. Cette obtention peut être réalisé par un accès en lecture dans la mémoire 14, lorsque ce modèle est stocké dans cette mémoire 14.

Par ailleurs, une nouvelle mire, appelée « première mire de calibrage » dans la suite pour la distinguer de la mire de référence, est placée en vue de la caméra plénoptique 1 . La première mire de calibrage présente au moins un motif, dit « premier motif de calibrage », ce motif comprenant au moins un point caractéristique discernable visuellement.

La première mire de calibrage peut être affichée par un écran d'affichage, qui est par exemple l'écran d'affichage ayant été préalablement utilisé pour afficher la mire de référence.

Dans un mode de réalisation, la première mire de calibrage est de couleur uniforme à l'exception d'un motif ponctuel n'occupant qu'une région spécifique de la mire. Dans ce cas, l'écran d'affichage peut afficher un unique pixel ou un bloc de pixels adjacents dans une couleur formant le motif ponctuel, et afficher tous les autres pixels dans une autre couleur. Ainsi, cet unique motif de calibrage ponctuel se distingue de tout le reste de de la première mire de calibrage. La position centrale de ce motif et les coins de ce motif sont discernables visuellement.

Dans un autre mode de réalisation, la première mire de calibrage comprend une pluralité de motifs ponctuels du type qui précède, disposés par exemple sous forme de grille. Les positions respectives de ces motifs sont distinguables visuellement.

Dans encore un autre mode de réalisation, la première mire de calibrage comprend un damier. Les coins des cases du damier constituent des points caractéristiques discernables visuellement.

La caméra plénoptique 1 acquiert une image de la mire de calibrage, cette image étant appelée « première image de calibrage » pour la distinguer de l'image de référence discutée précédemment.

La première image de calibrage est transmise au dispositif de caractérisation 10, qui la reçoit via l'interface de communication 12, et est stockée dans la mémoire 14.

Dans une étape 102, le processeur 16 obtient la première image de calibrage, soit par lecture de l'image de référence dans la mémoire 14, soit parce que la première image de calibrage lui a été directement transmise par l'interface de communication 12.

Dans une étape 104, le processeur 16 identifie, pour au moins un point caractéristique, un ensemble de microlentilles adjacentes de la matrice 4 qui projettent ce même point caractéristique de la première mire de calibrage en différents pixels de la première image de calibrage. Cette identification est réalisée par le processeur 16 à partir de la première image de calibrage, à partir du modèle géométrique, et optionnellement à partir de l'angle θ _MLA déterminé à l'étape 100. Comme cela a été expliqué en relation avec les figures 1 et 2, l'ensemble de microlentilles adjacentes identifié ne constitue qu'une partie de l'ensemble constitué de toutes les microlentilles de la matrice 4. La partie gauche de la figure 6 représente à titre d'exemple cinq microlentilles adjacentes de la matrice 4 projetant un même point intermédiaire (lui- même image d'un point caractéristique de la première mire de calibrage) en cinq zones différentes de la surface photosensible du capteur photosensible 6, correspondant par conséquent à cinq pixels différents de la première image de calibrage acquise par la caméra plénoptique 1 .

Dans une étape 106, le processeur 16 détermine la position d'au moins un point caractéristique dans la première mire de calibrage projeté par un ensemble de microlentilles identifié à l'étape 106.

Il existe plusieurs manières de réaliser l'étape 106.

La première mire de calibrage peut être placée dans une position relative de référence par rapport à la caméra plénoptique 1 . La position dans l'espace de chaque point caractéristique de la première mire de calibrage peut être déduite de la position de référence de la première mire de calibrage. La première mire de calibrage peut être placée dans une telle position de référence par un dispositif de positionnement motorisé, comprenant typiquement des platines motorisées.

Dans un mode de réalisation, la position relative de référence est connue à l'avance, et mémorisée dans la mémoire 14.

Dans une autre mode de réalisation, la position de chaque point caractéristique de la première mire de calibrage est transmise au dispositif de caractérisation par un autre équipement. Cet équipement peut en particulier être le système de positionnement motorisé. En variante, cet équipement est un écran d'affichage qui affiche la première mire de calibrage ; dans ce cas, l'écran d'affichage peut afficher un motif visuel qui encode la position d'un point caractéristique de la première mire de calibrage. Ce motif visuel peut faire partie de la première mire de référence, ou non. Le résultat de l'encodage peut être un code binaire, une frange sinusoïdale, etc.

D'autres méthodes connues de l'état de la technique peuvent être mise en œuvre pour l'étape 106, qui dépendent de la première mire de calibrage utilisée.

Bien que la figure 3 représente les étapes 104 et 106 mises en œuvre séquentiellement, il est entendu que les étapes 104 et 106 peuvent être réalisées dans un ordre quelconque ou en parallèle. Les étapes 104 et 106 permettent au processeur 16 de réalisation un appariement entre la position d'un point caractéristique de la mire de calibrage et un ensemble de pixels de la première image de calibrage en lesquels ce point est projeté par la caméra plénoptique 1.

Les étapes 104 et 106 sont de préférence répétées de sorte qu'un tel appariement soit réalisé pour plusieurs points caractéristiques, le cas échéant plusieurs points caractéristiques de la première mire de calibrage.

Par ailleurs, les étapes 104 et 106 sont de préférence répétées après déplacement de la première mire de calibrage par rapport à la caméra plénoptique 1 , le cas échéant au moyen du système de positionnement motorisé discuté plus haut. En raison de ce déplacement, la position d'un point caractéristique de la première mire de calibrage change, et peut ensuite être appariée avec un ensemble de microlentilles différent après le déplacement de la mire.

Par ailleurs, les étapes 102, 104 et 106 peuvent être répétées après remplacement de la première mire de calibrage par une deuxième mire de calibrage de contenu différent. La deuxième mire de calibrage présente au moins un point caractéristique discernable visuellement ayant une position différente de celle de tout point caractéristique discernable dans la première image de calibrage. Autrement dit, au moins caractéristique de la deuxième mire de calibrage n'est pas référencé dans la première mire de calibrage.

Par exemple, lorsque la première mire de calibrage est de couleur uniforme à l'exception d'un premier motif ponctuel ayant une première position, la deuxième mire de calibrage peut également être de couleur uniforme à l'exception d'un deuxième motif ponctuel ayant une deuxième position différente de la première position.

En particulier, la deuxième mire de calibrage peut être affichée par le même écran d'affichage que la première mire de calibrage, en remplacement de cette dernière, avec ou sans déplacement de l'écran d'affichage.

La caméra plénoptique 1 acquiert une image de la deuxième mire de calibrage, cette image étant appelée « deuxième image de calibrage » pour la distinguer de la première image de calibrage discutée précédemment. Cette image est obtenue par le processeur 16 lors d'une nouvelle mise en œuvre de l'étape 102, puis être utilisée lors d'une nouvelle mise en œuvre des étapes 104 et 106, si bien que de nouveaux appariements sont obtenus (appariement entre au moins un point caractéristique de la deuxième mire de calibrage et des pixels de la deuxième image de calibrage en lesquels ce point caractéristique a été projeté par la caméra plénoptique 1 ).

En définitive, il existe plusieurs façons de démultiplier les appariements : • En examinant différents points caractéristiques d'une même mire de calibrage,

• En changeant la position dans l'espace d'une mire de calibrage par rapport à la caméra plénoptique 1 ,

• En remplaçant une mire de calibrage par une autre présentant des points caractéristiques différents.

De préférence, les étapes 104 et 106 (et le cas échéant l'étape 102) sont répétées de manière à faire en sorte que chaque microlentille de la matrice 4 soit appariée au moins une fois avec un point caractéristique d'une mire de calibrage, dont la position est déterminée.

Dans une étape 108, le processeur 16 calcule, pour chacune des microlentilles adjacentes d'un ensemble identifié à l'étape 104, un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique central de la microlentille.

De tels écarts sont en particulier représentés à gauche de la figure 6 discutée précédemment. Considérons une microlentille d'indice i, projetant un point intermédiaire Pj sur la surface photosensible via une droite s'étendant dans une direction indiquée par l'angle 0j. Cette droite, l'axe optique de la microlentille d'indice i et la surface photosensible définissent les trois côtés d'un rectangle. L'écart calculé pour cette microlentille d'indice i est le côté de ce triangle défini par la surface photosensible.

Les différents écarts calculés sont différents d'une microlentille à l'autre. En effet, comme le montre l'exemple à gauche de la figure 6, les angles 0 à 0 _S respectivement associés aux microlentilles sont différents. On notera que cet exemple illustré est un modèle idéal de la matrice 4 au même titre que la figure 1 , puisqu'il suppose que la matrice 4 est parfaitement orientée par rapport à la surface photosensible (θ _MLA = 0) et que les microlentilles ne causent pas de distorsion radiale. Dans ce cas, le triangle discuté plus haut est un triangle rectangle.

Toutefois, il est entendu que les écarts précités peuvent être calculés en présence de distorsions radiales causées par la matrice 4.

L'étape 108 de calculs d'écarts est répétée pour chaque ensemble de microlentilles adjacentes ayant été apparié avec une position de point caractéristique à l'issue des étapes 104 et 106.

Les écarts calculés à l'étape 108 constituent des données qui permettent de remonter aux distorsions radiales causées par les microlentilles adjacentes. En effet, il existe une dualité entre un ensemble de points imagés par une caméra et un point imagé par un ensemble de caméras. Cette dualité est illustrée par la figure 3, et peut être postulée comme suit pour une matrice de microlentilles : « Une caméra qui observe une matrice régulière de points est duale à un point observé par une matrice régulière de caméras ». Ainsi, on peut transposer le problème de détermination de distorsions radiales causées par une microlentille (partie droite de la figure 3) en un problème dual (partie gauche de la figure 3) impliquant le calcul des écarts précités.

Ainsi, dans une étape 110, le processeur 16 estime une distorsion radiale causée par la matrice 4 de microlentilles, à partir de chaque écart calculé, et en croisant ces écarts avec d'autres informations pertinentes obtenues précédemment : le modèle géométrique de la matrice 4 de microlentilles, la position de chaque point caractéristique, et, le cas échéant, de l'orientation déterminée à l'étape 100. L'étape 110 exploite ainsi astucieusement de principe de dualité exposé ci-dessus.

De préférence, le processeur fait l'hypothèse à l'étape 110 que toutes les microlentilles sont identiques.

La distorsion radiale est par exemple estimée selon le modèle de Brown.

On a représenté sur la figure 7 les données suivantes :

• ^p inter est un point intermédiaire image d'un point objet par l'optique d'entrée de la caméra plénoptique. La position de ce point est inconnue.

• x _u représente l'image du point intermédiaire P _inter par la i ^ème microlentille dans le cas d'absence de distorsion radiale. La position de ces points est inconnue.

• x _d représente l'image de point P _inter par la i ^ème microlentille en présence de distorsion radiale des microlentilles. Ce point est déterminé à l'étape 106.

Par ailleurs, la distance entre les microlentilles est connue, de même que la position du plan de la matrice des microlentilles (celle-ci a été déterminé au cours des étapes précédentes du procédé).

En tirant partie de la dualité expliquée précédemment, on se retrouve avec la configuration présente dans le schéma de gauche de la figure 7, qui est un problème de détermination de la distorsion radiale d'une caméra classique en utilisant une mire contenant une matrice de points caractéristiques (type damier). Soit le modèle de distorsion, suivant, qui lie les points x _u et x _d : Où représente le centre de la distorsion.

Au cours de l'étape 110, les paramètres de la distorsion radiale peuvent être déterminés en déterminant le minimum de la fonction de coût suivante :

Avec :

OÙ M est une matrice de projection de la matrice de microlentille.

• ^R mia représente la rotation du plan de la matrice de microlentilles déterminées précédemment (voir étapes représentées en figure 5)

• t : est un vecteur de translation qu'un homme du métier détermine lors de l'optimisation.

• : est ième point généré après application du principe de dualité conformément à la figure 7.

L'optimisation de la fonction coût présentée peut s'effectuer en utilisant un algorithme de recherche itératif (par exemple l'algorithme de Levenberg-Marquardt).

Pour estimer une distorsion radiale causée par une caméra classique, l'homme du métier pourrait par exemple se référer au document suivant : Burger, Wilhelm. "Zhang's camera calibration algorithm: in-depth tutorial and implementation." HGB16-05 (2016): 1-6.

Le fait d'avoir démultiplié les appariements aux étapes 104 et 106 permet d'obtenir un plus grand nombre d'écarts pour l'estimation de la distorsion radiale. Ceci permet ainsi d'estimer de manière plus préciser la distorsion radiale causée par la matrice 4 de microlentilles.

En outre, la prise en compte de l'orientation déterminée à l'étape 100 améliore la précision de l'estimée de distorsion radiale.

La distorsion radiale estimée est mémorisée dans la mémoire 14. Les étapes décrites ci-dessus ont notamment pour avantage de produire une estimation des distorsions radiales causées par la matrice 4 de microlentilles, sans qu'il ait été nécessaire de placer une mire entre la lentille principe 2 et la matrice de microlentilles 4.

Dans une étape 112, le processeur 16 estime des paramètres de la lentille principale 2 de la caméra (distorsion radiale et distorsion de profondeur), en tenant compte de la distorsion radiale estimée, se rapportant à la matrice 4 de microlentille située en aval de la lentille principale 2.

La distorsion radiale estimée à l'étape 112 peut être selon le modèle de Brown. Par ailleurs, la distorsion de profondeur peut être estimée en utilisant les polynômes de Seidel ou Zernike, connus de l'homme du métier.

Au cours de l'étape 112, il est possible de procéder à la reconstruction intermédiaire de la surface d'une mire de calibrage. Cela peut être effectué en corrigeant dans un premier temps la distorsion radiale des microlentilles en utilisant le modèle estimé à l'étape 110, puis en estimant l'intersection des rayons provenant des pixels appariés passant par les centres des microlentilles. Après reconstruction des différentes surfaces intermédiaires de la mire de calibration, l'objectif est de déterminer une transformation 3D-3D entre les points de la mire de calibrage à géométrie parfaitement connue et les points de la reconstruction intermédiaire. Cela peut être effectué en utilisant le modèle proposé dans le document « On the calibration of focused plenoptic cameras », par Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317. Cette étape permet de déterminer le modèle de passage de la reconstruction d'une surface dans le plan intermédiaire de la caméra vers la surface réelle imagée par la caméra plénoptique 1 .

A l'issue de la mise en œuvre des étapes qui précèdent, le dispositif de caractérisation 10 dispose de données indicatives de distorsions causées non seulement par la lentille principale 2 (distorsions radiales et/ou de profondeur) mais également par la matrice 4 de microlentilles (distorsions radiales).

Ces données permettent d'une part d'établir un diagnostic sur l'état de la caméra plénoptique 2. Par exemple, si telle ou telle distorsion est trop élevée (par exemple dépasse un seuil prédéfini), la caméra plénoptique 1 peut être considérée comme étant de qualité insatisfaisante.

Ces données peuvent d'autre part être utilisées par le processeur 16 pour calibrer la caméra plénoptique. Le calibrage de la caméra plénoptique comprend une étape de génération d'un modèle paramétrique de calibrage de la caméra plénoptique 1 , à partir des distorsions estimées. Le modèle paramétrique de calibrage est adapté pour reconstruire une image tridimensionnelle d'une scène à partir d'au moins une image acquise par la caméra plénoptique, en tenant compte des distorsions estimées.

Il en particulier possible de procéder à la reconstruction intermédiaire de la surface d'une mire de calibrage. Cela peut être effectué en corrigeant dans un premier temps la distorsion radiale des microlentilles en utilisant le modèle estimé à l'étape 110, puis en estimant l'intersection des rayons provenant des pixels appariés passant par les centres des microlentilles. Après reconstruction des différentes surfaces intermédiaires de la mire de calibration, l'objectif est de déterminer une transformation 3D-3D entre les points de la mire de calibrage à géométrie parfaitement connue et les points de la reconstruction intermédiaire. Cela peut être effectué en utilisant le modèle proposé dans le document « On the calibration of focused plenoptic cameras », par Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317. Cette étape permet de déterminer le modèle de passage de la reconstruction d'une surface dans le plan intermédiaire de la caméra vers la surface réelle imagée par la caméra plénoptique 1 .

Le modèle de calibrage peut en définitive être utilisée pour appliquer un traitement de correction à une image acquise par la caméra plénoptique 1 ultérieurement, visant à compenser les distorsions causées, selon une méthode connue de l'homme du métier.

Ce traitement de correction peut en partie être mis en œuvre par une unité de traitement intégrée à la caméra plénoptique 1 ou bien par un dispositif externe à la caméra plénoptique tel que le dispositif 10.

La caméra plénoptique 1 peut être utilisée pour de nombreuses applications. L'une d'entre elles est le dimensionnement de pièces, par exemple des pièces de turbomachines telles qu'une aube.