La présente invention concerne un procédé et un système de modélisation 3D en tout ou en partie d'un véhicule, ledit modèle pouvant alors être utilisé à des fins de mesure dimensionnelle, de classification et reconnaissance de ce véhicule.

Un tel procédé ou un tel système peut être utilisé pour différencier des types de véhicules alors que, par exemple, ces véhicules passent devant un cinémomètre pour un contrôle de leur vitesse d'avancement. En effet, il peut y avoir des zones où les vitesses autorisées sont différentes pour des types différents de véhicule. Ainsi, en France, la vitesse maximum autorisée sur autoroute est de 130km/h pour les véhicules légers et elle n'est que de 90 km h pour certains camions.

Dans ce type d'application, on dispose donc en général d'un cinémomètre qui est prévu pour mesurer la vitesse du véhicule et d'une caméra, dite caméra contextuelle car ayant un champ large embrassant l'ensemble du véhicule et une partie de son environnement, qui va permettre de constituer le dossier pour la preuve de l'infraction, si infraction il y a (prise d'une image où le véhicule, d'une part, et son conducteur, d'autre part, peuvent être reconnus). Un tel procédé ou système peut également être utilisé pour reconnaître les véhicules qui sont à des péages d'autoroute où les tarifs dépendent du type de véhicule, à savoir véhicule léger (classe 1), véhicule intermédiaire (classe 2), les poids lourds ou autocars à 2 essieux (classe 3), les poids lourds ou autocars à trois essieux et plus (classe 4), et les motocyclettes, sidecars, etc. (classe 5).

Il est souhaitable que cette reconnaissance se fasse de manière automatique, c'est-à-dire sans intervention humaine.

Différents systèmes de reconnaissance automatique de véhicules sont connus. On peut citer les systèmes dont les dimensions du véhicule sont mesurées au moyen de capteurs à effet Doppler. Ces dimensions sont comparées à des gabarits et le type du véhicule peut en être déduit. Néanmoins, ces systèmes ont des performances limitées en précision du fait que les seules dimensions ne permettent pas de différencier des véhicules pourtant dans des classes différentes, comme par exemple un véhicule léger traînant une caravane et un camion ou une camionnette. On connaît également des systèmes multilasers à balayage qui s'avèrent être des systèmes complexes et coûteux.

On connaît également des systèmes de reconnaissance automatique de véhicule basés sur l'utilisation d'une paire de caméras. Le principe de ce type de ce système est décrit de manière plus approfondie dans le corps même de la présente description. Brièvement, ce principe consiste, à partir de deux images prises simultanément par deux caméras identiques physiquement décalées l'une par rapport à l'autre, de modéliser en 3D en tout ou en partie le véhicule. Ce modèle 3D est ensuite utilisé pour la reconnaissance proprement dite. On peut d'ores et déjà dire que ces systèmes à paire de caméras, bien que présentant une bonne précision, s'avèrent assez coûteux.

Le but de la présente invention est donc de proposer un procédé et un système de modélisation 3D en tout ou en partie d'un véhicule, ledit modèle pouvant alors être utilisé à des fins de reconnaissance automatique de ce véhicule, qui ne présentent pas les inconvénients de l'art antérieur rappelés ci-dessus. De plus, le but de l'invention est de proposer un procédé de modélisation 3D qui soit absolue, c'est-à-dire dont les dimensions du modèle résultant sont déterminées de manière absolue et non relativement les unes par rapport aux autres.

A cet effet, un procédé de modélisation 3D en tout ou en partie d'un véhicule passant devant une caméra est caractérisé en ce qu'il comporte les étapes suivantes : - Capture, au moyen de ladite caméra , d'une pluralité de N images du véhicule à des instants prédéterminés respectifs différents les uns des autres,

- Mesure du déplacement du véhicule entre au moins un premier instant et un second instant prédéterminés différents,

- Modélisation 3D du véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple de premier et second instants l'une de ces deux images comme étant l'image prise audit premier instant, l'autre image prise audit second instant et le décalage entre lesdites deux caméras comme étant égal à la valeur du déplacement du véhicule entre lesdits deux instants.

Avantageusement, ledit procédé est caractérisé en ce que le nombre d'images capturées est de deux, si bien que ledit procédé comporte les étapes suivantes :

- Capture, au moyen de ladite caméra, d'une première image du véhicule à un instant tO,

- Capture, au moyen de ladite caméra, d'une seconde image du véhicule à un instant tl,

- Mesure du déplacement du véhicule entre les instants tO et tl, et

- Modélisation 3D du véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant l'une de ces deux images comme étant l'image et l'autre l'image et le décalage entre lesdites deux caméras comme étant égal à la valeur du déplacement du véhicule entre lesdits deux instants.

Selon une autre caractéristique avantageuse de l'invention, l'étape de mesure du déplacement du véhicule comporte une étape de mesure de la vitesse du véhicule effectuée au moyen d'un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques et une étape de détermination dudit déplacement en considérant les instants prédéterminés.

Selon une autre caractéristique avantageuse de l'invention, l'étape de mesure du déplacement du véhicule comporte de plus une étape de traitement desdites images par une méthode de type SfM.

La présente invention concerne également un système de modélisation 3D en tout ou en partie d'un véhicule qui est caractérisé en ce qu'il comporte : - Une caméra dite contextuelle destinée à prendre alors une pluralité d'images du véhicule à des instants respectifs prédéterminés différents les uns des autres alors que ledit véhicule passe devant elle,

- Des moyens pour mesurer, entre au moins un premier instant prédéterminé et un second instant prédéterminé différents, le déplacement du véhicule alors qu'il passe devant la caméra,

- Des moyens de calcul pour modéliser en 3D le véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple de premier et second instants, l'une de ces deux images comme étant l'image prise audit premier l'instant, l'autre image prise audit second instant et le décalage entre lesdites deux caméras comme égal à la valeur dudit déplacement mesuré entre les temps.

Selon une autre caractéristique de l'invention, les moyens de mesure du déplacement du véhicule comportent un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréo scopiques et des moyens de détermination dudit déplacement en considérant les instants prédéterminés (ti, tj).

Selon une autre caractéristique de l'invention, les moyens de mesure du déplacement du véhicule comportent de plus des moyens de traitement desdites images par une méthode de type SfM.

La présente invention concerne encore un programme implcmentc sur un support mémoire, susceptible d'être mis en œuvre au sein d'une unité de traitement d'un système de modélisation 3D tel qu'il vient d'être décrit et comprenant des instructions pour la mise en œuvre d'un procédé tel qu'il vient d'être décrit.

La présente invention concerne des applications du procédé de modélisation 3D en tout ou en partie d'un véhicule passant devant une caméra tel qu'il vient d'être décrit à la mesure dimensionnelle de véhicules passant devant ladite caméra, à la détermination de la classe du véhicule qui passe devant ladite caméra selon des critères prédéterminés de forme et dimensions, à la reconnaissance du véhicule qui passe devant ladite caméra par comparaison à des modèles 3D de véhicules prédéterminés.

Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints parmi lesquels :

La Fig. 1 est une illustration du principe de la technique connue de la stéréoscopie,

La Fig. 2 est une illustration du principe d'un procédé de modélisation 3D d'un véhicule qui utilise une paire de caméras, procédé de l'état de la technique,

La Fig. 3 est une illustration du principe d'un procédé de modélisation 3D d'un véhicule selon la présente invention,

La Fig. 4 est un diagramme montrant les différentes étapes d'un procédé de modélisation 3D d'un véhicule selon la présente invention,

Les Figs. 5a et 5b sont des schémas d'un système de modélisation 3D d'un véhicule selon respectivement un premier et un second modes de réalisation de la présente invention, et

La Fig. 6 est une vue d'un système de traitement permettant la mise en œuvre du procédé de modélisation 3D d'un véhicule selon l'invention.

Le principe de la technique connue de la stéréoscopie peut être utilisé pour la description en trois dimensions d'un objet, encore appelée modélisation 3D de l'objet. Cette modélisation consiste à déterminer les coordonnées dans l'espace d'un ensemble de points dudit objet.

A la Fig. 1, on considère deux caméras 1 et 2 dont on n'a représenté que les images II et 12 qu'elles capturent respectivement d'une même scène.

Dans la présente description, on appelle caméra tout appareil de prise de vue quel que soit le nombre de vues qu'il peut prendre.

Dans la scène de la Fig. 1, se trouve un objet ponctuel P dont les images respectives dans les plans image II et 12 sont les points PI et P2. Ces points PI et P2 sont dits ci-après images du point P et inversement, le point P est dit antécédent des points PI et P2. Quant aux points PI et P2, étant images d'un même point P, ils sont dits points homologues.

Le point P a pour coordonnées (x, y, z) dans un repère orthonormé (O, x, y, z) dont l'origine O est par exemple superposée à la caméra 1, et les points PI et P2 ont pour coordonnées respectives (ul, vl) et (u2, v2) dans des repères orthonormés (01, u, v) et (02, u, v) liés aux plans images II et 12.

La caméra 1 est calibrée, ce qui signifie que mathématiquement parlant, on peut définir une matrice de transformation Ml qui à un point P(x,y,z) dans le repère (O, x, y, z) fait correspondre un point PI (ul, vl) dans le repère (01, u, v) de l'image II .

Selon un modèle de caméra dit de sténopé que l'on a volontairement simplifié pour rester facilement compréhensible et où l'on considère les axes Ox et Oy respectivement parallèles aux axes Olu et 01 v et l'axe Oz perpendiculaire au plan [Olu, Olv], l'équation de la transformation faisant passer d'un point P(x, y, z) à un point Pl(ul, vl) est donnée par l'équation suivante :

ou encore

où Ml est la matrice de la transformation et s = z/f, f étant la distance focale de l'objectif de la caméra.

Cette transformation n'est pas bijective car un point Pl(ul, vl) est l'image d'une droite Dl et non du seul point P(x,y,z). Ce qui signifie encore que l'équation ci-dessus avec (x, y, z) comme seules inconnues, n'admet pas une unique solution (ul, vl) mais, en définitive, une infinité.

De même, la caméra 2 est calibrée si bien qu'on peut définir une matrice de transformation M2 qui à un point P(x,y,z) fait correspondre un point P2 (u2, v2) dans le plan image 12. Là, le point P2(u2, v2) est l'image d'une droite D2.

Lorsque les deux caméras 1 et 2 ont la même orientation et sont décalées l'une par rapport à l'autre d'un vecteur -D(dx, dy, dz), on peut donc écrire :

Si les deux caméras 1 et 2 ont même distance focale f (Ml = M2 = M) (De manière générale, les deux caméras 1 et 2 ont les mêmes paramètres de calibration), on peut donc écrire :

Ce système d'équations admet une solution unique qui est le point P(x,y,z), en l'occurrence celui qui est à l'intersection des deux droites Dl et D2.

Une difficulté de la mise en œuvre de cette technique est la mise en correspondance des points homologues PI et P2, images d'un même objet ponctuel P. II peut résulter de cette mise en correspondance, une certaine imprécision dans la détermination des droites Dl et D2 et donc du point P(x,y,z). Ainsi, dans la pratique, on augmente le nombre de caméras et on diminue ainsi cette imprécision. Cette augmentation du nombre de caméras permet par ailleurs de limiter l'étendue des portions d'objets volumineux qui peuvent se trouver cachées pour l'ensemble des caméras ou visibles pour une seule d'entre elles.

Cette technique de caméras stéréoscopiques peut être utilisée pour la définition 3D d'un objet. Le principe présenté précédemment pour un point P(x, y, z) est appliqué à un ensemble de points de la surface visible d'un objet afin de déterminer un modèle 3D de cet objet. Illustrons ceci au moyen de la même Fig. 1. Supposons maintenant un objet linéaire tel que le segment PQ devant les deux caméras 1 et 2. L'image de cet objet dans le plan image II de la caméra 1 est le segment P1Q1 et, dans le plan image 12 de la caméra 2, le segment P2Q2. Comme précédemment, on peut déterminer les coordonnées en trois dimensions des points antécédents P et Q, et donc déterminer en 3D le segment PQ. Pour pouvoir embrasser un objet complexe, tel qu'un véhicule, le champ des caméras 1 et 2 doit, cette fois-ci, être assez large.

On a représenté à la Fig. 2, un véhicule 20 qui se trouve devant deux caméras 11 et 12. Comme cela vient d'être dit, au moyen de ces deux caméras 11 et 12, il est possible de modéliser en 3D le véhicule, c'est-à-dire de déterminer les coordonnées en 3D d'une pluralité de points dudit véhicule et ainsi de disposer d'une image 3D de ce véhicule. On rappelle que la position relative des deux caméras rentre en ligne de compte dans cette détermination. Cette position relative est matérialisée à la Fig. 2 par la distance D(dx, dy, dz) qui sépare les deux caméras 11 et 12.

Cette technique pour la modélisation 3D d'un véhicule, en tout ou en partie, donne entière satisfaction pour pouvoir reconnaître un véhicule et le discriminer d'un autre véhicule d'un type différent. Néanmoins, elle présente le principal inconvénient de nécessiter deux caméras distinctes. Il en résulte que son coût peut s'avérer relativement important dissuadant l'utilisation de cette technique.

Le but de la présente invention est de résoudre ce problème.

A la Fig. 3, on a illustré le principe de la présente invention. Une seule et unique caméra 10 capture deux images II et 12 d'un même véhicule 20 respectivement à des temps prédéterminés tO et tl différents. Si l'on ne considère que le véhicule 20 et donc qu'on occulte l'environnement de ce véhicule, l'image capturée à l'instant tl par la caméra 10 peut être considérée comme étant identique à une image capturée par une caméra virtuelle 13 (dessinée en pointillés car virtuelle) qui se trouverait à une distance D de la caméra 10. En considérant la caméra 10, cette caméra virtuelle 13 et les images II et 12 respectivement prises par ces caméras, on est ramené, pour la modélisation 3D du véhicule 20, au même problème que celui traité en relation avec la Fig. 2 avec les deux caméras 11 et 12.

On suppose que la caméra 10 est calibrée, c'est-à-dire que pour tout point P de coordonnées (x, y, z) dans le repère (O, x, y, z) d'une scène devant elle, apparaît un point P' de coordonnées (u,v) dans l'image de la scène qui vérifie l'équation suivante :

où M est la matrice de transformation de la caméra 10, s = z/f.

Ainsi, si on considère P(x0, yO, zO), un point P d'un mobile à un instant tO et P(xl, yl, zl) le même point P à un instant tl, on peut écrire :

_ où P'(u0, vO) est le point Ρ', image du point P, à l'instant tO et P'(ul, vl) est le point P' à l'instant tl .

Par ailleurs, on peut également écrire le système d'équations suivant :

P(xl, yl, zl) = P(x0, yO, zO) + D(dx, dy, dz) où D est le vecteur déplacement du mobile entre les instants tO et tl, soit sous forme de matrice :

On peut donc écrire

Cette formulation du système d'équations montre que l'image du point P à l'instant tl (P(xl, yl, zl) pourrait fort bien être considérée comme l'image du point P à l'instant tO (P(x0, yO, zO)) prise par une caméra, la fameuse caméra virtuelle 13, qui serait décalée du vecteur D(dx, dy, dz).

Le vecteur D est égal au produit du vecteur vitesse du véhicule V(vx, vy, vz) par la mesure de l'intervalle de temps tl-tO.

Si l'on considère, de manière simplifiée, que le repère orthonormé (O, x, y, z) lié à la scène est tel qu'un des axes (par exemple, l'abscisse) est parallèle à la direction d'avancement du véhicule, le vecteur vitesse peut alors s'écrire : V(vx, vy, vz) = V(vx, 0, 0) = V où V est la vitesse linéaire d'avancement du véhicule.

Si l'on connaît la vitesse V, d'une part, et les coordonnées des points P'(u0, vO) au temps to et P'(ul, vl) au temps tl , d'autre part, il est possible de calculer les coordonnées (xO, yO, zO) du point P antécédent des points P', et ce pour tout point P. Ainsi, en appliquant ce principe à une pluralité de points pris de proche en proche, ou de point remarquable en point remarquable, il est possible de construire une modélisation 3D du véhicule 20 auquel lesdits points P appartiennent, ou tout du moins en partie du véhicule 20.

Dans la pratique, le véhicule ne sera en général pas déplacé parallèlement à l'abscisse du repère (O, x, y, z) lié à la scène mais aura plutôt accompli une translation dans une direction quelconque de ce repère, assortie ou non d'une rotation.

Dans la pratique encore, selon l'invention, la vitesse V est mesurée au moyen d'un cinémomètre approprié, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques.

Si le cinémomètre fournit une information de vitesse pure, sans information d'orientation ou de rotation, on peut calculer les informations manquantes, à savoir l'orientation de la translation du véhicule mais aussi son éventuelle rotation, au moyen d'une méthode connue de l'homme du métier sous le nom de "Structure From Motion" (SfM) également connue de l'homme du métier, et appliquée aux images obtenues grâce à la caméra 10. Cette méthode est basée sur le principe stéréo scopique donné simplement ci-dessus.

En définitive, le principe de la présente invention est le suivant :

- on capture une image II du véhicule 20 à l'instant tO,

- on capture une image 12 du même véhicule 20 à un instant tl

- on mesure le déplacement du véhicule entre les instants tO et tl ,

- on détermine la position d'une caméra virtuelle qui aurait capturé une image identique à l'image 12 mais au temps tO,

- on détermine la modélisation 3D du véhicule 20 en considérant l'image II capturée par ladite caméra 10, l'image 12 de ladite caméra virtuelle et le déplacement du véhicule. Plus généralement, on appelle T un traitement qui, pour tout couple de points homologues ΡΊ et P'2 images d'un même point P(x, y, z) de deux images II et 12 respectivement prises par deux caméras identiques décalées l'une par rapport à l'autre d'une distance D, permet de connaître les coordonnées du point P antécédent :

P(x, y, z) = T(P'l, P'2, D)

Appliqué à une pluralité de points remarquables d'un objet placé devant les deux caméras, le traitement T permet de déterminer la modélisation 3D dudit objet.

L'invention ne réside pas dans le traitement T qui est connu de l'homme du métier. Les modèles évoqués ci-dessus en sont des versions simplifiées données à titre d'exemple.

Le procédé de l'invention consiste donc en les étapes suivantes :

- on capture, au moyen d'une caméra, une image II du véhicule 20 à un instant tO,

- on capture, au moyen de la même caméra, une image 12 du même véhicule 20 à un instant tl différent du temps tO,

- on mesure le déplacement du véhicule entre les instants tl et t2,

- on détermine la vue 3D du véhicule 20 en considérant l'image II, l'image 12 et le déplacement D et en appliquant le traitement T à ces éléments.

A l'instant tO, certaines parties du véhicule 20 ne sont pas visibles par la caméra 10 du fait notamment que d'autres parties les cachent. Mais, il peut arriver qu'à l'instant tl , ces parties deviennent visibles pour la caméra 10. Si l'on ne prenait que deux images du véhicule, l'on ne disposerait, pour ces seules parties devenues visibles, que d'une seule image qui ne serait alors pas exploitable dans le cadre de l'invention. Néanmoins, ces parties pourraient être toujours visibles à un instant t2 postérieur à l'instant tl. On pourrait donc exploiter, selon le procédé de l'invention, les deux images respectivement prises par la caméra 10 aux instants tl et t2 et ainsi modéliser ces parties au départ, c'est-à-dire à l'instant tO, non visibles. Ce même processus pourrait être répété plusieurs fois pour des couples d'images prises respectivement à des instants prédéterminés respectifs ti et tj.

On a représenté à la Fig. 4 les étapes alors mises en œuvre pour les deux instants ti et tj. L'étape El est une étape de capture, au moyen de ladite caméra 10, d'une pluralité de N images II à IN du véhicule 20 à des instants respectifs tO à tN-1 différents les uns des autres,

L'étape E2 est une étape de mesure du déplacement parcouru par ledit véhicule entre lesdits deux instants ti et tj, et

L'étape E3 est une étape de modélisation 3D du véhicule 20 par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple d'instant ti, tj, l'une de ces deux images comme étant l'image Ii prise à l'instant ti et l'autre l'image Ij prise à l'instant tj et le décalage entre lesdites deux caméras comme étant le déplacement mesuré Dij.

On notera que la modélisation 3D obtenue par le procédé de l'invention est une modélisation absolue en ce sens où l'objet, en l'occurrence un véhicule, est non seulement déterminé en forme mais aussi en dimensions absolues.

Les applications possibles du procédé de l'invention sont alors par exemple la mesure dimensionnelle de véhicules passant devant une caméra, la classification, c'est- à-dire la détermination de la classe (véhicule léger, camionnette, poids-lourds, etc.) du véhicule passant devant une caméra, selon des critères prédéterminés de forme et dimensions mais aussi de reconnaissance par comparaison à des modèles de véhicules prédéterminés.

On a représenté aux Figs. 5a et 5b, un système de modélisation 3D d'un véhicule 20 qui peut être utilisé pour pouvoir mettre en œuvre le procédé de la présente invention. Il comporte :

- Une caméra 10 dite contextuelle qui est destinée à prendre alors une pluralité d'images II à IN du véhicule 20 à des instants respectifs prédéterminés tO à tN-1 alors que ledit véhicule 20 passe devant elle,

- des moyens 30 prévus pour mesurer, entre différents couples d'instants prédéterminés ti et tj, le déplacement Dij du véhicule alors qu'il passe devant la caméra 10,

- Des moyens de calcul 40 pour modéliser en 3D le véhicule 20 par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple d'instant ti, tj, l'une de ces deux images comme étant l'image Ii prise à l'instant ti et l'autre l'image Ij prise à l'instant tj et le décalage entre lesdites deux caméras comme étant le déplacement calculé Dij.

Selon un premier mode de réalisation, les moyens de mesure 30 du déplacement du véhicule comportent un cinémomètre 31, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques et des moyens 32 de détermination dudit déplacement en considérant les instants prédéterminés ti, tj.

Selon une variante de réalisation, les moyens de mesure 30 du déplacement du véhicule comportent, en sus, des moyens 34 de traitement des images obtenues par la caméra 10, par une méthode de type SfM.

Les moyens de calcul 40 ainsi qu'éventuellement les moyens de traitement d'images 34 permettant de mettre en œuvre la méthode de type SfM peuvent consister en un système de traitement 50 (voir Fig. 6) comprenant une unité de traitement 51 associée à une mémoire 52 dans laquelle est stocké un programme d'ordinateur comprenant des instructions dont le déroulement permet la mise en œuvre du procédé de modélisation 3D tel qu'il a été décrit ci-dessus. Ledit système de traitement comprend encore des ports 53 et 54 reliés à ladite unité de traitement 51 et prévus pour y recevoir respectivement les signaux d'images issus des caméras 10 et 31 ou 33.