L'invention se rapporte au domaine des systèmes d'aide à la conduite d'un véhicule automobile et, plus particulièrement, au calcul du temps restant au véhicule avant d'entrer en collision avec un objet.

De nos jours, il est connu de détecter des objets, notamment des obstacles, situés dans l'environnement d'un véhicule automobile à l'aide d'une caméra embarquée dans le véhicule. Plus précisément, la détection est réalisée en analysant les images capturées par la caméra et sur lesquelles apparaissent lesdits objets.

Une fois un objet détecté, il est connu de déterminer le temps avant que cet objet n'entre en collision avec le véhicule en estimant la distance séparant le véhicule de l'objet à partir desdites images. Il existe différentes méthodes pour déterminer ce temps avant collision.

Une première méthode consiste à effectuer une triangulation de la position de l'objet dans l'espace (c'est-à-dire en trois dimensions) à partir des images afin de déterminer sa position réelle. Puis, à partir de la position réelle de l'objet et de la connaissance de la vitesse de déplacement du véhicule, il est possible de calculer le temps nécessaire au véhicule pour parcourir la distance le séparant dudit l'objet. Cependant, une telle méthode n'est valable que si l'objet est statique.

Une deuxième méthode consiste à calculer, lors du déplacement de l'objet par rapport au véhicule, le changement d'échelle de l'objet sur les images capturées. Autrement dit, on détermine, entre deux images capturées successivement, la modification de la taille de l'objet qui est proportionnelle à sa vitesse de déplacement par rapport au véhicule. Cependant, une telle méthode présente également des inconvénients. Tout d'abord, cette méthode est sensible aux fortes distorsions des images capturées par une caméra grand angle de type « fisheye », généralement embarquée dans un véhicule. De plus, le résultat obtenu est peu précis lorsque le déplacement de l'objet est faible. Aussi, cette méthode est difficilement utilisable pour des objets lointains ou statiques.

Enfin, une troisième méthode consiste à utiliser un modèle de plan de l'espace pour l'objet, c'est à dire un plan défini selon les trois dimensions spatiales, appelé plan 3D. Une telle méthode comprend la détection d'au moins un objet dans un flux d'images capturé par la caméra du véhicule, la détermination de points remarquables de l'objet détecté, la détermination du plan de l'espace auquel appartiennent lesdits points remarquables et la détermination d'un vecteur de déplacement de l'objet détecté à partir des vecteurs de direction du plan de l'espace déterminé. Le temps avant collision est ensuite calculé en résolvant le système linéaire d'équations ainsi obtenu.

Cependant, un faible déplacement de l'objet d'une image à une autre peut se confondre avec le bruit apparaissant de manière standard dans les images, ce qui rend alors l'estimation du temps avant collision peu précis. Il en résulte que cette méthode est difficilement utilisable pour des objets lointains ou statiques.

Une solution serait d'augmenter l'intervalle de temps entre la capture de deux images successives du flux d'images afin d'augmenter le déplacement de l'objet entre ces deux images. Cependant, une telle solution augmenterait le risque qu'un point remarquable soit recouvert, par exemple par un obstacle situé dans l'environnement du véhicule, durant l'intervalle de temps entre lesdites deux images, empêchant alors la détection dudit point remarquable et ainsi la détermination du déplacement de ce point entre les deux images.

Il existe donc le besoin d'une solution permettant de remédier au moins en partie à ces inconvénients.

La présente invention vise à proposer une solution simple, fiable et efficace pour déterminer le temps avant collision d'un objet avec un véhicule automobile, en utilisant notamment un plan de l'espace et des points remarquables.

A cette fin, l'invention a pour objet un procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant :

• une étape de génération par la caméra d'un flux d'images représentant l'environnement du véhicule,

• une étape de détection d'au moins un objet sur ledit flux d'images généré, · une étape de détermination d'au moins deux points remarquables de l'objet détecté,

• une étape de détermination d'un plan de l'espace auquel appartiennent lesdits points remarquables de l'objet,

• une étape de détermination du vecteur directeur du plan de l'espace déterminé, et

• une étape de détermination de la matrice de rotation de la caméra entre deux images capturées successivement.

Le procédé est remarquable en ce qu'il comprend:

• une étape de détermination du ratio entre le vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra à partir de la matrice de rotation déterminée et du vecteur directeur déterminé par résolution d'un système d'équations linéaires dans lequel l'accélération de l'objet est considérée comme constante, et

• une étape d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir dudit ratio déterminé.

L'utilisation d'une valeur constante d'accélération permet de simplifier la résolution du système d'équations linéaires et de limiter ainsi l'erreur sur l'estimation du temps restant avant collision. Le temps avant collision peut ainsi être estimé de manière simple, rapide et fiable, notamment en limitant les temps de calculs et l'utilisation de ressources de calcul.

De préférence, le temps restant estimé est donné par la formule suivant :

\D \ \

TTC = où « TTC » est le temps restant estimé, T est le vecteur de déplacement relatif de l'objet et D est la distance entre l'objet et la caméra.

Avantageusement, le vecteur de déplacement relatif T et la distance D sont donnés selon la formule suivante :

Rt * X _src = k * [identity - Rt * T/D * N] * X _dst où « Rt » est la transposée de la matrice déterminée de rotation de la caméra, N est le vecteur directeur déterminé, k est un nombre réel, « X _src » désigne la position du point remarquable sur l'image, « Xdst » désigne la destination du point remarquable, « identity » est la matrice d'identité à trois dimensions, T est le vecteur de déplacement relatif de l'objet et D la distance entre l'objet et la caméra.

De manière avantageuse, le vecteur de déplacement relatif T est déterminé à partir de la vitesse relative V _n de l'objet par rapport à la caméra à l'instant (t+n ^* dt) selon la formule suivante :

V _n = V ₁ + (n - 1) * dt * Acc

où « t » est un nombre réel représentant un temps quelconque, « n » est un nombre entier représentant le nombre d'images capturées depuis l'instant t, « dt » est l'intervalle de temps entre deux images capturées, « Vi » est la vitesse relative de l'objet à l'instant t et « Acc » est l'accélération constante de l'objet.

Avantageusement, le vecteur de déplacement relatif T est déterminé à partir du vecteur de déplacement T _n relatif de l'objet par rapport à la caméra à l'instant (t+n ^* dt) selon la formule suivante :

T _n = n * 7 + n * (n— l)/2 * dt ² * Acc

où « t » est un nombre réel représentant un temps quelconque, « n » est un nombre entier représentant le nombre d'images capturées depuis l'instant t, « dt » est l'intervalle de temps entre deux images capturées, « T _n » est le vecteur de déplacement relatif de l'objet à l'instant (t+n ^* dt), « ΤΊ » est le vecteur de déplacement relatif de l'objet à l'instant t et

« Acc » est l'accélération constante de l'objet.

Selon une forme de réalisation de l'invention, l'accélération constante de l'objet est nulle, autrement dit, la vitesse de l'objet relative à la caméra du véhicule est constante, ce qui permet de simplifier encore davantage la résolution du système d'équations linéaires.

De préférence, le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l'objet par rapport à la caméra à l'instant (t+n ^* dt) selon la formule suivante :

T _n = n * 7

où « T _n » est le vecteur de déplacement relatif de l'objet à l'instant (t+n ^* dt) et « ΤΊ » est le vecteur de déplacement relatif de l'objet à l'instant t.

Avantageusement, plus de dix points remarquables, par exemple de l'ordre de quinze points remarquables, sont déterminés durant l'étape de détermination de points remarquables afin d'optimiser la fiabilité de l'estimation du temps.

L'invention concerne également un véhicule automobile comprenant au moins une caméra configurée pour générer un flux d'images représentant l'environnement du véhicule et au moins un calculateur adapté pour mettre en œuvre le procédé, tel que décrit précédemment, d'estimation du temps restant avant l'entrée en collision d'un objet avec ledit véhicule à partir dudit flux d'images.

D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard de la figure annexée donnée à titre d'exemple non limitatif.

- La figure 1 illustre schématiquement la mise en œuvre du procédé d'estimation du temps avec collision du véhicule selon l'invention.

L'invention va maintenant être décrite en référence à la figure 1 . L'invention est destinée aux véhicules, notamment automobiles, afin d'assister le conducteur dans sa conduite sur une voie de circulation.

Le véhicule selon l'invention comprend un système d'aide à la conduite comprenant au moins une caméra adaptée pour générer un flux d'images et des moyens de traitements de ces images.

Une telle caméra est placée de manière à générer un flux d'images représentant l'environnement du véhicule afin, par exemple, de détecter des objets situés devant le véhicule. Dans ce but, la caméra capture des images à intervalle de temps régulier. L'intervalle de temps entre deux images consécutives du flux d'images est noté « dt ».

Les moyens de traitement comprennent au moins un calculateur configuré, d'une part, pour détecter un objet dans le flux d'images et, d'autre part, pour déterminer le temps avant collision entre le véhicule et l'objet détecté.

La détection d'un objet apparaissant sur les images d'un flux d'images étant connue en soi, elle ne sera pas décrite plus en détail ici.

A un instant t, t étant un nombre réel, l'objet et la caméra du véhicule sont séparés d'une distance D. De plus, l'objet se rapprochant du véhicule, l'objet a suivi, entre l'instant t et l'instant (t - dt), autrement dit entre deux images capturées successivement par la caméra, un déplacement suivant le vecteur T.

On note alors que le temps avant collision, noté TTC est égal à:

D D TTC =—dt = - \T\ V où D est la distance entre l'objet et la caméra, T est le vecteur de déplacement relatif entre l'objet et la caméra entre l'instant (t - dt) et t, et V est la vitesse relative de l'objet par rapport à la caméra.

Les moyens de traitement sont adaptés pour détecter des points remarquables, également désignés « flow », de l'objet détecté. Ces points remarquables sont utilisés afin de suivre l'objet dans le flux d'images et déterminer l'évolution de son mouvement. Pour résoudre le système linéaire qui va être présenté par la suite, les moyens de traitement détectent au moins deux points remarquables afin de pouvoir résoudre un tel système linéaire. De préférence, les moyens de traitement détectent plus de deux points remarquables, par exemple de l'ordre de quinze points remarquables, afin d'optimiser la fiabilité du résultat obtenu.

Les moyens de traitement déterminent ensuite le plan de l'espace auquel appartient l'ensemble des points remarquables, puis détermine le vecteur directeur N de ce plan. La détermination d'un tel vecteur directeur N associé aux points remarquables d'un objet sur une image est connue en soi et ne sera pas détaillée plus en détail.

Dans le flux d'image, la position d'un point remarquable sur une image suit alors la relation suivante selon la référence scientifique « multiple view geometry », de Richard Hartley, publié le 31 juillet 2000, chapitre 13.1 "Homographies given the plan and vice versa", équation 13.2 :

X _src = k * [R - ^ * N] * X _dst (1 ) où « Xsrc » désigne la position du point remarquable dans le repère sténopé (également désigné repère focal lié à la caméra) de l'image, sous la forme d'une matrice 3x1 , « Xdst » désigne la destination du point remarquable dans le repère dit du « sténopé », également sous la forme d'une matrice 3x1 , k est un nombre réel (k désigne un facteur car la relation d'égalité est à un facteur k près), R est la matrice de rotation de la caméra entre les images successives du flux, adoptant la forme d'une matrice 3x3, et N est un vecteur directeur du plan auquel appartient les points remarquables, adoptant la forme d'une matrice 1 x3. T est le vecteur de déplacement relatif entre l'objet et la caméra comme défini plus haut, adoptant la forme d'une matrice 3x1 , et D également tel que défini plus haut est la distance entre l'objet et la caméra, sous la forme d'un scalaire.

Cette équation (1 ) est liée à un point remarquable et à la contrainte géométrique due au plan de l'espace sur ce point remarquable.

La matrice de rotation R correspond au mouvement de rotation de la caméra lors du déplacement du véhicule entre les images successives. Une telle matrice de rotation est déterminée de manière connue par une estimation dite « egomotion ».

R étant une matrice de rotation :

0

R * Rt = 1 = identity

0 où « Rt » est la transposée de la matrice de rotation et « identity » est la matrice identité de dimension 3.

En multipliant de chaque côté par la matrice de rotation transposée Rt, l'équation (1 ) devient :

* X _src = k * \identity - Rt * £ * jvl * X _dst (2)

La rotation de la caméra représentée par la matrice Rt ne changeant pas la norme du vecteur de déplacement relatif T de l'objet, on notera que dans l'équation (2) :

\\Rt * T

D D TTC

Par la suite et pour simplifier la notation des équations, on notera « iTTC » le vecteur inconnu à déterminer, tel que :

Rt * T

iTTC = — Le système linéaire à résoudre afin de déterminer le vecteur iTTC est l'équation (2) qui est de la forme A * iTTC = B et s'écrit:

Rt * X _src = k * [identity + iTTC * N] * X _dst (3) où « Rt * X _src » est un vecteur connu qui s'écrit : [χ', y', z'] , « iTTC » est un vecteur de trois éléments notés [iTTCx, iTTCy, iTTCz] qui sont à déterminer, N est un vecteur connu de trois éléments [ηχ, ηγ, ηζ] et « Xdst » est un vecteur connu de trois éléments [x, y, z].

En développant, on obtient:

1 + iTTCx * nx iTTCx * ny iTTCx * nz

H = [identity + iTTC * N] = iTTCy * nx 1 + iTTCy * ny iTTCy * nz

iTTCz * nx iTTCz * ny 1 + iTTCz * nz

Et :

En remplaçant dans l'équation (3), on obtient alors k * H * X _dst = Rt * X _s

Soit : x + iTTCx * (nx * x + ny * y + nz * z)

y + iTTCy * (nx * x + ny * y + nz * z)

z + iTTCz * (nx * x + ny * y + nz * z)

On obtient ainsi trois équations à résoudre : x + iTTCx * (nx * x + ny * y + nz * z) =— (Eq1 ) y + iTTCy * (nx * x + ny * y + nz * z) =— (Eq2) z + iTTCz * (nx * x + ny * y + nz * z) =— (Eq3)

(Eq3) permet d'obtenir une expression du facteur k : k =

z + iTTCz * (nx * x + ny * y + nz * z) Cette expression de k est alors remplacée dans (Eq1 ) et (Eq2), ce qui permet alors d'obtenir : x' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [x + iTTCx * (nx * x + ny * y + nz * z)] (4) y' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [y + iTTCy * (nx * x + ny * y + nz * z)] (5) Le système linéaire à résoudre est bien de type A * iTTC = B avec :

-z' * (nx * x + ny * y + nz * z) 0 x' * (nx * x + ny * y + nz * z)

0 — z' * (nx * x + ny * y + nz * z) y' * (nx * x + ny * y + nz * z) et z * x— X * z

B =

z' * y— y' * z

Pour résoudre ce système linéaire à deux équations (4) et (5) et trois inconnues [iTTCx, iTTCy, iTTCz], il est bien nécessaire d'utiliser au moins un deuxième point remarquable. Pour deux points, le système linéaire comprend ainsi les éléments:

\A _t \ \B _t \

\A ₂ \ \B ₂ \

Par généralisation pour un nombre i de points remarquables, le système linéaire s'écrit :

Ce système comprend ainsi au moins quatre équations.

Pour résoudre ce système linéaire, on utilise des points remarquables ayant chacun été détectés sur au moins n images successives. L'équation (1 ) s'écrit alors :

R - - * N dst où « T _n » est une fonction de T.

Dans une première forme de résolution du système linéaire, l'objet détecté se déplace, relativement à la caméra, à une vitesse constante. Le vecteur de déplacement relatif de l'objet à l'instant (t+n ^* dt) est désigné « T _n » et peut alors s'écrire :

T _n = n * T ₁ où « Τι » est le vecteur de déplacement de l'objet à l'instant t.

Pour deux points remarquables, le système linéaire comprend alors les éléments:

\n2*A ₂ \ \B ₂ \

Et par généralisation pour un nombre i de points remarquables, le système linéaire s'écrit :

\ni * Ai \ * iTTC = \B _t \

Ce système linéaire comprend donc au moins quatre équations et uniquement trois inconnues [iTTCx, iTTCy, iTTCz]. Il est alors possible de déterminer le vecteur de déplacement relatif iTTC.

Dans une deuxième forme de résolution du système linéaire, l'objet détecté se déplace avec une accélération constante. La vitesse relative de l'objet par rapport à la caméra à l'instant (t+n ^* dt) est désignée V _n et peut alors s'écrire: V _n = VI + (n - 1) * dt * Acc où « V1 » désigne la vitesse relative de l'objet à l'instant t et « Acc » est l'accélération constante de l'objet.

Le vecteur de déplacement relatif T _n de l'objet à l'instant (n ^* dt) s'écrit alors:

T _n = T _n _ + dt* 7 _n _i = Tn-i + V ₁ *dt + (n-2)*dt*dt* Acc Soit :

T ₂ = 2 * 7 + dt ² * Acc T ₃ = T ₂ + 7 + 2 * dt2 * Acc = 3 * 7 + 3 * dt ² * Acc T ₄ = T ₃ + T ₁ + 3*dt2*Acc = 4*T ₁ + 6*dt ² * Acc On peut généraliser le vecteur de déplacement relatif T _n tel que : T _n = n*T ₁ + (somme(i = 1: n— * dt ² * Acc = n * 7 + n * (n— l)/2 * dt ² * Acc Ce qui donne pour le vecteur iTTC :

(n - 1) ,

= n * iTTC + n * ^■ * dt * diTTC

Le système linéaire de la forme A * iTTC = B peut alors s'écrire

\A * n, A * F _n \ * \iTTC, diTTC \ = B avec F„ = n * * dt2 et diTTC =—

n 2 D

Pour deux points remarquables, le système linéaire à résoudre comprend les éléments :

Soit, par généralisation, pour un point remarquable ayant été détecté n, fois: * \iTTC diTTC\ = \Bi \ (6)

Ce système linéaire comprend donc au moins quatre équations et six inconnues [iTTCx, iTTCy, iTTCz, diTTCx, diTTCy, diTTC z].

De manière générale, TTC est le temps au bout duquel la relation T _n = D est vérifiée. En développant T _n , cette relation devient alors:

(n - 1) _

n * Tl + n * dt * Acc = D

2

En divisant par D, on obtient : n * iTTC + n * ^-^- dt ² * diTTC = 1 (7)

TTC est égal au n qui vérifie cette équation polynomiale.

II est alors possible de déterminer le vecteur de déplacement iTTC par résolution du système (6) en utilisant l'équation (7) donnant la relation entre iTTC et diTTC.

Dans le cas d'une accélération nulle, Acc = 0, l'équation est alors : Que le système linéaire ait été résolu grâce à la vitesse ou à l'accélération constante de l'objet, le temps avant collision TTC peut alors être déterminé à partir du vecteur iTTC calculé. En effet, comme cela a été décrit précédemment :

\\Rt * T\\

D D TTC

1

\iTTC \\ =

On obtient ainsi :

|i7TC || \\ iTTCx, iTTCy, iTTCz\\ iTTCx ² + iTTCy ² + iTTCz ² L'invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 1 .

Le véhicule circulant sur une voie de circulation, la caméra du véhicule génère dans une étape EO un flux d'images représentant l'environnement du véhicule.

Puis, les moyens de traitements détectent, dans une étape E1 , un objet présent dans le flux d'images généré par la caméra.

Pour déterminer le déplacement de l'objet, les moyens de traitement déterminent, dans une étape E2 au moins deux, de préférence de l'ordre de quinze, points remarquables de l'objet. Ces points peuvent être un point du contour de l'objet, ou tout autre point de l'objet pouvant être identifié sur au moins deux images successives de la série.

Les moyens de traitements déterminent ensuite, dans une étape E3, le plan auquel appartiennent les points remarquables et, dans une étape E4, le vecteur directeur N de ce plan.

De manière simultanée, les moyens de traitement déterminent, dans une étape E5, la matrice de rotation R de la caméra entre deux images successives de la série d'image.

De préférence, la matrice de rotation R est déterminée par un procédé d'egomotion et le vecteur directeur N peut être approximé sans perte de précision dans le résultat final. Dans une étape E6, les moyens de traitement déterminent, à partir de la matrice de rotation R et du vecteur directeur N, le ratio entre le vecteur de déplacement relatif T de l'objet par rapport à la caméra et la distance D de l'objet à la caméra. Ce ratio est déterminé par résolution d'un système d'équations linéaires (Eq1 , Eq2) comme décrit ci-avant. Avantageusement, la vitesse ou l'accélération de l'objet relative à la caméra du véhicule est considérée comme constante afin de résoudre ce système d'équation tout en limitant l'erreur sur l'estimation du temps restant avant la collision.

Les moyens de traitement estiment alors, dans une étape E7, le temps TTC avant collision de l'objet avec le véhicule.

Grâce au procédé selon l'invention, le temps restant avant l'entrée en collision du véhicule avec un objet peut être estimée de manière fiable et rapide grâce à la résolution du système d'équations linéaires. Une telle résolution est rendue aisée et rapide en considérant la vitesse ou l'accélération de l'objet par rapport à la caméra comme constante.