Titre : Procédé de détermination de l’orientation relative de deux véhicules

Domaine technique

[0001] La présente divulgation concerne un procédé de détermination de l’orientation relative de deux véhicules équipés de caméras. Elle trouve des applications avantageuses dans des fonctionnalités d’assistance à la conduite telle que la prévision ou l’estimation de trajectoire de véhicules tiers, la détection de collision, ou le groupement de véhicules par pelotons ou convois.

Technique antérieure

[0002] De nombreux travaux sont aujourd’hui menés afin de rendre les véhicules autonomes, ce qui suppose de détecter les positions des véhicules environnant un véhicule considéré, de détecter et de prédire la trajectoire de ces véhicules, et donc de déterminer la position et l’orientation des véhicules environnants.

[0003] Pour cela, il est possible d’utiliser un capteur lidar, qui permet d’obtenir des informations en trois dimensions sur l’environnement du véhicule. Cependant, les capteurs lidar sont chers, présentent une consommation énergétique importante et présentent également un encombrement assez important qui les rend difficiles à intégrer sur un petit véhicule. Par conséquent, tous les véhicules ne sont pas équipés de capteurs lidar.

[0004] Pour les véhicules dépourvus de capteurs Lidar mais équipés de caméra, la détermination de l’orientation d’un véhicule environnant est plus difficile en l’absence d’informations en trois dimensions. Cette estimation est faite, à partir de la position détectée du véhicule environnant et d’un a priori sur la taille du véhicule. Cependant, l’estimation obtenue n’est pas précise et peut induire des erreurs dans les traitements subséquents.

[0005] Il est aussi possible d’estimer une orientation d’un véhicule environnant en se basant sur une frontière basse de l’objet, qui est obtenue en déterminant une fenêtre englobant l’ensemble du contour du véhicule sur l’image, et en identifiant un point bas de cette fenêtre. Les estimations réalisées sur cette base ne sont pas plus précises, notamment quand la route n’est pas horizontale.

Résumé

[0006] La présente divulgation vient améliorer la situation.

[0007] En particulier, un but de l’invention est de proposer un procédé de détermination de l’orientation d’un véhicule par rapport à un autre objet, par exemple un deuxième véhicule, qui soit plus précis que les solutions de l’art antérieur. Un autre but de l’invention est d’être applicable à des véhicules dépourvus de capteurs Lidar, mais équipés de caméras.

[0008] A cet égard, il est proposé un procédé de détermination de l’orientation d’un véhicule par rapport à un objet de référence, le véhicule et l’objet de référence comprenant chacun un capteur d’images, le procédé étant mis en œuvre par un calculateur et comprenant :

- la réception d’une image acquise par le capteur d’images du véhicule, sur laquelle l’objet de référence est visible, et d’une image acquise par le capteur d’images de l’objet de référence, sur laquelle le véhicule est visible,

- la réception d’informations de position du capteur d’images de l’objet de référence par rapport à celui-ci, et d’information de position du capteur d’images du véhicule par rapport à celui-ci,

- à partir des informations reçues, l’estimation d’une première position du capteur d’images de l’objet de référence sur l’image acquise par le capteur d’images du véhicule, et d’une première position du capteur d’images du véhicule sur l’image acquise par le capteur d’images de l’objet de référence,

- la détermination de l’orientation relative entre les deux capteurs d’images de sorte que :

* une deuxième position du capteur d’image de l’objet de référence sur l’image acquise par le capteur d’images du véhicule calculée à partir de ladite orientation relative corresponde à la première position estimée du capteur d’image de l’objet de référence, et

* qu’une deuxième position du capteur d’images du véhicule sur l’image acquise par le capteur d’images de l’objet de référence calculée à partir de ladite orientation relative corresponde à la première position estimée du capteur d’images du véhicule,

- la déduction, à partir de l’orientation relative entre les deux capteurs d’images, de l’orientation relative entre le véhicule et l’objet de référence.

[0009] Dans des modes de réalisation, l’objet de référence est un piéton, un autre véhicule, ou un élément d’infrastructure.

[0010] Dans des modes de réalisation, le procédé est mis en œuvre par un calculateur embarqué dans le véhicule, dans l’objet de référence, ou par un calculateur distant.

[0011] Dans des modes de réalisation, l’objet de référence est un deuxième véhicule, le procédé est mis en œuvre par un calculateur embarqué dans le premier et/ou le deuxième véhicule, et comprend une étape préliminaire d’établissement d’un lien de communication entre le premier et le deuxième véhicule. [0012] Dans des modes de réalisation, la détermination de l’orientation relative entre les deux capteurs d’images est mise en œuvre par minimisation de la différence entre la première position estimée et la deuxième position calculée d’un même capteur d’images.

[0013] Dans des modes de réalisation, la détermination de l’orientation relative entre les deux capteurs d’images est mise en œuvre par l’algorithme de Levenberg-Marquardt.

[0014] Dans des modes de réalisation, la détermination de l’orientation relative entre les capteurs d’images comprend la détermination du lacet et du tangage relatifs entre les capteurs d’images, le roulis étant supposé nul.

[0015] Selon un autre objet, il est décrit un produit programme d’ordinateur comportant des instructions pour la mise en œuvre du procédé selon la description qui précède lorsqu’il est exécuté par un processeur.

[0016] Selon un autre objet, il est décrit un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé selon la description qui précède lorsque ce programme est exécuté par un processeur.

[0017] Selon un autre objet, il est décrit un véhicule comprenant un capteur d’images, un calculateur, et une interface de connexion à un réseau de télécommunications, caractérisé en ce que le calculateur est configuré pour mettre en œuvre le procédé selon la description qui précède.

[0018] Le procédé proposé permet de déterminer l’orientation relative entre un véhicule équipé d’un capteur d’images, par exemple une caméra, et un objet de référence, à partir d’une image acquise par le véhicule et la position, par rapport à l’objet de référence, d’un capteur d’images monté sur celui-ci. En particulier, ce procédé est applicable à la détermination de l’orientation relative entre deux véhicules équipés tous deux de caméras. Ce procédé permet de calculer le lacet et le tangage relatifs entre les deux véhicules, y compris lorsque la route n’est pas plane. Il peut être mis en œuvre en l’absence de capteur Lidar sur les véhicules.

Brève description des dessins

[0019] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :

[0020] [Fig. 1] La figure 1 représente schématiquement deux véhicules pouvant mettre en œuvre du procédé.

[0021] [Fig. 2] La figure 2 représente schématiquement les principales étapes du procédé de détermination de l’orientation relative entre un véhicule et un objet de référence. [0022] [Fig. 3] La figure 3 représente schématiquement la mise en œuvre du procédé selon un mode de réalisation.

[0023] [Fig. 4] La figure 4 représente schématiquement la mise en œuvre du procédé selon un mode de réalisation.

[0024] [Fig. 5] La figure 5 représente un exemple de véhicule comprenant une caméra embarquée et illustre les repères associés respectivement au véhicule et à la caméra.

Description des modes de réalisation

[0025] En référence à la figure 1 , on va maintenant décrire un procédé de détermination de l’orientation d’un véhicule VA comprenant un capteur d’images 10A, par rapport à un objet de référence comportant également un capteur d’images 10B et qui est visible par le capteur d’images 10A du véhicule. Dans la suite on entend par capteur d’images un capteur adapté pour détecter la position d’un objet, il peut s’agir d’une caméra, ou encore d’un capteur radar ou lidar.

[0026] Le procédé sera décrit ci-après en considérant un mode de réalisation particulier dans lequel l’objet de référence est un deuxième véhicule VB, notamment un véhicule à quatre roues de type voiture ou camion, circulant sur la même route que le véhicule VA. Dans la suite, les références numériques conformes à cet exemple et associées au premier et au deuxième véhicules comportent respectivement un indice A ou B. Dans d’autre modes de réalisation, l’objet de référence peut être un autre type de véhicule, par exemple un deux- roues. Il peut s’agir également d’un piéton équipé d’un appareil photo ou d’un téléphone portable. Il peut s’agir également d’un élément d’infrastructure, par exemple un péage ou un portique.

[0027] Dans le cas où l’objet de référence est un deuxième véhicule, les deux véhicules peuvent se suivre sur une même voie de la route, ou circuler sur des voies différentes. Dans des modes de réalisation, chaque véhicule dispose d’un capteur d’images 10A, 10B qui est monté sur le véhicule respectif avec une position et une orientation connue du capteur d’images par rapport au véhicule sur lequel il est monté. Le capteur d’images peut être orienté vers l’avant vers l’arrière du véhicule de manière à acquérir des images sur lesquelles les véhicules précédant ou suivant le véhicule sont visibles. Le capteur d’images peut également être monté sur un côté du véhicule. Dans des modes de réalisation, un ou chaque véhicule VA, VB, peut être équipé de plusieurs caméras orientées vers l’avant et/ou vers l’arrière et/ou vers les côtés du véhicule.

[0028] Le véhicule VA, et l’objet de référence VB comprennent en outre une interface d’accès 11 A, 11 B à un réseau de télécommunications, par exemple de type GSM, LTE, 3G, 4G ou 5G, ou un Wi-Fi. Dans un mode de réalisation illustré schématiquement en figure 2, dans lequel l’objet de référence est un deuxième véhicule VB, les véhicules peuvent communiquer entre eux par une communication de type véhicule à véhicule. Dans ce cas les véhicules comprennent également un calculateur 12A, 12B configuré pour mettre en œuvre le procédé décrit ci-après après avoir établi une communication entre eux, et une mémoire 13A, 13B stockant les instructions de code pour la mise en œuvre de ce procédé, ainsi que les informations concernant la position et l’orientation de la caméra montée sur le véhicule respectif par rapport à celui-ci.

[0029] Dans un autre mode de réalisation illustré schématiquement en figure 4, le véhicule VA et l’objet de référence sont adaptés pour communiquer avec un serveur distant S.

[0030] En référence aux figures 2 à 4, on va maintenant décrire des exemples de mise en œuvre du procédé. Dans la description ci-après, l’objet de référence est un deuxième véhicule VB. Dans le mode de réalisation représenté sur la figure 3, le procédé est mis en œuvre par le calculateur de l’un des véhicules, par convention ci-après, du premier véhicule VA. Dans le mode de réalisation représenté sur la figure 4, le procédé est mis en œuvre par un serveur distant S.

[0031] Le procédé comprend une première étape 100 de réception d’au moins une image acquise par le capteur d’images du premier véhicule VA, sur laquelle l’autre véhicule ou objet de référence est visible. Dans la suite, on prend l’exemple où le premier véhicule VA acquiert une image IA où le deuxième véhicule VB est visible. Dans le cas où le procédé est mis en œuvre par le calculateur 12A du premier véhicule, le calculateur est connecté à la caméra et reçoit les images qu’elle acquiert. Cette étape comprend également la réception d’une image IB acquise par la caméra 11 B du deuxième véhicule (ou de l’objet de référence), sur laquelle le premier véhicule VA est visible. Dans le cas où le procédé est mis en œuvre par un calculateur embarqué dans le premier véhicule, celui-ci reçoit l’image IB du premier véhicule par un réseau sans-fil. Dans le cas où le procédé est mis en œuvre par un serveur distant (figure 4), le serveur distant peut recevoir les images IA, IB, acquises par les caméras des deux véhicules, par l’intermédiaire du réseau de télécommunications.

[0032] Le procédé comprend ensuite la réception 200 par le calculateur mettant en œuvre le traitement, d’informations de position du capteur d’images 10B de l’objet de référence, par rapport à celui-ci, c’est-à-dire dans l’exemple précédent, d’information de position notées CB du capteur d’images 10B du deuxième véhicule VB par rapport à celui-ci. Ces informations peuvent par exemple comprendre une représentation simplifiée en trois dimensions de l’objet de référence, ainsi que la position de l’élément de repère dans un repère associé à cette représentation simplifiée. Cette étape comprend également la réception d’informations de position du capteur d’images 10A du premier véhicule VA par rapport à celui-ci. Si le procédé est mis en œuvre par le calculateur du premier véhicule, ces informations sont récupérées dans la mémoire 13A.

[0033] Dans le mode de réalisation dans lequel un serveur distant S met en œuvre le traitement et reçoit des images acquises par les deux véhicules, cette étape comprend la réception, par le serveur, des informations de position (CA et CB) de chaque caméra (10A et 10B) par rapport au véhicule (VA et VB) sur lequel elle est respectivement montée.

[0034] A partir des informations reçues, le calculateur peut estimer 300 : la position Pos1 B, sur l’image IA acquise par le premier véhicule VA, du capteur d’images 10B de l’objet de référence sur l’image, c’est-à-dire par exemple, la position du capteur d’images 10B du deuxième véhicule VB sur l’image, et la position Pos1A, sur l’image acquise par l’objet de référence, du capteur d’images 10A du véhicule VA sur l’image, c’est-à-dire par exemple la position du capteur d’images 10A du premier véhicule VA sur l’image acquise par le second véhicule VB.

[0035] A cet effet, pour l’estimation d’une position, le calculateur met en œuvre un algorithme pour détecter les contours de l’objet de référence ou du véhicule sur l’image. De nombreux algorithmes connus de l’homme du métier sont disponibles pour réaliser cette fonction, on connaît par exemple la publication de J. Redmon, S. Divvala, R. Girshick et A. Farhadi « You Only Look Once : Unified, Real-Time Object Detection », 2015. Puis le calculateur déduit, à partir de la position relative du capteur d’images par rapport à l’objet de référence ou au véhicule, une première position estimée du capteur d’images sur l’image. Si la position du capteur d’images par rapport à l’un du premier et du deuxième véhicule n’est pas connue, il est possible de considérer que ce capteur fait partie du véhicule et en déduire une plage de valeurs possibles pour la position en X et en Y de ce capteur sur l’image.

[0036] Le calculateur peut ensuite déterminer, étape 400, l’orientation relative entre les deux capteurs d’images, notée (RX, RY) de telle sorte : qu’une deuxième position Pos2B calculée du capteur d’images 10B de l’objet de référence sur l’image IA acquise par le premier véhicule VA à partir de cette orientation relative, corresponde à la première position Pos1 B estimée à l’étape précédente, et qu’une deuxième position Pos2A calculée du capteur d’images 10A du véhicule VA sur l’image IB acquise par le capteur d’images 10B de l’objet de référence à partir de cette orientation relative corresponde à la première position Pos1A estimée du capteur d’images 10A du véhicule VA.

[0037] L’orientation relative qui est calculée à l’étape 400 comprend les angles de lacet RX et de tangage RY entre le capteur d’images et l’élément de repère, c’est-à-dire une rotation par rapport à un axe X représenté en figure 5 orthogonal au plan de la route sur laquelle circule le véhicule, et une rotation par rapport à un axe Y également représenté, qui est orthogonal à l’axe X et orthogonal à la direction de déplacement du véhicule Z. L’orientation déterminée ne comprend pas le roulis selon l’axe Z. Dans la mise en œuvre de l’étape 400 décrite ci-après, la position relative selon les axes X et Y entre le capteur d’images et l’élément de repère est également déterminée.

[0038] Cette détermination de l’orientation relative entre les deux capteurs d’images est mise en œuvre par un algorithme itératif visant à minimiser une fonction de coût formée par les différences entre la deuxième position calculée de chaque capteur d’images à partir de l’orientation relative entre les capteurs d’images, et la première position estimée respective.

[0039] Dans le repère de chaque capteur d’images, la position de ce capteur se trouve à l’origine du repère.

[0040] Le calculateur peut initialiser la recherche de l’orientation relative entre les capteurs d’images 10A, 10B par une orientation relative initiale, par exemple égale à (co, 0, 0, 0) où la première coordonnée correspond à un angle de lacet (on prend co comme valeur initiale dans l’exemple de deux véhicules comprenant chacun un capteur d’images puisqu’on principe les capteurs d’images des deux véhicules sont orientés dans des directions opposées pour prendre des images sur lesquelles les deux véhicules sont visibles), la deuxième coordonnée correspond à un angle de tangage, la troisième coordonnée correspond à une translation selon l’axe X et la quatrième coordonnée correspond à une translation selon l’axe Y, ces translations sont connues au facteur d’échelle près, la translation en Z est figée à la valeur 1. A partir de cette orientation relative initiale, le calculateur détermine la position du capteur d’images 10B de l’objet de référence dans un repère associé au capteur d’image 10A du véhicule VA, en appliquant une matrice de changement de repère déterminée à partir de cette orientation initiale, puis projette cette position, à partir des paramètres intrinsèques du capteur d’images 10A du véhicule VA, pour obtenir les coordonnées du capteur d’images 10B dans une image acquise par le capteur d’images 10A. Il obtient ainsi la deuxième position calculée Pos2B du capteur d’images 10B de l’objet de référence dans l’image IA. Le même traitement est mis en œuvre de façon symétrique pour obtenir la deuxième position calculée Pos2A du capteur d’images du véhicule VA dans l’image IB. [0041] Comme indiqué ci-avant, ce calcul est mis en œuvre itérativement de sorte à trouver la matrice d’orientation relative (RX, RY, TX, TY), avec TX et TY les translations respectivement selon les axes X et Y, minimisant la différence entre la position calculée Pos2B et la position estimée Pos1 B, et entre la position calculée Pos2A et la position estimée Pos1 A. Ceci peut être fait en utilisant un algorithme de Levenberg-Marquadt, décrit dans les publications :

K. Levenberg, « A Method for the Solution of Certain Problems in Least Squares », dans Quart. Appl. Math. 2, 1944, p. 164-168.

D. Marquardt, « An Algorithm for Least-Squares Estimation of Nonlinear Parameters », dans SIAM J. Appl. Math. 11 , 1963, p. 431-441. capteur d’images à partir de l’orientation relative des capteurs d’images.

[0042] Sur la figure 5, on a représenté un repère associé (Xc, Yc, Zc) à un capteur d’images monté sur un véhicule, et un repère (Xv, Yv, Zv) associé au véhicule. En référence à la figure 5, une fois l’orientation relative des capteurs d’images obtenue, l’orientation relative entre les deux véhicules peut être aisément déduite au cours d’une étape 500 à partir de la position et de l’orientation de chaque capteur d’images par rapport au véhicule sur lequel il est monté.