TITRE : Procédé de détermination de la position d’un objet par rapport à une ligne de marquage au sol d’une route

[Domaine technique]

[0001] La présente invention concerne le domaine de l’automobile et plus particulièrement un procédé de localisation d’un objet par rapport à une ligne de marquage au sol d’une voie de circulation.

[Etat de la technique antérieure]

[0002] De nos jours, il est connu d’équiper un véhicule automobile de caméras pour l’aide à la conduite. Par exemple, une caméra placée à l’avant du véhicule peut permettre de détecter des obstacles ou des lignes de marquage au sol tandis qu’une caméra placée à l’arrière du véhicule peut permettre d’aider le conducteur dans ses manœuvres en marche arrière.

[0003] La détection des lignes de marquage au sol peut notamment être réalisée afin d’éviter au véhicule de dévier de la voie sur laquelle il circule ou bien de surveiller le niveau d’attention du conducteur pendant qu’il conduit ou bien encore de guider un véhicule de manière assistée ou autonome. Dans ce dernier cas, il peut être important voire nécessaire d’identifier la voie sur laquelle circule les autres véhicules. Notamment, il peut être intéressant d’identifier la voie sur laquelle circulent les véhicules tiers situés derrière ledit véhicule, afin par exemple de permettre au conducteur de reprendre les commandes lorsqu’un véhicule d’urgence s’approche par l’arrière.

[0004] Dans une solution connue, la détection des lignes est réalisée à partir des images en identifiant les pixels aux couleurs de la ligne. Cependant, cette solution ne permet pas de détecter les lignes de marquage au sol au-delà d’une distance de l’ordre de cent mètres, les lignes étant alors difficilement visibles au-delà de cette distance. Ainsi, il n’est pas possible avec cette solution d’identifier la voie d’un véhicule apparaissant au loin sur les images, par exemple à environ 200 m dans le champ de la caméra, puisque les lignes de marquage au sol ne sont pas visibles à cette distance.

[0005] Il existe donc le besoin d’une solution pour remédier au moins en partie à ces inconvénients.

[Exposé de l’invention] [0006] L’un des buts de l’invention est de fournir une solution d’identification de voie des autres véhicules qui soit fiable. Un autre but de l’invention est de fournir une solution de détection des véhicules d’urgences provenant de derrière le véhicule.

[0007] A cette fin, l’invention a pour objet un procédé de détermination de la position d’un objet par rapport à une ligne de marquage au sol d’une route à partir d’une caméra montée à l’arrière d’un véhicule automobile, ledit véhicule comprenant une unité de contrôle électronique, ledit procédé comprenant les étapes de :

- génération par la caméra d’une séquence d’images de l’environnement arrière du véhicule, ledit environnement comportant au moins une ligne de marquage au sol,

- sélection, par l’unité de contrôle électronique, d’au moins un point de la ligne de marquage au sol dans la partie inférieure d’au moins une image de la séquence, ledit point étant caractérisé dans chaque image par ses coordonnées dans le repère de l’image,

- suivi, par l’unité de contrôle électronique, de l’avancement de l’au moins un point sélectionné dans les images de la séquence d’images,

- transformation, par l’unité de contrôle électronique, des coordonnées de l’au moins un point sélectionné et suivi dans les images en une pluralité d’ensemble de coordonnées correspondant à une pluralité de points exprimés dans un repère en trois dimensions lié au véhicule de sorte à matérialiser l’au moins une ligne de marquage au sol dans ledit repère en trois dimensions,

- détection et suivi, par l’unité de contrôle électronique, à partir des images de la séquence d’images, d’au moins un objet situé dans l’environnement arrière du véhicule,

- détermination, par l’unité de contrôle électronique, de la position de l’objet détecté et suivi par rapport à l’au moins une ligne matérialisée.

[0008] En utilisant une caméra arrière, l’invention permet notamment de suivre des points qui avancent dans les images, c’est-à-dire qui passent du bas au haut des images au fur et à mesure que les images de la séquence défilent. Contrairement aux solutions de l’art antérieur qui détectent des points des lignes de marquage au sol dans chaque image afin de les matérialiser, avec le risque d’erreur que cela entraine pour les points les plus éloignés (haut de l’image pour une caméra arrière), un suivi de points sélectionnés près du véhicule, c’est-à-dire en bas de la première image de la séquence, permet de s’assurer au départ que la transformation entre le repère de l’image et le repère en trois dimensions est précise. En effet, la sélection de points proches du véhicule qui sont ensuite suivis dans les images, permet de s’assurer que le repère de l’image et le repère en trois dimensions lié au véhicule sont dans le même plan de la route, ce qui n’est pas nécessairement le cas avec des points des images éloignés du véhicule. Ce choix de points proches à suivre permet de matérialiser les lignes de manière précise, correcte et fiable et en temps réel. Cela permet ainsi de s’assurer de placer la position d’un objet situé à l’arrière du véhicule avec une probabilité de certitude importante par rapport aux lignes de marquage au sol. L’objet détecté peut notamment être un véhicule d’urgence se rapprochant du véhicule par l’arrière. Dans ce cas, l’invention permet de déterminer la voie dans laquelle se déplace le véhicule d’urgence de sorte à pouvoir agir en conséquence. Ainsi, si le véhicule mettant en œuvre l’invention est en mode de conduite autonome, l’ordinateur de bord peut opérer un changement de voie si nécessaire afin de laisser passer le véhicule d’urgence.

[0009] Dans un mode de réalisation, la détection et le suivi de l’objet de l’environnement étant réalisés dans les images de la séquence, le procédé comprend une étape de transformation, par l’unité de contrôle électronique, d’au moins un point de l’objet de l’environnement suivi dans les images en au moins un point exprimé dans le repère en trois dimensions de sorte à matérialiser l’objet de l’environnement dans ledit repère en trois dimensions.

[0010] Dans un autre mode de réalisation, la détection et le suivi de l’objet de l’environnement sont réalisés directement dans le repère en trois dimensions.

[0011] Selon un aspect de l’invention, le procédé comprend en outre une étape de détection de l’au moins une ligne dans les images, une étape de projection de l’au moins une ligne matérialisée dans le repère de l’image et une étape de détermination de l’erreur entre la ligne détectée et la ligne projetée.

[0012] L’invention concerne également un produit programme d’ordinateur caractérisé en ce qu’il comporte un ensemble d’instructions de code de programme qui, lorsqu’elles sont exécutées par un ou plusieurs processeurs, configurent le ou les processeurs pour mettre en œuvre un procédé tel que présenté précédemment.

[0013] L’invention concerne également une unité de contrôle électronique pour véhicule automobile, ladite unité de contrôle électronique étant configurée pour :

- recevoir une séquence d’images de l’environnement arrière du véhicule générée par une caméra montée à l’arrière dudit véhicule, ledit environnement comportant au moins une ligne de marquage au sol,

- sélectionner au moins un point de la ligne de marquage au sol dans la partie inférieure d’au moins une image de la séquence, ledit point étant caractérisé dans chaque image par ses coordonnées dans le repère de l’image, - suivre l’avancement de l’au moins un point dans les images de la séquence d’images,

- transformer les coordonnées de l’au moins un point sélectionné et suivi dans les images en une pluralité d’ensemble de coordonnées correspondant à une pluralité de points exprimés dans un repère en trois dimensions lié au véhicule de sorte à matérialiser l’au moins une ligne de marquage au sol dans ledit repère en trois dimensions,

- détecter et suivre, à partir des images de la séquence d’images, d’au moins un objet situé dans l’environnement arrière du véhicule,

- déterminer la position de l’objet détecté et suivi par rapport à l’au moins une ligne matérialisée.

[0014] Dans une forme de réalisation, l’unité de contrôle électronique est configurée pour réaliser la détection et le suivi de l’objet de l’environnement dans les images de la séquence, et pour transformer au moins un point de l’objet de l’environnement suivi dans les images en au moins un point exprimé dans le repère en trois dimensions de sorte à matérialiser l’objet de l’environnement dans ledit repère en trois dimensions.

[0015] En variante ou en complément, l’unité de contrôle électronique est configurée pour réaliser la détection et le suivi de l’objet de l’environnement directement dans le repère en trois dimensions.

[0016] Avantageusement, l’unité de contrôle électronique est configurée pour détecter l’au moins une ligne dans les images, pour projeter l’au moins une ligne matérialisée dans le repère de l’image et pour déterminer l’erreur entre la ligne détectée et la ligne projetée.

[0017] L’invention concerne également un véhicule automobile comprenant une caméra, montée à l’arrière dudit véhicule et configurée pour générer une séquence d’images de l’environnement arrière du véhicule, et une unité de contrôle électronique tel que présentée précédemment.

[Description des dessins]

[0018] D’autres caractéristiques et avantages de l’invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels :

[0019] [Fig 1] La figure 1 illustre schématiquement une forme de réalisation d’un véhicule selon l’invention.

[0020] [Fig 2] La figure 2 illustre schématiquement un exemple d’une première image d’une séquence d’images. [0021] [Fig 3] La figure 3 illustre schématiquement un exemple d’une deuxième image d’une séquence d’images.

[0022] [Fig 4] La figure 4 illustre schématiquement un exemple d’une troisième image d’une séquence d’images.

[0023] [Fig 5] La figure 5 illustre schématiquement un exemple d’une quatrième image d’une séquence d’images.

[0024] [Fig 6] La figure 6 illustre schématiquement un exemple d’une cartographie en 3D d’une route.

[0025] [Fig 7] La figure 7 illustre schématiquement un mode de réalisation d’un procédé selon l’invention.

[Description des modes de réalisation]

[0026] On a représenté de manière schématique sur la figure 1 un exemple de véhicule 1 automobile selon l’invention. Le véhicule 1 comprend une caméra 10 et une unité de contrôle électronique 20.

[0027] La caméra 10 est montée au niveau de la partie arrière 1A du véhicule 1 , par exemple entre le pare-chocs arrière 1 B et la malle arrière 1C et configurée pour générer une séquence d’images de l’environnement arrière du véhicule 1 , notamment de la route 100. En variante, la caméra 10 pourrait être montée à tout autre endroit adapté du véhicule 1 , par exemple derrière le pare-brise arrière.

[0028] L’unité de contrôle électronique 20 est montée dans le véhicule 1 et est reliée à la caméra 10 via un bus ou un réseau de communication de données (non visible) de manière connue en soi. En variante, l’unité de contrôle électronique 20 pourrait être montée dans un même boîtier avec la caméra 10.

[0029] L’unité de contrôle électronique 20 est configurée pour recevoir une séquence d’images de l’environnement arrière du véhicule 1 , générée par la caméra 10, via le bus ou le réseau de communication de données.

[0030] L’unité de contrôle électronique 20 est configurée pour sélectionner et suivre l’avancement d’un ou, de préférence, plusieurs points d’une ou de plusieurs lignes de marquage au sol dans les images de la séquence reçue, chaque point étant caractérisé dans chaque image de la séquence par ses coordonnées dans un repère lié à l’image appelé repère de l’image, qui est un repère en deux dimensions. Notamment, l’unité de contrôle électronique 20 est configurée pour mettre en œuvre un algorithme de détection stocké dans sa zone mémoire et pour suivre le point sélectionné d’une image à la suivante. Un point détecté sur une ligne ne peut pas être mis en correspondance directement entre deux images. En revanche, sa position dans l’image suivante peut être déterminée de manière connue en soi, par exemple à l’aide d’un vecteur de mouvement, et l’écart par rapport à la ligne détectée peut être estimé, également de manière connue en soi.

[0031] L’algorithme de détection est adapté pour identifier une zone de la première image 11 comme étant une ligne de marquage au sol, par exemple un groupe de pixels blancs alors que la chaussée est par ailleurs grise entre les lignes de marquage au sol L1 , L2, L3, L4.

[0032] L’unité de contrôle électronique 20 est configurée pour transformer les coordonnées de chaque point suivi dans les images en une pluralité d’ensemble de coordonnées correspondant à une pluralité de points exprimés dans un repère en trois dimensions lié au véhicule. Ainsi, un même point d’une ligne de marquage au sol qui se déplace d’image en image de la séquence, permet de matérialiser la ligne de marquage au sol dans ledit repère en trois dimensions, dit « repère 3D », dans le temps, c’est-à-dire pour la durée de la séquence d’images. Le repère 3D du véhicule 1 est de préférence lié à la partie arrière du véhicule 1 . Par exemple, le repère 3D du véhicule 1 peut avoir pour origine l’essieu arrière du véhicule 1 ou l’une des roues arrière du véhicule 1.

[0033] L’unité de contrôle électronique 20 est configurée pour détecter et suivre au moins un objet de l’environnement arrière du véhicule 1. Cet objet peut notamment être un autre véhicule tel que, par exemple, un véhicule d’urgence (ambulance, pompier, police...) ou un élément fixe tel que, par exemple, un pont, une tour, un panneau ou toute structure dont la position par rapport à la ou aux lignes de marquage au sol présente un intérêt pour la conduite du véhicule 1.

[0034] L’unité de contrôle électronique 20 est configurée pour déterminer la position de l’objet de l’environnement par rapport à la ou aux lignes matérialisées.

[0035] Dans une forme de réalisation, l’unité de contrôle électronique 20 est configurée pour réaliser la détection et le suivi de l’objet dans les images de la séquence, et pour transformer au moins un point de l’objet suivi dans les images en au moins un point exprimé dans le repère en trois dimensions de sorte à matérialiser l’objet de l’environnement dans ledit repère en trois dimensions.

[0036] Dans une autre forme de réalisation, l’unité de contrôle électronique 20 est configurée pour réaliser la détection et le suivi de l’objet de l’environnement directement dans le repère en trois dimensions. Par exemple, l’information que l’objet détecté est posé sur le sol peut être utilisée. Plus précisément, en considérant que le sol est plat, il est alors possible de transformer un point 2D situé sur le sol en un point 3D avec une distance longitudinale, une distance latérale et une élévation nulle. Il est aussi possible d’estimer les dimensions de l’objet pour en déduire sa distance compte tenu de sa taille dans l’image.

[0037] L’unité de contrôle électronique 20 est configurée pour détecter la ou les lignes de marquage au sol dans les images, pour projeter la ou les lignes matérialisées du repère en trois dimensions vers le repère de l’image et pour déterminer de l’erreur entre la ligne détectée et la ligne projetée.

[0038] L’unité de contrôle électronique 20 comprend un processeur apte à mettre en œuvre un ensemble d’instructions permettant de réaliser ces fonctions et une zone mémoire permettant de stocker ledit ensemble d’instructions.

[0039] Mise en œuyre

[0040] Un exemple de mise en œuvre va maintenant être décrit en référence aux figures 2 à 7.

[0041] Les figures 2 à 5 représentent chacune une image 11 , I2, I3, I4 de la séquence d’images 11 , I2, I3, I4 dans l’ordre chronologique. Dans l’exemple décrit ci-après en référence auxdites figures 2 à 5, le véhicule 1 roule sur une route 100 comprenant quatre lignes de marquage au sol L1 , L2, L3, L4 définissant trois voies de circulation définies selon le sens de circulation des véhicules : une voie dite « de droite » C1 , une voie dite « centrale » C2 et une voie dite de « gauche » C3. Le sens de circulation et le dépassement sont définis selon la norme courante de la plupart des pays appelée conduite à droite (France, Allemagne, Etats-Unis, ...). Ainsi, les véhicules circulent normalement sur la voie de droite C1 ou la voie centrale C2 et dépassent normalement en utilisant la voie centrale C2 ou la voie de gauche C3 selon le cas.

[0042] Dans l’exemple des figures 2 à 5, le véhicule 1 est un véhicule autonome circulant sur la voie de gauche C3. Un premier objet OB1 est un véhicule tiers circulant sur la voie centrale C2. Un deuxième objet OB2 est une ambulance se rapprochant par l’arrière du véhicule 1 en étant sur la voie de gauche C3.

[0043] Dans une étape E1 , la caméra 10 génère une séquence d’images 11 , I2, I3, I4 de l’environnement arrière du véhicule 1 , notamment des lignes de marquage au sol L1 , L2, L3, L4 visibles sur les images 11 , I2, I3, I4. Ces images sont envoyées une par une périodiquement et en temps réel à l’unité de contrôle électronique 20 via le réseau de communication de données du véhicule 1.

[0044] Ensuite, dans une étape E2, l’unité de contrôle électronique 20 sélectionne tout d’abord dans la première image 11 un premier point P1-L2, P1-L3, P1-L4 sur certaines des lignes de marquages au sol ou sur toutes les lignes de marquage au sol selon la précision et l’exhaustivité voulues. Dans cet exemple, un premier point P1-L2, P1-L3, P1-L4 est sélectionné et déterminé sur chacune des trois lignes de marquage au sol L2, L3, L4 situées le plus à droite de l’image 11 , la ligne L1 ayant moins d’intérêt par rapport aux objets OB1 , OB2 dont on veut déterminer la voie de circulation. Par « sélection d’un point sur chacune des trois lignes de marquage au sol L2, L3, L4 », on entend un groupe de pixels de l’image 11 représentant la ligne de marquage au sol L2, L3, L4.

[0045] Le premier point P1-L2, P1-L3, P1-L4 de chaque ligne de marquage au sol L2, L3, L4 est sélectionné en bas de la première image 11 , le bas de la première image 11 représentant la zone de la route 100 la plus proche du véhicule 1 et qui peut ainsi être considérée comme étant dans le même plan que le véhicule 1 (zone plane).

[0046] Afin de réaliser la sélection d’un point sur une ligne de marquage au sol L1 , L2, L3, L4, l’unité de contrôle électronique 20 est configurée pour mettre en œuvre un algorithme de détection stocké dans sa zone mémoire et qui est adapté pour identifier une zone de l’image 11 comme étant une ligne de marquage au sol, par exemple un groupe de pixels blancs alors que la chaussée est par ailleurs grise entre les lignes de marquage au sol L1 , L2, L3, L4.

[0047] Ensuite, toujours dans le cadre de l’étape E2, l’unité de contrôle électronique 20 suit les points détectés dans la première image 11 dans les images suivantes I2, I3, I4 de la séquence, de préférence dans chaque image I2, 13, 14. Ainsi, l’unité de contrôle électronique 20 détermine dans la deuxième image I2 les trois points P2-L2, P2-L3, P2-L4 correspondant aux trois points P1-L2, P1-L3, P1-L4 originalement détectés dans la première image 11 et qui correspondent aux même points physiques de la route 100. L’unité de contrôle électronique 20 détermine ensuite dans la troisième image I3 les trois points P3-L2, P3-L3, P3-L4 correspondant aux trois points P2-L2, P2-L3, P2-L4 déterminés dans la deuxième image I2 et qui correspondent aux même points physiques de la route 100. L’unité de contrôle électronique 20 détermine dans la quatrième image I4 les trois points P4-L2, P4- L3, P4-L4 correspondant aux trois points P3-L2, P3-L3, P3-L4 déterminés dans la troisième image I3 et qui correspondent aux même points physiques de la route 100. [0048] La détermination dans une image d’un point P1-L2, P1-L3, P1-L4, P2-L2, P2-L3, P2-L4, P3-L2, P3-L3, P3-L4, P4-L2, P4-L3, P4-L4 suivi entre deux images 11 , I2, I3, I4 consécutives de la séquence et représentant un même point physique de la route 100 est réalisée de manière connue, par exemple en utilisant un vecteur de mouvement. Ce procédé étant connu, il ne sera pas davantage détaillé ici.

[0049] Chaque point P1-L2, P1-L3, P1-L4, P2-L2, P2-L3, P2-L4, P3-L2, P3-L3, P3-L4, P4-L2, P4-L3, P4-L4 est caractérisé dans l’image 11 , I2, I3, I4 dans laquelle il apparaît par ses coordonnées dans le repère de ladite image 11 , I2, I3, I4.

[0050] Dans une étape E3, l’unité de contrôle électronique 20 transforme les coordonnées des points détectés et suivis dans les images en une pluralité d’ensemble de coordonnées correspondant à une pluralité de points P1-L2-3D, P1-L3-3D, P1-L4-3D, P2-L2-3D, P2-L3- 3D, P2-L4-3D, P3-L2-3D, P3-L3-3D, P3-L4-3D, P4-L2-3D, P4-L3-3D, P4-L4-3D exprimés dans le repère 3D lié au véhicule 1 de sorte à matérialiser les lignes de marquage au sol L2, L3, L4 dans ledit repère 3D, notées L2-3D, L3-3D, L4-3D, comme illustré à la figure 6.

[0051] Cette transformation 2D-3D, utilisant une transformation par matrices de translation et de rotation comme expliqué ci-après, est rendue possible par le fait que l’assomption de surface plane est réalisée pour les points de la route 100 qui sont proches du véhicule 1. Autrement dit, l’assomption selon laquelle les deux points sont situés sur la même surface plane que le véhicule 1 peut être faite afin de s’assurer que la transformation des coordonnées des points détectés entre le repère de l’image (2D) et le repère (3D) lié au véhicule 1 , détaillée à l’étape E3, soit mathématiquement précise en réduisant l’erreur puisque les points sont définis par rapport à un même plan de la route 100 situé au niveau de l’arrière du véhicule 1 au moins pour la première image 11.

[0052] La transformation d’un point 2D en un point 3D s’effectue de manière connue en utilisant la position de la caméra 10 dans le véhicule 1 par rapport à un repère lié au véhicule 1 (par exemple au milieu de l’essieu arrière au sol), cette position étant caractérisée par une première matrice de rotation et une deuxième matrice de translation. Pour transformer ensuite un point 3D entre deux instants donnés (deux images), il faut connaître le déplacement du repère lié au véhicule 1 , ce déplacement étant caractérisé entre ces deux instants par une deuxième matrice de rotation et une deuxième matrice de translation).

[0053] La transformation de l’étape E3 peut être réalisée à chaque fois qu’un point est sélectionné ou déterminé lors de son suivi, c’est-à-dire à chaque image reçue par l’unité de contrôle électronique 20. [0054] Dans une étape E4, l’unité de contrôle électronique 20 détecte et suit, en parallèle des étapes E1 , E2 et E3, le premier objet OB1 et le deuxième objet OB2 sur chaque image 11 , I2, I3, I4.

[0055] Par exemple, l’unité de contrôle électronique 20 transforme tout ou partie des pixels correspondant aux objets OB1 et OB2 sur les images 11 , I2, I3, I4 en des points exprimés dans le repère 3D de sorte à les matérialiser dans ledit repère 3D pour les faire apparaître relativement aux lignes de marquage au sol L2, L3, L4. En variante, la détection et le suivi des objets OB1 , OB2 pourraient être réalisés directement dans le repère 3D, par exemple comme décrit précédemment.

[0056] L’unité de contrôle électronique 20 détermine dans une étape E5, consécutivement à l’étape E4 et en parallèle des étapes E1 , E2 et E3, par exemple à chaque réception d’image 11 , I2, I3, I4, la position des objets OB1 et OB2 par rapport aux trois lignes L2, L3, L4 matérialisées pendant les étapes E1 , E2 et E3 afin de déterminer sur quelle voie se déplace le premier objet OB1 et sur quelle voie sur déplace le deuxième objet OB2.

[0057] De manière avantageuse, dans une étape E6 optionnelle, les lignes de marquage au sol L2, L3, L4 peuvent être détectées dans les images 11 , 12, 13, I4 par l’unité de contrôle électronique 20, par exemple en utilisant l’algorithme de détection mentionné ci-avant puis l’unité de contrôle électronique 20 projette les lignes de marquage au sol L2, L3, L4 matérialisées dans le repère 3D dans le repère 2D de l’image et détermine alors l’erreur entre chaque ligne détectée et chaque ligne projetée correspondante afin de déterminer un indice de confiance dans la position des objets par rapport aux lignes de marquage au sol L2, L3, L4.

[0058] Dans l’exemple décrit ci-avant, seuls les points détectés dans la première image 11 sont suivis dans les images suivantes I2, I3, I4. Cependant, d’autres premiers points pourraient être sélectionnés dans les images I2, I3, I4 suivant la première image 11 afin de réitérer le procédé avec ces points en parallèle du procédé sur les points sélectionnés dans la première image 11 et renforcer ainsi la détermination de la position des objets par rapport aux lignes de marquage au sol L2, L3, L4.