La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion.

Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter différents objets situés dans l'environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d'aide à la conduite d'adapter la conduite à la situation.

Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d'autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s'intéresse dans la suite plus particulièrement à la détection d'objets mobiles (piétons ou véhicule de tout type).

Tout système de détection utilisé pour l'assistance à la conduite comporte classiquement au moins un capteur apte à détecter des objets dans l'environnement du véhicule, typiquement à l'avant, à l'arrière ou sur un côté du véhicule dans une zone d'observation donnée, ainsi qu'un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d'images capturées par une caméra, une classification de l'objet détecté, par exemple pour identifier la présence d'un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d'objets » l'ensemble formé par un capteur d'une technologie donnée et de son module de traitement associé.

Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins. Les détecteurs d'objets précités présentent néanmoins l'inconvénient d'être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l'inverse, le radar est moins précis en angle qu'une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l'imprécision en classification est due au fait qu'ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.

Pour garantir une perception fiable de l'environnement du véhicule, il est ainsi connu d'utiliser plusieurs détecteurs d'objets de technologies différentes, et de fusionner les données issues de ces différents détecteurs.

Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l'article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes suivantes:

- une étape d'association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même objet ;

- une étape de fusion/reconstruction de l'objet en combinant les objets associés à l'étape précédente.

- une étape de suivi (ou tracking) des différents objets.

Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une configuration de situation routière avec un véhicule automobile 1 équipé de plusieurs détecteurs d'objets de technologie différente, ici d'un premier détecteur R, par exemple utilisant un capteur radar placé à l'avant du véhicule automobile 1, et d'un second détecteur L, utilisant par exemple un capteur lidar placé sur le pare-brise du véhicule automobile 1. La figure 1 représente schématiquement les objets mobiles détectés respectivement par les détecteurs L et R. Les objets détectés, tels qu'issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Les boîtes en traits pleins correspondent aux objets détectés par le détecteur R alors que les boîtes en traits pointillés correspondent aux objets détectés par le détecteur L. Ainsi, dans l'exemple représenté :

- le détecteur d'objets R a détecté la présence de quatre objets

1 2 3 4

mobiles référencés O _R , O _R , O _r et O _R .

- le détecteur d'objets L a détecté la présence de deux objets mobiles

1 2

référencés O^et O^.

Les indices R et L utilisés dans les notations identifient le détecteur responsable de la détection d'objets.

Chaque boîte englobante correspond à un objet tel qu'il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, sa vitesse relative et éventuellement, selon le type de détecteur utilisé, d'autres attributs comme sa classe (type d'objets).

Sur la figure 1 , on a également représenté les ellipses d'incertitude autour de la position de chaque objet détecté, ou ellipses de covariance, la position étant modélisée par une distribution Gaussienne 2D dont les paramètres (écarts-types) sont données par les fournisseurs des capteurs.

Ainsi, à titre d'exemple, l'ellipse E _R correspond à l'incertitude en position de l'objet O _r détecté par le détecteur R.

Le but de l'étape précitée d'association est de déterminer quels sont,

1 2 3 4

parmi les objets issus de la liste d'objets { O _R , O _R , O _R , O _r } délivrée par

1 2

le détecteur R et les objets issus de la liste d'objets { O^, O^} délivrée par le détecteur L, les objets qui correspondent en fait à un seul et même obstacle mobile. En d'autres termes, l'étape d'association consiste à coupler ou apparier les objets provenant des deux listes, selon des critères de ressemblance, de sorte que les données des objets ainsi appariés pourront être fusionnées pour reconstruire un objet plus proche de la réalité. Les algorithmes actuels se basent sur la position des boîtes englobantes et sur les zones de recouvrement des ellipses d'incertitudes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les positions des objets sont modélisées par une distribution gaussienne à deux dimensions, centrée sur un point particulier, par exemple le centre des boîtes englobantes ou, comme représenté sur la figure 1, le milieu du segment de la boîte le plus proche du véhicule 1. Deux objets détectés par deux détecteurs différents sont ensuite appariés si les ellipses d'incertitudes associées se recouvrent le plus. Chaque objet apparié est enlevé de la liste d'objet, et l'algorithme est reconduit de façon itérative sur les listes d'objets restants.

L'inconvénient de ce type d'algorithme est qu'il ne permet pas de résoudre les conflits lorsqu'un objet d'une liste peut être apparié à deux objets de l'autre liste. Par exemple, dans le cas de la figure 1, on pourrait considérer

3 1 2 que l'objet O _r pourrait être apparié soit à l'objet O^, soit à l'objet O^, compte tenu des distances similaires séparant ces objets, et des

1 3 3 2 recouvrements similaires des ellipses E^et E _R d'une part, et E _R et E^ d'autre part.

La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu'ici utilisés.

Pour ce faire, l'invention a pour objet un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend les étapes suivantes :

- construction d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ;

- détermination d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.

Selon d'autres particularités possibles :

- chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste de préférence en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes;

- ladite liaison peut notamment être créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée ;

- ladite valeur seuil est avantageusement prédéterminée en fonction de la vitesse relative associée au premier objet;

- l'étape de création d'une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement ;

- pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond de préférence à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.

L'invention a également pour objet un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système étant caractérisé en ce qu'il comporte des moyens aptes à :

- construire un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ;

- déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.

Les deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar. L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles :

- la figure 1 déjà décrite ci-avant, représente schématiquement une situation routière et les résultats de détection d'obstacles obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes ;

- la figure 2, illustre des étapes susceptibles d'être réalisées dans un procédé d'association de données conforme à l'invention;

- les figures 3a et 3b illustrent schématiquement un graphe biparti initial et un graphe simple final obtenu selon les principes de l'invention pour la situation routière de la figure 1 ;

- la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système d'association de données conforme à l'invention. Le principe sur lequel est fondée l'invention est celui de la modélisation du problème de l'association des objets provenant d'au moins deux détecteurs par la théorie des graphes.

La figure 2 illustre schématiquement des étapes possibles pour une telle modélisation :

Chaque détecteur R ou L fournit, lors d'une étape préalable 100, sa propre liste d'objets détectés qui correspond à un ensemble fini d'objets. Plus précisément, le détecteur L délivre une liste de n objets, que l'on peut représenter mathématiquement par l'ensemble { O^} pour lequel i est un entier variant de 1 à n. De manière similaire, le détecteur R délivre une liste d objets, que l'on peut représenter mathématiquement par l'ensemble

{ pour lequel j est un entier variant de 1 à m. Les deux listes ne comprennent pas forcément le même nombre d'objets, et l'on supposera dans la suite que l'entier n est inférieur ou égal à l'entier m.

Chaque objet détecté est associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection.

Ainsi, le détecteur L fournit également un ensemble de n ellipses d'incertitude que l'on peut représenter mathématiquement par { E^} , et un ensemble de n vitesses relatives dont la représentation mathématique est

{ V _j } . De façon similaire, on note { Ej^} l'ensemble des m ellipses d'incertitude associé aux objets détectés par le détecteur R, et { V . } l'ensemble des m vitesses relatives correspondant à ces mêmes objets.

Pour illustrer ce principe dans le cadre de la configuration routière de

1 2 la figure 1, le détecteur L délivre l'ensemble de deux objets { O^, O^} et le

1 2 3 4 détecteur R délivre l'ensemble de quatre objets { O _R , O _R , O _R , O _R } .

Une première étape 110 du procédé d'association selon l'invention consiste à construire un graphe biparti initial entre les deux ensembles d'objets détectés dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets détectés par le détecteur L, et les sommets du deuxième ensemble du graphe biparti correspondent aux objets détectés par le détecteur R. La construction de ce graphe initial nécessite également la création de liaisons entre les sommets du premier ensemble et ceux du second ensemble, ainsi que l'affection d'un poids ou coût à chaque liaison créée.

L'étape 111 de création de liaisons consiste à rechercher, pour chaque objet ou sommet du premier ensemble, les candidats possibles, en termes de ressemblance, dans les sommets du deuxième ensemble.

Dans une implémentation préférée de l'invention, un objet du deuxième ensemble est candidat pour être apparié à un objet du premier ensemble si et seulement si :

- il y a intersection de son ellipse d'incertitude avec l'ellipse d'incertitude de l'objet du premier ensemble ; et

- les vitesses relatives associées aux objets sont proches.

Ceci peut se traduire mathématiquement par les expressions suivantes :

V je [1,1 :

0 et

dans lesquelles :

I est un entier représentant le nombre total de candidats possibles pour être appariés à un objet ; et

V^correspond à une valeur seuil prédéterminée. De façon avantageuse, cette valeur seuil est fonction de la vitesse relative de l'objet pour lequel on recherche les candidats.

On peut en particulier définir que : La création de liaison prend en compte au minimum les vitesses relatives. Néanmoins, dans d'autres implémentations, la création d'une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement.

Afin de compléter le graphe initial, des poids ou coûts sont également affectés à chaque liaison créée (étape 112). Le poids associé correspond de préférence à une différence entre les vitesses relatives associées aux objets concernés par la liaison, ce qui peut s'exprimer mathématiquement par l'expres ion

dans laquelle C(i _L ,j _R )est le poids affecté entre une liaison reliant l'objet O^et l'objet O _r . On peut également utiliser une autre métrique telle que la distance euclidienne entre les vitesses.

La figure 3a montre l'exemple du graphe biparti initial 4 obtenu pour la configuration de détection d'objets montrée sur la figure 1. On y retrouve les deux sommets correspondant aux deux objets détectés par le détecteur L, les quatre sommets correspondant aux objets détectés par le détecteur R et quatre liaisons montrées en pointillés, qui ont été créées dans ce graphe initial 4 selon les calculs précédents, ainsi que les poids ou coûts associés à ces liaisons. Sur cette figure 3a, on constate notamment que les objets 0 _R et

3 1

0 _R sont deux candidats possibles pour être appariés à l'objet O _l , avec des poids associés notés respectivement C(1 _T ,1 _R )et C(1, ¾).

Dans l'étape suivante 120, on va rechercher à minimiser ces coûts de façon à éliminer des liaisons et ne retenir que celles qui seront représentatives de l'association finale des objets. En d'autres termes, l'étape 120 consiste à déterminer un couplage parfait de poids minimum par optimisation combinatoire du graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. Eliminer le plus de liaison possibles en gardant le moindre coût.

Ceci peut se traduire mathématiquement par les expressions ci-après:

n m

m ⁱⁿ ∑∑c(i _L ,j _R ) ^χ _¾ ^avec

i=1 j=1

χ _¾ e {0,l} V e [l,n]* [l,m] m

∑x =1 V ie [l,n]

j=1

n

et ∑x.. <1 V j _e [l,m]

i=1 ce qui signifie en pratique que l'on cherche à obtenir un graphe final simple dans lequel :

- chaque objet détecté par le détecteur L doit être associé à un unique objet détecté par le détecteur R ;

- on accepte néanmoins qu'un objet détecté par le détecteur R ne soit pas apparié.

Dans les équations précédentes, la variable entière _x traduit le fait qu'une liaison existe entre deux sommets. Elle est égale à 1 si sont

reliés et à 0 sinon. La figure 3b montre l'exemple du graphe biparti final simple 5 obtenu pour la configuration de détection d'objets montrée sur la figure 1. Le procédé tel qu'il vient d'être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature.

La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d'un système 6 d'association de données de détection multi capteurs équipant un véhicule automobile, selon l'invention. Le système 6 reçoit dans l'exemple pris les objets détectés d'une part par un premier détecteur d'objets R (objets O^), et d'autre part par un second détecteur d'objets L (objets Oj _^ ) _. Les détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 6, utilisées par exemple pour d'autres fonctionnalités d'assistance à la conduite. En variante, les détecteurs d'objets font partie intégrante du système 6.

Les références 7, 8 et 9 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d'un processus de fusion de données à haut niveau. Ainsi, le système 6 comporte des moyens 7 chargés de l'association objets détectés par les différents détecteurs, des moyens 8 chargés de la fusion des objets qui ont été associés, et des moyens 9 aptes à assurer le suivi des objets.

Conformément aux principes de l'invention, l'association de deux objets délivrés par chacun des deux détecteurs repose sur la construction préalable d'un graphe biparti, par des moyens référencés 70, puis sur l'optimisation combinatoire, par des moyens référencés 71, jusqu'à obtention d'un graphe biparti simple, comme expliqué ci-avant.