Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DISPLAYING THE SURROUNDINGS OF A MOTOR VEHICLE ON A SCREEN, AND MOTOR VEHICLE IN WHICH SUCH A METHOD IS IMPLEMENTED
Document Type and Number:
WIPO Patent Application WO/2019/052739
Kind Code:
A1
Abstract:
The invention relates to a method for displaying the surroundings (E) of a motor vehicle (1). The motor vehicle comprises a first camera (11) and a second camera (12), the respective fields of view (Ch1, Ch2) of which at least partially overlap. The method comprises the following steps: b) in the presence of an obstacle in the field of view of the first camera, selecting the first camera, and, in the absence of an obstacle in the field of view of the first camera, selecting the second camera, c) generating an image to be displayed, according to an image captured by the previously selected camera, and d) displaying the generated image on a display screen (16) situated in the vehicle. The invention also concerns a motor vehicle in which such a method is implemented.

Inventors:
AMBROISE-DEVAUX STEPHANIE (FR)
Application Number:
PCT/EP2018/070963
Publication Date:
March 21, 2019
Filing Date:
August 02, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
RENAULT SAS (FR)
International Classes:
G06F3/147; B60R1/00; B60R1/10; H04N5/232
Foreign References:
EP2792553A12014-10-22
EP2437494A12012-04-04
EP3009302A22016-04-20
EP2620917A12013-07-31
Download PDF:
Claims:
REVENDICATIONS

1 . Procédé d'affichage d'un environnement (E) d'un véhicule (1 ) automobile sur un écran (16) d'affichage situé dans le véhicule (1 ), le véhicule (1 ) comprenant une première caméra (1 1 ) et une deuxième caméra (12) dont les champs de vision respectifs (Ch1 , Ch2) se recouvrent au moins partiellement, le procédé comprenant les étapes suivantes, mises en œuvres par une unité de traitement (10) électronique du véhicule automobile :

a) déterminer si un obstacle est présent ou non dans le champ de vision (Ch1 ) de la première caméra (1 1 ),

b) en présence d'un obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), sélectionner la première caméra (1 1 ), et, en l'absence d'obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), sélectionner la deuxième caméra (12),

c) générer une image (IMV1 , IMV2) à afficher, en fonction d'une image

(IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée à l'étape b), et

d) afficher l'image (IMV1 , IMV2) générée à l'étape c) sur ledit écran (16).

2. Procédé selon la revendication 1 , au cours duquel l'image (IMV1 , IMV2) est générée à l'étape c) en fusionnant :

- l'image (IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée à l'étape b) avec

- une image (IM3, IM4, IM5) capturée par une troisième caméra (13, 14, 15) du véhicule (1 ),

de manière que l'image (IMV1 , IMV2) à afficher comporte une partie au moins de l'image (IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée, et une partie au moins de l'image (IM3, IM4, IM5) capturée par la troisième caméra (13, 14, 15).

3. Procédé selon la revendication 2, au cours duquel il est prévu, pour fusionner lesdites images (IM1 , IM2, IM3, IM4, IM5), de :

c1) projeter une partie au moins de l'image (IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée et une partie au moins de l'image (IM3, IM4, IM5) capturée par la troisième caméra (13) sur une surface tridimensionnelle (B) concave entourant une partie au moins du véhicule (1 ), de façon à obtenir une image tridimensionnelle, et de c2) projeter ladite image tridimensionnelle sur un plan virtuel (FPv).

4. Procédé selon la revendication 3, au cours duquel :

une sphère caractéristique (USk) pouvant être définie pour chacune des première, deuxième et troisième caméras (1 1 , 12, 13, 14, 15) de sorte que la capture d'une image quelconque par ladite caméra (1 1 , 12, 13, 14, 15) soit optiquement équivalente, pour chaque point-objet (Po) de l'espace à :

- une projection dudit point-objet (Po) sur ladite sphère caractéristique (USk) de façon à obtenir un point-objet projeté (P), puis à

- une projection, sur un plan focal (FPk) de ladite caméra (1 1 , 12, 13, 14, 15), du point-objet projeté (P) de façon à obtenir un point-image (Pi) de l'image

(IMk) capturée,

il est prévu à l'étape c1 ), pour chacune desdites images (IMk) à fusionner, de :

c1 1 ) projeter chaque point-image (Pi) de ladite image (IMk) sur la sphère caractéristique (USk) associée à la caméra (1 1 , 12, 13, 14, 15) ayant capturé cette image (IMk), puis de

c12) projeter, sur ladite surface tridimensionnelle (B), le point (P) obtenu à l'étape c11 ).

5. Procédé selon l'une des revendications 3 et 4, au cours duquel il est prévu :

- en présence d'un obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), de sélectionner une première orientation du plan virtuel (FPv), et

- en l'absence d'obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), de sélectionner une deuxième orientation dudit plan virtuel (FPv) distincte de la première orientation.

6. Procédé selon l'une des revendications 1 à 5, au cours duquel l'unité de commande (10) détermine si un obstacle est présent ou non dans le champ de vision (Ch1 ) de la première caméra au moyen d'un détecteur d'obstacle (17) du véhicule (1 ) automobile, le détecteur d'obstacle (17) étant distinct desdites première et deuxième caméras (1 1 , 12).

7. Véhicule (1 ) automobile comprenant une première caméra (1 1 ), une deuxième caméra (12), un écran d'affichage (16), et une unité de traitement (10) électronique, la première caméra (1 1 ) et la deuxième caméra (12) étant positionnées de telle sorte que leurs champs de vision respectifs (Ch1 , Ch2) se recouvrent au moins partiellement,

caractérisé en ce que l'unité de traitement (10) est programmée pour :

- déterminer si un obstacle est présent ou non dans le champ de vision (Ch1 ) de la première caméra (1 1 ),

- en présence d'un obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), sélectionner la première caméra (1 1 ), et, en l'absence d'obstacle dans le champ de vision (Ch1 ) de la première caméra (1 1 ), sélectionner la deuxième caméra (12),

- générer une image (IMV1 , IMV2) à afficher, en fonction d'une image (IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée, et

- afficher l'image (IMV1 , IMV2) générée sur l'écran (16) d'affichage.

8. Véhicule (1 ) automobile selon la revendication 7, dans lequel la première caméra (1 1 ) et la deuxième caméra (12) sont disposées de sorte que :

- une première zone de l'environnement (E) du véhicule (1 ), contenue dans le champ de vision (Ch1 ) de la première caméra (1 1 ), et

- une deuxième zone de l'environnement (E) du véhicule (1 ), contenue dans le champ de vision (Ch2) de la deuxième caméra (12)

s'étendent d'un même côté du véhicule (1 ) automobile, la première zone étant plus proche du véhicule automobile que la deuxième zone.

9. Véhicule (1 ) automobile selon la revendication 8, dans lequel il est prévu une troisième caméra (13, 14, 15) qui est disposée de sorte qu'une troisième zone de l'environnement (E) du véhicule (1 ), contenue dans le champ de vision (Ch3, Ch4, Ch5) de la troisième caméra, s'étende d'un autre côté du véhicule (1 ) automobile que lesdites première et deuxième zones, et dans lequel l'unité de traitement (10) est programmée pour générer l'image (IMV1 , IMV2) à afficher en fusionnant l'image (IM1 , IM2) capturée par la caméra (1 1 , 12) sélectionnée avec une image (IM3, IM4, IM5) capturée par la troisième caméra (13, 14, 15).

10. Véhicule (1 ) automobile selon l'une des revendications 7 à 9, dans lequel l'une au moins desdites première et deuxième caméras (1 1 , 12) est une caméra grand angle.

Description:
Procédé d'affichage sur un écran d'un environnement d'un véhicule automobile, et véhicule automobile dans lequel un tel procédé est mis en œuvre

DOMAINE TECHNIQUE AUQUEL SE RAPPORTE L'INVENTION

La présente invention concerne de manière générale un procédé d'affichage d'un environnement d'un véhicule automobile sur un écran d'affichage situé dans ce véhicule automobile, et un véhicule automobile dans lequel un tel procédé est mis en œuvre.

Elle concerne plus particulièrement un tel procédé d'affichage, mis en œuvre au moyen d'une première caméra et d'une deuxième caméra du véhicule automobile, dont les champs de vision respectifs se recouvrent au moins partiellement.

Elle s'applique de manière particulièrement intéressante à l'aide à la conduite du véhicule automobile, notamment lors de manœuvres dans une zone de stationnement.

ARRIERE-PLAN TECHNOLOGIQUE

Il est connu, par exemple du document EP 2620917, de générer une vue d'un environnement d'un véhicule automobile en fusionnant quatre images capturées respectivement par quatre caméras très grand angle équipant le véhicule automobile, à savoir une caméra avant, deux caméras latérales, et une caméra arrière. Cette vue est générée en adoptant un point de vue donné par rapport au véhicule automobile.

Lorsqu'un obstacle est situé en avant du véhicule automobile, avec une probabilité de collision élevée avec celui-ci, le point de vue adopté correspond à une vue de dessus du véhicule et de son environnement, centrée sur l'avant du véhicule.

En l'absence de risque de collision, le point de vue adopté correspond à une vue depuis l'arrière du véhicule, cette vue s'étendant en avant du véhicule, jusqu'à une grande distance de ce dernier.

L'inconvénient de ce système est que la qualité de la vue générée est variable en fonction du point de vue adopté. OBJET DE L'INVENTION

Afin de remédier à l'inconvénient précité de l'état de la technique, la présente invention propose un procédé d'affichage tel que décrit en introduction, le procédé comprenant les étapes suivantes, mises en œuvres par une unité de traitement électronique du véhicule automobile :

a) déterminer si un obstacle est présent ou non dans le champ de vision de la première caméra,

b) en présence d'un obstacle dans le champ de vision de la première caméra, sélectionner la première caméra, et, en l'absence d'obstacle dans le champ de vision de la première caméra, sélectionner la deuxième caméra,

c) générer une image à afficher, en fonction d'une image capturée par la caméra sélectionnée à l'étape b), et

d) afficher l'image générée à l'étape c) sur ledit écran.

Recourir ainsi à deux caméras distinctes, la première étant employée en cas de détection d'un obstacle et la deuxième étant employée sinon, permet, lors de la conception du véhicule automobile :

- d'optimiser l'orientation, le positionnement, et éventuellement la distance focale de la première caméra pour une visualisation d'un tel obstacle, et

- d'optimiser l'orientation, le positionnement, et éventuellement la distance focale de la deuxième caméra pour une visualisation d'ensemble de l'environnement du véhicule.

Grâce à cette disposition, l'environnement du véhicule est visualisé de manière optimale (par l'intermédiaire de l'image affichée) aussi bien dans l'une que dans l'autre des deux situations mentionnées ci-dessus.

On peut d'ailleurs prévoir, par exemple, que :

- le champ de vision de la première caméra s'étende d'un côté du véhicule automobile, en direction du sol, de manière à visualiser au mieux des obstacles situés dans le voisinage immédiat du véhicule, tandis que

- le champ de vision de la deuxième caméra s'étende du même côté du véhicule, selon une direction d'observation moyenne sensiblement horizontale, de manière à visualiser au mieux l'environnement lointain du véhicule.

D'autres caractéristiques non limitatives et avantageuses du procédé conforme à l'invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes : - l'image est générée à l'étape c) en fusionnant :

- l'image capturée par la caméra sélectionnée à l'étape b) avec

- une image capturée par une troisième caméra du véhicule, de manière que l'image à afficher comporte une partie au moins de l'image capturée par la caméra sélectionnée, et une partie au moins de l'image capturée par la troisième caméra ;

- il est prévu, pour fusionner lesdites images, de :

c1 ) projeter une partie au moins de l'image capturée par la caméra sélectionnée et une partie au moins de l'image capturée par la troisième caméra sur une surface tridimensionnelle concave entourant une partie au moins du véhicule, de façon à obtenir une image tridimensionnelle, et de

c2) projeter ladite image tridimensionnelle sur un plan virtuel ;

- une sphère caractéristique pouvant être définie pour chacune des première, deuxième et troisième caméras de sorte que la capture d'une image quelconque par ladite caméra soit optiquement équivalente, pour chaque point- objet de l'espace à :

- une projection dudit point-objet sur ladite sphère caractéristique de façon à obtenir un point-objet projeté, puis à

- une projection, sur un plan focal de ladite caméra, du point-objet projeté de façon à obtenir un point-image de l'image capturée,

il est prévu à l'étape c1 ), pour chacune desdites images à fusionner, de : c1 1 ) projeter chaque point-image de ladite image sur la sphère caractéristique associée à la caméra ayant capturé cette image, puis de

c12) projeter, sur ladite surface tridimensionnelle, le point obtenu à l'étape c1 1 ) par projection sur ladite sphère ;

- en présence d'un obstacle dans le champ de vision de la première caméra, une première orientation dudit plan virtuel est sélectionnée ;

- en l'absence d'obstacle dans le champ de vision de la première caméra, une deuxième orientation dudit plan virtuel est sélectionnée, distincte de la première orientation ;

- l'unité de commande détermine si un obstacle est présent ou non dans le champ de vision de la première caméra au moyen d'un détecteur d'obstacle du véhicule automobile, le détecteur d'obstacle étant distinct desdites première et deuxième caméras ; - l'image à afficher est générée en fusionnant l'image capturée par la caméra sélectionnée à l'étape b), l'image capturée par la troisième caméra, et, en outre, au moins une autre image capturée par une autre caméra.

L'invention propose également un véhicule automobile comprenant une première caméra, une deuxième caméra, un écran d'affichage, et une unité de traitement électronique, la première caméra et la deuxième caméra étant positionnées de telle sorte que leurs champs de vision respectifs se recouvrent au moins partiellement, l'unité de traitement étant programmée pour :

- déterminer si un obstacle est présent ou non dans le champ de vision de la première caméra,

- en présence d'un obstacle dans le champ de vision de la première caméra, sélectionner la première caméra, et, en l'absence d'obstacle dans le champ de vision de la première caméra, sélectionner la deuxième caméra,

- générer une image à afficher, en fonction d'une image capturée par la caméra sélectionnée précédemment, et

- afficher l'image générée sur l'écran d'affichage.

D'autres caractéristiques non limitatives et avantageuses du véhicule automobile conforme à l'invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :

- la première caméra et la deuxième caméra sont disposées de sorte que :

- une première zone de l'environnement du véhicule, contenue dans le champ de vision de la première caméra, et

- une deuxième zone de l'environnement du véhicule, contenue dans le champ de vision de la deuxième caméra

s'étendent d'un même côté du véhicule automobile ;

- la première caméra et la deuxième caméra sont disposées de sorte que la première zone soit plus proche du véhicule automobile que la deuxième zone ;

- la première caméra et la deuxième caméra sont disposées de sorte que la première zone et la deuxième zone soient situées à l'avant du véhicule ;

- le champ de vision de la première caméra étant centré sur une première direction d'observation, le champ de vision de la deuxième caméra étant centré sur une deuxième direction d'observation, la première caméra et la deuxième caméra sont disposées de sorte que la première direction d'observation soit plus inclinée vers le sol que la deuxième direction d'observation ;

- le champ de vision de la première caméra est plus large que le champ d'observation de la deuxième caméra ;

- la première caméra est positionné plus à l'avant du véhicule que la deuxième caméra ;

- le véhicule comprend une troisième caméra qui est disposée de sorte qu'une troisième zone de l'environnement du véhicule, contenue dans le champ de vision de la troisième caméra, s'étende d'un autre côté du véhicule automobile que lesdites première et deuxième zones, l'unité de traitement étant programmée pour générer l'image à afficher en fusionnant l'image capturée par la caméra sélectionnée avec une image capturée par la troisième caméra ;- la troisième caméra est disposée de sorte qu'une troisième zone de l'environnement du véhicule, contenue dans le champ de vision de la troisième caméra, s'étende d'un autre côté du véhicule automobile que lesdites première et deuxième zones ;

- l'une au moins desdites première et deuxième caméras est une caméra grand angle.

L'unité de commande du véhicule qui vient d'être décrit peut en outre être programmée pour mettre en œuvre les étapes optionnelles du procédé présentées ci-dessus.

DESCRIPTION DÉTAILLÉE D'UN EXEMPLE DE RÉALISATION

La description qui va suivre en regard des dessins annexés, donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée.

Sur les dessins annexés :

- les figures 1 et 2 représentent schématiquement un véhicule automobile dans lequel est mis en œuvre un procédé d'affichage selon l'invention, vu respectivement de dessus et de côté,

- la figure 3 représente schématiquement les principales étapes du procédé d'affichage mis en œuvre dans le véhicule de la figure 1 ,

- la figure 4 représente schématiquement la manière dont le point d'une l'image est projeté sur une surface tridimensionnelle entourant une partie au moins du véhicule automobile,

- la figure 5 représente schématiquement comment le point de la surface tridimensionnelle, obtenu par la projection de la figure 4, est ensuite projeté sur un plan virtuel associé à un point de vue donné,

- la figure 6 représente schématiquement des images capturées par une première et une deuxième caméras avant du véhicule de la figure 1 , et par des caméras latérales et arrière de ce véhicule,

- la figure 7 représente schématiquement une image affichée, générée à partir d'une partie des images capturées représentées sur la figure 6, et

- la figure 8 représente schématiquement une autre image affichée, générée à partir d'une partie des images capturées représentées sur la figure 6.

Le véhicule 1 automobile représenté sur les figures 1 et 2 est équipé d'un écran 16 d'affichage et de plusieurs caméras 1 1 , 12, 13, 14, 15 permettant de visualiser différentes zones d'un environnement E extérieur du véhicule.

Ce véhicule 1 comprend également une unité de traitement 10 électronique connectée aux caméras 1 1 , 12, 13, 14, 15 du véhicule et adaptée à traiter des images capturées par ces caméras pour générer une image à afficher sur l'écran 16.

Ici, l'unité de traitement 10 électronique est plus précisément programmée pour combiner, en une seule image à afficher, différentes images capturées respectivement par plusieurs desdites caméras. Un utilisateur du véhicule peut ainsi visualiser simultanément sur le même écran 16 des données issues de ces différentes caméras.

Tel que représenté sur les figures 1 et 2, le véhicule 1 comprend :

- une première caméra 1 1 et une deuxième caméra 12 dont les champs de vision respectifs Ch1 et Ch2 s'étendent vers l'avant du véhicule 1 ,

- une troisième caméra 13 et une quatrième caméra 14 latérales, dont les champs de vision respectifs Ch3 et Ch4 s'étendent respectivement du côté droit et du côté gauche du véhicule, et

- un cinquième caméra 15, dont le champ de vision Ch5 s'étend vers l'arrière du véhicule.

Les champs de vision Ch1 et Ch2 respectifs des première et deuxième caméras 1 1 et 12 couvrent ainsi des zones de l'environnement E du véhicule situées d'un même côté du véhicule 1 , ici à l'avant du véhicule.

Toutefois, le champ de vision Ch1 de la première caméra 1 1 couvre une première zone de cet environnement E plus proche du véhicule 1 qu'une deuxième zone de cet environnement, couverte par le champ de vision Ch2 de la deuxième caméra 12.

Plus précisément, la première caméra 1 1 est adaptée, de par son orientation, sa position, et l'étendue de son champ de vision, à visualiser le voisinage immédiat de l'avant du véhicule 1 , tandis que la deuxième caméra est adaptée plus particulièrement à visualiser l'environnement E du véhicule 1 jusqu'à une grande distance en avant de ce dernier.

La première caméra 1 1 est ici une caméra à très grand angle de vision, supérieur à 160 degrés dans au moins une direction, disposée à une extrémité avant du véhicule, par exemple sur la face avant du véhicule. Grâce à cette disposition, même des obstacles de faible hauteur, tels que des rebords de trottoir, peuvent être visualisés au moyen de cette caméra. La très grande ouverture du champ de vision Ch1 de cette caméra permet par ailleurs de visualiser de tels obstacles sur toute la largeur du véhicule 1 , même si ces obstacles sont très proches de celui-ci.

D'autre part, le champ de vision Ch1 de la première caméra 1 1 est centré sur une première direction d'observation x1 qui est inclinée vers le sol. Or, la résolution d'une image capturée par une caméra est meilleure pour des points situés au voisinage de l'axe de son champ de vision. L'orientation vers le sol de la première caméra 1 1 permet donc d'optimiser la résolution des images capturées par cette caméra 1 1 pour des éléments de l'environnement E situés au voisinage immédiat de l'avant véhicule 1 .

Quant à la deuxième caméra 12, il s'agit ici d'une caméra grand angle, orientée de sorte que son champ de vision Ch2 soit centré sur une deuxième direction d'observation x2 sensiblement horizontale.

Le champ de vision Ch2 de la deuxième caméra 12 présente une l'ouverture angulaire totale β2 inférieure à celle, β1 , du champ de vision Ch1 de la première caméra 1 1 . Ici, l'ouverture angulaire totale β2 du deuxième champ de vision Ch2 est plus précisément comprise entre 60 et 120 degrés alors que celle du champ de vision Ch1 de la première caméra 1 1 est supérieure à 160 degrés, voire supérieure à 180 degrés.

Le champ de vision de la deuxième caméra Ch2 est donc non seulement centrée sur une zone de l'environnement E du véhicule 1 éloignée de ce dernier, mais aussi plus concentré sur cette dernière zone que ne l'est le champ de vision de la première caméra 1 1 . Pour des éléments de cet environnement éloignés du véhicule 1 , par exemple situés à une dizaine de mètres de celui-ci, la résolution d'une image capturée par la deuxième caméra 12 est donc meilleure que celle d'une image capturée par la première caméra.

D'autre part, dans le mode de réalisation décrit ici, la deuxième caméra 12 est disposée dans un habitacle du véhicule, derrière le pare-brise et à proximité du toit du véhicule, par exemple sous un rétroviseur intérieur du véhicule 1 . Ainsi, une image capturée par cette caméra rend compte du positionnement du véhicule dans son environnement d'une manière facilement appréhendable par l'utilisateur du véhicule, puisque le point de vue de cette caméra est comparable au point de vue adopté par cet utilisateur.

L'orientation des première et deuxième caméras, et des autres caméras du véhicule 1 , est décrite maintenant plus en détail.

Pour cela, un repère R, lié au véhicule 1 automobile, est introduit. Ce repère R comprend :

- un axe x, longitudinal, qui s'étend parallèlement à un plancher du véhicule de l'arrière vers l'avant du véhicule 1 ,

- un axe y, qui s'étend transversalement par rapport au véhicule, parallèlement aux essieux, depuis le côté droit vers le côté gauche du véhicule, et

- un axe z perpendiculaire au châssis du véhicule, dirigé du plancher vers le toit du véhiculel .

Les trois axes x, y et z sont orthogonaux deux à deux et forment un repère direct. L'origine O de ce repère est située à proximité de l'essieu avant, à égale distance des côtés gauche et droit du véhicule.

La première direction d'observation x1 , associée à la première caméra 1 1 , est contenue ici dans le plan (x,z) et forme avec l'axe x un premier angle de plongée ai supérieur à 20 degrés, ici égal à 45 degrés (figure 2).

La deuxième direction d'observation x2, associée à la deuxième caméra 12, s'étend ici sensiblement parallèlement à l'axe x, c'est-à-dire qu'elle forme avec l'axe x un deuxième angle de plongée 012 compris entre +20 degrés et -20 degrés. Lorsque le véhicule est situé sur une voie de circulation horizontale, la deuxième direction d'observation x2 est donc sensiblement horizontale elle aussi.

Quant aux troisième, quatrième et cinquième caméras 13, 14 et 15, elles sont ici inclinées vers le sol de manière comparable à la première caméra 1 1 .

Plus précisément, les champs de vision Ch3, Ch4 et Ch5 des troisième, quatrième et cinquième caméras 13, 14 et 15 sont centrés respectivement sur une troisième, une quatrième et une cinquième directions d'observation x3, x4 et x5 formant chacune, avec le plan (x,y) du véhicule (plan du plancher du véhicule), un angle de plongée supérieur à 20 degrés, ici égal à 45 degrés (en valeur absolue).

Les troisième et quatrième directions d'observation x3 et x4 sont contenues chacun dans le plan (y,z) transverse du véhicule. Le troisième angle de plongé 013 est défini entre l'axe -y et la troisième direction d'observation x3. Le quatrième angle de plongé a 4 est défini entre l'axe y et la quatrième d'observation x4.

La cinquième direction d'observation x5 est contenue, comme la première, dans le plan (x,z). Le cinquième angle de plongé as est défini entre l'axe -x et la cinquième direction d'observation x5.

Les troisième, quatrième et cinquième caméras 13, 14 et 15 sont, comme la première caméra, des caméras à très angle de vision (dite aussi caméra « fish- eye » en anglais). Ainsi, les champs visions respectifs de ces caméras présentent chacun, dans le plan (x,y), une ouverture angulaire totale supérieure à 160 degrés, voire même, comme ici, supérieure à 180 degrés.

Les troisième et quatrième caméras 13 et 14 sont disposées par exemple sur les portières avant ou arrière, sous les rétroviseurs extérieurs, ou encore sur les ailes du véhicule automobile. La cinquième caméra 15 est disposée par exemple sur une porte de coffre du véhicule.

Pour chacune des caméras mentionnées ci-dessus, la direction d'observation x1 , x2, x3, x4, x5 de la caméra et la position de son centre optique

Ci, C2, C3, C 4 , C5 dans le repère R du véhicule sont connues par construction.

En plus de ces caméras, le véhicule 1 comprend ici un détecteur d'obstacle 17, distinct de ces dernières, adapté à détecter la présence d'un obstacle dans le champ de vision Ch1 de la première caméra 1 1 , c'est-à-dire adapté à détecter un élément s'élevant, dans ce champ de vision, au-dessus du sol.

Un tel obstacle peut correspondre notamment à un piéton, à un autre véhicule automobile, à un rebord de trottoir, un poteau, un arbre, un parapet ou encore un mur.

Le détecteur d'obstacle 17 peut par exemple être réalisé au moyen de capteurs à ultrasons, ou au moyen d'un radar ou d'un lidar (selon l'acronyme anglo- saxon de « Laser Détection and Ranging », c'est-à-dire détection et localisation par laser). Le champ de détection du détecteur d'obstacle 17, et le champ de vision Ch1 de la première caméra 1 1 se recouvrent au moins en partie.

Le détecteur d'obstacle 17 est connecté à l'unité de traitement 10 et est adapté à lui transmettre un signal représentatif de la présence, ou de l'absence d'un obstacle dans le champ de vision de la première caméra 1 1 . De préférence, ce signal est également représentatif d'une distance séparant l'obstacle du véhicule.

De manière remarquable, l'unité de traitement 10 est programmée pour exécuter les étapes suivantes du procédé d'affichage de la figure 3 :

a) déterminer si un obstacle est présent ou non dans le champ de vision

Ch1 de la première caméra 1 1 ,

b) en présence d'un obstacle dans le champ de vision Ch1 de la première caméra 1 1 , sélectionner la première caméra 1 1 , et, en l'absence d'obstacle dans le champ de vision Ch1 de la première caméra 1 1 , sélectionner la deuxième caméra 12,

c) générer une image IMV1 , IMV2 à afficher (voir figures 7 et 8), en fonction d'une image IM1 , IM2 capturée par la caméra 1 1 , 12 sélectionnée à l'étape b) (voir figure 6), et

d) afficher l'image IMV1 , IMV2 générée à l'étape c) sur l'écran 16 du véhicule 1 .

L'image IMV1 , IMV2 est générée soit sur la base de l'image IM1 capturée par la première caméra 1 1 , soit sur la base de l'image IM2 capturée par la deuxième caméra 12.

Si l'image IMV1 , IMV2 est générée sur la base de l'image IM1 capturée par la première caméra 1 1 , l'image IM2 capturée par la deuxième caméra 12 n'apparait pas dans l'image générée IMV1 , IMV2.

Si l'image IMV1 , IMV2 est générée sur la base de l'image IM2 capturée par la deuxième caméra 12, l'image IM1 capturée par la première caméra 1 1 n'apparait pas dans l'image générée IMV1 , IMV2.

Recourir ainsi à deux caméras distinctes, la première étant employée en cas de détection d'un obstacle et la deuxième étant employée sinon, permet, comme cela a été expliqué en détail plus haut, d'optimiser les caractéristiques de ces deux caméras indépendamment l'une de l'autre et ainsi de bénéficier d'une qualité de visualisation optimale et constante, même lorsque le point de vue sélectionné pour l'image affichée IMV1 , IMV2 change, passant d'une vue centrée sur le voisinage immédiat du véhicule (cas d'une détection d'obstacle), à une vue d'ensemble de l'environnement du véhicule s'étendant à grande distance en avant de ce dernier.

Dans le mode de réalisation décrit ici, à l'étape a), l'unité de commande

10 détermine si un obstacle est présent ou non dans le champ de vision Ch1 de la première caméra 1 1 au moyen du détecteur d'obstacle 17 mentionné précédemment. En variante, l'unité de traitement pourrait toutefois détecter la présence d'un tel obstacle par traitement d'une image capturée par la première caméra.

Ici, à l'étape b), l'unité de traitement 10 sélectionne la première caméra à condition en outre qu'une distance entre cet obstacle et l'avant du véhicule soit inférieure à un seuil donné, égal par exemple à 3 mètres et pouvant varier en fonction de la vitesse du véhicule 1 . Sinon, l'unité de traitement 10 sélectionne la deuxième caméra.

D'autre part, à l'étape c), il est prévu ici de générer l'image à afficher en fusionnant, c'est-à-dire en combinant :

- l'image capturée par ladite caméra sélectionnée à l'étape b), avec

- trois images capturées respectivement par les troisième, quatrième et cinquième caméras 13, 14 et 15,

de manière que l'image à afficher comporte une partie au moins de l'image capturée par la caméra sélectionnée, et une partie au moins de chacune de ces trois images.

Deux exemples d'images IMV1 et IMV2 générées ainsi sont représentées schématiquement sur les figures 7 et 8.

L'image IMV1 correspond à une situation dans laquelle le véhicule 1 stationne sur un parking, deux cônes de signalisation routière étant situés à moins d'un mètre devant lui. Dans cette situation, des obstacles, en l'occurrence ces cônes de signalisation routière, sont présents dans le champ de vision Ch1 de la première caméra 1 1 , à proximité du véhicule 1 . L'image IMV1 affichée est donc générée à partir des images IM1 , IM3, IM4 et IM5 capturées, dans cette même situation, respectivement par les première, troisième, quatrième et cinquième caméras 1 1 , 13, 14 et 15. Ces images sont représentées schématiquement et de façon distincte sur la figure 6. L'image IMV2 correspond à une autre situation, dans laquelle le véhicule 1 stationne sur le même parking que précédemment, en l'occurrence au même endroit, les deux cônes de signalisation routière mentionnés précédemment étant toutefois absents. Dans cette autre situation, aucun obstacle n'est présent dans le champ de la première caméra 1 1 , à proximité du véhicule. L'image IMV2 affichée est donc générée à partir des images IM2, IM3, IM4 et IM5 capturées, dans cette autre situation, respectivement par les deuxième, troisième, quatrième et cinquième caméras 12, 13, 14 et 15. Ces images sont également représentées schématiquement et de façon distincte sur la figure 6 (les images IM3, IM4 et IM5 capturées par les troisième, quatrième et cinquième caméras sont identiques dans les deux situations considérées ci-dessus, et elles ne sont donc représentées qu'une fois).

L'opération de fusion des images capturées, qui permet d'obtenir l'image à afficher, est maintenant décrite plus en détail en référence aux figures 3 à 5.

Cette fusion est réalisée ici au cours des sous-étapes suivantes de l'étape c) (figure 3) :

c1 ) projeter une partie au moins de chacune des images à fusionner sur une surface tridimensionnelle B concave entourant au moins en partie le véhicule 1 automobile (figure 4), de façon à obtenir une image tridimensionnelle, et

c2) projeter ladite image tridimensionnelle sur un plan virtuel FPv, (figure

5) pour obtenir l'image IMV1 , IMV2 à afficher.

La surface tridimensionnelle B entoure ici les cinq caméras 1 1 à 15 du véhicule 1 . Cette surface, parfois appelé « bol » dans la littérature spécialisée (ou « bowl », en anglais), correspond ici à une portion de sphère de rayon Ra compris par exemple entre 3,5 mètres et 5 mètres. Cette sphère est centrée sur un point CB, de coordonnées X∞, YCB et ZCB dans le repère R du véhicule 1 . Le point CB est par exemple situé au centre du véhicule, c'est-à-dire à égale distance des extrémités avant et arrière du véhicule, et à égale distance des flancs gauche et droit de celui- ci.

En variante, cette surface tridimensionnelle pourrait présenter une forme différente d'une sphère, par exemple une forme d'ellipsoïde.

Quant au plan virtuel FPv, il correspond plus précisément au plan focal d'une caméra virtuelle, présentant une orientation et une distance focale f1 données. L'image à afficher, projetée sur le plan virtuel FPv, correspond à une image de l'environnement du véhicule telle qu'elle aurait été capturée par cette caméra virtuelle.

L'image à afficher correspond ainsi à un point de vue donné, depuis lequel est observé cet environnement E, ce point de vue pouvant aisément être modifié en changeant les caractéristiques de la caméra virtuelle, par exemple son orientation.

Le détail des calculs effectués par l'unité de traitement 10 au cours des étapes c1 ) et c2) peut maintenant être présenté.

Sous-étape c1 )

Dans le mode de réalisation décrit ici, chaque image à fusionner est projetée sur la surface tridimensionnelle B par l'intermédiaire d'une sphère caractéristique USk associée à la caméra ayant capturée cette image.

Dans la suite des calculs, on utilisera un indice entier k qui varie de 1 à 5, selon que la caméra considérée est la première, deuxième, troisième, quatrième ou cinquième.

Ces sphères caractéristiques sont présentées dans un premier temps, la projection sur la surface tridimensionnelle B étant présentée ensuite.

La sphère caractéristique USk est déterminée préalablement au procédé décrit ici, par calibration, si bien que la position de son centre Sk est connue. Les caractéristiques de cette sphère peuvent aussi être connues par fabrication, et être fournies par le constructeur de la caméra.

Cette sphère caractéristique USk est telle que la capture d'une image quelconque par ladite caméra soit optiquement équivalente, pour chaque point- objet Po de l'espace à :

- une projection dudit point-objet Po sur ladite sphère USk, pour obtenir un point-ojet projeté (ci-après appelé point P) situé sur cette sphère, puis à

- une projection du point P obtenu précédemment, sur un plan focal FPk de ladite caméra, pour obtenir un point-image Pi de l'image IMk capturée.

Ces deux projections, équivalentes d'un point de vue optique à la capture de l'image IMk par la caméra considérée, sont illustrées sur la figure 4 dans le cas de la première caméra (l'indice k est dans ce cas égal à 1 ).

Comme on peut le voir sur cette figure, le point P obtenu en projetant le point-objet Po sur la sphère caractéristique USi, est situé à l'intersection entre :

- une droite D', passant par le centre Si de la sphère USi et par le point- objet Po, et - la sphère caractéristique USi elle-même.

Le point Pi de l'image capturée est situé quant à lui à l'intersection entre :

- une droite D, passant le centre optique Ci de la première caméra 1 1 et par le point P obtenu précédemment, et

- le plan focal FPi de la première caméra.

La première direction d'observation x1 , sur laquelle est centré le champ de vision Ch1 de la première caméra, est perpendiculaire au plan focal FPi, et passe par le centre optique Ci .

Le centre Si de la sphère caractéristique associée à cette caméra est également situé sur l'axe x1 , à une distance cam_sph du centre optique Ci . La distance cam_sph est connue (elle est déterminée par exemple au cours de la calibration de la caméra mentionnée ci-dessus).

Des constructions géométriques similaires sont employées pour définir les sphères caractéristiques associées aux autres caméras du véhicule.

Pour ce qui est maintenant de la projection sur la surface tridimensionnelle

B, elle est réalisée ici au moyen des opérations suivantes de la sous-étape c1 ) :

c1 1 ) projeter chaque point-image Pi de l'image IMk à fusionner sur la sphère caractéristique USk associée à la caméra ayant capturé cette image, pour obtenir un point P situé sur cette sphère, puis

c12) projeter le point P obtenu précédemment sur ladite surface tridimensionnelle B, pour obtenir une point PB situé sur cette surface.

Le point PB est ensuite projeté sur plan virtuel FPv qui a été mentionné plus haut.

Opération c1 1 )

La projection réalisée au cours de l'opération c1 1 ), qui permet d'obtenir le point P à partir du point-image Pi, correspond à l'inverse de la projection du point P sur le plan focal FPk qui a été décrite plus haut.

Plus précisément, lors de l'opération c1 1 ), des coordonnées Xi, Yi et Zi, repérant le point P dans un repère RS associé à la sphère USk, sont déterminés en fonction des indices i et j repérant un pixel donné de l'image IMk à fusionner.

Les indices i et j correspondent respectivement aux numéros de colonne et de ligne du pixel considéré. L'indice i est compris entre 1 et Resh, où Resh est par exemple égal à 1280. L'indice j est compris entre 1 et Res v , où Res v est par exemple égal à 800. Un quelconque point-image Pi de l'image IMk capturée est situé, dans le plan focal FPk de la caméra ayant capturé cette image, à une position de coordonnées Xi et Yi, où

C x et C Y correspondant respectivement à la largeur et à la hauteur du capteur de la caméra considérée.

Les coordonnées Xi et Yi sont exprimées dans un repère Ri dont les axes xi et yi sont parallèles respectivement au grand côté et au petit côté du capteur de la caméra considérée.

L'origine du repère RS, dans lequel sont calculées les coordonnées Xi, Yi et Zi repérant le point P, a pour origine le centre Sk de la sphère caractéristique USk considérée. Il comprend trois axes Xk, yk et∑k orthogonaux deux à deux, l'axe Xk coïncidant la direction d'observation Xk de la caméra.

Les coordonnées Xi, Yi et Zi sont alors déterminées conformément à la formule suivante :

Dans le mode de réalisation décrit ici, pour chaque pixel de l'image IMk, un point P correspondant, situé sur la sphère caractéristique USk, est déterminé.

Après avoir déterminé les coordonnées Xi, Yi et Z^ du point P dans le repère RS associé à la sphère caractéristique USk, ses coordonnées Xundis sp ,

Yundis sp et Zundis sp dans le repère R du véhicule 1 sont déterminées au moyen des formules de changement de repère ci-dessous.

Pour les première et deuxième caméras 1 1 et 12 : où l'angle a k est respectivement égal aux angles de plongée

Pour les troisième et quatrième caméras 13 et 14 :

où l'angle ak est respectivement égal aux angles de plongée

Et pour la cinquième caméra 15 :

Les coordonnées Xs, Ys et Zs sont les coordonnées du centre Sk de la sphère caractéristique USk de la caméra considérée, dans le repère R du véhicule 1 .

Ces coordonnées sont par exemple déterminées en fonction de la position du centre Ck de cette caméra, de la distance cam_sph entre Ck et Sk, et en fonction de l'angle de plongé a k de la caméra (chacune de ces données est connue, comme cela a déjà été indiqué).

Opération c12)

L'opération c12) de projection depuis la sphère caractéristique USk, sur la surface tridimensionnelle B, peut maintenant être décrite.

Au cours de cette opération, pour chaque point P projeté précédemment sur la sphère caractéristique USk, un point correspondant PB situé sur la surface tridimensionnelle B est déterminé.

Comme cela est illustré schématiquement sur la figure 4 pour la sphère caractéristique de la première caméra 1 1 , le point PB est déterminé de manière à se situer à l'intersection entre :

- la droite D' (qui passe par le point P et le centre Sk de la sphère) et

- la surface tridimensionnelle B.

Déterminer ainsi chaque point PB permet d'obtenir, sur la surface tridimensionnelle B, une image tridimensionnelle extrêmement réaliste, dont la vision par l'une des caméras du véhicule, ou par la caméra virtuelle précitée, est particulièrement proche d'une image de l'environnement E du véhicule que cette caméra aurait capturée en réalité. En effet, compte tenu de la manière dont est obtenu chaque point PB, dans la situation virtuelle pour laquelle le véhicule 1 serait entouré seulement de la surface tridimensionnelle B, sur laquelle se déploie l'image tridimensionnelle, chaque caméra du véhicule capturerait une image identique à l'image IMk capturée en réalité.

Compte tenu du fait que la surface tridimensionnelle est ici une sphère de rayon Ra et de centre CB, les coordonnées XB, YB et ZB du point PB dans le repère R du véhicule 1 sont déterminées au moyen des formules ci-dessous.

Tout d'abord, les variables intermédiaires de calcul suivantes sont introduites :

Une variable t est également introduite. Dans le cas des première, deuxième, troisième et quatrième caméras 1 1 à 14, cette variable est déterminée au moyen de la formule suivante :

Dans le cas de la cinquième caméra 15, la variable t est déterminée au moyen de la formule suivante :

Les coordonnées XB, YB et ZB du point PB sont alors obtenues au moyen des formules ci-dessous :

Les calculs ci-dessus sont basés sur le fait que les points Sk, P et PB sont alignés, et sur le fait que la distance entre le point CB et le point PB est égale à Ra. Ces calculs pourraient bien sûr être adaptés à une surface tridimensionnelle différente d'une sphère de rayon Ra.

Sous-étape c2)

L'image IMV1 , IMV2 à afficher sur l'écran 16 correspond ici à une image (virtuelle) qui aurait été capturée par la caméra virtuelle précitée, cette caméra virtuelle visualisant l'image tridimensionnelle déployée sur la surface tridimensionnelle B.

Les coordonnées du centre optique Cv de la caméra virtuelle dans le repère R du véhicule sont notées Xv, Yv et Zv. La direction d'observation xv de cette caméra définit avec l'axe x du véhicule un angle de plongé av. Par ailleurs, comme déjà indiqué, cette caméra virtuelle présente une distance focale f1 . Le plan virtuel FPv, qui correspond au plan focal de cette caméra, s'étend donc perpendiculairement à l'axe xv, à une distance f1 du centre optique Cv. L'axe xv croise le plan virtuel FPv en un point CFPV appelé centre focal (figure 5).

L'image à afficher est déterminée en projetant chaque point PB obtenu précédemment, sur le plan virtuel FPv, pour obtenir un point-image Pv correspondant. Le point-image Pv constitue l'un des points de l'image IMV1 , IMV2 à afficher.

Comme cela est illustré schématiquement sur la figure 5, le point Pv est déterminé de manière à se situer à l'intersection entre :

- une droite D", qui passe par le point PB et par le centre optique Cv de la caméra virtuelle, et

- le plan focal FPv de cette caméra.

Pour déterminer les coordonnées du point Pv dans le plan focal FPv, les coordonnées d'un point intermédiaire Pu sont déterminées tout d'abord.

Le point Pu est situé à l'intersection entre la droite D" et un plan focal « vertical » . Le plan focal vertical est orthogonal à l'axe x, longitudinal,

du véhicule, et passe par le centre focal CFPV.

Les coordonnées Xn, Yn et Zn du point intermédiaire Pu, dans le repère R du véhicule, sont déterminées au moyen des formules ci-dessous :

Par ailleurs, les coordonnées XCFP, YCFP et ZCFP du centre focal CFPV, dans le repère R du véhicule, sont données par :

Les distances :

- dista, entre le centre optique Cv et le point intermédiaire Pu

- distc, entre le centre focal CFPV et le point intermédiaire Pu, et

- d, entre le centre focal CFPV et le point image Pv,

s'expriment donc conformément aux formule suivantes :

Les variables intermédiaires suivantes sont alors introduites :

Les coordonnées XPV, YPV et ZPV du point Pv sont alors obtenues au moyen des formules ci-dessous : - dans le cas d'un point PB issu d'une image IMk capturée par l'une des première, deuxième, troisième ou quatrième caméras 1 1 à 14 (c'est-à-dire pour k=1 à 4) :

- et dans le cas d'un point PB issu d'une image IM5 capturée par la cinquième caméra 15, arrière :

Les coordonnées XIF et YIF du point point-image Pv, dans le repère d'axes XIF et yiF associé au capteur de la caméra virtuelle (ce capteur, virtuel, s'étend dans le plan virtuel FPv), sont alors déterminées comme suit :

Les indices ÎIF et jiF repérant, dans l'image IMV1 , IMV2 à afficher, le pixel correspondant au point-image Pv, sont alors donnés par

Enfin, pour parfaire la fusion entre les différentes images IMk à combiner, une opération de fondu est appliquée dans les zones de l'image à afficher où plusieurs des images capturées se superposent l'une à l'autre. Ce fondu est par exemple obtenu en calculant, pour chaque pixel d'une telle zone de recouvrement, une moyenne entre

- une valeur de luminosité, associée à un point-image Pv issu de l'une des images capturées IMk, et

- une autre valeur de luminosité, associée à un autre point-image P issu d'une autre des images capturées IMk', cet autre point-image étant situé au niveau du même pixel que le point image Pv. Les deux valeurs de luminosité mentionnées ci-dessus correspondent par exemple aux valeurs de luminosité des point-images Pi et Pf (des images IMk et IMk ) dont sont respectivement issus les points Pv et P .

D'autres techniques de fondu peuvent bien sûr être envisagées. On pourrait prévoir notamment que le fondu soit réalisé directement lors de la projection sur la surface tridimensionnelle B, avant la projection sur le plan virtuel FPv.

Dans le procédé d'affichage qui vient d'être décrit, l'orientation du plan virtuel FPv, ou, autrement formulé, l'orientation de la caméra virtuelle, peut être fixe. Elle peut aussi varier en fonction de différents paramètres, en particulier en fonction de la présence ou de l'absence d'un obstacle dans le champ de vision Ch1 de la première caméra 1 1 .

Il est ainsi prévu, dans le mode de réalisation décrit ici :

- de sélectionner une première orientation du plan virtuel FPv lorsqu'un obstacle est présent dans le champ de vision Ch1 de la première caméra 1 1 et

- de sélectionner une deuxième orientation dudit plan virtuel en l'absence d'obstacle dans ce champ de vision.

Cette première orientation correspond par exemple à une direction d'observation xv de la caméra virtuelle plus inclinée vers le sol que lorsque la deuxième orientation est sélectionnée.

Grâce à cette disposition, le point de vue adopté pour générer l'image à afficher est adapté au mieux à la situation dans laquelle se trouve le véhicule, c'est- à-dire au fait qu'un obstacle soit présent ou non en avant du véhicule.

De manière optionnelle, on peut prévoir aussi que la position de la caméra virtuelle, ou que la valeur de sa distance focale f1 varie selon qu'un obstacle ait été détecté ou non dans le champ de vision de la première caméra.

Dans le procédé d'affichage décrit ci-dessus, l'image à afficher est générée en fusionnant quatre images capturées respectivement par quatre caméras différentes du véhicule.

En variante, l'image à afficher pourrait toutefois être générée sur la base de l'image capturée par la caméra sélectionnée seulement, en particulier si le véhicule comprend seulement deux caméras, à savoir la première et la deuxième caméra.

En variante encore, l'image à afficher pourrait être générée en fusionnant l'image capturée par la caméra sélectionnée avec deux images capturées respectivement par les troisième et quatrième caméras seulement, l'image capturée par la cinquième caméra, arrière, n'étant pas prise en compte.