Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR IDENTIFYING AT LEAST ONE PATTERN IN THE SURROUNDINGS OF A VEHICLE, CONTROL DEVICE FOR CARRYING OUT SUCH A METHOD, AND VEHICLE HAVING SUCH A CONTROL DEVICE
Document Type and Number:
WIPO Patent Application WO/2020/126167
Kind Code:
A1
Abstract:
The invention relates to a method for identifying at least one pattern (1) in the surroundings of a vehicle (3), characterized in that first reference data is determined by means of at least one first system (5), wherein the at least one first system (5) is at least one sensor of the vehicle (3), further reference data is determined by a further system (7), wherein the further system (7) is at least one drone (9), wherein images of the surroundings of the vehicle (3) are acquired by means of the at least one drone (9) in a birds-eye perspective, at least one reference pattern is determined by means of the first reference data and the further reference data, at least one pattern in the surroundings of the vehicle (3) is detected by the vehicle (3), the at least one pattern detected by the vehicle (3) is compared with the at least one reference pattern, wherein deviations are determined, and the at least one pattern detected by the vehicle (3) is at least partly adapted, depending on the determined deviations.

Inventors:
SEFATI MOHSEN (DE)
CLAUS HOLGER (DE)
Application Number:
PCT/EP2019/078863
Publication Date:
June 25, 2020
Filing Date:
October 23, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DAIMLER AG (DE)
International Classes:
G06V20/13; G06V20/17
Foreign References:
DE10110275A12002-09-19
Other References:
FRIETSCH N ET AL: "Teaming of an UGV with a VTOL-UAV in Urban Environments", PLANS 2008 - PROCEEDINGS OF IEEE/ION PLANS 2008, THE INSTITUTE OF NAVIGATION, 8551 RIXLEW LANE SUITE 360 MANASSAS, VA 20109, USA, 8 May 2008 (2008-05-08), pages 1278 - 1285, XP056006706, DOI: 10.1109/PLANS.2008.4570081
ROBERT HUDJAKOV ET AL: "Aerial imagery terrain classification for long-range autonomous navigation", 2009 INTERNATIONAL SYMPOSIUM ON OPTOMECHATRONIC TECHNOLOGIES (ISOT 2009) : ISTANBUL, TURKEY, 21 - 23 SEPTEMBER 2009, IEEE, PISCATAWAY, NJ, USA, 21 September 2009 (2009-09-21), pages 88 - 91, XP031563500, ISBN: 978-1-4244-4209-6
CANTELLI L ET AL: "UAV/UGV cooperation for surveying operations in humanitarian demining", 2013 IEEE INTERNATIONAL SYMPOSIUM ON SAFETY, SECURITY, AND RESCUE ROBOTICS (SSRR), IEEE, 21 October 2013 (2013-10-21), pages 1 - 6, XP032554146, DOI: 10.1109/SSRR.2013.6719363
Attorney, Agent or Firm:
ESCHBACH, Arnold (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Erkennung von mindestens einem Muster (1 ) in einer Umgebung eines Fahrzeugs (3), dadurch gekennzeichnet, dass

a) durch mindestens ein erstes System (5) erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System (5) mindestens ein Sensor des Fahrzeugs (3) ist,

b) durch ein weiteres System (7) weitere Referenzdaten ermittelt werden, wobei das weitere System (7) mindestens eine Drohne (9) ist, wobei mittels der mindestens einen Drohne (9) in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs (3) erfasst werden,

c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird,

d) durch das Fahrzeug (3) mindestens ein Muster in der Umgebung des

Fahrzeugs (3) erfasst wird,

e) das durch das Fahrzeug (3) mindestens eine erfasste Muster mit dem

mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und

f) das mindestens eine von dem Fahrzeug (3) erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster mittels eines Neuronalen Netzes erkannt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Drohne (9) automatisch mittels eines Markers (1 1 ) positioniert wird, wobei der Marker (1 1 ) bevorzugt auf dem Dach des Fahrzeugs (3) angeordnet wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Marker (1 1 ) ein optischer Marker (1 1 ) ist, insbesondere ein QR-Code.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster für die Validierung und das T raining von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Drohne (9) senkrecht über dem Fahrzeug (3) befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug (3).

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Drohne (9) bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.

8. Steuergerät, eingerichtet zum Ausführen eines Verfahrens nach einem der

Ansprüche 1 bis 7.

9. Fahrzeug (3) mit einem Steuergerät nach Anspruch 8, insbesondere ein

zumindest teilweise autonomes Fahrzeug (3).

Description:
Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät

Die Erfindung betrifft ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, ein Steuergerät, eingerichtet zum Ausführen eines solchen Verfahrens, sowie ein Fahrzeug mit einem solchen Steuergerät.

Die manuelle Kennzeichnung von Objekten auf einem Bild ist ein zeitraubender und teurer Prozess. So ist beispielsweise bei der Generierung von Referenzdaten zur Erkennung von Objekten in der Umgebung eines Fahrzeugs eine manuelle Bestätigung erforderlich, ob die vorliegenden Referenzdaten der Realität entsprechen oder modifiziert werden müssen. Derartige Verfahren zur Kennzeichnung finden insbesondere

Verwendung bei Kennungs- und Klassifikationsverfahren, bei denen anhand von

Trainingssätzen unter Verwendung verschiedener Parameter Muster, insbesondere Objekte, erkannt werden. Um eine möglichst detaillierte Umgebung des Fahrzeugs zu erhalten ist eine Vielzahl von manuell bearbeiteten Bildern notwendig, in denen potentiell auftretende Objekte, beispielsweise Pkw, Lkw, Zweiräder, Fußgänger, aber auch Gegenstände, Gebäude und andere Verkehrssituationen enthalten sind.

Um diesen Vorgang zu beschleunigen werden Verfahren eingesetzt, die automatisch eine solche Kennzeichnung übernehmen. Dazu kann ein trainiertes Modell, beispielsweise ein neuronales Netz, zur Detektion und Klassifizierung von Objekten verwendet werden. Das Modell schlägt Bereiche und/oder Konturen für real existierende Objekte vor. Der Bereich und/oder die Kontur der Objekte muss dadurch nicht mehr manuell ausgewählt werden.

Referenzdaten spielen eine wichtige Rolle bei der Validierung und dem Training von Funktionen für zumindest teilweise autonome Fahrzeuge. Die Referenzdaten sind als sogenannte„ground-truth“ bekannt, die als zu erwartende reale Ergebnisse und als Grundlage zur Evaluierung von Funktionen zu verstehen sind. Referenzdaten sind ein wichtiger Bestandteil zur Validierung, zum Test und zum Training von Modellen, die auf maschinellem Lernen basieren. Methoden des maschinellen Lernens, insbesondere mittels neuronaler Netze, beispielsweise ein Convolutional Neuronal Network (CNN), die auf dem sogenannten Deep-Learning-Ansatz basieren, werden zur Erkennung von Mustern angewendet, insbesondere aufgrund der guten Leistungsfähigkeit im Vergleich zu konventionalen Methoden. Während der Trainingsphase lernen neuronale Netze aus den Unterschieden der erhaltenen Ergebnisse und der Referenzdaten als den zu erwartenden realen Ergebnissen und passen das Verfahren an, beispielsweise durch die Gewichtung verwendeter Parameter. Die Qualität und die Leistungsfähigkeit der Modelle hängen im Wesentlichen von der Qualität der Referenzdaten ab.

Die Referenzdaten können auf unterschiedliche Art und Weise bereitgestellt werden, beispielsweise durch manuelle Kennzeichnung, wobei der Bereich und/oder die Kontur jedes Objekts immer innerhalb des Sichtfelds des Sensors manuell ausgewählt und markiert wird. Hierfür kann für ein einzelnes erfasstes Bild einer Kamera mit einem Sichtwinkel von 90° in einem städtischen Straßenverkehr, das 20 Objekte umfasst, 10 bis 20 Minuten benötigt werden. Der Bereich und/oder die Kontur jedes Objekts muss dabei ausgewählt und in eine vordefinierte Klasse klassifiziert werden. Dies ist zeitlich aufwendig und teuer, da üblicherweise tausende an Bildern für eine akzeptable Leistung eines Systems erforderlich sind. Der dafür notwendige Zeitaufwand wird sogar größer, wenn unterschiedliche Sensoren, beispielsweise ein Radar, ein Lidar und ein Ultraschall, zur Erfassung der Umgebung des Fahrzeugs eingesetzt werden sollen. Die

Kennzeichnung muss dabei für jeden Sensor separat durchgeführt werden. Des Weiteren wird die Verifizierung und das Training umso aufwendiger, je mehr Bilder berücksichtigt werden sollen, beispielsweise um Objekte in der Umgebung eines Fahrzeugs

zeitabhängig zu berücksichtigen, insbesondere wenn die Bewegung eines Objekts innerhalb einer Bilderfolge zeitlich ausgewertet werden soll.

Die deutsche Offenlegungsschrift DE 101 10 275 A1 betrifft ein Verfahren zur

Kennzeichnung von Mustern, die als gespeicherte Informationen vorliegen. Für das Muster wird automatisch ein Kennzeichnungsvorschlag erzeugt. Die Erzeugung dieses Kennzeichnungsvorschlags kann separat vom eigentlichen Kennzeichnungsvorgang erfolgen, beispielsweise dann, wenn das Verfahren zur Erzeugung des

Kennzeichnungsvorschlags sehr zeitaufwändig ist.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs bereitzustellen, wobei die genannten Nachteile nicht auftreten, und wobei insbesondere eine schnelle und effiziente Erkennung von Mustern der realen Umgebung möglich ist.

Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den

Unteransprüchen.

Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs geschaffen wird, wobei das Verfahren dadurch gekennzeichnet ist, dass a) durch mindestens ein erstes System erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System mindestens ein Sensor des Fahrzeugs ist, b) durch ein weiteres System weitere

Referenzdaten ermittelt werden, wobei das weitere System mindestens eine Drohne ist, wobei mittels der mindestens einen Drohne in einer Vogelperspektive Bilder der

Umgebung des Fahrzeugs erfasst werden, c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug mindestens ein Muster in der Umgebung des Fahrzeugs erfasst wird, e) das durch das Fahrzeug mindestens eine erfasste Muster mit dem mindestens einen

Referenzmuster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise eingepasst wird.

Erfindungsgemäß wird also vorgeschlagen, ein Verfahren zur Erkennungen von Mustern bereitzustellen, insbesondere mittels maschinellem Lernen, wobei durch das Fahrzeug erfasste Referenzdaten und ergänzende Referenzdaten, die insbesondere mittels einer Drohne von der Umgebung des Fahrzeugs erfasst werden, zur Ermittlung der Referenz- Muster der Umgebung des Fahrzeugs verwendet werden, so dass aus den

Referenzdaten Referenz-Muster der der in der Umgebung des Fahrzeugs befindlichen Objekte ermittelt werden, und ein Vergleich der Referenz-Muster mit den von dem

Fahrzeug erfassten Mustern möglich ist, insbesondere die Daten validiert werden können. Das weitere System, insbesondere die mindestens eine Drohne, wird ergänzend zur Bereitstellung von Referenzdaten zur Validierung und zum Training der Erkennung von Objekten eingesetzt. Die mindestens eine Drohne fliegt dabei über dem zumindest teilweise autonomen Fahrzeug und stellt die Umgebung des Fahrzeugs in einer

Vogelperspektive bereit. Die Erkennung und Klassifizierung von Objekten, insbesondere der Klassifizierung des Verhaltens von Objekten, in der Vogelperspektive ist dabei vorteilhafterweise einfacher als die Erkennung anhand eines Bilds der Kamera des Fahrzeugs, da die Umrisse der Objekte rechteckig erscheinen und die Objekte weniger durch andere Objekte oder sonstige Störungen verdeckt sind.

Eine Verbesserung der Kennzeichnung von Objekten wird insbesondere durch ein sogenanntes Coupled-Labeling erreicht. Unter einem Coupled-Labeling wird

insbesondere verstanden, dass ein weiteres System ergänzend zu einem oder mehreren bereits bestehenden im Fahrzeug befindlichen und/oder bereits verwendeten Systemen, insbesondere Sensoren, eingesetzt wird. Das weitere System stellt dabei eine weitere Perspektive, einen weiteren Sichtwinkel und/oder zusätzliche Informationen bereit, wodurch insbesondere die Detektion, Klassifizierung und/oder Kennzeichnung von Objekten vereinfacht und/oder verbessert wird. Vorzugsweise sind bei dem Coupled- Labeling sind die Quellen der Referenzdaten zumindest temporär miteinander verbunden und zeitlich gesteuert, so dass das Ergebnis jedes Systems zu einer bestimmten Zeit einem Bild zugeordnet werden kann.

Das erfindungsgemäße Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs weist Vorteile im Vergleich zum Stand der Technik auf. Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise erfasst die Drohne 360°-Bilder um das Fahrzeug. Vorteilhafterweise sind störende Einflüsse, wie Unterschiede, Schatten von beispielsweise Bäumen, Änderungen von Oberflächen, insbesondere von Farben der Oberfläche, in der Vogelperspektive weniger vorhanden und stören dadurch die

Erkennung von Objekten weniger. Vorteilhafterweise ist der Rundumblick 360° um das Fahrzeug dabei gegeben und muss nicht durch eine Vielzahl von Bildern erfasst werden, dabei können insbesondere die Objekte in der Umgebung des Fahrzeugs in einem einzigen Bild sichtbar gemacht werden. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind.

Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden. Vorteilhafterweise können die Referenzdaten zur Detektion, Klassifizierung, und auch Verfolgung von Objekten eingesetzt werden. Vorteilhafterweise wird die Verfolgung von Objekten und/oder Fahrzeugen in der Vogelperspektive erleichtert. Vorteilhafterweise werden durch die ergänzende Verwendung von Drohnen weitere Referenzdaten zur Validierung und zum Training von zumindest teilweise autonomen Fahrzeugen bereitgestellt.

Unter einer Drohne wird insbesondere auch ein Kleinstflugzeug oder ein Zeppelin verstanden.

Vorzugsweise ist die Drohne dynamisch in der Umgebung des Fahrzeugs angeordnet, so dass die Drohne insbesondere in der Umgebung des Fahrzeugs bewegbar ist. Alternativ bevorzugt ist die Drohne statisch in der Umgebung des Fahrzeugs angeordnet.

Unter Referenzdaten werden insbesondere Daten der realen Umgebung eines Fahrzeugs verstanden. Die Referenzdaten werden insbesondere zum Abgleich mit von dem

Fahrzeug ermittelten Daten der Umgebung abgeglichen, wobei insbesondere Parameter zur Ermittlung der Daten durch das Fahrzeug angepasst werden, so dass diese zumindest weitgehend den Referenzdaten entsprechen.

Vorzugsweise können die Referenz-Muster zum Training einer Vielzahl von Sensoren des Fahrzeugs eingesetzt werden. Vorzugsweise ist der mindestens eine Sensor des

Fahrzeugs eine Kamera, ein Radar, oder ein Lidar-Sensor.

Vorzugsweise weist die Drohne eine Kamera zum Erfassen der Umgebung des

Fahrzeugs auf.

Vorzugsweise wird das Objekt zeitabhängig erkannt, insbesondere wird ein Tracking des Objekts und/oder ein Verhalten des Objekts erfasst.

Vorzugweise befindet sich die Drohne in einer Achse senkrecht über dem Fahrzeug. Vorzugsweise befindet sich die Drohne in einem Abstand von 10 m senkrecht über dem Fahrzeug, bevorzugt in einem Abstand von 15 m, bevorzugt in einem Abstand von 20 m, bevorzugt in einem Abstand von 30 m, bevorzugt in einem Abstand von 40 m, bevorzugt in einem Abstand von 50 m, bevorzugt in einem Abstand von 100 m, bevorzugt in einem Abstand von 200 m, bevorzugt in einem Abstand von 300 m, bevorzugt in einem Abstand von 400 m, oder bevorzugt in einem Abstand von 500 m.

Vorzugsweise werden die von dem mindestens einen Sensor des Fahrzeugs erfassten Referenzdaten mit der Drohne ausgetauscht und/oder synchronisiert, und/oder die von der Drohne erfassten Referenzdaten mit dem Fahrzeug ausgetauscht und/oder synchronisiert. Vorzugsweise werden die Daten zwischen dem Fahrzeug und der Drohne mittels einer WLAN-Verbindung und/oder einer Mobilfunkverbindung, beispielsweise einer UMTS-Verbindung, ausgetauscht und/oder synchronisiert.

Vorzugsweise wird ein Koordinatensystem des Fahrzeugs, insbesondere ein in der Mitte der Hinterachse des Fahrzeugs befindliches Koordinatensystem, als Referenzpunkt zum Abgleich der vom Fahrzeug erfassten Referenzdaten mit den von der Drohne erfassten Referenzdaten verwendet.

Unter einem Muster wird insbesondere ein ermitteltes Objekt und/oder eine Situation in der Umgebung eines Fahrzeugs verstanden. Vorzugsweise ist das Muster eine Ausfahrt, ein Baum, eine Bebauung, eine Sehenswürdigkeit, eine Engstelle, eine Kreuzung, eine Straßenart, ein anderes Fahrzeug, ein Gebäude, ein Gegenstand, eine Anzahl an Fahrspuren, eine Spurmarkierung, ein Stau, ein Tunnel, ein Unfall, ein Wetterverhältnis und/oder ein Fußgänger.

Unter einem Referenz-Muster wird insbesondere ein Muster verstanden, das basierend auf der Gesamtheit aller Referenzdaten ermittelt wird, wobei das Referenz-Muster insbesondere möglichst die reale Situation der Umgebung des Fahrzeugs repräsentiert. Das Referenz-Muster wird zum Abgleich mit einem durch ein Fahrzeug erfasstes Muster verwendet, um Abweichungen des erfassten Musters von der realen Situation zu ermitteln und das durch das Fahrzeug erfasste Muster möglichst der realen Situation anzupassen. Vorzugsweise wird das von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen einem Referenz-Muster angepasst. Das so erhaltene Muster wird insbesondere dem Benutzer des Fahrzeugs in geeigneter Form auf einem Display dargestellt.

Unter einer Abweichung wird insbesondere ein Unterschied mindestens eines Parameters eines von einem Fahrzeug erfassten Musters von einem Referenz-Muster, insbesondere des gleichen Objekts, verstanden.

Vorzugsweise wird die Umgebung des Fahrzeugs, insbesondere der Bereich der

Umgebung des Fahrzeugs vorgegeben, bevorzugt ein maximaler Bereich der Umgebung, auf der Muster erkannt werden sollen. Unter einem Fahrzeug wird insbesondere ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Wohnmobil, ein Baufahrzeug, ein Nutzfahrzeug oder auch ein

Schienenfahrzeug, ein Boot, ein Schiff oder ein Luftfahrzeug verstanden.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt wird.

Das neuronale Netz basiert insbesondere auf der Vernetzung vieler Neuronen, die ein Netz bilden und untereinander zum Austausch von Daten verbunden sind. Das neuronale Netz ist ein lernfähiges Netz, insbesondere lernfähig durch positive und/oder negative Erfahrung, so dass die Ergebnisse des neuronalen Netzes insbesondere die Erkennung und/oder Klassifizierung eines Musters, näher an dem wirklichen Ergebnis liegt. Das neuronale Netz ist insbesondere ein neuronales Netz, das eine Trainingsphase durchlaufen hat, um Muster zu erkennen und/oder zu klassifizieren. Vorzugsweise ist das neuronale Netz zur Erkennung und Klassifizierung von Mustern einer Umgebung eines Fahrzeugs trainiertes neuronales Netz.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Drohne automatisch mittels eines Markers positioniert wird, wobei der Marker bevorzugt auf dem Dach des Fahrzeugs angeordnet wird. Vorzugsweise folgt die mindestens eine Drohne dem

Fahrzeug durch Erkennen des spezifischen Markers. Es wird insbesondere gewährleistet, dass die Drohne in der Vogelperspektive in Richtung für den Straßenverkehr relevante Richtung gewandt ist, in der sich auch das Fahrzeug befindet.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der Marker ein optischer Marker ist, insbesondere ein QR-Code.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster für die Validierung und das T raining von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass sich die Drohne zumindest weitgehend senkrecht über dem Fahrzeug befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug.

Vorzugsweise beträgt der Abstand der Drohne über dem Fahrzeug 5 m, bevorzugt 10 m, bevorzugt 20 m, bevorzugt 30 m, bevorzugt 40 m, bevorzugt 50 m, bevorzugt 100 m, bevorzugt 200 m, bevorzugt 300 m, bevorzugt 400 m, oder bevorzugt 500 m.

Vorzugsweise befindet sich die Drohne in einem bestimmten Radius senkrecht über dem Fahrzeug, bevorzugt in einem Radius von 2 m, bevorzugt von 4 m, bevorzugt von 6 m, bevorzugt von 8 m, oder bevorzugt von 10 m.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die von der Drohne bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.

Die Aufgabe wird auch gelöst, indem ein Steuergerät bereitgestellt wird, das zum

Ausführen eines erfindungsgemäßen Verfahrens eingerichtet ist, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Steuergerät insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.

Die Aufgabe wird auch gelöst, indem ein Fahrzeug mit einem erfindungsgemäßen Steuergerät bereitgestellt wird, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Fahrzeug insbesondere die Vorteile, die bereits in Zusammenhang mit dem Steuergerät und dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.

Vorzugsweise ist das Fahrzeug ein zumindest teilweise autonomes Fahrzeug.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.

Dabei zeigt die einzige Figur eine schematische Darstellung eines Verfahrens zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs.

Die einzige Figur zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens zur Erkennung von mindestens einem Muster 1 in einer Umgebung eines Fahrzeugs 3 mit einer von einem Sensor eines Fahrzeugs 3 erfassten Umgebung des Fahrzeugs 3 (Figur 1 A), wobei der Sensor in dem vorliegenden Ausführungsbeispiel eine Kamera ist; einer von einer Drohne 9 erfassten Umgebung des Fahrzeugs 3 (Figur 1 B), wobei die Umgebung durch eine Kamera der Drohne 9 erfasst ist; eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Draufsicht (Figur 1 C); und eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Seitenansicht (Figur 1 D). Das Verfahren ist insbesondere dadurch gekennzeichnet, dass a) durch mindestens ein erstes System 5 erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System 5 mindestens ein Sensor des Fahrzeugs 3 ist, b) durch ein weiteres System 7 weitere Referenzdaten ermittelt werden, wobei das weitere System 7 mindestens eine Drohne 9 ist, wobei mittels der mindestens einen Drohne 9 in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs 3 erfasst werden, c) mittels der ersten

Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug 3 mindestens ein Muster in der Umgebung des Fahrzeugs 3 erfasst wird, e) das durch das Fahrzeug 3 mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug 3 erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.

Die Drohne 9 kann dabei die weiteren Referenzdaten an das Fahrzeug 3 übermitteln. Das Fahrzeug 3 erfasst durch den mindestens einen Sensor, insbesondere eine Kamera, die Umgebung des Fahrzeugs 3 (Figur 1A), wobei der mindestens eine Sensor das erste System 5 zum Ermitteln der Referenzdaten darstellt. Die Drohne 9 erfasst die Umgebung 3 des Fahrzeugs in einer Vogelperspektive, wobei die Drohne 9 das weitere System 7 zum Erfassen von Referenzdaten darstellt (Figur 1 B). Mittels der durch das erste System 5 erfassten Referenzdaten und der durch das weitere System 7 erfassten Referenzdaten wird das mindestens eine Referenz-Muster ermittelt. Das so erhaltene Referenz-Muster kann mit dem durch das Fahrzeug 3 erfasste Muster in der Umgebung des Fahrzeugs 3 abgeglichen werden, wodurch Abweichungen ermittelt werden, so dass das von dem Fahrzeug 3 erfasste Muster zumindest teilweise angepasst werden kann. Die Drohne 9 erfasst die Umgebung des Fahrzeugs 3 in der Vogelperspektive (Figur 1 C). Die Drohne 9 befindet sich insbesondere senkrecht über dem Fahrzeug 3 (Figur 1 D).

Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind.

Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden. In einer Ausgestaltung wird das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt.

In einer weiteren Ausgestaltung wird die Drohne 9 automatisch mittels eines Markers 11 positioniert, wobei der Marker 1 1 bevorzugt auf dem Dach des Fahrzeugs 3 angeordnet wird.

In einer weiteren Ausgestaltung ist der Marker 11 ein optischer Marker 1 1 , insbesondere ein QR-Code.

In einer weiteren Ausgestaltung wird das mindestens eine Referenz-Muster für die Validierung und das Training von zumindest teilweise autonomen Fahrzeugen eingesetzt.

In einer weiteren Ausgestaltung befindet sich die Drohne 9 senkrecht über dem Fahrzeug 3, bevorzugt in einem Abstand von 50 m über dem Fahrzeug 3.

In einer weiteren Ausgestaltung werden die von der Drohne 9 bereitgestellten

Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen.

Das Verfahren kann insbesondere durch ein Steuergerät durchgeführt werden. Das Fahrzeug 3 kann dazu das Steuergerät aufweisen. Das Fahrzeug 3 ist insbesondere ein zumindest teilweise autonomes Fahrzeug 3.