Titel:

Erkennung mit höherer Sicherheitsintegrität von Eigenschaften einer Szenerie durch Abgleich von Sensordaten mit einer Erwartung

Die vorliegende Erfindung betrifft die Erkennung von Eigenschaften einer mit mindestens einem Sensor beobachteten Szenerie, beispielsweise für die zumindest teilweise autonome Steuerung eines Fahrzeugs oder Roboters.

Stand der Technik

Fahrassistenzsysteme und Systeme für das zumindest teilweise automatisierte Führen von Fahrzeugen oder Robotern erfassen das Umfeld des Fahrzeugs oder Roboters mit einem oder mehreren Sensoren und ermitteln hieraus eine Planung des künftigen Verhaltens des Fahrzeugs bzw. Roboters. Zum Ermitteln einer solchen Planung, oder einer Umfeldrepräsentation als Vorprodukt für die Planung, kommen vielfach neuronale Netzwerke zum Einsatz. Die DE 10 2018 008 685 Al offenbart ein Verfahren zum Trainieren eines neuronalen Netzwerks zur Bestimmung einer Pfadvorhersage für ein Fahrzeug.

Offenbarung der Erfindung

Die Erfindung stellt ein Verfahren zur Auswertung von ortsaufgelösten Ist- Sensordaten bereit, die mit mindestens einem Sensor aufgenommen wurden. Dieser Sensor kann insbesondere beispielsweise ein mobiler Sensor sein, der von einer Person, einem Roboter oder einem beliebigen Land-, Wasser- oder Luftfahrzeug mitgeführt wird. Der Sensor kann aber auch beispielsweise ein stationärer Sensor sein, der etwa eine verkehrsreiche Straßenkreuzung beobachtet. Unter ortsaufgelösten Ist-Sensordaten werden beliebige Sensordaten verstanden, die im Rahmen ihrer Erfassung bestimmten Orten zugeordnet werden. Beispielsweise können Radar- und Lidar-Daten als Punktwolken von Messwerten vorliegen, die Punkten im dreidimensionalen Raum zugeordnet sind, von denen aus die jeweils verwendete Abfragestrahlung reflektiert wurde. Bilder ordnen den meistens in einem regelmäßigen Gitter angeordneten Pixeln des für ihre Erfassung verwendeten Sensors Intensitätswerte zu. Abhängig von der Perspektive, aus der das Bild aufgenommen wurde, und der verwendeten Optik korrespondiert jedes Pixel wiederum zu einem Ort im Raum, von dem das jeweils einfallende Licht kommt.

Es werden ein Ort und eine Orientierung des Sensors zum Zeitpunkt der Aufnahme der Sensordaten ermittelt. Dieser Prozess wird auch „Registrierung“ oder „Lokalisierung“ des Sensors in der physischen Welt genannt. Hierfür können beliebige Systeme einzeln oder in Kombination eingesetzt werden.

Beispielsweise können Navigationssysteme auf der Basis von Funksignalen, die von Satelliten oder auch von terrestrischen Stationen abgestrahlt werden, verwendet werden. Alternativ oder in Kombination kann beispielsweise ein Trägheitsnavigationssystem genutzt werden. Wenn der Sensor ein stationärer Sensor ist, ist seine Registrierung bzw. Lokalisierung besonders einfach, weil sein Ort und seine Orientierung vorab bekannt sind.

Aus einer ortsaufgelösten Karte wird anhand des Orts und der Orientierung des Sensors eine ortsaufgelöste Erwartung für die Ist-Sensordaten abgerufen. Diese Erwartung ist in der ortsaufgelösten Karte in Assoziation mit mindestens einer Eigenschaft der beobachteten Szenerie hinterlegt. Sofern die mit dem mindestens einen Sensor beobachtete Szenerie diese in der Karte hinterlegte Eigenschaft tatsächlich aufweist, wird erwartet, dass die Ist-Sensordaten mit der aus der ortsaufgelösten Karte abgerufenen Erwartung im Einklang stehen.

Dies bedeutet im Umkehrschluss, dass dann, wenn die Ist-Sensordaten mit der Erwartung im Einklang stehen, auch die in der Karte hinterlegte Eigenschaft vorliegt. Die Prüfung, ob diese Eigenschaft vorliegt, ist gerade das Ziel des Verfahrens.

Es wird daher geprüft, inwieweit die Ist-Sensordaten im Einklang mit der Erwartung stehen. Zumindest in Bezug auf diejenigen Orte, für die dies der Fall ist, wird festgestellt, dass die mit dem mindestens einen Sensor beobachtete Szenerie die in Verbindung mit der Erwartung in der Karte hinterlegte Eigenschaft aufweist.

Die in der Karte gespeicherte Erwartung repräsentiert gleichsam einen „Fingerabdruck“ der mit dem Sensor beobachteten Szenerie. Dieser „Fingerabdruck“ kann beliebige aus Sensordaten auswertbare Eigenschaften umfassen, wie beispielsweise eine Geometrie, eine Texturierung, eine Multispektralantwort. Als auswertbare Eigenschaften kommen auch beispielsweise grundlegende physikalische Eigenschaften in Betracht, wie etwa eine magnetische Resonanz.

Die Sensordaten können insbesondere beispielsweise Sensordaten sein, die von einem Sensor an einem Fahrzeug oder Roboter aufgenommen wurden. Das Fahrzeug kann ein beliebiges Land-, Wasser- oder Luftfahrzeug sein. Eine wichtige Anwendung des Verfahrens ist im Zusammenhang mit dem Steuern von Fahrzeugen und Robotern die Prüfung der Frage, welche Orte von dem Fahrzeug oder Roboter frei befahren werden können. Zu diesem Zweck kann die in der Karte hinterlegte Eigenschaft eine Aussage umfassen, inwieweit Orte, auf die sich die Erwartung bezieht, von dem Fahrzeug oder Roboter frei befahren werden können. In gleicher Weise ist das Verfahren auch mit mobilen Sensoren anwendbar, die von einer Person mitgeführt werden, um beispielsweise einer blinden Person die begehbaren Bereiche zu signalisieren.

Dies sei an einem einfachen Beispiel verdeutlicht, in dem Kamerabilder als Sensordaten verwendet werden. In der Karte sind dann Kamerabilder erfasst, und in diesen Bildern ist jeweils gelabelt, welche Bereiche vom Fahrzeug frei befahrbar sind und welche nicht. Werden nun bei der Fahrt des Fahrzeugs bestimmte Bereiche an den richtigen Orten anhand der aktuell vom Fahrzeug aufgenommenen Kamerabilder wiedererkannt, so gibt es eine Garantie dafür, dass die zu diesen Bereichen in der Karte hinterlegte Aussage, inwieweit sie vom Fahrzeug frei befahrbar sind oder nicht, dem aktuellen Zustand dieser Bereiche entspricht. Befindet sich z.B. in den während der Fahrt aufgenommenen Kamerabildern an einer bestimmten Stelle ein Hindernis und weicht dieses bzgl. mindestens einer Eigenschaft wie z.B. der optischen Erscheinung oder seiner Geometrie von derselben Eigenschaft des in der Karte hinterlegtem Bildes ab, kann dieses Objekt sicher erkannt werden.

Auf diese Weise kann also eine offene Klassifikationsaufgabe dahingehend, ob ein Bereich frei befahrbar ist (oder dort eine beliebige andere für die Fahrtplanung wichtige Eigenschaft vorliegt), auf einen Vergleich mit in der Karte hinterlegter bekannter Information zurückgeführt werden. Es wurde erkannt, dass die Erkennung, welche Bereiche frei befahrbar sind, hierdurch mit einer wesentlich besseren Sicherheitsintegrität durchgeführt werden kann. Wenn ein räumlicher Bereich an einem bestimmten Ort gleiche oder zumindest ähnliche Sensordaten hervorruft wie sie in der Karte als Erwartung gespeichert sind, folgt hieraus zwingend, dass der Bereich im Vergleich zu seinem Zustand bei der Erstellung der Karte die gleiche Belegung mit Objekten aufweist (also etwa frei von Objekten und somit befahrbar ist) und sich auch keine weiteren Objekte zwischen dem Sensor und diesem Bereich befinden. Jedwedes ungeplante Objekt im fraglichen Bereich oder im Sichtpfad zwischen Sensor und Bereich zerstört die Übereinstimmung zwischen Ist-Sensordaten und Erwartung und hat somit zur Folge, dass der Bereich nicht mehr als frei befahrbar identifiziert wird.

Im Vergleich zu einer offenen Klassifikationsaufgabe, wie sie beispielsweise mit neuronalen Netzwerken gelöst wird, hat dies den Vorteil, dass ein nicht frei befahrbarer Bereich auch dann als nicht frei befahrbar erkannt wird, wenn der Grund für seine fehlende Befahrbarkeit äußerst ungewöhnlich ist und daher nicht in den für das Training des neuronalen Netzwerks verwendeten Trainingsdaten vorkommt. Ereignisse, die zu unwahrscheinlich sind, um in Trainingsdaten vorzukommen, werden auch als „long tails“ bezeichnet.

Beispielsweise gehen auf Autobahnen zuweilen auf Grund mangelnder Ladungssicherung sehr ungewöhnliche Gegenstände verloren, wie etwa Möbelstücke, Elektrogroßgeräte, Skier oder Fahrräder. Das Auftauchen derartiger Gegenstände auf der vom eigenen Fahrzeug befahrenen Fahrbahn ist eine höchst gefährliche Situation und kommt daher glücklicherweise nur selten vor. Das bedeutet aber auch, dass beim Sammeln realer Daten für das Training neuronaler Netzwerke im Rahmen von Testfahrten derartige Beispiele mit hoher Wahrscheinlichkeit nicht vorkommen. Das bewusste Nachstellen derartiger Situationen im öffentlichen Verkehr ist nicht praktikabel.

Ähnliches gilt für die bei Hitzewellen plötzlich auftretenden und gefürchteten „Blow-Ups“, bei denen sich die Betonfahrbahn der Autobahn aufwölbt oder aufbricht. Auch solche Situationen lassen sich nicht trainieren, da in dem Moment, in dem ein „Blow-Up“ im Kamerabild erscheint, ein Unfall kaum noch zu verhindern ist.

Die Erkennung frei befahrbarer Bereiche durch Wiedererkennen in der Karte ist darüber hinaus auch nicht anfällig gegen bewusste Manipulation. Viele Bildklassifikatoren auf der Basis neuronaler Netzwerke können durch böswilliges Einbringen von Störmustern dazu veranlasst werden, eine falsche Klassifikation auszugeben. So lässt sich etwa ein Stoppschild durch das Anbringen eines scheinbar unscheinbaren Aufklebers so manipulieren, dass es als „Tempo 70“- Schild klassifiziert wird. Es ist in Versuchen auch bereits gelungen, durch das Anbringen einer Folie mit einem unauffälligen halbdurchlässigen Punktmuster auf einer Kameralinse die Fähigkeit des nachgeschalteten Bildklassifikators zur Erkennung von Fußgängern vollständig auszuschalten. Die Fußgänger wurden als frei befahrbarer Raum klassifiziert.

Ein Versuch einer derartigen Manipulation wird im Rahmen des hier vorgestellten Verfahrens entweder komplett ignoriert oder führt schlimmstenfalls dazu, dass ein eigentlich frei befahrbarer Bereich nicht als frei befahrbar erkannt wird. Jedwedes unerwartete Problem führt also dazu, dass der betreffende Bereich gemieden wird, statt befahren zu werden („Fail-Safe“).

Weiterhin kann durch die Erwartung bereits eine obere Schranke für diejenigen Bereiche festgelegt werden, die überhaupt als frei befahrbar erkannt werden können. Die Wiedererkennung eines Bereichs in der Erwartung kann nur dann eine Wertung dieses Bereichs als frei befahrbar auslösen, wenn der Bereich im Zusammenhang mit der Erwartung als frei befahrbar markiert wurde. Bereiche, die hier nicht als frei befahrbar markiert wurden, wie etwa Betonbarrieren oder Bäume am Fahrbahnrand, können niemals als frei befahrbar erkannt werden. Die wesentlich bessere Sicherheitsintegrität beim Ermitteln von Eigenschaften der mit dem mindestens einen Sensor beobachteten Szenerie führt dazu, dass die Steuerung eines Fahrzeugs bzw. Roboters gemäß den so ermittelten Eigenschaften mit höherer Wahrscheinlichkeit der jeweiligen Situation angemessen ist. Daher wird vorteilhaft unter Heranziehung der Feststellung, für welche Orte die vom Sensor beobachtete Szenerie die in Verbindung mit der Erwartung in der Karte hinterlegte Eigenschaft aufweist, ein Ansteuersignal für das Fahrzeug oder den Roboter ermittelt. Das Fahrzeug oder der Roboter wird mit diesem Ansteuersignal angesteuert, so dass die Fahrdynamik des Fahrzeugs oder Roboters nach Maßgabe des Ansteuersignals beeinflusst wird.

Der Vergleich der Ist-Sensordaten mit der Erwartung ist nicht auf eine 1:1- Wiedererkennung beschränkt. Stattdessen kann für diese Wiedererkennung in beliebiger Form eine Toleranz, oder auch beispielsweise eine Abstraktion auf bestimmte Merkmale, vorgesehen werden. So sind beispielsweise selbst zwei unmittelbar nacheinander aufgenommene Kamerabilder ein und derselben Szenerie in der Regel nicht völlig identisch.

In einer weiteren besonders vorteilhaften Ausgestaltung werden die Ist- Sensordaten und die Erwartung in ein gemeinsames räumliches Bezugssystem, und/oder in einen gemeinsamen Arbeitsraum, überführt. Die Ist-Sensordaten werden in diesem Bezugssystem bzw. Arbeitsraum mit der Erwartung verglichen. Auf diese Weise können auch Sensordaten und Erwartungen miteinander verglichen werden, die mit unterschiedlichen Modalitäten erfasst wurden. Beispielsweise kann die Erwartung

• eine ortsaufgelöste dreidimensionale Geometrie, und/oder

• eine Texturierung, und/oder

• eine Reflektanzamplitude, und/oder

• eine multispektrale Antwort, und/oder

• eine magnetische Resonanz der von dem mindestens einen Sensor beobachteten Szenerie beinhalten. Eine solche Geometrie kann etwa auf der Basis von Bildaufnahmen ermittelt werden. Eine solche Geometrie lässt sich gut im Hinblick auf frei befahrbare Bereiche oder andere Eigenschaften der Szenerie labeln. Es kann dann beispielsweise geprüft werden, inwieweit Radar-Daten oder Lidar-Daten mit dieser Geometrie im Einklang stehen.

Neben Radar-Sensoren und Lidar-Sensoren kommen für die Erfassung der Sensordaten insbesondere beispielsweise auch stereoskopisch angeordnete Kameras oder Multi- Kamera-Systeme in Betracht. Solche Kameraanordnungen liefern ebenfalls Tiefeninformation, die gegen die Geometrie der Erwartung geprüft werden kann. Ebenfalls sind bewegte monokulare Kameras denkbar, um Tiefeninformation zu generieren. Weiterhin können auch beispielsweise multispektrale Kameras, Time of Flight (ToF)-Sensoren, Kameras mit ereignisbasiert reagierenden Pixeln, Ultraschallsensoren oder auch magnetische Sensoren verwendet werden.

Beispielsweise kann die Prüfung, ob mit einer stereoskopischen Kameraanordnung aufgenommene Sensordaten mit der dreidimensionalen Geometrie der Erwartung im Einklang stehen, eine Prüfung der sogenannten Stereo-Hypothese umfassen. Diese Prüfung beruht darauf, dass die Geometrie der Szenerie die Bilder, die von beiden Kameras der stereoskopischen Kameraanordnung geliefert werden, aneinander koppelt. Wenn also eines der Bilder und die Geometrie der Erwartung vorliegen, ist hierdurch das andere Bild zumindest weitgehend festgelegt.

Daher kann ein von der ersten Kamera der Kameraanordnung geliefertes Bild anhand der Geometrie der Erwartung zu einer Erwartung für das von der zweiten Kamera der Kameraanordnung gelieferte Bild transformiert werden. Es kann dann geprüft werden, inwieweit diese Erwartung mit einem tatsächlich von der zweiten Kamera der Kameraanordnung gelieferten Bild im Einklang steht. Das Transformieren kann insbesondere beispielsweise umfassen, das von der ersten Kamera gelieferte Bild anhand der Geometrie so zu verzerren, dass es zur Perspektive der zweiten Kamera passt.

Zum Vergleich des von der zweiten Kamera gelieferten Bildes mit der Erwartung können insbesondere beispielsweise aus dem von der zweiten Kamera gelieferten Bild einerseits und aus der Erwartung für dieses Bild andererseits jeweils Merkmale extrahiert werden. Diese Merkmale können dann miteinander verglichen werden. Diese Abstraktion zu Merkmalen kann für den Vergleich unwesentliche Unterschiede, beispielsweise im Hinblick auf Farben oder Beleuchtung, einebnen.

Es kann insbesondere beispielsweise für jedes zu vergleichende Merkmal binär entschieden werden, ob ein Merkmal aus dem Bild mit dem hierzu korrespondierenden Merkmal aus der Erwartung für dieses Bild im Einklang steht. Aus der Anzahl der jeweils miteinander im Einklang stehenden Merkmale kann dann ein Grad der Übereinstimmung zwischen dem Bild und der Erwartung ermittelt werden. Es kann also beispielsweise eine Hamming-Distanz zwischen den untersuchten Kombinationen von Merkmalen ermittelt werden, die um so größer ist, je mehr Merkmale des Bildes einerseits und der Erwartung andererseits nicht miteinander im Einklang stehen.

In einer weiteren vorteilhaften Ausgestaltung wird zusätzlich geprüft, inwieweit ein vorgegebenes Test-Bild, das nicht die vom Sensor beobachtete Szenerie zeigt, mit der Erwartung für das von der zweiten Kamera der Kameraanordnung gelieferte Bild im Einklang steht. Dieser Grad an Übereinstimmung wird dann als Rauschniveau für die ermittelte Übereinstimmung zwischen dem von der zweiten Kamera der Kameraanordnung gelieferten Bild und der Erwartung für dieses Bild herangezogen. Auf diese Weise kann ein Signal- Rausch- Abstand für die Übereinstimmung des von der zweiten Kamera gelieferten Bildes mit der Erwartung für dieses Bild ermittelt werden. Dieser Signal- Rausch- Abstand ist aussagekräftiger als die Übereinstimmung allein. Beispielsweise kann die Aussagekraft des Bildes dadurch geschmälert sein, dass große Teile hiervon durch Über- oder Unterbelichtung in die Sättigung geraten sind.

Das Verfahren lässt sich auch dahingehend verallgemeinern, dass Ist- Sensordaten mit mehreren Sensormodalitäten aufgenommen und die Ergebnisse anschließend zusammengeführt werden. Daher wird in einer weiteren vorteilhaften Ausgestaltung für Ist-Sensordaten, die mit mehreren verschiedenen Sensoren aufgenommen wurden, jeweils separat geprüft, für welche Orte diese Ist-Sensordaten jeweils mit der aus der Karte abgerufenen Erwartung im Einklang stehen. Es wird dann insgesamt nur für diejenigen Orte, für die die Ist- Sensordaten aller Sensoren jeweils mit der Erwartung im Einklang stehen, festgestellt, dass die Ist-Sensordaten insgesamt mit der Erwartung im Einklang stehen. So wird beispielsweise ein Bereich erst dann als vom Fahrzeug oder Roboter frei befahrbar gewertet, wenn er auf der Basis der von mehreren Sensoren unterschiedlicher Sensormodalitäten (etwa Lidar und stereoskopische Kamera) gelieferten Sensordaten unabhängig voneinander als frei befahrbar erkannt wurde.

Beispielsweise kann zunächst geprüft werden, inwieweit aktuelle Lidar-Daten mit einer in der Karte hinterlegten Geometrie der Szenerie im Einklang stehen. Parallel hierzu kann beispielsweise geprüft werden, inwieweit von einer stereoskopischen Kameraanordnung gelieferte Bilder mit dieser Geometrie im Einklang stehen. Zu diesem Zweck kann beispielsweise die Geometrie in das Bezugssystem der ersten Kamera der Kameraanordnung transformiert werden. Es kann dann, wie oben beschrieben, die Stereo-Hypothese geprüft werden, indem das von der ersten Kamera der Kameraanordnung gelieferte Bild anhand der Geometrie zu einer Erwartung für das von der zweiten Kamera der Kameraanordnung gelieferte Bild transformiert wird und diese Erwartung mit dem tatsächlich von der zweiten Kamera gelieferten Bild verglichen wird. Nur für Orte, bezüglich derer sowohl die Lidar-Daten als auch die von der stereoskopischen Kameraanordnung gelieferten Bilder jeweils mit der als Erwartung in der Karte hinterlegten Geometrie im Einklang stehen, kann dann festgestellt werden, dass diese Orte die gesuchte Eigenschaft (wie etwa die freie Befahrbarkeit dieser Orte) entsprechend der Karte aufweisen.

In einer weiteren vorteilhaften Ausgestaltung werden Ist-Sensordaten, deren Übereinstimmung mit der Erwartung geprüft wird, gegen Ist-Sensordaten, die mit einem weiteren Sensor aufgenommen wurden, plausibilisiert. Eine Übereinstimmung mit der Erwartung wird dann nur bezüglich derjenigen Orte festgestellt oder beibehalten, für die diese Plausibilisierung positiv verläuft. Es findet also nur ein Vergleich anstatt zwei Vergleichen zwischen einer Sensormodalität und der Erwartung statt. Im Übrigen werden die beiden Sensormodalitäten untereinander verglichen. Es kann also beispielsweise ein Bereich nur dann für frei befahrbar erklärt werden, wenn er sich zum einen anhand des Abgleichs von Lidar-Daten mit der als Erwartung hinterlegten Geometrie als frei befahrbar herausstellt und wenn zum anderen in diesem Bereich die Lidar-Daten konsistent mit von einer stereoskopischen Kameraanordnung gelieferten Bildern sind.

In einer weiteren vorteilhaften Ausgestaltung wird ein ermittelter Ort, und/oder eine ermittelte Orientierung, optimiert mit dem Ziel, die Übereinstimmung der Ist- Sensordaten mit der Erwartung zu maximieren. Wie zuvor erläutert, kommt es für den Vergleich von Ist-Sensordaten mit der Erwartung darauf an, dass die Erwartung für den richtigen Ort und die richtige Orientierung des Sensors aus der Karte abgerufen wird. Nur dann kann die Erwartung anhand der aktuellen Ist- Sensordaten richtig wiedererkannt werden. Jedes Verfahren zur Bestimmung des Ortes und der Orientierung hat nun aber eine begrenzte Genauigkeit. Wenn sich nun etwa durch eine zusätzliche Verschiebung des ermittelten Orts des Sensors, und/oder durch eine zusätzliche Verkippung oder Verdrehung der ermittelten Orientierung dieses Sensors, die Übereinstimmung der Sensordaten mit der Erwartung deutlich verbessern lässt, deutet dies darauf hin, dass der zuvor ermittelte Ort, bzw. die zuvor ermittelte Orientierung, des Sensors nicht ganz richtig war. Alternativ oder in Kombination hierzu kann jede andere Technik verwendet werden, um die Ist-Sensordaten und die Karte in ein gemeinsames Bezugssystem zu überführen.

Das Verfahren kann insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann. Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.

Ausführungsbeispiele

Es zeigt:

Figur 1 Ausführungsbeispiel des Verfahrens 100 zur Auswertung ortsaufgelöster Ist-Sensordaten 2;

Figur 2 Beispielhafte Anwendung des Verfahrens 100 an einer Straßenszene.

Figur 1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Auswertung ortsaufgelöster Ist-Sensordaten 2 im Hinblick darauf, an welchen Orten die von einem Sensor 1 beobachtete Szenerie eine interessierende Eigenschaft 5 aufweist.

In Schritt 105 können Sensordaten 2 gewählt werden, die von einem Sensor 1 an einem Fahrzeug 50 oder Roboter 60 aufgenommen wurden.

In Schritt 106 können Sensordaten 2 gewählt werden, die mit einem Radar- Sensor, einem Lidar-Sensor, und/oder einer stereoskopischen Kameraanordnung, aufgenommen wurden.

In Schritt 110 werden ein Ort la und eine Orientierung lb des Sensors 1 zum Zeitpunkt der Aufnahme der Sensordaten 2 ermittelt. In Schritt 120 wird aus einer ortsaufgelösten Karte 3 anhand des Orts la und der Orientierung lb des Sensors 1 eine ortsaufgelöste Erwartung 4 abgerufen.

Weiterhin ist in der Karte 3 auch ortsaufgelöst eine interessierende Eigenschaft 5 hinterlegt. Die Eigenschaft 5 ist mit der Erwartung 4 dahingehend verkoppelt, dass unter der Voraussetzung, dass die vom Sensor 1 beobachtete Szenerie ab einem Ort die Eigenschaft 5 aufweist, die Ist-Sensordaten 2 mit der Erwartung 4 im Einklang stehen sollten.

In Schritt 130 wird geprüft, inwieweit die Ist-Sensordaten 2 im Einklang mit der Erwartung 4 stehen.

In Schritt 140 wird zumindest in Bezug auf diejenigen Orte, für die die Ist- Sensordaten 2 im Einklang mit der Erwartung 4 stehen, festgestellt, dass die vom Sensor 1 beobachtete Szenerie die in Verbindung mit der Erwartung 4 in der Karte 3 hinterlegte Eigenschaft 5 aufweist. Dies ist in Figur 2 an einem Beispiel illustriert.

In Schritt 150 wird unter Heranziehung der Feststellung, für welche Orte die vom Sensor 1 beobachtete Szenerie die in Verbindung mit der Erwartung 4 in der Karte 3 hinterlegte Eigenschaft 5 aufweist, ein Ansteuersignal 150a für das Fahrzeug 50 oder den Roboter 60 ermittelt.

In Schritt 160 wird das Fahrzeug 50 oder der Roboter 60 mit diesem Ansteuersignal 150a angesteuert, so dass die Fahrdynamik des Fahrzeugs 50 oder Roboters 60 nach Maßgabe des Ansteuersignals 150a beeinflusst wird.

Gemäß Block 111 kann ein ermittelter Ort la, und/oder eine ermittelte Orientierung lb, optimiert werden mit dem Ziel, die Übereinstimmung der Ist- Sensordaten 2 mit der Erwartung 4 zu maximieren.

Gemäß Block 121 kann die in der Karte 3 hinterlegte Eigenschaft 5 insbesondere beispielsweise eine Aussage umfassen, inwieweit Orte, auf die sich die Erwartung 4 bezieht, von dem Fahrzeug 50 oder Roboter 60 frei befahren werden können. Gemäß Block 122 kann die Erwartung 4 insbesondere beispielsweise eine ortsaufgelöste dreidimensionale Geometrie der vom Sensor 1 beobachteten Szenerie beinhalten.

Gemäß Block 131 können die Ist-Sensordaten 2 und die Erwartung 4 in ein gemeinsames räumliches Bezugssystem, und/oder in einen gemeinsamen Arbeitsraum, überführt werden. Gemäß Block 132 können die Ist-Sensordaten 2 dann in diesem Bezugssystem bzw. Arbeitsraum mit der Erwartung 4 verglichen werden.

Gemäß Block 133 kann zur Prüfung, ob mit einer stereoskopischen Kameraanordnung aufgenommene Sensordaten 2 mit der dreidimensionalen Geometrie der Erwartung 4 im Einklang stehen, ein von der ersten Kamera dieser Kameraanordnung geliefertes Bild anhand der Geometrie der Erwartung 4 zu einer Erwartung für das von der zweiten Kamera der Kameraanordnung geliefertes Bild transformiert werden. Gemäß Block 134 kann dann geprüft werden, inwieweit diese Erwartung mit einem tatsächlich von der zweiten Kamera der Kameraanordnung gelieferten Bild im Einklang steht.

Diese Prüfung wiederum kann beinhalten, gemäß Block 134a aus dem von der zweiten Kamera gelieferten Bild einerseits und aus der Erwartung für dieses Bild andererseits jeweils Merkmale zu extrahieren und gemäß Block 134b diese Merkmale miteinander zu vergleichen.

Dieser Vergleich wiederum kann beinhalten, gemäß Block 134c für jedes Merkmal binär zu entscheiden, ob ein Merkmal aus dem Bild mit dem hierzu korrespondierenden Merkmal aus der Erwartung für dieses Bild im Einklang steht, und gemäß Block 134d aus der Anzahl der jeweils miteinander im Einklang stehenden Merkmale einen Grad der Übereinstimmung zwischen dem Bild und der Erwartung zu ermitteln.

Gemäß Block 135 kann zusätzlich geprüft werden, inwieweit ein vorgegebenes Test-Bild, das nicht die vom Sensor 1 beobachtete Szenerie zeigt, mit der Erwartung für das von der zweiten Kamera der Kameraanordnung gelieferte Bild im Einklang steht. Gemäß Block 136 kann dieser Grad an Übereinstimmung als Rauschniveau für die ermittelte Übereinstimmung zwischen dem von der zweiten Kamera der Kameraanordnung gelieferten Bild und der Erwartung für dieses Bild herangezogen werden.

Gemäß Block 137 kann für Ist-Sensordaten 2, die mit mehreren verschiedenen Sensoren 1 aufgenommen wurden, jeweils separat geprüft werden, für welche Orte diese Ist-Sensordaten 1 jeweils mit der aus der Karte 3 abgerufenen Erwartung 4 im Einklang stehen. Gemäß Block 138 kann dann insgesamt nur für diejenigen Orte, für die die Ist-Sensordaten 2 aller Sensoren 1 jeweils mit der Erwartung im Einklang stehen, festgestellt werden, dass die Ist-Sensordaten 2 insgesamt mit der Erwartung 4 im Einklang stehen.

Gemäß Block 141 können Ist-Sensordaten 2, deren Übereinstimmung mit der Erwartung 4 geprüft wird, gegen Ist-Sensordaten 2, die mit einem weiteren Sensor 1 aufgenommen wurden, plausibilisiert werden. Gemäß Block 142 kann dann eine Übereinstimmung mit der Erwartung 4 nur bezüglich derjenigen Orte festgestellt oder beibehalten werden, für die diese Plausibilisierung positiv verläuft.

Figur 2 zeigt eine beispielhafte Anwendung des Verfahrens 100 auf eine Straßenszene.

Der Sensor 1 wird in diesem Beispiel von einem nicht eingezeichneten Fahrzeug mitgeführt. Aus einer Perspektive, die durch den Ort la und die Orientierung lb des Sensors 1 festgelegt ist, erfasst der Sensor 1 innerhalb seines Erfassungsbereichs lc Ist-Sensordaten 2. In dem in Figur 2 gezeigten Beispiel umfasst die Szenerie eine Straße 10 mit einem vorausfahrenden Fahrzeug 12 sowie einen Baum 11 am Straßenrand.

In der ortsaufgelösten Karte 3 sind die Straße 10 und der Baum 11 ebenfalls erfasst, es fehlt jedoch das vorausfahrende Fahrzeug 12. Für den Bereich der Straße 10 ist die interessierende Eigenschaft 5 hinterlegt, dass dieser Bereich frei befahrbar ist. Die in der Karte 3 enthaltene Ansicht und/oder Geometrie der Szenerie wird als Erwartung 4 mit den Ist-Sensordaten 2 verglichen. Hierbei wird für das Gebiet der Straße 10 größtenteils festgestellt, dass die Ist-Sensordaten 2 im Einklang mit der Erwartung 4 stehen und in Verbindung mit der Erwartung 4 zugleich in der Karte 3 die Eigenschaft 5 hinterlegt ist, dass es sich um frei befahrbares

Gebiet handelt. Dementsprechend wird dieses Gebiet für frei befahrbar befunden.

Ausgenommen ist hier lediglich der Bereich mit dem vorausfahrenden Fahrzeug 12. Da dieses in der Karte 3 fehlt, weichen die Ist-Sensordaten 2 hier von der

Erwartung 4 ab. Dementsprechend wird der Bereich mit dem vorausfahrenden Fahrzeug 12 nicht für frei befahrbar befunden.