Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR RECOGNIZING A LINE IN A CAMERA IMAGE FOR A MACHINE OR A TRANSMITTING SYSTEM, AND RECOGNITION SYSTEM FOR A MACHINE OR A TRANSMITTING SYSTEM
Document Type and Number:
WIPO Patent Application WO/2024/056389
Kind Code:
A1
Abstract:
The approach presented here relates to a method for recognizing a line (110) in a camera image for a machine (100). The method comprises a reading step, a recognizing step and a generating step. In the reading step, a camera signal (140) is read from an interface to a camera (120), the camera signal (140) representing the camera image of the camera (120). In the recognizing step, the presence of the line (110) in the camera image is recognized using at least one anchor (145) having at least one base anchor point (150). In the generating step, a line regression (155) of the line (110) is generated using at least the base anchor point (150), the line regression (155) having a first regression point which was shifted relative to the base anchor point (150) and having at least one additional regression point which was generated relative to a previously generated regression point, in order to recognize the line (110).

Inventors:
JANAI JOEL (DE)
WENZEL THOMAS (DE)
KAPELNER TAMAS (DE)
SULTAN AZHAR (DE)
Application Number:
PCT/EP2023/073873
Publication Date:
March 21, 2024
Filing Date:
August 31, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G06V20/56; G06T7/13; G06V10/44; G06V10/766
Other References:
LI XIANG ET AL: "Line-CNN: End-to-End Traffic Line Detection With Line Proposal Unit", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 21, no. 1, 1 January 2020 (2020-01-01), pages 248 - 258, XP011764027, ISSN: 1524-9050, [retrieved on 20191231], DOI: 10.1109/TITS.2019.2890870
QU ZHAN ET AL: "Focus on Local: Detecting Lane Marker from Bottom Up via Key Point", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 20 June 2021 (2021-06-20), pages 14117 - 14125, XP034009288, DOI: 10.1109/CVPR46437.2021.01390
WANG JINSHENG ET AL: "A Keypoint-based Global Association Network for Lane Detection", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 18 June 2022 (2022-06-18), pages 1382 - 1391, XP034194032, DOI: 10.1109/CVPR52688.2022.00145
Download PDF:
Claims:
Ansprüche

1. Verfahren (400) zum Erkennen einer Linie (110) in einem Kamerabild (300) für eine Maschine (100) oder für ein Übermittlungssystem, wobei das Verfahren (400) die folgenden Schritte aufweist:

Einlesen (405) eines Kamerasignals (140) von einer Schnittstelle zu einer Kamera (120), wobei das Kamerasignal (140) das Kamerabild (300) der Kamera (120) repräsentiert;

Erkennen (410) eines Vorhandenseins der Linie (110) in dem Kamerabild (300) unter Verwendung zumindest eines Ankers (145) mit zumindest einem Basisankerpunkt (150); und

Erzeugen (415) einer Linienregression (155) der Linie (110) unter Verwendung zumindest des Basisankerpunkts (150), wobei die Linienregression (155) einen ersten Regressionspunkt (200) aufweist, der relativ zu dem Basisankerpunkt (150) verschoben wurde, und zumindest einen weiteren Regressionspunkt (210) aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie (110) zu erkennen.

2. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (420) des Ausgebens, in dem unter Verwendung der Linienregression (155) ein Steuersignal (165) zum Ansteuern einer Funktion (170) der Maschine (100), insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben wird.

3. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (410) des Erkennens die Linie (110) in einem Randbereich des Kamerabilds (300) unter Verwendung des zumindest einen Ankers (145) erkannt wird und/oder in einer Zelle (310) des in eine Vielzahl von Zellen (310, 311, 312) eingeteilten Kamerabilds (300) unter Verwendung des Ankers (145) der jeweiligen Zelle (310) erkannt wird. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (410) des Erkennens die Linie (110) in dem Kamerabild (300) erkannt wird, wenn zumindest der Basisankerpunkt (150) des Ankers (145) durch die Linie (110) verläuft. Verfahren (400) gemäß Anspruch 4, bei dem im Schritt (410) des Erkennens die Linie (110) in dem Kamerabild (300) erkannt wird, wenn der gesamte Anker durch die Linie (110) verläuft. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, wobei die Linie (110) eine Fahrbahnmarkierung oder eine Kante eines Objekts repräsentiert. Vorrichtung (105), die eingerichtet ist, um die Schritte (405, 410, 415, 420) des Verfahrens (400) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (125, 130, 135, 160) auszuführen und/oder anzusteuern. Erkennsystem (175) für eine Maschine (100) oder ein Übermittlungssystem, wobei das Erkennsystem (175) eine Vorrichtung (105) gemäß Anspruch 7 und eine Kamera (120) zum Bereitstellen des Kamerasignals (140) aufweist. Computerprogramm, das dazu eingerichtet ist, die Schritte (405, 410, 415, 420) des Verfahrens (400) gemäß einem der Ansprüche 1 bis 6 auszuführen und/oder anzusteuern. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.

Description:
Beschreibung

Titel

Verfahren und Vorrichtung zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem und Erkennsystem für eine Maschine oder ein Übermittlungssystem

Stand der Technik

Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.

Fahrassistenzsysteme nutzen beispielsweise für einen Fahrspurassistenten eine Fahrspurerkennung.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, ein entsprechendes Computerprogramm sowie schließlich ein Erkennsystem für eine Maschine oder ein Übermittlungssystem gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.

Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass eine besonders gleichmäßige Vorhersage einer Linie ermöglicht wird. Es wird ein Verfahren zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem vorgestellt. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Erkennens und einen Schritt des Erzeugens auf. Im Schritt des Einlesens wird ein Kamerasignal von einer Schnittstelle zu einer Kamera eingelesen, wobei das Kamerasignal das Kamerabild der Kamera repräsentiert. Im Schritt des Erkennens wird ein Vorhandensein der Linie in dem Kamerabild unter Verwendung zumindest eines Ankers, gemäß einer Ausführungsform unter Verwendung von mehreren Ankern mit jeweils zumindest einem Basisankerpunkt erkannt. Im Schritt des Erzeugens wird eine Linienregression der Linie unter Verwendung zumindest des Basisankerpunkts erzeugt, wobei die Linienregression einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie zu erkennen.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.

Die Maschine kann eine vollständig oder teilweise computergesteuerte Maschine sein, beispielsweise ein Fahrzeug. Das Übermittlungssystem kann ein System zur Übermittlung von Informationen, wie z. B. ein Überwachungssystem oder ein medizinisches, beispielsweise bildgebendes, System sein. Die Kamera kann eine Fahrzeugkamera, beispielsweise eine Fahrzeugkamera eines Umfelderfassungssystems des Fahrzeugs sein. Im Schritt des Erkennens kann beispielsweise ein Gitter über das Kamerabild gelegt werden, und das Vorhandensein der Linie erkannt werden, wenn in zumindest einer Zelle des Gitters die Linie erkannt wird. Im Schritt des Erkennens kann beispielsweise ein Klassifizieren eines erkannten Objekts durchgeführt werden, um die Linie zu erkennen, beispielsweise unter Verwendung eines Merkmalsextraktors. Die Linie kann eine Fahrbahnmarkierung oder eine Kante eines Objekts repräsentieren. Beispielsweise kann die Linie einen Teil einer Fahrspur repräsentieren. Der oder die Anker können eine Vorlage oder ein Muster aufweisen, nach welchem in dem Kamerabild gesucht wird. Beispielsweise können unterschiedliche Anker verwendet werden, um unterschiedliche Linien im Kamerabild zu erkennen. Im Schritt des Erzeugens kann die Linienregression erzeugt werden, die einen Versatz, auch „Offset“ genannt, ausgleicht. Beispielsweise kann im Schritt des Erzeugens die Linienregression erzeugt werden, wenn der Basisankerpunkt in einer Zellmitte einer Zelle des Gitters und/oder auf einer Linie erkannt wurde. Beispielsweise kann im Schritt des Erzeugens die Linienregression erzeugt werden, wobei der erste Regressionspunkt relativ zu dem Basisankerpunkt auf einer x-Achse verschoben wurde und der erste weitere Regressionspunkt relativ zu dem ersten Regressionspunkt auf der x-Achse und einer senkrecht zu der x- Achse verlaufenden y-Achse verschoben erzeugt wurde, und folgende weitere Regressionspunkt relativ zu dem jeweils zuvor erzeugten Regressionspunkt auf der x-Achse und der y-Achse verschoben erzeugt wurde, um die Linie zu erkennen. Ein solches Verfahren ermöglicht die Linienregression, die auch als „Regressionsdarstellung“ bezeichnet werden kann, bei der Fahrspurerkennung, indem es die Offsets/Abweichung jedes Punktes entlang der Linie/Fahrspur relativ zum vorherigen Punkt und nicht relativ zum Anker vorhersagt. Dies führt vorteilhafterweise zu einer besonders gleichmäßigen Vorhersage der Linie. Die Vorhersage beschreibt den Versatz in den Bildkoordinaten, der auf den Anker angewendet werden muss, um die Linie in das Bild einzupassen.

Das Verfahren kann ferner einen Schritt des Ausgebens aufweisen, in dem unter Verwendung der Linienregression ein Steuersignal zum Ansteuern einer Funktion der Maschine, insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben wird. So kann unter Verwendung der Linienregression, welche einen Verlauf der Linie beispielsweise in Form einer Fahrspur Vorhersagen kann, ein Fahrzeug gesteuert werden, beispielsweise, um das Fahrzeug innerhalb der Fahrspur zu halten.

Gemäß einer Ausführungsform kann im Schritt des Erkennens die Linie in einem Randbereich des Kamerabilds unter Verwendung des zumindest einen Ankers und/oder in einer Zelle des in eine Vielzahl von Zellen eingeteilten Kamerabilds unter Verwendung des Ankers der jeweiligen Zelle erkannt werden. Beispielsweise kann im Schritt des Erkennens die Linie in einer Zellmitte der Zelle erkannt werden. So kann schnell und einfach der Randbereich des Kamerabilds in einzelnen Zellen nach Linien abgesucht werden. Es ist weiterhin von Vorteil, wenn gemäß einer Ausführungsform im Schritt des Erkennens die Linie in dem Kamerabild erkannt wird, wenn zumindest der Basisankerpunkt des Ankers durch die Linie verläuft. Im Schritt des Erkennens kann die Linie in dem Kamerabild aber auch erkannt werden, wenn nur der Basisankerpunkt durch die Linie verläuft oder in der Nähe der Linie verläuft. So kann zum Erkennen der Linie eine ankerlose Methode eingesetzt werden, bei der als Anker lediglich der Basisankerpunkt notwendig ist.

Alternativ kann im Schritt des Erkennens die Linie in dem Kamerabild erkannt werden, wenn der gesamte Anker durch die Linie oder in der Nähe der Linie verläuft. So kann eine ankerbasierte Methode zum Erkennen der Linie dienen. Als gesamter Anker ist ein Anker zu verstehen, der mehr als einen Basisankerpunkt aufweist, beispielsweise ein linienförmiger Anker.

Als „in der Nähe“ ist beispielsweise eine Abweichung von wenigen Pixeln verstanden werden.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ein Erkennsystem für eine Maschine oder ein Übermittlungssystem weist die vorangehend beschriebene Vorrichtung und eine Kamera zum Bereitstellen des Kamerasignals auf. Ein solches Erkennsystem kann als vollumfängliches System zum automatisierten Erkennen von Linien wie Fahrspuren dienen, wobei dank der Vorrichtung Linien wie Fahrspuren besonders gleichmäßig vorhergesagt werden können. Das Erkennsystem kann Teil eines Fahrassistenzsystems für ein Fahrzeug sein. Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 eine schematische Darstellung einer Maschine mit einer Vorrichtung gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild;

Fig. 2 eine schematische Darstellung einer Linienregression, die unter Verwendung einer Erzeugungseinrichtung einer Vorrichtung gemäß einem Ausführungsbeispiel erzeugt wurde;

Fig. 3 eine schematische Darstellung eines Kamerabilds zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel; und

Fig. 4 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt eine schematische Darstellung einer Maschine 100 mit einer Vorrichtung 105 gemäß einem Ausführungsbeispiel zum Erkennen einer Linie 110 in einem Kamerabild.

Lediglich beispielhaft ist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel an oder in der Maschine 100 angeordnet, die hier beispielhaft als ein Fahrzeug ausgeformt ist. Gemäß einem Ausführungsbeispiel ist die Vorrichtung 105 in ein Steuergerät der Maschine 100 implementiert. Die Maschine 100 weist ferner gemäß diesem Ausführungsbeispiel eine Kamera 120 auf, die hier beispielhaft als eine Umfelderfassungskamera zum Erfassen eines Umfelds der Maschine 100 ausgeformt ist. Gemäß einem alternativen Ausführungsbeispiel ist die Vorrichtung 105 entsprechend mit einem Übermittlungssystem einsetzbar.

Die Vorrichtung 105 weist eine Einleseschnittstelle 125, eine Erkenneinrichtung 130 und eine Erzeugungseinrichtung 135 auf. Die Einleseschnittstelle 125 ist ausgebildet, um ein Kamerasignal 140 von einer Schnittstelle zu der Kamera 120 einzulesen, wobei das Kamerasignal 140 das Kamerabild der Kamera 120 repräsentiert. Die Erkenneinrichtung 130 ist ausgebildet, um ein Vorhandensein der Linie 110 in dem Kamerabild unter Verwendung eines Ankers 145 mit zumindest einem Basisankerpunkt 150 zu erkennen. Die Erzeugungseinrichtung 135 ist ausgebildet, um eine Linienregression 155 der Linie 110 unter Verwendung zumindest des Basisankerpunkts 150 zu erzeugen, wobei die Linienregression 155 einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und einen zweiten Regressionspunkt aufweist, der relativ zu dem ersten Regressionspunkt erzeugt wurde, und entsprechend zu dem zweiten Regressionspunkt zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie 110 zu erkennen. Eine genauere Darstellung der Linienregression 155 ist in Fig. 2 gezeigt.

Die Kamera 120 ist gemäß diesem Ausführungsbeispiel als eine Fahrzeugkamera, beispielsweise eine Fahrzeugkamera eines Umfelderfassungssystems des Fahrzeugs ausgeformt. Der Anker 145 umfasst eine Vorlage oder ein Muster, nach welchem mittels der Erkenneinrichtung 130 in dem Kamerabild gesucht wird, um die Linie 110 zu erkennen. Die Erzeugungseinrichtung 135 ist gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression 155 zu erzeugen, die einen Versatz, auch „Offset“ genannt, ausgleicht. Die hier vorgestellte Vorrichtung 105 ermöglicht die Linienregression 155, die auch als „Regressionsdarstellung“ bezeichnet werden kann, bei der Fahrspurerkennung, indem die Offsets/Abweichungen jedes Punktes entlang der Linie 110, die gemäß diesem Ausführungsbeispiel eine Fahrspur ist, relativ zum vorherigen Punkt und nicht relativ zum Anker 145 vorhersagt werden. Dies führt vorteilhafterweise zu einer besonders gleichmäßigen Vorhersage der Linie 110, siehe auch Fig. 2. Optional weist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel ferner eine Ausgabeeinrichtung 160 auf, die ausgebildet ist, um unter Verwendung der Linienregression 155 ein Steuersignal 165 zum Ansteuern einer Funktion 170 der Maschine 100, hier des Fahrzeugs, oder alternativ des Übermittlungssystems auszugeben. So kann unter Verwendung der Linienregression 155, welche einen Verlauf der Linie 110 beispielsweise in Form einer Fahrspur Vorhersagen kann, die Maschine 100 gesteuert werden, beispielsweise das Fahrzeug innerhalb der Fahrspur gehalten werden.

Gemäß diesem Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in einem Randbereich des Kamerabilds und/oder in einer Zelle des in eine Vielzahl von Zellen eingeteilten Kamerabilds unter Verwendung des Ankers 145 zu erkennen, siehe hierzu auch Fig. 3.

Gemäß diesem Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn zumindest der Basisankerpunkt 150 des Ankers 145 durch die Linie 110 verläuft. Oder die Erkenneinrichtung 130 ist gemäß einem Ausführungsbeispiel ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn nur der Basisankerpunkt 150 durch die Linie 110 verläuft oder in der Nähe der Linie 110 verläuft. So wird gemäß einem Ausführungsbeispiel zum Erkennen der Linie 110 eine ankerlose Methode eingesetzt, bei der als Anker 145 lediglich der Basisankerpunkt 150 notwendig ist. Gemäß einem alternativen Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn der gesamte Anker durch die Linie 110 oder in der Nähe der Linie 110 verläuft. So wird gemäß einem anderen Ausführungsbeispiel zum Erkennen der Linie 110 eine ankerbasierte Methode eingesetzt. Als gesamter Anker 145 ist ein Anker 145 zu verstehen, der mehr als den Basisankerpunkt 150 aufweist, beispielsweise ein linienförmiger Anker. Als „in der Nähe“ ist eine Abweichung von beispielsweise höchstens 5 Millimetern zu verstehen.

Zusammen mit der Kamera 120 kann die hier vorgestellte Vorrichtung 105 auch als ein Erkennsystem 175 bezeichnet werden. Das Erkennsystem 175 ist gemäß einem Ausführungsbeispiel Teil eines Fahrassistenzsystems 180 des Fahrzeugs. Die hier vorgestellte Vorrichtung 105 ermöglich eine Delta- Regression/- Rückführung zur Fahrspurerkennung.

Traditionell basieren tiefe Objektdetektoren, die in der Computer Vision verwendet werden, auf einem Konzept namens „Anker“, d. h. sogenannte „Prior- Boxen“ werden als Prototypen für die Erkennung verwendet. In diesem Zusammenhang sagen die Detektoren Verschiebungen/Offsets der Boxen relativ zu den jeweiligen Ankern voraus. Die Erkennung von Fahrspuren ist ein Spezialfall der Objekterkennung, bei der die Objekte nicht durch Boxen, sondern durch Linienzüge gekennzeichnet sind. Daher werden neben traditionellen Instanzsegmentierungsmethoden auch ankerbasierte Objekterkennungsmethoden eingesetzt.

Die hier vorgestellte Vorrichtung 105 ändert die Regressionsdarstellung der Fahrspurerkennungsaufgabe, indem sie die Offsets/Abweichung jedes Punktes entlang der Fahrspur relativ zum vorherigen Punkt und nicht relativ zum Anker 145 vorhersagt. Der hier vorgestellte Ansatz kann sowohl als ankerbasierte als auch als ankerlose Methode formuliert werden. In beiden Fällen wird nur der Basisankerpunkt 150 der Anker 145 aus verwendet (Zellmitten), der Unterschied liegt lediglich im Anpassungsschritt.

Diese Formulierung führt zu einer gleichmäßigeren Vorhersage der Linie 110 im Vergleich zu einer ebenfalls möglichen Regressionsdarstellung, bei der alle Regressionspunkte relativ zum Anker erzeugt werden. Da die Anker 145 überflüssig werden, führt dies auch zu einem kleineren neuronalen Netz.

Die hier vorgestellte Vorrichtung 105 arbeitet mit Daten der folgenden Typen, die gemäß einem Ausführungsbeispiel durch den Empfang von digitalen Bildern und/oder Videos erhalten werden, um das Steuersignal 165 zur Steuerung eines physikalischen Systems zu berechnen, wie z. B. eine computergesteuerte Maschine 100, wie z. B. ein Roboter, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem, oder ein System zur Übermittlung von Informationen, wie z. B. ein Überwachungssystem oder ein medizinisches, beispielsweise bildgebendes, System.

Die Vorrichtung 105 tut dies, indem sie das Vorhandensein von Objekten in den Sensordaten erkennt, insbesondere Fahrspuren oder andere Arten von linienbasierten Straßenmarkierungen.

Die Vorrichtung 105 arbeitet mit Bildern, daher muss eine Bildaufnahme in Form des Kamerabilds vorhanden sein, die als Eingabe für den hier vorgestellten Ansatz dient.

Fig. 2 zeigt eine schematische Darstellung einer Linienregression 155, die unter Verwendung einer Erzeugungseinrichtung einer Vorrichtung gemäß einem Ausführungsbeispiel erzeugt wurde. Dabei kann es sich um die in Fig. 1 beschriebene Vorrichtung handeln.

Die Linienregression 155 weist den ersten Regressionspunkt 200 auf, der relativ zu dem Basisankerpunkt 150 des Ankers verschoben wurde. Ausgehend von dem ersten Regressionspunkt 200 wurden weitere Regressionspunkte 210 erzeugt, jeweils relativ zu einem direkt zuvor erzeugten Regressionspunkt 200, 210. Beispielsweise ist die Erzeugungseinrichtung gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression 155 zu erzeugen, wobei der erste Regressionspunkt 200 relativ zu dem Basisankerpunkt 150 auf einer x-Achse verschoben wurde, der erste weitere Regressionspunkt 210 relativ zu dem zuvor erzeugten ersten Regressionspunkt 200 auf der x-Achse und der y-Achse verschoben erzeugt wurde, und die nachfolgenden weiteren Regressionspunkte 210 relativ zu dem jeweils zuvor erzeugten weiteren Regressionspunkt 210 auf der x-Achse und der y-Achse verschoben erzeugt wurden, um die Linie 110 zu erkennen. Gemäß diesem Ausführungsbeispiel weist die Linienregression 155 zumindest fünf weitere Regressionspunkte 210 auf, die je relativ zu dem zuvor erzeugten Regressionspunkt 200, 210 auf der x- Achse und der y-Achse verschoben erzeugt wurden. Bei bekannten Regressionen werden die Koordinaten relativ zu den Ankern vorausgesagt, d. h. die Vorhersage beschreibt einen Versatz in den Bildkoordinaten, der auf den Anker angewendet werden muss, um die Linie lediglich auf der x-Achse in das Bild einzupassen. Anders als die bekannte Regressionsmethode ist der hier vorgesellte Ansatz so realisiert, dass nicht nur die x-Koordinaten vorhergesagt werden, sondern auch die y-Koordinaten nicht fixiert/fest sind. Der hier vorgestellte Ansatz unterscheidet sich von bekannten Regressionsmethoden also dadurch, dass die Referenzen für die Regression nicht Linien, sondern Punkte 150, 200, 210 sind, und für jede Zelle, siehe Fig. 3, durch die eine Linie auf dem Bild erkannt wurde, die Regressionskoordinaten relativ zur vorherigen Koordinate vorhergesagt werden. Das heißt, für den ersten Punkt 200 in der Linie ist die Vorhersage relativ zum Basisankerpunkt 150, für den ersten weiteren Punkt 210 relativ zum ersten Punkt 200 und so weiter. Im Gegensatz zu bekannten Ansätzen wird diese Regression formuliert, indem nicht nur die x-Koordinate, sondern auch die y-Koordinate vorhergesagt wird.

Der hier beschriebene Ansatz ist auf zwei Arten formulierbar, je nachdem, wie das Klassifikationsziel gewählt wird.

Zum einen ist eine ankerlose Methode realisierbar, bei der nur die Basisankerpunkte 150 sowohl für die Linienregression 155 als auch für die Klassifizierung verwendet werden. Das heißt, dass eine Linie 110 in Form einer Grundwahrheitslinie mit einem Anker übereinstimmt, wenn sie durch ihren Basisankerpunkt 150 oder in der Nähe davon verläuft, und dass es keine „Übereinstimmung“ einer Ankerlinie mit einer Grundwahrheitslinie gibt, oder

Zum anderen ist eine ankerbasierte Methode realisierbar, bei der nur die Basisankerpunkte 150 für die Linienregression 155 verwendet werden, aber der gesamte Anker mit mehr als einem Basisankerpunkt 150 wird für die Klassifizierung verwendet. Das heißt, eine Linie 110 in Form einer Grundwahrheitslinie wird mit einem Anker abgeglichen, wenn die Ähnlichkeit zwischen Anker und der Linie 110 hoch genug ist.

Anders als bei Vorhersagen der Regression, die eine linienförmige Verschiebung relativ zu einem linienförmigen Anker beschreibt und die Anwendung des Offsets auf die Ankerkoordinaten zu einer Linienvorhersage führt, ändert der vorliegende Ansatz dies dahingehend, dass der Anker nur ein Punkt 150 und keine Linie ist, und die Vorhersagen eine Verschiebung relativ zum vorherigen Punkt beschreiben, im Gegensatz zu dem entsprechenden Ankerpunkt. Die Linienregression 155 repräsentiert somit insgesamt keine gerade Linie.

Fig. 3 zeigt eine schematische Darstellung eines Kamerabilds 300 zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in Fig. 1 oder 2 beschriebene Vorrichtung handeln.

Die Erkenneinrichtung der Vorrichtung ist gemäß diesem Ausführungsbeispiel ausgebildet, um ein Gitter 305 über das Kamerabild 300 zu legen, und das Vorhandensein der Linie 110 zu erkennen, wenn in zumindest einer Zelle 310, 311, 312 des Gitters 305 die Linie 110 erkannt wird. Die Erkenneinrichtung ist gemäß diesem Ausführungsbeispiel ausgebildet, um ein Klassifizieren eines erkannten Objekts durchzuführen, um die Linie 110 zu erkennen, beispielsweise unter Verwendung eines Merkmalsextraktors. Die Linie 110 repräsentiert gemäß diesem Ausführungsbeispiel eine Fahrbahnmarkierung oder gemäß einem alternativen Ausführungsbeispiel eine Kante eines Objekts. Beispielsweise repräsentiert die Linie 110 gemäß diesem Ausführungsbeispiel einen Teil einer Fahrspur. Beispielsweise ist die Erzeugungseinrichtung gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression zu erzeugen, wenn der Basisankerpunkt in einer Zellmitte 315 einer Zelle 310, 311, 312 des Gitters 305 auf einer Linie 110 erkannt wurde.

Zusammengefasst werden gemäß einem Ausführungsbeispiel entsprechend dem Anker 145 in der Zelle 310 oder lediglich dem Basisankerpunkt des Ankers 145 in der Zelle 310 weitere Anker in Zellen 310, 311, 312 entlang der Grenzen des Bildes 300 definiert, und die Klassifizierungsausgabe sagt für jede Zelle 310, 311, 312 voraus, ob die Zelle 310, 311, 312 eine entsprechende Linie 110, beispielsweise eine Spur, enthält oder nicht, die einem der Anker 145 auf dieser Zelle 310, 311, 312 ähnlich ist. In Fig. 3 ist der Übersichtlichkeit halber nur ein entsprechender Anker 145 durch eine der Zellen 310 eingezeichnet. Anders ausgedrückt sagt ein Netzwerk gemäß einem Ausführungsbeispiel für jede Zelle 310, 311, 312 voraus, ob es in der Zelle 310, 311, 312 eine Linie 110 gibt, die einem der jeweiligen Zelle 310, 311, 312 zugeordneten Anker 145 ähnlich ist. Gemäß diesem Ausführungsbeispiel umfasst das Gitter 305 an entlang des Rands zweiter gegenüberliegender Bildseiten des Kamerabilds 300 jeweils acht übereinander angeordnete gleichmäßig große Zellen 310, 311, 312. Entlang des Rands einer Unterseite des Kamerabilds 300 weist das Gitter 305 gemäß diesem Ausführungsbeispiel zwölf benachbart angeordnete gleichmäßig große Zellen 310, 311, 312 auf. Zellen 310 stehen dabei für eine positive Vorhersage einer Linie 110, Zellen 311 für eine negative Vorhersage und Zellen 312 für einen Grenzfall.

Fig. 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem. Dabei kann es sich um ein Verfahren 400 handeln, das von einer der anhand der vorangegangenen Figuren beschriebenen Vorrichtungen ausführbar ist.

Das Verfahren 400 weist einen Schritt 405 des Einlesens, einen Schritt 410 des Erkennens und einen Schritt 415 des Erzeugens auf. Im Schritt 405 des Einlesens wird ein Kamerasignal von einer Schnittstelle zu einer Kamera eingelesen, wobei das Kamerasignal das Kamerabild der Kamera repräsentiert. Im Schritt 410 des Erkennens wird ein Vorhandensein der Linie in dem Kamerabild unter Verwendung eines Ankers mit zumindest einem Basisankerpunkt erkannt. Im Schritt 415 des Erzeugens wird eine Linienregression der Linie unter Verwendung zumindest des Basisankerpunkts erzeugt, wobei die Linienregression einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie zu erkennen.

Wenn mehrere Anker vorhanden sind, können diese zum Erkennen der Linie oder zum Erkennen unterschiedlicher Linien auf entsprechende Weise verwendet werden. Optional weist das Verfahren 400 gemäß diesem Ausführungsbeispiel ferner einen Schritt 420 des Ausgebens auf. Im Schritt 420 des Ausgebens wird unter Verwendung der Linienregression ein Steuersignal zum Ansteuern einer Funktion der Maschine, insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben.