Optische Schienenwegerkennung

Die Erfindung betri f ft ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung . Außerdem betri f ft die Erfindung ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung . Ferner betri f ft die Erfindung ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug und eine Recheneinheit zur Durchführung des Verfahrens zur Schienenwegerkennung mit integrierter Hinderniserkennung .

Eine optische Schienenwegerkennung mit integrierter Hinderniserkennung kann mittels künstlicher neuronale Netzwerke erfolgen, wobei hierzu eine große Anzahl von digitalen Bildern von verschiedenen Schienenstrecken mit auf den Schienenstrecken befindlichen Hindernissen benötigt wird, um das neuronale Netzwerk erfolgreich zu trainieren . Das Auftreten von Hindernissen auf Schienenwegen ist j edoch ein vergleichsweise seltenes Ereignis , von dem es folglich nur eine geringe Anzahl verwendbarer Bildaufnahmen gibt . Derzeit bestehen somit keine Datensätze von Bildaufnahmen von Schienenwegen mit auf den Schienenwegen angeordneten Obj ekten, die ein Training von neuronalen Netzen zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglichen würden .

Der Erfindung liegt die Aufgabe zugrunde , ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, das diese Beschränkungen umgeht . Eine weitere Aufgabe der Erfindung ist es , ein Trainingsverfahren für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung, ein Verfahren zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung sowie eine Recheneinheit zur Durchführung des Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, die j eweils auf dem Trainings-Datensatz basieren . Diese Aufgabe wird durch ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung sowie ein Verfahren zum Trainieren einer optischen Schienenwegerkennung, ein Verfahren zur Positionsbestimmung eines Schienenfahrzeugs und eine Recheneinheit zur Durchführung des Verfahrens zur Positionsbestimmung gelöst . Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben .

Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt , wobei das Verfahren die folgenden Schritte umfasst :

- Bereitstellen von ersten Bildaufnahmen von Schienenwegen für Schienenfahrzeuge , wobei j ede erste Bildaufnahme eine Darstellung eines Schienenwegs umfasst ;

- Bereitstellen von zweiten Bildaufnahmen von Obj ekten, wobei j ede zweite Bildaufnahme eine Darstellung wenigstens eines Obj ekts umfasst ;

- Kombinieren der ersten und zweiten Bildaufnahmen; und

- Generieren von dritten Bildaufnahmen aus den kombinierten ersten und zweiten Bildaufnahmen, wobei j ede dritte Bildaufnahme eine Darstellung eines Schienenwegs mit wenigstens einem Obj ekt umfasst , und wobei eine Mehrzahl der dritten Bildaufnahmen den Trainings-Datensatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung bilden .

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, wobei der Trainingsdatensatz auf Bildaufnahmen basiert , die j eweils wenigstens einen Schienenweg und wenigstens ein Obj ekt umfassen . Hierzu werden erste Bildaufnahmen von Schienenwegen und zweite Bildaufnahmen von Obj ekten bereitgestellt und miteinander kombiniert . Aus den kombinierten ersten und zweiten Bildaufnahmen der Schienenwege und der Obj ekte werden darauffolgend dritte Bildaufnahmen generiert , wobei j ede dritte Bildaufnahme wenigstens einen Schienenweg und wenigstens ein Obj ekt umfasst . Eine Mehrzahl der dritten Bildaufnahmen bildet damit den Trainingssatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung .

Das erfindungsgemäße Verfahren ermöglicht somit eine kostengünstige Generierung eines Trainingsdatensatzes mit Schienenwegen und Obj ekten, für den kein zeitintensives und kostenintensives Erstellen von Bildaufnahmen realer Situationen, in denen Obj ekte auf Schienenwegen angeordnet sind, durchgeführt werden müssen .

Ein Schienenweg ist im Sinne der Anmeldung ein Schienenverlauf für Schienenfahrzeuge und umfasst wenigstens zwei parallel geführte Schienen .

Nach einer Aus führungs form umfassen die ersten Bilddaten Bildaufnahmen einer RGB-Kamera von realen Schienenwegen .

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbesserter Trainingsdatensatz für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, der auf Bildaufnahmen von RGB-Kameras von realen Schienenwegen basiert . Eine auf einem derartigen Trainingsdatensatz trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit vorzugsweise in einem Schienenfahrzeug, das mit RGB-Kameras zur Obj ekterkennung ausgestattet ist , betrieben werden . Hierdurch kann eine möglichst einfache und präzise optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden . Eine derartig trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann auf ausschließlich RGB- Bildaufnahmen betrieben werden und benötigt keine weiteren Umfeldsensordaten zur Schienenweg- und Hinderniserkennung .

Nach einer Aus führungs form umfassen die ersten Bilddaten Bildaufnahmen eines LiDAR-Sensors und/oder einer Stereokamera von realen Schienenwegen . Hierdurch kann der technische Vorteil erreicht werden, dass durch die Verwendung von LiDAR-Sensoren und/oder Stereokameras basierend auf den ersten Bildaufnahmen durch die entsprechend trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung durchgeführt werden kann . Eine derart trainierte Schienenwegerkennung mit integrierter Hinderniserkennung kann somit auf Bildaufnahmen von RGB-Kameras , LiDAR-Sensoren und/oder Stereokameras betrieben werden .

Nach einer Aus führungs form umfassen die zweiten Bilddaten Bildaufnahmen einer RGB-Kamera und/oder eines LiDAR-Sensors und/oder einer Stereokamera von realen Obj ekten und/oder virtuell generierte Bildaufnahmen von realen und/oder virtuellen Ob ekten .

Hierdurch kann der technische Vorteil erreicht werden, dass ein breiter Einsatzbereich des Verfahrens zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Die zweiten Bildaufnahmen können hierbei Bildaufnahmen von RGB-Kameras , von LiDAR-Sensoren oder von Stereokameras sein . Eine derart trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit basierend auf RGB-Bilddaten, LiDAR-Bilddaten oder Stereokamerabilddaten eingesetzt werden . Darüber hinaus oder alternativ können die Obj ekte virtuell generiert werden . Hierdurch kann erreicht werden, dass die Obj ekte dem späteren Trainingsverfahren entsprechend angepasst werden können . Darüber hinaus können beliebige Obj ekte generiert werden, für die keine Bildaufnahmen realer Obj ekte bestehen .

Nach einer Aus führungs form umfasst das Kombinieren der ersten und zweiten Bilddaten :

- randomisiertes Anordnen eines Obj ekts der zweiten Bildaufnahmen in der ersten Bildaufnahme des Schienenwegs , wobei das randomisierte Anordnen eine randomisierte Positionierung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine randomisierte Orientierung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine rando- misierte Größenzuordnung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme umfasst .

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Training der optischen Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere eine verbesserte Ob ekterkennung bzw . Hinderniserkennung erreicht werden kann . Durch das randomisierte Anordnen der Obj ekte der zweiten Bildaufnahmen in den ersten Bildaufnahmen kann eine verbesserte Trainingsleistung der zu trainierenden optischen Schienenwegerkennung mit integrierter Hinderniserkennung erreicht werden .

Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt , wobei das Verfahren umfasst :

- Einlesen durch wenigstens ein neuronales Netz von dritten Bildaufnahmen mit Schienenwegen und Obj ekten, die mit dem Verfahren der voranstehenden Aus führungs formen erzeugt wurden;

- Erkennen durch das wenigstens eine neuronale Netz von Schienenwegen und/oder Hindernissen in den dritten Bildaufnahmen, wobei durch das neuronale Netz ausschließlich auf den Schienenwegen positionierte Obj ekte als Hindernisse erkannt werden, und wobei dabei durch das wenigstens eine neuronale Netz Erkennungs-Parameter erlernt werden .

Hierdurch kann der technische Vorteil eines verbesserten Trainings der Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, das die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung umfasst .

Nach einer Aus führungs form umfasst das Erkennen der Schienenwege und der Hindernisse eine Segmentierung von Schienenwegen und auf den Schienenwegen angeordneten Obj ekten in den drit- ten Bildaufnahmen, wobei die Segmentierung von Schienenwegen eine Kontrastierung zwischen Schienenwegen und Bildhintergrund umfasst , und wobei die Segmentierung der Obj ekte eine Kontrastierung zwischen auf den Schienenwegen angeordneten Obj ekten und Bildhintergrund umfasst .

Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Über die Segmentierung kann j edes Pixel der dritten Bildaufnahmen entweder dem Bildhintergrund, einem Schienenweg oder einem Obj ekt zugeordnet werden . Hierdurch kann eine präzise Schienenweg- bzw . Obj ekterkennung erreicht werden .

Nach einer Aus führungs form umfasst die Segmentierung eine semantische Segmentierung und/oder eine semantische Instanzsegmentierung der Schienenwege und Obj ekte .

Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Erkennung von Schienenwegen und Obj ekten ermöglicht ist . Über die semantische Segmentierung bzw . die semantische Instanzsegmentierung kann eine Unterscheidung zwischen Schienenwegen und auf den Schienenwegen angeordneten Obj ekten erreicht werden .

Über die semantische Instanzsegmentierung kann darüber hinaus eine Unterscheidung zwischen verschiedenen Obj ekten erreicht werden .

Nach einer Aus führungs form ist das neuronale Netz als ein Convolutional Neural Network, insbesondere als ein Encoder- Decoder Convolutional Neural Network, ausgebildet , wobei das neuronale Netz trainiert ist , Schienenwege und Hindernisse zu erkennen .

Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise und zuverlässige optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Über das als Convolutional Neural Network, insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet , kann eine simultane Erkennung von Schienenwegen und Hindernissen bereitgestellt werden . Dadurch dass ausschließlich ein neuronales Netz verwendet wird, kann eine möglichst einfache optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden .

Nach einer Aus führungs form umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze , wobei die zwei neuronalen Netze j eweils als ein Convolutional Neural Network ausgebildet sind, und wobei ein neuronales Netz trainiert wird, Schienenwege zu erkennen, und wobei das j eweils andere neuronale Netz trainiert wird, Hindernisse zu erkennen .

Hierdurch kann der technische Vorteil erreicht werden, dass ein vereinfachter Trainingsprozess der optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglicht ist . Durch die Bereitstellung von zwei neuronalen Netzen, von denen j eweils eines auf eine Schienenwegerkennung und eines auf eine Hinderniserkennung trainiert wird, kann der Trainingsprozess vereinfacht werden .

Nach einer Aus führungs form umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung ein Entfernungsmodul , wobei das Verfahren ferner umfasst :

- Bestimmen durch das Entfernungsmodul von Entfernung von Obj ekten zu einem Referenzpunkt in den dritten Bildaufnahmen, wobei dabei durch das Entfernungsmodul Entfernungsbestimmungs-Parameter erlernt werden .

Hierdurch kann der technische Vorteil erreicht werden, dass eine verbesserte optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, mittels welcher eine Entfernungsbestimmung von Obj ekten zu einem Referenzpunkt ermöglicht ist . Der Referenzpunkt kann über die Positionierung des Schienenfahrzeugs auf dem Schienenweg gegeben sein . Nach einem dritten Aspekt der Erfindung wird ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug mit den folgenden Schritten be- reitgestellt :

- Einlesen einer Bildaufnahme einer Kamera, wobei die Kamera in einem Frontbereich des Schienenfahrzeugs angeordnet ist ;

- Durchführen einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung, welche nach dem Verfahren nach einem der voranstehenden Aus führungs formen trainiert wurde ;

- Erkennen eines Schienenwegs , auf dem sich das Schienenfahrzeug bewegt , und eines auf dem Schienenweg angeordneten Obj ekts als ein Hindernis mittels der optischen Schienenerkennung anhand der Erkennungs-Parameter .

Hierdurch kann der technische Vorteil einer verbesserten Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, die die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung und die technischen Vorteile des erfindungsgemäßen Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung umfasst .

Nach einem vierten Aspekt wird eine Recheneinheit bereitgestellt , die wenigstens ein künstliches neuronales Netz umfasst und eingerichtet ist , nach dem Verfahren zum Trainieren nach den voranstehenden Aus führungs formen trainiert zu werden und nach der Durchführung des Trainings das Verfahren der voranstehenden Aus führungs form aus zuführen .

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise , wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Aus führungsbeispiele . Hierbei zeigen in j eweils schematisierter Darstellung

FIG 1 ein Ablauf diagramm eines Verfahrens zum Erstellen eines

Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungsform;

FIG 2 eine graphische Darstellung des Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;

FIG 3 ein Ablauf diagramm eines Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;

FIG 4 eine graphische Darstellung des Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;

FIG 5 ein Ablauf diagramm eines Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form; und

FIG 6 ein Schienenfahrzeug mit einer Recheneinheit .

FIG 1 zeigt ein Ablauf diagramm eines Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .

Die Beschreibung des Verfahrens 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß der Aus führungs form in FIG 1 wird mit Bezug auf FIG 2 vorgenommen .

So werden in einem ersten Verfahrensschritt 101 erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt . Die ersten Bildaufnahmen 401 können beispielsweise reale Bilder einer RGB-Kamera sein, die von realen Schienenwegen 403 aufgenommen wurden . Ein derartiges reales Bild eines Schienenwegs 403 ist in FIG 2 dargestellt . Alternativ hierzu können die ersten Bildaufnahmen 401 von Schienenwegen 403 Bildaufnahmen von LiDAR-Sensoren oder Stereokameras umfassen . Zum Bereitstellen der ersten Bildaufnahmen 401 können entsprechende Aufnahmen von realen Schienenwegen 403 erstellt werden . Alternativ kann hierzu auf bereits bestehende Datensätze von Schienenwegen 403 zurückgegri f fen werden .

In einem folgenden Verfahrensschritt 103 werden zweite Bildaufnahmen 407 von Obj ekten 409 bereitgestellt . Die zweiten Bildaufnahmen 407 können RGB-Bildaufnahmen von realen Obj ekten 409 , LiDAR-Sensoraufnahmen von realen Obj ekten 409 oder Stereokameraaufnahmen von realen Obj ekten 409 umfassen . Due Aufnahmen können expli zit zur Erstellung des Trainingsdatensatzes generiert sein . Alternativ können bereits bestehenden Datensätze von Aufnahmen von Schienenwegen verwendet werden . Alternativ oder zusätzlich können die zweiten Bildaufnahmen 407 virtuell generierte Aufnahmen von künstlich generierten virtuellen Obj ekten 409 umfassen .

Die Obj ekte 409 können beliebige Gegenstände bzw . Personen oder Tiere darstellen . Alternativ können Obj ekte 409 lediglich geometrische Formen bzw . dreidimensionale geometrische Körper darstellen .

In einem weiteren Verfahrensschritt 105 werden die ersten und zweiten Bildaufnahmen 401 , 407 kombiniert .

In der gezeigten Aus führungs form umfasst das Kombinieren der ersten und zweiten Bildaufnahmen 401 , 407 einen Verfahrensschritt 109 , in dem die Obj ekte 409 der zweiten Bildaufnahmen 407 randomisiert in den ersten Bildaufnahmen 401 angeordnet werden . Das randomisierte Anordnen der Obj ekte 409 kann hierbei ein randomisiertes Positionieren der Obj ekte 409 in den ersten Bildaufnahmen 401 umfassen, indem die Obj ekte 409 der zweiten Bildaufnahmen 407 an beliebigen Positionen innerhalb der ersten Bildaufnahmen 401 angeordnet werden . Das randomisierte Anordnen kann darüber hinaus ein randomisiertes Orientieren der Obj ekte 409 umfassen, bei dem die Obj ekte 409 in einer beliebigen Ausrichtung relativ zu den Schienenwegen 403 der ersten Bildaufnahmen 401 angeordnet werden . Darüber hinaus kann das randomisierte Anordnen umfassen, dass die Obj ekte 409 mit beliebiger Größe in die ersten Bildaufnahmen 401 integriert werden .

Darauf folgend werden in einem Verfahrensschritt 107 basierend auf den kombinierten ersten und zweiten Bildaufnahmen 401 , 407 dritte Bildaufnahmen 411 generiert , wobei j ede dritte Bildaufnahme 411 wenigstens einen Schienenweg 403 und wenigstens ein Obj ekt 409 umfasst .

Die dritten Bildaufnahmen 411 können hierbei eine Mehrzahl von Schienenwegen 403 und eine Mehrzahl von Obj ekten 409 umfassen . Die Obj ekte 409 können in beliebiger Größe , Positionierung und Orientierung relativ zu den Schienenwegen 403 in den dritten Bildaufnahmen 411 angeordnet sein .

FIG 2 zeigt eine graphische Darstellung des Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .

FIG 2 zeigt in graphischer Darstellung das Erstellen des Trainingsdatensatzes gemäß dem Verfahren 100 in der Aus führungs form in FIG 1 .

Zunächst werden erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt . Diese können reale Aufnahmen, beispielsweise von RGB-Kameras , von realen Schienenwegen 403 sein .

Ferner werden zweite Bildaufnahmen 407 von Obj ekten 409 bereitgestellt , die sowohl reale Obj ekte 409 umfassen können als auch synthetisch generierte virtuelle Obj ekte .

Die ersten und zweiten Bildaufnahmen 401 , 407 werden darauffolgend kombiniert , und entsprechend auf den ersten und zweiten Bildaufnahmen 401 , 407 basierende dritte Bildaufnahmen 411 generiert . Zum Generieren der dritten Bildaufnahmen 411 werden die Obj ekte 409 der zweiten Bildaufnahmen 407 in randomisierter Weise in den ersten Bildaufnahmen 401 angeordnet . Wie in FIG 2 dargestellt , werden hierzu die verschiedenen Obj ekte 409 in beliebiger Positionierung, Orientierung und Größe relativ zu den Schienenwegen 403 der dritten Bildaufnahmen 411 angeordnet . Eine realistische Anordnung der Obj ekte 409 mit einer realistischen Positionierung, Orientierung bzw . Größe in Relation zu den realen Schienenwegen 403 ist hierbei nicht zwingend erforderlich .

Eine Mehrzahl derart generierter dritten Bildaufnahmen 411 bildet hierbei abschließend den Trainingsdatensatz für die zu trainierende Schienenwegerkennung mit integrierter Obj ekterkennung .

FIG 3 zeigt ein Ablauf diagramm eines Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .

Das Verfahren 200 zum Trainieren der optischen Schienenwegerkennung mit integrierter Hinderniserkennung in der Aus führungs form in FIG 3 wird mit Bezug auf die Beschreibung zur FIG 4 beschrieben .

In einem ersten Verfahrensschritt 201 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Obj ekten 409 durch wenigstens ein neuronales Netz 501 eingelesen . Die dritten Bildaufnahmen 411 wurden hierbei mit dem Verfahren 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß den oben beschriebenen Verfahrensschritten erzeugt .

Darauf folgend werden in einem folgenden Verfahrensschritt 203 durch das wenigstens eine neuronale Netz Schienenwege 403 und/oder Hindernisse 413 in den dritten Bildaufnahmen 411 erkannt . Das neuronale Netz 501 erkennt hierbei ausschließlich Obj ekte 409 , die in den dritten Bildaufnahmen 411 auf den Schienenwegen 403 positioniert sind, als Hindernisse 413 . Obj ekte 409 , die in den dritten Bildaufnahmen 411 einen entsprechenden Schienenweg 403 nicht überdecken bzw . kreuzen, werden durch das neuronale Netz 501 hingegen nicht als Hindernisse erkannt .

Das neuronale Netz 501 kann hierbei darauf trainiert sein, Obj ekte 409 innerhalb der dritten Bildaufnahmen 411 zu erkennen und zwischen Obj ekten 409 , die auf entsprechenden Schienenwegen 403 angeordnet sind und Obj ekten 409 , die nicht auf Schienenwegen 403 angeordnet sind, zu unterscheiden .

Gemäß einer Aus führungs form kann das neuronale Netz 501 als ein Convolutional Neural Network und insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet sein . Das neuronale Netz 501 kann insbesondere ausgebildet sein, sowohl Schienenwege 403 als auch Obj ekte 409 bzw . Hindernisse 413 zu erkennen .

Alternativ kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze 501 umfassen, die beispielsweise j eweils als Convolutional Neural Networks ausgebildet sind . Hierbei kann j eweils ein neuronales Netz 501 eingerichtet sein, Schienenwege 403 zu erkennen, während das j eweils andere neuronale Netz eingerichtet sein kann, Obj ekte 409 bzw . Hindernisse 413 zu erkennen .

Gemäß einer Aus führungs form kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung ferner ein Entfernungsmodul umfassen, das eingerichtet ist , eine Entfernung der Obj ekte 409 in den dritten Bildaufnahmen 411 zu einem vorbestimmten Referenzpunkt zu bestimmen . Der vorbestimmte Referenzpunkt kann hier beispielsweise durch die Positionierung der Kamera, durch die die ersten Bildaufnahmen 401 aufgenommen wurden, relativ zu den Schienenwegen 403 bzw . Obj ekten 409 gegeben sein .

In einem weiteren Verfahrensschritt 205 werden entsprechend durch das Entfernungsmodul Entfernungen der Obj ekte 409 in den dritten Bildaufnahmen 411 zum Referenzpunkt P, beispielsweise der RGB-Kamera, erkannt . Durch das Erkennen der Schienenwege 403 bzw . Hindernisse 413 im Verfahrensschritt 203 werden durch das neuronale Netz 501 Erkennungs-Parameter erlernt und damit ein Trainingsprozess des neuronalen Netzes 501 durchgeführt . Analog wird durch das Bestimmen der Entfernungen der Obj ekte 409 durch das Entfernungsmodul im Verfahrensschritt 205 entsprechende Entfernungsbestimmungs-Parameter erlernt , wodurch das Entfernungsmodul entsprechend trainiert wird .

Der beschriebene Trainingsprozess kann beispielsweise gemäß einem Supervised Learning oder Unsupervised Learning durchgeführt werden . Insbesondere kann das neuronale Netz 501 bzw . die Mehrzahl von neuronalen Netzen 501 gemäß eines im Stand der Technik üblichen Backpropagation Prozesses trainiert werden .

Gemäß einer Aus führungs form kann das Erkennen der Schienenwege 403 und/oder der Hindernisse 413 bzw . der Obj ekte 409 im Verfahrensschritt 203 eine Segmentierung von Schienenwegen 403 und Obj ekten 409 bzw . Hindernissen 413 in den dritten Bildaufnahmen 411 umfassen . Die Segmentierung kann hierbei beispielsweise eine semantische Segmentierung bzw . eine semantische Instanzsegmentierung sein . Zur Segmentierung wird für j edes Pixel der dritten Bildaufnahme 411 bestimmt , ob das j eweilige Pixel zu einem Schienenweg 403 , zu einem Hindernis 413 oder zum Bildhintergrund der dritten Bildaufnahme 411 gehört . Durch die derart durchgeführte Segmentierung kann somit eine Kontrastierung zwischen Schienenwegen 403 , Hindernissen 413 und dem Bildhintergrund der dritten Bildaufnahme 411 erreicht werden . Die Segmentierung der dritten Bildaufnahmen 411 kann hierbei gemäß aus dem Stand der Technik bekannten Segmentierungsprozessen vorgenommen werden .

FIG 4 zeigt eine graphische Darstellung des Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form . In FIG 4 ist in graphischer Darstellung der Trainingsprozess gemäß dem Verfahren 200 in der in FIG 3 dargestellten Aus führungs form illustriert .

Zum Trainieren des neuronalen Netzes 501 bzw . der neuronalen Netze 501 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Obj ekten 409 durch die neuronalen Netze 501 eingelesen .

Während des Trainingsprozesses werden Erkennungs-Parameter durch die neuronalen Netze 501 zur Erkennung der Schienenwege 403 und der auf den Schienenwegen 403 angeordneten Obj ekte 409 durch die neuronalen Netze 501 erlernt . Im Zuge des Trainingsprozesses wird durch die neuronalen Netze 501 eine Segmentierung der Schienenwege 403 , Hindernisse 413 bzw . des Bildhintergrunds der dritten Bildaufnahmen 411 durchgeführt .

In FIG 4 ist ferner eine segmentierte Bildaufnahme 412 dargestellt , in der zwei segmentierte Schienenwege 404 und j eweils drei segmentierte Hindernisse 414 und ein segmentierter Bildhintergrund 416 der in FIG 4 gezeigten dritten Bildaufnahme 411 dargestellt sind . Die hier dargestellte Segmentierung ermöglicht eine Unterscheidung zwischen segmentiertem Schienenweg 404 und segmentierten Hindernissen 414 , sodass eine eindeutige Unterscheidung zwischen Schienenweg und auf dem Schienenweg 403 angeordneten Obj ekten 409 und hiermit eine eindeutige Erkennung von durch auf den Schienenwegen 403 angeordneten Obj ekten 409 gegebenen Hindernissen 413 durch die entsprechend trainierten neuronale Netze 501 ermöglicht ist .

Wie in FIG 4 dargestellt , werden die Obj ekte 409 in der dritten Bildaufnahme 411 , die nicht auf dem Schienenweg 403 angeordnet sind, nicht als Hindernisse 413 erkannt .

Eine Erkennung einer Anordnung von Obj ekten 409 auf Schienenwegen 403 kann hierbei beispielsweise durch ein Überlappen des Umrisses eines Obj ekts 409 mit dem Umriss eines Schienenwegs 403 ermittelt werden . Alternativ hierzu können perspektivische Kriterien berücksichtigt werden, durch die bei- spielsweise ein vertikaler Abstand des Obj ekts 409 zum Schienenweg 403 ermittelt werden kann . Hierdurch können Obj ekte 409 , wie beispielsweise den Schienenweg 403 überdeckender Pflanzenbewuchs oder den Schienenweg 403 überfliegende Vögel , die lediglich aufgrund der perspektivischen Darstellung in der Bildaufnahme auf dem Schienenweg 403 angeordnet sind, als nicht gefährdende Obj ekte identi fi ziert werden und somit als Hindernisse 413 ausgeschlossen werden . Dies ermöglicht eine präzisere Klassi fi zierung von Hindernissen 413 und die Vermeidung von falschen positiven Erkennungsergebnissen, in denen Obj ekte 409 als Hindernisse 413 klassi fi ziert werden, j edoch nicht auf dem Schienenweg 403 angeordnet sind und somit tatsächlich keine Behinderung des Schienenfahrzeugs darstellen .

FIG 5 zeigt ein Ablauf diagramm eines Verfahrens 300 zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .

Die Aus führungs form des Verfahrens 300 zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug 400 wird mit Bezug auf die FIG 6 beschrieben .

Zur Erkennung von Schienenwegen 403 bzw . Hindernissen 413 durch ein Schienenfahrzeug 400 werden zunächst in einem Verfahrensschritt 301 Bildaufnahmen einer Kamera 405 des Schienenfahrzeugs 400 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das neuronale Netz 501 der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingelesen . Die Kamera 405 kann hierbei beispielsweise eine RGB-Kamera sein, die in einem Frontbereich 406 des Schienenfahrzeugs 400 angeordnet ist und einen Bereich in Fahrtrichtung vor dem Schienenfahrzeug 400 einsehen kann, in dem wenigstens der Schienenweg 403 , auf dem das Schienenfahrzeug 400 bewegt wird, einsehbar ist .

Die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das entsprechende neuronale Netz 501 wurden hierbei gemäß dem Verfahren 200 trainiert , wobei hierzu ein entsprechender Trainingsdatensatz verwendet wurde , der gemäß dem Verfahren 100 generiert wurde .

Basierend auf den im Verfahrensschritt 301 eingelesenen Bildaufnahmen wird in einem folgenden Verfahrensschritt 303 eine optische Schienenwegerkennung mit integrierter Hinderniserkennung durchgeführt .

Hierauf basierend werden in einem Verfahrensschritt 305 der Schienenweg 403 , auf dem sich das Schienenfahrzeug 400 bewegt erkannt und gegebenenfalls ein auf dem Schienenweg 403 angeordnetes Obj ekt 409 als ein Hindernis 413 identi fi ziert . Die Erkennung des Schienenwegs 403 bzw . des Hindernisses 413 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere durch das entsprechend trainierte neuronale Netz 501 kann hierbei gemäß den Aus führungen zum Verfahren 200 durch eine entsprechende Segmentierung der Bildaufnahmen durchgeführt werden .

Bei Erkennen eines entsprechenden Hindernisses 413 kann gegebenenfalls ein entsprechendes Warnsignal ausgesendet oder ein Bremsprozess des Schienenfahrzeugs 400 eingeleitet werden .

FIG 6 zeigt ein Schienenfahrzeug mit einer Recheneinheit .

FIG 6 zeigt ein Schienenfahrzeug 400 , das auf einem Schienenweg 403 angeordnet ist . Das Schienenfahrzeug 400 umfasst eine Recheneinheit 500 , auf der ein neuronales Netz 501 eingerichtet ist , das entsprechend dem Verfahren 200 zu einer Schienenwegerkennung und Hinderniserkennung trainiert ist . Die Recheneinheit 500 kann als ein Softwaremodul oder als eine Hardwarekomponente mit einem entsprechenden Softwaremodul ausgebildet sein . Das Schienenfahrzeug 400 umfasst in einem Frontbereich 406 eine Kamera 405 , die einen Bereich einsehen kann, der wenigstens den Schienenweg 403 einsehen kann, auf dem das Schienenfahrzeug 400 bewegt wird . Die Kamera 405 kann beispielsweise eine RGB-Kamera sein und ist mit der Recheneinheit 500 datentechnisch verbunden . Über die Bildaufnahmen der Kamera 405 kann durch das neuronale Netz 501 gemäß dem Verfahren 300 eine Schienenweg- bzw . Hinderniserkennung durchgeführt werden .

FIG 6 zeigt ferner ein Obj ekt 409 , das benachbart zum Frontbereich 406 des Schienenfahrzeugs 400 auf dem Schienenweg 403 angeordnet und durch die Kamera 405 einsehbar ist .

Gemäß einer Aus führungs form kann das Schienenfahrzeug 400 ferner einen LiDAR-Sensor bzw . eine zusätzliche Stereokamera umfassen, die ebenfalls im Frontbereich 406 angeordnet sein können und in FIG 6 nicht dargestellt sind . Basierend auf den Daten des LiDAR-Sensors bzw . der Stereokamera kann durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung des Obj ekts 409 zum Schienenfahrzeug 400 ermittelt werden .

Alternativ hierzu kann auf der Recheneinheit 500 ferner ein Entfernungsmodul ( in FIG 6 nicht dargestellt ) der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingerichtet sein, das ausgebildet ist , basierend auf den Bildaufnahmen der Kamera 405 eine Entfernungsbestimmung des Obj ekts 409 relativ zum Schienenfahrzeug 400 durchzuführen .

Obwohl die Erfindung im Detail durch das bevorzugte Aus führungsbeispiel näher illustriert und beschrieben wurde , so ist die Erfindung nicht durch die of fenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .