Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten

Die Erfindung betrifft ein Verfahren zur Hinderniserkennung für ein Schienenfahrzeug. Außerdem betrifft die Erfindung eine Hinderniserkennungseinrichtung. Überdies betrifft die Erfindung ein Schienenfahrzeug.

Im Schienenverkehr kommt es gelegentlich vor, dass Objekte, wie zum Beispiel Personen oder Straßenfahrzeuge, Einkaufswa gen, die auf die Schienen geworfen wurden, oder auch Felsbro cken oder umgestürzte Bäume, auf den Gleiskörper geraten und daher eine Gefahr für die Sicherheit des Schienenverkehrs darstellen und im Fall der Personen und Straßenfahrzeuge auf grund der Möglichkeit einer Kollision mit einem fahrenden Schienenfahrzeug auch selbst hochgradig gefährdet werden. Da her müssen solche Objekte rechtzeitig erkannt werden, um für ein sich näherndes Schienenfahrzeug einen Bremsvorgang einzu leiten, so dass ein Zusammenstoß zwischen dem Schienenfahr zeug und den erkannten Objekten verhindert werden kann.

Mithin ist eine Detektion von möglichen Hindernissen jegli cher Form oder Gestalt, welche die Schienen blockieren, eine sicherheitskritische Notwendigkeit für alle Arten von Schie nenfahrzeugen. Die Detektion von Hindernissen spielt insbe sondere eine entscheidende Rolle bei dem autonomen Fahren oder bei der automatisierten Assistenz der Steuerung von Schienenfahrzeugen. Es gibt viele Lösungsansätze für dieses Problem, wobei auf künstlicher Intelligenz (abgekürzt mit KI) basierende Lösungsansätze am vielversprechendsten sind. Jede KI-basierte Lösung ist so gut wie ihre Trainingsdatenbasis, welche für Schienenverkehrsszenarios sehr aufwändig zusammen zustellen ist und zu annotieren ist.

Eine überwachte Objektdetektion mit der Rückgabe von soge nannten Bounding-Boxen basierend auf maschinellem Lernen, hat sich für die meisten gekennzeichneten Objekte als recht ef fektiv erwiesen. Allerdings ist es recht aufwändig, eine neue Klasse in einem Entwicklungszyklus für ein Modell zu kenn zeichnen bzw. zu trainieren. Zunächst einmal muss eine Daten basis gesucht werden, die die entsprechenden Hindernisse um fasst. Dann muss eine Annotation der Daten entweder durch ei genes Fachpersonal erfolgen oder dieser Vorgang muss auswär tigen Auftragnehmern überlassen werden. Das neue Modell muss entsprechend trainiert und auch validiert werden. Dann muss das Modell im Feld implementiert werden und noch in der Pra xis getestet werden. Außerdem ist es häufig schwierig, alle Arten von Hindernissen durch ein Modell abzudecken. Wenn neue Arten von Hindernissen identifiziert werden, muss hierzu auch ausreichendes Bildmaterial vorhanden sein, in dem die Hinder nisse abgebildet sind. Für jede Datensammlung müssen wichtige Strecken mit allen notwendigen Sensoren in allen Funktionszu ständen abgefahren werden, und es muss Datenmaterial für die unterschiedlichen Hindernistypen, welche unter unterschiedli chen Bedingungen und aus unterschiedlichen Abständen aufge nommen wurden, gesammelt werden. Die Kosten für diese zusätz lichen Fahrten sind nicht unerheblich. Mithin erscheint eine ständige Suche nach Hindernissen, die noch nicht klassifi ziert wurden, und eine entsprechende kontinuierliche Ergän zung der Modelle nur schwer durchführbar.

Es gibt auch Ansätze, in denen a priori Informationen in ei nem überwachten Rahmen genutzt werden, um Typen von Hinder nissen vorab zu erkennen. Dabei wird das a priori Wissen ge nutzt, um Bilder zu Trainingszwecken zu synthetisieren. Diese Ansätze sind allerdings nicht allgemein anwendbar. Außerdem sind sie auf Szenarien mit 2D-Bilddatenverarbeitung be schränkt. Selbst wenn Hindernisse korrekt erkannt werden, kann es sein, dass ohne Tiefeninformation nicht erkannt wer den kann, ob ein Objekt die Schienen blockiert, insbesondere in Kurven.

Mithin erscheint die direkte Erkennung von Objekten mit Hilfe von Verfahren, welche auf KI-basiertem Training basieren, für eine generische Nutzung im Schienenverkehr nicht realisier bar. Weiterhin gibt es Versuche, Objekte in Punktwolken zu erken nen, die von Lidarsensoren erzeugt werden. Dabei gibt es KI- basierte Verfahren und konventionelle modellbasierte Verfah ren. KI-basierte Verfahren sind recht erfolgreich bei der De tektion von großen Objekten, wie zum Beispiel Automobilen, aber sie haben Probleme, kleinere Objekte, wie zum Beispiel Menschen, zu erkennen. Außerdem sind bei KI-basierten Verfah ren derart viele Daten zu verarbeiten, dass die Verarbeitung selbst für Hochleistungsrechner kaum in Echtzeit zu schaffen ist. Herkömmliche Verfahren zur Verarbeitung von Punktwolken verwenden Technologien, wie zum Beispiel ein Clustering und eine Filterung, um Anomalien zu detektieren. Solche Methoden weisen viele festeingestellte Parameter auf, die nur durch ein langdauerndes Testverfahren optimiert werden können, falls es überhaupt möglich ist. Lidarsensoren weisen eine be schränkte Reichweite und Auflösung auf, so dass darauf ba sierte Erkennungsverfahren nur etwa bis 100 m auch bei Anwen dungen auf einer Hauptstrecke verlässlich sind.

Es besteht also die Aufgabe, ein Verfahren und eine Vorrich tung zur Erkennung von Hindernissen für Schienenfahrzeuge be reitzustellen, welche generalisiert auch für größere Entfer nungen auf Hauptstrecken bzw. für den Schienenfernverkehr an wendbar sind.

Diese Aufgabe wird durch ein Verfahren zur Hinderniserkennung für ein Schienenfahrzeug gemäß Patentanspruch 1, eine Hinder niserkennungseinrichtung gemäß Patentanspruch 9 und ein Schienenfahrzeug gemäß Patentanspruch 10 gelöst.

Bei dem erfindungsgemäßen Verfahren zur Hinderniserkennung für ein Schienenfahrzeug werden 3D-Bilddaten von einem Umge bungsbereich des Schienenfahrzeugs erfasst. Als 3D-Bilddaten sollen Bilddaten verstanden werden, die eine Tiefeninforma tion umfassen. Davon sollen auch sogenannte Disparitätsbilder umfasst sein, die Informationen unterschiedlicher Blickwinkel umfassen. Aus diesen Bildern können dann wieder 3D-Bilder er zeugt werden. Die 3D-Bilddaten müssen die vorhandenen Objekte bezüglich ihrer dreidimensionalen Gestalt nicht vollständig beschreiben, wozu möglicherweise eine Vielzahl von Bildauf nahmen aus mindestens drei unterschiedlichen Richtungen nötig wäre.

Die bildlich erfasste Umgebung des Schienenfahrzeugs umfasst bevorzugt einen vor dem Schienenfahrzeug verlaufenden Fahrka nal des Schienenfahrzeugs, kann aber vorzugsweise auch rechts und links von dem Fahrkanal liegende periphere Bereiche um fassen, um zum Beispiel potenzielle Kollisionshindernisse frühzeitig zu erkennen, bevor sie überhaupt in die Nähe des Fahrkanals gelangt sind.

Weiterhin werden 2D-Bilddaten auf Basis der 3D-Bilddaten er zeugt. Hierzu werden die 3D-Bilddaten auf eine 2D-Ebene pro jiziert, deren Orientierung vorzugsweise mit der Sichtper spektive des Schienenfahrzeugs übereinstimmt. Auch bevorzugt umfasst diese Sichtperspektive die Perspektive eines aus dem Schienenfahrzeug nach vorne bzw. in Fahrtrichtung schauenden Fahrers und/oder die Perspektive, mit der zumindest ein Teil der Sensoren, welche bevorzugt in Fahrtrichtung bzw. in Rich tung der Längsachse des Schienenfahrzeugs ausgerichtet sind, den Umgebungsbereich erfasst.

In den 2D-Bilddaten werden Schienen detektiert und lokali siert. Ein Verfahren zur Schienendetektion ist beispielsweise in der Anmeldung DE 102020 215 754.5 beschrieben. Außerdem werden Tiefendaten in den 2D-Bilddaten auf Basis der 3D-Bild- daten ermittelt. Als Tiefe eines Punkts, beispielsweise eines Objekts, soll ein Abstand des Punkts zur betreffenden Sen soreinheit bzw. Bildaufnahmeeinheit, beispielsweise eine Ka mera, verstanden werden. Die 2D-Bilddaten werden in linienar tige Bildsegmente mit jeweils einem Schienenabschnitt mit ei ner konstanten Tiefe eingeteilt. Die Linien verlaufen vor zugsweise quer zur Bildaufnahmerichtung und sind vorzugsweise geradlinig bzw. gegebenenfalls derart gekrümmt, dass für den Fall, dass die Linie lediglich die Geländeebene nachzeichnet, alle Punkte auf der Linie dieselbe Tiefe aufweisen. Weiterhin wird ermittelt, ob ein Pixel bzw. Punkt Teil eines die Gelän deebene überragenden Objekts ist. Diese Ermittlung erfolgt in Abhängigkeit davon, ob die Differenz des Tiefenwerts des be treffenden Pixels zu dem Tiefenwert der Schienen desselben Bildsegments einen vorbestimmten Schwellwert überschreitet.

Anders ausgedrückt, wird ein Tiefenwert eines Pixels eines linienartigen Bildsegments außerhalb der Schienen mit dem je weiligen Tiefenwert der Schienen innerhalb des linienartigen Bildsegments verglichen. Das linienartige Bildsegment kann zum Beispiel eine waagrechte Linie in einem Bild umfassen.

Ist in dem Bildsegment kein zusätzliches Objekt vorhanden, so sollten alle Pixel in dem Bildsegment ungefähr dieselbe Tiefe aufweisen. Die Pixel werden in diesem Fall alle als Teil der Geländeebene aufgefasst. Andernfalls wird ermittelt, dass der Pixel Teil eines Objekts, möglicherweise eines Hindernisses ist, das über die Geländeebene hinausragt, d.h. für den Fall, dass die Differenz des Tiefenwertes des Pixels zu dem Tiefen wert der Schienen einen vorbestimmten Schwellwert überschrei tet.

Schließlich wird für den Fall, dass der Pixel als Teil eines Objekts, welches die Geländeebene überragt, detektiert wurde, in Abhängigkeit von einer Position und/oder einer detektier- ten Bewegung, insbesondere Geschwindigkeit und Bewegungsrich tung des Objekts ermittelt, ob das detektierte Objekt ein po tenzielles Kollisionshindernis darstellt.

Vorteilhaft lassen sich mit dem erfindungsgemäßen Verfahren zur Hinderniserkennung alle Arten von Objekten, insbesondere Hindernissen, jeglicher Form und Gestalt detektieren, da die Gestalt eines Objekts nicht gelernt werden bzw. bekannt sein muss. Für die Schienendetektion kann ein auf maschinellem Lernen basierendes Verfahren angewendet werden, das durch ein Trainingsverfahren in die Lage versetzt wird, Schienen in Bilddaten zu detektieren. Vorteilhaft ist die Reichweite für die bildhafte Aufnahme der Umgebung, beispielsweise durch RGB-Kameras, deutlich höher als zum Beispiel für Lidar- Systeme. Außerdem ist eine Bildaufnahmeeinheit, beispiels weise eine RGB-Kamera, deutlich weniger aufwändig herzustel len als ein Lidarsystem. Überdies wird kein a priori Wissen über die Objekte und Hindernisse benötigt. Vielmehr ergibt sich aus der Objekterkennung auf Basis einer Kombination aus Schienenstreckensegmentierung und Tiefendatenermittlung die Möglichkeit einer generischen Hindernisdetektion. Annotatio nen für Klassifizierungen von Objekten werden nicht unbedingt benötigt. Die eigentliche Hindernisdetektion kann zum Bei spiel in Abhängigkeit von der Position des detektierten Ob jekts sowie durch eine Nachverfolgung einer Bewegung des de tektierten Objekts erfolgen. Bewegt sich das detektierte Ob jekt oder bewegt es sich sogar in Richtung Gleisbereich, so kann das detektierte Objekt als potenzielles Hindernis einge stuft werden.

Die erfindungsgemäße Hinderniserkennungseinrichtung weist eine Sensordatenschnittstelle zu einer Bildaufnahmeeinheit zur Aufnahme von dreidimensionalen Bilddaten von einem Umge bungsbereich eines Schienenfahrzeugs auf. Die dreidimensiona len Bilddaten können direkt von einer Stereokamera aufgenom men werden. Die dreidimensionalen Bilddaten können aber auch zunächst durch eine Monokamera, beispielsweise von unter schiedlichen Positionen aus, aufgenommen werden, auf Basis von deren 2D-Bilddaten dann ein 3D-Bild rekonstruiert wird. Die erfindungsgemäße Hinderniserkennungseinrichtung umfasst auch eine Projektionseinheit zum Erzeugen von 2D-Bilddaten auf Basis der 3D-Bilddaten. Teil der erfindungsgemäßen Hin derniserkennungseinrichtung ist zudem eine Lokalisierungsein heit zum Detektieren und Lokalisieren von Schienen in den 2D- Bilddaten. Die erfindungsgemäße Hinderniserkennungseinrich tung umfasst auch eine Tiefendatenermittlungseinheit zum Er mitteln von Tiefendaten in den 2D-Bilddaten auf Basis der 3D- Bilddaten und eine Zuordnungseinheit zum Aufteilen der 2D- Bilddaten in linienartige Bildsegmente mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe. Teil der erfin dungsgemäßen Hinderniserkennungseinrichtung ist auch eine Vergleichseinheit zum Vergleichen des Tiefenwerts eines Pixels eines linienartigen Bildsegments außerhalb der Schie nen mit dem jeweiligen Tiefenwert der Schienen.

Überdies umfasst die erfindungsgemäße Hinderniserkennungsein richtung eine Detektionseinheit zum Detektieren, ob der Pixel Teil eines die Geländeebene überragenden Objekts ist, in Ab hängigkeit davon, ob die Differenz des Tiefenwertes des Pi xels zu dem Tiefenwert der Schienen desselben Bildsegments einen vorbestimmten Schwellwert überschreitet. Schließlich umfasst die erfindungsgemäße Hinderniserkennungseinrichtung auch eine Hindernisermittlungseinheit zum Ermitteln für den Fall, dass der Pixel als Teil eines Objekts, welches die Ge ländeebene überragt, detektiert wurde, ob das detektierte Ob jekt ein potenzielles Kollisionshindernis darstellt, in Ab hängigkeit von einer Position und/oder einer detektierten Be wegung des Objekts. Die erfindungsgemäße Hinderniserkennungs einrichtung teilt die Vorteile des erfindungsgemäßen Verfah rens zur Hinderniserkennung für ein Schienenfahrzeug.

Das erfindungsgemäße Schienenfahrzeug weist eine Sensorein heit zum Erfassen von 3D-Bilddaten von der Umgebung des Schienenfahrzeugs auf. Zudem umfasst das erfindungsgemäße Schienenfahrzeug die erfindungsgemäße Hinderniserkennungsein richtung. Weiterhin weist das erfindungsgemäße Schienenfahr zeug eine Steuerungseinrichtung zum Steuern eines Fahrverhal tens des Schienenfahrzeugs in Abhängigkeit davon, ob von der Hinderniserkennungseinrichtung ein Hindernis in der Umgebung des Schienenfahrzeugs erkannt wurde, auf. Das erfindungsge mäße Schienenfahrzeug teilt die Vorteile der erfindungsgemä ßen Hinderniserkennungseinrichtung.

Einige Komponenten der erfindungsgemäßen Hinderniserkennungs einrichtung können zum überwiegenden Teil in Form von Soft warekomponenten ausgebildet sein. Dies betrifft insbesondere die Sensordatenschnittstelle, die Projektionseinheit, die Lo kalisierungseinheit, die Tiefendatenermittlungseinheit, die Zuordnungseinheit, die Vergleichseinheit und die Detektions einheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.

Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Schienenfahrzeug vorhandene Rechnersysteme nach einer eventuellen Ergänzung durch zusätz liche Hardwareelemente, wie zum Beispiel eine Bildkamera, auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Inso fern wird die Aufgabe auch durch ein entsprechendes Computer programmprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersys tems ladbar ist, mit Programmabschnitten, um die durch Soft ware realisierbaren Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird.

Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rech nereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikro prozessoren oder dergleichen aufweisen.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhän gigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rah men der Erfindung die verschiedenen Merkmale unterschiedli cher Ausführungsbeispiele und Ansprüche auch zu neuen Ausfüh rungsbeispielen kombiniert werden.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zur Hinderniserkennung für ein Schienenfahrzeug wird die Lokali sierung der Schienen durch semantische Segmentierung auf Deep Learning (zu Deutsch: mehrschichtiges Lernen, tiefgehendes Lernen: betrifft eine Methode des maschinellen Lernens, die künstliche neuronale Netze mit zahlreichen Zwischenschichten zwischen Eingabeschicht und Ausgabeschicht einsetzt) basie rend durchgeführt. Eine Variante der Hinderniserkennung, wel che mit Hilfe von maschinellem Lernen realisiert werden kann, basiert auf semantischer Segmentierung. Bei der semantischen Segmentierung werden Pixel in Klassen eingeteilt. Bei einem Trainingsprozess wird jeder Pixel annotiert. Pixel von Schie nensträngen werden in eine Klasse eingeteilt, alle anderen Pixel werden einer den Hintergrund des Bildes betreffenden Klasse zugeordnet. Ein solches Szenario kann auch als binäres Vordergrund/Hintergrundszenario aufgefasst werden. Vorteil haft kann sich bei dem Trainingsprozess auf zwei Klassen be schränkt werden, wodurch der Trainingsprozess stark verein facht ist.

In einer Variante des erfindungsgemäßen Verfahrens werden die 3D-Bilddaten durch eine Stereokamera erfasst. Vorteilhaft können direkt 3D-Informationen, insbesondere Tiefendaten von der Umgebung eines Schienenfahrzeugs erfasst werden. Während die Detektion von Schienen in 2D-Bilddaten vereinfacht ist, werden für die Erkennung von Objekten, die eine Höhe haben, die über die Höhe der Schienen hinausgeht, 3D-Informationen, insbesondere Tiefendaten, herangezogen.

Die 3D-Bilddaten können auch durch eine Mono-Kamera dynamisch erfasst werden. Bei dieser Variante werden Bilddaten aus un terschiedlichen Richtungen erfasst und es wird ein 3D-Bild aus diesen Bilddaten erzeugt. Eine solche Technologie wird mit „Monodepth" bezeichnet und ist in Clement Godard et al.: „Digging Into Self-Supervised Monocular Depth Estimation" (zu finden im Internet unter der Adresse https://ar- xiv.org/pdf/1806.01260.pdf) beschrieben.

Bevorzugt umfassen die 3D-Bilddaten RGB-Daten, als Bilddaten, die Farbunterschiede aufweisen. Vorteilhaft können Farbunter- schiede für die Unterscheidung von Objekten und Bildabschnit ten genutzt werden.

Die Tiefendaten werden vorzugsweise durch ein Modell ermit telt, das auf maschinellem Lernen basiert. Das Training eines solchen Modells kann überwacht oder unüberwacht erfolgen.

Eine solche modellhafte Erfassung von Tiefendaten ist in Tinghui Zhou et al.: "Unsupervised Learning of Depth and Ego- Motion from Video" (zu finden im Internet unter der Adresse https://people.eecs.berkeley.edu/~tinghuiz/pro jects/SfMLear- ner/cvprl7_sfm_final .pdf) beschrieben.

Die Hindernisse können besonders effektiv durch Entfernung der Geländeebene erfasst werden. Vorteilhaft findet ein Ver gleich der Tiefendaten von Schienenpunkten mit den Tiefenda ten von Pixeln eines Bildsegments statt, in dem die Schienen punkte liegen. Überschreitet eine Tiefendifferenz einen Schwellwert, so können die Pixel als Objektpixel klassifi ziert werden, andernfalls werden sie als Teil der Gelände ebene klassifiziert und aus dem Bild entfernt, so dass am Ende nur Objektpixel übrigbleiben, die weiterverarbeitet wer den. Es kann auch ein Teilbereich der 2D-Bilddaten als Sicher heitsbereich festgelegt werden und nur der Sicherheitsbereich auf Hindernisse untersucht wird. Vorteilhaft wird die auszu wertende Bilddatenmenge reduziert, wodurch der Auswertungs prozess beschleunigt wird.

Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

FIG 1 ein Flussdiagramm, welches ein Verfahren zur Hinder niserkennung für ein Schienenfahrzeug gemäß einem Ausfüh rungsbeispiel der Erfindung veranschaulicht,

FIG 2 eine schematische Darstellung von zweidimensionalen Bilddaten, die bei dem in FIG 1 veranschaulichten Verfahren erzeugt werden,

FIG 3 eine schematische Darstellung der aufgenommenen Bildda ten, wobei den Schienen pixelweise Tiefendaten zugeordnet werden,

FIG 4 eine schematische Darstellung der bereits in FIG 3 ver anschaulichten Bilddaten, wobei unterschiedliche Objekte de- tektiert wurden,

FIG 5 die in FIG 3 und FIG 4 gezeigte Darstellung als Dar stellung mit entfernter Geländeebene,

FIG 6 die in FIG 3, FIG 4, und FIG 5 bereits gezeigte Bild darstellung nochmals als Darstellung mit eingezeichnetem Si- cherheitsbereich,

FIG 7 eine schematische Darstellung einer Hinderniserken nungseinrichtung gemäß einem Ausführungsbeispiel der Erfin dung, FIG 8 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.

In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Ver fahren zur Hinderniserkennung für ein Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.

Bei dem Schritt 1.1 werden dreidimensionale farbige 3D-Bild- daten 3D-BD, auch als RGB-3D-Bilddaten bezeichnet, von der Umgebung bzw. einem Umgebungsbereich U vor einem Schienen fahrzeug 81 (siehe FIG 8) erfasst. Die Erfassung der 3D-Bild- daten 3D-BD erfolgt durch eine an dem Schienenfahrzeug 81 an geordnete Sensoreinheit 82 (siehe FIG 8). Die Sensoreinheit 82 umfasst eine optische Kamera zur Aufnahme von dreidimensi onalen farbigen Bilddaten 3D-BD. Die Bilddaten 3D-BD umfassen Informationen über die Topografie des Umgebungsbereichs U des Schienenfahrzeugs 81. Der Umgebungsbereich U umfasst in die sem Ausführungsbeispiel einen Frontbereich vor dem Schienen fahrzeug 81, in den das Schienenfahrzeug 81 einfahren möchte.

Bei dem Schritt l.II werden auf Basis der 3D-Bilddaten 3D-BD 2D-Bilddaten 2D-BD erzeugt. Hierzu erfolgt eine Projektion der 3D-Bilddaten auf eine 2D-Ebene, die senkrecht zur Orien tierung der Sensoreinheit 82 liegt.

Bei dem Schritt l.III werden die vor dem Schienenfahrzeug verlaufenden Schienen S in den 2D-Bilddaten detektiert und lokalisiert. Es werden insbesondere Positionen P(S) der Schienen S ermittelt.

Bei dem Schritt 1.IV werden Tiefendaten T in den 2D-Bilddaten 2D-BD auch auf Basis der 3D-Bilddaten 3D-BD ermittelt. D.h. es werden für die Ermittlung der Tiefeninformation einzelner Pixel in den 2D-Bilddaten den einzelnen Pixeln zugeordnete Tiefeninformationen aus den 3D-Bilddaten gewonnen.

Bei dem Schritt l.V werden die 2D-Bilddaten 2D-BD in linien artige Bildsegmente BS mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe aufgeteilt. Beispielsweise erfolgt für das linienartige Bildsegment eine gerade Linienführung quer zum Schienenstrang, zumindest für den Fall, dass die Schienenstrecke gerade verläuft. Es kann dann davon ausgegan gen werden, dass bei ebenem Terrain alle Punkte der quer ver laufenden geraden Linie dieselbe Tiefe aufweisen, falls kein die Geländeebene überragendes Objekt vorhanden ist.

Anschließend wird bei dem Schritt l.VI der Tiefenwert T(P) eines Pixels P eines linienartigen Bildsegments BS außerhalb der Schienen S mit dem jeweiligen Tiefenwert T(S) der Schie nen S dieses linienartigen Bildsegments BS verglichen. Über steigt die Differenz der Tiefenwerte T(P), T(S) einen vorbe stimmten Schwellwert SW, so wird daraus geschlossen, dass der Pixel P zu einem aus der Ebene aufragenden Objekt 0 gehört. Auf diese Weise werden Pixel unterschiedlichen Objekten 0 zu geordnet und die Objekte lokalisiert.

Falls der Schwellwert SW nicht überschritten wurde, wird bei dem Schritt l.VII der Pixel P nicht als Teil eines Objekts 0 eingestuft .

Andernfalls wird bei dem Schritt l.VIII geprüft, ob sich das detektierte und lokalisierte Objekt 0 innerhalb eines Sicher- heitsbereichs um die Schienen S befindet oder sich gegebenen falls in Richtung der Schienen bewegt. Ist das der Fall, wird das Objekt 0 bei dem Schritt l.VIII als potenzielles Kollisi onshindernis KH eingestuft. Andernfalls wird das Objekt 0 bei dem Schritt l.VIII nicht als Kollisionshindernis KH einge stuft. Weiterhin erfolgt eine Prüfung der potenziellen Kolli sionshindernisse zum Beispiel durch den Vergleich mit Karten material, um tatsächliche Kollisionshindernisse KH von Objek ten 0 der vorhandenen Infrastruktur unterscheiden zu können. Weitere Verfahren zur Identifizierung von Kollisionshinder nissen KH verfolgen ein detektiertes Objekt 0 nach. Bewegt sich das Objekt 0, insbesondere in Richtung Gleisbereich, so kann es als potenzielles Kollisionshindernis KH eingestuft werden, bewegt es sich nicht und befindet es sich auch nicht direkt im Gleisbereich, so kann das detektierte Objekt 0 als harmlos angesehen werden.

In FIG 2 ist eine schematische Darstellung 20 von zweidimen sionalen Bilddaten 2D-BD gezeigt. In FIG 2 ist der Schritt l.III der FIG 1 veranschaulicht, bei dem die Schienen S loka lisiert und identifiziert werden.

In FIG 3 ist eine schematische Darstellung 30 von aufgenomme nen bzw. erzeugten Bilddaten 2D-BD gezeigt, wobei den Schie nen S pixelweise Tiefendaten T(S) zugeordnet werden. Weiter hin sind in FIG 3 auch Objekte im Bild zu erkennen, wie zum Beispiel ein Radfahrer CL, ein Mast PL, und Gebäude BL. FIG 3 zeigt mithin ein Szenario, das dem Schritt 1.IV in FIG 1 zu zuordnen ist.

In FIG 4 ist eine schematische Darstellung 40 der bereits in FIG 3 veranschaulichten Bilddaten gezeigt, wobei unterschied liche Objekte BL, CL, PL, wie zum Beispiel ein Radfahrer CL, ein Mast PL und Gebäude BL, detektiert wurden. Die Pixel der Objekte weisen in einer beliebigen Bildreihe in der Regel eine geringere Tiefe auf als die Pixel der Schienen S. Bei spielsweise weist der Pixel P(PL) in der Reihe R± eine gerin gere Tiefe T(P(PL)) auf als die Schienen S. Mithin kann ange nommen werden, dass der Pixel P(PL) zu einem aus der Gelände ebene herausragenden Objekt gehört. In FIG 4 ist mithin ein Szenario veranschaulicht, welches den Schritten l.V und l.VI in FIG 1 entspricht.

In FIG 5 ist die in FIG 3 und FIG 4 gezeigte Darstellung als Darstellung 50 mit entfernter Geländeebene gezeigt, so dass in der Darstellung 50 nur noch die detektierten Objekte CL, PL, BL zu erkennen sind, nicht aber die Schienen S und übri gen Bildbereiche der Geländeebene.

In FIG 6 ist die in FIG 3, FIG 4 und FIG 5 bereits gezeigte Bilddarstellung nochmals als Darstellung 60 mit eingezeichne tem Sicherheitsbereich SB gezeigt. Der Sicherheitsbereich SB markiert den Bereich im Bild, in dem Objekte als Kollisions hindernisse aufgefasst werden. Nur der Mast PL der detektier- ten Objekte PL, BL, CL befindet sich in dem Sicherheitsbe reich SB. Nur dieser Mast PL wird als potenzielles Kollisi onshindernis KH identifiziert und zum Beispiel mit Hilfe ei nes Nachverfolgungsalgorithmus überwacht. Wird bei der Nach verfolgung ermittelt, dass sich der Mast PL nicht bewegt, was zu erwarten ist, so wird auch der Mast PL nicht als potenzi elles Kollisionshindernis KH eingestuft. Das in FIG 6 ge zeigte Szenario entspricht dem Schritt l.VIII in FIG 1.

In FIG 7 ist eine schematische Darstellung einer Hinderniser kennungseinrichtung 70 gemäß einem Ausführungsbeispiel der Erfindung gezeigt.

Die Hinderniserkennungseinrichtung 70 umfasst eine links in FIG 7 dargestellte Sensordatenschnittstelle 71. Die Sensorda tenschnittstelle 71 ist als Kamera ausgebildet und ist dazu eingerichtet, 3D-Bilddaten 3D-SD von einem Umgebungsbereich U eines Schienenfahrzeugs 81 (siehe FIG 8), an dem die Hinder niserkennungseinrichtung 70 angeordnet ist, zu empfangen. Weiterhin umfasst die Hinderniserkennungseinrichtung 70 auch eine Projektionseinheit 72, welche auf Basis der 3D-Bilddaten 3D-BD durch eine Projektion 2D-Bilddaten 2D-BD erzeugt. Die Hinderniserkennungseinrichtung 70 weist auch eine Lokalisie rungseinheit 73 zum Detektieren und Lokalisieren von Schienen S in den 2D-Bilddaten auf. Teil der Hinderniserkennungsein richtung 70 ist auch eine Tiefendatenermittlungseinheit 74 zum Ermitteln von Tiefendaten T in den 2D-Bilddaten 2D-BD auf Basis der 3D-Bilddaten 3D-BD. Die Hinderniserkennungseinrich tung 70 umfasst auch eine Zuordnungseinheit 75 zum Aufteilen der 2D-Bilddaten 2D-BD in linienartige Bildsegmente BS mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe. Die Hinderniserkennungseinrichtung 70 weist auch eine Ver gleichseinheit 76 auf, welche dazu eingerichtet ist, den Tie fenwert T(P) eines Pixels P eines linienartigen Bildsegments BS außerhalb der Schienen S mit dem jeweiligen Tiefenwert T(S) der Schienen S zu vergleichen. Dabei wird ein Differenzwert DT der Tiefenwerte ermittelt und mit einem Schwellwert SW verglichen.

Teil der Hinderniserkennungseinrichtung 70 ist auch eine De tektionseinheit 77. Die Detektionseinheit 77 detektiert, ob ein Pixel P Teil eines die Geländeebene überragenden Objekts 0 ist. Diese Detektion erfolgt in Abhängigkeit davon, ob die Differenz DT der Tiefenwerte den vorbestimmten Schwellwert SW überschreitet. Wird detektiert, dass der Pixel P Teil eines Objekts 0 ist, so wird von einer Hindernisermittlungseinheit 78, die ebenfalls Teil der Hinderniserkennungseinrichtung 70 ist, ermittelt, ob das Objekt 0 ein potenzielles Kollisions hindernis KH darstellt. Diese Ermittlung erfolgt in Abhängig keit davon, ob dem Objekt 0 Eigenschaften eines Kollisions hindernisses KH zuzuordnen sind. Diese Eigenschaften können zum Beispiel dessen Position in einem Sicherheitsbereich SB, sein oder dessen Bewegung und Bewegungsrichtung betreffen.

Für die Ermittlung der Bewegung des Objekts 0 wird zum Bei spiel eine Nachverfolgung der Trajektorie des detektierten Objekts 0 durchgeführt.

In FIG 8 ist eine schematische Darstellung 80 eines Schienen fahrzeugs 81 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Das links in FIG 8 schematisch dargestellte Schienenfahrzeug 81 fährt von links nach rechts in Pfeilrich tung auf einem Gleiskörper GK und erfasst dreidimensionale Bilddaten 3D-BD von einem vor dem Schienenfahrzeug 81 liegen den Umgebungsbereich U. Hierzu umfasst das Schienenfahrzeug 81 in seinem Frontbereich eine Kameraeinheit 82. Die 3D-Bild- daten 3D-BD werden an eine Hinderniserkennungseinrichtung 70 übermittelt, die ebenfalls Teil des Schienenfahrzeugs 68 ist und den in FIG 7 veranschaulichten Aufbau hat. Die Hinder niserkennungseinrichtung 70 ermittelt nun auf Basis der 3D- Bilddaten 3D-BD, dass sich in der Umgebung, genauer gesagt auf der rechten Schiene des in FIG 8 gezeigten Gleiskörpers GK ein Kollisionshindernis KH befindet. Dieses Ergebnis KH wird an eine von dem Schienenfahrzeug 81 umfasste Steuerein richtung 83 übermittelt, welche in Antwort auf dieses Kollisionshindernis KH Steuerbefehle an einzelne Funktions einheiten des Schienenfahrzeugs 81 übermittelt. Beispiels- weise werden die Bremsen des Schienenfahrzeugs 81 angesteu ert, um das Schienenfahrzeug 81 vor dem Kollisionshindernis zum Stehen zu bringen.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig- keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.