Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera und modifizierter Entrauschungsfilter

Die Erfindung betrifft ein Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera sowie einen modifi zierten Entrauschungsfilter zum Bearbeiten von mindestens ei nem fahrzeugintern ermittelten Bildsignal, aufweisend eine auf nicht-lokalen Mittelwerten basierende Einheit zum Ent rauschen von Bilddateien mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen Bildsignals .

In vielen Bereichen des täglichen Lebens kommen Kameras zur Objekterkennung zum Einsatz . Insbesondere im Bereich von Fahrzeugen, werden häufig Kameras zur Erkennung möglicher Hindernisse im Umfeld des Fahrzeugs verwendet . Neben Automo bilen stellen Schienenfahrzeuge einen wichtigen Einsatzbe reich für Objekterkennung durch Kameras dar . Für Schienen fahrzeuge sind aufgrund hoher Geschwindigkeiten, der beför derten Personenanzahl und der Masse von Schienenfahrzeugen sowie langer Bremswege besondere Vorkehrungen zu treffen .

Immer wieder kommt es vor, dass Personen bewusst oder unbe wusst Schienenstrecken aufsuchen oder sich Objekte auf den Gleisen befinden, die schlimmsten Falls zu einer Entgleisung führen können . Bisher eingesetzte visuell-optischen Kameras können nur tagsüber eingesetzt werden und sind stark abhängig von den vorliegenden Lichtverhältnissen . Im Gegensatz zu vi suell- optischen Kamerasystemen benötigen Thermografiekameras kein Umgebungslicht oder eine aktive Beleuchtung durch die Scheinwerfer des eigenen Fahrzeugs . Damit sind sie für eine Hinderniserkennung im Nah- und Fernfeld auch bei Nacht geeig net .

Insbesondere ungekühlte Thermografiekameras weisen aufgrund Ihres Messprinzips eine sehr schlechte Bildqualität durch ein starkes Rauschen auf . Des Weiteren kann eine stetige Erhit- zung des Infrarotsensors , eine hohe Unschärfe und eine sehr geringe Auslösung von Thermografiekameras die Objekt- oder Personenerkennung im Umfeld des Fahrzeugs stark einschränken .

Aufgabe der Erfindung ist es ein Verfahren und einen Filter vorzuschlagen, welche eine zuverlässige Erkennung von Hinder nissen im Umgebungsbereich eines Fahrzeugs ermöglichen

Gelöst wird die Aufgabe durch den Gegenstand des unabhängigen Patentanspruchs 1 und des unabhängigen Patentanspruchs 8. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von j eweils abhängigen Unteransprüchen .

Nach einem Aspekt der Erfindung wird ein Verfahren zur Ob jekterkennung für ein Fahrzeug mit einer Thermografiekamera bereitgestellt . In einem Schritt wird ein Umgebungsbereich des Fahrzeugs durch die Thermografiekamera erfasst und in mindestens ein Bildsignal umgewandelt . Das mindestens eine Bildsignal kann dabei analog oder digital sein . Das Bildsig nal kann beispielsweise Informationen von einem oder von meh reren statischen oder bewegten Bildern aufweisen .

Das mindestens eine Bildsignal wird durch einen ersten Filter und durch mindestens einen zweiten Filter bearbeitet . An schließend wird das mindestens eine bearbeitete Bildsignal zur Objekterkennung durch einen Fahrer angezeigt oder durch eine Verarbeitungseinheit analysiert, wobei als erster Filter ein modifizierter non-local-means Entrauschungsfilter zum Be arbeiten des mindestens einen Bildsignals angewandt wird.

Durch das Verfahren kann eine Bildverbesserung von durch Thermografiekameras aufgezeichneten Bildsignalen für den Ein satz der Hinderniserkennung im Bereich von Fahrzeugen erzielt werden . Dabei können hauptsächlich weniger leistungsfähige Thermografiekameras mit einem hohen Rauschen durch die Nach bearbeitung mit dem ersten Filter und dem mindestens einen zweiten Filter dahingehend aufgearbeitet werden, dass mit dem aufgezeichneten Bilddaten eine Erkennung von Hindernissen durch automatisierte Verarbeitungseinheiten oder durch den Fahrer des Fahrzeugs ermöglicht werden .

Die Erkennungsrate von Hindernissen kann durch den Vorverar beitungsschritt mit mindestens einem Entrauschungsverfahren gesteigert werden .

Der non-local-means (NLM) Entrauschungsfilter kann bevorzug terweise dahingehend modifiziert sein, dass eine Gewichtung bzw . eine Begrenzung des Wirkbereichs innerhalb mindestens einen Bildsignals nicht statisch durch einen definierten Ra dius , sondern durch einen Gewichtungsfaktor eines bilateralen Entrauschungsfilters verwendet wird.

Ein bilateraler Entrauschungsfilter kann abhängig von einer Bildwiederholrate eine hohe Anforderung an die Rechenleistung aufweisen . Durch den Einsatz der Gewichtung des bilateralen Filters in einem NLM Filter kann eine hohe Leistung bei der Entrauschung eines Bildsignals mit einer höheren Verarbei- tungsgeschwindigkeit kombiniert werden .

Gemäß einem Ausführungsbeispiel des Verfahrens wird als der mindestens eine zweite Filter ein Entrauschungsfilter für Schrotrausehen, eine Schärfefilter und/oder einen Farbkorrek turfilter zum Bearbeiten des mindestens einen Bildsignals an gewandt . Beispielsweise kann ein Medianfilter als ein zweiter Filter eingesetzt werden .

Der Medianfilter gehört zur Klasse der Rangordnungsfilter und ist nichtlinear, das heißt, er lässt sich nicht durch eine FaltungsOperation beschreiben . Der Medianfilter kann bevor zugterweise zum Kompensieren von Schrotrausehen eingesetzt werden . Die Details von Kanten eines Bildes können dabei vor einer Weichzeichnung während der Entrauschung aufrechterhal ten werden .

Bei als natürliche Bilder ausgestalteten Bildsignalen einer Fahrzeugumgebung können zueinander benachbarte Pixel eines Bildes oft ähnliche Färb- bzw . Helligkeitswerte aufweisen .

Als Schrotrausehen werden zufällige, starke Ausreißer be zeichnet . Beispielsweise können Schmutzpartikel auf einer Linse der Thermografiekamera Schrotrausehen in den Bildsigna len verursachen .

Der mindestens eine zweite Filter kann darüber hinaus als ein Schärfefilter zum Entgegenwirken einer Weichzeichnung durch Entrauschungsfilter oder als ein Farbfilter zum Anpassen von Belichtungen und zum Erhöhen eines Kontrasts ausgestaltet sein . Hier

Nach einem weiteren Ausführungsbeispiel des Verfahrens wird der erste Filter vor oder nach dem mindestens einen zweiten Filter zum Bearbeiten des mindestens einen Bildsignals einge setzt . Die als zweite Filter einsetzbaren Verarbeitungspro zesse der Bildsignale korrelieren nicht mit dem ersten Fil ter, wodurch die Bildverarbeitung in einer beliebigen Reihen folge durchgeführt werden kann .

Im Falle eines Medianfilters als zweiten Filter, ist dieser zwar für Schrotrausehen effizient einsetzbar, j edoch weist der Medianfilter eine geringe Effizienz bei weißem Rauschen auf . Hierdurch kann der für weißes Rauschen vorgesehene modi fizierte NLM Filter unabhängig vom Medianfilter auf die

Bildsignale angewandt werden .

Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird eine Kalibrierung eines Infrarotsensors der Thermografiekame ra anhand mindestens eines Rauschmodells durchgeführt . Für das System kann ein Rauschmodell anhand von definierten Test körpern im Vorfeld bestimmt werden . Dieses Rauschmodell kann vorzugsweise abhängig von Umgebungsbedingungen ausgestaltet sein .

Die Umgebungsbedingungen können dabei eine Temperatur, Witte- rungsverhältnisse, eine Tageszeit, Umgebungslichtverhältnisse und dergleichen umfassen . Das Rauschmodell kann zusätzlich Störeinflüsse im Amplitudenbereich pro Pixel oder Pixelgruppe des Sensors der Thermografiekamera sowie geometrische Verzer rungen des Sensors oder einer Optik der Thermografiekamera aufweisen .

Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zum Durchführen der Kalibrierung mindesten ein lokales

Rauschmodell für mindestens einen Bereich des Infrarotsensors angewandt . Es können somit für j eden Bereich des Infra rotsensors lokale Rauschmodelle definiert und in einer Steu ereinheit oder der Verarbeitungseinheit hinterlegt werden .

Über eine zeitliche Beobachtung der Testkörper kann auch ein lokaler Sensordrift des Infrarotsensors ermittelt werden . Mithilfe der lokalen Rauschmodelle kann anschließend eine an gepasste Rauschreduzierung vorgenommen werden . Durch die Ver wendung von Rauschmodellen können insbesondere Sensorbereiche mit einer hohen Rauschneigung oder einem hohen Sensordrift stärker durch den Einsatz der Filter entrauscht werden . Mit hilfe des global und lokal bestimmten Sensordrifts können die Amplitudenwerte der einzelnen Sensorpixel skaliert und damit der Einfluss der Sensordrifts des Infrarotsensors optimal ausgeglichen werden .

Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird das mindestens eine Rauschmodell anhand von erkannten Objek ten und/oder Umgebungsbedingungen adaptiert . Hierdurch kann das Rauschmodell zusätzlich in mindestens einer EinsatzSitua tion anhand von erkannten realen Objekten, wie beispielsweise Personen, adaptiert werden . Somit kann eine situationsabhän gige Wahl eines Rauschmodells mit einer entsprechend ange passten Kopplung des ersten und des mindestens einen zweiten Filters vorgenommen werden .

Das Verfahren kann dadurch an eine hohe Variation von Hinder nissen und Umgebungsbedingungen adaptiert bzw . ausgerichtet werden . Hierbei können abhängig von der Ausführung der Verar beitungseinheit weitergehende Aktionen initiiert werden, wel- che einen Einfluss auf das Fahrzeug haben . Dabei kann die Re aktion des Fahrers auf eine Aktion der Verarbeitungseinheit berücksichtigt werden .

Nach einem weiteren Ausführungsbeispiel des Verfahrens wird basierend auf einem Ergebnis der Objekterkennung eine Warnung an einen Fahrer des Fahrzeugs erzeugt oder eine Aktion des Fahrzeugs eingeleitet . Die Verarbeitungseinheit kann eine au tomatisierte Analyse der bearbeiteten Bildsignale durchführen und selbstständig entscheiden, ob eine reale Gefahr, bei spielsweise durch eine Person auf der Straße oder den Gleisen oder durch gefährliche Gegenstände in der Traj ektorie des Fahrzeugs , vorliegt .

Wenn die Verarbeitungseinheit eine entsprechende gefährliche Situation feststellen konnte, kann abhängig von einer Fahr zeuggeschwindigkeit, einem Abstand zur Gefahr und der Art der Gefahr ein Warnsignal, ein Ausweichmanöver oder ein Bremsma növer eingeleitet werden .

Gemäß einem weiteren Aspekt der Erfindung wird ein modifi zierter Entrauschungsfilter zum Bearbeiten von mindestens ei nem fahrzeugintern ermittelten Bildsignal bereitgestellt . Der Entrauschungsfilter weist eine auf nicht-lokalen Mittelwerten basierende Einheit zum Entrauschen von Bildsignalen mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen

Bildsignals auf, wobei der begrenzbare Wirkbereich als ein Gewichtungsfaktor eines bilateralen Entrauschungsfilters aus gestaltet ist .

Die auf nicht-lokalen Mittelwerten basierende Einheit kann vorzugsweise ein sogenannter „Non-Local-Means" (NLM) Entrau schalgorithmus sein . Derartige NLM Filter weisen eine effek tive Unterdrückung von weißem Rauschens bei gleichzeitigem Erhalt von Kanten und feinen Strukturen auf . Anders als bei einer gaußschen Entrauschung werden Mittelwerte zum „glätten" der Pixel in den Bildsignalen nicht lokal gebildet, sondern beispielsweise in einer gesamten Bilddatei bzw . innerhalb des gesamten Bildsignals gesucht und verwendet . Dabei können Pi xel mit einer ähnlichen Farbe oder einer ähnlichen Helligkeit zum Durchführen einer Mittelung gesucht .

Im Gegensatz zum NLM Filter wirkt ein bilateraler Entrau- schungsfilter nur in einer lokalen Umgebung eines Pixels . Mit dem NLM Filter gemein ist dabei die Idee, ähnliche Pixel mit einander zu mittein . Dazu wertet der bilaterale Entrau- schungsfilter eine geographische sowie eine photometrische Ähnlichkeit aus . Die photometrische Ähnlichkeit kann dabei auf Farben oder Helligkeiten basieren . Die Implementierung kann dabei, genauso wie der Gaußsche Mittelwertfilter, den Abstand der miteinander zu vergleichenden Pixel berücksichti gen, indem ein zu entrauschendes Pixel mit einem größeren ge ographischen Abstand zu einem benachbarten Pixel, ein gerin geres Gewicht zugewiesen bekommt als eines mit einem geringe ren geographischen Abstand.

Der erfindungsgemäße Entrauschungsfilter kann die Eigenschaf ten des NLM Fiters und die des bilateralen Entrauschungsfil- ters miteinander kombinieren . In natürlichen Szenen bzw .

Fahrzeugumgebungen, welche von der Thermografiekamera aufge- zeichnet werden, kann angenommen werden, dass Grauwerte weit voneinander entfernter Pixel wenig miteinander korrelieren .

Aus diesem Grund wird der Grundansatz des theoretischen NLM Filters , ähnliche Pixel in dem gesamten Bildsignal zu suchen, nicht berücksichtigt . In einer realen Implementierung des NLM Filters kann durch eine Beschränkung des Suchfensters diese Fragestellung umgangen werden . Die Beschränkung des Suchfens ters bzw . des Wirkbereichs weist j edoch eindeutige Grenzen, wie beispielsweise einen definierten Radius um ein zu entrau schendes Pixel des Bildsignals , auf .

Der bilaterale Entrauschungsfilter weist im Hinblick auf den Wirkbereich dahingehend Vorteile auf, als dass weiter ent fernte Pixel eine geringere Gewichtung erhalten als näher ge legene Pixel des mindestens einen Bildsignals . Hierdurch kann somit eine optimierte Entrauschung von Bildsignalen durchge führt werden, welche die Vorzüge eines NLM Filters mit den Vorzügen eines bilateralen Filters kombiniert .

Nach einem Ausführungsbeispiel des Entrauschungsfilters ist der Gewichtungsfaktor des bilateralen Entrauschungsfilters eine Multiplikation aus einem geographischen Gewicht und ei nem photometrischen Gewicht . Es können somit sogenannte wei che Wirkbereiche zum Anwenden einer Entrauschung realisiert werden . Scharfe Kanten und Linien können aufgrund der photo metrischen Gewichtung vor einer Entrauschung geschützt wer den, sodass essentielle Details eines Bildsignals trotz der Anwendung des Entrauschungsfilters erhalten bleiben .

Gemäß einem weiteren Ausführungsbeispiel des Entrauschungs- filters ist der modifizierte Entrauschungsfilter basierend auf dem Algorithmus : mit einer Normalisierungskonstante Z — ill)w(l,i)

zum Reduzieren eines Bildrauschens des mindestens einen

Bildsignals betreibbar . Dabei entspricht v (j ) dem Bildsignal bzw . den Pixeln des Bildsignals , welche entrauscht werden soll . Die Variable w (i, j ) der Gewichtungsfaktor, welcher als eine Multiplikation der photometrischen Gewichtung und der geografischen Gewichtung ausgestaltet ist . G _{e (} I i-j I ) ent spricht dem gaußschen Kernel bzw . der gaußschen NormalVertei lungsfunktion .

Nach einem weiteren Ausführungsbeispiel des Entrauschungsfil ters ist der Entrauschungsfilter ein eigenständiger Hardware filter oder ein in ein Steuergerät eines Fahrzeugs integrier- ter Filter . Hierdurch kann der Entrauschungsfilter sowohl in bestehende softwaregesteuerte oder hardwaregesteuerte Steuer einheiten integriert werden oder als eine eigenständige Er weiterung eines Systems oder einer Vorrichtung ausgestaltet sein . Insbesondere kann der Entrauschungsfilter seriell in einer BildverarbeitungsSchaltung angeordnet sein .

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterung der folgenden stark vereinfachten schematischen Darstellungen bevorzugter Ausführungsbeispiele . Hierbei zei gen :

FIG 1 eine schematische Darstellung eines Fahrzeugs zum Aus- führen eines Verfahrens gemäß einer Ausführungsform der Erfindung und

FIG 2 ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung .

In den Figuren weisen dieselben konstruktiven Elemente je weils dieselben BezugsZiffern auf .

Die FIG 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 zum Ausführen eines Verfahrens 2 gemäß einer Ausführungs- form der Erfindung .

Das Fahrzeug 1 ist hier als ein Schienenfahrzeug ausgestaltet und weist eine in Fahrtrichtung ausgerichtete Thermografiekä mera 4 auf . Mit Hilfe der Thermografiekamera 4 kann eine Fahrzeugumgebung unabhängig von äußeren Lichtverhältnissen überwacht werden .

Die Thermografiekamera 4 mit einer Verarbeitungseinheit 6 bzw . einem Steuergerät 6 gekoppelt . Die von der Thermografie kamera 4 erzeugten Bilder können somit als analoge oder digi tale Bildsignale von der Verarbeitungseinheit 6 empfangen werden . Die Bildsignale können einzelne Bilder oder bewegte Bilder, wie beispielsweise EchtZeitaufnahmen einer Fahr zeugumgebung sein .

Die Bildsignale werden zuvor von einem modifizierten Entrau- schungsfilter 8 bearbeitet . Der Entrauschungsfilter 8 ist als ein Hardwarefilter ausgeführt und seriell zwischen der Ther mografiekamera 4 und der Verarbeitungseinheit 6 geschaltet .

Die Verarbeitungseinheit 6 kann die vorverarbeiteten Bildsig nale analysieren und insbesondere eine Objekterkennung durch führen .

In der FIG 2 ist ein schematisches Ablaufdiagramm des Verfah rens 2 gemäß einer Ausführungsform der Erfindung veranschau licht .

In einem ersten Schritt 10 wird eine Fahrzeugumgebung von der Thermografiekamera 4 erfasst .

Anschließend werden die Daten der Thermografiekamera 4 in Form von digitalen Bildsignalen an einen ersten Filter 8 übertragen 12. Der erste Filter 8 ist ein modifizierter Ent rauschungsfilter 8, welcher ein non-local-median Entrau schungsfilter mit Gewichtungsfaktoren eines bilateralen Ent rauschungsfilters ist .

Der erste Filter 8 kann dabei weißes Rauschen der Bildsignale kompensieren 14. Anschließend erfolgt eine Weiterleitung der gefilterten Bildsignale an die Verarbeitungseinheit 6. In der Verarbeitungseinheit 6 ist als erste Instanz ein zweiter Fil ter angeordnet . Der zweite Filter ist ein Softwarefilter, welcher in der Verarbeitungseinheit als ein Modul ausgestal tet ist . Gemäß dem Ausführungsbeispiel ist der zweite Filter ein Medianfilter zum Entfernen von Schrotrauschen .

Die durch die beiden Filter bearbeiteten Bildsignale werden anschließend dem Fahrer des Fahrzeugs 1 dargestellt 16, so- dass der Fahrer selbst über die Fahrzeugumgebung überblicken kann .

Alternativ oder zusätzlich können die bearbeiteten Bildsigna- le von der Verarbeitungseinheit 6 analysiert 18 und auf Hin dernisse oder Gefahren hin geprüft werden .

Sollte die Verarbeitungseinheit 6 beispielsweise eine erfolg reiche Personenerkennung während der Analyse durchgeführt ha- ben, so kann eine Rückmeldung 20 an den Fahrer oder eine

Fahrzeugaktion 22 durchgeführt werden . Die Fahrzeugaktion 22 kann beispielsweise ein BremsVorgang sein .