BILDVERARBEITUNGSSYSTEM

Die Erfindung betrifft ein Verfahren zur Fehlererkennung für zumindest ein Bildverarbeitungssystem, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges .

Des Weiteren betrifft die Erfindung eine Fehlererkennungsvorrichtung für zumindest ein Bildverarbeitungssystem bzw. eines darin implementierten zu überprüfenden Algorithmus, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges.

Aus dem Stand der Technik sind bereits optische/ visuelle Messbzw. Überwachungseinrichtungen zur Erkennung von Objektbewegungen bekannt geworden. Je nach Anwendung dieser Mess- bzw. Überwachungseinrichtungen werden unterschiedliche Anforderungen an die Genauigkeit und Zuverlässigkeit der Mess- bzw. Überwachungseinrichtungen gestellt. Zur Fehlererkennung von falschen Mess- und/ oder Berechnungsergebnissen sind häufig redundante Mess- bzw. Überwachungseinrichtungen und/ oder Berechnungsalgorithmen vorgesehen, mithilfe derer die Mess- und/ oder Berechnungsergebnisse verifiziert oder falsifiziert werden können.

Eine solche visuelle Überwachungseinrichtung ist beispielsweise in der DE 10 2007025 373 B3 offenbart, welche erste Entfernungsinformationen aufweisende Bilddaten aufnehmen und Objekte aus den Bilddaten erkennen und verfolgen kann. Diese erste Entfernungsinformation wird aufgrund einer zweiten Entfernungsinformation auf Plausibilität geprüft, wobei die zweite Entfernungsinformation aus einer Änderung einer Bildgröße der Objekte über aufeinanderfolgende Sätze der Bilddaten gewonnen wird. Als Kriterium zur Prüfung der Plausibilität wird dabei einzig die gewonnene Entfernungsinformation herangezogen. Fehler in der Bilderkennung oder Bildverarbeitung, die diese Entfernungsinformation nicht beeinflussen, können dadurch nicht erkannt werden.

Es ist daher eine Aufgabe der Erfindung eine Fehlererkennung für zumindest ein Bildverarbeitungssystem zu schaffen, welche zuverlässig, leistungsschonend, sowie möglichst unab- hängig bzw. redundant abläuft, kostengünstig implementierbar ist und zur Erkennung einer Vielzahl an Fehlerarten eingerichtet ist.

In einem ersten Aspekt der Erfindung wird diese Aufgabe mit einem Verfahren der eingangs genannten Art gelöst, bei welchem erfindungsgemäß folgende Schritte vorgesehen sind: a) Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung, b) Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a)

c) Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild, nach Schritt b)

d) Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs, nach Schritt a)

e) Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d)

f) Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild, nach Schritt e)

g) Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f).

Dank des erfindungsgemäßen Verfahrens ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen. Als Beispiele für solche Fehler seien Fehler bei der Bilderfassung (z.B. durch Hardware- oder Softwarefehler), bei der Datenverarbeitung oder bei der Bildverarbeitung, z.B. bei der Extraktion von Bildmerkmalen, angeführt. Diese können grundsätzlich durch Hardwaredefekte, überfüllte Speicher, Bitfehler, Programmierfehler usw. verursacht sein. Unter dem Begriff „ Primär bildursprung" wird im Rahmen dieser Anmeldung ein (tatsächlich aufgenommener oder auch zum Teil fiktiver) Bildbereich verstanden, dem das zumindest eine erste Primärbild entnommen wurde, und der zumindest gleich groß, im Allgemeinen allerdings größer ist als der Bildbereich des zumindest einen ersten Primärbildes. Das zumindest eine erste Sekundärbild kann in Schritt d) einerseits virtuell erzeugt werden, andererseits besteht auch die Möglichkeit, ein zu einem nachfolgenden Zeitpunkt erfasstes Bild als Sekundärbild heranzuziehen. Die Verschiebung und/ oder das Verdrehen kann durch natürliche Relativbewegung zwischen dem zumindest einen ersten Primärbild und zu einem nachfolgenden Zeitpunkt (in Form eines Sekundärbildes) erfassten, zumindest teilweise innerhalb des Primärbildursprungs liegenden Bildbereichs erfolgen. Eine solche Relativbewegung kann z.B. in einfacher Weise vorliegen, wenn eine an einem Fahrzeug angebrachte Kamera zur Erfassung der Primär- bzw. Sekundärbilder eingerichtet ist. Relativbewegungen des Fahrzeuges zur durch die Kamera erfassten Umgebung können somit genutzt werden, um eine„natürliche" Verschiebung/Verdrehung des zumindest einen ersten Sekundärbildes zu erzeugen. Dies hat des Weiteren den Vorteil, dass die Sekundärbilder in einem nächsten Schritt als Primärbilder für die nächste Überprüfung verwendet und direkt genutzt werden können und die Verarbeitung der Bilder nur jeweils einmal erfolgen muss. Der Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und die Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, kann z.B. durch eine Überprüfung der Korrelation zwischen dem Primärbildmerkmal und dem Sekundärbild- merkmal bzw. der zugrunde liegenden Verschiebung und/ oder Verdrehung erfolgen. Alternativ dazu kann im Grunde jedes beliebige Ähnlichkeitsmaß zwischen dem Primärbildmerkmal und den Sekundärbildmerkmal verwendet werden. Ist die Verschiebung und/ oder die Verdrehung eines Sekundärbildes z.B. bekannt, so kann der euklidische Abstand zwischen Punkten eines Sekundärbildmerkmals und Punkten, die sich aus den Primär bildmerkmalen abgeleitet werden können ins Verhältnis zur Verschiebung und/ oder Verdrehung des Sekundärbildes gesetzt werden und zur Bildung eines Schwellwerts zur Beurteilung des Vorliegens eines Fehlers in Schritt g) herangezogen werden. Die Erfindung bezieht sich insbesondere auf die Erfassung der Umgebung eines Fahrzeuges, ist aber auch für andere Anwendungen geeignet. Als Kraftfahrzeuge seien beispielsweise Automobile oder Roboter, insbesondere mobile Roboter, Flugzeuge, Wassermobile oder beliebige andere motorisierte technische Systeme zur Fortbewegung angeführt.

In einer vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbild- merkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild berechnet wird. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass in Schritt a) zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals in Schritt c) verwendet wird, wobei in Schritt d) zumindest das erste und das zweite Primärbild und verschoben und/ oder verdreht werden und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugt wird und in Schritt d) das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und / oder dem zweiten Sekundärbild extrahiert wird. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/ Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder und/ oder der beiden Sekundärbilder gewonnen werden.

Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbildmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahiert werden.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird in Schritt d) das zumindest eine erste Primärbild um eine in der Bildmitte liegende vertikale Achse gedreht. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen, wobei vorzugsweise die Achse so positioniert sein kann, dass die Summe der Abstände zu dem im Bild enthaltenen Pixel minimiert ist.

In einer günstigen Ausgestaltung des erfindungsgemäßen Verfahrens wird das zumindest eine erste Primärbild mithilfe zumindest eines ersten Sensors aufgenommen.

Dabei kann in einer Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in Schritt d) zumindest durch ein physisches Verschieben und/ oder Verdrehen der Position und/ oder Orientierung des zumindest einen ersten Sensors erreicht wird. Die Verschiebung und/ oder Verdrehung des ersten Sensors erfolgt dabei relativ zur durch den ersten Sensor erfassten Sensorumgebung. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht.

Alternativ dazu kann vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in Schritt d) zumindest durch eine digitale Bearbeitung des zumindest einen ersten Primärbildes erreicht wird. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden.

In einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann mithilfe des ersten Sensors zumindest das erste und das zweite Primärbild aufgenommen werden, wobei das zweite Primärbild nach der Aufnahme des ersten Primärbildes aufgenommen wird. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern (und/ oder von Sekundärbildern) zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.

Alternativ dazu kann es vorgesehen sein, dass mithilfe des ersten Sensors das erste Primärbild und mithilfe eines zweiten Sensors das zweite Primärbild aufgenommen wird. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewegung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo 3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.

Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung des erfindungsgemäßen Verfahrens gegeben, bei welcher zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest ein Referenzmerkmal in das zumindest eine erste Primär bild und/ oder das zumindest eine erste Sekundär bild eingebracht wird und

- nach Schritt c) und / oder e) zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild extrahiert wird und

- in einem dem Schritt c) und/ oder e) nachfolgendem Schritt h) ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnisses des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers herangezogen wird.

Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast- und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert wird.

Es ist dabei vorteilhaft, wenn das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen geprüft wird, und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des zumindest einen ersten Sekundärbildes eingefügt wird, in welchem keine relevanten Bildmerkmale vorhanden sind. Somit wird das Verdecken von relevanten Bildmerkmalen in einfacher Weise vorgebeugt.

Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundär bild eingebracht werden, wobei nach Schritt c) und/ oder e) zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahiert wird. In einer günstigen Variante des erfindungsgemäßen Verfahrens wird in Schritt a) zumindest ein zweites Primärbild erfasst, wobei in Schritt d) mithilfe des zweiten Primärbildes zumindest ein zweites Sekundärbild erfasst oder erzeugt wird, wobei nach Schritt c) und/ oder e) das zumindest eine Testmerkmal aus den zumindest zwei Sekundärbildern extrahiert wird. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Referenzmerkmal und/ oder das zumindest eine Testmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal und/ oder dem zumindest einen Testmerkmal Ortsinformationen (also Tiefeninformationen) extrahiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen).

In einem zweiten Aspekt der Erfindung wird die oben gestellte Aufgabe mit einer Fehlererkennungsvorrichtung der eingangs genannten Art gelöst, wobei zumindest eine Recheneinheit zum

- Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung,

- Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus,

- Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild,

- Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs,

- Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus - Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild und

- Vergleichen des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers eingerichtet ist.

Dank der erfindungsgemäßen Fehlererkennungsvorrichtung ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen.

In einer vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbildmerkmal durch eine lokale Farbinformation und/oder einen lokalen Kontrast und/oder eine lokale Bildschärfe und/oder lokale Gradienten in zumindest dem ersten Sekundärbild berechnet. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt.

Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals eingerichtet ist, wobei zumindest das erste und das zweite Primärbild und verschiebbar und/ oder verdrehbar ist und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugbar ist und das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und/ oder dem zweiten Sekundärbild extrahierbar ist. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder bzw. Sekundärbilder gewonnen werden.

Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbild- merkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahierbar sind.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die zumindest eine Recheneinheit zum Drehen des zumindest einen ersten Primärbildes um eine in der Bildmitte liegende vertikale Achse eingerichtet. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen.

In einer günstigen Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung weist diese zumindest einen ersten Sensor zur Aufnahme des zumindest einen ersten Primärbildes auf. 23 Dabei kann in einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung vorgesehen sein, dass der zumindest eine erste Sensor verschieb- und/ oder verdrehbar ist. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht.

Alternativ dazu kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist das zumindest eine erste Primärbild digital zu verschieben und/ oder zu verdrehen. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden.

In einer weiteren vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung ist mithilfe des ersten Sensors zumindest das erste Primärbild sowie zu einem nachfolgenden Zeitpunkt oder Zeitintervall das zweite Primärbild aufnehmbar. Die Zeitabstände zwischen der Aufnahme des ersten und des zweiten Primärbildes (sowie zwischen Primärbildern und Sekundärbildern) können beispielhaft zwischen 0 und 10ms, 10 und 50ms, 50 und 100ms, 100 und 1000ms oder 0 und ls oder höher betragen. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.

Alternativ dazu kann es vorgesehen sein, dass der erste Sensor zur Aufnahme des ersten Primärbildes und ein zweiter Sensor zur Aufnahme des zweiten Primärbildes eingerichtet sind. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewe- gung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo 3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.

Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung gegeben, bei welcher die zumindest eine Recheneinheit zum Einbringen zumindest eines Referenzmerkmals in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild eingerichtet ist, wobei zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild mittels der zumindest einen Recheneinheit extrahierbar ist, wobei ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnis des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers heranziehbar ist.

Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert ist.

Es ist dabei vorteilhaft, wenn die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen zu prüfen und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des zumindest einen ersten Sekundärbildes einzufügen, in welchem keine relevanten Bildmerkmale vorhanden sind.

Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild einzubringen, wobei zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahierbar ist.

In einer günstigen Variante der erfindungsgemäßen Fehlererkennungsvorrichtung ist die die zumindest eine Recheneinheit dazu eingerichtet zumindest ein zweites Primärbild zu erfassen und Referenzmerkmale in das erste und das zweite Primärbild einzubringen, wobei die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Testmerkmal aus den zumindest zwei verarbeiteten Primärbildern zu extrahieren. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten.

Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann es vorgesehen sein, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahierbar sind. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen).

Die Erfindung samt weiteren Ausgestaltungen und Vorteilen ist im Folgenden an Hand einer beispielhaften, nicht einschränkenden Ausführungsform näher erläutert, die in den Figuren veranschaulicht ist. Hierbei zeigt Fig. 1 eine Darstellung eines ersten Primärbildes in einem Primärbildursprung,

Fig. 2 eine Darstellung eines zu dem ersten Primärbild korrespondierenden ersten Sekundärbildes,

Fig. 3 eine Darstellung eines ersten und eines zweiten Primärbildes,

Fig. 4 eine Darstellung eines Referenzbildes,

Fig. 5 eine Darstellung des verarbeiteten Referenzbildes,

Fig. 6 eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten und

Fig. 7 eine Draufsicht auf ein Fahrzeug mit einer erfindungsgemäßen Fehlererkennungsvorrichtung.

Fig. 1 zeigt eine Darstellung eines ersten Primärbildes PB1, welches beispielhaft im Zentrum eines Primärbildursprungs PBU angeordnet ist. Das erste Primärbild PB1 bildet dabei eine Untermenge des Primärbildursprungs PBU, welcher sich über das erste Primärbild PB1 hinaus erstreckt, wobei das erste Primärbild PB1 durch eine strichpunktierte Linie eingegrenzt ist. In dem ersten Primärbild PB1 sind z.B. zwei quaderförmige Objekte Ol und 02 erkennbar, welche sich zur Detektion von Primärbildmerkmalen PBM eignen. Beispielhaft wurden jeweils ein dem jeweiligen Objekt Ol bzw. 02 zugeordnetes Primärbildmerkmal mit einem Bezugszeichen PBM versehen, wobei sich diese Primärbildmerkmale PBM an einer Ecke der Objekte Ol bzw. 02 befinden. Üblicherweise werden eine Vielzahl von Primärbildmerkmalen PBM, beispielsweise eine Mehrzahl der Ecken, insbesondere jede sichtbare im Bild abgebildete Ecke erfasst, um eine besonders zuverlässige Erkennung von Objekten zu ermöglichen. Grundsätzlich sind sämtliche Bildmerkmale als Primärbildmerkmale geeignet, die auch nach einer Manipulation oder geringfügigen Veränderung der Primärbilder zuverlässig wieder erkannt werden können. Dies ist insbesondere von der Art der Manipulation bzw. der Veränderung der Bilder abhängig. Weitere Merkmale, die als Primärbild- merkmal geeignet sein können wären beispielsweise Objektkanten, lokale Farbinformationen und/ oder ein lokaler Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in dem ersten Primärbild PB1. Die Bildmerkmale müssen daher nicht zwingend einem Objekt zugeordnet sein sondern können im Grunde durch beliebige wiedererkennbare Merkmale gebildet werden (selbiges gilt für die Primärbildmerkmale PBM eines im Folgenden beschriebenen zweiten Primärbilds PB2 sowie auch weiterer optionaler Primärbilder, Sekundärbildmerkmale SBM von Sekundärbildern, insbesondere eines ersten und zweiten Sekundärbildes SB1 und SB2 sowie auch weiterer optionaler Sekundärbilder in analoger Weise). Sofern es sich bei den Bildmerkmalen um Ecken oder Kanten von Objekten handelt, wie dies in dem gezeigten Beispiel der Fall ist, so können diese z.B. durch Faltungsoperationen mit entsprechenden Filtern, z.B. Gradientenfiltern, mathematisch sichtbar und aus den Bildern extrahiert werden, die üblicherweise in der Bildverarbeitung als Matrix dargestellt werden können, in der jedem Bildpunkt zumindest ein Zahlenwert zugeordnet wird, wobei der Zahlenwert die Farbe und/ oder Intensität eines Bildpunktes repräsentiert. Ein gemäß Schritt b) des erfindungsgemäßen Verfahrens zu überprüfender Algorithmus kann z.B. ein Algorithmus sein, mit Hilfe dessen einzelne Objekte im Bild erkannt werden oder Bildmerkmale extrahiert werden können (z.B. die zuvor erwähnte Filterung mittels eines Gradientenfilters). Analoges gilt für den erfindungsgemäßen Schritt e).

Ein Mittelpunkt der Fig. 1 bzw. des Primärbildes PB1 ist durch ein Kreuz X gekennzeichnet, welches den Schnittpunkt einer vertikalen Drehachse mit einer dem ersten Primärbild PB1 zugeordneten Bildebene darstellt (unter dem Begriff„vertikale Drehachse" wird im Rahmen dieser Anmeldung verstanden, dass die Drehachse normal zu der Bildebene orientiert ist). Gemäß einem Aspekt der Erfindung kann ein Vergleich von Bildmerkmalen eines Primärbildes mit den Bildmerkmalen eines durch Verschieben und/ oder Verdrehen des Primärbildes erzeugten Nachfolgebildes (ein sogenanntes Sekundärbild) genutzt werden, um Fehler in Bildverarbeitungssystem, insbesondere in den zugrunde liegenden Algorithmen festzustellen, indem dieses in gleicher Weise (siehe Schritt e) des erfindungsgemäßen Verfahrens) auf das Sekundärbild angewandt wird. Fig. 1 zeigt ein beispielhaftes erstes Sekundärbild SB1, bei welchem der Primärbildursprung PBU und somit das erste Primärbild PB1 um die durch das Kreuz dargestellte vertikale Drehachse entgegen dem Uhrzeigersinn um ca. 15° gedreht wurde. Die Drehung (oder auch eine Verschiebung) kann im Grunde beliebig erfolgen, wichtig ist lediglich, dass das Sekundärbild, hier das erste Sekundärbild SB1, eine ausreichende Anzahl an (zu dem zugeordneten Primärbild) korrespondierenden Bildmerkmalen, den sogenannten Sekundärbildmerkmalen SBM (siehe Fig. 2), aufweist. Nun verweisend auf Fig. 2 ist das zu dem ersten Primärbild PBl korrespondierende erste Sekundärbild SB1 dargestellt (sofern nicht anderes angegeben werden im Rahmen dieser Anmeldung mit denselben Bezugszeichen dieselben Merkmale bezeichnet). In diesem gezeigten Beispiel wird das erste Primärbild PBl vollständig durch das erste Sekundärbild SB1 erfasst, wobei die Objekte Ol und 02 mitsamt dem Primärbildursprung PBU entsprechend verdreht wurden. Diese Verdrehung kann wie eingangs erwähnt einerseits durch eine digitale Bildverarbeitung erreicht werden, andererseits könnte ebenso ein oder mehrere die Bilder (Primärbilder, Sekundärbilder) erfassende Sensoren entsprechend verdreht und/ oder verschoben werden. Insbesondere können an einem Fahrzeug angebrachte Bilderfassungssensoren verwendet werden, um die zu verarbeitenden Bilder zu liefern. Dabei kann eine Verdrehung und/ oder insbesondere eine Verschiebung, insbesondere eine horizontale Verschiebung der Sekundärbilder auch in einfacher Weise durch eine Relativbewegung des Fahrzeugs zu seiner Umgebung (wie diese typischerweise während der Fahrt mit dem Fahrzeug gegeben ist) erreicht werden. Beispielhafte Bildmerkmale der Objekte Ol und 02 sind darin als Sekundärbildmerkmale SBM bezeichnet. Ein Vergleich der Primärbildmerkmale PBM mit den Sekundärbildmerkmalen SBM gemäß dem Schritt g) der Erfindung gibt Aufschluss über das Vorliegen zumindest eines Fehlers. Wie in Fig. 2 deutlich erkennbar ist, weist das Sekundärbild Sekundärbildmerkmale SBM auf, die mit den Primärbildmerkmalen in Position bzw. in ihrem relativen Abstand zueinander korrelieren. Aufgrund einem hohen Maß an Korrelation zwischen den beiden Bildern kann auf eine erfolgreiche Bildverarbeitung bzw. korrekt durchgeführte Schritte a) bis f) rückgeschlossen werden. Wäre hingegen zumindest eines der Objekte Ol oder 02 aus dem Sekundärbild vollständig verschwunden, so kann daraus auf das Vorliegen eines Fehlers rückgeschlossen werden, da sich die Objekte Ol und 02 nicht in einem Randbereich des Primärbildes befinden und deshalb nicht vollständig aus dem Sekundärbild verschwunden sein können, sofern vorausgesetzt werden kann, dass das Sekundärbild ausreichend Übereinstimmung mit dem Primärbild aufweisen müsste. Dies kann z.B. durch eine entsprechend rasche Aufnahme der einzelnen Bilder gewährleistet werden.

Gemäß einem weiteren Aspekt der Erfindung können mehrere Primärbilder bzw. jeweils zugeordnete Sekundärbilder verwendet werden, um mithilfe des erfindungsgemäßen Verfahrens überprüft zu werden. So zeigt Fig. 3 eine Darstellung zweier Primärbilder, nämlich des ersten Primärbildes PBl sowie eines zweiten Primärbildes PB2, wobei das zweite Primärbild PB2 eine andere Perspektive auf den Bildinhalt des ersten Primärbildes PB1 liefert. Dies kann beispielsweise durch einen räumlichen Versatz zweier an einem Fahrzeug angebrachter Sensoren erreicht werden (unter dem Ausdruck„Stereo 3D" bekannt). Alternativ ist es ebenso möglich, durch zeitlichen Versatz der Aufnahme der Primärbilder eine geänderte Perspektive zur Verfügung zu stellen (unter dem Ausdruck„structure from motion" bekannt).

Die Darstellung der Objekte Ol bzw. 02 aus zumindest zwei unterschiedlichen Perspektiven erlaubt die Extraktion einer den Objekten zugehörigen Tiefeninformation. So können Objekte dreidimensional erfasst werden. Eine Drehung des ersten und des zweiten Primärbildes PB1 und PB2 (wobei dem zweiten Primärbild PB2 ein zweites Sekundärbild SB2 zugeordnet ist) erfolgt dabei vorzugsweise über eine zwischen den beiden Bildern zentral angeordnete vertikale Drehachse, die in Fig. 3 durch ein Kreuz dargestellt ist. Dies hat den Vorteil, dass beide Bilder im gleichen Ausmaß verdreht werden und möglichst viele Bildpunkte der Primärbilder in den Sekundärbildern erhalten bleiben.

Das erfindungsgemäße Verfahren kann zur Überprüfung einer Vielzahl an mittels Bildverarbeitung berechneten Bildern bzw. der der Verarbeitung zugrunde liegenden Algorithmen herangezogen werden. Die Überprüfung kann dabei Bild für Bild erfolgen, wobei beispielsweise eine einem Sekundärbild folgende Bildaufnahme (als Folgebild bezeichnet) mit dem Sekundärbild (insbesondere mit den Bildmerkmalen) verglichen werden kann. In diesem Fall bildet das ursprüngliche Sekundärbild das Primärbild in Bezug auf das Folgebild, welches dann als Sekundärbild verwendet würde. Es kann somit eine beliebig lange Folge an Bildern überprüft werden, wobei immer Nachfolgebilder (Sekundärbilder) bzw. dessen Merkmale mit Vorgängerbildern (Primärbildern) bzw. dessen Merkmale verglichen werden.

Fig. 4 zeigt einen weiteren Aspekt der Erfindung, demnach ein Referenzmerkmal RM in das erste Primärbild PB1 eingebracht wird, welches nach Einbringen des Referenzmerkmals RM als erstes Referenzbild RB1 bezeichnet wird. Referenzmerkmale RM sind künstlich in das Bild eingebrachte Merkmale, die in nachfolgend beschriebener Weise zur Erkennung von Fehlern in Bildverarbeitungssystemen herangezogen werden können. Referenzmerkmale RM können beispielsweise durch eine lokale Färb-, Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnte ein solches Viereck mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend wird (also kontinuierlich in das Originalbild übergeht). Im gezeigten Beispiel ist das Referenzmerkmal ein Quadrat, welches sich durch schwarze durchgezogene Linien vom Bildhintergrund abhebt.

Das Referenzbild RB1 wird mithilfe eines Algorithmus verarbeitet, welcher mittels des erfindungsgemäßen Verfahrens überprüft werden kann. So zeigt Fig. 5 eine Darstellung des verarbeiteten Referenzbildes RB1, in welcher die den Objekten Ol sowie 02 zugehörigen Primärbildmerkmale PBM erkennbar sind. Das verarbeitete Referenzmerkmal RM der Fig. 4 ist darin als Testmerkmal TM bezeichnet, welches im Wesentlichen durch vier Eckpunkte charakterisiert ist. Da die Eigenschaften des Referenzmerkmals RM vorgegeben werden können und das Verhalten des das erste Referenzbild RB1 verarbeitenden Algorithmus hinlänglich vorhersagbar ist, können Erwartungswerte im Hinblick auf das Testmerkmal TM generiert werden. Abhängig von dem bildverarbeitenden Algorithmus können Werte für die zu erwartende Korrelation zwischen den Testmerkmal TM und dem Referenzmerkmal RM vorhergesagt werden. Ein deutlich von der zu erwartenden Korrelation abweichender Wert kann somit zur Erkennung von Fehlern in der Verarbeitung der Bilder herangezogen werden.

Im gezeigten Beispiel wurde das Referenzmerkmal RM in ein Primärbild eingebracht. Alternativ oder zusätzlich dazu kann ein Referenzmerkmal RM ebenso in ein Sekundärbild eingebracht werden. Auch können zwei oder mehrere Referenzmerkmale vorgesehen sein, um die Sensitivität der Fehlererkennung zusätzlich zu erhöhen.

Fig. 6 zeigt eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten, insbesondere einem rechtswendig orientierten kartesischen Koordinatensystem. Sofern Tiefeninformation zu den Bildmerkmalen extrahiert werden kann, ist es möglich, diese Bildmerkmale dreidimensional zu erfassen und ebenso zu überprüfen.

In Fig. 7 ist eine Draufsicht auf ein Fahrzeug 1 mit einer erfindungsgemäßen Fehlererkennungsvorrichtung in einer bevorzugten Ausführungsform gezeigt. Die Fehlererkennungsvorrichtung besteht darin aus einer Recheneinheit 2 und einem ersten Sensor 3 sowie einem zweiten Sensor 4, die jeweils an einem Frontbereich des Fahrzeuges 1 angeordnet sind. Die Sensoren 3 und 4 übermitteln die erfassten Bilddaten an die Recheneinheit 2 (z.B. leitungsgebunden oder per Funk), wobei die Recheneinheit 2 diese Bilder verarbeitet sowie die Verarbeitung der Bilder unter Zuhilfenahme der Eingangs skizzierten erfindungsgemäßen Verfahren überprüft. Die Bilddaten können in einem beliebigen zu deren Berechnung und/ oder Wiedergabe geeigneten Format vorliegen. Beispielhaft seien hier das raw-, jpeg-, bmp- oder das png- Format sowie gängige Videoformate angeführt. Die Recheneinheit 2 befindet sich im gezeigten Beispiel im Fahrzeug 1 und kann nach Erkennung eines Fehlers das Fahrzeug 1 in einen sicheren Zustand versetzen. Sollte ein Objekt, welches von der Recheneinheit 2 erkannt wurde aufgrund eines Fehlers der Bildverarbeitung plötzlich nicht mehr von der Recheneinheit 2 erfasst werden, so kann beispielsweise ein Fahrzeugstopp eingeleitet werden um eine Kollision mit dem zuvor erfassten Objekt vorzubeugen. Die Recheneinheit 2 kann eine Vielzahl an weiteren Maßnahmen einleiten oder Funktionen übernehmen, die die Sicherheit und/ oder die Zuverlässigkeit von Bild Verarbeitungsalgorithmen erhöhen, was insbesondere bei Fahrzeuganwendungen von besonderer Bedeutung sein kann. Die Recheneinheit 2 muss nicht zentral aufgebaut sein sondern kann ebenso aus zwei oder mehreren Rechenmodulen bestehen.

Da die im Rahmen dieser Beschreibung offenbarte Erfindung vielseitig einsetzbar ist, können nicht alle möglichen Anwendungsgebiete eingehend beschrieben werden. Vielmehr ist der Fachmann in Anbetracht dieser Ausführungen in der Lage, die Erfindung für unterschiedlichste Zwecke einzusetzen und anzupassen.