Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE FOR AUTOMATICALLY SENSING A STATE OF AN OBJECT, ANALYTIC DEVICE FOR AUTOMATICALLY IDENTIFYING A PREDETERMINED STATE OF AN OBJECT AND METHOD FOR AUTOMATICALLY IDENTIFYING A PREDETERMINED STATE OF AN OBJECT
Document Type and Number:
WIPO Patent Application WO/2016/150440
Kind Code:
A1
Abstract:
The present invention relates to an automatic sensing and assessment of objects such as, for example, traffic signs, in particular by a vehicle fleet, and a subsequent central analysis of this classification. It is thus possible in a very simple and cost-effective manner to monitor and analyze the state of traffic signs along a traffic network. Soiled and damaged traffic signs can rapidly be detected.

Inventors:
HUBER TOBIAS (DE)
Application Number:
PCT/DE2016/200127
Publication Date:
September 29, 2016
Filing Date:
March 09, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL AUTOMOTIVE GMBH (DE)
International Classes:
G06K9/00; G06T7/00
Foreign References:
DE102008043743A12010-05-20
US20090088978A12009-04-02
FR2948478A12011-01-28
US6266442B12001-07-24
US20130253754A12013-09-26
Other References:
None
Download PDF:
Claims:
Ansprüche

1. Erfassungsvorrichtung (1) zum automatischen Erfassen eines Zustands eines Objekts (3), mit: einer Kamera (10), die dazu ausgelegt ist, Bilddaten zu erfassen; einer Detektionsvorrichtung (11), die dazu ausgelegt ist in den erfassten Bilddaten ein Objekt (3) zu detektieren; einer Klassifizierungsvorrichtung (12), die dazu ausgelegt ist, einen Zustand des in den erfassten Bilddaten detektierten Objekts (3) zu klassifizieren; und einer Sendevorrichtung (13), die dazu ausgelegt ist, In¬ formationen über den klassifizierten Zustand des detektierten Objekts (3) zusammen mit einer Positionsangabe des detektierten Objekts (3) an eine Empfangsvorrichtung (40) zu übertragen.

2. Erfassungsvorrichtung (1) nach Anspruch 1, wobei die Sendevorrichtung (13) weitere Metadaten zusammen mit den Informationen über den klassifizierten Zustand des detektierten Objekts (3) an die Empfangsvorrichtung (40) überträgt .

3. Erfassungsvorrichtung (1) nach Anspruch 2, wobei die weiteren Metadaten die erfassten Bilddaten, eine Uhrzeit, ein Datum, eine Geschwindigkeit, eine Bewegungs¬ richtung und/oder Umgebungsbedingungen, insbesondere Temperatur, Niederschlag, Helligkeit, umfassen.

4. Erfassungsvorrichtung (1) nach einem der Ansprüche 1-3, wobei die Sendevorrichtung (13) die Informationen über den klassifizierten Zustand des detektierten Objekts (3) nur dann überträgt, wenn der klassifizierte Zustand einem vorbestimmten Zustand entspricht.

5. Kraftfahrzeug (2) mit einer Erfassungsvorrichtung (1) zum automatischen Erfassen eines Zustands eines Objekts (3) nach einem der Ansprüche 1-4.

6. Auswertevorrichtung (4) zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts (3), mit: einer Empfangsvorrichtung (40), die dazu ausgelegt ist, Informationen über einen klassifizierten Zustand eines Objekts (3) zusammen mit einer Positionsangabe des Ob¬ jekts (3) zu empfangen; und einer Analysevorrichtung (42), die dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) basierend auf empfangenen Informationen über den klassifizierten Zustand des Objekts (3) zu erkennen.

7. Auswertevorrichtung (4) nach Anspruch 6, wobei die Empfangsvorrichtung (40) eine Mehrzahl von Informationen über einen klassifizierten Zustand eines Objekts (3) von unterschiedlichen Sendevorrichtungen (13) empfängt, und die Analysevorrichtung (42) dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) basierend auf der Mehrzahl von empfangenen Informationen zu erkennen.

8. Auswertevorrichtung (4) nach Anspruch 6 oder 7, wobei die Analysevorrichtung (42) ferner dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) unter Verwendung weiterer Metadaten zu erkennen.

9. Auswertevorrichtung (4) nach Anspruch 8, wobei die Analysevorrichtung (42) basierend auf den weiteren Metadaten mindestens eine Umgebungsbedingung des Objekts (3) bestimmt .

10. Verfahren zur automatischen Bestimmung des Zustandes eines Objekts (3), mit den Schritten:

Erfassen (Sl) von Bilddaten durch eine Kamera (10) in einem Fahrzeug (2);

Detektion (S2) eines Objekts (3) in den erfassten Bilddaten;

Klassifizieren (S3) des Zustands des detektierten Objekts (3) ;

Übertragen (S4) von Informationen über den klassifizierten Zustand des detektierten Objekts (3) zusammen mit ei¬ ner Positionsangabe des detektierten Objekts (3) von dem Fahrzeug (2) an eine zentrale Auswertevorrichtung (4);

Erkennen (S5) eines vorbestimmten Zustands eines Objekts (3) unter Verwendung der von dem Fahrzeug (2) an die zentrale Auswertevorrichtung (4) übertragenen Informationen des klassifizierten Zustands des Objekts (3) .

11. Verfahren nach Anspruch 10, mit einem Schritt zum Erfassen von weiteren Metadaten in dem Fahrzeug (2), wobei der Schritt (S4) zum Übertragen von Informationen über den klassifizierten Zustand des Objekts (3) auch die erfassten Metadaten von dem Fahrzeug (2) eine die zentrale Auswertevorrichtung (4) überträgt.

12. Verfahren nach Anspruch 10 oder 11, wobei der

Schritt (S5) zum Erkennen eines vorbestimmten Zustands eines Objekts (3) den vorbestimmten Zustand unter Verwendung einer Mehrzahl von zuvor übertragenen Informationen über den klassifizierten Zustand des Objekts (3) erfolgt.

13. Verfahren nach Anspruch 12, wobei die Mehrzahl von Informationen über den klassifizierten Zustand des Objekts (3) von einer Mehrzahl von verschiedenen Fahrzeugen (2) bereitgestellt wird.

Description:
Beschreibung

Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts.

Die vorliegende Erfindung betrifft eine Vorrichtung zum automatischen Erfassen eines vorbestimmten Zustandes eines Objekts, eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts so ¬ wie ein Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Insbesondere betrifft die vorliegende Erfindung eine automatische Detektion von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Objekten, insbesondere von Verkehrszeichen .

Stand der Technik

Für einen ordnungsgemäßen Ablauf des Straßenverkehrs sind im Verkehrsraum, insbesondere entlang von Kraftfahrstra ¬ ßen, zahlreiche Verkehrszeichen angeordnet. Diese Ver ¬ kehrszeichen müssen von allen Verkehrsteilnehmern entsprechend beachtet werden. Hierzu ist es erforderlich, dass die Verkehrszeichen durch alle Verkehrsteilnehmer auch stets gut wahrgenommen werden können.

Moderne Kraftfahrzeuge verfügen darüber hinaus in der Re ¬ gel über Fahrassistenzsysteme (FAS bzw. Advanced Driver Assistance Systems, ADAS) , die den Führer eines Kraft- fahrzeugs unterstützen sollen. Hierzu müssen die Fahras ¬ sistenzsysteme auch die Verkehrszeichen im Straßenverkehr erkennen und korrekt interpretieren können. Auf diese Weise kann das Fahrassistenzsystem beispielsweise Informationen über eine mögliche Geschwindigkeitsbegrenzung oder andere Gebote bzw. Verbote erhalten. Für das Erkennen der Verkehrszeichen durch ein Fahrassistenzsystem in einem Kraftfahrzeug muss das entsprechende Kraftfahrzeug über ein Bildaufzeichnungssystem, wie zum Beispiel eine Kamera, verfügen und anschließend die von diesem Bildauf ¬ zeichnungssystem bereitgestellten Bilddaten mittels Objekterkennung detektieren. Hierzu ist es erforderlich, dass die Verkehrszeichen entlang den Straßen sich stets in einem ausreichend guten Zustand befinden, so dass die Verkehrszeichen einerseits von den Fahrassistenzsystemen korrekt interpretiert werden können und andererseits auch der Fahrer eines Fahrzeugs selbst die Verkehrszeichen stets schnell und ohne Schwierigkeiten wahrnehmen kann.

Aufgrund des ständig wachsenden Verkehrsnetzes und der großen Anzahl von Verkehrszeichen stellt daher die Instandhaltung und Überwachung aller Verkehrszeichen eine große Herausforderung dar. Eine manuelle Überprüfung und Überwachung aller Verkehrszeichen entlang eines ausgedehnten Verkehrsnetzes erfordert einen großen personellen Einsatz und ist daher mit hohen Kosten verbunden. Aufgrund der großen Bedeutung, die von ordnungsgemäßen, gut wahrnehmbaren Verkehrszeichen ausgeht, ist eine nur stichprobenartige Überprüfung von nur wenigen Verkehrs ¬ zeichen nicht akzeptabel. Daher besteht ein Bedarf nach einer automatischen Zustandserfassung von Objekten, insbesondere von Verkehrszeichen. Insbesondere besteht ein Bedarf nach einer automatischen Erfassung bzw. Bestimmung von Zuständen von Objekten wie Verkehrszeichen, die kostengünstig und effizient durchgeführt werden kann.

Offenbarung der Erfindung

Die vorliegende Erfindung schafft gemäß einem ersten As ¬ pekt eine Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts. Die Erfassungsvorrich ¬ tung umfasst eine Kamera, eine Detektionsvorrichtung, eine Klassifizierungsvorrichtung und eine Sendevorrichtung. Die Kamera ist dazu ausgelegt, Bilddaten zu erfassen. Die Detektionsvorrichtung ist dazu ausgelegt, in den erfassten Bilddaten ein Objekt zu detektieren. Die Klassifizierungsvorrichtung ist dazu ausgelegt, den Zustand des in den erfassten Bilddaten detektierten Objekts zu klassifizieren. Die Sendevorrichtung ist dazu ausgelegt, Informa ¬ tionen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektier ¬ ten Objekts an eine Empfangsvorrichtung zu übertragen.

Gemäß einem weiteren Aspekt schafft die vorliegende Er ¬ findung eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Die Auswertevorrichtung umfasst eine Empfangsvorrichtung und eine Analysevorrichtung. Die Empfangsvorrichtung ist dazu ausgelegt, Informationen über einen klassifizierten Zustand eines Objekts zusammen mit einer Positionsangabe des Objekts zu empfangen. Die Analysevorrichtung ist dazu ausgelegt, einen vorbestimmten Zustand des Objekts basie ¬ rend auf der empfangenen Information über den klassifizierten Zustand des Objekts zu erkennen.

Gemäß einem weiteren Aspekt schafft die vorliegende Er ¬ findung ein Verfahren zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts. Das Verfahren um- fasst die Schritte des Erfassens von Bilddaten durch eine Kamera in einem Fahrzeug; des Detektierens eines Objekts in den erfassten Bilddaten; des Klassifizierens des Zu ¬ stands des detektierten Objekts; und des Übertragens von Informationen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug an eine zentrale Auswertevorrichtung; und des Erkennens eines vorbestimmten Zustands eines Objekts unter Verwendung der von dem Fahrzeug an die zentrale Auswertevorrichtung übertragenen Informationen des klassifizierten Zustands des Objekts.

Der vorliegenden Erfindung liegt die Idee zugrunde, Ob ¬ jekte, wie zum Beispiel Verkehrszeichen, während der Fahrt mit einem Fahrzeug kontinuierlich automatisch zu überprüfen und dabei den Zustand der Objekte zu bewerten. Auf diese Weise ist mittels einer Vielzahl von Fahrzeugen eine flächendeckende Überwachung des Zustands der Objekte möglich. Da sich die Fahrzeuge ohnehin entlang der Verkehrswege bewegen, kann bei einer ausreichend großen Anzahl von Fahrzeugen eine sehr gute, flächendeckende Überwachung aller Verkehrszeichen erreicht werden.

Aufgrund der Tatsache, dass moderne Fahrzeuge ohnehin über Fahrassistenzsysteme verfügen, die mittels bildge- bender Sensorik, wie zum Beispiel einer Kamera, Objekte, insbesondere Verkehrszeichen, detektieren und auswerten, kann das erfindungsgemäßen Erfassen und Klassifizieren der Verkehrszeichen mit einem nur verschwindend geringen zusätzlichen Aufwand realisiert werden. Dies ermöglicht eine besonders kostengünstige und somit effiziente Über ¬ wachung der Verkehrszeichen. Auch die Bestimmung der aktuellen Position des Fahrzeugs, an der ein Verkehrszei ¬ chen gerade erfasst und klassifiziert worden ist, kann mittels bereits vorhandener Sensorik in einem Kraftfahrzeug, beispielsweise mittels eines Navigationssystems, erfolgen. So können zum Beispiel die GPS-Koordinaten des Navigationssystems herangezogen werden, um die Position eines klassifizierten Objekts zu bestimmen.

Auf diese Weise kann eine Vielzahl von Informationen gesammelt werden, die anschließend in einer zentralen Aus ¬ wertevorrichtung mit einfachen Mitteln gespeichert und ausgewertet werden kann. Insbesondere ist dabei eine Da ¬ tenanalyse der Informationen über die klassifizierten Zustände eines Verkehrszeichens möglich, wodurch schnell und einfach ein unerwünschter Zustand eines Objekts erkannt werden kann. Bei einem solchen unerwünschten Zustand kann es sich beispielsweise um eine starke Ver ¬ schmutzung, eine Beschädigung oder ähnliches handeln. Durch die Verwendung von Informationen von mehreren Fahrzeugen, die eine erfindungsgemäße Klassifizierung der Zu ¬ stände der Verkehrszeichen ausführen, können dabei eine mögliche Störung aufgrund einer Fehlfunktion in einem einzelnen Fahrzeug oder auch witterungsbedingt Einflüsse schnell eliminiert werden. Die automatische Bestimmung von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Verkehrszeichen, kann daher mit niedrigem Aufwand und geringen Kosten zuverlässig realisiert werden.

Gemäß einer Ausführungsform überträgt die Sendevorrichtung der Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts zusätzlich weitere Metadaten zusammen mit den Informationen über den klassifizierten Zustand des detektierten Objekts an die Empfangsvorrichtung. Durch die zusätzliche Übertragung von weiteren Metadaten kann dabei die Auswertung und die Detektion von unerwünschten Eigenschaften eines zu überwachenden Objekts zusätzlich verbessert werden.

Gemäß einer Ausführungsform umfassen die Metadaten dabei mindestens die erfassten Bilddaten selbst, einen Zeit ¬ stempel mit Uhrzeit und/oder Datum, eine Geschwindigkeit bzw. eine Bewegungsrichtung während des automatischen Erfassens des Objekts und/oder Umgebungsbedingungen während des automatischen Erfassens, wie zum Beispiel eine Tempe ¬ ratur, eine Angabe über die Helligkeit während des Erfas ¬ sens, Informationen über eventuell vorhandenen Niederschlag bzw. eine Intensität des aktuellen Niederschlags sowie weitere Angaben zu Sichtbedingungen, wie zum Beispiel Nebel, etc. Durch die Auswertung solcher zusätzlicher Informationen in den Metadaten kann bei der Auswertung der Klassifizierung eines erfassten Objekts eine mögliche Störung durch äußere Randbedingungen schnell erkannt werden. Somit kann die Wahrscheinlichkeit eines Fehlalarms verringert werden. Gemäß einer weiteren Ausführungsform umfasst die Erfassungsvorrichtung eine Datensammelvorrichtung . Eine solche Datensammeleinrichtung kann dazu ausgelegt sein, weitere Informationen, wie zum Beispiel die oben beschriebenen Metadaten und/oder andere Informationen von zusätzlichen Sensoren zu empfangen, und diese als weitere Informatio ¬ nen, wie beispielsweise als die zusätzlichen Metadaten, für die Weiterverarbeitung bereitzustellen. Insbesondere kann die Datensammelvorrichtung dabei auch die Positionsangaben, bzw. die Geschwindigkeit und/oder die Fahrtrichtung eines Fahrzeugs von einem Fahrassistenzsysteme bzw. einem Navigationssystem empfangen und für die Weiterverarbeitung bereitstellen.

Gemäß einer weiteren Ausführungsform empfängt die Empfangsvorrichtung der Auswertevorrichtung eine Mehrzahl von Informationen über einen zu klassifizierenden Zustand eines Objekts von einer Vielzahl von unterschiedlichen Sendevorrichtungen. Die Analysevorrichtung ist dabei dazu ausgelegt, einen vorbestimmten Zustand eines Objekts ba ¬ sierend auf der Mehrzahl von empfangenen Informationen zu erkennen. Durch die Auswertung von einer Mehrzahl von Informationen von unterschiedlichen Systemen, wie zum Beispiel von mehreren Fahrzeugen, kann die Zuverlässigkeit zusätzlich gesteigert werden.

Gemäß einer weiteren Ausführungsform ist die Analysevorrichtung der Auswertevorrichtung dazu ausgelegt, einen vorbestimmten Zustand eines Objekts unter Verwendung von weiteren Metadaten zu erkennen. Bei den weiteren Metadaten kann es sich dabei insbesondere um die bereits weiter oben ausgeführten Metadaten handeln. Gemäß einer weiteren Ausführungsform bestimmt die Analysevorrichtung der Auswertevorrichtung basierend auf den Metadaten mindestens eine Umgebungsbedingung des Objekts. Bei dieser Umgebungsbedingung kann es sich beispielsweise um aktuelle Wetterbedingungen oder ähnliches handeln. So kann beispielsweise bei Kenntnis der Position und dem ak ¬ tuellen Datum sowie der aktuellen Uhrzeit von einem externen Server oder einer internen Datenbank die aktuelle Wetterlage bestimmt werden. Basierend hierauf können ins ¬ besondere mögliche Beeinträchtigungen der Sichtbedingungen festgestellt werden, die es ermöglichen, mögliche Falschalarme zu eliminieren.

Gemäß einer weiteren Ausführungsform des Verfahrens zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts umfasst das Verfahren einen Schritt zum Er ¬ fassen von weiteren Metadaten in dem Fahrzeug, wobei der Schritt zum Übertragen von Informationen über den klassifizierten Zustand des Objekts auch die erfassten Metada ¬ ten von dem Fahrzeug an eine zentrale Auswertevorrichtung überträgt .

Gemäß einer weiteren Ausführungsform erfolgt der Schritt zum Erkennen eines vorbestimmten Zustands eines Objekts unter Verwendung einer Mehrzahl von zuvor übertragenen Informationen über den klassifizierten Zustand des Objekts.

Gemäß einer besonderen Ausführungsform wird dabei die Mehrzahl von Informationen über den klassifizierten Zu- stand des Objekts von einer Mehrzahl von verschiedenen Kraftfahrzeugen bereitgestellt.

Weitere Vorteile und Ausführungsformen der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezug auf die beigefügten Zeichnungen.

Kurze Beschreibung der Zeichnungen

Dabei zeigen: eine schematische Darstellung eines Ver ¬ kehrszeichens in einem ersten vorbestimmten Zustand; eine schematische Darstellung eines Ver ¬ kehrszeichens in einem zweiten vorbestimmten Zustand;

Figur 3: eine schematische Darstellung einer Erfas ¬ sungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts gemäß einer Ausführungsform; eine schematische Darstellung einer Auswer tevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands gemäß einer Ausführungsform; und

Figur 5 : eine schematische Darstellung eines Ablauf- diagramms, wie es einem Verfahren zum auto- matischen Bestimmen eines Zustands eines Ob- jekts zugrunde liegt.

Beschreibung von Ausführungsformen

Figur 1 zeigt eine schematische Darstellung eines Ver ¬ kehrszeichens in einem ersten Zustand. In diesem ersten Zustand ist das dargestellte Verkehrszeichen in der Regel ohne Einschränkungen gut wahrnehmbar. Das Verkehrszeichen weist dabei weder Beschädigungen noch Verschmutzungen auf. Daher kann das Verkehrszeichen in diesem Zustand als „in Ordnung" klassifiziert werden.

Figur 2 zeigt das Verkehrszeichen aus Figur 1 in einem anderen Zustand. Die Schraffuren in Figur 2 können dabei beispielsweise Verschmutzungen darstellen. Solche Verschmutzungen können zum Beispiel durch aufgewirbelten Staub oder anderen Schmutz verursacht werden. Aufgrund dieser Verschmutzung kann ein solches Verkehrszeichen weder von einem automatischen System, wie zum Beispiel einem Fahrassistenzsystem, noch von einem Benutzer korrekt wahrgenommen werden. Daher kann ein Verkehrszeichen gemäß Figur 2 als „nicht in Ordnung" klassifiziert werden. In diesem Fall ist zum Beispiel eine Reinigung oder gegebe ¬ nenfalls auch eine Reparatur des Verkehrszeichens erfor ¬ derlich, so dass das Verkehrszeichen anschließend von einem Benutzer wieder korrekt wahrgenommen werden kann und auch von einem automatischen System korrekt identifiziert werden kann.

Bei dem in Figur 1 und 2 dargestellten Verkehrszeichen handelt es sich dabei um ein relativ einfaches Verkehrs- zeichen. Die vorliegende Erfindung ist jedoch nicht auf solche einfachen Verkehrszeichen beschränkt. Vielmehr kann die vorliegende Erfindung auf eine nahezu beliebige Art von Objekten angewendet werden. Insbesondere kann die vorliegende Erfindung auf jede Art von Verkehrszeichen, wie statische, nicht beleuchtete Verkehrszeichen, be ¬ leuchtete Verkehrszeichen, dynamische Verkehrszeichen, Verkehrszeichen, die durch unterschiedliche Beleuchtung unterschiedliche Informationen anzeigen, und insbesondere auch für Lichtzeichenanlagen wie zum Beispiel Ampeln oder ähnliches angewendet werden.

Figur 3 zeigt eine schematische Darstellung einer Erfas ¬ sungsvorrichtung 1 zum automatischen Erfassen eines Zu- stands eines Objekts 3. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 ist in diesem Ausführungsbeispiel in einem Kraftfahrzeug 2 angeordnet. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 umfasst dabei ei ¬ ne Kamera 10, eine Detektionsvorrichtung 11, eine Klassi ¬ fizierungsvorrichtung 12, sowie eine Sendevorrichtung 13. Darüber hinaus kann die Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 auch einen Spei ¬ cher 15, sowie gegebenenfalls noch weitere Komponenten umfassen .

Bei der Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 kann es sich dabei beispielsweise um eine bereits in einem Kraftfahrzeug 2 vorhandene Kamera handeln, die in Verbindung mit einem Fahrassistenzsystem des Kraftfahrzeugs 2 bereits einge ¬ setzt wird. Somit kann insbesondere für die Kamera 10 be- reits auf ohnehin vorhandene Ressourcen zurückgegriffen werden. Die Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 blickt dabei vor ¬ zugsweise in Fahrtrichtung des Kraftfahrzeugs 2. Dabei kann die Kamera 10 beispielsweise kontinuierlich Bildda ¬ ten erfassen. Die Bilddaten können dabei entweder mit einer vorbestimmten festen Bilddatenrate erfasst werden, oder alternativ kann die Bilddatenrate auch in Abhängigkeit von der Geschwindigkeit des Kraftfahrzeugs 2 ange- passt werden. Grundsätzlich reicht es jedoch für die nachfolgenden Verarbeitungen auch aus, ein einzelnes Bild durch die Kamera 10 zu erfassen. Nachdem von der Kamera 10 mindestens ein Bild erfasst worden ist, werden die Bilddaten des erfassten Bildes von der Kamera 10 an die Detektionsvorrichtung 11 weitergegeben. Die Detektions- vorrichtung 11 detektiert dabei in den durch die Kamera 10 erfassten Bilddaten zunächst ein Objekt, insbesondere das Objekt 3. Beispielsweise kann die Detektionsvorrich ¬ tung 10 dabei die Bilddaten von der Kamera 10 mit einer Vielzahl von in einer Datenbank (hier nicht dargestellt) hinterlegten Objekten, insbesondere von Verkehrszeichen, vergleichen. Wird dabei eine Übereinstimmung mit in einer solchen Datenbank hinterlegten Objekten festgestellt, so kann das entsprechende Objekt in den Bilddaten detektiert werden. Grundsätzlich sind jedoch auch andere Verfahren und andere Algorithmen zur Obj ektdetektion und zur Erkennung von Verkehrszeichen möglich.

Nachdem in den von der Kamera 10 bereitgestellten Bilddaten ein Objekt detektiert worden ist, wird der Zustand dieses detektierten Objekts durch die Klassifizierungs ¬ vorrichtung 12 ausgewertet. Die Klassifizierungsvorrich- tung 12 bestimmt dabei basierend auf den von der Kamera 10 bereitgestellten Bilddaten und den von der Detektions- vorrichtung 11 gelieferten weiteren Informationen eine Güte. Diese Güte kann zum Beispiel eine Wahrscheinlich ¬ keit darstellen, mit der das in den Bilddaten detektierte Objekt tatsächlich ein vorbestimmtes Objekt ist. Über ¬ steigt diese Wahrscheinlichkeit einen vorbestimmten Wert, so kann der Zustand dieses Objekts als „in Ordnung" klas ¬ sifiziert werden. Andernfalls wird der Zustand des Ob ¬ jekts als „nicht in Ordnung" klassifiziert. Aber auch ei ¬ ne Klassifizierung des Zustands des Objekts in mehr als zwei Stufen ist ebenso möglich. Auch weitere Kriterien zur Klassifizierung des Zustands des Objekts sind ebenso möglich .

Parallel zu der Detektion und Klassifizierung des Objekts 3 in den von der Kamera 10 erfassten und bereitgestellten Bilddaten erfolgt auch eine Bestimmung der Position, an der sich das Objekt 3 befindet. Die Bestimmung der Posi ¬ tion, an der sich das Objekt 3 befindet, kann dabei bei ¬ spielsweise mit einer Positionsbestimmungsvorrichtung 14 erfolgen. Beispielsweise kann es sich bei dieser Posi ¬ tionsbestimmungsvorrichtung 14 um einen GPS-Empfänger handeln. Darüber hinaus ist es auch möglich, die Information über den aktuellen Ort aus anderen, bereits in dem Kraftfahrzeug vorhandenen Systemen zu beziehen. Insbesondere kann die aktuelle Position auch von einem Navigati ¬ onsgerät des Kraftfahrzeugs bereitgestellt und an die Er ¬ fassungsvorrichtung 1 zur automatischen Erfassung eines Zustands übertragen werden. Nachdem ein Objekt, wie zum Beispiel ein Verkehrszeichen, durch die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts detektiert worden ist und auch der Zustand des detektierten Objekts klassifi ¬ ziert wurde, kann die Klassifizierung dieses Objekts ge ¬ meinsam mit der Position des Objekts 3 in einem Speicher 15 zunächst abgespeichert werden. Auf diese Weise ist es möglich, eine Vielzahl von Objekten nacheinander zu klassifizieren und diese Klassifizierung zusammen mit der Position der Objekte und gegebenenfalls weiterer Informati ¬ onen zunächst lokal vorzuhalten.

Zur Einsparung von Speicherplatz kann die Speicherung von Klassifizierungen von Objekten auch nur auf solche Objekte beschränkt werden, deren Klassifizierung einen vorbestimmten Zustand, beispielsweise einen fehlerhaften Zu ¬ stand, also beispielsweise eine Verschmutzung oder Be ¬ schädigung eines Verkehrszeichens, ergibt. Objekte, deren Zustand als fehlerfrei klassifiziert worden ist, werden in diesem Fall nicht weiter betrachtet.

Die in dem Speicher 15 abgespeicherten Informationen über die Zustände von detektierten Objekten und deren Positionsangaben können daraufhin mittels der Sendevorrichtung 13 zur Weiterverarbeitung ausgegeben werden. Beispielsweise kann es sich bei der Sendevorrichtung 13 um eine drahtlose Übertragungsvorrichtung handeln, die Informationen mittels einer Funkverbindung zu einem Empfänger überträgt. Bei einer solchen drahtlosen Übertragung kann es sich beispielsweise um eine Mobilfunkverbindung (GSM, UMTS, LTE oder ähnliches) handeln. Auch eine drahtlose Netzwerkverbindung (WLAN) , eine Bluetooth-Verbindung, ei- ne NFC-Verbindung, eine Datenübertragung mittels infrarotem Licht oder eine weitere drahtlose Übertragung sind dabei möglich. Ferner ist es auch möglich, die Daten von dem Speicher 15 mittels einer kabelgebundenen Verbindung zur Weiterverarbeitung zu übertragen. Alternativ können die Informationen über die Klassifizierung der Objekte und deren Positionsangaben auch in einem entnehmbaren Speicher, wie zum Beispiel einem USB-Stick, oder einer anderen entnehmbaren Speicherkarte abgespeichert werden. In diesem Fall kann der entnehmbare Speicher nach Ab- schluss der Fahrt des Kraftfahrzeugs 2 entnommen und ma ¬ nuell zur Weiterverarbeitung an einem entsprechenden Lesegerät eingesteckt werden.

Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objektes 3 kann neben der Klassifi ¬ zierung eines Objekts 3 und den damit verknüpften Positi ¬ onsdaten auch noch zusätzlich weitere Daten, so genannte Metadaten erfassen und diese Daten miteinander verknüpfen. Bei diesen zusätzlichen Metadaten kann es sich beispielsweise um das aktuelle Datum bzw. die aktuelle Uhr ¬ zeit handeln, zu der ein Objekt 3 detektiert und klassi ¬ fiziert worden ist. Weiterhin kann auch die Bewegungs ¬ richtung der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands, also die Fahrtrichtung des

Kraftfahrzeugs 2, sowie die Geschwindigkeit und gegebe ¬ nenfalls auch die Fahrspur des Kraftfahrzeugs 2 bestimmt und mit der Klassifizierung des Objekts verknüpft werden. Ferner können auch aktuelle Umweltbedingungen, wie zum Beispiel Temperatur, Luftfeuchtigkeit, Niederschlagsintensität bzw. Schneefall, sowie Angaben über die Hellig ¬ keit oder weitere Informationen über Sichtbedingungen, wie zum Beispiel Nebel oder ähnliches durch zusätzliche Sensoren erfasst und mit der Klassifizierung des Objekts 3 verknüpft werden. Ferner ist es auch möglich, dass die von der Kamera 10 bereitgestellten Bilddaten selbst als zusätzliche Information mit der Klassifizierung des Objekts 3 verknüpft und zusammen abgespeichert bzw. über ¬ tragen werden.

Nachdem durch eine oder auch mehrere Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 das Objekt 3 erfasst und klassifiziert worden ist, können diese Klassifizierungen des Objekts 3 durch eine zentrale Auswertevorrichtung 4 ausgewertet werden. Eine solche zentrale Auswertevorrichtung 4 zum automati ¬ schen Bestimmen eines vorbestimmten Zustands eines Objekts 3 ist zum Beispiel in Figur 4 dargestellt. Die zentrale Auswertevorrichtung 4 umfasst dabei eine Emp ¬ fangsvorrichtung 40, sowie eine Analysevorrichtung 42. Ferner kann die Auswertevorrichtung 4 auch einen oder mehrere Speicher 41, sowie eine Anzeigevorrichtung 43 umfassen. Weitere Komponenten, wie zum Beispiel eine Einga ¬ bevorrichtung für manuelle Benutzereingaben oder ähnliches sind darüber hinaus ebenso möglich. Die Empfangsvorrichtung 40 empfängt dabei von einer oder mehrerer Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands eines Objekts 3 Informationen über einen klassifi ¬ zierten Zustand eines Objekts 3. Gemeinsam mit diesen Informationen über den klassifizierten Zustand des Objekts 3 empfängt die Empfangsvorrichtung 40 dabei mindestens auch die Positionsangaben des Objekts 3, sowie gegebenenfalls auch weitere zuvor bereits beschriebene Metadaten. Wie bereits zuvor beschrieben können dabei die Sendevorrichtung 13 der Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts 3 sowie die Empfangsvorrich ¬ tung 40 der Auswertevorrichtung 4 über eine drahtlose oder kabelgebundene Verbindung miteinander verbunden werden. Im Falle einer kabelgebundenen Verbindung, oder auch dem manuellen Übertragen eines entnehmbaren Speichers werden dabei die Informationen über die Zustände mehrerer klassifizierter Objekte 3 zunächst in den mobilen Erfassungsvorrichtungen 1 zum automatischen Erfassen gesammelt und anschließend gebündelt an die zentrale Auswertevor ¬ richtung 4 übertragen. Auch im Falle einer drahtlosen Übertragung kann eine solche gebündelte Übertragung von mehreren Klassifizierungen für eine Vielzahl von Objekten 3 erfolgen. Alternativ ist im Falle einer drahtlosen Übertragung jedoch auch eine Übertragung in Echtzeit möglich. In diesem Fall kann unmittelbar nach der Erfassung und Klassifizierung eines Objekts 3 diese Klassifizierung zusammen mit den weiteren Informationen an die Auswertevorrichtung 4 übertragen werden, ohne dass dabei eine Zwischenspeicherung erfolgen muss.

Die Auswertevorrichtung 4 und insbesondere die darin integrierte Analysevorrichtung 42 bestimmt daraufhin basierend auf den empfangenen Informationen einen vorbestimmten Zustand eines Objekts 3. Bei diesem vorbestimmten Zu ¬ stand kann es sich dabei insbesondere um Angaben darüber enthalten, ob das Objekt 3, wie zum Beispiel ein Ver ¬ kehrszeichen, noch in Ordnung ist, das heißt das Verkehrszeichen durch einen Benutzer oder ein automatisches Fahrassistenzsystem noch ausreichend gut erkennbar ist. Die Analysevorrichtung 42 kann dabei zunächst die von der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierung auswerten. Ge ¬ meinsam mit der Positionsangabe des Objekts 3 kann dabei eine eindeutige Zuordnung des Objekts 3 erfolgen. So kön ¬ nen zum Beispiel basierend auf gleichen Positionsangaben auch mehrere von verschiedenen Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierungen miteinander verknüpft und verglichen werden. Erfolgt dabei beispielsweise übereinstimmend von mehreren verschiedenen Vorrichtungen 1 eine Klassifizierung, die einen mangelhaften Zustand eines Objekts 3 spe ¬ zifiziert, so kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass es sich bei diesem Objekt 3 tatsächlich um ein Objekt 3 handelt, welches nicht in Ord ¬ nung ist. Wird dagegen für eine vorgegebene Position nur einmalig ein Objekt 3 als fehlerhaft klassifiziert, so kann gegebenenfalls darauf geschlossen werden, dass es sich dabei um einen Fehlalarm handelt und in diesem Fall noch keine weiteren Aktionen erforderlich sind.

Auch durch die Verknüpfung der Klassifizierung eines Objekts 3 mit weiteren Metadaten kann die Fehlalarmrate weiter gesenkt werden. So können zum Beispiel in Abhängigkeit von der Klassifizierung des Objekts 3 auch die von der Kamera 10 erfassten Bilddaten mit an die zentrale Auswertevorrichtung 4 übertragen werden. In diesem Fall können die erfassten Bilddaten einem Benutzer dargestellt werden, so dass der Benutzer anschließend manuell noch einmal überprüfen kann, ob die automatische Klassifizie ¬ rung tatsächlich korrekt war. Darüber hinaus können durch die weiteren Metadaten auch Fehlalarme aufgrund von ungünstigen Umweltbedingungen minimiert werden. So können zum Beispiel Informationen über möglichen Niederschlag bzw. Schneefall, sowie Beeinträch ¬ tigungen der Sicht durch Nebel oder ähnliches bereits während der Klassifizierung in der Klassifizierungsvorrichtung 12 erfasst und als Metadaten mit der Klassifi ¬ zierung zusammen übertragen werden. In diesem Fall können Klassifizierungen unter schlechten Randbedingungen eine geringere Bedeutung zugemessen werden. Beispielsweise kann die Analysevorrichtung 42 ein Objekt 3 erst dann als fehlerhaft klassifizieren, wenn unter ungünstigen Umweltbedingungen eine höhere Anzahl (erster Schwellwert) von Klassifizierungen vorhanden ist, während unter günstigen Umweltbedingungen bereits eine geringere Anzahl (zweiter Schwellwert) von Klassifizierungen für eine Signalisie ¬ rung ausreicht.

Zur genaueren Spezifizierung und insbesondere auch zur Unterscheidung von einer Vielzahl von dicht beieinander liegenden Verkehrszeichen können gemeinsam mit der Klassifizierung und der gegebenenfalls sehr groben Positions ¬ angabe des Objekts 3 auch weitere Informationen über Fahrtrichtung, Fahrspur des Fahrzeugs 2 oder ähnliches mit der Klassifizierung verknüpft und gemeinsam übertragen und ausgewertet werden. Auf diese Weise ist eine sehr präzise Zuordnung der empfangenen Klassifizierungen zu einzelnen Verkehrszeichen möglich.

Um darüber hinaus die Fehlalarmrate noch weiter abzusenken, kann die Analysevorrichtung 42 auch noch zusätzlich externe Informationen über mögliche Beeinträchtigungen mit in den Analysevorgang einbeziehen. So kann die Analysevorrichtung 42 beispielsweise als Metadaten zusätzlich einen Zeitstempel mit Datum bzw. Uhrzeit empfangen und anschließend basierend auf diesem Zeitstempel aus einer internen oder externen Datenbank die Umweltbedingungen, wie zum Beispiel Witterung oder ähnliches auslesen und mit in den Analysevorgang einbeziehen. Auf diese Weise können auch bereits durch eine geringe übertragene Daten ¬ menge, wie zum Beispiel Klassifizierung zusammen mit Zeitstempel, bereits zuverlässig Fehlalarme aufgrund von schlechten Umweltbedingungen eliminiert werden.

Zur Verknüpfung einer Vielzahl von Klassifizierungen für ein Objekt 3 werden dabei in einem Speicher 41 der Auswertevorrichtung 4 zunächst die Klassifizierungen der Objekte 3 gesammelt. Vorzugsweise werden dabei die Klassi ¬ fizierungen der Objekte 3 von einer Vielzahl von Vorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellt. Beispielsweise können dabei solche Vorrich ¬ tungen 1 zum automatischen Erfassen eines Zustands in einer Vielzahl von Kraftfahrzeugen integriert werden. So kann es sich dabei beispielsweise um eine gesamte Flotte von Fahrzeugen handeln. Ist beispielsweise eine Kommune oder eine Stadt für die Instandhaltung der Verkehrszei ¬ chen verantwortlich, so kann diese Kommune bzw. Stadt einen Teil oder sämtliche Fahrzeuge ihrer Fahrzeugflotte mit entsprechenden Vorrichtungen 1 zum automatischen Erfassen eines Zustandes ausstatten. Alle diese Fahrzeuge können dabei während ihres täglichen Einsatzes automa ¬ tisch die Zustände der Verkehrszeichen entlang den Fahrbahnen erfassen und analysieren und diese anschließend alle zusammen gemeinsam an eine zentrale Auswertevorrichtung 4 übertragen.

Somit kann durch ein System aus mehreren oben beschriebenen Erfassungsvorrichtungen 1, beispielsweise in den Fahrzeugen einer Fahrzeugflotte, und einer zentralen Auswertevorrichtung 4 eine zuverlässige, effiziente und kos ¬ tengünstige Überwachung von Objekten, wie zum Beispiel Verkehrszeichen, ermöglicht werden.

Figur 5 zeigt eine schematische Darstellung eines Ablauf ¬ diagramms, wie es einem Verfahren zum automatischen Bestimmen eines Zustands eines Objekts 3 gemäß einer Aus ¬ führungsform zugrunde liegt. In einem Schritt Sl werden zunächst Bilddaten durch eine Kamera 10 eines Fahrzeugs 2 erfasst. Anschließend wird in Schritt S2 ein Objekt in den erfassten Bilddaten detektiert und daraufhin in

Schritt S3 der Zustand des detektierten Objekts klassifi ¬ ziert. In Schritt S4 kann daraufhin die Information über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug 2 an eine zentrale Auswertevorrichtung 4 übertragen werden. In Schritt S5 wird daraufhin ein vorbestimmter Zustand des Objekts unter Verwendung der von dem Fahrzeug 2 an die zentrale Auswertevorrichtung 4 übertragenen Informationen des klassifizierten Zustands des Objekts erkannt.

Ergänzend zu der Klassifizierung des Zustands des detek ¬ tierten Objekts können in einem weiteren Schritt auch noch weitere Metadaten in dem Fahrzeug erfasst werden und diese gemeinsam mit den Informationen über den klassifi- zierten Zustand ebenfalls von dem Fahrzeug an die zentra ¬ le Auswertevorrichtung 4 übertragen werden.

Zusammenfassend betrifft die vorliegende Erfindung die automatische Detektion und Bewertung von Objekten wie zum Beispiel Verkehrszeichen, insbesondere durch eine Fahrzeugflotte, sowie eine anschließende zentrale Analyse dieser Klassifizierung. Somit kann auf sehr einfache und kostengünstige Weise der Zustand von Verkehrszeichen ent ¬ lang eines Verkehrsnetzes überwacht und ausgewertet wer ¬ den. Verschmutzte und beschädigte Verkehrszeichen können rasch erkannt werden.