Die vorliegende Erfindung betrifft Verfahren und ein System zur automati- sehen Erkennung von Parkzonen in mindestens einem Straßenzug.

Mit zunehmender Anzahl von Fahrzeugen auf beengtem Raum gewinnen Parkinformationen immer mehr an Bedeutung. In der Vergangenheit wurden manuelle Zählungen von Parkplätzen durchgeführt und deren Position er- fasst. Durch bauliche Maßnahmen verändern sich die Anzahl der Parkplätze und deren Position aber laufend.

In modernen PKW sind bereits Ultraschallsensoren und Kameras verbaut, die in der Lage sind, Parkplätze beziehungsweise Parklücken zu vermessen und so beispielsweise automatisches Einparken zu ermöglichen. Ein bereits bekanntes Verfahren gemäß der DE 10 2012 201 472 A1 erkennt auf Basis der fahrzeuginternen Kamerabilder Parkplätze und freie Parklücken.

Das bisherige System weist jedoch erhebliche Nachteile auf. Um die Park- platzsituation in einem Gebiet zu erfassen, muss jede Straße dieses Gebiets mindestens einmal abgefahren werden. Dabei werden die Straßen unterschiedlich schnell abgefahren. Eine vollständige Abdeckung eines Gebietes ist nicht beeinflussbar und langwierig. Die Kamerabilder sind stark davon abhängig, wo die Fahrzeuge auf der Straße fahren (z. B. Entfernung zum Randstein) und wie die Lichteinstrahlung ist. Zudem kann oft nur die rechte

Straßenseite aufgezeichnet werden. Das fahrzeugseitige Verfahren ist ferner sehr rechenzeitaufwendig.

Aufgabe der vorliegenden Erfindung ist es daher, die bekannten Nachteile zu überwinden und ein Verfahren und ein System zu schaffen, welches eine

Ermittlung von Parkzonen in mindestens einem Straßenzug gestattet.

Gegenstand der vorliegenden Erfindung ist ein Verfahren zur automatischen Erkennung von Parkzonen in mindestens einem Straßenzug, bei dem man a) eine Recheneinheit bereitstellt,

b) Informationen in Form von Panoramabildern des mindestens einen Stra- ßenzuges aus einem externen Datenspeicher einliest,

c) Informationen in Form von Straßendaten des mindestens einen Straßenzuges aus einer Kartendatenbank einliest,

d) eine interne Datenbank erzeugt, welche die Panoramabilder persistiert, e) die eingelesenen Panoramabilder auf das Vorhandensein von Fahrzeugen analysiert,

f) die eingelesenen Panoramabilder auf das Vorhandensein von Straßenschildern und Verkehrszeichen analysiert,

g) aus den Analysen des Vorhandenseins von Fahrzeugen und des Vorhan- denseins von Straßenschildern und Verkehrszeichen für mindestens einen ausgewählten Straßenzug, zu erwartende vorhandene Park-/Halteverbots- zonen ermittelt,

h) einen Datensatz erzeugt und abspeichert, welcher die ermittelten Informationen zu erkannten Fahrzeugen, Straßenschildern sowie die Markierungen von Park-/Halteverbotszonen und Parkzonen enthält, und

i) die im Datensatz enthaltenen Informationen auf einem Endgerät visuali- siert.

Erfindungsgemäß bevorzugt ist ein Verfahren, bei dem die in b) eingelese- nen Panoramabilder Satellitenaufnahmen oder durch Kamerafahrten erzeugte Bilder des mindestens einen Straßenzuges sind.

Bevorzugt ist auch ein Verfahren, bei dem die Panoramabilder Informationen zur Geo-Position des Panoramabildes, der Fahrtrichtung, des Straßenna- mens und/oder zur Tiefenkarte umfassen, wobei die Informationen historische Daten sind.

Weiterhin ist ein Verfahren bevorzugt, bei dem die in c) eingelesenen Straßendaten Informationen zu Straßenspuren und/oder zum Straßentyp umfas- sen.

Insbesondere bevorzugt ist erfindungsgemäß ein Verfahren, bei dem die Übermittlung der Informationen in Form von Panoramabildern und Straßendaten mittels einer Schnittstelle der Recheneinheit erfolgt, die mit der inter- nen Datenbank und/oder einem externen Datenspeicher und/oder einer Kartendatenbank in kommunikativer Verbindung steht. Erfindungsgemäß bevorzugt ist auch ein Verfahren, wobei man in Schritt e) die Analyse der Fahrzeugerkennung mittels Segmentierung der Panoramabilder durchführt.

Bevorzugt ist weiterhin ein Verfahren, wobei man in Schritt f) die Analyse der Verkehrszeichen und Straßenschilder mittels der Erkennung der Form und Farbgebung der Straßenschilder durchführt. Bevorzugt ist dabei ein Verfahren, bei dem man die Analyse mittels einer Bilderkennungssoftware durchführt.

Erfindungsgemäß bevorzugt ist auch ein Verfahren, wobei man in Schritt i) die im Datensatz enthaltenen Informationen visualisiert, indem man diese auf einem separaten Display eines Endgeräts darstellt.

Das erfindungsgemäße Verfahren weist mindestens die folgenden Schritte auf: Einlesen von Satellitenbildern

Um automatisiert eine Stadt oder ein Gebiet vollständig abzulaufen bietet es sich an, Panoramabilder automatisiert auszuwerten. In einer bevorzugten Ausführung werden hierfür Daten aus Google Street View extrahiert. Dort kann man von Google erstellte Panoramabilder mit Informationen zu Position des Bildes, Fahrtrichtung, Straßennamen und Tiefenkarte erhalten.

Das System ermöglicht es, ein Teilgebiet in einer Karte wie etwa Google Street View auszuwählen. Basierend darauf werden die angrenzenden Straßen von Bild zu Bild durch Aufruf der Google Street View API durchlaufen. Integration von Kartendaten

Kartendaten liefern die Anzahl an Spuren einer Straße und ihren Typ. Auf dieser Basis kann der notwendige Zoomlevel oder der Winkel der Kamerabilder eingestellt werden. Zudem unterstützen die Kartendaten bei der Validierung - etwa wenn eine Straße zu einer Straßenkategorie gehört, in der nicht geparkt werden darf. Durchführung Fahrzeugerkennung

Das verwendete Verfahren basiert auf Methoden der Computer Vision. Es besteht aus den folgenden Schritten: Segmentierung von Bildern

Klassifizierung von Komponenten wie Fahrzeug oder Straße.

Zählung der Fahrzeuge auf Basis der Größe der Bilder, Position im Bild etc.

Da es sich um ein Lernverfahren handelt wird eine Datenmenge an

gelabelten Bildern als Training benötigt.

Durchführung Schilderkennung

Es werden zwei Methoden zur Erkennung von Schildern verwendet. Ein Verfahren erkennt Formen während das andere Verfahren speziell die Farbge- bung der Bilder auswertet. Letztendlich wird die Schnittmenge der erkannten Schilder verwendet. Auch hier müssen wieder Trainingsdaten zum Lernen des Verfahrens verwendet werden.

Fusion der erkannten Schilder und Fahrzeuge

Für die Erstellung von Parkdaten ist es notwendig, Parkbereiche und Halteverbotszonen zu erkennen. Auf der Basis der erkannten Fahrzeuge kann zwar auf valide Parkbereiche geschlossen werden, aber aufgrund von

Falschparkern ist dies keine sichere Information. Auf der anderen Seite kann bei„Nicht-Vorhandensein" von Fahrzeugen auch nicht auf eine Halteverbots- zone geschlossen werden. Aus diesem Grund werden die Informationen über erkannte Fahrzeuge mit erkannten Schildpositionen fusioniert. In einer bevorzugten Ausführung wird hierbei um ein erkanntes Schild herum die Anzahl der Fahrzeuge analysiert. Liegt diese unter einem bestimmten Prozentsatz/Fläche wird eine Halteverbotszone erkannt.

Visualisierung und Ergebnishaltung

Das System ermöglicht sowohl eine Visualisierung der erkannten Fahrzeuge und Schilder als auch die Markierung von Halteverbots- und Parkzonen. Ferner wird ein System zur Verfügung gestellt, welches automatisiert Stra- ßen in Panoramabildern abläuft und eine Erkennung von parkenden Fahrzeugen und Parkzonen durchführt. Zur Visualisierung können insbesondere KML-Dateien eingesetzt werden. KML ist die Abkürzung von Keyhole Markup Language und ist eine Auszeichnungssprache für Geodäten. Derartige Dateien eignen sich für die Überlagerung von und zur Kombination mit geographischen Karten aller Art. Die erfindungsgemäß ermittelten Ergebnisse und Datensätze aus den Bilderkennungsmodulen können in KML-Dateien umgewandelt und so zusammen mit anderen Kartendaten visualisiert werden. Die vorliegende Erfindung schafft weiterhin ein Computerprogrammprodukt, welches direkt in einen internen Speicher einer Recheneinheit ladbar ist und Softwarecode oder Teile davon umfasst, welche zur Durchführung der erfindungsgemäßen Verfahrensschritte ausführbar sind, wenn man das Computerprogrammprodukt auf einer Recheneinheit ausgeführt.

Schließlich schafft die vorliegende Erfindung ein System zur automatischen Erkennung von Parkzonen in mindestens einem Straßenzug, umfassend a) mindestens eine Recheneinheit,

b) mindestens einen externen Datenspeicher mit Panoramabildern, c) mindestens eine Kartendatenbank mit Straßendaten,

d) mindestens eine interne Datenbank,

e) mindestens eine Bilderkennungssoftware zur Analyse der vorhandenen Fahrzeuge und der vorhandene Halteverbotsschilder und Verkehrszeichen, und

f) mindestens ein Endgerät zur Visualisierung von Informationen.

Das erfindungsgemäße System weist somit die folgenden Komponenten auf: Schnittstelle(n) zu Provider(n) von Panoramabildern und Extraktion von Bildern im gewählten Bereich; Schnittstelle(n) zur Kartendatenbank, um Stra- ßendaten auszuwerten; Datenbank und deren Aufbau, um Bilddaten und Attribute zu persistieren; Schnittstelle zur Bilderkennungssoftware (Fahrzeugerkennung); Schnittstelle zur Bilderkennungssoftware (Schilderkennung); Modul zur Fusion der Ergebnisse der Erkennungen und Modul zur Visualisierung der Ergebnisse und Speicherung der Daten. Die vorliegende Erfindung und das dadurch geschaffene Verfahren sowie das System und das Computerprogrammprodukt weisen eine Reihe von Vorteilen auf. Mit Hilfe des erfindungsgemäßen Verfahren unter Verwendung des erfindungsgemäßen Systems kann die Parksituation in einer Stadt oder einem neuen Gebiet automatisiert initialisiert beziehungsweise kartographiert werden und eine Aussage über freie Parkzonen getroffen werden.

Die vorliegende Erfindung wird nun im Einzelnen beschrieben und mit den beigefügten Zeichnungen näher erläutert. Es zeigt:

Fig. 1 den Ablaufplan einer Ausführungsform des erfindungsgemäßen Verfahrens,

Fig. 2 die visuelle Darstellung eines beispielhaften Ergebnisses des erfin- dungsgemäßen Verfahrens und

Fig. 3 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems. Die nachfolgenden Ausführungsbeispiele erläutern die Erfindung näher, ohne den Umfang der Erfindung zu beschränken. Weitere Ausgestaltungen der Erfindung kann der Fachmann unter Berücksichtigung der hierin vorgestellten Lösungen ausbilden, ohne vom Geist und Umfang der beschriebenen Erfindung abzuweichen.

Die vorliegende Erfindung dient dazu, einem PKW-Benutzer einen Überblick auf die zu erwartende Parkplatzverfügbarkeit an einem bestimmten Ort zu liefern. Dabei ist zunächst vorgesehen, dem PKW-Benutzer mitzuteilen, ob generell Parkplätze und in welchem Umfang am Zielort zu Verfügung stehen könnten. Festzustellen, ob tatsächlich freie Parkplätze verfügbar sind, ist zunächst nicht Aufgabe der Erfindung.

In der Figur 1 ist nun der Ablaufplan einer Ausführungsform der vorliegenden Erfindung im Einzelnen dargestellt. Diese Ausführungsform wird nun näher erläutert und beschreiben. Zunächst wird mindestens ein Straßenzug festgelegt, in welchem die Parkzonen ermittelt werden sollen. Diese Festlegung kann durch einen Nutzer erfolgen, beispielsweise einer Person, welche mit einem PKW zu einem bestimmten Ort reisen möchte. Diese Festlegung kann aber auch durch den Provider oder Anbieter des Dienstes erfolgen, wenn dieser im Vorfeld festlegt, in welchen Straßenzügen dieser Dienst angeboten werden soll. Auf diese Informationen kann dann der Nutzer (Endkunde) im Nachgang zugreifen. Der festgelegte Ort kann aber nicht nur ein Straßenzug, sondern auch ein weiter gefasstes Gebiet sein, wie beispielsweise mehrere zusammenhän- gende Straßenzüge oder ein Ortsteil. Zur Festlegung des Ortes verwendet der Nutzer ein erfindungsgemäßes Computerprogrammprodukt, welches auf einer beliebigen Recheneinheit ausführbar ist. Derartige Recheneinheiten können Personalcomputer (PCs), Laptops, Notebooks, Smartphones und dergleichen sein.

Das Computerprogrammprodukt stellt dann beispielsweise eine Karte oder einen Kartenausschnitt dar, wenn der Nutzer über Suchbegriffe eine bestimmte Ortsangabe in die Recheneinheit eingibt. Der Nutzer wählt dann den Bereich auf der angezeigten Karte aus, für welchen die Erkennung von Park- zonen durchgeführt werden soll.

Das in dem Computerprogrammprodukt enthaltene Computerprogramm wird nun ausgeführt, um die Parkzonen in dem durch den Nutzer gewählten Bereich zu ermitteln. Hierzu werden aus einem externen Datenspeicher die Bilddaten des gewählten Bereiches eingelesen. Bei dem externen Datenspeicher für die Bilddaten kann es sich um einen Datenspeicher eines externen Providers handeln, welcher entsprechende Bilddaten, vorzugsweise in Form von Panoramabildern und/oder Videosequenzen zuvor erfasst und bereitgestellt hat. Diese Bild- oder Videodaten sind üblicherweise historische Daten.

Entsprechende erfindungsgemäß geeignete Daten sind beispielsweise über den Provider Google in Form von Satellitenbildern und/oder Videoaufzeichnungen von Kamerafahrten erfasst und abgespeichert worden. Auf diese Da- ten kann über die von Google zur Verfügung gestellten Programme wie

Google Earth oder Street View zugegriffen werden. Auch Daten anderer Pro- vider können verwendet werden. Auch eine Kombination von Daten verschiedener Provider ist erfindungsgemäß vorgesehen.

Erfindungsgemäß werden nun aus den entsprechenden, oben genannten Bilddaten des ausgewählten Bereichs, Bilder des ausgewählten Bereichs extrahiert. Die Anzahl der extrahierten Bilder ist dabei derart gewählt, dass der gesamte ausgewählte Bereich möglichst vollständig dargestellt wird. Dabei sollen Überlappungen vermieden werden, um eine präzise Auswertung zu ermöglichen. Derartige Überlappungsbereiche lassen sich mit bekannten Bildverarbeitungsprogrammen erkennen und eliminieren.

In einem weiteren Schritt werden nun die extrahierten Bilder auf Fahrzeuge hin analysiert. Dabei können die extrahierten Bilder zuvor segmentiert werden, um die Datenmenge zu reduzieren. Bei der Analyse werden nun zu- nächst Komponenten wie Fahrzeuge oder Straßen klassifiziert. Dabei werden Fahrzeuge beispielsweise auf der Basis der Größe der Bilder oder der Position im Bild erkannt. Sind die einzelnen Fahrzeuge identifiziert und erkannt, so kann deren Anzahl im entsprechenden Segment des Bildes ermittelt werden. Hierbei handelt es sich um ein Lernverfahren, so dass eine Da- tenmenge an gelabelten Bildern zum Training benötigt wird.

In einem weiteren Schritt werden nun die extrahierten Bilder auf Straßenschilder hin analysiert. Zur Durchführung der Schildererkennung sind verschiedene Methoden geeignet. Eine Methode nutzt die unterschiedlichen Formen der Straßenschilder. Straßenschilder, welche Halte- und oder Parkverbote anzeigen, sind stets kreisförmig. Weiterhin nutzt eine andere Methode die unterschiedliche Farbgestaltung der Straßenschilder zu deren Erkennung und Zuordnung. Straßenschilder, welche Halte- und Parkverbote signalisieren, sind beispielsweise stets in den Farben blau und rot gestaltet. Durch die Zusammenführung dieser Informationen ist es möglich, die Schilder eindeutig zu erkennen und zuzuordnen. Auch hierbei müssen wieder Trainingsdaten in Form von entsprechend gelabelten Bildern zum Lernen verwendet werden. Es ist nun weiterhin vorgesehen, aus den erkannten und erfassten Fahrzeugen sowie den erkannten und erfassten Schilderinformationen, die validen Parkzonen zu ermitteln. Dazu ist es erforderlich, die jeweiligen Parkbereiche und die Halte- und Parkverbotszonen zu erkennen. Wegen möglicherweise falsch geparkter Fahrzeuge kann nicht allein aus den ermittelten Fahrzeugen auf eine valide Parkzone geschlossen werden. Ferner ist das Fehlen von Fahrzeugen in einem Straßenzug kein valider Hinweis auf eine Parkverbotszone. Vielmehr müssen also die Daten der erkannten Fahrzeuge mit denen der erkannten Schilder und deren Positionen fusioniert werden. Dies erfolgt in einem weiteren Schritt des erfindungsgemäßen Verfahrens. Durch diese Fusion werden die Parkzonen im jeweiligen Straßenzug eindeutig ermittelt. Dabei wird erfindungsgemäß um ein erkanntes Schild herum die Anzahl der Fahrzeuge analysiert. Liegt diese Anzahl der Fahrzeuge unter einer zuvor definierten Grenze, wird eine Halteverbotszone erkannt. Eine derartige Grenze kann erfindungsgemäß beispielsweise aus dem Prozentsatz der Fahrzeuge oder der durch die Fahrzeuge beanspruchten Fläche ermittelt oder festge- legt werden.

Die im vorherigen Schritt ermittelten Parkzonen werden nun in einen Datensatz umgewandelt und dieser dann in einem Datenspeicher gespeichert. Dieser Datensatz wird dann mit den jeweiligen bereits vorhandenen Dateien der Bilddaten und/oder Kartendaten überlagert. In der in der Figur 1 beschriebenen Ausführungsform werden diese Datensätze in KML-Dateien umgewandelt, um die Datensätze der ermittelten und erkannten Parkzonen mit der Karte des Straßenzuges zu überlagern. Die so erhaltenen überlagerten Dateien enthalten dann die entsprechenden Parkzonen, welche im ge- wählten Straßenzug verfügbar sind. Die so überlagerte Datei wird dann dem

Nutzer des Systems visualisiert und beispielsweise auf einem Monitor oder Bildschirm gezeigt.

Eine derartige erfindungsgemäße Visualisierung ist in der Figur 2 gezeigt. Figur 2 zeigt eine Aufsicht auf einen Straßenzug 1 1 wie diese von einem Satellitenbild erzeugt wird. An den Seiten des Straßenzuges 1 1 sind Bäume und anderer Bewuchs zu erkennen. Außerdem sind Fahrzeuge 12 dargestellt, welche sich in diesem Straßenzug 1 1 befinden. Die jeweiligen Straßenschilder sind in dieser Figur nicht dargestellt. Durch die gestrichelten Li- nien wird eine Parkzone 13 angezeigt. Die Darstellung auf einem Monitor kann erfindungsgemäß farbig erfolgen, beispielsweise in einer grünen Mar- kierung für verfügbare Parkzonen 13. Hingegen ist der schraffiert gekennzeichnet Bereich 14 eine Halteverbotszone 14. Diese kann auf einem entsprechenden Monitor beispielsweise in roter Farbe dargestellt werden. Die Parkzone 13 und die Halteverbotszone 14 sind Attribute der KML-Datei und werden dem ursprünglichen Panoramabild 4 (Satellitenbild) in der Visualisierung überlagert. Dadurch entsteht ein für den Nutzer gewohnter Anblick eines Panoramabilds, in welchem die entsprechenden Park- 13 oder Halteverbotszonen 14 deutlich erkennbar sind. Da die Darstellung historische Daten verwendet, ist in diesem Fall kein Rückschluss auf die tatsächlich vorhande- nen Parkplätze möglich.

In der Figur 3 ist nun ein erfindungsgemäßes System 1 zur automatischen Erkennung von Parkzonen in mindestens einem Straßenzug in Form einer schematischen Darstellung gezeigt. Das System 1 umfasst mindestens eine Recheneinheit 2. Derartige Recheneinheiten können Personalcomputer (PC), Laptops, Notebooks, Smartphones, Tablets oder Tabletcomputer und dergleichen sein. Die Recheneinheit 2 kann auch über eine Remoteverbindung mit einem anderen Eingabegerät verbunden sein. Derartige Remoteverbindungen können Internetanwendungen oder Cloud-basierte Rechnersysteme sein.

Die Recheneinheit 2 umfasst nun weiterhin eine interne Datenbank 8, in welcher die Ergebnisse ablegbar sind. Diese interne Datenbank 8 kann aber auch zum Speichern von eingelesenen Bildern 4 und Kartendaten 6 dienen, um diese der Bilderkennungssoftware 9 beziehungsweise einem Modul, welches diese Software enthält, zur weiteren Berechnung und Analyse zur Verfügung zu stellen.

Mittels der Schnittstelle 7 erhält die Recheneinheit 2 Zugriff auf den externen Datenspeicher 3 mit den Panoramabildern 4 und auf die Kartendatenbank 5 mit den Straßendaten 6. Die Schnittstelle 7 ist derart ausgebildet, dass die Verbindung zur Recheneinheit 2 über beliebige bekannte Datenübertragungswege erfolgen kann. Derartige Datenübertragungswege sind beispielsweise LAN- oder WLAN-Datennetze, Internetverbindungen oder Funk- Verbindungen. Ferner umfasst das System 1 weiterhin ein Endgerät 10 zur Ausgabe der Information über verfügbare Parkzonen 13. Auch diese Verbindung zwischen Endgerät 10 und Recheneinheit 2 ist derart ausgebildet, wie dies bereits für die Schnittstelle 7 hierin beschrieben wurde. Als Endgeräte 10 finden Vorrichtungen Verwendung, welche über einen Monitor oder Bildschirm verfügen, der für die visuelle Darstellung der vom System 1 erzeugten Informationen geeignet ist. Bevorzugt sind dabei Laptops, Notebooks, Smartphones, Tablets und Tabletcomputer.

Selbstverständlich umfasst die Recheneinheit 2 auch Vorrichtungen zur Ausführung von Computerprogrammen, welche in dem erfindungsgemäßen Computerprogrammprodukt enthalten sind. Mittels dieses Computerprogramms wird das erfindungsgemäße Verfahren auf der Recheneinheit 2 ausgeführt und das Ergebnis auf dem Endgerät 10 ausgegeben.

Selbstverständlich kann erfindungsgemäß die Visualisierung auch über den Monitor eines Datensystems eines PKW oder eines anderen Fahrzeugs erfolgen. In vielen Fahrzeugen sind Datensysteme und Rechner vorhanden, welche beispielsweise zur Erfassung von Fahrzeugparametern und zur Navigation verwendet werden. In derartigen Fahrzugrechnersystemen kann mittels des erfindungsgemäßen Computerprogrammprodukts das erfindungsgemäße Verfahren ausgeführt und die Information beispielsweise auf dem Bildschirm des Bordnavigationsgerätes dargestellt werden.

Bezugszeichenliste

System

Recheneinheit

externer Datenspeicher

Panoramabilder

Kartendatenbank

Straßendaten

Schnittstelle

Interne Datenbank

Bilderkennungssoftware

Endgerät

Straßenzug

Fahrzeug

Parkzone

Halteverbotszone