Fahrerassistenzsystem

Die vorliegende Anmeldung bezieht sich auf ein System zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein Fahrerassistenzsystem, das in einem Fahrzeug vorgesehen ist. Ferner bezieht sich die Anmeldung auf ein Verfahren zum Schätzen der Tiefe mi ndestens eines zumindest zum Teil mit

Wasser gefüllten Schlaglochs und ein Fahrerassistenzsystem, das solch ein Verfahren implementiert.

Im Allgemeinen werden Schlaglöcher dadurch verursacht, dass der Belag starken Belastungen durch schwere Unwetter und den anhaltenden Druck von auffahrendem Verkehr ausgesetzt wird. Schlaglöcher werden durch das Expandieren und Zusammenziehen von Wasser, das in den Boden unter den Asphalt und den Belag gesickert ist, verursacht.

Weltweit sind Risse/Löcher in der Straße ein Flauptgrund für Unfälle.

Eine im Internet veröffentlichte kürzlich durchgeführte Studie der AAA (American Automobile Association) zeigt, dass in den letzten fünf Jahren etwa 16 Millionen Fahrer in den Vereinigten Staaten Schäden durch Schlaglöcher erlitten haben. Die Studie der AAA gibt bekannt, dass Schlaglochschäden Fahrer in den Vereinigten Staaten 15 Milliarden Dollar für Fahrzeugreparaturen in den letzten fünf Jahren oder ungefähr 3 Milliarden Dollar jährlich gekostet haben.

Diese Kosten ergeben sich aus mehr Fahrzeugreparaturen, höheren Wartungs- und anderen Betriebsausgaben.

Es gibt einige Verfahren und Systeme zum Detektieren von Schlaglöchern.

Die US 9626763 B1 offenbart ein System zum Detektieren von Schlaglöchern, das Folgendes umfasst: eine Eingangsschnittstelle, die zu Folgendem konfiguriert ist: Empfangen von Sensordaten eines Fahrzeugs; einen Fahrzeugereignisaufzeichnungsprozessor, der zu Folgendem konfiguriert ist: Bestimmen eines Schlaglochs basierend zumindest zum Teil auf den Sensordaten; Speichern von dem Schlagloch zugeordneten Schlaglochdaten, wobei die Schlaglochdaten ein Schlaglochvideo umfassen; und Bereitstellen der Schlaglochdaten, wobei eine Schlaglocheinstufung des Schlaglochs zumindest zum Teil basierend auf den Schlaglochdaten bestimmt und gespeichert wird, wobei die Schlaglocheinstufung eine Fahrvermeidungseinstufung, eine Sichtbarkeitseinstufung oder eine beliebige Kombination daraus umfasst.

Die US 4653316 A offenbart eine

Straßenoberflächenzustandsdetektionseinrichtung, die an einem Fahrzeug befestigt ist, wobei die Einrichtung Folgendes umfasst: ein Laserstrahlscanmittel zum Scannen mit einem Laserstrahl einer Straßenoberfläche in einer Querrichtung; Bildaufnahmemittel zum Aufnehmen eines Scanorts des Laserstrahls in einer Schrägrichtung zur Erzeugung von Querprofildaten der Straßenoberfläche; Lichtempfangsmittel zum Empfangen eines von der Straßenoberfläche in einer Schrägrichtung reflektierten Laserstrahls zur Erzeugung von Rissdaten der Straßenoberfläche; Straßenabstandsdetektionsmittel zum Messen von Abständen zur Straßenoberfläche von drei Positionen auf einer Linie in der Längsrichtung des Fahrzeugs aus zum Erzeugen von Längsprofildaten der Straßenoberfläche; Laufstreckendetektionsmittel zum Messen einer Laufstrecke des Fahrzeugs; und Aufzeichnungsmittel zum Aufzeichnen von Daten, die jeweils von den Bildaufnahmemitteln, den Lichtempfangsmitteln und den Abstandsdetektionsmitteln erzeugt werden, zusammen mit den Laufstreckendaten, die von den Laufstreckendetektionsmitteln erzeugt werden.

Eine Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes System und ein Verfahren zum automatischen Detektieren von Schlaglöchern bereitzustellen. Eine weitere Aufgabe besteht darin, ein verbessertes Fahrerassistenzsystem bereitzustellen. Diese Aufgabe wird durch ein System mit den Merkmalen von Anspruch 1 und ein Fahrerassistenzsystem mit den Merkmalen von Anspruch 8 und ein Verfahren mit den Merkmalen von Anspruch 13 gelöst. Die abhängigen Ansprüche listen weitere vorteilhafte Maßnahmen, die nach Wunsch miteinander kombiniert werden können, zur Erzielung weiterer Vorteile auf.

Die Aufgabe wird durch ein System zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein Fahrerassistenzsystem, das in einem Fahrzeug vorgesehen ist, gelöst, wobei das System Folgendes umfasst: mindestens einen optischen Kamerasensor, der dazu konfiguriert ist, das mindestens eine zumindest zum Teil mit Wasser gefüllte Schlagloch basierend auf Kameradaten, die von dem optischen Kamerasensor erzeugt werden, zu detektieren, mindestens einen Wärmekamerasensor, der dazu konfiguriert ist, eine Straßenoberflächentemperatur zu bestimmen, wobei die Straßenoberfläche die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild, das von dem mindestens einen Wärmekamerasensor erzeugt wird, basiert, einen Prozessor, der zum Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs, das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor detektiert wird, zu bestimmen, und ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs basierend auf seiner Oberflächentemperatur zu schätzen.

Ein Schlagloch kann auch ein Straßenriss sein. Ein mit Wasser gefülltes Schlagloch kann auch Wasser und ein anderes Fluid umfassen.

Vorzugsweise ist das mit Wasser gefüllte Schlagloch komplett mit Wasser gefüllt. Es wurde festgestellt, dass offene Straßenrisse/Schlaglöcher aus einer beträchtlichen Entfernung sichtbar sind und somit von Systemen/Verfahren, wie oben beim Stand der Technik erwähnt, detektiert werden können. Es wurde jedoch auch festgestellt, dass diese Verfahren nicht bei allen Umgebungsbedingungen zuverlässig sind, insbesondere dann nicht, wenn diese Schlaglöcher aufgrund von Regen, Schnee oder aus einem anderen Grund mit Wasser gefüllt sind. Des Weiteren war es bis jetzt sehr schwierig, die Tiefeninformationen dieser Schlaglöcher zu erlangen. Wenn also das Fahrzeug auf solch ein (tiefes) mit Wasser gefülltes Schlagloch trifft, kann es zu einem schweren Unfall oder Unbehagen bei der Fahrt kommen. Darüber hinaus kann das Fahrzeug stark beschädigt werden, insbesondere durch tiefe Schlaglöcher, was zu höheren Wartungs- und anderen Betriebsausgaben führt.

Die Erfindung basiert auf der weiteren Erkenntnis, dass die Oberflächentemperatur für tiefe mit Wasser gefüllte Schlaglöcher im Vergleich zu schmaleren mit Wasser gefüllten Schlaglöchern geringer ist.

Die Erfindung ermöglicht somit die Bestimmung der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch das Zusammenlegen eines Wärmekamerasensors und eines optischen Kamerasensors, so dass ein Schlagloch mit einer großen Tiefe vermieden werden kann. Dies ermöglicht eine sichere und angenehme Fahrt für den Fahrer. Darüber hinaus können Schäden, die ansonsten durch tiefe Schlaglöcher verursacht werden, vermieden werden.

Die Erfindung ermöglicht die Schätzung der Tiefe eines Schlaglochs durch Detektion einer erreichten Temperatur durch Kombinieren von Sensorsignalen, die von dem optischen Kamerasensor und dem Wärmekamerasensor erhalten werden. Im Allgemeinen sind solche Kameras bereits in einem Fahrzeug installiert. Durch die Temperaturbestimmung für jedes Pixel in dem Wärmepixelbild ist es möglich, die Tiefe der mit Wasser gefüllten Schlaglöcher in jeglicher Umgebung, selbst bei Nebel, Regen oder nachts, zu bestimmen. Insbesondere bei Nebel, wenn die Frontszene gewöhnlich nicht mal sichtbar ist, oder bei schweren Unwetterbedingungen kann eine Tiefenschätzung für mit Wasser gefüllte Schlaglöcher abgegeben werden.

Bei einer bevorzugten Ausführungsform ist die Wärmekamera eine Hochgeschwindigkeits-Infrarotbildkamera, die die Erzeugung einer Hochgeschwindigkeits-Wärmebilderfassung mit einer guten Auflösung bei einer schnellen Bildwechselfrequenz gestattet.

Bei einer Ausführungsform erzeugt der optische Kamerasensor ein Bild der Straßenszene und trennt dann die Bereiche der Schlaglöcher vom Rest der Szene (der restlichen Szene) in Segmenten ab. Somit besteht die Kamera vorzugsweise aus einem CNN (Convolutional Neural Network) für eine schnelle und akkurate Echtzeit-Segmentierung oder verwendet dieses. Alternative andere Bildverarbeitungsalgorithmen wie andere künstliche neuronale Netze oder Mustererkennung können verwendet werden.

Bei einer Ausführungsform sind der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor an einer Windschutzscheibe des Fahrzeugs angeordnet. Bei einer weiteren Ausführungsform sind der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor an der Oberseite der Windschutzscheibe angeordnet. Dadurch kann ein großes Sichtfeld erzielt werden. Im Ergebnis können Straßenbilder in großer Entfernung zum Fahrzeug erzeugt werden. Dies gestattet, dass tiefe Schlaglöcher in großer Entfernung detektiert werden.

Bei einem weiteren Aspekt der vorliegenden Erfindung ist der mindestens eine optische Kamerasensor einen RGB(Rot, Grün, Blau)-Kamerasensor. Dabei handelt es sich um eine herkömmliche kostengünstige Kamera, die in der Regel mit einem standardmäßigen CMOS-Sensor ausgestattet ist, durch den die Farbbilder erhalten werden. Die Auflösung von Standbildern wird in der Regel in Megapixel angegeben.

Bei einer weiteren Ausführungsform ist der Prozessor dazu konfiguriert, die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs aus einem gemessenen Emissionsspektrum unter Verwendung des Planckschen Strahlungsgesetzes zur Schwarzkörperstrahlung zu bestimmen. Zur Bestimmung der Oberflächentemperatur kann das Schwarzkörperemissionskonzept (Plancksche Gesetz) verwendet werden, so dass eine präzise Bestimmung der erreichten Temperatur einer Schlaglochoberfläche möglich ist. Die Integration des Planckschen Gesetzes über alle Frequenzen hinweg gibt die Gesamtenergie pro Zeiteinheit pro Flächeneinheit, die von einem Schwarzkörper, der bei einer Temperatur T gehalten wird, abgestrahlt wird. Dies ist als das Stefan-Boltzmann-Gesetz bekannt.

Das Stefan-Boltzmann-Gesetz beschreibt die von einem Schwarzkörper in Abhängigkeit von seiner Temperatur abgestrahlte Energie. Genauer besagt das Stefan-Boltzmann-Gesetz, dass die pro Fläche A eines Schwarzkörpers abgestrahlte Gesamtenergie über alle Wellenlängen pro Zeiteinheit (auch als die spezifische Ausstrahlung eines Schwarzkörpers bezeichnet) direkt proportional zur vierten Potenz P der thermodynamischen Temperatur T des Schwarzkörpers ist: wobei s die Stefan-Boltzmann-Konstante ist.

Um beispielsweise bei konstanter Temperatur T im thermischen Gleichgewicht zu bleiben, muss der Schwarzkörper diese Menge an Leistung P für die gegebene Fläche A absorbieren oder intern erzeugen.

Bei einer Ausführungsform ist der Prozessor dazu konfiguriert, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs unter Verwendung eines trainierten Machine-Learning-Ansatzes zu schätzen. Die Tiefe kann also beispielsweise von einem trainierten Deep- Learning-Ansatz geschätzt werden. Die Trainingsdaten können ohne Weiteres von Echtbildern von mit Wasser gefüllten Schlaglöchern und einer (manuell oder automatisch) gemessenen Tiefe der entsprechenden mit Wasser gefüllten Schlaglöcher erzeugt werden. Unter Verwendung dieses Ansatzes können Schlaglöcher mit verschiedenen Formen und Tiefen usw. ohne Weiteres bestimmt werden.

Bei einer weiteren Ausführungsform ist der Prozessor dazu konfiguriert, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch Vergleichen der Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher mit einer Temperatur der umliegenden Oberfläche und/oder durch Vergleichen der Oberflächentemperaturen der mit Wasser gefüllten Schlaglöcher miteinander zu schätzen. Dadurch kann eine schnelle Schätzung erzielt werden.

Bei einem weiteren Aspekt der vorliegenden Erfindung umfasst das System ferner mindestens eine Radarsensorkamera, die dazu konfiguriert ist, den von der Straßenoberfläche reflektierten Strahl zu messen, wobei der Prozessor ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch den reflektierten Strahl und die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs zu schätzen.

Dadurch kann eine gute Bestimmung der Tiefe erzielt werden, selbst bei beispielsweise zur Hälfte mit Wasser gefüllten Schlaglöchern.

Des Weiteren kann das System bei einer Ausführungsform mit einer externen Wetterstation gekoppelt sein. Bei Regen oder Schnee oder schlechtem Wetter kann sich das System im Allgemeinen automatisch selbst aktivieren. Bei einer langen Hitzeperiode und beispielsweise Fahren auf einer Schnellstraße kann sich das System automatisch selbst deaktivieren und den herkömmlichen Radarsensor zum Detektieren des Schlaglochs (das aufgrund der langen Hitzeperiode nicht mit Wasser gefüllt ist) verwenden.

Die Aufgabe wird ferner durch ein Fahrerassistenzsystem (ADAS) erzielt, das ein System zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs nach einem der vorhergehenden Ansprüche umfasst, wobei das Fahrerassistenzsystem dazu konfiguriert ist, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern, die von dem System detektiert werden, und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs, die von dem System detektiert wird, eine Warnung auszugeben. Darüber hinaus kann ein detektiertes tiefes Schlagloch auf einem Fahrerdisplay angezeigt/markiert werden. Dies ermöglicht es dem Fahrer, beispielsweise seine Route so zu wählen, dass insbesondere die tiefen Schlaglöcher vermieden werden können. Somit ist eine angenehme Fahrt möglich und Schäden können vermieden werden.

Im Falle eines autonom oder halbautonom betriebenen Fahrerassistenzsystems ist das Fahrerassistenzsystem vorzugsweise ferner dazu konfiguriert, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs, die von dem System detektiert wird, Betriebsparameter zur Bestimmung einer Trajektorie auszuwählen, mit denen Vermeiden oder Reduzieren eines zumindest zum Teil mit Wasser gefüllten Schlaglochs und/oder Vermeiden des mindestens einen tiefen zumindest zum Teil mit Wasser gefüllten Schlaglochs erzielt wird.

Somit kann eine angenehme Fahrt erreicht werden, und Schäden können automatisch vermieden werden.

Bei einer Ausführungsform umfassen die Betriebsparameter zumindest den Parameter zur Steuerung der Lenkung zur Vermeidung von Unfällen. Das ADAS gibt dann ein Steuersignal mit den Lenkparametern an ein Lenksystem und/oder ein ABS-System aus.

Bei einem weiteren Aspekt der vorliegenden Erfindung umfassen die Betriebsparameter zumindest den Parameter zur Steuerung des Aufhängungssystems. Des Weiteren ist bei einer Ausführungsform das Fahrerassistenzsystem dazu konfiguriert, den Parameter zur Steuerung des Aufhängungssystems derart zu wählen, dass eine angenehme Fahrt für den Insassen möglich ist.

Die Aufgabe wird ferner durch ein Verfahren zur Schätzung der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein in einem Fahrzeug vorgesehenes Fahrerassistenzsystem gelöst, wobei das Verfahren Folgendes umfasst:

Detektieren mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs basierend auf Kameradaten, die von mindestens einem optischen Kamerasensor erzeugt werden, Bestimmen einer Straßenoberflächentemperatur, wobei die Oberfläche die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild, das von dem mindestens einen Wärmekamerasensor erzeugt wird, basiert,

Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs, das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor detektiert wird,

Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch seine Oberflächentemperatur.

Die Vorteile des Systems können auch auf das Verfahren übertragen werden. Das Verfahren kann bei einer oder mehreren der beschriebenen Ausführungsformen insbesondere unter Verwendung eines Systems gemäß der Erfindung ausgeführt werden.

Bei einer Ausführungsform wird die Temperatur der Oberfläche aus einem gemessenen Strahlungsspektrum unter Verwendung des Planckschen Gesetzes zur Schwarzkörperstrahlung bestimmt. Bei einem weiteren Aspekt der vorliegenden Erfindung wird ein trainierter Machine-Learning-Ansatz zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs verwendet.

Weitere Einzelheiten und Aspekte der Erfindung gehen aus der folgenden Beschreibung der bevorzugten Ausführungsformen, insbesondere in Verbindung mit den abhängigen Ansprüchen, hervor. In diesem Fall können die jeweiligen Merkmale alleine oder in Kombination miteinander implementiert werden. Die Erfindung ist nicht auf die Ausführungsformen beschränkt. Die Ausführungsformen werden schematisch in den Figuren gezeigt; in denen:

Fig. 1 schematisch die Gestaltung eines Schlaglochs zeigt,

Fig. 2 schematisch das System der Erfindung zeigt,

Fig. 3 schematisch eine Schlaglochsegmentierung in dem Bild zeigt,

Fig. 4 schematisch unter Verwendung eines CNN in Segmente aufgeteilte Schlaglöcher zeigt,

Fig. 5 schematisch ein Wärmepixelbild zeigt,

Fig. 6 ein Fahrzeug mit einem Fahrerassistenzsystem zeigt,

Fig. 7 schematisch das Verfahren zeigt.

Fig. 1 zeigt schematisch die Gestaltung von mit Wasser gefüllten Schlaglöchern 1.

Schlaglöcher 1 werden durch Expandieren und Zusammenziehen von Wasser 3, das in den Boden unter den Asphalt und den Belag/die Straßenoberfläche 2 gesickert ist, verursacht.

Schlaglöcher 1 werden ferner verursacht, wenn der Belag/die Straßenoberfläche 2 starken Belastungen durch schwere Unwetter, beispielsweise Eis 4, und dem anhaltenden Druck von auffahrendem Verkehr ausgesetzt wird.

Fig. 2 zeigt schematisch das System 5 zum Schätzen der Tiefe eines mit Wasser gefüllten Schlaglochs 1 der Erfindung.

Das System 5 umfasst einen RGB(Rot, Grün, Blau)-Kamerasensor 6. der RGB-Kamerasensor 6 erzeugt Kameradaten der Straßenoberfläche/der Belagoberfläche 2. Der RGB-Kamerasensor 6 ist in der Regel mit einem standardmäßigen CMOS-Sensor ausgestattet ist, durch den die Farbbilder erhalten werden. Die Erfassung von Standbildern wird in der Regel in Megapixel angegeben.

Der RGB(Rot-Grün-Blau)-Kamerasensor 6 selbst oder ein Prozessor wird dazu verwendet, die Bereiche der mit Wasser gefüllten Schlaglöcher 1 vom Rest des Bilds in Segmenten abzutrennen. Somit umfasst der RGB(Rot- Grün-Blau)-Kamerasensor 6 vorzugsweise ein CNN (Convolutional Neural Network) für eine schnelle und akkurate Echtzeit-Segmentierung oder verwendet dieses. CNNs werden am häufigsten zur Analyse von visuellen Bildern angewendet. CNNs werden aufgrund ihrer hohen und schnellen Genauigkeit zur Bildklassifizierung und -erkennung verwendet.

Fig. 3 zeigt schematisch eine Segmentierung 7 eines mit Wasser gefüllten Schlaglochs 1 in dem Bild (den Bilddaten), das (die) von dem RGB(Rot- Grün-Blau)-Kamerasensor 6 erzeugt wird (werden).

Fig. 4 zeigt schematisch mit Wasser gefüllte Schlaglöcher 1 in durch CNN in Segmente aufgeteilt in dem durch den RGB(Rot-Grün-Blau)-Kamerasensor 6 erzeugten Megapixelbild. Schlaglöcher 1 sind auch beispielsweise Risse in den Belag/der Straßenoberfläche 2.

Darüber hinaus umfasst das System 5 einen Wärmekamerasensor 8, der ein Wärmepixelbild 9 (Fig. 4) des Belags/der Straßenoberfläche 2 erzeugt. Der Wärmekamerasensor 8 ist beispielsweise eine Flochgeschwindigkeits- Infrarotbildkamera.

Der Wärmekamerasensor 8 bestimmt eine Straßenoberflächentemperatur der Straßen-/Belagsoberfläche 2, die die detektierten mit Wasser gefüllten Schlaglöcher 1 umfasst. Diese Bestimmung basiert auf der Temperaturbestimmung jedes Pixels in einem Wärmepixelbild 9 (Fig. 5).

Fig. 5 zeigt schematisch ein Wärmepixelbild 9 mit mit Wasser gefüllten Schlaglöchern 1 , das mit CNN in Segmente unterteilt ist.

Somit kann durch Zusammenlegen der Informationen zu den mit Wasser gefüllten Schlaglöchern 1, die von dem RGB(Rot-Grün-Blau)-Kamerasensor 6 detektiert werden, und von Informationen zur Straßenoberflächentemperatur, die von dem Wärmekamerasensor 8 bestimmt wird, die Temperatur der Schlaglochoberfläche 1 berechnet werden.

Diese Schätzung basiert auf der Annahme, dass die Oberflächentemperatur eines tiefen mit Wasser gefüllten Schlaglochs 1 weniger als die Oberflächentemperatur eines schmaleren mit Wasser gefüllten Schlaglochs 1 beträgt.

Somit umfasst das System 5 einen Prozessor (beispielsweise in die Sensoren 6, 8 integriert oder einen eigenständigen Prozessor).

Zur Bestimmung der Oberflächentemperatur kann beispielsweise das Plancksche Gesetz (Schwarzkörperausstrahlungskonzept) verwendet werden, wodurch die erreichte Temperatur an der Schlaglochoberfläche präzise erhalten werden kann und somit auch eine gute Schätzung der Tiefe erlangt wird.

Die Integration des Planckschen Gesetzes über alle Frequenzen ergibt die Gesamtenergie pro Zeiteinheit pro Flächeneinheit, die von einem auf einer Temperatur T gehaltenen Schwarzkörper abgestrahlt wird. Dies ist als das Stefan-Boltzmann-Gesetz bekannt: wobei s die Stefan-Boltzmann-Konstante ist und P die Leistung über die gegebene Fläche A hinweg ist.

Sobald die Temperatur für die Pixel in dem Wärmepixelbild 9 bestimmt worden ist, ist es möglich, die Tiefe der mit Wasser gefüllten Schlaglöcher 1 in einer beliebigen Umgebung (wie Nebel, Regen, nachts) zu bestimmen. Insbesondere bei Nebel, wenn die Frontszene gewöhnlich nicht mal sichtbar ist, oder bei anderen schweren Unwetterbedingungen kann eine Tiefenschätzung für mit Wasser gefüllte Schlaglöcher 1 abgegeben werden.

Der Prozessor ist dazu konfiguriert, die Tiefe des mit Wasser gefüllten Schlaglochs 1 durch seine Oberflächentemperatur zu schätzen. Daher verwendet der Prozessor einen trainierten Deep-Learning-Ansatz. Dadurch wird die Gesamtgenauigkeit der Schätzung der Tiefe des mit Wasser gefüllten Schlaglochs 1 erhöht.

Die Trainingsdaten dafür können ohne Weiteres von Echtbildern von mit Wasser gefüllten Schlaglöchern und ihrer (manuell oder automatisch) gemessenen Tiefe erzeugt werden. Mit diesem Ansatz können Schlaglöcher mit verschiedenen Formen und Tiefen usw. ohne Weiteres bestimmt werden.

Vorzugsweise sind der RGB(Rot-Grün-Blau)-Kamerasensor 6 und der Wärmekamerasensor 8 an der Oberseite einer Windschutzscheibe 10 eines Fahrzeugs 11 (Fig. 6) angeordnet und bilden ein Sichtfeld 12 (Fig. 6).

Fig. 6 zeigt ein Fahrzeug 11 mit einem Fahrerassistenzsystem (ADAS, 13), das ein System 5 zum Schätzen der Tiefe eines ersten mit Wasser gefüllten Schlaglochs 1 und eines zweiten mit Wasser gefüllten Schlaglochs 1a umfasst. Das System 5 umfasst den RGB(Rot-Grün-Blau)-Kamerasensor 6 und den Wärmekamerasensor 8, die an der Oberseite der Windschutzscheibe 10 des Fahrzeugs 11 (Fig. 6) angeordnet sind und das Sichtfeld 12 bilden.

Das System 5 detektiert die mit Wasser gefüllten Schlaglöcher 1 , 1a und schätzt die Tiefe. Hier ist die Tiefe des mit Wasser gefüllten Schlaglochs 1a größer als die Tiefe des mit Wasser gefüllten Schlaglochs 1 . Das bedeutet, dass die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a weniger als das schmalere mit Wasser gefüllte Schlagloch 1 beträgt, da heiße Körper mehr Strahlung als kalte Körper/Gegenstände abgeben. Da das tiefe mit Wasser gefüllte Schlagloch 1a mehr Wasser als ein schmales mit Wasser gefülltes Schlagloch 1 hat, beträgt die erreichte Temperatur des tiefen mit Wasser gefüllten Schlaglochs 1a weniger als beim Schlagloch 1 .

Das Fahrerassistenzsystem 13 ist ferner dazu konfiguriert, im Falle einer vordefinierten Tiefe (hier beispielsweise des tiefen mit Wasser gefüllten Schlaglochs 1a) eine Warnung auszugeben.

Ferner kann das tiefe mit Wasser gefüllte Schlagloch 1a beispielsweise auf einem Display gezeigt werden. Dies gestattet dem Fahrer, beispielsweise seine Route so zu wählen, dass insbesondere das tiefe Schlagloch 1a vermieden werden kann. Somit ist eine angenehme Fahrt möglich und Schäden können vermieden werden.

Falls das Fahrerassistenzsystem 13 für autonomen oder halbautonomen Betrieb konfiguriert ist, wählt das Fahrerassistenzsystem 13 im Falle einer vordefinierten Anzahl an detektierten mit Wasser gefüllten Schlaglöchern 1 und/oder einer vordefinierten Tiefe mindestens eines Schlaglochs 1 a, Betriebsparameter zur Bestimmung einer Trajektorie aus, mit denen Vermeiden oder Reduzieren der detektierten mit Wasser gefüllten Schlaglöcher 1 und/oder Vermeiden des detektierten tiefen mit Wasser gefüllten Schlaglochs 1 a möglich ist.

Vorzugsweise umfassen die Betriebsparameter zumindest den Parameter zur Steuerung der Lenkung zur Vermeidung von Unfällen oder Schäden. Vorzugsweise umfassen die Betriebsparameter zumindest den Parameter zur Steuerung des Aufhängungssystems, um für eine angenehme Fahrt für die Insassen zu sorgen und Schäden durch das tiefe mit Wasser gefüllte Schlagloch 1a zu vermeiden.

Weiterhin wird durch die Verwendung eines Wärmekamerasensors 8 eine bessere Nachtsicht sowie eine bessere Sicht im Nebel möglich.

Fig. 7 zeigt schematisch eine mögliche Ausführungsform des erfinderischen Verfahrens.

Das Verfahren beginnt bei einem ersten Schritt S1.

Bei einem zweiten Schritt S2 detektiert der RGB(Rot-Grün-Blau)- Kamerasensor 6 alle mit Wasser gefüllten Schlaglöcher 1, 1a, und der Wärmekamerasensor 8 detektiert die Straßenoberflächentemperatur.

Bei einem dritten Schritt S3 erfolgt das Zusammenlegen der Daten von der RGB-Kamera 6 und der Wärmekamera.

Bei einem vierten Schritt S4 werden die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher 1, 1a und die Temperatur der Oberfläche des Straßenbelags 2 bestimmt. Dies betrifft insbesondere die Oberfläche des Straßenbelags 2, die in der Umgebung der mit Wasser gefüllten Schlaglöcher 1 , 1a positioniert ist.

Bei einem vierten Schritt S4 schätzt der Prozessor die Tiefe der mit Wasser gefüllten Schlaglöcher 1 , 1a durch ihre Oberflächentemperatur. Zu diesem Zweck wird die Temperatur jedes mit Wasser gefüllten Schlaglochs 1 , 1 a mit der Temperatur der entsprechenden umliegenden Oberfläche der Straßenoberfläche 2 verglichen.

Wenn die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher 1 , 1a größer gleich der Temperatur der umliegenden Oberfläche ist, liegen sehr kleine, schmale Schlaglöcher vor, fünfter Schritt S5.

Wenn die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher weniger als die Temperatur der umliegenden Oberfläche beträgt, wird die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1 mit der Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a verglichen, sechster Schritt S6.

Wenn die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1 weniger als die Oberflächentemperatur des mit Wasser gefüllten

Schlaglochs 1a beträgt, ist das Schlagloch 1 tiefer als das Schlagloch 1a, siebenter Schritt S7.

Wenn die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a weniger als die Oberflächentemperatur des mit Wasser gefüllten

Schlaglochs 1 beträgt, ist das Schlagloch 1a tiefer als das Schlagloch 1 , achter Schritt S8.

Die Ergebnisse werden bei einem Schritt S9 an das ADAS weitergegeben, das die Ergebnisse beispielsweise zur Berechnung einer neuen Trajektorie verwendet.

Bezuqszeichen mit Wasser gefülltes Schlagloch a tiefes mit Wasser gefülltes Schlagloch Belagoberfläche Wasser Eis System RGB(Rot-Grün-Blau)-Kamerasensor Schlaglochsegmentierung Wärmekamerasensor Wärmepixelbild 0 Wndschutzscheibe 1 Fahrzeug 2 Sichtfeld 3 Fahrerassistenzsystem