Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
ENVIRONMENT RECOGNITION SYSTEM OF A MOTOR VEHICLE, METHOD FOR OPERATING AN ENVIRONMENT RECOGNITION SYSTEM, COMPUTER PROGRAMME PRODUCT, AND MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2021/170419
Kind Code:
A1
Abstract:
The invention relates to an environment recognition system of a motor vehicle, said system comprising: at least one projector designed to project linear light structures onto an object in front of the motor vehicle; and at least one camera positioned to detect an area in front of the motor vehicle, wherein, in order to detect reflections of the light projected by the projector onto the object, the camera is sensitive to at least a partial range of the frequency spectrum output by the at least one projector, wherein the projector comprises an illuminant arrangement which can be modulated, wherein a controller is provided which is connected to the at least one camera and to the at least one projector, wherein at least one timer is provided in order to clock the projector and camera, wherein the projector is operated by the timer in a pulsed and controlled fashion.

Inventors:
WITTORF MARTEN (DE)
ROECKL PHILIPP (DE)
Application Number:
PCT/EP2021/053373
Publication Date:
September 02, 2021
Filing Date:
February 11, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PSA AUTOMOBILES SA (FR)
International Classes:
G01S17/931; B60Q1/24; B60W30/12; B60W50/14; G01S17/89; G06V10/141; G08G1/16
Foreign References:
US20190095726A12019-03-28
US20160034771A12016-02-04
US20190293791A12019-09-26
Attorney, Agent or Firm:
SPITZFADEN, Ralf (DE)
Download PDF:
Claims:
Patentansprüche

1. Umgebungserkennungssystem eines Kraftfahrzeugs (2) mit wenigstens einem Pro jektor (22), der dazu eingerichtet ist, linienhafte Lichtstrukturen (32) auf ein Objekt (36) vor dem Kraftfahrzeug (2) zu projizieren, und wenigstens einer Kamera (10), die derart angeordnet ist, dass sie einen Bereich vor dem Kraftfahrzeug (2) erfasst, wobei die Kamera (10) sensitiv für wenigstens einen Teilbereich des von dem we nigstens einen Projektors (22) ausgegebenen Frequenzspektrums ist, um Reflexio nen des von dem Projektor (22) auf das Objekt (36) projizierten Lichtes (32) zu er fassen, wobei der Projektor (22) eine modulierbare Leuchtmittelanordnung (23) auf weist, wobei eine Steuerung (12) vorgesehen ist, die mit der wenigstens einen Ka mera (10) und dem wenigstens einen Projektor (22) verbunden ist, wobei wenigs tens ein Timer (24) vorgesehen ist, um den Projektor (22) und Kamera (10) zu tak ten, wobei der Projektor (22) vom Timer (24) gesteuert gepulst betrieben wird.

2. Umgebungserkennungssystem nach Anspruch 1, wobei die Steuerung (12) ein Lichtmodulationsmodul (20) aufweist, das dazu eingerichtet ist, das von dem Projek tor (22) emittierte Licht zu modulieren, sodass der Projektor (22) wenigstens eine erste Lichtstruktur (32) und wenigstens eine von der ersten Lichtstruktur (32) unter schiedliche zweite Lichtstruktur emittieren kann, wobei das Umschalten zwischen erster Lichtstruktur (32) und zweiter Lichtstruktur (32) mittels des Timers (24) ge steuert ist.

3. Umgebungserkennungssystem nach Anspruch 1 oder 2, wobei die Steuerung (12) ein Auswertemodul (14) für Kameradaten aufweist, das dazu eingerichtet ist, Kame radaten von einem ersten Pulszustand und von einem zweiten Pulszustand getrennt voneinander auszuwerten.

4. Umgebungserkennungssystem nach Anspruch 1 oder 2, wobei die Steuerung (12) ein Auswertemodul (14) für Kameradaten aufweist, das dazu eingerichtet ist, Kame radaten der ersten Lichtstruktur (32) und der zweiten Lichtstruktur getrennt vonei nander auszuwerten.

5. Umgebungserkennungssystem nach einem der vorangegangenen Ansprüche, wo bei ein Lichttimer (24) für den Projektor (22) und ein Abtastratentimer (24) für die Kamera (10) vorgesehen ist.

6. Umgebungserkennungssystem nach einem der vorangegangenen Ansprüche, wo bei eine Taktfrequenz des Lichttimers (24) ein ganzzahliges Vielfaches einer Takt frequenz des Abtastratentimers (24) oder eine Taktfrequenz des Abtastratentimers (24) ein ganzzahliges Vielfaches einer Taktfrequenz des Lichttimers (24) ist.

7. Umgebungserkennungssystem nach einem der Ansprüche 1 bis 5, wobei eine Takt frequenz des Lichttimers (24) ein nicht ganzzahliges Vielfaches einer Taktfrequenz des Abtastratentimers (24) oder eine Taktfrequenz des Abtastratentimers (24) ein nicht ganzzahliges Vielfaches einer Taktfrequenz des Lichttimers (24) ist.

8. Verfahren zum Betrieb eines Umgebungserkennungssystem nach einem der voran gegangenen Ansprüche, wobei der Projektor (22) gepulst betrieben wird, wobei von der wenigstens einen Kamera (10) Aufnahmen von dem Bereich vor dem Kraftfahr zeug (2) aufgenommen werden, wobei wenigstens eine Kameraaufnahme in einem ersten Pulszustand von der Steuerung (12) ausgewertet wird, wobei wenigstens eine Kameraaufnahme in einem zweiten Pulszustand von der Steuerung (12) aus gewertet wird, wobei Unterschiede zwischen der Kameraaufnahmen des ersten Pulszustand und des zweiten Pulszustands erkannt und ausgewertet werden.

9. Verfahren nach Anspruch 8, wobei überlappende Bereiche in den wenigstens zwei Kameraaufnahmen identifiziert und Spurmarkierungen (28) in den Kameraaufnah men erkannt werden.

10. Verfahren nach Anspruch 8 oder 9, wobei in einem gegebenen Zeitintervall der erste Pulszustand für 90 % bis 99 % der Zeit vorherrscht, wobei der zweite Pulszu stand für die verbleibende Zeit vorherrscht.

11. Verfahren nach einem der Ansprüche 9 bis 10, wobei eine Veränderung der Licht struktur (32) vorgenommen wird, wenn ein Zuversichtsniveau für die Erkennung von Spurmarkierungen (28) unter einen vorgegebenen Wert sinkt.

12. Verfahren nach einem der Ansprüche 9 bis 11, wobei eine Abtastrate der wenigs tens einen Kamera (10) mit einer Taktfrequenz des Projektors (22) synchronisiert wird.

13. Verfahren nach einem der Ansprüche 9 bis 12, wobei eine Abtastrate der wenigs tens einen Kamera (10) und eine Taktfrequenz des Projektors (22) asynchron sind.

14. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (16), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (14) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (14) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.

15. Kraftfahrzeug mit einem Computerprogrammprodukt nach Anspruch 14 und/oder ei nem Umgebungserkennungssystem nach einem der Ansprüche 1 bis 10.

Description:
UMGEBUNGSERKENNUNGSSYSTEM EINES KRAFTFAHRZEUGS, VERFAHREN ZUM BETRIEB EINES UMGEBUNGSERKENNUNGSSYSTEMS, COMPUTERPROGRAMMPRODUKT SOWIE KRAFTFAHRZEUG

Vorliegend werden ein Umgebungserkennungssystem eines Kraftfahrzeugs, ein Verfah ren zum Betrieb eines Umgebungserkennungssystems, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben.

Umgebungserkennungssysteme eines Kraftfahrzeugs, Verfahren zum Betrieb eines Um gebungserkennungssystems, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt.

Umgebungserkennungssysteme werden in Kraftfahrzeugen zu verschiedenen Zwecken verwendet, unter anderem für autonome Fahrsysteme und für Fahrassistenzsysteme wie Tempolimitwarner, die Tempolimits von Schildern ablesen, und Spurassistenzsysteme, die Spurmarkierungen erkennen müssen.

Darüber hinaus sind Lichtprojektionssysteme in Kraftfahrzeugen bekannt, die Lichtstruktu ren erzeugen und in die Umgebung projizieren können, z.B. auf Schilder, Wände oder Fahrbahnen.

Eine bereits erwähnte Anwendung sind Spurassistenzsysteme. Eine erste bekannte Art sind aktive Spurassistenzsysteme, die einen Fahrer eines entsprechend ausgerüsteten Kraftfahrzeugs aktiv unterstützen. Solche Systeme verwenden Eingriffe in eine Lenkung, beispielsweise um einen unbeabsichtigten Spurwechsel zu verhindern, also ein Spur wechsel ohne Anzeige eines Spurwechselwillens durch Betätigung eines Blinkers seitens des Fahrers. Auch passive, also rein warnende Systeme sind bekannt, beispielsweise sol che, die eine Vibration in einem Lenkrad erzeugen und damit einen Fahrer darauf auf merksam machen, dass er bei Weiterfahrt in die gleiche Richtung die Spur verlassen wird. Des Weiteren sind Spurassistenzsysteme bekannt, die beide zuvor genannten Systeme kombinieren und den Fahrer durch optische Projektionen auf die Straße unterstützen, bei spielsweise, indem durchgezogene oder nicht durchgezogene Linien auf die Straße proji ziert werden. So kann beispielsweise eine nicht durchgezogene Linie mit einer Projektion einer durchgezogenen Linie überdeckt werden, wenn ein gefahrloser Spurwechsel nicht möglich ist, beispielsweise aufgrund eines anderen Kraftfahrzeugs auf einer Zielspur. Des Weiteren sind Kombinationen der vorgenannten Arten von Spurassistenzsystemen be kannt.

Bei den letztgenannten Systemen, die mit Projektionen arbeiten, kann es Vorkommen, dass die Projektion mit einem System zur Umgebungserkennung, beispielsweise mittels einer Frontkamera interferiert, sodass die Projektion eine zu erkennende Struktur über strahlt, z.B. vom optischen Umgebungserkennungssystem mit einer tatsächlichen Spur markierung verwechselt werden kann oder die Spurmarkierung als nicht erkennbar ge kennzeichnet wird.

Aus der US 2019/293791 A1 ist eine Bildaufnahme-Kontrollvorrichtung zur Erkennung und Entfernungsauswertung eines Ziels für Fahrzeuge bekannt. Die Vorrichtung besteht aus einer Infrarot-Lichtbestrahlungseinheit zur Beleuchtung eines Zieles und aus einer Inf- rarot-Lichtdetektor-Empfangseinheit und einer Empfangseinheit für sichtbares Licht zum Empfang des vom Ziel reflektierten Lichtsignals. Das vom Ziel reflektierte infrarote und sichtbare Licht wird zur Bewertung der Entfernung zum Ziel, zur Abbildung der Kontur des Ziels und zur Erkennung von Gegenlicht, Nebel und Farbe verwendet. Die Feinabstim mung der Einstrahlungs- und Empfangslichtbedingungen ermöglicht die Unterscheidung dieser Parameter nach Analyse der Überlagerung von Einstrahlungs- und reflektierten Signalen während der Belichtungszeiten. Die Feinabstimmung wird von einer Steuerung vorgenommen, wenn die Erkennungseinheit festgestellt hat, dass die periphere Situation einer vorgegebenen Situation entspricht. Das Gerät erzeugt sichtbare Licht-, IR- und Ent fernungsbilddaten sowie eine Objekt-ID.

Somit stellt sich die Aufgabe, Umgebungserkennungssysteme eines Kraftfahrzeugs, Ver fahren zum Betrieb eines Umgebungserkennungssystems, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass Umgebungserkennungs systeme, die Projektoren zur Abgabe von Lichtstrukturen aufweisen, Spurmarkierungen auf einer Straße zuverlässiger erkennen können.

Die Aufgabe wird gelöst durch ein Umgebungserkennungssystem eines Kraftfahrzeugs gemäß Anspruch 1, ein Verfahren zum Betrieb eines Umgebungserkennungssystems ge- mäß dem nebengeordneten Anspruch 9, ein Computerprogrammprodukt gemäß dem ne bengeordneten Anspruch 14 sowie ein Kraftfahrzeug gemäß dem nebengeordneten An spruch 15. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.

Nachfolgend wird ein Umgebungserkennungssystem eines Kraftfahrzeugs beschrieben, mit wenigstens einem Projektor, der dazu eingerichtet ist, linienhafte Lichtstrukturen auf ein Objekt vor dem Kraftfahrzeug zu projizieren, und wenigstens einer Kamera, die derart angeordnet ist, dass sie einen Bereich vor dem Kraftfahrzeug erfasst, wobei die Kamera sensitiv für wenigstens einen Teilbereich des von dem wenigstens einen Projektors aus gegebenen Frequenzspektrums ist, um Reflexionen des von dem Projektor auf das Objekt projizierten Lichtes zu erfassen, wobei der Projektor eine modulierbare Leuchtmittelanord nung aufweist, wobei eine Steuerung vorgesehen ist, die mit der wenigstens einen Ka mera und dem wenigstens einen Projektor verbunden ist, wobei wenigstens ein Timer vor gesehen ist, um den Projektor und Kamera zu takten, wobei der Projektor vom Timer ge steuert gepulst betrieben wird.

Die Kameradaten können Kamerabilder sein, sie können aber auch strukturierte Daten enthalten, zum Beispiel erkannte Gegenstände.

Das Objekt kann beispielsweise ein Schild, eine Mauer oder eine Fahrbahn sein. Die Lichtstruktur kann unter anderem linienhaft oder flächenhaft sein.

Dadurch, dass Projektor und Kamera aufeinander abgestimmt getaktet werden, wobei der Projektor gepulst betrieben wird, kann ermöglicht werden, dass die Kamera die von dem Projektor abgegebene Lichtstruktur spezifisch entsprechend der gepulsten Wiedergabe wahrnehmen kann, wodurch ermöglicht wird, dass Spurmarkierungen auf der Straße von den gepulsten Lichtstrukturen unterschieden werden können.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuerung ein Lichtmodulationsmodul aufweist, das dazu eingerichtet ist, das von dem Projektor emittierte Licht zu modulieren, sodass der Projektor wenigstens eine erste Lichtstruktur und wenigstens eine von der ersten Lichtstruktur unterschiedliche zweite Lichtstruktur emittieren kann, wobei das Umschalten zwischen erster Lichtstruktur und zweiter Licht struktur mittels des Timers gesteuert ist. Wenn unterschiedliche Lichtstrukturen verwendet werden, die mittels des Timers ange steuert werden, ist es möglich, eine erste Lichtstruktur und eine zweite Lichtstruktur ein deutig voneinander zu unterscheiden. Durch das Timing mittels des Timers ist es möglich, einen zeitlichen Zusammenhang zwischen den Wechsel zwischen den verschiedenen Lichtstrukturen und den Bildern der Kameraaufnahmen herzustellen.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steue rung ein Auswertemodul für Kameradaten aufweist, das dazu eingerichtet ist, Kamerada ten von einem ersten Pulszustand und von einem zweiten Pulszustand getrennt voneinan der auszuwerten.

Wenn Kameradaten des ersten Pulszustandes und Kameradaten des zweiten Pulszustan des getrennt voneinander ausgewertet werden, ist es möglich, die Unterschiede der aus gewerteten Kameradaten miteinander zu vergleichen und dabei Gemeinsamkeiten sowie Unterschiede zwischen den beiden ausgewerteten Kameradaten festzustellen. Hieraus lassen sich zuverlässigere Rückschlüsse über in den jeweiligen Kameradaten enthaltenen Informationen zu Spurmarkierungen ziehen. Die Kameradaten können Kamerabilder und oder mit Objektinformationen angereicherte Kamerabilder darstellen.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steue rung ein Auswertemodul für Kameradaten aufweist, das dazu eingerichtet ist, Kamerada ten der ersten Lichtstruktur und der zweiten Lichtstruktur getrennt voneinander auszuwer ten.

Wenn Kameradaten der ersten Lichtstruktur und Kameradaten der zweiten Lichtstruktur getrennt voneinander ausgewertet werden, ist es möglich, die Unterschiede der ausge werteten Kameradaten miteinander zu vergleichen und dabei Gemeinsamkeiten sowie Unterschiede zwischen den beiden ausgewerteten Kameradaten festzustellen. Hieraus lassen sich zuverlässigere Rückschlüsse über in den jeweiligen Kameradaten enthaltenen Informationen zu Spurmarkierungen ziehen. Die Kameradaten können Kamerabilder und oder mit Objektinformationen angereicherte Kamerabilder darstellen.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass ein Lichtti mer für den Projektor und ein Abtastratentimer für die Kamera vorgesehen ist. Wenn ein Lichttimer für den Projektor und ein Abtastratentimer für die Kamera vorgese hen sind, ist es möglich, das System modularer aufzubauen. So kann beispielsweise auf einen Abtastratentimer in der Kamera zurückgegriffen werden, der von der Steuerung ent sprechend angesprochen wird. Auch Lichttimer sind häufiger Bestandteil von Lichtmodu len. Entsprechende Lichttimer können ebenfalls von der Steuerung angesprochen wer den.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Takt frequenz des Lichttimers ein ganzzahliges Vielfaches einer Taktfrequenz des Abtastraten timers oder eine Taktfrequenz des Abtastratentimers ein ganzzahliges Vielfaches einer Taktfrequenz des Lichttimers ist.

Wenn die Taktfrequenz des Lichttimers ein ganzzahliges Vielfaches der Taktfrequenz des Abtastratentimers ist, oder umgekehrt, ist es möglich, den Projektor die Kamera entspre chend zu synchronisieren, dass beispielsweise eine Aufzeichnung eines Bildes immer dann stattfindet, wenn der Projektor gerade nicht leuchtet, sodass das von der Kamera aufgenommene Bild nicht von der von dem Projektor erzeugt Lichtstruktur gestört ist. Da mit ist ein Identifizieren der Spurmarkierung möglich.

In einer darüber hinausgehenden weiteren weiterführenden Ausgestaltung kann vorgese hen sein, dass Lichttimer und Abtastratentimer synchronisiert sind. Insbesondere kann vorgesehen sein, dass ein Kamerabild immer dann erzeugt wird, wenn der Projektor ge rade keine Lichtstruktur emittiert.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Takt frequenz des Lichttimers ein nicht ganzzahliges Vielfaches einer Taktfrequenz des Abtast ratentimers oder eine Taktfrequenz des Abtastratentimers ein nicht ganzzahliges Vielfa ches einer Taktfrequenz des Lichttimers ist.

Wenn die entsprechenden Taktfrequenzen nicht ganzzahlige Vielfache der jeweils ande ren Taktfrequenzen sind, überlappen die Takte jeweils mit variierendem Überlapp. So werden Kameraaufnahmen erzeugt, bei denen die Lichtstruktur in voller Helligkeit, gar nicht und/oder in abgeschwächter Helligkeit zu sehen sind. Diese Varianz erlaubt es, Un terschiede und Gemeinsamkeiten in aufeinanderfolgenden Aufnahmen der Kamera zu identifizieren und dadurch Spurmarkierungen zuverlässigerzu erkennen.

Ein erster unabhängiger Gegenstand betrifft ein Verfahren zum Betrieb eines Umge bungserkennungssystem der vorgenannten Art, wobei der Projektor gepulst betrieben wird, wobei von der wenigstens einen Kamera Aufnahmen von dem Bereich vor dem Kraftfahrzeug aufgenommen werden, wobei wenigstens eine Kameraaufnahme in einem ersten Pulszustand von der Steuerung ausgewertet wird, wobei wenigstens eine Kamera aufnahme in einem zweiten Pulszustand von der Steuerung ausgewertet wird, wobei Un terschiede zwischen der Kameraaufnahmen des ersten Pulszustand und des zweiten Pulszustands erkannt und ausgewertet werden.

Mithilfe des entsprechenden Verfahrens ist es möglich, zuverlässig Spurmarkierungen, auf Straßen zu erkennen, selbst wenn eine Lichtstruktur mithilfe eines Projektors auf der Spurmarkierung projiziert wird.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass überlappende Bereiche in den wenigstens zwei Kameraaufnahmen identifiziert und Spurmarkierungen in den Kameraaufnahmen erkannt werden.

Durch Erkennen überlappender Bereiche können zwei verschiedene Aufnahmen passend zueinander ausgerichtet werden und das Erkennen von Spurmarkierungen anhand der unterschiedlichen Lichtstrukturen ist mit höherer Zuverlässigkeit möglich.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass in einem gegebenen Zeitintervall der erste Pulszustand für 90 % bis 99 % der Zeit vorherrscht, wo bei der zweite Pulszustand für die verbleibende Zeit vorherrscht.

Somit ist es möglich, für einen Fahrer ein ruhig und stetig wirkendes Bild der Lichtstruktur zu erzeugen.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Verän derung der Lichtstruktur vorgenommen wird, wenn ein Zuversichtsniveau für die Erken nung von Spurmarkierungen unter einen vorgegebenen Wert sinkt.

Dann kann das Verfahren situativ gesteuert nur dann durchgeführt werden, wenn die Spurmarkierung nicht zuverlässig erkannt werden kann.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Abtast rate der wenigstens einen Kamera mit einer Taktfrequenz des Projektors synchronisiert wird.

Wenn die Taktfrequenz des Lichttimers synchronisiert ist, also ein ganzzahliges Vielfa ches der Taktfrequenz des Abtastratentimers ist, oder umgekehrt, ist es möglich, den Pro jektor die Kamera entsprechend zu synchronisieren, dass beispielsweise eine Aufzeich nung eines Bildes immer dann stattfindet, wenn der Projektor gerade nicht leuchtet, so- dass das von der Kamera aufgenommene Bild nicht von der von dem Projektor erzeugt Lichtstruktur gestört ist. Damit ist ein Identifizieren der Spurmarkierung möglich.

In einer darüber hinausgehenden weiteren weiterführenden Ausgestaltung kann vorgese hen sein, dass Lichttimer und Abtastratentimer synchronisiert sind. Insbesondere kann vorgesehen sein, dass ein Kamerabild immer dann erzeugt wird, wenn der Projektor ge rade keine Lichtstruktur emittiert.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Abtast rate der wenigstens einen Kamera und eine Taktfrequenz des Projektors asynchron sind.

Wenn die entsprechenden Taktfrequenzen asynchron sind, also nicht ganzzahlige Vielfa che der jeweils anderen Taktfrequenzen sind, überlappen die Takte jeweils mit variieren dem Überlapp. So werden Kameraaufnahmen erzeugt, bei denen die Lichtstruktur in vol ler Helligkeit, gar nicht und/oder in abgeschwächter Helligkeit zu sehen sind. Diese Vari anz erlaubt es, Unterschiede und Gemeinsamkeiten in aufeinanderfolgenden Aufnahmen der Kamera zu identifizieren und dadurch Spurmarkierungen zuverlässiger zu erkennen.

Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Betrieb eines Umge bungserkennungssystem der vorgenannten Art, wobei Mittel zum gepulsten Betreiben des Projektors vorgesehen sind, wobei eine Kamera vorgesehen ist, um Aufnahmen von dem Bereich vor dem Kraftfahrzeug aufzunehmen, wobei eine Steuerung vorgesehen ist, um wenigstens eine Kameraaufnahme in einem ersten Pulszustand und wenigstens eine Ka meraaufnahme in einem zweiten Pulszustand auszuwerten, wobei die Steuerung dazu eingerichtet ist, Unterschiede zwischen der Kameraaufnahme des ersten Pulszustandes und der Kameraaufnahme des zweiten Pulszustands zu erkennen und auszuwerten.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuerung dazu eingerichtet ist, überlappende Bereiche in den wenigstens zwei Kameraaufnahmen zu identifizieren und Spurmarkierungen in den Kameraaufnahmen zu erkennen.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass in einem gegebenen Zeitintervall der erste Pulszustand für 90 % bis 99 % der Zeit vorherrscht, wo bei der zweite Pulszustand für die verbleibende Zeit vorherrscht.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steue rung dazu eingerichtet ist, eine Veränderung der Lichtstruktur vorzunehmen, wenn ein Zu versichtsniveau für die Erkennung von Spurmarkierungen unter einen vorgegebenen Wert sinkt.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steue rung dazu eingerichtet ist, eine Abtastrate der wenigstens einen Kamera mit einer Taktfre quenz des Projektors zu synchronisieren.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Abtast rate der wenigstens einen Kamera und eine Taktfrequenz des Projektors asynchron sind.

Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Re cheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.

Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Computerpro- grammprodukt der zuvor beschriebenen Art und/oder einem Umgebungserkennungssys tem der zuvor beschriebenen Art.

Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:

Fig. 1 eine Draufsicht auf ein Kraftfahrzeug mit einem Umgebungserkennungssys tem;

Fig. 2 eine Steuerung des Umgebungserkennungssystems des Kraftfahrzeugs aus Fig. 1;

Fig. 3 eine Draufsicht auf eine Straße mit dem Kraftfahrzeug aus Fig. 1 ;

Fig. 4 zwei Zeit-Intensitäts-Diagramme einer ersten Ausführungsform, sowie

Fig. 5 zwei Zeit-Intensitäts-Diagramme einer zweiten Ausführungsform.

Fig. 1 zeigt eine Draufsicht auf ein Kraftfahrzeug 2 mit einem Umgebungserkennungssys tem 4 (Bestandteile des Umgebungserkennungssystems 4 gestrichelt umrahmt).

Das Umgebungserkennungssystem 4 weist in Fig. 1 nicht sichtbare Projektoren auf, die in Scheinwerfern 6, 8 angeordnet sind. Die Projektoren in den Scheinwerfern 6, 8 sind dazu eingerichtet, linienhafte Strukturen mit ausreichend hohem Kontrast auf ein Objekt zu pro jizieren, sodass diese von einem Fahrer wahrnehmbar und unterscheidbar sind. Damit kann dem Fahrer des Kraftfahrzeugs 2 eine Hilfestellung beim Spurwechsel gegeben wer den und zum Beispiel anzeigen, wann eine Spur gewechselt werden kann, zum Beispiel durch eine projizierte gestrichelte Linie, und wann nicht, zum Beispiel durch eine proji zierte durchgezogene Linie, wenn eine Gefahr erkannt wurde. Auch kann das Umge bungserkennungssystem anzeigen, wo sich die Spurmarkierung befindet, beispielsweise bei schlechten Sichtverhältnissen wie bei Schnee bedeckter Fahrbahn, und dergleichen mehr.

Das Umgebungserkennungssystem 4 weist des Weiteren eine nach vorne ausgerichtete Kamera 10 auf, die einen Bereich einer Fahrbahn vor dem Kraftfahrzeug 2 erfassen kann.

Die Scheinwerfer 6, 8 sowie die Kamera 10 sind mit einer Steuerung 12 verbunden, wobei die Steuerung 12 eine Recheneinheit 14 sowie einen Speicher 16 aufweist. In dem Spei cher 16 ist ein Computerprogrammprodukt gespeichert, das, wenn es von der Rechenein heit 14 geladen und ausgeführt wird, das hier beschriebene Verfahren durchführt.

Mithilfe der Kamera 10 werden Aufnahmen von der vor dem Kraftfahrzeug 2 liegenden Straße gemacht und in der Steuerung 12, ausgewertet, indem Spurmarkierungen, die auf der Straße aufgezeichnet sind, erkannt werden. In einem alternativen Ausführungsbeispiel kann diese Auswertung in der Kamera 10 vorgenommen werden. Dazu kann spezielle Hardware verwendet werden, zum Beispiel spezielle Grafikprozessoren, die auf Bildana lyse und Objekterkennung spezialisiert sind.

Die von den Projektoren erzeugten und auf die Straße projizierten Lichtstrukturen, bei spielsweise Linien, können die Spurmarkierungen überdecken, sodass die Projektionen eine Erkennung der Spurmarkierungen zumindest der Art der Spurmarkierung nach durch Kamera 10 oder Steuerung 12 verhindern können.

Für diesen Fall ist es möglich, die Lichtstrukturen hinsichtlich ihrer physikalischen Eigen schaften so abzuändern, dass eine Erkennung von Spurmarkierungen in den von der Ka mera 10 aufgenommenen Bildern möglich ist. In dem hier vorgestellten Ausführungsbei spiel findet ein Wechsel zwischen unterschiedlichen Lichtstrukturen in regelmäßigen Zeit abständen statt.

In alternativen Ausführungsformen kann es möglich sein, eine Veränderung der physikali schen Eigenschaften der Lichtstruktur nur dann vorzunehmen, wenn ein Zuversichtsni veau der Erkennung von Spurmarkierungen durch die entsprechenden projizierten Licht strukturen zu weit absinkt, beispielsweise unter einen Schwellwert von 95 %.

Fig. 2 zeigt eine Prinzipdarstellung der Steuerung 12. Die nachfolgend dargestellten Module können Programmbestandteile des zuvor erwähn ten Computerprogrammproduktes sein. In alternativen Ausgestaltungen können die Mo dule ganz oder teilweise durch dedizierte Bauteile, beispielsweise Prozessoren und/oder Platinen verwirklicht sein.

Die Kamera 10 ist mit einem Auswertemodul 18 der Steuerung 12 verbunden. Das Aus wertemodul 18 dient zur Analyse der Bildinformationen und zur Erkennung der entspre chenden Spurmarkierungen.

Des Weiteren ist ein Lichtmodulationsmodul 20 vorgesehen, das einen Projektor ansteu ert. Der Projektor 22 ist in dem Scheinwerfer 6 angeordnet.

Der Projektor 22 weist eine Matrix von Leuchtmitteln 23 auf, die von den Lichtmodulati onsmodul 20 einzelnen an- und ausgeschaltet werden können. Die entsprechenden Leuchtmittel sind dimmbar, können also unterschiedliche Helligkeiten abgeben. Die Leuchtmittel können in anderen Ausgestaltungen auch farbvariabel sein.

Des Weiteren ist ein Timer 24 vorgesehen, der mit dem Auswertemodul 18 und dem Lichtmodulationsmodul 20 verbunden ist.

Auswertemodul 18, Lichtmodulationsmodul 20, Timer 24 und Speicher 16 sind mit der Re cheneinheit 14 verbunden. Von der Kamera 10 aufgenommenen Bilder werden von dem Auswertemodul 18 aufbereitet und die ausgewerteten Bilder, die mit Objektinformationen zu in den aufgenommenen Bilder identifizierten Objekten angereichert sind, an die Re cheneinheit 14 übergeben. Die Recheneinheit 14 legt diese Informationen kurzfristig im Speicher 16 ab.

Sodann wird durch die Recheneinheit 14 eine Veränderung der Lichtstruktur ausgelöst, in dem das Lichtmodulationsmodul 20 entsprechend angesteuert wird, wodurch der Projek tor 22 eine geänderte Lichtstruktur abgibt.

Die Kamera 10 nimmt ein weiteres Bild mit der entsprechend geänderten Lichtstruktur auf, die Aufnahme wird durch das Auswertemodul 18 wie zuvor beschrieben aufbereitet und an die Recheneinheit 14 übergeben. Das weitere Bild kann ebenfalls in dem Speicher 16 abgelegt oder zwischengespeichert werden.

Die Recheneinheit 14 kann anschließend dann die Daten zur ersten Aufnahme und ggf. zweiten Aufnahme aus dem Speicher 16 abrufen und die beiden Datensätze miteinander vergleichen.

Dabei wird ein Versatz der beiden Aufnahmen, der durch eine durch die Fahrt des Kraft fahrzeugs 2 entstehenden anderen Aufnahmeort entsteht, kompensiert werden, indem aus Zeitabstand der beiden Aufnahmen und Fahrgeschwindigkeit des Kraftfahrzeugs 2 unter Berücksichtigung der optischen Eigenschaften der Kamera 10 ein Versatz bestimmt wird und eine der beiden Aufnahmen relativ zur anderen um den Versatz verschoben wird. Falls erforderlich, kann zusätzlich eine Bildverzerrung korrigiert werden.

In einem alternativen Ausführungsbeispiel kann der Versatz durch Bilderkennung kom pensiert werden.

Die darin gefundenen Unterschiede erlauben die Erkennung der Lichtstrukturen und die Unterscheidung der Lichtstrukturen von den Spurmarkierungen auf der Straße, sodass eine zuverlässige Erkennung der Spurmarkierungen möglich ist.

Der Timer 24 steuert sowohl die Kamera 10 über das Auswertemodul 18 sowie auch den Projektor 22 über das Lichtmodulationsmodul 20. Der Timer 24 ist somit eine Master- Clock, die ein synchrones oder asynchrones Betreiben von Kamera 10 und Projektor 22 ermöglicht.

Fig. 3 zeigt eine Darstellung des Kraftfahrzeugs 2 aus Fig. 1 auf einer Straße 26.

Die Straße 26 weist eine Spurmarkierung 28 auf, die von der Kamera 10 des Umgebungs erkennungssystems 4 erkannt wird.

Das Kraftfahrzeug 2 emittiert über den Scheinwerfer 6 einen Lichtkegel 30 und über den darin angeordneten Projektor 22 eine Lichtstruktur 32, hier eine durchgezogene Linie, auf der Höhe der Spurmarkierung 28. Je nach Farbe und Helligkeit kann es für die Kamera 10 durch die Lichtstruktur 32 unmöglich werden, die Art der Spurmarkierung 28 zuverlässig zu erkennen. Durch die Variation der Lichtstruktur 32 durch den gepulsten Betrieb der Leuchtmittel 23 des Projektors 22, kann erreicht werden, dass sich die Spurmarkierung 28 von der Licht struktur abhebt.

Fig. 4 zeigt zwei Intensität-Zeit-Diagramme gemäß einem ersten Ausführungsbeispiel. Die beiden Diagramme sind untereinander dargestellt.

Das obere Diagramm stellt eine Abtastrate 34 der Kamera 10 und das untere Diagramm eine Pulsrate 36 des Projektors 22 dar. Die Pulsrate 36 ist ein ganzzahliges Vielfaches der Abtastrate 34.

Abtastrate 34 und Pulsrate 36 sind so miteinander synchronisiert, dass die Pulse des Pro jektors 22 stets in einen Zeitraum fallen, in dem die Kamera 10 nicht abtastet, sodass die Kamera 10 stets ein Bild aufnimmt, dass keinen Anteil der Lichtstruktur 32 enthält, da zu den jeweiligen Aufnahmezeitpunkten der Projektor 22 kein Licht emittiert.

Fig. 5 zeigt zwei Intensität-Zeit-Diagramme gemäß einem zweiten Ausführungsbeispiel.

In Fig. 5 ist eine Pulsrate 38 asynchron zu einer Abtastrate 34 und ein Verhältnis aus Ab tastrate und Pulsrate ist nicht ganzzahlig. Dadurch nimmt die Kamera 10 Aufnahmen auf, in denen teilweise keine Lichtstruktur zu sehen ist, teilweise eine Lichtstruktur 32 mit voller Helligkeit und teilweise eine Lichtstruktur 32 mit reduzierter Helligkeit, da diese nur einen Teil der Aufnahmezeit sichtbar ist und damit dunkler wirkt. Hieraus kann die Steuerung 12 die Spurmarkierung 28 erkennen.

Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.

Bezugszeichenliste

2 Kraftfahrzeug

4 Umgebungserkennungssystem

6 Scheinwerfer

8 Scheinwerfer

10 Kamera

12 Steuerung

14 Recheneinheit

16 Speicher

18 Auswertemodul

20 Lichtmodulationsmodul

22 Projektor

23 Leuchtmittel

24 Timer

26 Straße

28 Spurmarkierung

30 Lichtkegel

32 Lichtstruktur

34 Abtastrate

36 Pulsrate

38 Pulsrate

I Intensität t Zeit