Fahrzeugs

Die Erfindung betrifft ein Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs im Rahmen einer Über- roll- bzw. Rollovererkennung.

Die EP 1240533 Bl zeigt ein Verfahren zur Überschlags ^¬ erkennung und Auslösung insassenschützender Mittel in Fahrzeugen. Ein von einer optischen Überwachung der Umgebung abgeleiteter Neigungswinkel des Fahrzeugs gegenüber einer ebenen Fahrbahn wird verknüpft mit dem von einem Drehratensensor ermittelten Neigungswinkel. Nur im Falle einer Übereinstimmung der beiden ermittelten Neigungswinkel werden die insassenschützenden Mittel ausgelöst.

Die EP 1474315 Bl zeigt eine Vorrichtung zur Überrollerkennung basierend auf einer Stereokamera, die Abstandsmessun ^¬ gen zu Objekten durchführt und Bildvektoren für jeden Bildsensor erzeugt. Ein Überrollvorgang wird aus der zeitlichen Änderung von vertikalen Komponenten dieser Bildvektoren erkannt .

Es ist die Aufgabe der hier vorgestellten Erfindung ein Verfahren anzugeben, durch das ein bevorstehender Über- schlag eines Fahrzeugs frühzeitig, kostengünstig und zuver ^¬ lässig erkannt wird.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfah- ren gemäß den unabhängigen Patentansprüchen. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.

Es wird ein Verfahren zur Erkennung eines drohenden Überschlags angegeben mit den folgenden Schritten:

Schritt a) Aufnehmen einer Bilderfolge von der Fahrzeugumgebung, insbesondere von der vorausliegenden Fahrbahn, mit einer Kamera. Die Kamera kann bevorzugt eine Mono- oder ei ^¬ ne Stereokamera sein, die beispielsweise im Innenraum des Fahrzeugs, hinter der Windschutzscheibe, angeordnet ist und durch die Windschutzscheibe blickt.

Schritt b) Ermitteln und Tracken (Verfolgen) von Punktmerkmalen in der Bilderfolge (Point feature tracking) . Geeigne ^¬ te Punktmerkmale ergeben sich insbesondere aus einer ersten Bildanalyse als markante Punktmerkmale, die in der Bilder- folge gut zu verfolgen sind, z.B. aufgrund hohen Kontrasts, spezieller Farbe und/oder Form.

Schritt c) Eliminieren von Punktmerkmalen, die sich auf gegenüber der stationären Fahrzeugumgebung bewegten Objekten befinden. Zur stationären Fahrzeugumgebung zählen insbeson- dere die Fahrbahn, Fahrbahnbegrenzungen, Verkehrszeichen, Brücken etc. Bewegte Objekte sind beispielsweise vorausfah ^¬ rende oder entgegenkommende Fahrzeuge oder gehende Fußgän ^¬ ger. Die Unterscheidung stationär oder bewegt kann beispielsweise aus einer Analyse der Bilderfolge ggfs. unter Berücksichtigung zusätzlicher Annahmen erfolgen, aber auch unter Berücksichtigung von Daten anderer Sensoren (z.B. Radar oder Lidar) , die Relativgeschwindigkeiten zu anderen Objekten ermitteln können.

Schritt d) Berechnung zumindest einer Größe der rotatorischen Kamerabewegung (Roll-, Nick- und/oder Gierrate) unter Berücksichtigung der verbleibenden Punktmerkmale. Es wird davon ausgegangen, dass die Kamerabewe ^¬ gung mit der Bewegung des Fahrzeugs übereinstimmt, da die Kamera mit dem Fahrzeug verbunden ist. Die Berechnung der Bewegungsgröße (n) erfolgt zumindest näherungsweise, was ei ^¬ ner Schätzung entspricht. Hierzu kann ein sogenanntes Structure-from-motion Verfahren eingesetzt werden, das dreidimensionale (3D) Strukturen aus zeitlich bewegten Objekten auf zweidimensionalen Bildern rekonstruiert. Rollrate bzw. Rollwinkel werden häufig auch als Wankrate bzw. Wankwinkel bezeichnet.

Der Vorteil der Erfindung liegt darin, dass die für die Überschlagserkennung relevanten Bewegungsgrößen zuverlässig und kostengünstig ermittelt werden.

Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass in einem weiteren Schritt e) eine Schutzfunktion für Insassen des Fahrzeugs aktiviert wird, sofern eine Roll- kenngröße, die zumindest von der berechneten Rollrate (Drehgeschwindigkeit um die Fahrzeuglängsachse) abhängt, einen vom berechneten Rollwinkel abhängigen Schwellwert überschreitet. Eine Schutzfunktion ist beispielsweise das Aktivieren von Gurtstraffern, Airbags oder Überrollbügeln. Die Rollkenngröße kann neben der Rollrate bevorzugt auch die berechnete Nick- und/oder Gierrate berücksichtigen.

In einer vorteilhaften Ausführungsform können zusätzlich alle oder ausgewählte translatorische Bewegungsgrößen, d.h. Geschwindigkeiten und/oder Beschleunigungen in den drei Raumrichtungen, in die Rollkenngröße eingehen. Die Bewegungsgrößen können ebenfalls aus der näherungsweisen Berechnung der Kamerabewegung in Schritt d) entnommen werden bzw. aus Daten von einer Inertialsensorik mit mindestens einem Inertialsensor entnommen werden. Der mindestens eine Inertialsensor kann insbesondere ein Drehraten- oder Beschleunigungssensor eines Sensorclusters eines Fahrzeugs sein (im Folgenden Fahrdynamiksensor) . Auf Daten des Sen- sorclusters greifen u.a. auch elektronische Stabilitätspro ^¬ gramme wie ESC, Längsdynamikregelungssysteme wie ACC oder Adaptives Kurvenlicht zurück. Alternativ oder zusätzlich kann als Inertialsensor ein Beschleunigungssensor bzw. Crashsensor, der zur Auslösung eines Airbags oder anderer Schutzvorrichtungen zum Einsatz kommen. Der Crashsensor zeichnet sich gegenüber einem Fahrdynamiksensor durch einen größeren Messbereich, eine geringere Auflösung und eine höhere Messfrequenz aus. Bevorzugt werden in Schritt b) als Punktmerkmale mindestens 100 Punkte ermittelt und getrackt (verfolgt) .

In einer bevorzugten Ausführung der Erfindung wird in Schritt b) die Lage der Punktmerkmale bzw. Punkte im Bild subpixelgenau ermittelt und getrackt (verfolgt) . Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird in Schritt c) zur Ermittlung der bewegten Punktmerkmale eine direkte Analyse der Bilddaten berücksichtigt.

Optional wird in Schritt c) zur Ermittlung der bewegten Punktmerkmale eine Analyse der Bilddaten durch mindestens eine zweite Fahrerassistenzfunktionalität berücksichtigt, wie beispielsweise einer Verkehrszeichenerkennung oder ei- ner Fahrspurerkennung.

In einer vorteilhaften Ausführungsform werden in Schritt c) zur Ermittlung der bewegten Punktmerkmale Daten von mindestens einem weiteren im Fahrzeug befindlichen Sensor (z.B. Radar oder Lidar) berücksichtigt.

Gemäß einer bevorzugten Ausführungsform wird in Schritt d) die Annahme getroffen, dass die Kamera kalibriert ist, d.h. dass intrinsische Parameter der Kamera (Brennweite, hori- zontaler und vertikaler Pixelabstand, Bildhauptpunktverschiebung) bekannt sind.

Bevorzugt wird in Schritt d) der Rollwinkel aus der Summe der Rollwinkeländerungen zwischen direkt aufeinander fol- genden Bildpaaren einer Bilderfolge geschätzt werden. Dabei summieren sich die Fehler der einzelnen Rollwinkelände- rungsschätzungen . Um dies zu korrigieren kann alternativ oder kumulativ der Rollwinkel aus der Rollwinkeländerung zwischen erstem und letztem Bild einer bestimmten Anzahl n von aufeinander folgenden Bildern einer Bilderfolge (Teilbildfolge mit n Bildern) geschätzt werden.

In einer vorteilhaften Ausgestaltung der Erfindung wird in Schritt a) die Bilderfolge mit einer Stereokamera aufgenom ^¬ men, d.h. die Kamera ist eine Stereokamera.

Hierbei kann vorteilhaft die Fahrbahnebene aus Disparitäten eines Stereobilds geschätzt werden und daraus kann in Schritt d) der Rollwinkel absolut zur Fahrbahn geschätzt werden .

Alternativ kann hierbei die Schätzung des Rollwinkels für jede der beiden Bildaufnahmeeinheiten der Stereokamera ge- trennt erfolgen, also jeweils wie bei einer Monokamera.

Vorteilhaft können aus der Stereobilderfolge mittels opti ^¬ schem Fluss Punktmerkmale oder Punkte in 3D verfolgt werden und mittels 3D-Punktkorrespondenzen die rotatorische Kame- rabewegung und somit auch der Rollwinkel direkt geschätzt werden .

Das erfindungsgemäße Verfahren kann vorteilhaft zu einer Plausibilisierung eines mittels einer Inertialsensorik er- kannten drohenden Überschlags des Fahrzeugs eingesetzt wer ^¬ den .

Alternativ hierzu können die in Schritt d) berechneten Bewegungsgrößen mit Daten aus einer Inertialsensorik fusio- niert werden, und in Schritt e) die fusionierten Daten für Rollrate und Rollwinkel betrachtet werden. Gemäß einer weiteren vorteilhaften Ausführungsform kann in Schritt e) die Aktivierung erst nach einer erfolgten Plausibilisierung mittels Daten einer weiteren und/oder der bereits genannten Inertialsensorik durchgeführt werden.

Gegenstand der Erfindung ist zudem eine Vorrichtung zur Ermittlung eines drohenden Überschlags eines Fahrzeugs umfas ^¬ send eine Kamera, Auswertemittel und eine Überschlagserkennungseinheit .

Die Kamera dient zur Aufnahme einer Bilderfolge von der Fahrzeugumgebung .

Die Auswertemittel dienen zum Ermitteln und Tracken (Verfolgen) von Punktmerkmalen in der Bilderfolge, wobei die Auswertemittel Punktmerkmale, die sich auf gegenüber der stationären Fahrzeugumgebung bewegten Objekten befinden eliminiert und unter Berücksichtigung der verbleibenden Punktmerkmale zumindest eine rotatorische Größe der Kamera ^¬ bewegung (Roll-, Nick- und/oder Gierrate ( ψ' ) ) berechnet. Die Überschlagserkennungseinheit nutzt die von den Auswer- temitteln berechneten Bewegungsgrößen, um im Falle eines erkannten Überschlags ein Signal zur Aktivierung einer Schutzvorrichtung zu generieren.

Nachfolgend wird die Erfindung anhand von Ausführungsbei- spielen und Figuren erläutert.

Es zeigen:

Fig. 1: Diagramm eines Verfahrens zur Erkennung eines dro- henden Überschlags eines Fahrzeugs Fig. 2a: Auswertung von Bilddaten einer Monokamera

Fig. 2b: Auswertung von Bilddaten einer Stereokamera Fig. 3: Diagramm der Überschlagserkennung anhand der Daten aus mindestens zwei Quellen und Ausgabe eines

Triggersignals an eine Schutzvorrichtung.

Die Darstellung in Fig. 1 gibt einen Überblick über den Ab- lauf eines Verfahrens zur Erkennung eines drohenden Über ^¬ schlags eines Fahrzeugs. Mittels einer Monokamera (la) oder einer Stereokamera (la und lb) wird eine Bilderfolge aufge ^¬ nommen. Die Bilddaten werden im Rahmen einer Bildverarbeitung (2) ausgewertet und analysiert. Die daraus resultie- renden Bewegungsdaten ( φ', θ', ψ', vx, vy, vz, ax, ay, az) (der Kamera und damit auch des Fahrzeugs) werden einer Überschlagserkennung (3) übergeben. Zusätzlich erhält die Überschlagserkennung (3) Bewegungsdaten ( φ', θ', ψ', vx, vy, vz, ax, ay, az) , die von einer Inertial- bzw. Crashsensorik (5) ermittelt werden. Die Überschlagserkennung (3) liefert ein Signal (TS) zur Aktivierung einer Schutzfunktion (4), sofern ein unmittelbar drohender Überschlag erkannt worden ist . Es werden also aus einem Kamerasystem Fahrzeugbewegungsgrö ^¬ ßen berechnet. Im einfachsten Fall wird dabei die Rollrate ( φ' ) berechnet und einem Überschlagsalgorithmus (d.h. einer Überschlagserkennung (3)) bereitgestellt. Der

Überschlagsalgorithmus entscheidet auf Basis der aus Kame- radaten berechneten Bewegungsgrößen (z.B. Rollrate ( φ' ) ) , ob ein Überschlag erfolgen wird oder nicht. Bei einem er ^¬ kannten und ggfs. plausibilisierten zukünftigen Überschlag, wird eine Schutzfunktion (4) aktiviert. Fig. 2a zeigt eine erste Variante der Bildverarbeitung (2), die Daten von einer Monokamera (la) erhält. Die Bildverar ^¬ beitung (2) ermittelt den optischen Fluss (21) aus der Bilderfolge. Anschließend wird die Kamerabewegung zumindest näherungsweise mittels eines Structure-from-motion- Verfahrens (22) berechnet.

Die berechneten rotatorischen und ggfs. translatorischen Bewegungsgrößen werden an die Überschlagserkennung (3) übermittelt. Typischerweise wird die Rollrate ( φ' ) übermit ^¬ telt, es können aber auch die Nick- ( θ' ) und/oder Gierrate ( ψ' ) , d.h. weitere rotatorische Bewegungsgrößen, Raumge ^¬ schwindigkeiten (vx, vy, vz) und/oder -beschleunigungen (ax, ay, az) , d.h. translatorische Bewegungsgrößen, übermittelt werden. Die für einen Rolloversensor

(Überschlagserkennungsvorrichtung) wichtige Größe der rotatorischen Bewegung ( φ', θ', ψ' ) eines Fahrzeugs lässt sich also mit Hilfe einer Kamera (la) alleine aus Bilddaten be ^¬ rechnen. Folgende algorithmische Bestandteile sind notwen- dig:

• Verfolgung von Punktmerkmalen über die Zeit (englisch:

Point feature tracking)

• Elimination von Merkmalen, die sich auf bewegten Objekten befinden

· Berechnung der Kamerabewegung Verfolgung von Punktmerkmalen

Benötigt wird ein Algorithmus zur Detektion und Verfolgung von interessanten (d.h. gut zu verfolgenden) Punkten über die Zeit, also von einem Bild zum nächsten. In Frage kommen hier z.B. der optische Fluss (21) oder ein Tomasi-Kanade Tracker. Wichtig ist eine subpixelgenaue Detektion der Punkte, da hiervon die Genauigkeit der anschließenden Bewe ^¬ gungsrekonstruktion abhängt. Es sollten einige hundert Punkte verfolgt werden, um stabile Ergebnisse zu erhalten.

Ausreißerelimination

Die Erkennung und Elimination von Ausreißern in den verfolgten Punktmerkmalen ist ein wichtiger Bestandteil des Verfahrens. Gängige Algorithmen zur Berechnung der Kamera ^¬ bewegung sind auf statische Szenen angewiesen, d.h. Bewegung im Bild wird alleine durch Kamerabewegung verursacht, alle anderen Objekte bewegen sich relativ zueinander nicht. Da dies in einer typischen Straßenszene nicht der Fall ist, müssen Merkmale, die sich nicht auf dem unbewegten Hintergrund befinden, entfernt werden. Solche Merkmale werden in diesem Zusammenhang als Ausreißer bezeichnet.

Folgende Möglichkeiten bieten sich an:

• Einsatz von bewährten Methoden der Ausreißereliminierung (auf Basis eines RANSAC (RANdom

Sample Consensus) oder LMedS (Least Median of Squares) mit Hilfe der Fundamentalmatrix)

• Detektion von Objekten mit Hilfe anderer Algorithmen, die evtl. sowieso auf dem Steuergerät der Kamera (la) bzw. der Bilddatenauswertung laufen (insbesondere ka- merabasierte Obj ekterkennung/-klassifikation oder Fahrbahnebenenschätzung durch Spurerkennung, oder Verkehrszeichenerkennung (die dann Nicht-Ausreißer liefern würde) )

Detektion von Objekten mit Hilfe anderer Sensoren, die im Fahrzeug bereitstehen (insbesondere Radar)

oder Kombinationen der genannten Verfahren

Berechnung der Kamerabewegung

Aus den über die Zeit verfolgten Punktmerkmalen lässt sich die Kamerabewegung berechnen. Prinzipiell sind dazu alle Structure-From-Motion Verfahren geeignet. Für die Rolloversensorik gibt es aber einige Nebenbedingungen, die die Berechnung vereinfachen: Es wird nur der rotatorische Anteil der Bewegung ( φ', θ', ψ' ) benötigt, und die Kamera (la) ist kalibriert, d.h. die intrinsischen Kameraparameter sind bekannt .

Zur Berechnung wird der 5-Punkte-Algorithmus nach Nister vorgeschlagen, der die Kernmatrix E (engl. Essential Mat- rix) ohne Umweg über die Fundamentalmatrix berechnet und somit robuster ist. Die Kernmatrix E enthält die 3x3 Rota ^¬ tionsmatrix R und den 3D Translationsvektor t; beide Bestandteile können aus der Matrix extrahiert werden, die Translation nur bis auf einen unbekannten Skalierungsfaktor (für Rolloversensorik nicht wichtig) . Die Rotationsmatrix kann in drei Anteile (Rollen, Nicken, Gieren) zerlegt werden und liefert somit direkt einen relativen Rollwinkel (typischerweise zum vorherigen Bild) .

Verwendet man immer nur direkt aufeinanderfolgende Bilder zur Berechnung, dann wird ein Addieren der relativen Roll- winkel zu einer Fehlerakkumulation führen, wodurch der Rollwinkel ( φ ) bzgl. eines weiter zurückliegenden Referenzbildes nicht mit der notwendigen Genauigkeit verfügbar ist. Da typischerweise genügend Punkte über mehrere Bilder verfolgt werden können, sollte zusätzlich daraus nochmals der Rollwinkel ( φ ) bestimmt werden, um eine stabilere Schätzung zu erhalten, dafür aber mit einer niedrigeren Updaterate . Fig. 2b zeigt eine zweite Variante der Bildverarbeitung (2), die Daten von einer Stereokamera, d.h. zwei Kameraeinheiten (la und lb) erhält. Die Bildverarbeitung (2) ermit ^¬ telt den optischen Fluss (23) und die Disparität (24) aus der Bilderfolge. Hieraus ergeben sich 3D-Koordinatenpaare (25), aus denen durch Koordinatentransformation (26) die Kamerabewegung zumindest näherungsweise berechnet wird. Als Bewegungsgrößen können alle rotatorischen Winkelgeschwindigkeiten ( φ' , θ', ψ' ) aber auch translatorischen Geschwindigkeiten (vx, vy, vz) und/oder Beschleunigungen (ax, ay, az) in Längs-, Quer- und Hochrichtung (d.h. longitudi- nal, lateral und vertikal) an die Überschlagserkennung (3) übergeben werden.

Bei Verwendung einer Stereokamera (la und lb) eröffnen sich weitere Möglichkeiten der Rollwinkelschätzung, z.B.:

• Schätzung der Fahrbahnebene aus den Disparitäten (24); daraus kann durch einfache trigonometrische Funktionen der Rollwinkel ( φ ) berechnet werden, absolut zur Fahrbahn • Vorgehensweise zur Berechnung wie bei der Monokamera (la), aber für linke (la) und rechte (lb) Kamera ge ^¬ trennt. Hierdurch ist eine Plausibilisierung der einzelnen Rollwinkel ( φ ) möglich.

· Berechnung der Kamerabewegung aus 3D Punkten (durch

Disparität (24) gegeben) . Mit Hilfe des optischen Flusses (23) können Punkte im 3D über die Zeit ver ^¬ folgt werden. Im Gegensatz zur Monokamera (la) hat man also 3D Punktkorrespondenzen, mit denen direkt die Ro- tationsmatrix R geschätzt werden kann, ohne das Kenntnis oder Schätzung der Translation notwendig ist.

Falls kein optischer Fluss (23) sondern nur Disparitä ^¬ ten (24) zur Verfügung stehen, kann die Berechnung auch über einen ICP-Algorithmus erfolgen (Iterative- Closest-Point ) .

Eine mögliche Funktionsweise der Überschlagserkennung (3) ist in Fig. 3 gezeigt.

Erste Daten (31) (gestrichelt dargestellt) dienen der Be- rechnung von Rollwinkel ( φ ) und Rollkenngröße (KG) . Die ersten Daten (31) werden einer ersten Vorverarbeitung (33) zugeführt. Anschließend wird eine zumindest näherungsweise Rollwinkelberechnung (35) durchgeführt sowie die Berechnung der Rollkenngröße KG (36) . Beide berechneten Werte ( φ, KG) werden mit einem Schwellwert abgeglichen (37) . Dies kann beispielsweise durch Auftragen in einer Überschlagskarte (Rollovermap) geschehen, wie in Fig. 3 skizziert. Hier ist auf der Abszisse der Rollwinkel ( φ ) und auf der Ordinate die Kenngröße (KG) aufgetragen. Die durchgezogene Linie entspricht dem Schwellwert. Die gepunktete Linie stellt ein Schwanken des Fahrzeugs ohne Überschlag und die gestrichel ^¬ te Linie eine Rollbewegung mit Überschlag schematisch dar. Durch den Abgleich von Rollwinkel ( φ ) und Rollkenngröße (KG) mit dem Schwellwert wird ein drohender Überschlag er- kannt .

Neben den ersten Daten (31) stehen der Überschlagserkennung (3) zweite Daten (32) zur Verfügung, mittels derer ein drohender Überschlag plausibilisiert werden soll. Die zweiten Daten werden einer zweiten Vorverarbeitung (34) zugeführt. Anschließend wird anhand der Daten eine Plausibilitätsbe- stimmung (38) durchgeführt.

Schließlich erfolgt die Fusion der aus ersten und zweiten Daten (31, 32) ermittelten Werte (39) . Dies kann beispiels ^¬ weise einer logischen UND-Verknüpfung entsprechen. Ein Triggersignal (TS) wird an die Schutzvorrichtung (4) ausge ^¬ geben, sofern nach den ersten Daten (31) ein Überschlag erfolgen wird und die Plausibilitätsbestimmung (38) anhand der zweiten Daten (32) dies bestätigt. Durch die Übermitt ^¬ lung eines Signals (TS) wird die Schutzfunktion (4) akti- viert.

Es wird also aus den Bewegungsgrößen ( φ', θ', ψ', vx, vy, vz, ax, ay, az) der Rollwinkel ( φ ) berechnet. Aus der Rollrate ( φ' ) (und evtl. weiteren Größen bzw. Daten) wird außerdem eine Kenngröße (KG) bestimmt, die mit einem variablen Schwellwert (abhängig u.a. vom aktuellen Rollwinkel ( φ ) ) verglichen werden kann. Überschreitet die Kenngröße (KG) den Schwellwert, und ist gleichzeitig eine unabhängige Plausibilisierung (z. B. über Crashsensorik) erfüllt, so wird eine Schutzfunktion (4) aktiviert. Für eine erste Funktionsvariante der Überschlagserkennung (3) liefert eine erfindungsgemäße Bildverarbeitung (2) Rollrate und optional Beschleunigung in y- und z-Richtung als erste Daten (31) zur Erkennung des Überschlags.

Als zweite Daten (32) liefert eine Crashsensorik die late ^¬ rale Beschleunigung ay für eine unabhängige Plausibilisierung .

Dies kann als Sensorreduktion bezeichnet werden, da keine Inertialsensoren für eine Stabilitätsregelung benötigt werden .

Für eine zweite Funktionsvariante der Überschlagserkennung (3) liefert eine erste Inertialsensorik (Fahrdynamiksensorik) die Rollrate und optional die latera ^¬ le und/oder vertikale Beschleunigung (ay; az) als erste Da ^¬ ten (31) zur Erkennung, ob ein Überschlag erfolgen wird oder nicht.

Als zweite Daten (32) gehen die aus der Kamerabewegung er- mittelten Bewegungsgrößen, zumindest die Rollrate sowie zu ^¬ sätzlich auch Lateral- und/oder Vertikalbeschleunigung (ay; az) von der ersten Inertialsensorik

(Fahrdynamiksensorik) und/oder Lateralbeschleunigung (az) von einer zweiten Inertialsensorik (Crashsensorik) zur Plausibilisierung. Hierdurch erhält man einen optimierten Plausibilisierungspfad, durch den die Plausibilisierung z.B. auch in Freiflugphasen geschlossen werden kann.

In einer dritten Funktionsvariante entscheidet der Algo- rithmus auf Basis der ersten Inertialsensorik (Fahrdynamik- sensor) und der aus Kameradaten berechneten Bewegungsgrößen (z.B. Rollrate) als erste Daten (31), ob ein Überschlag er ^¬ folgen wird oder nicht. Hierzu wird aus den ersten Daten (31) der Rollwinkel und die von der Rollrate abhängige Rollkenngröße (KG) berechnet. Überschreitet die Kenngröße KG den Schwellwert und ist gleichzeitig eine unabhängige Plausibilisierung erfüllt, so wird eine Schutzfunktion aktiviert. Die Plausibilisierung basiert auf zweiten Daten, insbesondere Lateral- und Vertikalbeschleunigungen und ei- ner Inertialsensorik (Beschleunigungen), z.B. Fahrdynamiksensor (ay, az) kombiniert mit Crashsensor (ay) .

Der Vorteil dieser dritten Variante liegt in verbesserten Zündzeiten, also einer Steigerung der Leistungsfähigkeit des Verfahrens.

Die zweite und dritte Funktionsvariante können als Sensor ^¬ fusion betrachtet werden, da die aus der Kamera gewonnen Bewegungsgrößen zusammen mit Daten aus einer Inertialsensorik als Eingangsdaten (entweder erste (31) oder zweite (32) Daten) für die Überschlagserkennung (3) eingehen ( Schwellwertabgleich (37) oder Plausibilitätsbe- stimmung (38) ) .

Bezugs zeichen la ( +lb) Monokamera (Stereokamera)

2 Bildverarbeitung

3 Überschlagserkennung

4 Schutzfunktion

5 Inertialsensorik

21 optischer Fluss

22 Structure-from-Motion Verfahren

23 optischer Fluss

24 Disparität

25 3D-Koordinatenpaare

26 Koordinatentransformation

31 erste Daten

32 zweite Daten

33 erste Vorverarbeitung

34 zweite Vorverarbeitung

35 Berechnung Rollwinkel

36 Berechnung Rollrate

37 Schwellwertabgleich

38 Plausibilitätsbestimmung

39 Datenfusion

Φ Rollwinkel

φ' Rollrate

θ' Nickrate

Ψ ^' Gierrate

x, y, z Geschwindigkeit in x-, y- und z-Richtung ax, ay, az Beschleunigung in x-, y- und z-Richtung

KG Rollkenngröße

TS (Trigger-) Signal