09.03.2023

Verfahren zum Betrieb eines Fahrzeugs

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs.

Aus dem Stand der Technik ist es allgemein bekannt, in einem Fahrzeug mindestens eine Kamera einzusetzen und zum Betrieb des Fahrzeugs zu verwenden.

Zudem ist aus dem Stand der Technik, wie in https://de.wikipedia.org/wiki/Bildstabilisierung (abgerufen am 28.03.2022) beschrieben, eine Bildstabilisierung bekannt. Als Bildstabilisierung bezeichnet man in der Fototechnik Verfahren zur Vermeidung von Verwacklungsunschärfe.

Aus der Druckschrift Z. Shi, F. Shi, W. -S. Lai, C. -K. Liang and Y. Liang, "Deep Online Fused Video Stabilization," 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 865-873, ist eine Bildstabilisierung bekannt, die auf einer durch Kl (Künstliche Intelligenz) unterstützten Bildverarbeitung beruht.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines Fahrzeugs mit den Merkmalen des Anspruchs 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Für ein Verfahren zum Betrieb eines Fahrzeugs ist erfindungsgemäß vorgesehen, dass das Fahrzeug mindestens eine Kamera mit einer, insbesondere optischen, insbesondere optomechanischen, Bildstabilisierung aufweist. Die Kamera ist beispielsweise eine Monokamera oder Stereokamera. Die Bildstabilisierung erkennt mittels mindestens eines Beschleunigungssensors Schwankungen der Kamera und leitet basierend hierauf bildstabilisierende Maßnahmen ein. Insbesondere kompensiert die Bildstabilisierung Bewegungsunschärfen, die durch die erkannten Schwankungen bedingt sind, durch Verschieben eines Sensorchips und/oder einer Linse der Kamera. Der Sensorchip der Kamera ist ein Bildsensor, d. h. er dient der Bilderfassung. Es ist somit insbesondere vorgesehen, dass die Kamera einen, insbesondere optischen, insbesondere optomechanischen, Bildstabilisator mit mindestens einem solchen Beschleunigungssensor und mindestens einer Einrichtung zum Verschieben des Sensorchips und/oder der Linse aufweist. Beispielsweise können auch mehrere Beschleunigungssensoren vorgesehen sein, zum Beispiel drei Beschleunigungssensoren, wobei jeder dieser drei Beschleunigungssensoren Schwankungen oder Anteile der Schwankungen der Kamera in Richtung jeweils einer der Achsen eines dreidimensionalen Koordinatensystems erkennt. Denkbar ist auch eine 4D-Transformation von Signalen der Beschleunigungssensoren als sogenanntes Quanternion.

Es ist insbesondere vorgesehen, dass diese Kamera zum Betrieb des Fahrzeugs verwendet wird, insbesondere zur Durchführung eines Fährbetriebs des Fahrzeugs, insbesondere zur Durchführung eines automatisierten, insbesondere teilautomatisierten, hochautomatisierten oder autonomen, Fährbetriebs des Fahrzeugs. Die Kamera wird dabei insbesondere zu einer Umgebungserfassung einer äußeren Umgebung des Fahrzeugs verwendet, insbesondere um Objekte in der Umgebung zu detektieren.

Erfindungsgemäß werden akustische Signale detektiert, die zu dem mindestens einen Beschleunigungssensor eingekoppelt werden. Ein detektiertes akustisches Signal wird als akustisches Störsignal identifiziert, wenn es einen Spektralanteil aufweist, dessen Frequenz einer Eigenfrequenz des mindestens einen Beschleunigungssensors oder einer harmonischen dieser Eigenfrequenz entspricht oder in einem vorgegebenen Bereich um diese Eigenfrequenz oder der harmonischen dieser Eigenfrequenz des mindestens einen Beschleunigungssensors liegt und wenn dieser Spektralanteil vorzugsweise eine Amplitude aufweist, die einen vorgegebenen Amplitudengrenzwert übersteigt. Als harmonische der Eigenfrequenz wird dabei eine Frequenz bezeichnet, die ein ganzzahliges Vielfache der Eigenfrequenz ist. Im vorgegebenen Bereich um die Eigenfrequenz bzw. um die harmonische der Eigenfrequenz bedeutet insbesondere, dass eine Abweichung der Frequenz des akustischen Störsignals von der Eigenfrequenz bzw. von der harmonischen der Eigenfrequenz innerhalb eines vorgegebenen Abweichungsgrenzwertes liegt. Der vorgegebene Bereich bzw. der vorgegebene Abweichungsgrenzwert und der Amplitudengrenzwert werden vorteilhafterweise im Rahmen von Testmessungen ermittelt, bei denen ermittelt wird, bis zu welchen Frequenzen und Amplituden des detektierten akustischen Signals es zu einer merkbaren Störung der Bildstabilisierung kommt. Der vorgegebene Abweichungsgrenzwert der Abweichung von der Eigenfrequenz kann beispielsweise in der Größenordnung von etwa 10 kHz liegen. Insbesondere beträgt er 4 kHz. Bei Detektion eines akustischen Störsignals, d. h. eines als Störsignal identifizierten akustischen Signals, wird auf eine Fehlfunktion der Bildstabilisierung geschlossen.

Das erfindungsgemäße Verfahren ermöglicht somit eine Erkennung von Fehlfunktionen der mit der Bildstabilisierung ausgestatteten Kamera des Fahrzeugs. Die Fehlfunktion kann beispielweise auf einem aktiven akustischen Angriff auf das Fahrzeug beruhen, wodurch der Betrieb des Fahrzeugs gestört werden kann. Daraus können beispielsweise Gefahren für das Fahrzeug, insbesondere für dessen Insassen, und für andere Verkehrsteilnehmer resultieren. Die erfindungsgemäße Lösung ermöglicht eine aktive Erkennung und beispielsweise auch eine Unterbindung eines solchen akustischen Angriffs. Beispielsweise kann zumindest ein Teil eines Angriffsvektors des Störsignals mitigiert werden. Dadurch kann beispielsweise ein sicherer automatisierter, insbesondere autonomer, Fährbetrieb des Fahrzeugs sichergestellt werden.

In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, eine Warnung an einen Nutzer des Fahrzeugs ausgegeben. Dadurch ist der Nutzer gewarnt und kann beispielsweise eigenständig entsprechende Schutzmaßnahmen einleiten, wenn erforderlich, beispielsweise den automatisierten Fährbetrieb des Fahrzeugs überwachen und, wenn erforderlich, eingreifen und die Fahrzeugführung selbst übernehmen.

In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, ein Einfluss des identifizierten akustischen Störsignals auf den mindestens einen Beschleunigungssensor ermittelt und dieser Einfluss in einem Sensorsignal des mindestens einen Beschleunigungssensors kompensiert. Dadurch können negative Auswirkungen des akustischen Störsignals auf die Bildstabilisierung vermieden oder zumindest reduziert werden. In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, wenn der Einfluss des akustischen Störsignals auf den mindestens einen Beschleunigungssensor außerhalb eines vorgegebenen Toleranzbereichs liegt, das Fahrzeug in einen sicheren Zustand überführt und/oder die Bildstabilisierung deaktiviert. Dadurch kann, insbesondere im automatisierten Fährbetrieb, eine Gefahr für das Fahrzeug und dessen Insassen sowie für andere Verkehrsteilnehmer ausgeschlossen oder zumindest minimiert werden. Der Toleranzbereich gibt somit insbesondere an, welcher Störeinfluss des Störsignals beim automatisierten Fährbetrieb noch toleriert wird.

In einer möglichen Ausführungsform des Verfahrens ist beispielsweise vorgesehen, dass zur Überführung des Fahrzeugs in den sicheren Zustand die Fahrzeugführung des Fahrzeugs an den Nutzer des Fahrzeugs übergeben wird und/oder eine Geschwindigkeit des Fahrzeugs reduziert wird und/oder das Fahrzeug an einen Fahrbahnrand gesteuert wird und/oder das Fahrzeug angehalten wird und/oder eine Warnblinkanlage des Fahrzeugs aktiviert wird. Durch diese Maßnahmen wird die Gefahr für das Fahrzeug und dessen Insassen sowie für andere Verkehrsteilnehmer minimiert.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass die akustischen Signale mittels eines Mikrofons einer Freisprechanlage und/oder einer Sprachsteuerung des Fahrzeugs und/oder mittels eines für einen anderen Verwendungszweck bereits im Fahrzeug eingebauten Mikrofons detektiert werden. Bei dieser Ausführungsform ist zur Durchführung des Verfahrens kein Verbau eines zusätzlichen Mikrofons im Fahrzeug erforderlich, wodurch entsprechende Kosten und ein entsprechender Montageaufwand eingespart werden. Alternativ kann vorgesehen sein, dass die akustischen Signale mittels eines Mikrofons detektiert werden, welches ausschließlich für diesen Zweck im Fahrzeug eingebaut ist. Eine Position des für das Verfahren verwendeten Mikrofons ist insbesondere möglichst nah an einem Einprägungsort des akustischen Störsignals, d. h. möglichst nah an einer Einbauposition der Kamera, beispielsweise in einem oberen Bereich einer Windschutzscheibe des Fahrzeugs. Wenn bereits verbaute Mikrofone zu weit von dieser Position entfernt sind, wird vorteilhafterweise das nur für dieses Verfahren vorgesehene Mikrofon dort verbaut. Das für das Verfahren verwendete Mikrofon ist insbesondere in einem Innenraum, insbesondere in einem Fahrgastinnenraum, des Fahrzeugs angeordnet.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass eine Kommunikationsverbindung zu einer fahrzeugexternen Einrichtung aufgebaut wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde oder wenn das Fahrzeug in einen sicheren Zustand überführt wird. Dies kann beispielsweise durch die so genannte eCall-Funktion oder auf andere Weise erfolgen und beispielsweise eine Sprach- und/oder Datenübertragungsverbindung sein. Die fahrzeugexterne Einrichtung kann beispielsweise mit menschlichem Personal besetz sein und/oder ein Sicherheitsereignismanagementsystem sein. Auf diese Weise kann zum Beispiel eine Klärung der jeweils vorliegenden Situation erfolgen und/oder es können dem Nutzer des Fahrzeugs beispielsweise Hinweise zur vorliegenden Situation und/oder zur weiteren Vorgehensweise gegeben werden.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass aktuelle Umgebungsdaten einer äußeren Umgebung des Fahrzeugs und insbesondere auch eine Position des Fahrzeugs während des Auftretens des akustischen Störsignals protokolliert und, insbesondere persistent, gespeichert werden, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde. Für die Speicherung werden dabei vorteilhafterweise sogenannte Security-ICs verwendet, die die gespeicherten Daten gegen unberechtigte Manipulationen schützen.

Die Umgebungsdaten werden insbesondere mittels mindestens eines Umgebungserfassungssensors oder mehrerer Umgebungserfassungssensoren des Fahrzeugs erfasst, insbesondere bevor und/oder während und/oder nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde. Dadurch wird eine spätere Auswertung ermöglicht, insbesondere um die aufgetretene Situation nachvollziehen zu können. Beispielsweise besteht dadurch die Möglichkeit, festzustellen, ob es sich um einen gezielten aktiven Angriff oder um ein zufällig auftretendes Störsignal gehandelt hat. Falls das Störsignal dauerhaft an der Position, in der das Fahrzeug davon betroffen war, auftritt, können beispielsweise bereits vorbeugend Vorsichtsmaßnahmen bei der Durchführung des automatisierten Fährbetriebs für das Fahrzeug und beispielsweise auch für andere Fahrzeuge getroffen werden und/oder es kann die Quelle des Störsignals ermittelt werden, so dass versucht werden kann, das Störsignal abzuschalten oder abzuschirmen.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen: Fig. 1 schematisch eine Einwirkung eines akustischen Störsignals auf eine Kamera eines Fahrzeugs,

Fig. 2 schematisch einen Ansatz zum Erkennen und Kompensieren eines auf mindestens einen Beschleunigungssensor einer Kamera einwirkenden akustischen Störsignals,

Fig. 3 schematisch eine Detection eines akustischen Signals mittels eines Mikrofons einer Freisprechanlage,

Fig. 4 schematisch eine Detection eines akustischen Signals mittels eines weiteren Mikrofons,

Fig. 5 schematisch ein Beispiel einer Ermittlung eines akustischen Modells,

Fig. 6 schematisch ein weiteres Beispiel der Ermittlung des akustischen Modells, und

Fig. 7 schematisch eine Ausgabe einer Warnung bei einer Fehlfunktion einer Bildstabilisierung der Kamera.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Im Folgenden wird anhand der Figuren 1 bis 7 ein Verfahren zum Betrieb eines Fahrzeugs beschrieben, für welches das Fahrzeug mindestens eine Kamera 1 mit einer, insbesondere optischen, insbesondere optomechanischen, Bildstabilisierung 6 aufweist. In einer denkbaren Weiterbildung des Verfahrens wird diese Bildstabilisierung 6 mit einer Bildstabilisierung kombiniert, die, wie eingangs erwähnt, auf einer durch Kl unterstützten Bildverarbeitung beruht.

Die Kamera 1 ist beispielsweise eine Monokamera oder Stereokamera. Die Bildstabilisierung 6 erkennt mittels mindestens eines Beschleunigungssensors 2 oder mehrerer Beschleunigungssensoren 2 Schwankungen SA der Kamera 1 und kompensiert die erkannten Schwankungen SA durch Verschieben eines Sensorchips 3 und/oder einer Linse der Kamera 1. Beispielsweise sind drei Beschleunigungssensoren 2 vorgesehen, wobei jeder dieser drei Beschleunigungssensoren 2 Schwankungen SA oder Anteile der Schwankungen SA der Kamera 1 in Richtung jeweils einer der Achsen eines dreidimensionalen Koordinatensystems erkennt.

Es ist insbesondere vorgesehen, dass diese Kamera 1 zum Betrieb des Fahrzeugs verwendet wird, insbesondere zur Durchführung eines Fährbetriebs des Fahrzeugs, insbesondere zur Durchführung eines automatisierten, insbesondere teilautomatisierten, hochautomatisierten oder autonomen, Fährbetriebs des Fahrzeugs. Die Kamera 1 wird dabei insbesondere zu einer Umgebungserfassung einer äußeren Umgebung des Fahrzeugs verwendet, insbesondere um Objekte O in der Umgebung zu detektieren.

Problematisch bei derartigen Bildstabilisierungen 6 ist, dass es aufgrund eines auf den jeweiligen Beschleunigungssensor 2 einwirkenden akustischen Störsignals SS zu einer Fehlfunktion des jeweiligen Beschleunigungssensors 2 und somit zu einer Fehlfunktion der Bildstabilisierung 6 kommen kann, insbesondere dann, wenn eine Frequenz des akustischen Störsignals SS im Bereich einer Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt. Figur 1 zeigt schematisch eine Einwirkung eines solchen akustischen Störsignals SS auf den Beschleunigungssensor 2 der Kamera 1. Der Beschleunigungssensor 2 ist im dargestellten Beispiel zusammen mit dem Sensorchip 3 für die Bilderfassung der Kamera 1 , auf einer Leiterplatte 4 in einem Gehäuse der Kamera 1 angeordnet. Licht L fällt beispielsweise über ein Objektiv der Kamera 1 auf den Sensorchip 3 ein. Des Weiteren wirkt das akustische Störsignal SS auf die Kamera 1 ein, wodurch Vibrationen V erzeugt werden, die vom Beschleunigungssensor 2 erfasst werden.

Das akustische Störsignal SS kann beispielsweise ein zufällig auftretendes akustisches Signal S oder ein akustisches Störsignal SS eines gezielten Angriffs sein. Ein solcher Angriff wird auch als Poltergeistangriff bezeichnet. Aus einer Anregung des jeweiligen Beschleunigungssensors 2 mittels des akustischen Störsignals SS kann beispielsweise eine Nichtdetektion, eine Fehldetektion oder eine Fehlklassifizierung von Objekten O in der Umgebung des Fahrzeugs resultieren.

Die im Folgenden beschriebene Lösung ermöglicht insbesondere eine aktive Erkennung und Unterbindung der Folgen solcher akustischen Störsignale SS. Beispielsweise wird es dadurch ermöglicht, zumindest einen Teil eines Vektors des akustischen Störsignals SS zu mitigieren und damit ein sichereres Betreiben des Fahrzeuges im automatisierten Fährbetrieb sicherzustellen. Dies kann insbesondere durch ein Fusionieren der Beschleunigungssensoren 2 und des mittels eines Mikrofons 5 erfassten akustischen Störsignals SS erreicht werden, um etwaige Störungseinprägungen in den jeweiligen Beschleunigungssensor 2 zu kompensieren.

Die Grundlage des durch das akustische Störsignal SS verursachten Problems stellt das Anregen der Beschleunigungssensoren 2 dar, durch welche eigentlich die Stabilisierung einer Bilderfassung mittels der Kamera 1 erreicht werden soll und dadurch eine Objekterkennung OE und insbesondere auch eine Objektklassifizierung ermöglicht werden soll. Um die Störung der Beschleunigungssensoren 2 durch ein akustisches Störsignal SS zumindest zu erkennen und vorteilhafterweise auch zu mitigieren, ist erforderlich, dass das akustische Störsignal SS erkannt wird. Wenn ein akustisches Störsignal SS erkannt wird, ist insbesondere vorgesehen, dass Störfrequenzen in einem Sensorsignal des jeweiligen Beschleunigungssensors 2 entfernt oder zumindest reduziert werden.

In dem hier beschriebenen Verfahren ist vorgesehen, dass akustische Signale S detektiert werden, die zu dem mindestens einen oder jeweiligen Beschleunigungssensor 2 eingekoppelt werden. Ein detektiertes akustisches Signal S wird als akustisches Störsignal SS identifiziert, wenn seine Frequenz einer Eigenfrequenz des mindestens einen oder jeweiligen Beschleunigungssensors 2 entspricht oder im Bereich der Eigenfrequenz des mindestens einen oder jeweiligen Beschleunigungssensors 2 liegt. Bei Detektion des akustischen Störsignals SS, d. h. eines als Störsignal SS identifizierten akustischen Signals S, wird auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen.

Figur 2 zeigt die beschriebene Vorgehensweise schematisch anhand eines Ausführungsbeispiels. Dargestellt ist die Kamera 1 mit dem Sensorchip 3, den Beschleunigungssensoren 2 und der Bildstabilisierung 6. Im dargestellten Beispiel wird mittels des Sensorchips 3 der Kamera 1 eine Ampel als Objekt O in der Umgebung des Fahrzeugs erfasst. Aufgrund von Schwankungen SA der Kamera 1 wirken auf den Sensorchip 3 Bewegungen ein, die zu einer Verschlechterung einer Bildqualität mittels des Sensorchips 3 erfasster Bilder führen, d. h. die Bilder sind insbesondere verwackelt, wie anhand eines verwackelten Bildes VB der erfassten Ampel dargestellt. Mittels der Beschleunigungssensoren 2 werden die Schwankungen SA der Kamera 1 erkannt und die erkannten Schwankungen SA werden durch Verschieben des Sensorchips 3 und/oder einer Linse der Kamera 1 kompensiert, so dass die Erfassung qualitativ hochwertiger, insbesondere unverwackelter, Bilder UB mittels des Sensorchips 3 ermöglicht wird. Diese qualitativ hochwertigen, insbesondere unverwackelten, Bilder UB werden im dargestellten Beispiel der Objekterkennung OE und Objektklassifizierung zugeführt, so dass als Ergebnis E das Objekt O in der Umgebung des Fahrzeugs als Ampel erkannt wird.

Im dargestellten Beispiel wirkt zudem ein akustisches Signal S auf die Kamera 1 ein, welches in die Beschleunigungssensoren 2 eingekoppelt wird. Dieses akustische Signal S wird detektiert und im dargestellten Beispiel in ein akustisches Modell M, auch als Acoustic Model bezeichnet, und in eine Schwellwerterkennung SE, auch als Threshold Detection bezeichnet, geleitet. Das akustische Modell M berechnet eine durch das akustische Signal S verursachte Beschleunigung, welche vom jeweiligen Beschleunigungssensor 2 erfasst wird und diesen somit stört. Diese Beschleunigung wird dann in der Bildstabilisierung 6, auch als Image Stabilization bezeichnet, kompensiert. Es wird somit ein Einfluss des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 ermittelt und dieser Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 kompensiert. Dadurch können negative Auswirkungen des akustischen Signals S auf die Bildstabilisierung 6 vermieden oder zumindest reduziert werden, insbesondere wenn das akustische Signal S ein die Bildstabilisierung 6 tatschlich beeinträchtigendes akustischen Störsignal SS ist. Auf diese Weise kann der Effekt des akustischen Signals S, insbesondere Störsignals SS, zumindest verringert werden.

Wie im dargestellten Beispiel gezeigt, wird dadurch trotz der Einwirkung des akustischen Signals S, insbesondere Störsignals SS, die Erfassung qualitativ hochwertiger, insbesondere unverwackelter, Bilder UB des hier als Ampel ausgebildeten erfassten Objekts O mittels des Sensorchips 3 der Kamera 1 ermöglicht. Dadurch kann weiterhin die Objekterkennung OE und Objektklassifikation durchgeführt und das Objekt O korrekt, im dargestellten Beispiel als Ampel, identifiziert werden. Im dargestellten Beispiel erfolgt diese Ermittlung des Einflusses des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 und die Kompensation dieses Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 unabhängig davon, ob das detektierte akustische Signal S als akustisches Störsignal SS identifiziert wird oder nicht. Dadurch können auch geringere Einwirkungen auf die Beschleunigungssensoren 2, welche durch akustische Signale S verursacht werden, die nicht als akustisches Störsignal SS identifiziert werden, kompensiert werden.

Mittels der Schwellwerterkennung SE wird geprüft, ob das detektierte akustische Signal S einen Spektralanteil aufweist, dessen Frequenz in der Nähe der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 oder in der Nähe einer harmonischen dieser Eigenfrequenz liegt und dessen Amplitude einen vorgegebenen Amplitudengrenzwert übersteigt. Eine Frequenz liegt dabei dann in der Nähe der Eigenfrequenz bzw. in der Nähe einer harmonischen der Eigenfrequenz, wenn sie in einem vorgegebenen Bereich um die Eigenfrequenz bzw. um die harmonische der Eigenfrequenz liegt. Die Frequenz liegt dabei insbesondere dann in der Nähe der Eigenfrequenz bzw. in der Nähe einer harmonischen der Eigenfrequenz, wenn ihre Abweichung von der Eigenfrequenz bzw. der harmonischen der Eigenfrequenz geringer ist als ein vorgegebener Abweichungsgrenzwert. Mit anderen Worten: Es wird mittels der Schwellwerterkennung SE geprüft, ob die Frequenz des detektierten akustischen Signals S in der Nähe der Eigenfrequenz oder einer harmonischen der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt und ob die zu dieser Frequenz zugehörige Amplitude des detektierten akustischen Signals S den Amplitudengrenzwert übersteigt. Ist dies der Fall, wird das detektierte akustische Signal S als akustisches Störsignal SS identifiziert und es wird auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen. In diesem Fall wird eine Warnung W an einen Nutzer des Fahrzeugs ausgegeben.

Wie beschrieben, wird im dargestellten Beispiel der Einfluss des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 ermittelt und dieser Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 kompensiert. In anderen Ausführungsformen kann vorgesehen sein, dass dies erst dann erfolgt, nachdem auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wurde, d. h. bei Detektion des akustischen Störsignals SS, also erst nachdem das detektierte akustische Signal S als Störsignal SS identifiziert wurde.

Für das Detektieren des akustischen Signals S kann beispielsweise, wie oben bereits erwähnt, ein Mikrofon 5 verwendet werden, wie in den Figuren 3 und 4 gezeigt. Im Beispiel gemäß Figur 3 ist vorgesehen, dass das Mikrofon 5, welches hierfür verwendet wird, ein Mikrofon MF einer Freisprechanlage 7 des Fahrzeugs ist. Hierbei wird das Mikrofon 5, MF über einen Tiefpass TP für die Freisprechanlage 7 und über einen Hochpass HP für das hier beschriebene Verfahren verwendet, d. h. für das Detektieren des akustischen Signals S für das akustische Modell M und die Schwellwerterkennung SE. Das Mikrofon 5, MF ist hier somit ein Dual-Use-Mikrofon, wobei akustische Signale S in tieffrequente Anteile und hochfrequente Anteile aufgeteilt werden. Die akustischen Signale S werden somit mittels des Tiefpasses TP in einen für das menschliche Gehör geeigneten Bereich aufgeteilt, welcher dann beispielsweise für die Freisprechanlage 7 verwendet werden kann, und mittels des Hochpasses HP in den für die Störung der Beschleunigungssensoren 2 relevanten Bereich aufgeteilt und für das hier beschriebene Verfahren verwendet, insbesondere für die Bildstabilisierung 6 mittels des akustischen Modells M während der Einwirkung des akustischen Störsignals SS auf die Beschleunigungssensoren 2 und als Detektionsmechanismus zur Identifizierung des akustischen Störsignals SS und Auslösen der Warnung W mittels der Schwellwerterkennung SE.

Figur 4 zeigt eine alternative Ausführungsform, bei der zwei Mikrofone 5, MF, insbesondere mit örtlicher Trennung, für diese beiden Zwecke, d. h. für die Freisprechanlage 7 und für das hier beschriebene Verfahren, vorgesehen sind. Hier ist somit ein Mikrofon MF für die Freisprechanlage 7 vorgesehen und ein zusätzliches Mikrofon 5 ist für das hier beschriebene Verfahren, d. h. für das Detektieren des akustischen Signals S für das akustische Modell M und die Schwellwerterkennung SE, vorgesehen.

Die Position des Mikrofons 5 für das hier beschriebene Verfahren, d. h. zur Detektion des akustischen Signals S, insbesondere des Störsignals SS, ist vorteilhafterweise möglichst nah an einem Einprägungsort angeordnet, d. h. möglichst nah an der Kamera 1, insbesondere an deren jeweiligem Beschleunigungssensor 2, somit beispielsweise in einem oberen Bereich einer Windschutzscheibe in einem Innenraum, insbesondere Fahrgastinnenraum, des Fahrzeugs, falls die beispielsweise als Monokamera oder Stereokamera ausgebildete Kamera 1 dort angeordnet ist. Falls dies mittels des für die Freisprechanlage 7 bereits im Fahrzeug verbauten Mikrofons MF nicht möglich ist, ist die Ausführungsform gemäß Figur 4 mit dem zusätzlichen Mikrofon 5 besonders vorteilhaft.

Wie oben bereits erwähnt, wird das detektierte akustische Signal S insbesondere dann als akustisches Störsignal SS identifiziert, wenn seine Frequenz in der Nähe der Eigenfrequenz oder einer harmonischen der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt und wenn die zu dieser Frequenz zugehörige Amplitude oberhalb des Amplitudengrenzwerts liegt, denn dann ist die störende Auswirkung auf den jeweiligen Beschleunigungssensor 2 besonders groß.

Es entstehen dann charakteristische Schwingungen um die X-Achse, Y -Achse und/oder Z-Achse des dreidimensionalen Koordinatensystems in der Nähe der Eigenfrequenz. Die mittels der Beschleunigungssensoren 2 gemessene Beschleunigung Xcß(t), YGß(t), Zcß(t) lässt sich dekomponieren in eine real vorliegende Beschleunigung XRß(t), YRß(t), ZRß(t) und eine durch das akustische Störsignal SS akustisch verursachte Beschleunigung XAß(t), YAß(t), ZAß(t), jeweils über die Zeit t: X _GB (t)= X _RB (t) + X _AB (t) (1)

Y _GB (t)= Y _RB (t) + Y _AB (t)

Z _GB (t)= Z _RB (t) + Z _AB (t)

Die akustisch verursachte Beschleunigung und die gemessene Beschleunigung sind dabei immer durch die durch das akustische Störsignal SS eingeprägte Frequenz gekoppelt.

Durch Beschreibung der akustischen Beeinflussung der Beschleunigung mittels des akustischen Modells M mit einem jeweiligen Frequenzanteil f _x , f _y , f _z für die jeweilige Achse ist dann eine Kompensation oder Korrektur der Beschleunigung möglich, so dass der Anteil der akustischen Beschleunigung an der gemessenen Beschleunigung zumindest reduziert oder aufgehoben wird:

X _GB (t)= X _RB (t) + X _AB (t) - f _x (t) (2)

Y _GB (t)= Y _RB (t) + Y _AB (t) - f _y (t) Z _GB (t)= Z _RB (t) + Z _AB (t) - f _z (t)

Dabei gilt im Idealfall, d. h. um den Anteil der akustischen Beschleunigung an der gemessenen Beschleunigung aufzuheben:

X _AB (t) - f _x (t)=O (3)

Y _AB (t) - f _y (t)=O

Z _AB (t) - f _z (t)=O

Das akustische Modell M kann im einfachsten Fall als Kennlinie hinterlegt werden. Zur Ermittlung dieser Kennlinie werden, wie in Figur 5 gezeigt, akustische Anregungen, d. h. Signale S, mit unterschiedlichen Frequenzen auf die Kamera 1 , insbesondere auf deren Beschleunigungssensoren 2, gegeben und die Auswirkungen auf die Beschleunigungssensoren 2 aufgezeichnet. Als akustisches Signal S kann beispielsweise ein akustischer Sweep, d. h. ein periodisches Signal mit steigender Frequenz, oder eine Einzelfrequenzanregung oder ein akustischer Impuls genutzt werden. Andere Anregungsformen, beispielsweise Mehrfrequenzanregung, Rechteck, Dreieck, Sägezahn oder andere, sind auch möglich.

Durch einfache Subtraktion von Initialwerten IW, d. h. von Beschleunigungen, welche die Beschleunigungssensoren 2 ohne Schwankungen SA der Kamera 1 messen, von den gemessenen Beschleunigungen, die hier ausschließlich von dem akustischen Signal S verursacht werden, lässt sich dann die ausgelöste Störung der Beschleunigungssensoren 2 für jede einzelne Frequenz, verzeichnet in einer auch als Umsetzungstabelle bezeichneten Lookup-Tabelle 8, beschreiben und das akustische Modell M lässt sich als Übertragungsfunktion f _x (t), f _y (t), f _z (t) darstellen.

Alternativ ist es auch möglich, während der akustischen Anregung durch das akustische Signal S mittels der Kamera 1 eine Kameramessung KM mit Verwendung eines Referenzbildes RB, beispielsweise aus der ISO-16505, durchzuführen und eine Abweichung vom Referenzbild RB zu nutzen, um die Beziehung zwischen Referenzbild RB, aktuell gemessenem Bild und der Beschleunigung darzustellen, wie in Figur 6 gezeigt.

Auch hier erfolgt die akustische Anregung der Kamera 1 mittels des akustischen Signals S, wobei hier nicht Beschleunigungen mittels der Beschleunigungssensoren 2 gemessen werden, sondern die Auswirkung der akustischen Anregung durch das akustische Signal S auf das mittels der Kamera 1 erfasste Bild, d. h. dessen Abweichung vom Referenzbild RB aufgrund der akustischen Anregung durch das akustische Signal S und der dadurch gestörten Bildstabilisierung 6. Auch dies erfolgt wieder mittels der Lookup-Tabelle 8 für jede einzelne Frequenz. Auch hier lässt sich dann das akustische Modell M als Übertragungsfunktion f _x (t), f _y (t), f _z (t) darstellen.

Sollten bei einem akustischen Störsignal SS die Werte des akustischen Modells M, d. h. die Frequenzanteile f _x , f _y , f _z für die Achsen, die zur Kompensation des akustischen Störsignals SS erforderlich sind, eine vorgegebene Grenze überschreiten, so kann von einer Fehlfunktion der Bildstabilisierung 6, beispielsweise durch einen akustischen Angriff, ausgegangen werden. Wenn dies durch die Schwellwerterkennung SE festgestellt wird, ist es sinnvoll, eine Warnung W auszugeben, wie in Figur 7 gezeigt. Die Warnung W kann beispielsweise akustisch und/oder optisch erfolgen und kann beispielsweise auch protokolliert werden. Die vorgegebene Grenze ist insbesondere der Bereich der Eigenfrequenz des jeweiligen Beschleunigungssensors 2. Wie oben bereits beschrieben, wird somit ein detektiertes akustisches Signal S als akustisches Störsignal SS identifiziert, wenn seine Frequenz der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 entspricht oder in deren Bereich liegt, wobei bei Detektion eines akustischen Störsignals SS auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wird und dann die Warnung W an den Nutzer des Fahrzeugs ausgegeben wird. Sollten bei einem akustischen Störsignal SS die Werte des akustischen Modells M, die zur Kompensation des akustischen Störsignals SS erforderlich sind, außerhalb eines tolerierbaren Bereichs sein, ist es sinnvoll, das Fahrzeug in einen sicheren Zustand zu überführen und vorteilhafterweise auch die Bildstabilisierung 6 zu deaktivieren. D. h. nachdem auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wurde und wenn der Einfluss des akustischen Störsignals SS auf den jeweiligen Beschleunigungssensor 2 außerhalb eines vorgegebenen Toleranzbereichs liegt, wird das Fahrzeug in einen sicheren Zustand überführt und/oder die Bildstabilisierung 6 deaktiviert.

Zur Beurteilung, was jeweils zum Erreichen dieses sicheren Zustands erforderlich ist, kann beispielsweise eine situationsbedingte Abwägung erfolgen. Beispielsweise kann vorgesehen sein, dass die Fahrzeugführung des Fahrzeugs an den Nutzer des Fahrzeugs übergeben wird und/oder eine Geschwindigkeit des Fahrzeugs reduziert wird und/oder das Fahrzeug an einen Fahrbahnrand gesteuert wird und/oder das Fahrzeug angehalten wird und/oder eine Warnblinkanlage des Fahrzeugs aktiviert wird.

Um eine schnelle Klärung der Situation zu erhalten, kann beispielsweise vorgesehen sein, einen eCall abzusetzen und/oder ein Security-Incident Management System zu benachrichtigen. Es wird dann eine Kommunikationsverbindung zu einer fahrzeugexternen Einrichtung aufgebaut, beispielsweise die erwähnte eCall-Funktion oder auf andere Weise. Die fahrzeugexterne Einrichtung kann beispielsweise mit menschlichem Personal besetz sein und/oder ein Sicherheitsereignismanagementsystem sein, d. h. das erwähnte Security-Incident Management System.

Zusätzlich können auch aktuelle Umgebungsdaten, d. h. insbesondere Daten von Umgebungserfassungssensoren und Positionsdaten, protokolliert und persistent gespeichert werden, um eine spätere Auswertung zu ermöglichen.