Titel:

Verfahren zum Ermitteln eines Betriebswinkels zwischen einer

Zugmaschine und einem Anhänger der Zugmaschine

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Betriebs winkels zwischen einer Zugmaschine und einem Anhänger bzw. Auflieger der Zugmaschine. Die Erfindung betrifft ferner eine Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugma schine. Weiterhin betrifft die Erfindung ein Computerprogrammprodukt mit Programmcodemitteln zum Ausführen des Verfahrens.

Stand der Technik

Um eine Trajektorie eines Lastkraftwagens inklusive eines oder mehrerer Anhänger bzw. Auflieger zu beschreiben, ist ein Bewegungsmodell für LKW- Züge mit einem oder mehreren Anhängern bzw. Aufliegern erforderlich. Dies wird herkömmlich durch eine Schätzung des Winkels zwischen der Zugmaschine und dem Anhänger angenähert und auf Basis eines mathematischen Modells geschätzt. Durch diese Schätzung entstehen allerdings Unsicherheiten, die zu einem Fehler im Bewegungsmodell führen können.

Offenbarung der Erfindung

Eine Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Ermitteln eines Winkels zwischen einem Zugfahrzeug und einem Anhänger des

Zugfahrzeugs bereitzustellen.

Gemäß einem ersten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem

Anhänger der Zugmaschine, mit den Schritten:

zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera; Erkennen von Strukturen des Anhängers in den Kamerabildern; und Ermitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern.

Nachdem der Betriebswinkel stark in das Eigenbewegungsmodell des Fahr zeugs, z.B. des Lastkraftwagens eingeht, ist eine korrekte Ermittlung des Betriebswinkels von hoher Bedeutung. Bei einer Falschermittlung des Betriebs winkels können sich Unsicherheiten des Betriebswinkels durch Fehlerquadrate nachteilig noch weiter erhöhen. Im Ergebnis ist durch die vorgeschlagene Ermit tlung des Betriebswinkels eine verbesserte Erstellung des aktuellen Eigenbe wegungsmodells des Fahrzeugs unterstützt.

Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhän ger der Zugmaschine, aufweisend:

eine Erfassungseinrichtung zum Erfassen wenigstens zweier zeitlich nacheinander ermittelten Kamerabilder mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera; und eine funktional mit der Erfassungseinrichtung verbundene Ermittlungs einrichtung zum Ermitteln des Betriebswinkels durch Auswerten von erfassten Strukturen in den Kamerabildern.

Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computer programmprodukt mit Programmcodemitteln, welche auf einem vorgeschlagenen System ausgeführt werden oder auf einem computerlesbaren Speichermedium gespeichert sind. Vorteilhaft kann auf diese Weise das Verfahren als Software ausgebildet werden und dadurch auf einfache und effiziente Weise abgeändert und adaptiert werden.

Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) aus den Kamerabildern Flussvektoren eines optischen Flusses gebildet werden, wobei in zeitlich aufeinanderfolgenden Kamerabildern ähnliche Strukturen ermittelt werden. Dabei werden übereinstimmende Elemente in Kamerabildern ermittelt, aus denen der Betriebswinkel ermittelt wird. Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für den optischen Fluss eine Abbildung einer Hinterkante des Anhängers erfasst wird. Vorteilhaft ist dies mit sogenannten„Kantenalgorithmen“ auf einfache Weise möglich. Alternativ können über den optischen Fluss auch andere übereinstim mende Strukturen in Kamerabildern, wie z.B. Flächen des Anhängers ermittelt werden.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Disparität von Bildelementen der Kamerabilder ermittelt wird. Bei dieser Variante wird eine Kamera in Form einer Stereokamera eingesetzt, für die ein Basisab stand der beiden Linsen bekannt ist. Systembedingt ergibt sich dadurch eine leichte Verschiebung der beiden mit den unterschiedlichen Linsen aufgenom menen Kamerabilder, wobei über eine Triangulation ein Abstand zum bildlich erfassten Objekt gemessen wird. Auf diese Weise kann durch eine Ermittlung eines veränderten Abstands auf den Betriebswinkel geschlossen werden.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Bilddatensegmentation der Kamerabilder durchgeführt wird, wobei über eine Zählung von Bildpixel eine Größe und/oder Länge des Anhängers ermittelt wird. Auf diese Weise wird vorteilhaft eine alternative Methode zum Erkennen von Strukturen in den Kamerabildern bereitgestellt.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Erkennen von Strukturen des Anhängers in den Kamerabildern eine Klassifi kation der erkannten Strukturen und/oder ein neuronales Netzwerk trainiert wird. Auch auf diese Weise wird eine alternative Methode zum Erkennen von Struktu ren in den Kamerabildern bereitgestellt.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass beim Er mitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern eine Mittelwertberechnung durchgeführt wird. Auf diese Weise wird eine Art Konfidenz-Schätzung realisiert, wobei die Genauigkeit des ermit telten Betriebswinkels umso höher ist, je mehr der vorgeschlagenen Methoden zur Erkennung der Strukturen in den Kamerabildern verwendet werden. Sinn vollerweise werden wenigstens zwei unterschiedliche Methoden zur Ermittlung der Strukturen verwendet.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für die Ermittlung des Betriebswinkels wenigstens einer der folgenden Parameter des Fahrzeugs verwendet wird: Anhängerlänge, Anhängerhöhe, Höhe der Ladefläche des Anhängers, Geschwindigkeit der Zugmaschine, Gierrate der Zugmaschine. Auf diese Weise kann durch eine Berücksichtigung weiterer Parameter des Fahrzeugs der Betriebswinkel noch genauer ermittelt werden.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wenigstens einer der folgenden Betriebswinkel ermittelt wird: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel. Vorteilhaft lassen sich mit vorgeschlagenen Verfahrens mit unterschiedliche Arten von Betriebswinkel zwischen Zugmaschine und Anhänger ermitteln, die alle jeweils unterschiedliche Betriebszustände bzw. geometrische Ausrichtungen von Zugmaschine und Anhänger repräsentieren.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei in Schritt b) die Kamerabilder mittels einer oder mittels zweier Kameras aufgenom men werden. Vorteilhaft kann unter Verwendung zweier Kameras die Ermittlung des Betriebswinkels noch genauer durchgeführt werden.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei der ermittelte Betriebswinkel zum Erstellen eines Eigenbewegungsmodells des Last kraftfahrzeugs verwendet wird. Das Eigenbewegungsmodell stellt eine wichtige Eingangsgröße für diverse Fahrerassistenzsysteme dar und profitiert somit von der genauen Ermittlung des Betriebswinkels. Im Ergebnis ist dadurch in Abhän gigkeit des ermittelten Betriebswinkels eine verbesserte Betriebscharakteristik der Fahrerassistenzsysteme unterstützt.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt. Die Figuren sind dabei nicht unbedingt maßstabsgetreu ausgeführt.

Kurze Beschreibung der Figuren In den begleitenden Figuren zeigt:

Fig. 1 eine prinzipielle Draufsicht auf einen Lastkraftwagen mit einer Zug

maschine und einem Anhänger;

Fig. 2 ein Systemdiagramm mit einer Darstellung eines vorgeschlagenen

Verfahrens zum Erfassen eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger des Lastkraftwagens;

Fig. 3 ein prinzipielles Blockschaltbild einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens; und

Fig. 4 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum

Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens.

Ausführungsformen der Erfindung

Herkömmlich ist an Anhängern bzw. Aufliegern von Lastkraftwagen kaum Sensorik zur Erfassung von Eigenbewegungen der Anhänger angebracht. Da eine Zugmaschine im täglichen Normalbetrieb mit vielen verschiedenen

Anhängern bzw. Aufliegern fährt, ist ein Nachrüsten mit der genannten Sensorik aufwendig und insbesondere ökonomisch nicht sinnvoll. Auch in der Zugma schine selbst lässt sich mit der bestehenden Sensorik (z.B. Sensorik für ESP) eine Fahrdynamik des Anhängers bzw. Aufliegers nicht erfassen.

Vorgeschlagen wird ein Einsatz wenigstens einer, vorzugsweise zweier oder mehrerer rückwärts gerichteten Kameras an der Zugmaschine, wodurch das rückwärtige Umfeld der Zugmaschine inklusive Anhänger bildlich bzw. mit zeitlich nacheinander abfolgenden Bildsequenzen („Videobild“) erfasst wird. Je nach Betriebswinkel zwischen der Zugmaschine und dem Anhänger bzw. dem Auf lieger bzw. der Anhängerkombination, befindet sich ein Teil des Anhängers bzw. des Aufliegers bzw. der Anhängerkombination im Kamerabild, wodurch es möglich wird, den Knickwinkel (d.h. den Winkel zwischen der Zugmaschine und dem Anhänger) anhand der Pixelzahl zu ermitteln. Mittels des derart ermittelten Knickwinkels kann ein Eigenbewegungsmodell des Fahrzeugs, z.B. des Last kraftwagens vorteilhaft deutlich genauer ermittelt werden.

Zudem kann durch eine Erfassung der Verschiebung der Hinterkante des Anhängers auch ein anderer Betriebswinkel in Form eines Rollwinkels abge schätzt werden, wodurch ein Schlingern des Anhängers frühzeitig erkannt und geeignete Gegenmaßnahmen (z.B. assistenzgesteuerte Brems- und/oder Lenk manöver) eingeleitet werden können. Auch dieser wird zur Modellierung der Eigenbewegung des Fahrzeugs benötigt.

Vorteilhaft kann mit dem vorgeschlagenen Verfahren wenigstens einer der folgenden Betriebswinkel a ermittelt werden: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel.

Weiterhin ist es mit dem vorgeschlagenen Verfahren vorteilhaft auch möglich, durch Detektion der Verschiebung von Objekten im Bild die Winkelraten (d.h. zeitliche Änderungen der genannten unterschiedlichen Betriebswinkel) der Eigenbewegung des Anhängers bzw. Aufliegers zu schätzen.

Im Ergebnis ist dadurch die Möglichkeit bereitgestellt, durch den Einsatz einer rückwärts gerichteten Kamera eine Messung des Knick- und Wankwinkels durchzuführen, der bei Abbiege-, Rangier-, und Manövriervorgängen, bei Spurwechseln, Aus- und Einschervorgängen als auch bei möglichen Schlinger oder Kippgefahren eine Rolle spielt, um die Eigenbewegung des gesamten Fahrzeugs zu prädizieren.

Fig. 1 zeigt eine prinzipielle Draufsicht auf ein Fahrzeug 100 mit einer Zug maschine 10 und einem mit der Zugmaschine 10 verbundenen Anhänger 20. Das Fahrzeug 100 kann z.B. als ein Lastkraftfahrzeug oder als ein anderes Fahrzeug mit Anhänger (z.B. Personenkraftfahrzeug mit einem Campingan hänger, usw.) ausgebildet sein. Man erkennt, dass an beiden Seiten der Zug maschine 10 jeweils eine rückwärtsgerichtete Kamera 11 , 12 angebracht ist. Die Kameras 11 , 12 können beispielsweise im Umfeld der Rückspiegel (nicht darge stellt) oder auch im vorderen oder hinteren Teil der Zugmaschine 10 angeordnet sein, wodurch die Kameras 11 , 12 im Betrieb des Fahrzeugs 100 immer einen Schwenkbereich des Anhängers 20 im Blickfeld haben. Ist der Anhänger 20 aufgrund einer Kurvenfahrt des Fahrzeugs 100 in einer Kamera 11 , 12 nicht sichtbar, wird dazu entsprechend die jeweils andere Kamera 11 , 12 verwendet. Die Kamera 11 , 12 detektiert dabei insbesondere eine Hinterkante 21 , 22 des Anhängers 20 als 2D-Koordinaten im Einzelbild basierend auf weiter unten näher angegebenen Möglichkeiten.

Mittels einer Parametrierung von technischen Anhängerdaten (z.B. Länge, Höhe des Laderaums, Höhe des Laderaums über dem Boden, usw.) wird die Position der Hinterkante 21 , 22 in einem Fahrzeugkoordinatensystem berechnet. Die Länge und Höhe des Laderaums kann auch mittels bestehender Methoden der Oberflächenschätzung von selbst bestimmt werden.

Um eine Robustheit der Positionsschätzung der Hinterkante 21 , 22 zu verbes sern und Fehlererkennungen auf ähnlichen Strukturen (z.B. Laternenpfahl, Ver kehrsschild, oder dergleichen) zu vermeiden, kann optional ein Filter (z.B. Ex- tended-Kalman-Filter oder dergleichen) verwendet werden. Dieser prädiziert anhand der Fahrzeugdynamik und vorangegangener Messungen, wie sich der Anhänger 20 bewegt und verwendet dies für die Messung des Betriebswinkels a.

Die gefilterten Messungen von linker und rechter Kamera 11 , 12 werden in einem zentralen Steuergerät 13 oder in einer der Kameras 11 , 12 kombiniert. Knick- und Wankwinkel werden verwendet, um die Trajektorie des Anhängers 20 zu be stimmen. Darauf basierend kann die gesamte Trajektorie des gesamten Fahr zeugs 100, unter anderem z.B. auch die Schleppkurve modelliert werden. Dies kann zur lateralen Steuerung des Fahrzeugs 100 im Rahmen von bestehenden Systemen verwendet werden, wie zum Beispiel Spurhalteassistenten oder im Bereich des automatisierten Fahrens.

Die oben genannte bildliche Detektion der Hinterkanten 21 , 22 des Anhängers kann auf unterschiedliche Weisen realisiert werden, die nachfolgend näher erläutert werden.

(i) Erste Möglichkeit: optischer Fluss

Dabei wird aus zeitlich aufeinanderfolgenden Kamerabildern (Bildsequenzen oder Videobildern) der Kameras 11 , 12 mittels gängiger Verfahren ein optischer Fluss bzw. ein Flussvektor aus den Kamerabildern ermittelt. Da sich der Anhän ger 20 im Gegensatz zur Umgebung während der Fahrt kaum bewegt, separiert das Flussfeld des optischen Flusses den Anhänger 20 von der Umgebung, wo durch die Hinterkante 21 , 22 des Anhängers bildlich erkannt werden kann.

(ii) Zweite Möglichkeit: Disparitätsschätzung

Durch die Verwendung einer als Stereokamera ausgebildeten Kamera 11 , 12 kann für jeden Pixel mittels einer Disparitätsschätzung eine Tiefeninformation ermittelt werden. Dadurch kann mittels Triangulation die Fläche des Anhängers 20 oder andere Strukturen des Anhängers 20 vom Hintergrund separiert werden.

(iii) Dritte Möglichkeit: Bilddatensegmentation

Im Falle, dass das mittels der Kamera 11 , 12 ermittelte Bild selbst verwendet wird, kann unter Verwendung von Klassifikationen oder eines neuronalen Netzwerks die Hinterkante 21 , 22 bzw. eine Fläche des Anhängers 20 durch die Detektion der Hinterkante 21 , 22 bestimmt werden. Dies ist möglich, da die An hängerfläche sich als eine homogene Fläche von der restlichen Umgebung separieren lässt. Da sich die Anhängerfläche in einem vorhersagbaren Raum befindet, ist es möglich, dies ressourcenschonend zu ermitteln.

Alle drei genannten Varianten verwenden verschiedene Grundannahmen zur Kantenerkennung, weshalb sie einzeln oder auch kombiniert eingesetzt werden können, um dadurch die Robustheit der bildlichen Erkennung der Hinterkante 21 , 22 zu steigern. Bei einer Anhängerkombination (nicht in Figuren dargestellt) kön nen auch mehrere Hinterkanten detektiert werden.

Vorteilhaft kann das Erkennen von Strukturen in den Kamerabildsequenzen, insbesondere von Kanten mittels eines Extended Kalman Filters durchgeführt werden.

Bei Dämmerung oder Nacht kann zudem anstatt der Detektion der Hinterkante 21 , 22 auf eine Erkennung von Anhänger- bzw. Trailerlichtern (nicht dargestellt) des Anhängers 20 abgestellt werden, um die Umrisse des Anhängers 20 und die Hinterkante 21 , 22 bildlich zu detektieren. Fig. 2 zeigt ein prinzipielles Systembild des vorgeschlagenen Verfahrens zum Ermitteln eines Betriebswinkels a zwischen Anhänger 20 und Zugmaschine 10 eines Fahrzeugs 100.

In einem Schritt 200 wird ein Video- bzw. ein Kamerabild bzw. eine Kamerabild sequenz mittels wenigstens einer, auf der Zugmaschine 10 rückwärtsgerichtet angeordneten Kamera 11 , 12 ermittelt. In einem Schritt 210 wird die Kantener kennung auf eine oder auch mehrere der oben erläuterten Art und Weisen durch geführt. In einem Schritt 220 wird ein mathematischer Algorithmus durchgeführt, der den Betriebswinkel a zwischen der Zugmaschine 10 und dem Anhänger 20 ermittelt. Optional kann zur Ermittlung des Betriebswinkels a noch in Schritt 230 eine Anhängerhöhe, Anhängerlänge, Höhe der Ladefläche des Anhängers 20, usw. als zusätzliche Parameter verwendet werden. Optional kann in einem Schritt 240 ferner auch eine Eigenbewegung des Fahrzeugs 100, z.B. eine Geschwindigkeit, Gierrate, usw. für die Berechnung des Betriebswinkels a verwendet werden.

Der Betriebswinkel a wird als Ergebnis von Schritt 220 einer lateralen Steuerung des Fahrzeugs 100 zugeführt, die zu einer lateralen Steuerung des Fahrzeugs 100 verwendet wird. Dabei wird der Betriebswinkel a vorzugsweise für die Ermit tlung eines Eigenbewegungsmodells des Fahrzeugs 100 verwendet.

Fig. 3 zeigt ein stark vereinfachtes Blockschaltbild einer Vorrichtung 400 zum Ermitteln eines Winkels a zwischen Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10. Man erkennt eine Erfassungseinrichtung 310 zum Erfassen eines rückwärtigen Umfelds der Zugmaschine 10 mittels wenigstens einer rück wärts gerichteten Kamera 11 , 12. Funktional mit der Erfassungseinrichtung 310 verbunden ist eine Ermittlungseinrichtung 320, die den Betriebswinkel a auf eine und/oder mehrere der oben genannten Art und Weisen ermittelt.

Die Ermittlungseinrichtung 320 ist vorzugsweise als ein Computerprogramm produkt ausgebildet, das auf einem Steuergerät 13 der Zugmaschine 10 abläuft. Optional kann das Steuergerät aber auch dezentral und getrennt vom Fahrzeug 100 cloudbasiert ausgebildet sein, wobei die Ermittlung des Betriebswinkels a mittels des dezentralen Steuergeräts durchgeführt wird und die Übertragung des Betriebswinkels a auf das Fahrzeug 100 mittels einer hochleistungsfähigen drahtlosen Funkverbindung (nicht dargestellt) realisiert wird. Fig. 4 zeigt einen prinzipiellen Ablauf eines Verfahrens Verfahren zum Ermitteln eines Betriebswinkels a zwischen einer Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10. In einem Schritt 500 wird ein zeitlich nacheinander durchgeführtes Ermitteln von

Kamerabildern mittels wenigstens einer an der Zugmaschine 10 angeordneten, nach rückwärts gerichteten Kamera 11 , 12 durchgeführt.

In einem Schritt 510 wird ein Erkennen von Strukturen des Anhängers 20 in den Kamerabildern durchgeführt.

In einem Schritt 520 wird ein Ermitteln des Betriebswinkels a durch Auswerten der erfassten Strukturen in den Kamerabildern durchgeführt. Der Fachmann wird bei der Umsetzung der Erfindung auch vorgehend nicht erläuterte Ausführungsformen realisieren.