Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DETERMINING LUGGAGE FOR A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2020/239448
Kind Code:
A1
Abstract:
The invention relates to a method for determining a piece of luggage transported in a vehicle, in which a camera directed at a luggage compartment of a vehicle captures and provides an image of a piece of luggage arranged in the luggage compartment of the vehicle and a sensor of a chassis of the vehicle captures a value of a physical variable of the chassis that depends on a mass of the piece of luggage and provides a sensor signal with the captured value, to a system for capturing a piece of luggage transported in a vehicle, and to a vehicle.

Inventors:
SCHÖN TORSTEN (DE)
Application Number:
PCT/EP2020/063397
Publication Date:
December 03, 2020
Filing Date:
May 14, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
AUDI AG (DE)
International Classes:
G01G19/08; G01G19/58; G01M1/12
Foreign References:
DE102015003934A12016-09-29
DE19983715T12002-03-07
DE102016207961A12017-11-16
DE102011016641A12012-10-11
DE102015003934A12016-09-29
Download PDF:
Claims:
PATENTANSPRÜCHE:

1. Verfahren zum Bestimmen eines in einem Fahrzeug (10) transportierten Gepäckstücks (41 , 42), bei dem

- eine in einen Kofferraum (20) eines Fahrzeugs (10) gerichtete Kamera

(22) ein Bild (71) von einem in dem Kofferraum (20) des Fahrzeugs (10) angeordneten Gepäckstück (41 , 42) erfasst und bereitstellt;

ein Sensor (31a) eines Fahrwerks (30) des Fahrzeugs (10) einen Wert einer von einer Masse (61 d, 62d) des Gepäckstücks (41 , 42) abhängigen physikalischen Größe des Fahrwerks (30) erfasst und den erfassten Wert als ein Sensorsignal (72) bereitstellt;

ein Steuergerät (73) des Fahrzeugs (10) aus dem bereitgestellten Bild

(71) und aus einem Zeitverlauf (72a) des bereitgestellten Sensorsignals

(72) während einer Fahrt des Fahrzeugs (10) eine Größe (61a, 62a) und eine Masse (61 d, 62d) des Gepäckstücks (41 , 42) ermittelt.

2. Verfahren nach Anspruch 1 , bei dem die Größe (61a, 62a) und die Masse (61 d, 62d) des Gepäckstücks (41 , 42) von einem von dem Steuergerät (73) ausgeführten tiefen neuronalen Netz (73b), welches das bereitgestellte Bild (71 ) und den Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) als Eingabe erhält, ermittelt wird.

3. Verfahren nach Anspruch 1 oder Anspruch 2, bei dem ein von dem Steuergerät (73) ausgeführter Präprozessor (73a) eine Fahrzeit des Fahrzeugs (10) in eine Mehrzahl von Zeitintervallen unterteilt, den

Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte des Sensorsignals (72) in genau einem Zeitintervall charakterisieren, transformiert und eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs (10) charakterisierende Tabelle (72b) bildet.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das tiefe neuronale Netz (73b) während einer Mehrzahl von Fahrten des Fahrzeugs (10) anhand einer Mehrzahl von vorbestimmten Gepäckstücken (41 , 42), welche jeweils eine bekannte Größe (61a, 62a) und eine bekannte Masse (61 d, 62d) aufweisen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum (20) angeordnet werden, mittels eines überwachten Lernens vorab trainiert wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem eine Mehrzahl von Kameras (22) Bilder (71) von einer Mehrzahl von in dem Kofferraum (20) des Fahrzeugs (10) angeordneten Gepäckstücken (41 , 42) erfasst und bereitstellt und das Steuergerät (73) die Größe (61a, 62a) und die Masse (61 d, 62d) jedes Gepäckstücks (41 , 42) ermittelt.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem eine Anzeigeeinheit (52, 54) des Fahrzeugs (10) die Größe (61a, 62a) und die Masse (61 d, 62d) jedes in dem Kofferraum (20) angeordneten Gepäckstücks (41 , 42) anzeigt.

7. Verfahren nach Anspruch 6, bei dem das Steuergerät (73) jedes erfasste Gepäckstück (41 , 42) mit einem geplanten Flug (63a) eines Insassen des Fahrzeugs (10) verknüpft und ausgehend von der ermittelten Größe (61a, 62a) und der ermittelten Masse (61 d, 62d) jedes Gepäckstücks (41 , 42) eine Zulässigkeit des Gepäckstücks (41 , 42) als ein Handgepäck (61 b, 62b) oder ein Aufgabegepäck feststellt und die Zulässigkeit in Form eines Zulässigkeitssymbols (61c, 62c) anzeigt und auf der Anzeigeeinheit (52, 54) einen Buchungsknopf (63b) bereitstellt, falls ein Gepäckstück (41 , 42) für den geplanten Flug (63a) unzulässig ist.

8. System (70) zum Bestimmen eines in einem Fahrzeug (10) transportierten Gepäckstücks (41 , 42), welches eine Kamera (22), welche in einen Kofferraum (20) eines Fahrzeugs (10) gerichtet ist und konfiguriert ist, ein Bild (71) eines in dem Kofferraum (20) angeordneten Gepäckstücks (41 , 42) zu erfassen und bereitzustellen, ein Fahrwerk (30) mit einem Sensor (31a), welcher konfiguriert ist, einen Wert einer von einer Masse (61d, 62d) des Gepäckstücks (41 , 42) abhängigen physikalischen Größe des Fahrwerks (30) zu erfassen und den Wert als ein Sensorsignal (72) bereitzustellen, und ein Steuergerät (73) mit einem tiefen neuronalen Netz (73b), welches konfiguriert ist, aus dem bereitgestellten Bild (71) und einem Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) während einer Fahrt des Fahrzeugs (10) eine Größe (61a, 62a) und eine Masse (61 d, 62d) des Gepäckstücks (41 , 42) zu ermitteln, umfasst. 9. System nach Anspruch 8, welches konfiguriert ist, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.

10. Fahrzeug (10), mit einem System (70) nach einem der Ansprüche 8 oder 9 zum Bestimmen eines in einem Kofferraum (20) des Fahrzeugs (10) transportierten Gepäckstücks (41 , 42).

Description:
Gepäckbestimmung für ein Fahrzeug

BESCHREIBUNG: Die Erfindung betrifft ein Verfahren zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, bei dem eine in einen Kofferraum eines Fahrzeugs gerichtete Kamera ein Bild von einem in dem Kofferraum des Fahrzeugs angeordneten Gepäckstück erfasst und bereitstellt und ein Sensor eines Fahrwerks des Fahrzeugs einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks erfasst und ein Sensorsignal mit dem erfassten Wert bereitstellt. Ferner betrifft die Erfindung ein System zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks und ein Fahrzeug. Fahrzeuge, insbesondere Personenkraftwagen (Pkw), welche in erster Linie dem Befördern von Insassen, d. h. Personen, dienen, sind zumeist aber auch zum Transportieren von Gepäckstücken ausgebildet. Gepäckstücke werden zum Transportieren üblicherweise in einem Heckbereich eines Fahrzeugs angeordnet, welcher je nach Fahrzeugmodell als ein Lade- oder Kofferraum bezeichnet wird. Im Folgenden wird unter einem Kofferraum jeder mit einem Gepäckstück beladbare Heckbereich eines Fahrzeugs verstanden.

In bestimmten Situationen kann von einem Transportieren eines Gepäckstücks in einem Kofferraum eines Fahrzeugs eine Gefahr ausgehen. Zu den potentiell gefährlichen Situationen zählt auch ein Entladen des Fahrzeugs, also ein Entnehmen des Gepäckstücks aus dem Kofferraum. Insbesondere kann eine Verletzungsgefahr bestehen, wenn ein schweres und/oder großes Gepäckstück aus dem Fahrzeug entnommen werden muss. Unter einem schweren Gepäckstück ist ein Gepäckstück mit einem großen Gewicht zu verstehen, wobei eine Proportionalität zwischen dem Gewicht und einer Masse des Gepäckstücks besteht. Unter einem großen Gepäckstück wird ein Gepäckstück mit großen äußeren Abmessungen verstanden, wobei die äußeren Abmessungen ein Volumen, d. h. den Raumbedarf, des Gepäckstücks festlegen. Im Folgenden werden die Begriffe Masse und Größe durchgehend mit diesen Bedeutungen verwendet.

Zum Vermeidung gefährlicher Entladesituationen offenbart DE 10 2016 207 961 A1 ein System und Verfahren für ein Fahrzeug, welches ein Öffnen einer Ladeklappe eines Kofferraums des Fahrzeugs blockiert, wenn eine von einem Sensor des Fahrzeugs erfasste maximale Neigung des Fahrzeugs überschritten ist. Ferner wird eine Position und/oder eine Masse eines in dem Kofferraum des Fahrzeugs angeordneten Objekts sensorisch mittels einer Kamera und/oder eines Gewichtssensors überwacht. Auf diese Weise wird verhindert, dass ein in dem Kofferraum angeordnetes Objekt nach einem Öffnen der Ladeklappe infolge der Neigung selbständig aus dem Kofferraum rutscht.

Weitere Probleme im Zusammenhang mit Gepäckstücken können sich beim Beladen eines Fahrzeugs stellen. Beispielsweise können zu transportierende Gepäckstücke eine Transportkapazität des Fahrzeugs übersteigen.

DE 10 2011 016 641 A1 offenbart ein System und Verfahren zum Unterstützen eines Beladens eines Fahrzeugs. Bei dem Verfahren erfasst eine Kamera eines Mobiltelefons vorab ein Bild eines oder Bilder mehrerer zu transportierender Objekte. Ausgehend von dem erfassten Bild oder den erfassten Bildern prognostiziert ein Steuergerät des Fahrzeugs eine Größe und/oder eine Masse jedes Objekts und vergleicht die prognostizierten Größen und/oder Massen mit einer Transportkapazität des Fahrzeugs, wobei auch eine Stapelbarkeit der Objekte berücksichtigt werden kann. Das Ergebnis des Vergleichs wird von dem Mobiltelefon angezeigt. Das vorstehende Verfahren beruht auf vor einem Beladen prognostizierten Größen. Alternativ dazu kann ein Beladen des Fahrzeugs auch währenddessen überwacht und gesteuert werden.

So offenbart DE 10 2015 003 934 A1 ein System und Verfahren zum Unterstützen eines Beladens eines Fahrzeugs. Bei dem Verfahren erfassen eine Kamera und/oder eine Wiegeeinrichtung des Fahrzeugs eine Größe und/oder eine Masse eines oder mehrerer Objekte in einem Heckbereich eines Fahrzeugs. Eine Anzeigeeinheit im Heckbereich zeigt die erfassten Größen und/oder Massen der Objekte an und kann auch einen Packplan für die Objekte anzeigen. Zudem ermöglicht das System ein Erkennen eines Verrutschens von Objekten während einer Fahrt des Fahrzeugs und Ausgeben einer entsprechenden Warnung.

Die vorstehenden Systeme und Verfahren bieten allerdings keine ausreichende Genauigkeit beim Bestimmen von Gepäckstücken, um weitergehende Funktionen des Fahrzeugs im Zusammenhang mit transportierten Gepäckstücken vorzusehen. Unter einer Bestimmung eines Gepäckstücks im Sinne der Erfindung ist ein Ermitteln einer Größe und/oder einer Masse des Gepäckstücks zu verstehen.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Bestimmen eines in einem Fahrzeug zu transportierenden Gepäckstücks vorzuschlagen, welches eine Größe und/oder eine Masse des in einem Kofferraum des Fahrzeugs angeordneten Gepäckstücks mit hoher Genauigkeit ermittelt. Weitere Aufgaben der Erfindung bestehen darin, ein System zum Bestimmen eines in einem Fahrzeug zu transportierenden Gepäckstücks und ein Fahrzeug bereitzustellen.

Ein Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, bei dem eine in einen Kofferraum eines Fahrzeugs gerichtete Kamera ein Bild von einem in dem Kofferraum des Fahrzeugs angeordneten Gepäckstücks erfasst und bereitstellt und ein Sensor eines Fahrwerks des Fahrzeugs einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks erfasst und den erfassten Wert als ein Sensorsignal bereitstellt. Das Fahrwerk kann als ein Aktivfahrwerk mit einer entsprechenden Sensorik ausgebildet sein. Beispielsweise können Stoßdämpfer des Fahrwerks Sensoren umfassen, welche einen Federweg des jeweiligen Stoßdämpfers messen. Der Federweg ist ein Maß für eine in einer Dämpfungsrichtung auf den Stoßdämpfer einwirkende Kraft. Ein in dem Kofferraum angeordnetes Gepäckstück komprimiert einen oder mehrere Stoßdämpfer des Fahrwerks aufgrund seiner Masse.

Bei dem erfindungsgemäßen Verfahren ermittelt ein Steuergerät des Fahrzeugs aus dem bereitgestellten Bild und aus einem Zeitverlauf des bereitgestellten Sensorsignals während einer Fahrt des Fahrzeugs eine Größe und eine Masse des Gepäckstücks. Kurz gesagt beruht das Verfahren auf einem dynamischen Ermitteln der Masse des Gepäckstücks. Das dynamische Ermitteln erhöht die Genauigkeit der ermittelten Masse, da statische Fehlerquellen, welche beispielsweise infolge einer bestimmten Parksituation des Fahrzeugs auftreten können, ausgeschlossen sind. Dank einer Vielzahl von unterschiedlichen Fahrsituationen des Fahrzeugs während der Fahrt wird ein statistischer Fehler der ermittelten Masse des Gepäckstücks verringert. Das Steuergerät kann als ein dediziertes Steuergerät ausgebildet sein. Alternativ dazu kann ein bereits in dem Fahrzeug vorhandenes Steuergerät verwendet werden.

Bei einer bevorzugten Ausführungsform wird die Größe und die Masse des Gepäckstücks von einem von dem Steuergerät ausgeführten tiefen neuronalen Netz (Deep Neuronal Network, DNN), welches das bereitgestellte Bild und den Zeitverlauf des bereitgestellten Sensorsignals als Eingabe erhält, ermittelt. Mit anderen Worten werden die Größe und die Masse des Gepäckstücks mittels künstlicher Intelligenz (Kl, englisch: Artificial Intelligence, AI) ermittelt. Das neuronale Netz weist eine Vielzahl verborgener Schichten auf, welche ein Verarbeiten von komplexen Eingaben wie Bildinformationen und Zeitverläufen ermöglichen, und kann insbesondere eine YOLO (You Only Look Once)-Architektur zur Echtzeiterfassung von Objekten aufweisen. Während des produktiven Einsatzes des neuronalen Netzes findet ein weiteres Lernen des tiefen neuronalen Netzes nicht statt, d. h. ein Wissensstand des tiefen neuronalen Netzes bleibt während des produktiven Einsatzes konstant.

In manchen Ausführungsformen unterteilt ein von dem Steuergerät ausgeführter Präprozessor eine Fahrzeit des Fahrzeugs in eine Mehrzahl von Zeitintervallen, transformiert den Zeitverlauf des bereitgestellten Sensorsignals durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte des Sensorsignals in genau einem Zeitintervall charakterisieren, und bildet eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs charakterisierende Tabelle. Auf diese Weise lässt sich die große Menge der von dem Sensor während der Fahrt des Fahrzeugs übertragenen Werte verdichten. Ein charakterisierender Wert kann beispielsweise ein Minimalwert, Maximalwert oder Mittelwert des Zeitintervalls oder ein über eine Fourier-Transformation berechnetes Frequenzspektrum des Zeitintervalls sein. Eine Tabelle als zweidimensionale Anordnung der charakterisierenden Werte eignet sich für eine Mustererkennung durch das tiefe neuronale Netz in besonderer Weise.

In einer vorteilhaften Ausführungsform wird das tiefe neuronale Netz während einer Mehrzahl von Fahrten des Fahrzeugs anhand einer Mehrzahl von vorbestimmten Gepäckstücken, welche jeweils eine bekannte Größe und eine bekannte Masse aufweisen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum angeordnet werden, mittels eines überwachten Lernens vorab trainiert. Das tiefe neuronale Netz wird also vor dem produktiven Einsatz mittels eines sogenannten überwachten Lernenvorgangs (supervised learning) solange trainiert, bis eine Fehlerwahrscheinlichkeit beim Erfassen der vorbestimmten Gepäckstücke einen vorbestimmten Wert unterschreitet. Auf diese Weise kann mit einem entsprechend hohen Trainingsaufwand eine nahezu beliebige Genauigkeit der Gepäckstückerfassung erreicht werden. Besonders bevorzugt erfasst eine Mehrzahl von Kameras Bilder von einer Mehrzahl von in dem Kofferraum des Fahrzeugs angeordneten Gepäckstücken und stellt diese bereit und ermittelt das Steuergerät die Größe und die Masse jedes Gepäckstücks. Dank der Mehrzahl von Kameras wird ein wechselseitiges Verdecken mehrerer Gepäckstücke weitgehend ausgeschlossen oder zumindest verringert, so dass eine Gefahr eines Übersehens eines Gepäckstücks oder einer Fehlerfassung eines Gepäckstücks reduziert ist.

Eine Anzeigeeinheit des Fahrzeugs kann die Größe und die Masse jedes in dem Kofferraum angeordneten Gepäckstücks anzeigen. Die Anzeigeeinheit bietet einem Insassen des Fahrzeugs auf diese Weise einen guten Überblick über sämtliche in dem Kofferraum angeordneten Gepäckstücke. Bevorzugt handelt es sich bei der Anzeigeeinheit um eine Mensch-Maschine- Schnittsteile (Human Machine Interface, HMI) eines Infotainmentsystems des Fahrzeugs.

Vorteilhaft verknüpft das Steuergerät jedes erfasste Gepäckstück mit einem geplanten Flug eines Insassen des Fahrzeugs und stellt ausgehend von der ermittelten Größe und der ermittelten Masse jedes Gepäckstücks eine Zulässigkeit des Gepäckstücks als ein Handgepäck oder ein Aufgabegepäck fest und zeigt die Zulässigkeit in Form eines Zulässigkeitssymbols an und stellt auf der Anzeigeeinheit einen Buchungsknopf bereit, falls ein Gepäckstück für den geplanten Flug unzulässig ist. Dies ist ein Beispiel für einen weitergehenden Service im Zusammenhang mit Gepäckstücken, welcher dank der hohen Genauigkeit der Gepäckstückerfassung ermöglicht ist. Es versteht sich, dass der Buchungsknopf in üblicher Weise zu einem Buchungsportal einer Fluggesellschaft führt, auf welchem beispielsweise noch während der Fahrt ein zusätzliches Handgepäck und/oder Aufgabegepäck gebucht werden kann. Alternativ dazu kann der Insasse aufgrund der Anzeige ein als unzulässig festgestelltes Gepäckstück durch Umpacken oder Auspacken zulässig machen. Gegenstand der Erfindung ist auch ein System zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, welches eine Kamera, welche in einen Kofferraum eines Fahrzeugs gerichtet ist und konfiguriert ist, ein Bild eines in dem Kofferraum angeordneten Gepäckstücks zu erfassen und bereitzustellen, und ein Fahrwerk mit einem Sensor, welcher konfiguriert ist, einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks zu erfassen und den Wert als ein Sensorsignal bereitzustellen, umfasst. Die Erfindung eignet sich demnach für jedes Fahrzeug mit einem Aktivfahrwerk und zumindest einer in dem Kofferraum angeordneten und in diesen gerichteten Kamera. Entsprechend lässt sich das erfindungsgemäße System einfach in einer Vielzahl von Fahrzeugen montieren.

Erfindungsgemäß umfasst das System ein Steuergerät mit einem tiefen neuronalen Netz, welches konfiguriert ist, aus dem bereitgestellten Bild und einem Zeitverlauf des bereitgestellten Sensorsignals während einer Fahrt des Fahrzeugs eine Größe und eine Masse des Gepäckstücks zu ermitteln. Das tiefe neuronale Netz ermöglicht eine dynamische Erfassung der transportierten Gepäckstücke mit einer hohen Genauigkeit, welche auch weitergehende Services im Zusammenhang mit in dem Fahrzeug transportierten Gepäckstücken erlaubt.

Besonders bevorzugt ist das System konfiguriert, ein erfindungsgemäßes Verfahren auszuführen.

Ein weiterer Gegenstand der Erfindung ist ein Fahrzeug, mit einem erfindungsgemäßen System zum Bestimmen eines in einem Kofferraum des Fahrzeugs transportierten Gepäckstücks. Das Fahrzeug weist einen hinsichtlich in dem Kofferraum transportierter Gepäckstücke erweiterten Funktionsumfang auf, was mit einer größeren Zufriedenheit der Insassen des Fahrzeugs einhergeht.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht in einer hohen Genauigkeit, mit der eine Größe und/oder Masse eines in einem Kofferraum eines Fahrzeugs transportierten Gepäckstücks ermittelt wird. Die hohe Genauigkeit ermöglicht einen erweiterten Funktionsumfang mit weitergehenden Services im Zusammenhang mit transportierten Gepäckstücken.

Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird unter Bezugnahme auf die Zeichnungen weiter beschrieben. Es zeigt:

Figur 1 in einer schematischen Darstellung eine perspektivische teilweise

Hintenansicht eines Fahrzeugs nach einer Ausführungsform der Erfindung;

Figur 2 in einem Blockschaltbild ein Steuergerät eines Systems nach einer

Ausführungsform der Erfindung zum Bestimmen eines Gepäckstücks in einem Kofferraum des in Figur 1 gezeigten Fahrzeugs;

Figur 3 in einer schematischen Darstellung eine teilweise Draufsicht auf ein

Armaturenbrett des in Figur 1 gezeigten Fahrzeugs;

Figur 4 in einer schematischen Darstellung eine vergrößerte Detailansicht einer Anzeigeeinheit des in Figur 3 gezeigten Armaturenbretts.

Die Figuren werden übergreifend beschrieben, gleichen Komponenten sind gleiche Bezugszeichen zugeordnet.

Figur 1 zeigt in einer schematischen Darstellung eine perspektivische teilweise Hintenansicht eines Fahrzeugs 10 nach einer Ausführungsform der Erfindung. Das Fahrzeug 10 umfasst einen mit einem Kofferraumdeckel 21 verschließbaren Kofferraum und ein System 70 (s. auch Figur 2) zum Bestimmen zweier in einem Kofferraum 20 des Fahrzeugs 10 transportierter Gepäckstücke 41 , 42, hier eines Koffers bzw. einer Handtasche. Selbstverständlich erlaubt das System 70 auch das Bestimmen genau eines Gepäckstücks oder von mehr als zwei Gepäckstücken in dem Kofferraum 20. Zu dem Fahrzeug 10 gehört auch ein hier nicht sichtbares Armaturenbrett 50 (s. Figur 3).

Das System 70 umfasst drei Kameras 22, welche in dem Kofferraum 20 angeordnet und in den Kofferraum 20 gerichtet sind. Die Kameras 22 sind konfiguriert, Bilder 71 (siehe Figur 2) der in dem Kofferraum 20 angeordneten Gepäckstücke 41 , 42 zu erfassen und bereitzustellen. Selbstverständlich kann bei Bedarf eine nicht gezeigte Beleuchtungseinrichtung zum Beleuchten der Gepäckstücke 41 , 42 in dem Kofferraum 20 vorgesehen sein.

Ferner umfasst das System 70 ein als Aktivfahrwerk ausgebildetes Fahrwerk 30 mit einer Mehrzahl von Stoßdämpfern 31 und einer entsprechenden Mehrzahl von jeweils einem Stoßdämpfer 31 zugeordneten Rädern 32. Jeder Stoßdämpfer 31 umfasst einen Sensor 31a, welcher konfiguriert ist, einen Wert einer von einer Masse 61 d, 62d (siehe Figur 4) des Gepäckstücks 41 , 42 abhängigen physikalischen Größe des Fahrwerks 30 zu erfassen und den Wert als ein Sensorsignal 72 bereitzustellen.

Die Erfindung ist allerdings nicht auf drei Kameras und Stoßdämpfersensoren beschränkt, sondern lässt sich ohne Weiteres auch mit einer abweichenden Anzahl von Kameras oder anderen Sensoren des Fahrwerks 30 ausführen. Zu dem System 70 gehört auch ein hier nicht sichtbares Steuergerät 73 (s. Figur 2).

Figur 2 zeigt in einem Blockschaltbild das Steuergerät 73 des Systems 70 zum Bestimmen eines Gepäckstücks 41 , 42 in dem Kofferraum 20 des in Figur 1 gezeigten Fahrzeugs 10. Das Steuergerät 73 umfasst ein tiefes neuronales Netz (DNN) 73b, welches eine YOLO-Architektur aufweisen kann und konfiguriert ist, aus den bereitgestellten Bildern 71 und Zeitverläufen 72a der bereitgestellten Sensorsignale 72 während einer Fahrt des Fahrzeugs 10 Größen 61a, 62a und Massen 61 d, 62d der Gepäckstücke 41 , 42 zu ermitteln. Ferner umfasst das Steuergerät 73 eine Präprozessor 73a, welcher konfiguriert ist, eine Fahrzeit des Fahrzeugs 10 in eine Mehrzahl von Zeitintervallen zu unterteilen, die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 durch Berechnen einer Mehrzahl von Werten zu transformieren, welche jeweils die Werte der Sensorsignale 72 in genau einem Zeitintervall charakterisieren und aus den charakterisierenden Werten eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs 10 charakterisierende Tabelle 72b zu bilden.

Figur 3 zeigt in einer schematischen Darstellung eine teilweise Draufsicht auf das Armaturenbrett 50 des in Figur 1 gezeigten Fahrzeugs 10. Das Armaturenbrett 50 umfasst in der üblichen Weise ein Lenkrad 51 , eine hinter dem Lenkrad 51 angeordnete und für einen Fahrer des Fahrzeugs 10 durch das Lenkrad 51 hindurch sichtbare Instrumentenanzeigeeinheit 52, eine Mittelkonsole 53 und eine in einem oberen Bereich der Mittelkonsole 53 angeordnete und als Mensch-Maschine-Schnittsteile (Human Machine Interface, HMI) ausgebildete Anzeigeeinheit 54 eines Infotainmentsystems des Fahrzeugs 10. Diese Ausgestaltung des Armaturenbrettes 50 dient lediglich als Beispiel und schränkt die Erfindung in keiner Weise ein, d. h. die Erfindung ist ohne Weiteres mit abweichenden Ausgestaltungen des Armaturenbretts 50 kombinierbar, welche eine Anzeigeeinheit umfassen.

Das System 70 ist konfiguriert, das folgende Verfahren auszuführen.

Zum Bestimmen der in dem Fahrzeug 10 transportierten Gepäckstücke 41 , 42 erfassen die drei in den Kofferraum 20 des Fahrzeugs 10 gerichteten Kameras 22 Bilder 71 von den in dem Kofferraum 20 des Fahrzeugs 10 angeordneten Gepäckstücken 41 , 42 und stellen diese bereit. Ferner erfassen die Sensoren 31a des Fahrwerks 30 des Fahrzeugs 10 Werte einer von den Massen 61 d, 62d der Gepäckstücke 41 , 42 abhängigen physikalischen Größe des Fahrwerks 30, beispielsweise eines Federwegs jedes Stoßdämpfers 31 , und stellen die erfassten Werte als Sensorsignale 72 bereit. Das Bereitstellen der Bilder 71 und der Sensorsignale 72 kann in einer üblichen Weise über einen Fahrzeugbus (CAN) erfolgen. Das Steuergerät 73 des Fahrzeugs 10 ermittelt aus dem bereitgestellten Bild 71 und aus den Zeitverläufen 72a der bereitgestellten Sensorsignale 72 während einer Fahrt des Fahrzeugs 10 eine Größe 61a, 62a und eine Masse 61 d, 62d jedes Gepäckstücks 41 , 42. Dazu führt das Steuergerät 73 das tiefe neuronale Netz 73b aus, welches die bereitgestellten Bilder 71 und - nach einer Vorverarbeitung - die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 als Eingabe erhält.

Vor einem Auswerten der Zeitverläufe 72a durch das tiefe neuronale Netz 73 unterteilt ein ebenfalls von dem Steuergerät 73 ausgeführter Präprozessor 73a im Rahmen einer Vorverarbeitung eine Fahrzeit des Fahrzeugs 10 in eine Mehrzahl von Zeitintervallen und transformiert die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte der Sensorsignale 72 in genau einem Zeitintervall charakterisieren. Dann bildet der Präprozessor 73a aus den charakterisierenden Werten eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs 10 charakterisierende Tabelle 72b, welche als Eingabe für das tiefe neuronale Netz 73b dient.

Vor einem ersten produktiven Einsatz des Systems 70 wird das tiefe neuronale Netz 73b während einer Mehrzahl von Fahrten des Fahrzeugs 10 anhand einer Mehrzahl von vorbestimmten Gepäckstücken 41 , 42 mittels eines überwachten Lernens in bekannter Weise trainiert. Die zum Trainieren verwendeten vorbestimmten Gepäckstücke 41 , 42 weisen jeweils eine bekannte Größe 61a, 62a und eine bekannte Masse 61 d, 62d auf und werden jeweils in unterschiedlichen Kombinationen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum 20 angeordnet. Es wird angemerkt, dass der Wissensstand des tiefen neuronalen Netzes 73b nach einem Abschluss des überwachten Lernens konstant bleibt. Während des produktiven Einsatzes des Systems 70 lernt das System 70 nicht weiter.

Eine oder jede der Anzeigeeinheiten 52, 54 des Fahrzeugs 10 zeigt die ermittelte Größe 61a, 62a und die ermittelte Masse 61 d, 62d jedes in dem Kofferraum 20 angeordneten Gepäckstücks 41 , 42 an. Figur 4 zeigt in einer schematischen Darstellung eine vergrößerte Detailansicht einer Anzeigeeinheit 52, 54 des in Figur 3 gezeigten Armaturenbretts 50. Das Steuergerät 73 verknüpft hier beispielhaft jedes erfasste Gepäckstück 41 , 42 mit einem geplanten Flug 63a eines Insassen des Fahrzeugs 10. Die Anzeigeeinheit 52, 54 zeigt entsprechend einen Anzeigeinhalt 60 an, welcher jeweils einen Gepäckstückeintrag 61 , 62 für jedes Gepäckstück 41 , 42 in dem Kofferraum 20 sowie einen zu dem geplanten Flug 63a passenden Flugeintrag 63 umfasst.

Jeder Gepäckstückeintrag weist die ermittelte Größe 61a, 62a, eine gebuchte Aufgabeart 61b, 62b, ein Zulässigkeitssymbol 61c, 62c und die ermittelte Masse 61 d, 62d des jeweiligen Gepäckstücks 41 , 42 auf. Der Flugeintrag 63 weist eine geplante Flugnummer 63a und einen Buchungsknopf 63b auf, welcher von dem Steuergerät 73 bereitgestellt wird, falls ein Gepäckstück 41 , 42 für den geplanten Flug unzulässig ist.

Ausgehend von der ermittelten Größe 61a, 62a und der ermittelten Masse 61 d, 62d jedes Gepäckstücks 41 , 42 stellt das Steuergerät 73 eine Zulässigkeit jedes Gepäckstücks 41 , 42 als ein Handgepäck 61b, 62b oder ein Aufgabegepäck fest und zeigt die Zulässigkeit in Form eines Zulässigkeitssymbols 61c, 62c an. In dem gezeigten Beispiel ist das Gepäckstück 41 in Form eines Koffers nicht als Handgepäck zugelassen, weshalb der Flugeintrag 63 den Buchungsknopf 63b aufweist. Durch Betätigen des Buchungsknopfs 63b gelangt ein Insasse des Fahrzeugs 10 zu einem Buchungsportal der entsprechenden Fluggesellschaft, wo er während der Fahrt des Fahrzeugs 10 eine Umbuchung durchführen kann. Alternativ kann der Insasse das unzulässige Gepäckstück 41 auspacken oder umpacken, um seine Zulässigkeit als Handgepäck herzustellen.

Die hier gezeigte Verknüpfung mit einem geplanten Flug zeigt lediglich beispielhaft einen weitergehenden Service, welcher von dem erfindungsgemäßen System 70 ermöglicht wird. Selbstverständlich eignet sich das System 70 auch für andersartige weitergehende Services, welche ein Bestimmen transportierter Gepäckstücke 41 , 42 mit einer hohen Genauigkeit voraussetzen.

BEZUGSZEICHENLISTE:

10 Fahrzeug

20 Kofferraum

21 Kofferraumdeckel

22 Kamera

30 Fahrwerk

31 Stoßdämpfer

31a Sensor

32 Rad

41 Gepäckstück

42 Gepäckstück

50 Armaturenbrett

51 Lenkrad

52 Instrumentenanzeigeeinheit

53 Mittelkonsole

54 Infotainmentanzeigeeinheit

60 Anzeigeinhalt

61 Gepäckstückeintrag

61a Gepäckgröße

61 b Art der Gepäckaufgabe 61c Zulässigkeitssymbol

61 d Gepäckmasse

62 Gepäckstückeintrag

62a Gepäckgröße

62b Art der Gepäckaufgabe 62c Zulässigkeitssymbol 62d Gepäckmasse

63 Flugeintrag

63a Flugnummer

63b Buchungsknopf

70 System

71 Bild

72 Sensorsignal 72a Zeitverlauf

72b Tabelle

73 Steuergerät

73a Präprozessor

73b Tiefes neuronales Netz

74 Ausgabe