Beschreibung

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren, ein Computerprogramm, eine Vorrichtung und ein Fahrzeug zur Verbesserung einer Performance eines Bilderkennungssystems, insbesondere aber nicht ausschließlich auf ein Konzept zur Aktivierung einer RGB-Funktion eines Bilderkennungssystems nach Erhalt einer Information einer Verwendung eines Datenträgers durch einen Nutzer.

Bestehende Kamerasysteme nutzen entweder Infrarot- oder RGB -Kamerasysteme zur Erkennung von Personen oder Objekten, z. B. Datenträgern, beispielsweise in einem Fahrzeug. Bestimmte Objekte oder Bildinhalte können hierbei teilweise nur mit dem Infrarot-Kamerasystem oder mit dem RGB -Kamerasystem erkannt werden. Beispielsweise wird das Infrarot-Kamerasystem im Fahrzeug eingesetzt, um auch bei schlechter Beleuchtung, z. B. in der Nacht, Personen und Objekte im Fahrzeuginneren zu erkennen. Eine Erkennung eines Bildschirm-Inhalts, z. B. eines Smartphones, mittel des Infrarot-Kamerasystems ist hingegen nicht möglich. Hierzu kann beispielsweise das RGB- Kamerasystem verwendet werden. Nachteilig daran ist, dass das RGB-Kamerasystem (bspw. eine RGB-Funktion zur Bestimmung des Bildschirm-Inhalts) permanent in Betrieb ist, z. B. ein Algorithmus laufen muss, der nach QR-Codes oder Text-Elementen im Bild sucht und diese bei Detektion analysiert, wofür RGB-Bilder Voraussetzung sein können. Dadurch entsteht ein erhöhter Energiebedarf und/oder eine erhöhte Rechenleistung, wodurch eine Performance eines Bilderkennungssystems negativ beeinflusst werden kann.

Es besteht daher ein Bedarf daran, ein Konzept zur Verbesserung einer Performance eines Bilderkennungssystems, bereitzustellen. Diesem Bedarf tragen das Verfahren, das Computerprogramm, die Vorrichtung sowie das Fahrzeug nach den unabhängigen Ansprüchen Rechnung.

Ausführungsbeispiele basieren auf dem Kemgedanken, dass eine Performance eines Bilderkennungssystems verbessert werden kann, indem eine RGB-Funktion eines Bilderkennungssystems aktiviert wird. Die Aktivierung ist hierbei vom Erhalt einer Information über eine Verwendung eines Datenträgers durch einen Nutzer abhängig. Beispielsweise kann ein Nutzer ein Smartphone in einer Hand halten und eine Applikation auf dem Smartphone öffnen, z. B. ein E- Mail-Programm, insbesondere einen Kalender mit Termindaten. Das Smartphone kann dann eine Information über eine Verwendung an das Bilderkennungssystem übertragen, z. B. mittels einer Bluetooth-Verbindung, wireless area network connection Verbindung, etc. Das Bilderkennungssystem kann daraufhin eine RGB-Funktion aktivieren, z. B. eine RGB-Kamera des Bilderkennungssystems, und die Information auf dem Display des Smartphones auslesen, beispielsweise eine Adresse aus einem Kalender. Auf Grundlage dieser Information kann dann eine Maßnahme durchgeführt werden, z. B. kann eine Navigationssoftware gestartet werden, beispielsweise durch Senden einer Nachricht vom Bilderkennungssystem zu einem Steuergerät (ECU) des Fahrzeugs, welches daraufhin eine Navigationssoftware auf einem Display des Fahrzeugs öffnet. Durch die gezielte Aktivierung der RGB-Funktion kann ein Energieverbrauch und/oder eine benötigte Rechenleistung des Bilderkennungssystems reduziert werden.

Ausführungsbeispiele betreffen ein Verfahren zur Verbesserung einer Performance eines Bilderkennungssystems. Das Verfahren umfasst Erhalten einer Information über eine Verwendung eines Datenträgers durch einen Nutzer und Aktivieren einer RGB-Funktion des Bilderkennungssystems. Ferner umfasst das Verfahren Bestimmen einer Information, welche auf dem Datenträger dargestellt ist und Auswerten der bestimmten Information. Das Bestimmen der Information und/oder das Auswerten der bestimmten Information wird mittels der aktivierten RGB- Funktion des Bilderkennungssystems durchgeführt. Ferner umfasst das Verfahren Durchführen einer Maßnahme auf Basis der ausgewerteten Information. Dadurch wird ermöglicht, dass die RGB- Funktion des Bilderkennungssystems nur dann verwendet wird, wenn diese benötigt wird, wodurch ein Energieverbrauch verringert wird.

In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen mittels einer Infrarot-Kamera umfassen. Dadurch kann eine Information über die Verwendung vorteilhaft bestimmt werden, da eine Infrarotkamera auch für andere Funktionen in einem Fahrzeug verwendet werden kann, z. B. zur Überwachung eines Fahrers, und deshalb standardmäßig eingeschaltet sein kann.

In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Position des Datenträgers relativ zu dem Bilderkennungssystem umfassen. Dadurch kann eine Bestimmung einer Verwendung des Datenträgers durch einen Nutzer verbessert werden. Beispielsweise kann der Datenträger durch den Nutzer an eine Position gehalten werden, welche gut geeignet ist zum Bestimmen der Information des Datenträgers (bspw. weiß der Nutzer dies aus vorherigen Anwendungen), sodass anhand der Position des Datenträgers davon auszugehen sein kann, dass der Nutzer eine Erkennung der Information des Datenträgers wünscht. Dementsprechend kann durch die Positionsbestimmung des Datenträgers die Aktivierung der RGB- Funktion verbessert werden. In einigen Ausführungsbeispielen kann das Bilderkennungssystem eine Mehrzahl von RGB- Kameras umfassen. Ferner kann beim Aktivieren der RGB-Funktion des Bilderkennungssystems eine RGB-Kamera des Bilderkennungssystems aktiviert werden und das Verfahren kann ferner umfassen Bestimmen einer zu aktivierenden RGB-Kamera des Bilderkennungssystems auf Grundlage der bestimmten Position des Datenträgers. Dadurch kann eine RGB-Kamera, welche eine verbesserte Ermittlung der Information bestimmt und aktiviert werden.

In einigen Ausfuhrungsbeispielen kann der Datenträger eine elektronische Vorrichtung sein. Ferner kann das Erhalten der Information über eine Verwendung ein Empfangen einer Information über einen Status der elektronischen Vorrichtung umfassen. Dadurch kann die elektronische Vorrichtung dem Bilderkennungssystem eine Verwendung direkt mitteilen, wodurch eine Bestimmung einer Verwendung besonders vorteilhaft erfolgen kann.

In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Ausrichtung des Datenträgers relativ zum Bilderkennungssystem umfassen. Dadurch kann bspw. eine Erkennung einer Verwendung durch einen Nutzer mit der Intention des Auslesens einer Information des Datenträgers durch das Bilderkennungssystem verbessert werden. Beispielsweise kann der Nutzer den Datenträger zu einer weiteren Person in einem Fahrzeug zeigen, sodass eine Ausrichtung des Datenträgers nicht geeignet sein kann zum Auslesen der Information mittels des Bilderkennungssystem. Durch das Bestimmen der Ausrichtung kann z. B. in solch einem Fall eine unnötige Aktivierung der RGB-Funktion verhindert werden.

In einigen Ausführungsbeispielen kann das Durchführen einer Maßnahme ein Ausgeben einer Information über eine benötigte Position und/oder Ausrichtung des Datenträgers für eine verbesserte Bestimmung der Information des Datenträgers umfassen. Dadurch kann dem Nutzer ein Feedback über eine Position des Datenträgers gegeben werden, wodurch dieser beispielsweise den Datenträger an eine Position halten kann, an der die Information des Datenträgers besser erfasst werden kann.

In einigen Ausführungsbeispielen kann ferner Deaktivieren der RGB-Funktion des Bilderkennungssystems nach dem Bestimmen der Information, welche auf dem Datenträger dargestellt ist, umfasst sein. Dadurch kann der Energieverbrauch bzw. die benötigte Rechenleistung nach dem Erfassen der Information des Datenträgers wieder verringert werden.

Ausführungsbeispiele schaffen auch ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Ein weiteres Ausführungsbeispiel ist eine Vorrichtung für ein Bilderkennungssystem zur Verbesserung einer Performance des Bilderkennungssystem. Die Vorrichtung umfasst ein oder mehreren Schnittstellen zur Kommunikation mit anderen Kommunikationseinrichtungen (z. B. dem Datenträger, einer ECU eines Fahrzeugs, etc.) und ein Kontrollmodul, das zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist. Ausführungsbeispiele schaffen darüber hinaus ein Fahrzeug mit einem Bilderkennungssystem wie hierin beschrieben.

Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung eines Verfahrens zur Verbesserung einer Performance eines Bilderkennungssystems;

Fig. 2 zeigt ein Blockdiagram eines Ausführungsbeispiels einer Vorrichtung für ein Bilderkennungssystem; und

Fig. 3 zeigt eine schematische Darstellung eines Fahrzeugs, welches ein Bilderkennungssystem mit einer Vorrichtung nach Fig. 2 zur Verbesserung einer Performance des Bilderkennungssystem umfasst.

Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.

Fig. 1 zeigt eine schematische Darstellung eines Verfahrens 100 zur Verbesserung einer Performance eines Bilderkennungssystems. Das Verfahren 100 umfasst Erhalten 110 einer Information über eine Verwendung eines Datenträgers durch einen Nutzer und Aktivieren 120 einer RGB-Funktion des Bilderkennungssystems (auf Basis der erhaltenen Information). Darüber hinaus umfasst das Verfahren 100 Bestimmen 130 einer Information, welche auf dem Datenträger dargestellt ist, und Auswerten 140 der bestimmten Information. Das Bestimmen der Information und/oder das Auswerten der bestimmten Information wird mittels der aktivierten RGB-Funktion des Bilderkennungssystems durchgeführt. Ferner umfasst das Verfahren 100 Durchführen 150 einer Maßnahme auf Basis der ausgewerteten Information. Der Datenträger kann ein analoger Datenträger, z. B. ein Buch, eine Visitenkarte, eine Konzertkarte, etc. oder ein digitaler Datenträger, insbesondere ein digitaler Datenträger mit einem Display, z. B. ein Nutzerendgerät, ein Tablet, etc. sein. Als Datenträger kann insbesondere jedes Objekt verstanden werden, welches zur Darstellung von Information geeignet ist, bzw. eine Darstellung von Information enthält, z. B. ein beschriebenes/bedrucktes Blatt Papier, eine Anzeigeeinrichtung wie ein Display eines Nutzerendgeräts, etc.

Erhalten 110 der Information über die Verwendung des Datenträgers kann ein Bestimmen der Information oder ein Empfangen der Information umfassen. Beispielsweise kann der Datenträger ein Nutzerendgerät sein, welches ein Signal über eine Verwendung an das Bilderkennungssystem sendet. Dieses Signal kann beispielsweise mittels Bluetooth, wirless local area network, Universal Mobile Telecommunications System, 3GPP Long Term Evolution, etc. gesendet werden und durch das Bilderkennungssystem Empfangen werden. Das Bilderkennungssystem kann beispielsweise über ein Interface verfügen, welches dazu ausgebildet ist Signale von einem Nutzerendgerät zu empfangen. Dadurch kann das Bilderkennungssystem vorteilhaft über eine Verwendung des Datenträgers informiert werden.

Optional oder alternativ kann das Bilderkennungssystem auch Signale von einer anderen elektronischen Vorrichtung, z. B. einem ECU eines Fahrzeugs, empfangen. Beispielsweise kann das Nutzerendgerät Informationen über eine Verwendung an das ECU des Fahrzeugs senden und dieses leitet die Information an das Bilderkennungssystem weiter. Beispielsweise kann das Bilderkennungssystem über das ECU Information von einer Ladeschale für ein Smartphone erhalten und wenn das Smartphone aus der Ladeschale entfernt kann dies eine Verwendung indizieren und das ECU kann eine Information an das Bilderkennungssystem über eine Verwendung senden.

Bestimmen der Information über eine Verwendung kann beispielsweise mittels eines Sensors des Bilderkennungssystem erfolgen, z. B. mittels einer Infrarot-Kamera, einer RGB-Kamera, einem Schallwandler, etc. Beispielsweise kann der Datenträger während der Verwendung ein Geräusch verursachen, welches durch einen Schallwandler des Bilderkennungssystem erfasst wird. Der Datenträger kann ein Smartphone sein, welches z. B. angerufen werden kann/eine Nachricht empfängt, und durch den Anruf/Nachricht ein Geräusch, z. B. ein Klingelton, eine Vibration, etc. aussendet, welches durch den Schallwandler des Bilderkennungssystem erfasst werden kann. Eine Verwendung des Datenträgers kann also insbesondere auch eine wahrscheinliche zukünftige „aktive“ Verwendung durch den Nutzer sein, z. B. weil dieser einen Anruf annimmt. Dementsprechend könnte die RGB-Funktion bereits aktiviert 120 werden, wenn ein Geräusch verursacht durch Datenträger durch das Bilderkennungssystems (z. B. den Schallwandler) empfangen/bestimmt wird. Eine Verwendung kann auch vorliegen, wenn der Nutzer den Datenträger, z. B. ein Endnutzergerät, durch eine Spracheingabe verwenden möchte/akti viert. Diese Spracheingabe kann durch den Schallwandler des Bilderkennungssystems erfasst/verarbeitet werden und eine Verwendung des Nutzerendgeräts indizieren.

Beispielsweise kann der Datenträger ein Stück Papier, z. B. ein Konzertkarte, Visitenkarte, etc. sein, welches durch die Verwendung eines Nutzers (z. B. ein Herausholen aus einer Tasche) ein Geräusch verursacht, welches durch das Bilderkennungssystems (den Schallwandler) empfangen/be stimmt werden kann. Alternativ kann eine Information über ein empfangenes Signal auch von dem ECU eines Fahrzeugs an des Bilderkennungssystem gesendet werden.

Beispielsweise kann eine Verwendung eines Datenträgers über eine Korrelation mit einer Handlung des Nutzers ermittelt werden. Eine Verwendung kann insbesondere dann Vorliegen, wenn der Nutzer den Datenträger in der Hand hält. Mittels einer Infrarot-Kamera kann das Bilderkennungssystem bestimmen das ein Nutzer einen Datenträger, z. B. ein Nutzerendgerät, eine Visitenkarte, etc. in der Hand hält, beispielsweise. Dies kann dann eine Verwendung des Datenträgers darstellen, da der Nutzer diesen in der Hand hält.

Aktivieren 120 einer RGB-Funktion kann z. B. das Aktivieren 120 einer RGB-Kamera (im Speziellen eines RGB-Pfads), eines Algorithmus zur QR-Code-Erkennung, einen Algorithmus zur Global Positioning System-Daten-Erkennung, einen Algorithmus zur Text-Erkennung etc. umfassen. Insbesondere benötigen entsprechende Algorithmen RGB-Bilder/Videos zur Erkennung, weshalb diese auch als RGB-Funktion bezeichnet werden. Beispielsweise kann eine Steuervorrichtung einer RGB-Kamera aktiviert werden, wodurch eine Aufnahme eines RGB-Bilds/Videos mittels einer RGB-Kamera durch das Bilderkennungssystem ermöglicht wird. Solange das Steuergerät oder Algorithmen zur Auswertung von RGB-Bildem/Videos deaktiviert sind, kann ein Energieverbrauch des Bilderkennungssystems vorteilhaft reduziert werden. Optional kann dann mit dem Aktivieren der RGB-Kamera auch ein entsprechender Algorithmus zur Erkennung aktiviert werden. Alternativ kann eine RGB-Kamera permanent aktiviert und ein Algorithmus bei Verwendung des Datenträgers durch den Nutzer aktiviert werden. Solange der Algorithmus deaktiviert ist, kann ebenfalls ein Energieverbrauch und/oder Rechenressourcen des Bilderkennungssystems vorteilhaft reduziert werden

Bestimmen 130 der Information kann beispielsweise ein Aufhehmen von RGB-Bildem mittels einer RGB-Kamera umfassen. Beispielsweise kann ein RGB-Pfad einer Kamera als RGB-Funktion des Bilderkennungssystems aktiviert 120 worden sein. Mit RGB-Bildem sind im allgemeinen Bilder gemeint, welche im für das menschliche Auge sichtbaren spektral Bereich liegen. Insbesondere sind Sensoren zur Aufnahmen von RGB-Bildem dazu geeignet, eine hinreichende Genauigkeit einer Darstellung der Information des Datenträger zu gewährleisten, damit diese mit Algorithmen, welche von anderen Systemen bekannt sind, ausgewertet werden können. Beispielsweise kann mit einer Infrarot-Kamera keine hinreichende Genauigkeit der Information des Datenträgers ermöglicht werden. Mit einer RGB-Kamera, also insbesondere mittels Sensoren, welche im sichtbaren Bereich arbeiten, kann eine Bestimmung 130 der Information verbessert werden, sodass eine Auswertung 140 der Information ermöglicht wird.

Auswerten 140 der bestimmten Information kann eine Erkennung/Auswertung eines QR-Codes, von GPS -Koordinaten, einer Visitenkarte, etc. umfassen. Beispielweise kann ein entsprechender Algorithmus als RGB-Funktion des Bilderkennungssystems aktiviert 120 worden sein.

Durchfuhren 150 einer Maßnahme kann ein Senden einer Information an den Datenträger (z. B. ein Smartphone), ein Ausgeben eines akustischen Signals, ein Senden einer Information an eine ECU eines Fahrzeugs, etc. umfassen. Beispielsweise kann ein QR-Code ausgelesen werden und eine dem QR-Code hinterlegte Information an den Datenträger/ECU eines Fahrzeugs zur Darstellung auf dem Datenträger (z. B. einem Display eines Nutzerendgeräts) oder auf einem Display eines Fahrzeugs durch die ECU gesendet werden. Durch die Maßnahme kann insbesondere eine Nutzererfahrung bei der Verwendung des Datenträgers verbessert werden.

In einem Ausführungsbeispiel kann das Erhalten 110 der Information über eine Verwendung ein Bestimmen mittels einer Infrarot-Kamera umfassen. Die Infrarot-Kamera kann von dem Bilderkennungssystem umfasst sein. Beispielsweise kann das Bilderkennungssystem zwei Pfade umfassen, einen Infrarot-Pfad und einen RGB-Pfad. Eine Software des Bilderkennungssystems kann eine Objekterkennung für den Datenträger implementieren. Die Implementierung der Objekterkennung kann zur Erhöhung einer Sicherheit eines Nutzer dienen. Beispielsweise kann ein Nutzer durch den Datenträger abgelenkt werden, wodurch eine Konzentration auf andere Aufgaben verringert werden kann, z. B. kann eine Nutzer vom Lenken eines Fahrzeugs abgelenkt werden.

Die Objekterkennung kann insbesondere im Infrarot-Bereich erfolgen. Der Infrarot-Bereich ist geeignet, um einen Nutzer zu überwachen, z. B. im Rahmen von Fahrerassistenzsystemen, weshalb dieser permanent eingeschaltet sein kann. Ferner kann ein Energieverbrauch einer Infrarot -Kamera im Vergleich zu einer RGB-Kamera reduziert werden. Dadurch kann eine Verwendung eines Datenträgers mittels des Infrarot-Kamera mit geringerem Energieverbrauch bestimmt werden.

Sofern mittels des Infrarot-Pfads eine Verwendung eines Datenträgers bestimmt wurde, kann der RGB-Pfad des Bilderkennungssystems aktiviert 120 werden, um eine Information auf dem Datenträger zu Bestimmen 130. Ferner kann ein Algorithmus zum Auswerten 140 der bestimmten

Information aktiviert 120 werden.

Beispielsweise kann mittels des Infrarot-Pfads die Information bestimmt 110 werden, dass sich ein Datenträger in der Hand eines Nutzer befindet. Diese Information kann als Verwendung des Datenträgers interpretiert werden , und der RGB-Pfad des Bilderkennungssystems kann aktiviert 120 werden. Im RGB-Pfad des Bilderkennungssystem kann dann die Möglichkeit der Bestimmung 130 der Information des Datenträgers bestehen, z. B. eine Aktivität eines Displays eines Smartphones. Bei einem aktivem Display können nun weitere Bilder im RGB Bereich aufgezeichnet werden (bzw. ein RGB-Video aufgezeichnet werden). Die so aufgezeichneten RGB -Bilder/RGB -Video können/kann dann mittels eines Algorithmus, beispielsweise eines QR-Code-Algorithmus, OCR- Algorithmus, etc. ausgewertet werden.

Dementsprechend werden die RGB-Funktionen, RGB-Pfad und Algorithmus-Erkennung, nur dann aktiviert 120, wenn eine Möglichkeit besteht, dass der Nutzer einen Code/Text scannen möchte, wozu eine Verwendung des Datenträgers durch den Nutzer wesentlich. Sollte beispielsweise das Display eines Nutzerendgeräts inaktiv sein, werden die RGB-Funktionen nicht aktiviert und es wird keine unnötige Analyse versucht.

In einem Ausfiihrungsbeispiel kann das Erhalten 110 der Information über eine Verwendung ein Bestimmen einer Position des Datenträgers relativ zu dem Bilderkennungssystem umfassen. Beispielsweise kann ein Nutzer den Datenträger an eine besonders geeignete Position zur Bestimmung 130 einer Information des Datenträger halten. Diese Position kann dem Nutzer bekannt sein, z. B. durch vorherige Benutzungen. Die Position des Datenträgers kann beispielsweise mittels einer Infrarot-Kamera des Bilderkennungssystems, mittels Triangulation von Funksignalen (z. B. auf Basis von ausgetauschten Bluetooth-Signalen zwischen Bilderkennungssystems und Nutzerendgerät), etc. bestimmt werden. Dadurch kann eine Bestimmung 110 einer Verwendung des Datenträgers verbessert werden.

In einem Ausführungsbeispiels kann das Bilderkennungssystem eine Mehrzahl von RGB-Kameras umfassen. Beim Aktivieren 120 der RGB-Funktion des Bilderkennungssystems kann eine RGB- Kamera des Bilderkennungssystems aktiviert werden. Ferner kann das Verfahren 100 Bestimmen einer zu aktivierenden RGB-Kamera des Bilderkennungssystems auf Grundlage der bestimmten Position des Datenträgers umfassen. Dadurch kann eine besonders geeignete RGB-Kamera zur Bestimmung 130 der Information des Datenträgers ausgewählt werden. Beispielsweise kann jede RGB-Kamera der Mehrzahl von RGB-Kameras einen bestimmten Abdeckungsbereich aufweisen. Dementsprechend kann eine bestimmte RGB-Kamera abhängig von einer Position des Datenträgers aktiviert 120 werden.

In einem Ausführungsbeispiel kann der Datenträger eine elektronische Vorrichtung sein und wobei das Erhalten der Information über eine Verwendung ein Empfangen einer Information über einen Status der elektronischen Vorrichtung umfasst. Insbesondere kann die elektronische Vorrichtung mittels einer drahtlosen Verbindung mit dem Bilderkennungssystem verbunden sein. Hierzu kann das Bilderkennungssystem über einen Antennenvorrichtung verfügen. Dadurch kann die elektronische Vorrichtung das Bilderkennungssystem aktiv über eine Verwendung der elektronischen Vorrichtung informieren, beispielsweise über die Verwendung einer Applikation.

In einem Ausführungsbeispiel kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Ausrichtung des Datenträgers relativ zum Bilderkennungssystem umfassen. Beispielsweise kann ein Nutzer einen Datenträger in einer Hand halten um ihn einer anderen Person (z. B. einen Beifahrer) zu zeigen. Dementsprechend kann anhand der Ausrichtung des Datenträgers eine Verwendung des Nutzer, welche ein Aktivieren einer RGB-Funktion zur Folge haben soll, genauer bestimmt werden. Insbesondere kann eine Berührung eines Datenträgers durch den Nutzer, welche keine Verwendung darstellen, beispielsweise sofern der Nutzer den Datenträger zu einer anderen Person übergibt, einer anderen Person den Datenträger zeigt, etc. Dementsprechend kann durch die Bestimmung einer Ausrichtung eine Verwendung des Datenträgers genauer bestimmt werden, sodass fehlerhafte Aktivierungen der RGB-Funktion reduziert werden können. Insbesondere kann also nicht jede Interaktion des Nutzer mit dem Datenträger (abhängig von der Ausrichtung des Datenträgers) eine Verwendung darstellen.

In einem Ausführungsbeispiel kann das Durchführen einer Maßnahme ein Ausgeben einer Information über eine benötigte Position und/oder Ausrichtung des Datenträgers für eine verbesserte Bestimmung der Information des Datenträgers umfassen. Beispielsweise kann der Datenträger ein Nutzerendgerät sein und eine Information zur Position/Ausrichtung des Nutzerendgeräts von dem Bilderkennungssystem erhalten. Beispielsweise kann diese Information auf einem Display des Nutzerendgeräts dargestellt werden, wodurch einem Nutzer eine Positionierung/Ausrichtung des Nutzerendgeräts erleichtert werden kann. Optional oder alternativ kann diese Information auch auf einem anderen Display, zum Beispiel einem Display eines Fahrzeugs dargestellt werden. Beispielsweise kann eine Visualisierung des Kamerasichtfelds, insbesondere mit einer Hervorhebung eines Bereiches, in welchem der Datenträger zur Erkennung des Inhalts des Datenträgers positioniert werden soll, auf dem Display des Fahrzeugs dargestellt werden. Das Display des Fahrzeugs kann beispielsweise ein Head-up-Display, ein Dashboard-Display, etc. sein. Beispielsweise kann auch eine akustische Rückkopplung über eine Position/Ausrichtung des Datenträgers durch das Bilderkennungssystem oder das ECU eines Fahrzeugs erfolgen, beispielsweise in Form von Piep-Tönen für eine erfolgende Annäherung an eine benötigte Position/Ausrichtung des Datenträgers. Dadurch kann ein Nutzer den Datenträger Positionieren/Ausrichten, ohne auf den Datenträger blicken zu müssen.

In einem Ausführungsbeispiel kann das Verfahren 100 ferner Deaktivieren der RGB-Funktion des Bilderkennungssystems nach dem Bestimmen der Information, welche auf dem Datenträger dargestellt ist, umfassen. Beispielsweise kann ein Steuergerät einer RGB-Kamera, ein Algorithmus zur QR-Code-Erkennung, etc. des Bilderkennungssystems deaktiviert werden. Dadurch kann ein Energieverbrauch des Bilderkennungssystems nach Durchführen der Maßnahme zur Erhöhung einer Nutzererfahrung verringert werden.

Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 1 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren unten beschriebenen Ausführungsbeispielen (z. B. Fig. 2 - 3) erwähnt wurden.

Fig. 2 zeigt ein Blockdiagram eines Ausführungsbeispiels einer Vorrichtung 30 für ein Bilderkennungssystem. Die Vorrichtung 30 zur Verbesserung einer Performance eines Bilderkennungssystem umfasst ein oder mehreren Schnittstellen 32 zur Kommunikation mit anderen Komponenten des Bilderkennungssystems, z. B. einer RGB-Kamera. Die Vorrichtung 30 umfasst ferner ein Kontrollmodul 34, das zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist, beispielsweise das Verfahren, welches mit Bezug zu Fig. 1 beschreiben ist. Weitere Ausführungsbeispiele sind ein Fahrzeug mit einem Bilderkennungssystem mit einer Vorrichtung 30.

Die ein oder mehreren Schnittstellen 32 können beispielsweise einem oder mehreren Eingängen und/oder einem oder mehreren Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, etwa in digitalen Bitwerten, basierend auf einem Code, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen verschiedener Entitäten. Die zumindest eine Schnittstelle 32 kann beispielsweise ausgebildet sein, um über ein (Funk)-Netzwerk oder ein lokales Verbindungsnetzwerk mit anderen Netzwerkkomponenten zu kommunizieren.

In Ausführungsbeispielen kann das Kontrollmodul 34 einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann das Kontrollmodul 34 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann das Kontrollmodul 34 als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale Signalprozessoren (DSPs) zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung des Kontrollmoduls 34 denkbar.

In zumindest manchen Ausführungsbeispielen kann das Fahrzeug beispielsweise einem Landfahrzeug, einem Wasserfahrzeug, einem Luftfahrzeug, einem Schienenfahrzeug, einem Straßenfahrzeug, einem Auto, einem Bus, einem Motorrad, einem Geländefahrzeug, einem Kraftfahrzeug, oder einem Lastkraftfahrzeug entsprechen.

Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten und/oder oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 2 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1) und/oder unten beschriebenen Ausführungsbeispielen (z. B. Fig. 3) erwähnt wurden.

Fig. 3 zeigt eine schematische Darstellung eines Fahrzeugs 300, welches eine Vorrichtung 30 (z. B. die mit Bezug zu Fig. 2 beschrieben Vorrichtung 30) eines Bilderkennungssystems zur Verbesserung einer Performance des Bilderkennungssystem umfasst. Das Bilderkennungssystem kann insbesondere ein Innenraumkamerasystem (IKS) mit Infrarot-Kamera, eine IR-LED und eine RGB-Kamera umfassen. Alle diese Komponenten können dazu ausgebildet sein einen Innenraum des Fahrzeugs 300 zu beobachten.

Standardmäßig kann ein IR-Pfad der IR-Kamera aktiv sein. Die IR-Kamera und die RGB-Kamera können aus ihrer Position Fahrer, Beifahrer, Passagiere auf der hinteren Sitzreihe sowie Gegenstände im Fahrzeug detektieren. Optional kann ein Mehrzahl von IR-Kameras und/oder RGB-Kameras verwendet werden. Beispielsweise kann eine erste RGB-Kamera 328 des Bilderkennungssystem den vorderen Bereich von Fahrer und Beifahrer und eine zweite RGB-Kamera 330 des Bilderkennungssystem einen hinteren Bereich des Fahrzeugs für weitere Passagiere erfassen.

Standardmäßig kann der IR-Pfad der IR-Kamera aktiv sein, da dieser allgemein zur Überwachung des Fahrers eingesetzt werden kann. Dieser ist insbesondere robust gegenüber Belichtungsänderungen, sodass eine zuverlässige Erkennung eines Datenträgers bzw. einer Verwendung dieses betrieben werden kann. Ein Steuergerät, z. B. das Kontrollmodul der Vorrichtung 30, verarbeitet den Datenstrom der IR-Kamera zu Frames und kann diese verschiedenen Funktionen zur Verfügung stellen. Hierzu zählen sicherheitsrelevante Funktionen ebenso wie Komfortfunktionen .

Beispielsweise kann eine Handyerkennung verwendet werden. Die Handyerkennung ruft Frames von der IR-Kamera ab und untersucht sie darauf, ob ein Smartphone 310 im Innenraum liegt bzw. ein Nutzer das Smartphone 310 in der Hand hält. Erkennt die Handyerkennung, dass ein Smartphone 310 verwendet wird, kann diese Information verwendet werden, um eine RGB-Funktion zu aktivieren. Die Handyerkennung kann insbesondere auch eine Position und/oder eine Ausrichtung des Smartphones 310 im Innenraum des Fahrzeugs 30 bestimmen, wodurch eine Bestimmung einer Verwendung des Smartphones 310 verbessert werden kann.

Beispielsweise könnte die Handyerkennung bestimmen (beispielsweise auf Basis der Information von der IR-Kamera), dass das Smartphone 310 in Richtung der ersten RGB-Kamera 328 des Bilderkennungssystems gehalten wird. Dann kann die RGB-Kamera des Bilderkennungssystems aktiviert werden, damit eine auf einem Display des Smartphones 310 dargestellte Information erfasst werden kann. Optional oder alternativ kann ein QR-Code-/Text-Erkennung Algorithmus gestartet werden. Beispielsweise kann der Algorithmus RGB-Bilder anfordem, wodurch erst ein RGB-Pfad des IKS aktiviert wird. Danach können RGB-Frames erstellt werden und an die QR-/Text- Erkennung weitergeleitet werden, welche die Bilder auf Präsenz von QR-Codes/Texte/Adressen auf dem Smartphone-Display analysiert.

Wird ein Code/Text gefunden, läuft die Entschlüsselung und Verarbeitung der Daten mittels eines üblichen Algorithmus wie er aus anderen Systemen bekannt ist ab. Die gewonnenen Informationen können dann von der Vorrichtung 30 analysiert und eingesetzt werden, z. B. als Zugangscode, um Information für das Smartphone 310 zur Verfügung zu stellen, um Information auf ein Display 320 des Fahrzeugs 300 zu übertragen, etc.

Beispielsweise kann die Vorrichtung 30 die Absicht eines Nutzer erkennen, das Smartphone 310 in einen Bereich zu bewegen, der von der ersten RGB-Kamera 328 optimal erkannt wird. Hierzu könnte beim Aktivieren des RGB-Pfads eine Information einer RGB-Aufhahme der ersten RGB- Kamera 328 zu dem Smartphone 310 gesendet werden. Diese Information kann dann auf dem Display des Smartphones 310 dargestellt werden und den Nutzer einen Bereich visualisieren, in den das Smartphone 310 zum Bestimmen der Information, z. B. zum QR-Scanning/Text-Erkennung bewegt werden soll.

Beispielsweise kann die Erkennung (basierend auf den RGB-Funktionen) auch verwendet werden, um eine andere Modalität z. B. eine Audio-Erkennung zu aktivieren, um Audio-Signale des Smartphones 310 zu empfangen (oder auch Funksignale z. B. Bluetooth). Eine Verwendung des Smartphones 310 könnte durch die Vorrichtung empfangen werden, z. B. könnte auf dem Smartphone 310 eine Applikation zum Abspielen von Musik geöffnet werden, worüber das Smartphone Information an die Vorrichtung 30 senden kann. Daraufhin kann der RGB -Pfad der ersten Kamera 328 aktiviert werden, um einen Information auf dem Display des Smartphone 310 auszulesen.

Beispielsweise kann die Erkennung verwendet werden, um Informationen über ein Ziel eines Nutzer zu bestimmen. Der Nutzer kann eine Visitenkarte mit einer Adresse oder eine Konzertkarte in die Kamera halten. Die Information kann dann durch die Vorrichtung 30 bestimmt werden. Insbesondere kann die Maßnahme auf Basis der ausgewerteten Information dann darin bestehen, dass die Vorrichtung eine Information über ein bestimmtes Ziel des Nutzer an eine ECU des Fahrzeugs 300 sendet. Das Fahrzeug 300 kann dann beispielsweise ein Navigationsprogramm starten und auf einem Display 320 ein Routeninformation für den Nutzer zur Verfügung stellen. Dadurch kann dem Nutzer eine besonders einfache Routenplanung ermöglicht werden.

Beispielsweise kann die Erkennung dazu benutzt werden, den Nutzer zu warnen. Die Vorrichtung kann ermitteln, dass ein Nutzer gerade ein Smartphone 310 verwendet, z. B. zum Streamen. Daraufhin könnte die Vorrichtung eine akustische Warnung ausgeben oder eine Information an das ECU des Fahrzeugs 300 senden, wodurch das Fahrzeug 300, z. B. ein Fahrerassistenzsystem eine Warnung ausgeben kann oder die Fahrerassistenzsysteme angepasst werden können.

Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 3 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1 - 2) beschriebenen Ausführungsbeispielen erwähnt wurden.

Weitere Ausführungsbeispiele sind Computerprogramme zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.

Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip -System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.

Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. Bezugszeichenliste Vorrichtung zur Verbesserung einer Performance eines Bilderkennungssystems Schnittstelle Kontrollmodul Verfahren Erhalten einer Information Aktivieren einer RGB-Funktion Bestimmen einer Information Auswerten der bestimmten Information Durchfuhren einer Maßnahme Fahrzeug Datenträger Display erste RGB -Kamera zweite RGB -Kamera