Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
APPARATUS, MOBILE DEVICE AND METHOD FOR CREATING AND DISPLAYING AN IMAGE-IN-IMAGE
Document Type and Number:
WIPO Patent Application WO/2024/008345
Kind Code:
A1
Abstract:
The invention relates to an apparatus for creating and displaying an image-in-image for a user in a motor vehicle, the apparatus having: (i) a plurality of image sensors, wherein an image can be captured by each of the image sensors; (ii) wherein a first image sensor of the image sensors, more particularly an image sensor attached to the exterior of the motor vehicle, can capture a first image of surroundings of the motor vehicle; (iii) wherein a second image sensor of the image sensors can capture a second image of at least a partial region of an interior of the motor vehicle; (iv) a communication unit, which is connected, for signal transmission, to the plurality of image sensors and is configured to transmit the first and the second image to an externally arranged transceiver unit, which is connected, for signal transmission, to an externally arranged image processing unit, wherein the externally arranged image processing unit is configured to create an image-in-image having the first image and the second image, (v) and wherein the externally arranged transceiver unit is configured to transmit the created image-in-image to the communication unit; (vi) a display unit, more particularly an LCD or OLED display, which is configured to receive the image-in-image from the communication unit and display same to the user in the motor vehicle.

Inventors:
ZAIDAN SHERIF (DE)
Application Number:
PCT/EP2023/060226
Publication Date:
January 11, 2024
Filing Date:
April 20, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BAYERISCHE MOTOREN WERKE AG (DE)
International Classes:
B60R1/29
Domestic Patent References:
WO2016038639A12016-03-17
WO2017205490A12017-11-30
Foreign References:
US20170013188A12017-01-12
US10279743B12019-05-07
US20200398754A12020-12-24
US20020124260A12002-09-05
US20200186730A12020-06-11
US20180101736A12018-04-12
Download PDF:
Claims:
ANSPRÜCHE Vorrichtung zur Erstellung und Anzeige eines Bild-in-Bilds für einen Benutzer eines Kraftfahrzeugs (100), wobei die Vorrichtung aufweist: eine Mehrzahl von Bildsensoren (110, 120), wobei durch jeden der Bildsensoren (110, 120) ein Bild erfasst werden kann; wobei ein erster Bildsensor (110) der Bildsensoren (110, 120) ein erstes Bild einer Umgebung des Kraftfahrzeugs erfassen kann; wobei ein zweiter Bildsensor (120) der Bildsensoren (110, 120) ein zweites Bild wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs (100) erfassen kann; eine Kommunikationseinrichtung (130), die signaltechnisch mit der Mehrzahl der Bildsensoren (110, 120) verbunden ist, und die konfiguriert ist, das erste und das zweite Bild an eine extern angeordnete Sende- und Empfangseinrichtung (210), die mit einer extern angeordneten Bildbearbeitungseinrichtung (240) signaltechnisch verbunden ist, zu senden, wobei die extern angeordnete Bildbearbeitungseinrichtung (240) konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild, und wobei die extern angeordnete Sende- und Empfangseinrichtung (210) konfiguriert ist, das erstellte Bild-in-Bild an die Kommunikationseinrichtung (130) zu senden; eine Anzeigeeinrichtung (140), die konfiguriert ist, das Bild-in-Bild von der Kommunikationseinrichtung (130) zu empfangen und dem Benutzer im Kraftfahrzeug (100) anzuzeigen. Vorrichtung nach Anspruch 1 , wobei der wenigstens erste Bildsensor (110) so angeordnet ist, dass er aus einer ersten Richtung das erste Bild erfassen kann, die unterschiedlich zu einer zweiten Richtung ist, aus der der zweite Bildsensor (120) das zweite Bild erfassen kann. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine Bildauswerteeinrichtung (150), die konfiguriert ist, zu bestimmen, ob auf dem zweiten Bild der Benutzer dargestellt ist, und in welche Richtung der Benutzer zeigt und/oder blickt, und wobei die Bildauswerteeinrichtung (150) konfiguriert ist, in Abhängigkeit von der bestimmten Richtung einen Bildausschnitt des ersten Bildes anzupassen. 4. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Kommunikationseinrichtung (130) konfiguriert ist, das Bild-in-Bild drahtlos an ein extern angeordnetes elektronisches Gerät (200) zur Darstellung des Bild-in-Bilds zu senden.

5. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Anzeigeeinrichtung konfiguriert ist, das Bild-in-Bild mit Inhalten einer erweiterten Realität anzuzeigen.

6. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine extern angeordnete Sende- und Empfangseinrichtung (210).

7. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine extern angeordnete Bildbearbeitungseinrichtung (240).

8. Kraftfahrzeug (100), aufweisend eine Vorrichtung gemäß einem der Ansprüche 1 bis 7.

9. Mobilgerät (200) zur Erstellung und Darstellung eines Bild-in-Bilds, aufweisend: eine Sende- und Empfangseinrichtung (210), die konfiguriert ist, ein erstes Bild, das durch einen Bildsensor (110, 120) eines Kraftfahrzeugs (100) erfasst wurde, zu empfangen; eine Erfassungseinrichtung (220), durch die ein zweites Bild erfasst werden kann; eine Bildbearbeitungseinrichtung (240), die signaltechnisch jeweils mit der Sende- und Empfangseinrichtung (210) und der Erfassungseinrichtung (220) verbunden ist, und die konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild; eine Darstellungseinrichtung (230), die konfiguriert ist, das Bild-in-Bild von der Bildbearbeitungseinrichtung (240) zu empfangen und anzuzeigen.

10. Mobilgerät nach Anspruch 7, wobei die Bildbearbeitungseinrichtung (240) konfiguriert ist, das Bild-in-Bild in Echtzeit zu erstellen, und wobei die Dar- Stellungseinrichtung (230) konfiguriert ist, das Bild-in-Bild in Echtzeit anzuzeigen. Verfahren zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei das Verfahren folgende Schritte aufweist: Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs (100) durch einen ersten Bildsensor (110);

Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs (100) durch einen zweiten Bildsensor (120);

Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung (130) an eine extern angeordnete Sende- und Empfangseinrichtung (210), die mit einer extern angeordneten Bildbearbeitungseinrichtung (240) signaltechnisch verbunden ist;

Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung (240);

Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung (210) an die Kommunikationseinrichtung (130);

Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung (140), die mit der Kommunikationseinrichtung (130) signaltechnisch gekoppelt ist;

Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung (140) für einen Benutzer im Kraftfahrzeug (100).

Description:
VORRICHTUNG, MOBILGERÄT UND VERFAHREN ZUR ERSTELLUNG UND ANZEIGE EINES BILD-IN-BILDS

Die vorliegende Erfindung betrifft eine Vorrichtung, ein Mobilgerät und ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Erstellung und Anzeige eines Bild-in-Bilds.

Neuere Kraftfahrzeuge können Messsysteme und/oder Kameras aufweisen, mit denen eine Umgebung des Kraftfahrzeugs erfasst werden kann. Eine Anwendung hierfür kann eine Unterstützung beim Einparken sein. Dabei können auf einer für einen Fahrer des Kraftfahrzeugs sichtbaren Anzeige andere Fahrzeuge und/oder Gegenstände, die sich vor oder hinter dem Kraftfahrzeug befinden, angezeigt werden, so dass der Fahrer beim Einparken eine Kollision mit den anderen Fahrzeugen und/oder den Gegenständen vermeiden kann. Weiterhin können neuere Kraftfahrzeuge Kameras im Innenraum des Kraftfahrzeugs aufweisen, wodurch Aufnahmen des Innenraums und der sich darin befindlichen Mitfahrer ermöglicht werden. Beispielsweise kann durch geeignete Algorithmen aus den Aufnahmen bestimmt werden, ob sich ein Kind auf einem Rücksitz abgeschnallt hat. Auch der Fahrer kann mit einer solchen Innenraumkamera beobachtet werden. Aus Aufnahmen des Fahrers kann durch geeignete Algorithmen beispielsweise bestimmt werden, ob der Fahrer müde oder abgelenkt ist. Bei einer Erkennung einer solchen kritischen Situation kann eine Warnmeldung ausgegeben werden. Aus diesen Beispielen ist ersichtlich, dass Anwendungsgebiete von Innenraumkameras und Kameras zur Erfassung für die Umgebung des Kraftfahrzeugs unterschiedlich zueinander sein können.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Nutzung, insbesondere zur Nutzung für eine gemeinsame Anwendung, von Innenraumkameras und Kameras zur Erfassung der Umgebung des Kraftfahrzeugs bereitzustellen.

Eine Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche. Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zur Erstellung und Anzeige eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei die Vorrichtung aufweist: (i) eine Mehrzahl von Bildsensoren, wobei durch jeden der Bildsensoren ein Bild erfasst werden kann; (ii) wobei ein erster Bildsensor der Bildsensoren, insbesondere ein außen am Kraftfahrzeug angebrachter Bildsensor, ein erstes Bild einer Umgebung des Kraftfahrzeugs erfassen kann; (iii) wobei ein zweiter Bildsensor der Bildsensoren ein zweites Bild wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs erfassen kann; (iv) eine Kommunikationseinrichtung, die signaltechnisch mit der Mehrzahl der Bildsensoren verbunden ist, und die konfiguriert ist, das erste und das zweite Bild an eine extern angeordnete Sende- und Empfangseinrichtung, die mit einer extern angeordneten Bildbearbeitungseinrichtung signaltechnisch verbunden ist, zu senden, wobei die extern angeordnete Bildbearbeitungseinrichtung konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild, (v) und wobei die extern angeordnete Sende- und Empfangseinrichtung konfiguriert ist, das erstellte Bild-in-Bild an die Kommunikationseinrichtung zu senden; (vi) eine Anzeigeeinrichtung, insbesondere ein LCD oder ein OLED Display, die konfiguriert ist, das Bild-in-Bild von der Kommunikationseinrichtung zu empfangen und dem Benutzer im Kraftfahrzeug anzuzeigen.

Die hierein gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.

Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden). Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.

Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.

Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.

Unter dem Begriff „Bildsensor“ im Sinne der Erfindung ist insbesondere eine Kamera zu verstehen, die in der Lage ist, eine Szene sensorisch zu erfassen, woraus ein Bild generiert werden kann, das durch einen Benutzer angesehen werden kann bzw. wahrnehmbar ist.

Unter dem Begriff „ Bild-in- Bild“ wie er hier verwendet wird, ist insbesondere ein Bild zu verstehen, bei dem wenigstens zwei separat aufgenommene Bilder, gleichzeitig dargestellt sind. Dabei kann unter separatem Aufnehmen zu verstehen sein, dass die zwei Bilder zu unterschiedlichen Zeitpunkten aufgenommen wurden, durch unterschiedliche Kameras aufgenommen wurden, und/oder unterschiedliche Motive aufweisen. Dabei kann ein Bild in einer kleineren Ansicht als das andere Bild dargestellt sein. Ebenso kann ein Wechsel der Ansichten vorgesehen sein, so dass das andere Bild kleiner dargestellt ist. Weiterhin kann unter „Bild-in-Bild“ mehrere stehende Bilder oder auch mehrere bewegte Bilder zu verstehen sein, also ein „Video- in- Video“ oder ein gemischtes „Bild-in-Video“. Unter dem Begriff „Mobilgerät“ wie er hier verwendet wird, ist insbesondere ein Mobiltelefon, insbesondere ein Smartphone, ein Tablet ein Laptop oder dergleichen zu verstehen.

Unter dem Begriff „extern angeordnet“ wie er hier verwendet wird, ist insbesondere zu verstehen, dass die davon betroffenen Einrichtungen, Geräte, oder dergleichen nicht standardmäßig und kontinuierlich am Kraftfahrzeug angeordnet sind, und auch nicht standardmäßig signaltechnisch oder elektronisch mit elektronischen Komponenten des Kraftfahrzeuges verbunden sind. Danach ist aber nicht ausgeschlossen, dass die betroffenen Einrichtungen, Geräte oder dergleichen nachträglich, also nach dem Erwerb des Kraftfahrzeugs am Kraftfahrzeug angeordnet werden. Beispielsweise ist üblicherweise beim Erwerb eines Kraftfahrzeugs kein Mobiltelefon im Kraftfahrzeug angeordnet. Mittels einer Hilfskonstruktion wie einer an einem Armaturenbrett angeordneten Halterung kann das Mobiltelefon zumindest vorübergehend am Kraftfahrzeug angeordnet werden.

Durch die Vorrichtung nach dem ersten Aspekt kann erreicht werden, dass die Erstellung des Bild-in-Bild durch eine extern angeordnete Bildbearbeitungseinrichtung, insbesondere eine Bildbearbeitungseinrichtung, die in einem Mobilgerät, insbesondere einem Mobiltelefon bzw. Smartphone, integriert ist, erfolgt. Dadurch, dass die Erstellung des Bild-in-Bild durch die extern angeordnete Bildbearbeitungseinrichtung erfolgt, kann die hierfür erforderliche Rechenleistung im Kraftfahrzeug eingespart werden, und für andere Anwendungen verwendet werden.

Nachfolgend werden bevorzugte Ausführungsformen der Vorrichtung beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.

Bei einigen Ausführungsformen ist der wenigstens erste Bildsensor so angeordnet, dass er aus einer ersten Richtung das erste Bild erfassen kann, die unterschiedlich zu einer zweiten Richtung ist, aus der der zweite Bildsensor das zweite Bild erfassen kann. Dadurch können Bilder aus unterschiedlichen Richtungen erfasst werden, die auf einem Bild-in-Bild dargestellt werden können, wodurch ein Benutzer einen schnelleren Überblick über eine Gesamtsituation erhält, die Bilder aus unterschiedlichen Richtungen aufweist.

Bei einigen Ausführungsformen weist die Vorrichtung eine Bildauswerteeinrichtung auf, die konfiguriert ist, zu bestimmen, ob auf dem zweiten Bild der Benutzer dargestellt ist, und in welche Richtung der Benutzer zeigt und/oder blickt, und wobei die Bildauswerteeinrichtung konfiguriert ist, in Abhängigkeit von der bestimmten Richtung einen Bildausschnitt des ersten Bildes anzupassen. Die Bestimmung, ob der Benutzer auf dem Bild dargestellt ist und in eine bestimmte Richtung zeigt und/oder blickt kann durch aus dem Stand der Technik bekannte Algorithmen zur Gesichtserkennung und Gestenerkennung erfolgen. Weiterhin kann diese bestimmte Richtung mit Referenzobjekten im Innenraum kalibriert werden, beispielsweise mit Türgriffen, Armaturen oder dergleichen, so dass die Richtung in Bezug auf den Innenraum bestimmt werden kann. Wenn eine relative Position des ersten Bildsensors zum zweiten Bildsensor, und ein Öffnungswinkel des ersten Bildsensors bekannt ist, kann ein Bildausschnitt qualitativ der Richtung zugeordnet werden. Durch die Anpassung eines Bildausschnitts in Abhängigkeit von der Richtung kann der Bildausschnitt so gewählt werden, dass er mit der Richtung korreliert, d.h. die der Blick oder die Geste des Benutzers zeigt einer realen Szene, die dem angepassten Bildausschnitt entspricht. Dadurch kann auf dem Bild-in-Bild sowohl die angezeigte Richtung durch den Benutzer als auch der zugehörige Bildausschnitt angezeigt werden.

Bei einigen Ausführungsformen ist die Kommunikationseinrichtung konfiguriert, das Bild-in-Bild drahtlos an ein extern angeordnetes elektronisches Gerät, insbesondere ein Mobilgerät, zur Darstellung des Bild-in-Bilds, zu senden. Dadurch kann das Bild- in-Bild an andere elektronische Geräte gesendet werden, und auf diesen Geräten dargestellt werden.

Bei einigen Ausführungsformen ist die Anzeigeeinrichtung konfiguriert, das Bild-in- Bild mit Inhalten einer erweiterten Realität, auch unter dem Begriff „Augmented Reality“ bekannt, anzuzeigen. Dadurch kann eine realistische Darstellung des Bild-in- Bild erreicht werden, und der Gesamtinhalt des Bild-in-Bilds kann durch den Benutzer schneller erfasst werden. Bei einigen Ausführungsformen weist die Vorrichtung eine extern angeordnete Sende- und Empfangseinrichtung auf. Dadurch können Signale zwischen der Kommunikationseinrichtung und der extern angeordneten Sende- und Empfangseinrichtung ausgetauscht werden.

Bei einigen Ausführungsformen weist die Vorrichtung eine extern angeordnete Bildbearbeitungseinrichtung auf. Dadurch kann eine Bildbearbeitung unter Vermeidung von einer Nutzung von Rechenleistung des Kraftfahrzeugs erfolgen.

Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, aufweisend eine Vorrichtung nach dem ersten Aspekt.

Ein dritter Aspekt der Erfindung betrifft ein Mobilgerät zur Erstellung und Darstellung eines Bild-in-Bilds, aufweisend: (i) eine Sende- und Empfangseinrichtung, die konfiguriert ist, ein erstes Bild, das durch einen Bildsensor eines Kraftfahrzeugs erfasst wurde, zu empfangen; (ii) eine Erfassungseinrichtung, durch die ein zweites Bild erfasst werden kann; (iii) eine Bildbearbeitungseinrichtung, die signaltechnisch jeweils mit der Sende- und Empfangseinrichtung und der Erfassungseinrichtung verbunden ist, und die konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild; (iv) eine Darstellungseinrichtung, die konfiguriert ist, das Bild-in-Bild von der Bildbearbeitungseinrichtung (240) zu empfangen und anzuzeigen. Dadurch kann ein Bild-in-Bild erstellt werden, das ein Bild eines Bildsensors eines Kraftfahrzeugs und ein Bild eines Mobilgeräts aufweist.

Nachfolgend werden bevorzugte Ausführungsformen der Vorrichtung beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.

Bei einigen Ausführungsformen ist die Bildbearbeitungseinrichtung konfiguriert, das Bild-in-Bild in Echtzeit zu erstellen, und wobei die Darstellungseinrichtung konfiguriert ist, das Bild-in-Bild in Echtzeit anzuzeigen. Dadurch können Veränderungen, die durch den ersten Bildsensor und/oder den zweiten Bildsensor erfasst werden können, unmittelbar für den Benutzer dargestellt werden. Ein vierter Aspekt der Erfindung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei das Verfahren folgende Schritte aufweist: (i) Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs durch einen ersten Bildsensor; (ii) Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs durch einen zweiten Bildsensor; (iii) Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung an eine extern angeordnete Sende- und Empfangseinrichtung, die mit einer extern angeordneten Bildbearbeitungseinrichtung signaltechnisch verbunden ist; (iv) Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung; (v) Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung an die Kommunikationseinrichtung; (vi) Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung, die mit der Kommunikationseinrichtung signaltechnisch gekoppelt ist; (vii) Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung für einen Benutzer im Kraftfahrzeug.

Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.

Dabei zeigt

Fig. 1 schematisch ein Kraftfahrzeug mit einer Vorrichtung gemäß einer Ausführungsform der Erfindung.

Figs. 2A-2C schematisch Bildausschnitte, die durch am Kraftfahrzeug angebrachte Bildsensoren aufgenommen wurden; und

Fig. 3 ein Flussdiagramm zur Veranschaulichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.

In Figur 1 ist schematisch ein Kraftfahrzeug 100 mit einer Vorrichtung gemäß einer Ausführungsform der Erfindung gezeigt.

Am vorderen Bereich des Kraftfahrzeugs 100 ist ein erster Bildsensor 110 zur Erfassung von Bildern einer Umgebung des Kraftfahrzeugs angeordnet. Der durch den ersten Bildsensor 110 erfassbare Bereich ist durch die gestrichelten Pfeile, die in Richtung des ersten Bildsensors 110 zeigen, schematisch angedeutet. Ebenso kann der erste Bildsensor 110 am hinteren Bereich des Kraftfahrzeugs 100 oder an einem Seitenbereich angeordnet sein. Weiterhin können mehrere Bildsensoren am Außenbereich zur Erfassung der Umgebung des Kraftfahrzeugs 100 am Kraftfahrzeug angeordnet sein.

Zwischen Vordersitzen und Rücksitzen des Kraftfahrzeugs 100 ist ein zweiter Bildsensor 120 zur Erfassung von Bildern wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs angeordnet. Der zweite Bildsensor 120 ist am Dachhimmel des Kraftfahrzeugs 100 angeordnet. Der zu erfassende Bereich ist durch die gestrichelten Pfeile, die in Richtung des zweiten Bildsensors 120 zeigen, schematisch angedeutet. Der zweite Bildsensor 120 kann ebenso am oberen Bereich der Windschutzscheibe, die an den Dachhimmel angrenzt, oder an einem anderen Ort im Innenraum des Kraftfahrzeugs 100 zur Erfassung eines Teilbereichs des Innenraums angeordnet sein. Auch ist es denkbar, dass mehrere Bildsensoren im Innenraum des Kraftfahrzeugs 100 angeordnet sind.

Im Kraftfahrzeug 100 ist weiterhin eine Kommunikationseinrichtung 130 angeordnet, mit der die erfassten Bilder des ersten Bildsensors 110 und des zweiten Bildsensors 120 empfangen werden können, und mit der die Bilder im Anschluss an eine Sende- und Empfangseinrichtung 210 gesendet werden können. Die Sende- und Empfangseinrichtung 210 ist signaltechnisch mit einer Bildbearbeitungseinrichtung 240 verbunden.

Die Bildbearbeitungseinrichtung 240 und die Sende- und Empfangseinrichtung 210 sind in einem Mobilgerät 200, also beispielsweise einem Smartphone, integriert. Das erste Bild und das zweite Bild werden durch die Kommunikationseinrichtung 130 drahtlos, also über Bluetooth, über WLAN oder über ein Mobilfunknetz nach einem Mobilfunkstandard wie 3G, LTE oder 5G an die Sende- und Empfangseinrichtung 210 des Mobilgeräts 200 übermittelt. Ebenso können die Sende- und Empfangseinrichtung 210 und die Kommunikationseinrichtung 130 über eine Kabelverbindung signaltechnisch miteinander verbunden sein. Die signaltechnische Verbindung zwischen der Sende- und Empfangseinrichtung 210 und der Kommunikationseinrichtung 130 ist durch den gestrichelten Doppelpfeil schematisch angedeutet.

Durch die Bildbearbeitungseinrichtung 240 wird ein Bild-in-Bild erstellt, aufweisend das erste Bild und das zweite Bild. Durch die Sende- und Empfangseinrichtung 210 wird das Bild-in-Bild an die Kommunikationseinrichtung 130 gesendet und von dort an eine Anzeigeeinrichtung 140 im Kraftfahrzeug 100. Durch die Anzeigeeinrichtung 140 kann das Bild-in-Bild im Kraftfahrzeug 100 für den Benutzer dargestellt werden.

Weiterhin ist eine Bildauswerteeinrichtung 150 im Kraftfahrzeug angeordnet, mit der durch den zweiten Bildsensor 120 erfasste Bilder ausgewertet werden können. Mit der Bildauswerteeinrichtung 150 kann bestimmt werden, ob der Benutzer auf dem zweiten Bild dargestellt ist, und in welche Richtung der Benutzer blickt oder zeigt. Wenn eine Richtung bestimmt wurde, kann in Abhängigkeit von dieser Richtung einen Bildausschnitt des ersten Bildes angepasst werden. Die Bestimmung, ob der Benutzer auf dem zweiten Bild dargestellt ist, und in eine bestimmte Richtung zeigt und/oder blickt kann durch aus dem Stand der Technik bekannte Algorithmen zur Gesichtserkennung und Gestenerkennung erfolgen.

Zusätzlich kann das Bild-in-Bild an einer Darstellungseinrichtung 230 des Mobilgeräts 200 angezeigt werden. Ebenso kann das Mobilgerät 200 eine Erfassungseinrichtung 220 aufweisen, wodurch Bilder erfasst werden können. Diese Bilder können ebenso dazu verwendet werden, um ein Bild-in-Bild zu erstellen. Dabei können auch Bilder des ersten Bildsensors 110 oder des zweiten Bildsensors 120 mit den Bildern, die durch die Erfassungseinrichtung 220 erfasst wurden, kombiniert werden.

In den Figuren 2A-2C sind schematisch Bildausschnitte dargestellt, die durch am Kraftfahrzeug angebrachte Bildsensoren 110, 120 aufgenommen wurden. In Figur 2A ist ein Bildausschnitt 260 eines Innenraums eines Kraftfahrzeugs 100 schematisch dargestellt. Dieser Bildausschnitt 260 kann beispielsweise durch einen zweiten Bildsensor 120, der im vorderen Bereich eines Dachhimmels, angrenzend an eine Windschutzscheibe des Kraftfahrzeugs 100, angeordnet ist, aufgenommen worden sein. In dem Bildausschnitt sind schematisch ein Fahrer und drei Mitfahrer des Kraftfahrzeugs dargestellt. In Figur 2A ist ein weiterer, kleinerer Bildausschnitt 270 gezeigt, der einen Straßenverlauf darstellt. Dieser Bildausschnitt kann mit einem ersten Bildsensor 110, der am vorderen Bereich des Kraftfahrzeugs 100 angeordnet ist, aufgenommen worden sein. Durch die in Figur 1 beschriebene Vorrichtung können auf einer Anzeigeeinrichtung 140 im Kraftfahrzeug 100 beide Bildausschnitte 260, 270 als Bild-in-Bild gleichzeitig dargestellt werden. Dabei kann der kleinerer Bildausschnitt 270 einen Bildausschnitt repräsentieren, den der Fahrer und die Mitfahrer durch die Windschutzscheibe des Kraftfahrzeugs 100 sehen können.

In Figur 2B sind schematisch die gleichen Bildausschnitte wie in Figur 2A gezeigt, jedoch mit invertierten Größen, so dass der Straßenverlauf bildschirmfüllend dargestellt ist, und der Bildausschnitt des Innenraums mit dem Fahrer und den Mitfahrern verkleinert dargestellt ist. Auf den ersten Bildsensor 110 und den zweiten Bildsensor 120 bezogen bedeutet dies, dass die Vorrichtung ermöglicht, auszuwählen, welcher Bildsensor 110, 120 bzw. welcher Bildausschnitt priorisiert dargestellt werden soll.

Figur 2C weist die Darstellung von Figur 2A auf, wobei ein zusätzlicher Bildausschnitt 280, der durch einen weiteren Bildsensor (hier nicht gezeigt), der an einem seitlichen Bereich des Kraftfahrzeugs angeordnet ist, aufgenommen wurde, dargestellt ist.

In Figur 3 ist ein Flussdiagramm 300 zur Veranschaulichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug 100 gezeigt.

In einem ersten Schritt 310 des Verfahrens erfolgt ein Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs 100 durch einen ersten Bildsensor 110.

In einem weiteren Schritt 320 des Verfahrens erfolgt ein Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs 100 durch einen zweiten Bildsensor 120. In einem weiteren Schritt 330 des Verfahrens erfolgt ein Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung 130 an eine extern angeordnete Sende- und Empfangseinrichtung 210, die mit einer extern angeordneten Bildbearbeitungseinrichtung 240 signaltechnisch verbunden ist.

In einem weiteren Schritt 340 des Verfahrens erfolgt ein Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung 240;

In einem weiteren Schritt 350 des Verfahrens erfolgt ein Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung 210 an die Kommunikationseinrichtung 130;

In einem weiteren Schritt 360 des Verfahrens erfolgt ein Empfangen des Bild-in- Bilds durch eine Anzeigeeinrichtung 140, die mit der Kommunikationseinrichtung 130 signaltechnisch gekoppelt ist;

In einem weiteren Schritt 370 des Verfahrens erfolgt ein Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung 140 für einen Benutzer im Kraftfahrzeug 100.

Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird. BEZUGSZEICHENLISTE

100 Kraftfahrzeug

110 Erster Bildsensor

120 Zweiter Bildsensor

130 Kommunikationseinrichtung

140 Anzeigeeinrichtung

150 Bildauswerteeinrichtung

200 Mobilgerät

210 Sende- und Empfangseinrichtung

220 Erfassungseinrichtung

230 Darstellungseinrichtung

240 Bildbearbeitungseinrichtung

260 Bildausschnitt einer Innenkamera

270 Bildausschnitt einer Außenkamera vorne/hinten

280 Bildausschnitt einer Außenkamera seitlich

300 Flussdiagramm

310 Erfassen eines ersten Bildes

320 Erfassen eines zweiten Bildes

330 Senden des ersten Bildes und des zweiten Bildes

340 Erstellen eines Bild-in-Bilds durch eine extern angeordnete Bildbearbeitungseinheit

350 Senden des Bild-in-Bilds an eine Kommunikationseinrichtung

360 Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung

370 Anzeigen des erstellten Bild-in-Bilds