Die Erfindung betrifft ein Kamerasystem nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Verfahren zu dessen Betrieb.

Kamerasysteme, sowohl in analoger als auch in digitaler Ausführung, sind hinreichend bekannt. Zur Erzeugung digitaler Kamerabilder verwenden entsprechende Kamerasysteme typischerweise Bildsensoren wie einen CM OS-Sensor. Ein solcher Bildsensor umfasst eine Vielzahl in einem zweidimensionalen Raster angeordnete Pixel, welche bei einer Belichtung ein elektronisches Signal ausgeben. Zur Erzeugung farbiger Kamerabilder werden den Pixeln Farbfilter vorgelagert, beispielsweise in Rot, Grün und Blau. Die Filter werden dazu in einem regelmäßigen Muster angeordnet. Bei den Filtern kann es sich beispielsweise um Bayer-Filter oder Interferenzfilter handeln. Durch das Vorsehen geeigneter Komponenten lassen sich auch einzelne Pixel für Infratotlicht empfindlich machen. Dies erlaubt es mit einem Bildsensor sowohl farbige Bilder im sichtbaren Spektrum, als auch Bilder im Infrarotspektrum zu erfassen.

Ist dies erwünscht, so werden typischerweise Belichtungsreihen erzeugt, aus einer Abfolge von Farbbildern und Infrarotbildern. Bei einem Kamerasystem mit einer Bilderfassungsrate (Framerate) von 60 Bildern pro Sekunde können somit jeweils Farbbilder und Infrarotbilder mit einer Erfassungsrate von 30 Bildern pro Sekunde aufgenommen werden, wenn abwechseln ein Farbbild und dann ein Infrarotbild aufgenommen wird.

Zur Erhöhung des Dynamikumfangs können in einer Belichtungsreihe auch Belichtungen mit unterschiedlichen Belichtungsdauern aufgenommen werden, was das Erzeugen von Hoch-Dynamik-Bereich-Bildern, besser bekannt als High-Dynamik-Range (HDR), ermöglicht. Bei einer Kamera mit einer Abtastrate von 60 Bildern pro Sekunde und drei aufeinanderfolgenden Belichtungen mit einer kurzen, mittleren und langen Belichtungsdauer ist dann beispielsweise das Erzeugen eines HDR-Videos mit einer Frequenz von 20 Bildern pro Sekunde möglich.

Die gleichzeitige Erzeugung von Infrarotbildern und HDR-Bildern sorgt zu einer Reduktion der Bildwiederholrate des entsprechenden vom Kamerasystem erzeugten HDR-Videostroms und Infrarot-Videostroms, da die Kamera hintereinander Farbbilder mit unterschiedlichen Belichtungsdauern und zusätzlich Infrarotbilder aufnehmen muss. Ist die Bildwiederholrate eines Videostroms zu gering, beispielsweise kleiner als 30 Bilder pro Sekunde, so wird ein entsprechendes Video als „ruckelig“ oder „hakelig“ wahrgenommen, was den Nutzerkomfort bei der Betrachtung verschlechtert. Eine zu große Belichtungsdauer bzw. eine zu große Zeitdifferenz zwischen den Einzelnen Bildern einer Belichtungsreihe geht zudem mit dem Auftreten von Bewegungsartfakten einher. Bewegt sich eine Person bei Aufnahme einer entsprechenden Belichtungsreihe, so erscheint diese im Videostrom „verschmiert“.

Kamerasysteme werden auch in Fahrzeugen eingesetzt, um Komfort- und Sicherheitsfunktionalitäten bereitzustellen. So lässt sich beispielsweise mittels Innenraumkamera eine Fahrerzustandsüberwachung oder eine Sitzbelegungsdetektion durchzuführen. Das Kamerasystem kann auch von den Fahrzeuginsassen zur Aufnahme von „Selfies“ oder zur Durchführung einer Videotelefonie genutzt werden. Insbesondere für die Bereitstellung von sicherheitsrelevanten Funktionen wie der Fahrerzustandsüberwachung werden Infrarotbildern aufgenommen, was eine ausreichende Bildqualität auch bei schlechten Lichtverhältnissen, beispielsweise bei Dunkelheit, gewährleistet. Dabei kann eine aktive Beleuchtung des Fahrzeuginnenraus mit einer Infrarotlichtquelle erfolgen, wenn ein entsprechendes Infrarotbild aufgenommen wird. Das Kamerasystem und die Infrarotlichtquelle werden hierzu synchronisiert.

Zur Reduktion von Kosten sowie zur möglichst effizienten Nutzung des im Fahrzeug zur Verfügung stehenden Bauraums sollen dabei möglichst wenig Kameras, bestenfalls eine einzige Kamera eingesetzt werden. Dabei entsteht das Erfordernis, gleichzeitig Kamerabilder bzw. Videos mit einem möglichst hohen Dynamikumfang, hoher Bildqualität als auch hoher Bildwiederholrate sowohl im sichtbaren Spektrum als auch im Infrarotspektrum aufzunehmen. Zur Erhöhung der Bildwiederholrate bei der Erzeugung von HDR-Videos ist ein entsprechendes Fahrzeugkamerasystem aus der DE 10 2018 112 345 A1 bekannt. Das Fahrzeugkamerasystem umfasst einen Ringspeicher, in den die mit dem Kamerasystem erzeugten Kamerabilder eingespeist werden. Der Ringspeicher weist eine gewisse Größe auf, sodass in der Vergangenheit erzeugte Kamerabilder durch aktuell erzeugte Kamerabilder überschrieben werden. Ein HDR-Bild wird dabei aus einer Belichtungsgruppe erzeugt. Eine solche Belichtungsgruppe umfasst beispielsweise drei Einzelbelichtungen mit einer jeweils unterschiedlichen Belichtungsdauer, beispielsweise eine kurze, mittlere und lange Belichtungsdauer. Das in der Druckschrift offenbarte Fahrzeugkamerasystem ermöglicht es bereits nach jeder Aufnahme einer Einzelbelichtung ein HDR-Bild zu erzeugen, anstatt erst eine vollständige Belichtungsgruppe aufnehmen zu müssen. So überschreibt die aktuell aufgenommene Einzelbelichtung diejenige Einzelbelichtung der zur Erzeugung des HDR-Bilds verwendeten Belichtungsgruppe mit derselben Belichtungsdauer. Bei drei unterschiedlichen Belichtungsdauern wird somit jede Einzelbelichtung zur Erzeugung von drei HDR-Bildern genutzt.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Kamerasystem und ein Verfahren zu dessen Betrieb anzugeben, mit dessen Hilfe gleichzeitig Kamerabilder bzw. Videos im sichtbaren Spektrum, als auch im Infrarotspektrum aufgenommen werden können und dabei trotz Vorsehens eines vergleichsweise hohen Dynamikumfangs in den Farbbildern eine hohe Bildwiederholrate sowohl für die Farbbilder, als auch die Infrarotbilder erzielt werden kann.

Erfindungsgemäß wird diese Aufgabe durch ein Kamerasystem mit den Merkmalen des Anspruchs 1 sowie ein Verfahren zu dessen Betrieb mit den Merkmalen des Anspruchs 13 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.

Ein Kamerasystem der eingangs genannten Art weist ein Kameramodul zur Erzeugung von Kamerabildern einer Szenerie und eine Recheneinheit zum Ansteuern des Kameramoduls und zur Verarbeitung der Kamerabilder auf, wobei das Kameramodul einen Bildsensor aufweist, welcher dazu eingerichtet ist, mittels RGB-Belichtungsmitteln Licht im sichtbaren Spektrum sowie mittels IR-Belichtungsmitteln Licht im Infrarotspektrum zu erfassen, das Kameramodul dazu eingerichtet ist, durch eine Belichtung des Bildsensors während zumindest zwei Erfassungsvorgängen mit unterschiedlichen Belichtungsdauern wenigstens zwei Einzelbilder der Szenerie aufzunehmen und die Recheneinheit dazu eingerichtet ist, wenigstens zwei Einzelbilder zu einem HDR-Bild zu fusionieren. Erfindungsgemäß wird das Kamerasystem durch das Vorsehen einer Infrarotlichtquelle weitergebildet, wobei die Recheneinheit erfindungsgemäß ferner dazu eingerichtet ist: das Kameramodul anzusteuern, um während wenigstens eines ersten Erfassungsvorgangs den Bildsensor mit einer ersten Belichtungsdauer zu belichten, wobei mittels der RGB-Belichtungsmittel ein erstes RGB-Bild erzeugt wird; die Infrarotlichtquelle anzusteuern, um die Szenerie während wenigstens eines zweiten Erfassungsvorgangs zusätzlich mit Infrarotlicht auszuleuchten und gleichzeitig das Kameramodul anzusteuern, um während des zweiten Erfassungsvorgangs den Bildsensor mit einer zur ersten abweichenden zweiten Belichtungsdauer zu belichten, wobei mittels der RGB-Belichtungsmittel ein zweites RGB-Bild und mittels der IR- Belichtungsmittel ein IR-Bild erzeugt wird; und das wenigstens eine erste RGB-Bild und das wenigstens eine zweite RGB-Bild zu einem HDR-Bild zu fusionieren.

Mit Hilfe des erfindungsgemäßen Kamerasystems wird es ermöglicht sowohl RGB-Bilder, also Farbbilder (die Buchstaben stehen beispielsweise für Rot, Grün und Blau), als auch IR-Bilder, also im Infrarotspektrum aufgenommene Bilder, mit einer vergleichsweise hohen Bilderfassungsrate aufzunehmen und dabei einen hohen Dynamikumfang in den Farbbildern zu gewährleisten. Kerngedanke ist dabei das gleichzeitige Erzeugen eines RGB-Bilds und eines I R-Bilds während des zweiten Erfassungsvorgangs. Damit aus dem ersten RGB-Bild und dem zweiten RGB-Bild ein HDR-Bild, also ein High-Dynamic-Range Bild, erzeugt werden kann, muss sich dabei die jeweilige Belichtungsdauer unterscheiden. Generell spielt es dabei keine Rolle, ob die erste Belichtungsdauer gegenüber der zweiten Belichtungsdauer größer oder kleiner ist. Bevorzugt ist jedoch die zweite Belichtungsdauer kleiner als die erste Belichtungsdauer, da zur Erzeugung des IR-Bilds bei gleichzeitiger Ausleuchtung der Szenerie mittels der Infrarotlichtquelle eine vergleichsweise kurze Belichtungsdauer verwendet wird. Typischerweise kann die zweite Belichtungsdauer in einer Größenordnung von 100 ps bis 1 ms liegen. Sollen mittels des erfindungsgemäßen Kamerasystems beispielsweise Personen erfasst werden, insbesondere die Blickrichtung einer Person nachverfolgt werden, so ist die Infrarotbeleuchtung der Person auf eine festgelegte Maximaldauer bei jeder Beleuchtung zu begrenzen, um die Augensicherheit der Person zu gewährleisten. Bei einer zu langen Infrarotbeleuchtung können sich zudem beleuchtete Oberflächen erwärmen. Dies gilt es zu vermeiden. Eine zu lange Belichtungsdauer wirkt sich zudem nachteilig auf die Lebensdauer des Bildsensors bzw. der Infrarotlichtquelle aus. Die Belichtungsdauer muss dabei ausreichend lang sein, um ein Unterbelichten der Belichtungsmittel, also beispielsweise entsprechender Pixel eines CMOS-Sensors, zu verhindern, darf aber auch nicht zu lange sein, um ein Überbelichten der Pixel zu vermeiden. Bei einer zu geringen Belichtungsdauer nimmt zudem sogenanntes Bildrauschen zu.

Das Kameramodul und die Recheneinheit können in eine gemeinsame Einrichtung integriert sein oder auch örtlich verteilt angeordnet sein. Bei einem Erfassungsvorgang wird ein Einzelbild erzeugt. Der Erfassungsvorgang lässt sich somit auch als Belichtung bezeichnen. Eine entsprechende Belichtungsreihe lässt sich dann auch als Erfassungsgruppe bezeichnen. Die Infrarotlichtquelle kann beliebig gegenüber dem Kameramodul und der Recheneinheit angeordnet sein und eine beliebige Anzahl an Infrarotleuchtmitteln aufweisen. Das erfindungsgemäße Kamerasystem kann beispielsweise in ein Fahrzeug integriert sein. In diesem Falle kann das Kameramodul beispielsweise in das Instrumentenbrett des Fahrzeugs, beispielsweise im Bereich des Kombiinstruments oder der Head-Unit, angeordnet sein und in Richtung des Fahrzeuginnenraums ausgerichtet sein. Die Infrarotlichtquelle kann seitlich neben dem Kameramodul angeordnet sein. Bei einem in ein Fahrzeug integrierten Kamerasystem kann die Recheneinheit auch von einem Steuergerät eines Fahrzeuguntersystems ausgebildet sein.

Eine vorteilhafte Weiterbildung des Kamerasystems sieht vor, dass das Kameramodul und die Recheneinheit ferner dazu eingerichtet sind die Szenerie fortlaufend mit einer Abfolge aus einer Vielzahl von zumindest ersten und zweiten Erfassungsvorgängen zu erfassen, wobei zumindest mehrere zeitlich hintereinander aufgenommene erste RGB- Bilder und zweite RGB-Bilder zu einem RGB-Videostrom zusammengefügt werden, mehrere zeitlich hintereinander aufgenommene IR-Bilder zu einem IR-Videostrom zusammengefügt werden und/oder mehrere zeitlich hintereinander erzeugte HDR-Bilder zu einem HDR-Videostrom zusammengefügt werden. Das erfindungsgemäße Kamerasystem erlaubt somit das Erzeugen von Videoströmen, also Videos mit vergleichsweise hohen Bildwiederholraten. Weist das Kamerasystem beispielsweise eine Abtastrate von 60 Bildern pro Sekunde auf, so lässt sich ein RGB-Videostrom, also ein Farbvideo mit einer Bildwiederholrate von 60 Bildern pro Sekunde, ein IR-Videostrom mit einer Bildwiederholrate von 30 Bildern pro Sekunde und ein HDR-Videostrom mit 30 Bildern pro Sekunde erzeugen. Es lassen sich also Farbvideos mit der gleichen Bildwiederholrate wie der Bilderfassungsrate des Kameramoduls erzeugen sowie IR- Videos sowie HDR-Videos erzeugen, deren Bildwiederholrate der halben Abtastrate des Kameramoduls entsprechen.

Die entsprechenden Videoströme können im Fahrzeug zur Bereitstellung verschiedenster Funktionalitäten genutzt werden. Beispielsweise können die Kamerabilder und/oder Videos von einer Recheneinrichtung verarbeitet werden und direkt oder daraus gewonnene Informationen als Eingangsgröße von einem Fahrerassistenzsystem eingelesen werden. Beispielsweise kann der IR-Videostrom zum Nachverfolgen der Blickrichtung der fahrzeugführenden Person und/oder zum Durchführen einer Müdigkeitserkennung basierend auf einer Liedschlagfrequenz genutzt werden.

Das erfindungsgemäße Kamerasystem führt entsprechend die Verfahrensschritte des Erzeugens und Ausleitens der RGB-Videoströme, IR-Videoströme und/oder HDR- Videoströme aus. Hierzu erfasst das Kamerasystem die Szenerie fortlaufend mit der Abfolge der jeweiligen Erfassungsvorgänge.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Kamerasystems ist die Recheneinheit ferner dazu eingerichtet:

- das Kameramodul anzusteuern, um während wenigstens eines dritten Erfassungsvorgangs den Bildsensor mit einer zur ersten und zweiten abweichenden dritten Belichtungsdauer zu belichten, wobei mittels der RGB-Belichtungsmittel ein drittes RGB-Bild erzeugt wird;

- die Reihenfolge der Erfassungsvorgänge festzulegen auf: erster Erfassungsvorgang, zweiter Erfassungsvorgang und dritter Erfassungsvorgang; und - das wenigstens eine erste RGB-Bild, das wenigstens eine zweite RGB-Bild und das wenigstens eine dritte RGB-Bild zu einem HDR-Bild zu fusionieren.

Das erfindungsgemäße Kamerasystem erlaubt es also zur Erzeugung eines HDR-Bilds auch mehr als zwei unterschiedliche Belichtungen zu berücksichtigen. Die dritte Belichtungsdauer weicht zur ersten und zweiten Belichtungsdauer ab, und ist insbesondere größer als die zweite Belichtungsdauer. Dabei kann die dritte Belichtungsdauer größer oder kleiner als die erste Belichtungsdauer sein.

Das Kamerasystem ist somit dazu in der Lage den Verfahrensschritt auszuführen einen dritten Erfassungsvorgang mit einer dritten Belichtungsdauer durchzuführen und entsprechend ein drittes RGB-Bild zu erzeugen und dieses für die Fusionierung des HDR-Bildes zusätzlich zu berücksichtigen. Hierdurch lässt sich der Dynamikumfang des HDR-Bildes weiter vergrößern.

Je mehr Einzelbilder mit unterschiedlichen Belichtungsdauern erzeugt und entsprechende Videoströme ausgeleitet werden, desto stärker sinkt die Bildwiederholrate der entsprechenden Videoströme ab. Weist das Kamerasystem beispielsweise eine Abtastrate von 60 Bildern pro Sekunde auf, so wird die Bildwiederholrate für den IR- Videostrom und für den HDR-Videostrom jeweils 20 Bilder pro Sekunde betragen, wenn besagter erster, zweiter und dritter Erfassungsvorgang durchgeführt werden. Generell wäre es dabei denkbar noch weitere Erfassungsvorgänge, also beispielsweise einen dritten, vierten oder fünften Erfassungsvorgang oder auch noch mehr Erfassungsvorgänge vorzusehen, jeweils mit einer individuellen Belichtungsdauer. Entsprechend lässt sich der Dynamikumfang der HDR-Bilder auf Kosten der Bildwiederholrate verbessern.

Zur Erzeugung eines HDR-Bildes wird eine Erfassungsgruppe aus der ersten, zweiten und dritten Erfassung verwendet. Das Kamerasystem erzeugt somit eine Abfolge aus der ersten, zweiten und dritten Erfassung, bevor erneut der erste, zweite und dritte Erfassungsvorgang durchgeführt wird. Je nachdem an welcher Stelle die Abfolge der Erfassungsvorgänge betrachtet wird, entspricht dies auch einer Reihenfolge der Erfassungsvorgänge: zweiter Erfassungsvorgang, dritter Erfassungsvorgang und erster Erfassungsvorgang bzw. dritter Erfassungsvorgang, erster Erfassungsvorgang und zweiter Erfassungsvorgang. Die jeweiligen Erfassungsvorgänge lassen sich also beliebig umstellen, relevant ist lediglich, dass jeder der drei verschiedenen Erfassungsvorgänge genau einmal erfolgt, bevor ein jeweiliger Erfassungsvorgang erneut durchgeführt wird, also erneut eine Einzelbild mit der jeweiligen Belichtungsdauer aufgenommen wird.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Kamerasystems sieht außerdem vor, dass die Recheneinheit ferner dazu eingerichtet ist:

- das Kameramodul anzusteuern, um während wenigstens eines dritten Erfassungsvorgangs den Bildsensor mit einer zur ersten und zweiten abweichenden dritten Belichtungsdauer zu belichten, wobei mittels der RGB-Belichtungsmittel ein drittes RGB-Bild erzeugt wird;

- die Reihenfolge der Erfassungsvorgänge festzulegen auf: zweiter Erfassungsvorgang, erster Erfassungsvorgang, zweiter Erfassungsvorgang und dritter Erfassungsvorgang; und

- das wenigstens eine erste RGB-Bild mit wenigstens einem zweiten RGB-Bild und das wenigstens eine dritte RGB-Bild mit wenigstens einem zweiten RGB-Bild oder das wenigstens eine erste RGB-Bild, das wenigstens eine zweite RGB-Bild und das wenigstens eine dritte RGB-Bild zu einem HDR-Bild zu fusionieren.

Abweichend zur vorigen Ausführung wird nun alternierend ein Erfassungsvorgang bei dem alleinig ein RGB-Bild erzeugt wird, und ein Erfassungsvorgang bei dem sowohl ein RGB-Bild als auch ein IR-Bild erzeugt werden, durchgeführt. Dies erlaubt es trotz Vorsehens des dritten Erfassungsvorgangs mit der dritten Belichtungsdauer entsprechende Videoströme mit einer erhöhten Bildwiederholrate auszuleiten. Bei einer Abtastfrequenz von 60 Hertz lässt sich somit eine Bildwiederholrate für den IR- Videostrom und für den HDR-Videostrom von jeweils 30 Bildern pro Sekunde gewährleisten. Dies ist möglich, indem zwischen dem ersten und dritten Erfassungsvorgang bzw. zwischen dem dritten und ersten Erfassungsvorgang jeweils ein zweiter Erfassungsvorgang eingeschoben wird und zur Erzeugung von HDR-Bildern jeweils zwei unterschiedliche Belichtungen verwendet werden, also einmal eine Kombination aus erster Erfassungsvorgang und zweiter Erfassungsvorgang und einmal dritter Erfassungsvorgang und zweiter Erfassungsvorgang. Auch wäre es möglich alle drei Erfassungsvorgänge zur Erzeugung der HDR-Bilder zu verwenden. Hierdurch wird die Bildwiederholrate für einen entsprechenden HDR-Videostrom auf 20 Bilder pro Sekunde abgesenkt. Ferner wird dann einer der beiden zweiten Erfassungsvorgänge für die Erzeugung des HDR-Bilds ausgespart.

Innerhalb einer Erfassungsgruppe zur Erzeugung eines HDR-Bilds kommt somit jeder Erfassungsvorgang, bei dem lediglich ein RGB-Bild erzeugt wird, genau einmal vor, wobei diese Erfassungsvorgänge jeweils durch einen Erfassungsvorgang voneinander getrennt sind, bei dem jeweils sowohl ein RGB-Bild, als auch ein IR-Bild erzeugt werden.

Werden entsprechend noch mehr Erfassungsvorgänge, beispielsweise auch ein vierter, fünfter oder sechster Erfassungsvorgang durchgeführt, bei dem jeweils ausschließlich ein RGB-Bild mit einer jeweils individuellen Belichtungsdauer aufgenommen wird, so wird zwischen diesen Erfassungsvorgängen jeweils ein zweiter Erfassungsvorgang eingeschoben.

Das erfindungsgemäße Kamerasystem führt hierzu entsprechende Verfahrensschritte aus.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst die Recheneinheit einen Ringspeicher, welcher dazu eingerichtet ist, zeitlich hintereinander erzeugte Einzelbilder sequentiell zwischenzuspeichern, sodass durch Hinzufügen eines jeweiligen aktuellsten Einzelbilds in den Ringspeicher das jeweilige älteste Einzelbild aus dem Ringspeicher gelöscht wird und welcher zumindest eine solche Speicherkapazität aufweist, das permanent zumindest ein erstes RGB-Bild, ein zweites RGB-Bild und ein IR-Bild im Ringspeicher vorhaltbar sind; und wobei dabei die Recheneinheit ferner dazu eingerichtet ist, zur Erzeugung des HDR-Bilds zumindest das jeweils aktuellste erste RGB-Bild und zweite RGB-Bild zum HDR-Bild zu fusionieren. Dies erlaubt es einen HDR-Videostrom mit der gleichen Bildwiederholrate wie der Abtastrate des Kameramoduls zu generieren.

Das Kamerasystem führt dann hierzu entsprechende Verfahrensschritte aus.

Somit ist es zur Erzeugung eines HDR-Bilds nicht mehr notwendig eine vollständige Erfassungsgruppe, bestehend aus zumindest erstem RGB-Bild und zweitem RGB-Bild aufzunehmen. So kann bereits ein HDR-Bild nach jeder Aufnahme eines RGB-Bilds, also beispielsweise sowohl nach Aufnahme des ersten RGB-Bilds, als auch nach Aufnahme des zweiten RGB-Bilds, erzeugt werden.

Dabei kann gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Kamerasystems die Recheneinheit ferner dazu eingerichtet sein die Reihenfolge der Erfassungsvorgänge festzulegen auf:

- erster Erfassungsvorgang;

- dritter Erfassungsvorgang; und

- zweiter Erfassungsvorgang, und das jeweils aktuellste erste RGB-Bild, zweite RGB- Bild und dritte RGB-Bild zum HDR-Bild zu fusionieren.

Hierdurch lässt sich gegenüber der alleinigen Verwendung des ersten und zweiten Erfassungsvorgangs der Dynamikumfang des HDR-Bilds vergrößern. Dank der Verwendung des Ringspeichers kann auch hier eine Bildwiederholrate entsprechend der Abtastrate des Kameramoduls gewährleistet werden.

Hierzu führt das Kamerasystem die Verfahrensschritte aus: Durchführen des ersten Erfassungsvorgangs, dritten Erfassungsvorgangs und dann des zweiten Erfassungsvorgangs, und anschließendes fusionieren der jeweilig erzeugten RGB-Bilder zum HDR-Bild durch die Recheneinheit, wobei die jeweils aktuellsten Bilder aus dem Ringspeicher ausgelesen werden.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Recheneinheit ferner dazu eingerichtet die Reihenfolge der Erfassungsvorgänge festzulegen auf:

- zweiter Erfassungsvorgang;

- erster Erfassungsvorgang;

- zweiter Erfassungsvorgang; und

- dritter Erfassungsvorgang, und das jeweils aktuellste erste RGB-Bild, zweite RGB-Bild und dritte RGB-Bild zum HDR- Bild zu fusionieren.

Dies ermöglicht es die Bildwiederholrate des IR-Videostroms auf Kosten der Bildwiederholrate des HDR-Videostroms zu erhöhen. Während bei der Reihenfolge „erster Erfassungsvorgang, dritter Erfassungsvorgang und zweiter Erfassungsvorgang“ die Bildwiederholrate des IR-Videostroms einem Drittel der Abtastrate des Kameramoduls entspricht und die Bildwiederholrate des HDR-Videostroms der Abtastrate des Kameramoduls entspricht, so erlaubt die Reihenfolge „zweiter Erfassungsvorgang, erster Erfassungsvorgang, zweiter Erfassungsvorgang und dritter Erfassungsvorgang“ eine Bildwiederholrate des IR-Videostroms entsprechend der Hälfte der Abtastrate des Kameramoduls, was analog für die Bildwiederholrate des HDR- Videostroms gilt.

Entsprechend führt das Kamerasystem die Verfahrensschritte aus: Durchführen der jeweiligen Erfassungsvorgänge bei denen lediglich ein RGB-Bild aufgenommen wird, jeweils getrennt durch das Durchführen eines zweiten Erfassungsvorgangs und anschließendes fusionieren der jeweiligen RGB-Bilder zum HDR-Bild durch die Recheneinheit, wobei die jeweils aktuellsten Bilder aus dem Ringspeicher ausgelesen werden.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Kamerasystems sieht zudem vor, dass die Recheneinheit ferner dazu eingerichtet ist die Bewegungsgeschwindigkeit eines in wenigstens zwei aufeinanderfolgenden Einzelbildern anwesenden Objekts zu bestimmen, diese mit einem vorgegebenen Schwellwert zu vergleichen und die zu den korrespondierenden Erfassungsvorgängen erzeugten RGB-Bilder von der Fusionierung zu einem HDR-Bild auszusparen, wenn die Bewegungsgeschwindigkeit größer ist als der Schwellwert. Zur Bestimmung der Bewegungsgeschwindigkeit kann die Recheneinheit eine Änderung der Position des jeweiligen Objekts in den beiden Einzelbildern auswerten. Das Kamerasystem kann jedoch auch weitere Sensoren wie ein Radarsystem, eine Laserscanner oder dergleichen umfassen, mit dessen Hilfe das Erzeugen von Tiefeninformationen möglich ist. Dies ermöglicht es, insbesondere unter Berücksichtigung des Time-of-Flight-Prinzips, durch eine zeitabhängige Ortsänderung des Objekts dessen Bewegungsgeschwindigkeit zu ermitteln. Bewegt sich das entsprechende Objekt, beispielsweise ein Fahrzeuginsasse „zu schnell“, so erscheint das jeweilige Objekt in dem aus den entsprechenden RGB-Bildern erzeugtem HDR-Bild als „verwaschen“. Indem jedoch die entsprechenden RGB-Bilder von der Fusionierung zu einem HDR-Bild ausgespart werden, lässt sich verhindern, dass HDR-Bilder erzeugt werden, in denen Objekte unscharf bzw. verschmiert erscheinen. Neben der Verschmierung ist auch eine Verzerrung eines entsprechend zu schnell bewegten Objekts möglich. Zur Abhilfe können aus dem Stand der Technik bewährte Homographieverfahren und/oder Deghosting eingesetzt werden.

Entsprechend führt das Kamerasystem einen Verfahrensschritt aus, in welchem das Kamerasystem die Bewegungsgeschwindigkeit des Objekts in wenigstes zwei aufeinanderfolgenden Einzelbildern bestimmt, diese mit dem vorgegebenen Schwellwert vergleicht und bei Überschreiten der Bewegungsgeschwindigkeit des Schwellwerts diese RGB-Bilder von der Fusionierung zum HDR-Bild ausspart.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Kamerasystems sieht vor, dass die Recheneinheit ferner dazu eingerichtet ist wenigstens eine Kante eines in wenigstens zwei aufeinanderfolgenden Einzelbildern anwesenden Objekts und/oder eine Oberflächenstruktur des Objekts zu erkennen, die Kante und/oder die Oberflächenstruktur in den jeweiligen Einzelbildern miteinander zur Erkennung eines Unterschieds zu vergleichen und die zu korrespondierenden Erfassungsvorgängen erzeugten RGB-Bilder von der Fusionierung zu einem HDR-Bild auszusparen, wenn der erkannte Unterschied größer ist als ein vorgegebener Schwellwert.

Es wird hierzu ein entsprechender Verfahrensschritt vom Kamerasystem durchgeführt.

Es kann vorkommen, dass vom Kamerasystem erfasste Materialien im sichtbaren Spektrum und im Infrarotspektrum ein unterschiedliches Reflektionsvermögen aufweisen. Dies kann beispielsweise dazu führen, dass eine obere Kleidungsschicht eines Fahrzeuginsassen im Infrarotspektrum als durchsichtig erscheint oder das Muster von einem Karohemd im Infrarotspektrum nicht zu erkennen ist. Solche RGB-Bilder können von einer Fusionierung zu einem HDR-Bild ausgespart werden.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Kamerasystems sieht ferner vor, dass die Recheneinheit ferner dazu eingerichtet ist ein Maschinenlernmodell auszuführen, in welches die wenigstens zwei Einzelbilder als Eingangsgröße einlesbar sind, wenn der Unterschied größer ist als der Schwellwert, woraufhin das Maschinenlernmodell aus den wenigstens zwei Einzelbildern ein Korrekturbild erzeugt, in welchem die Kante und/oder Oberflächenstruktur zur Absenkung des Unterschieds unter den Schwellwert hervorgehoben und/oder anders positioniert dargestellt ist.

Das Kamerasystem führt hierzu einen entsprechenden Verfahrensschritt aus.

Bei dem Maschinenlernmodell kann es sich insbesondere um ein künstliches neuronales Netz handeln bzw. ein solches einsetzen. Das Maschinenlernmodell kann in den entsprechenden Einzelbildern dank eines ausreichenden Trainings Oberflächenstrukturen, Kleidungen, Muster, Gesichtsteile, Augen, Zähne und dergleichen erkennen und diese jeweils in den zwei Einzelbildern zueinander korrelieren. Fehlt die entsprechende Oberflächenstruktur und/oder Kante dann in einem der Einzelbilder, so fügt das Maschinenlernmodell diese in dem entsprechenden Einzelbild nachträglich ein bzw. positioniert diese anders.

Bevorzugt handelt es sich bei den wenigstens zwei aufeinanderfolgenden Einzelbildern zumindest um ein RGB-Bild und zumindest ein IR-Bild. So kann beispielsweise das Muster eines Karohemds in einem RGB-Bild erkannt werden und zur Darstellung in ein entsprechendes IR-Bild übertragen werden. Analog lassen sich beispielsweise transparente Kleidungsschichten undurchsichtig machen oder beispielsweise aufgrund von Dunkelheit in einem RGB-Bild nicht erkennbare Kanten aus dem IR-Bild in das entsprechende zu dunkle RGB-Bild übertragen und dort hervorheben.

Bevorzugt ist die Recheneinheit ferner dazu eingerichtet das Kameramodul und die Infrarotlichtquelle anzusteuern, um die zweite Belichtungsdauer, eine Zeitdauer mit der die Infrarotlichtquelle betrieben wird und/oder eine Empfindlichkeit der IR- Belichtungsmittel während des zweiten Erfassungsvorgangs in Abhängigkeit einer durch die Analyse wenigstens eines bereits erzeugten RGB-Bilds, I R-Bilds und/oder HDR-Bilds gewonnen Bildstatistik zu verändern.

Das Kamerasystem führt hierzu einen entsprechenden Verfahrensschritt aus.

Bei der Empfindlichkeit der IR-Belichtungsmittel handelt es sich beispielsweise um eine ISO-Empfindlichkeit. Als Bildstatistik kann beispielsweise ein Histogramm über die Luminanz oder die Bewertung ob unterste bzw. oberste Bins gefüllt sind, also einzelne Pixel unter- oder überbelichtet sind, erzeugt werden. Eine entsprechende Bildstatistik kann für ein jeweiliges gesamtes Einzelbild, also beispielsweise das gesamte RGB-Bild, erzeugt werden oder auch für eine oder mehrere Interessensregionen eines Bilds. Dabei kann auch eine Gewichtung für die unterschiedlichen Interessensregionen durchgeführt werden. Hierdurch lässt sich erreichen, dass relevante Bildbereiche besonders gut erkennbar sind. So lässt sich durch das Beeinflussen der zweiten Belichtungsdauer, der Zeitdauer, mit der die Infrarotlichtquelle betrieben wird und über die Empfindlichkeit der IR-Belichtungsmittel beeinflussen, wie hell die einzelnen Strukturen der Szenerie im IR- Bild erkennbar sind. Als Interessensregion lässt sich dann beispielsweise der Bildausschnitt des I R-Bilds definieren, in dem sich die Augen der fahrzeugführenden Person eines Fahrzeugs befinden. Die Bilderfassung kann dann so eingestellt werden, dass in den entsprechenden IR-Bildern die Augen der fahrzeugführenden Person dann mit ausreichender Güte erkannt werden können. Entsprechende Interessensregionen können auch adaptiv verschoben werden, beispielsweise, weil sich eine fahrzeugführende Person bewegt oder ihren Sitz verstellt.

Unter Berücksichtigung der Bildstatistik des oder der RGB-Bilder bzw. HDR-Bilder lässt sich die Belichtung des entsprechenden I R-Bilds anpassen, sodass nach Möglichkeit auch optimal verwertbare RGB-Bilder erzeugt werden. Die Bildmetriken des IR-Bilds werden dabei jedoch bevorzugt, da im Fahrzeugumfeld die Verwertung der I R-Bilder für sicherheitsrelevante Funktionalitäten von Bedeutung sind. Beispielsweise kann die zweite Belichtungsdauer vergrößert werden, sodass ein Unterbelichten des entsprechenden zweiten RGB-Bilds verhindert wird, da ja das zweite RGB-Bild und das IR-Bild mit derselben Belichtungsdauer aufgenommen werden. Dabei wird jedoch die zweite Belichtungsdauer nur so weit vergrößert, dass keine Überbelichtung des IR-Bilds droht. Zusätzlich kann dabei beispielsweise die Zeitdauer, mit der die Infrarotlichtquelle während des zweiten Erfassungsvorgangs betrieben wird, reduziert werden, um zusätzlich eine zu starke Belichtung des IR-Bilds zu verhindern. Hierdurch lässt sich die zweite Belichtungsdauer noch weiter vergrößern. Analog kann dabei die Empfindlichkeit der IR-Belichtungsmittel abgesenkt werden, sodass das entsprechende IR-Bild zusätzlich dunkler erscheint. Dies übt sich vorteilhaft auf das Rauschverhältnis des IR-Bilds aus. Auch darf die zweite Belichtungsdauer nicht so weit vergrößert werden, dass die Augensicherheit der erfassten Personen gefährdet ist, von der Infrarotlichtquelle beleuchtete Oberflächen zu stark erhitzt werden und/oder die Lebensdauer der Infrarotlichtquelle zu stark leidet.

Ein erfindungsgemäßes Verfahren zum Betreiben eines im vorigen beschriebenen Kamerasystems sieht vor, dass

- während wenigstens eines ersten Erfassungsvorgangs der Bildsensor des Kameramoduls mit einer ersten Belichtungsdauer belichtet wird, wobei mittels der RGB-Belichtungsmittel ein erstes RGB-Bild erzeugt wird;

- die Infrarotlichtquelle aktiviert wird, um die Szenerie während wenigstens eines zweiten Erfassungsvorgangs zusätzlich mit Infrarotlicht auszuleuchten und während des zweiten Erfassungsvorgangs der Bildsensor des Kameramoduls mit einer zur ersten abweichenden zweiten Belichtungsdauer belichtet wird, wobei mittels der RGB- Belichtungsmittel ein zweites RGB-Bild und mittels der IR-Belichtungsmittel ein IR-Bild erzeugt wird; und

- die Recheneinheit das wenigstens eine erste RGB-Bild und das wenigstens eine zweite RGB-Bild zu einem HDR-Bild fusioniert.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Kamerasystems und des Verfahrens zu dessen Betrieb ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.

Dabei zeigen:

Fig. 1 eine schematisierte Darstellung eines erfindungsgemäßen Kamerasystems;

Fig. 2 eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer ersten Ausführung;

Fig. 3 eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer zweiten Ausführung;

Fig. 4 eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer dritten Ausführung;

Fig. 5 eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer vierten Ausführung;

Fig. 6 eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer fünften Ausführung; und Fig. 7 Eine Reihenfolge der vom Kamerasystem durchgeführten Erfassungsvorgänge gemäß einer sechsten Ausführung.

Figur 1 zeigt ein erfindungsgemäßes Kamerasystem 1 welches in ein Fahrzeug 9 integriert ist. Das Kamerasystem 1 umfasst ein Kameramodul 2, eine Recheneinheit 4 sowie eine Infrarotlichtquelle 7. Das Kameramodul 2 und die Infrarotlichtquelle 7 sind so am Fahrzeug 9 angeordnet und zu diesem ausgerichtet, dass als Szenerie 3 vom Kameramodul 2 ein Innenraum des Fahrzeugs 9 erfasst wird bzw. von der Infrarotlichtquelle 7 mit Infrarotlicht ausgeleuchtet wird. Dies ermöglicht eine Erfassung der Fahrzeuginsassen. Die Recheneinheit 4 kann beliebig gegenüber dem Kameramodul 2 und der Infrarotlichtquelle 7 angeordnet sein, beispielsweise integriert in eine gemeinsame Einheit oder auch verteilt, sodass die Recheneinheit 4 von einer Recheneinheit des Fahrzeugs 9 ausgebildet wird, beispielsweise von einem Steuergerät eines Fahrzeuguntersystems.

Das Kameramodul 2 umfasst einen Bildsensor 5 mit RGB-Belichtungsmitteln 6.1 und IR- Belichtungsmitteln 6.2. Die jeweiligen Belichtungsmittel 6.1 und 6.2 sind auf dem Bildsensor 5 in einer zweidimensionalen Matrix angeordnet. Bei einer Belichtung des Bildsensors 5 ist es möglich mit den RGB-Belichtungsmitteln 6.1 ein Farbbild zu erzeugen, welches auch als RGB-Bild RGB bezeichnet wird, siehe hierzu die folgenden Figuren. Analog ist es möglich mittels der IR-Belichtungsmittel 6.2 Infrarotlicht zu detektieren und somit I R-Bilder IR zu erzeugen.

Das Kamerasystem 1 erlaubt es fortwährend aufgenommene Einzelbilder zu einem Videostrom zusammenzufügen, wobei das Aneinanderreihen von RGB-Bildern, also Farbbildern, das Erzeugen eines Farbvideos erlaubt und das Aneinanderreihen der IR- Bilder, also der im Infrarotspektrum aufgenommen Bilder, das Erzeugen eines Infrarotvideos erlaubt. Farbbilder bzw. Farbvideos können von einem Fahrzeuginsassen als Entertainment genutzt werden, beispielsweise zum Aufnehmen von Selfies oder zur Durchführung einer Videotelefonie. Die I R-Bilder IR bzw. IR-Videos werden vom Fahrzeug 9 insbesondere zur Bereitstellung sicherheitsrelevanter Funktionalitäten verarbeitet, beispielsweise um eine Überwachung der Vitalzeichen oder der Aufmerksamkeit einer fahrzeugführenden Person durchzuführen. Dank der Beleuchtung mittels der Infrarotlichtquelle 7 können dabei auch Kamerabilder mit einer zur Auswertung ausreichenden Qualität bei schlechten Sichtverhältnissen, beispielsweise nachts, aufgenommen werden.

Die folgenden Figuren zeigen verschiedene Ausführungsbeispiele, in welcher Reihenfolge das Kamerasystem 1 welchen Erfassungsvorgang EV1 , EV2, EV3 durchführt. So nimmt das Kamerasystem 1 fortlaufend einen kontinuierlichen Strom von Einzelbildern auf, welcher eine Abfolge 8 der jeweiligen Erfassungsvorgänge EV1 , EV2, EV3 darstellt.

Figur 2 zeigt ein erstes Ausführungsbeispiel, bei dem alternierend ein erster Erfassungsvorgang EV1 und ein zweiter Erfassungsvorgang EV2 durchgeführt werden. Das Kamerasystem 1 weist dabei eine Abtastrate f KAMERA von n auf. Beispielsweise beträgt die Abtastrate fKAMERA 60 Bilder pro Sekunde, also n = 60 Hz. Während des ersten Erfassungsvorgangs EV1 erzeugt das Kamerasystem 1 ein erstes RGB-Bild RGB mit einer ersten Belichtungsdauer, welche durch eine 0 symbolisiert wird. Während eines zweiten Erfassungsvorgangs EV2 erzeugt das Kamerasystem 1 mittels der RGB- Belichtungsmittel 6.1 und der IR-Belichtungsmittel 6.2 gleichzeitig ein IR-Bild IR und zweites RGB-Bild RGB mit einer zweiten Belichtungsdauer, welche insbesondere kleiner ist als die erste Belichtungsdauer, angedeutet durch die Ziffer -1. Dabei werden das IR- Bild IR und das zweite RGB-Bild RGB beide mit derselben Belichtungsdauer, nämlich besagter zweiter Belichtungsdauer, erzeugt.

Zur Erzeugung eines HDR-Bilds HDR werden zumindest zwei RGB-Bilder mit unterschiedlicher Belichtungsdauer durch die Recheneinheit 4 fusioniert. Hierzu werden jeweils zwei Erfassungsvorgänge zu einer Erfassungsgruppe EG kombiniert, was in den Figuren durch gestrichelte Boxen symbolisiert ist.

Dabei spielt es keine Rolle ob in der Abfolge 8 zuerst der erste Erfassungsvorgang EV1 oder zuerst der zweite Erfassungsvorgang EV2 folgen. In Figur 2 sind für beide Varianten geeignete Boxen für die jeweiligen Erfassungsgruppen EG eingezeichnet.

Die entsprechend erfassten bzw. erzeugten Bilder können dann zu einem Videostrom zusammengefügt werden. Für das Ausführungsbeispiel in Figur 2 beträgt dabei eine Bildwiederholrate f _iR eines IR-Videostroms IR-VID die Hälfte der Abtastrate fKAMERA des Kameramoduls 2, eine Bildwiederholrate HDR eines HDR-Videostroms HDR-VID der Hälfte der Abtastrate KAMERA des Kameramoduls 2 und eine Bildwiederholrate f _R GB eines RGB-Videostroms RGB-VID der Abtastrate KAMERA des Kameramoduls 2. Der RGB- Videostrom RGB-VID wird dabei jedoch „flackern“, da die aneinander gereihten Bilder aufgrund der unterschiedlichen Belichtungsdauern abwechselnd hell bzw. dunkel sind. Eine visuelle Ausgabe des RGB-Videostroms RGB-VID stellt somit keine bevorzugt Ausführungsform dar, ist generell jedoch möglich.

Figur 3 zeigt eine alternative Ausführung, bei der zusätzlich ein dritter Erfassungsvorgang EV3 durchgeführt wird. Dabei wird der Bildsensor 5 mit einer dritten Belichtungsdauer belichtet und mittels der RGB-Belichtungsmittel 6.1 ein drittes RGB- Bild RGB aufgenommen. Die dritte Belichtungsdauer kann größer oder kleiner als eine der beiden anderen Belichtungsdauern sein, beispielsweise größer als die erste Belichtungsdauer, angedeutet durch die Ziffer +1. Die Ziffern +1 , 0 und -1 stehen hier für die Belichtungsdauern zugeordneter Erfassungsvorgänge, beispielsweise gegenüber 0 ist +1 eine längere und -1 eine kürzer, vorzugsweise eine für die Infrarotaufnahme geeignete sehr viel kürzere Belichtungszeit. In Figur 5 hingegen ist die dritte Belichtungsdauer des Erfassungsvorgangs EV3 kleiner als die erste Belichtungsdauer des Erfassungsvorgangs EV1 , dementsprechend sind die beiden Ziffern 0 und +1 entsprechend vertauscht, d.h. EV1 weist in Figur 5 die Ziffer 0 gegenüber der Ziffer 1 in Fig. 3 auf und EV3 weist in Fig. 5 die Ziffer +1 gegenüber der Ziffer -1 in Fig. 3 auf. Durch das Vorsehen eines dritten Erfassungsvorgangs lässt sich der Dynamikumfang der HDR-Bilder HDR vergrößern, auf Kosten der jeweiligen Bildwiederholraten.

Dabei umfasst in dem in Figur 3 gezeigten Ausführungsbeispiel jede Erfassungsgruppe EG genau einen ersten Erfassungsvorgang EV1, genau einen zweiten Erfassungsvorgang EV2 und einen dritten Erfassungsvorgang EV3.

Figur 4 zeigt eine weitere alternative Ausgestaltung, bei der nach jedem Erfassungsvorgang, bei dem abwechselnd ein RGB-Bild RGB mit einer Belichtung mit 0 und +1 erzeugt wird, ein zweiter Erfassungsvorgang EV2 mit einer Belichtungszeit -1 , d.h. der Belichtungszeit für die Infrarotaufnahme dazwischengeschoben wird. Dies erlaubt eine Vergrößerung der jeweiligen Bildwiederholrate f| _R , fHDR der jeweiligen Videoströme IR-VID, HDR-VID. Zur Erzeugung der direkt aufeinanderfolgenden HDR-Bilder HDR werden dabei zwei RGB-Bilder RGB mit unterschiedlichen Belichtungsdauerkombinationen genutzt, also einmal 0 und -1 , und einmal +1 und -1. Generell wäre es auch möglich zur Erzeugung der HDR-Bilder HDR alle drei Belichtungsdauern zu verwenden, also -1 , 0 und +1 und dabei die Bildwiederholrate des HDR-Videostroms HDR-Vid auf n/3 abzusenken. Diese Variante ist in keiner der Figuren gezeigt.

Figur 5 zeigt eine weitere alternative Ausgestaltung bei der die vom Kamerasystem 1 erzeugten Einzelbilder zumindest temporär in einem Ringspeicher zwischengespeichert werden. Dabei werden ältere Einzelbilder mit jedem Erfassungszyklus durch aktuellere Einzelbilder überschrieben. Für eine bessere Übersichtlichkeit werden in den Figuren 5 bis 7 die im Ringspeicher aufeinanderfolgenden Erfassungsgruppen EG zur Erzeugung der HDR-Bilder HDR dabei zunehmend größer dargestellt, d.h. der am kleinsten dargestellten Erfassungsgruppe EG bspw. zum Zeitpunkt to folgt die nächst größere bspw. zum Zeitpunkt ti , dieser wiederum die nächst größere bspw. zum Zeitpunkt t ₃ usw. Die jeweils links von einer der Erfassungsgruppe liegenden Daten zu Einzelbilder können dementsprechend aus dem Ringspeicher entfallen, die frei werdenden Speicherplätze des Ringspeichers werden auf der gegenüberliegenden Seite mit neuen Daten aufgefüllt. Die Belichtungsdauer des dritten Erfassungsvorgangs EV3 ist wie bereits erwähnt hier in Fig. 5 kleiner als die Belichtungsdauer des ersten Erfassungsvorgangs EV1.

Zur Erzeugung der HDR-Bilder HDR werden dann immer die jeweils aktuellsten RGB- Bilder RGB des Ringspeichers verwendet, der vorliegend vorzugsweise lediglich drei Speicherplätze aufweisen kann. Wie in Figur 5 dargestellt entspricht dies einer gleitenden Erfassungsgruppe EG. Somit ist es nicht mehr erforderlich eine jeweilige Erfassungsgruppe EG vollständig aufzunehmen, um ein HDR-Bild HDR zu erzeugen. Es reicht vielmehr aus lediglich einen weiteren Erfassungsvorgang EV1 , EV2 oder EV3 durchzuführen, um eine neue Erfassungsgruppe bilden und ein HDR-Bild HDR erzeugen zu können. Bei einem Ringspeicher mit drei Speicherplätzen wird beispielsweise ein erstes HDR-Bild HDR aus den am linken äußeren Rand gezeigten Erfassungsvorgängen EV1 , EV3 und EV2 erzeugt. Nach einem Speicherupdate entfällt der am Speicherrand links angeordnete EV1 , dafür wird ein neuer EV1 auf der rechten Seite eingespeichert und das HDR-Bild HDR aus den Erfassungsvorgängen EV3, EV2 und dem neuen EV1 gebildet. Im nächsten update entfällt links EV2, dafür wird ein neues EV3 rechts eingespeichert, das HDR-Bild HDR wird dann aus EV2, EV1 und dem neuen EV3 gebildet. Der Ringspeicher wird kontinuierlich upgedatet, der nächste Schritt entspricht wieder dem obengenannten ersten Schritt. Figur 5 zeigt dabei den mit Figur 3 vergleichbaren Fall, dass jeder unterschiedliche Erfassungsvorgang EV1, EV2, EV3 genau einmal durchgeführt wird, bevor er erneut durchgeführt wird. Das HDR-Bild wird jeweils aus den Erfassungsvorgängen EV1, EV2, EV3, d.h. mit den Belichtungszeiten +1 , 0 und -1 in abwechselnder Reihenfolge erzeugt. Gegenüber dem Ausführungsbeispiel in Figur 3 lässt sich hierdurch die Bildwiederholrate fHDR des HDR- Videostroms HDR-VID erhöhen auf die Abtastrate fKAMERA=n des Kameramoduls 2, die Wiederholrate der Infrarotbilder beträgt fir=n/3.

Figur 6 zeigt eine weitere alternative Ausgestaltung, welche mit dem in Figur 4 gezeigtem Ausführungsbeispiel vergleichbar ist. Dabei wird jedes Mal ein zweiter Erfassungsvorgang EV2, also das gleichzeitige Erfassen eines RGB-Bilds RGB und eines I R-Bilds IR bei einer gleichzeitigen Ausleuchtung der Szenerie 3 mittels der Infrarotlichtquelle 7, durchgeführt, nachdem bzw. bevor ein solcher Erfassungsvorgang durchgeführt wird, bei dem lediglich ein RGB-Bild RGB abwechselnd mit einer Belichtungszeit +1 oder 0 aufgenommen wird. Die Erfassungsgruppe EG zur Erzeugung des HDR-Bildes wird dabei nicht jeden Zyklus wie in Fig. 5 sondern jeden zweiten Zyklus ermittelt. Mit jedem Zyklus wird der Ringspeicher neu beschrieben, auch hier weist der Ringspeicher vorzugsweise drei Speicherplätze auf, die prinzipielle Arbeitsweise des Ringspeichers entspricht dem der Figur 5. Hierdurch lässt sich die Bildwiederholrate f _iR des IR-Videostroms IR-VID von in Drittel auf n/2 erhöhen, wobei jedoch die Bildwiederholrate fHDR des HDR-Videostroms HDR-VID von n auf n/2 abgesenkt wird.

Auch könnten, wie in Figur 4 gezeigt, immer zwei unterschiedliche Belichtungsdauern zu einem HDR-Bild HDR fusioniert werden, also einmal 0 und -1 und einmal +1 und -1. Hierdurch würde jedoch der Dynamikumfang unnötigerweise reduziert werden.

Figur 7 zeigt eine weitere mögliche Ausführungsform, bei der die Bildwiederholrate des HDR-Videostroms HDR-Vid auf den Wert der Bilderfassungsrate des Kameramoduls gesteigert werden kann. Die Reihenfolge der im Ringspeicher zyklisch rollierend gespeicherten Erfassungsvorgänge ist dabei ein zweiter Erfassungsvorgang EV2 (Belichtungsdauer -1) gefolgt von einem dritten Erfassungsvorgang EV3 (Belichtungsdauer +1) und dann wieder ein zweiter Erfassungsvorgang gefolgt von einem ersten Erfassungsvorgang EV1 (Belichtungsdauer 0). Hierbei wird das HDR-Bild HDR mit jedem Erfassungszyklus aus im Ringspeicher gespeicherten, mit jeweils drei Belichtungsdauern

-1 , 0 und +1 aufgenommenen Bildern fusioniert. Die Erfassungsgruppe EG erstreckt sich damit im Wechsel mit jedem Zyklus über die letzten drei oder vier gespeicherten Erfassungsvorgänge EV, die eine Fusionierung mit den genannten drei Belichtungsdauern ermöglicht. Der Ringspeicher weist damit vorzugsweise vier Speicherplätze auf. In Figur 7 wären in einem ersten Zustand auf den vier Speicherplätzen aufeinanderfolgend der links dargestellte gestrichelt gezeichnete Erfassungsvorgang EV2, gefolgt von EV1 , EV2 und EV3 gespeichert, wobei das HDR- Bild HDR aus der gestrichelt gezeichneten Erfassungsgruppe mit den Erfassungsvorgängen EV3, EV2 und EV1 gebildet wird. Nach einem Update und Abspeicherung neuer Daten kommt im Ringspeicher rechts ein neuer Erfassungsvorgang EV2 hinzu und der gestrichelte gezeichnete linke EV2 entfällt, so dass im Ringspeicher nunmehr von links gesehen aufeinanderfolgend EV1 , EV2, EV3 und EV2 gespeichert sind. Das HDR-Bild HDR wird in der gepunktet gezeichneten Erfassungsgruppe EG aus dem jüngsten EV2, dem EV3 und EV1 erzeugt. Nach Abspeicherung neuer Daten kommt im Ringspeicher rechts ein neuer Erfassungsvorgang EV1 hinzu und der ältere linke EV1 entfällt, die Reihenfolge der Erfassungsvorgänge von links gesehen ist dann EV2, EV3, EV2 und EV1. Das HDR-Bild HDR wird in der gestrichelt gezeichneten Erfassungsgruppe EG aus den von links gesehen aufeinanderfolgenden Erfassungsvorgängen EV3, EV2 und EV1 erzeugt. Im nächsten Zyklus wird im Ringspeicher ein neues EV2 gespeichert und das ältere gelöscht. Der Ringspeicher umfasst wieder von links aufeinanderfolgend EV3, EV2, EV1 und EV2. Das HDR-Bild HDR wird in der gepunktet gezeichneten Erfassungsgruppe EG aus dem jüngsten EV2, dem EV1 und EV3 erzeugt.

Mit dem nächsten Speichervorgang wird ein EV3 eingespeichert und das ältere EV3 entfällt aus dem Speicher, so dass der Speicher wieder den oben genannten ersten Zustand aufweist, nämlich von links gesehen die Erfassungsvorgänge aufeinanderfolgend EV2, EV1 , EV2 und EV3, wobei das HDR-Bild HDR in der gestrichelt gezeichneten Erfassungsgruppe aus EV3, EV2 und EV1 erzeugt wird. Ausgehend von dem ersten Zustand wiederholen sich nachfolgend die auf den ersten Zustand folgenden Speichervorgänge und eine Erzeugung der HDR-Bilder HDR wie vorab beschrieben. Mit jedem Erfassungsvorgang EV2 wird dabei ein IR-Bild aufgenommen.

Mit Hilfe des erfindungsgemäßen Kamerasystems 1 und dem entsprechenden Verfahren zu dessen Betrieb ist es möglich auf Basis aktuell verfügbarer Bildsensoren 5 bzw. Kameramodule 2 gleichzeitig IR-Videoströme IR-VID sowie HDR-Videoströme HDR-VID mit einer ausreichenden Bildwiederholrate und einem vergleichsweise hohen Dynamikbereich zu erzeugen. Dank der aktiven Beleuchtung während der Aufnahme der Infrarotbilder lassen sich insbesondere bei schlechten Lichtverhältnissen ausreichend erkennbare Einzelbilder aufnehmen. Durch die Verwendung des Ringspeichers lässt sich bei gleichbleibendem Dynamikumfang die Bildwiderholrate des HDR-Videostroms HDR- VID weiter anheben, die Bildwiederholrate fHDR des HDR-Videostroms HDR-VID entspricht fKAMERA=n des Kameramoduls 2, der Wiederholrate der Infrarotbilder beträgt fir=n/2.