Abbildungssystem, insbesondere für eine Kamera

Die Erfindung betrifft ein plenoptisches Abbildungssystem, insbesondere für eine Kamera, mit mehreren, in Richtung einer optischen Achse aufeinanderfolgend angeordneten Abbildungseinrichtungen, die eine erste Abbildungseinrichtung zur Erzeugung eines reellen Zwischenbildes von einem Objekt in einer Zwischenbildebene, eine zweite Abbildungseinrichtung zur Erzeugung mindestens eines virtuellen Spiegelbildes von dem reellen Zwischenbild, das in der Zwischenbildebene versetzt zu dem reellen Zwischenbild angeordnet ist, und eine dritte Abbildungseinrichtung zur gemeinsamen Abbildung des reellen Zwischenbildes und des virtuellen Spiegelbildes als reelles Bild auf einer in axialem Abstand zu der Zwischenbildebene anzuordnenden Bildempfängerfläche umfassen.

Die Erfindung betrifft ferner ein Verfahren zur plenoptischen Abbildung, ein Computerprogrammprodukt zur Durchführung des Verfahrens und ein das Computerprogrammprodukt übertragendes Datenträgersignal.

Ein Abbildungssystem solcher Art geht aus der WO 2014/124982 Al hervor. In Verbindung mit einer digitale Bilddaten erzeugenden Kamera erlaubt ein solches Abbildungssystem die Erzeugung von Bilddatensätzen, die neben zweidimensionaler Bildinformation auch die Tiefe von Bildpunkten im Objektraum betreffende Information beinhalten. Bei der elektronischen Bildwiedergabe mittels solcher Datensätze lässt sich die zusätzliche Tiefeninformation zum Beispiel dazu nutzen, das Bild für verschiedene Objektfeldtiefen scharf zu stellen.

Der Erfindung liegt die Aufgabe zugrunde, das plenoptische Abbildungssystem mit zusätzlichen Funktionen zu versehen.

Erfindungsgemäß wird diese Aufgabe dadurch gelöst, dass das Abbildungssystem eine Einrichtung zur optischen Filterung, mittels derer die Abbildung des reellen Zwischen bildes und/oder zumindest eines der virtuellen Spiegelbilder voneinander separat filterbar sind, aufweist.

Mit dem erfindungsgemäßen plenoptischen Abbildungssystem wird es möglich, mit einer einzigen Aufnahme gleichzeitig unterschiedlich gefilterte und ggf. ungefilterte Abbildungen zu erzeugen und ggf. aufzunehmen und Informationen über die Bildtiefe zu erlangen.

Der Aufwand, um an die unterschiedlichen Abbildungen sowie an die Bildtiefeninformationen zu gelangen, verringert sich dadurch erheblich. Darüber hinaus wird die Möglichkeit geschaffen, die unterschiedlich gefilterten Abbildungen in kurzen zeitlichen Abständen zu erzeugen und ggf. aufzunehmen, so dass sogar derartige Videoaufnahmen erstellt werden können.

Als besonders vorteilhaft hat es sich erwiesen, die Informationen aus den unterschiedlich gefilterten Abbildungen mit den Informationen zur Bildtiefe zu verknüpfen. Auf diese Weise lassen sich mittels der Filterung auffindbare Eigenschaften von mit dem Abbildungssystem abgebildeten Objekten in Abhängigkeit von deren Abstand von dem Abbildungssystem ermitteln.

In einer Ausgestaltung der Erfindung umfasst das Abbildungssystem die Bildempfängerfläche und eine Einrichtung zur Verarbeitung eines mittels der Bildempfängerfläche aufgenommenen reellen Bildes. Zweckmäßigerweise weist die Bildempfängerfläche zumindest einen Bildaufnahmesensor auf oder ist durch zumindest einen Bildaufnahmesensor gebildet. In der bevorzugten Ausführungsform der Erfindung ist die Bildempfängerfläche durch einen einzigen Bildaufnahmesensor gebildet. Der Bildaufnahmesensor ist vorzugsweise ein CCD- Sensor oder ein CMOS-Sensor.

Die Einrichtung zur Verarbeitung des aufgenommenen Bilds ist zweckmäßigerweise durch eine Vorrichtung zur Datenverarbeitung, insbesondere einen Computer, gebildet, die insbesondere zur Verarbeitung von Daten, die aus dem Bildaufnahmesensor ausgelesen werden, eingerichtet ist. In einer Ausführungsform der Erfindung ist die Datenverarbeitungsvorrichtung in einem Gehäuse einer Kamera angeordnet, die vorzugsweise Teil des Abbildungssystems ist oder zur Verwendung mit dem Abbildungssystem eingerichtet ist.

In einer Ausgestaltung der Erfindung ist die Verarbeitungseinrichtung dazu vorgesehen, bezogen auf die Richtung der optischen Achse Positionen von Abschnitten des Objekts, die durch zumindest einzelne der Bildpunkte des Bildes abgebildet sind, aus dem Bild zu bestimmen. Vorteilhaft können auf diese Weise die genannten Informationen über die Bildtiefe erlangt werden. Die Positionsbestimmung ist vorzugsweise zumindest derart vorgesehen, dass die Positionen in Richtung der optischen Achse, insbesondere zumindest im Verhältnis zueinander, bestimmbar sind. Darüber hinaus wäre vorstellbar, die Verarbeitungseinrichtung vorzusehen derart, dass sich die Positionen als Abstände der Objektbereichspunkte von dem Abbildungssystem zum Zeitpunkt der Aufnahme ermitteln lassen.

Zweckmäßigerweise ist die Verarbeitungseinrichtung dazu vorgesehen, die Positionen zu bestimmen und dazu zu ermitteln, wie weit identische Abschnitte des Objekts, insbesondere identische Objektpunkte, in den Abbildungen des reellen Zwischenbilds und zumindest eines der virtuellen Zwischenbilder oder/und in den Abbildungen zumindest zweier verschiedener virtueller Spiegelbilder zueinander versetzt angeordnet dargestellt sind. Die versetzte Darstellung und damit die Unterschiedliche Wiedergabe der Objektabschnitte in den Abbildungen ergibt sich dadurch, dass die verschiedenen Abbildungen das Objekt aus unterschiedlichen Blickwinkeln darstellen und Abschnitte des Objekts wegen einer Parallaxe aufgrund der unterschiedlichen Blickwinkeln ihre Positionen relativ zueinander ändern.

In einer Ausführungsform der Erfindung ist die Filtereinrichtung vor der Bildempfängerfläche, vorzugsweise unmittelbar vor der Bildempfängerfläche, angeordnet. Zweckmäßigerweise ist eine Halteeinrichtung vorgesehen, an der sich die Filtereinrichtung vor der Bildempfängerfläche lösbar anordnen lässt. Die Halteeinrichtung ist vorzugsweise an einem Objektivgehäuse oder/und an einem Kameragehäuse des Abbildungssystems gebildet. Vorzugsweise ist die Halteeinrichtung mit einer Einrichtung zur Verstellung, insbesondere Justierung, der Position der Filtereinrichtung in der Halteeinrichtung versehen. Die Verstellung dient dazu, die Positionen der Filter so anzuordnen, dass jeweilig genau die Strahlen, die die verschiedenen Abbildungen bilden, durch sie hindurchtreten. Die Halteeinrichtung kann mit zumindest einem Justiermittel, bspw. einer Stellschraube o. dgl., versehen sein, mittels dessen sich die Position der Filtereinrichtung oder zumindest einzelner der Filter innerhalb der Filtereinrichtung verändern lässt. Das Justiermittel kann zur Verstellung in Richtung genannten optischen Achse, senkrecht zur optischen Achse oder/und zur Rotation, bspw. um die optische Achse oder in Richtung senkrecht zur optischen Achse, vorgesehen sein.

In einerweiteren Ausgestaltung der Erfindung ist die Filtereinrichtung in dem Abbildungssystem in einer Position angeordnet, in welcher die Abbildung des reellen Zwischenbildes und der virtuellen Spiegelbilder räumlich voneinander getrennt sind und sich insbesondere nicht überlagern.

In einer Ausführungsform der Erfindung ist die Filtereinrichtung in der ersten Abbildungseinrichtung angeordnet oder ist Teil der ersten Abbildungseinrichtung. Ferner kann die Filtereinrichtung in der Zwischenbildebene oder in Richtung der optischen Achse unmittelbar vor oder hinter der Zwischenbildebene angeordnet sein.

Zweckmäßigerweise weist die Filtereinrichtung zumindest zwei optische Filter auf. Vorzugsweise unterscheiden sich zumindest zwei der optischen Filter in ihren Filtereigenschaften. Die Filtereinrichtung kann zumindest einen der nachfolgenden Filter umfassen: Polarisationsfilter, UV-Sperrfilter, Farbfilter, Infrarot-Sperrfilter, Neutraldichtefilter, Kantenfilter, Interferenzfilter, Bayer-Filter, Komplementärfarbenfilter und/oder Fluoreszenzfilter. Die optischen Filter können sich, auch wenn mehrere Filter derselben Art verwendet werden, durch die jeweiligen Filtereigenschaften unterscheiden. Z.B. können sich Polarisationsfilter durch ihre Orientierungen, Interferenzfilter durch die jeweiligen wellenlängenabhängigen Transmissionsgrade, die Kantenfilter durch die jeweilige Trennung der Spektralbereiche, die Neutraldichtefilter durch ihre Neutraldichten und/oder die Komplementärfarbenfilter durch die jeweilig farbspezifischen wellenlängenabhängige Durchlässigkeit unterscheiden.

Insbesondere bei Verwendung unterschiedlicher Neutraldichtefilter, die vorzugsweise voneinander abweichende Neutraldichten aufweisen, wird es möglich, mit einer einzigen Aufnahme eine HDR-Abbildung (High Dynamic Range) zu erstellen. Insbesondere lassen sich auch Videos in HDR erstellen.

Ferner wird es möglich, unter Verarbeitung der unterschiedlich gefilterten Abbildungen zumindest eine Filterwirkung nachzubilden, insbesondere zu errechnen, bspw. durch Interpolation von Abbildungen, die mit unterschiedlichen Filtern aufgenommen worden sind. Beispielsweise lässt sich eine orange gefilterte Abbildung aus einer rot und einer grün gefilterten Abbildung erstellen.

In einer besonders bevorzugten Ausführungsform der Erfindung weist die Filtereinrichtung einen Träger, vorzugsweise einen Trägerrahmen, auf, in dem die optischen Filter, vorzugsweise lösbar, in verschiedenen Filterpositionen angeordnet sind. Der Träger könnte durch zwei transparente Glasplatten gebildet sein, zwischen denen die Filter angeordnet sind. Ferner wäre vorstellbar, den Träger durch einen Kunststoffrahmen zu bilden, an dem in den Filterpositionen Einsatzplätze für die Filter vorgesehen sind.

Zweckmäßigerweise weist die Filtereinrichtung N x N, vorzugsweise 3 x 3, 5 x 5 oder 7 x 7, Filterpositionen in einer Matrixanordnung auf. Die Matrixanordnung erstreckt sich bei Anordnung in dem Abbildungssystem vorzugsweise in Richtung senkrecht zu dessen optischer Achse.

Es versteht sich, dass zumindest eine Filterposition in der Filtereinrichtung frei von Filtern bleiben kann, um ungefilterte Abbildungen des reellen Zwischenbildes oder/und zumindest eines der Spiegelbilder zu erlangen.

In einer besonders bevorzugten Ausführungsform der Erfindung weisen zumindest zwei der optischen Filter dieselben Filtereigenschaften auf. Vorteilhaft lässt sich dann besonders einfach anhand der identisch gefilterten Abbildungen die genannte Position in Richtung der optischen Achse bestimmen und so an Informationen über die Bildtiefe gelangen.

Analog können zumindest zwei der Filterpositionen frei bleiben und anhand der ungefilterten Abbildungen die Informationen über die Bildtiefe ermittelt werden.

In einer besonders bevorzugten Ausführungsform der Erfindung sind die zumindest zwei optischen Filter, die dieselben Filtereigenschaften aufweisen, in äußeren Filterpositionen der Matrixanordnung angeordnet oder/und es bleiben zumindest zwei der äußeren Filterpositionen frei. Besonders bevorzugt sind die optischen Filter mit identischen Filtereigenschaften in einander, insbesondere diagonal, gegenüberliegenden äußeren Filterpositionen angeordnet und/oder die genannten äußeren Filterpositionen bleiben frei von Filtern. Vorteilhaft lässt sich die Information über die Bildtiefe bei einer derartigen Anordnung aus den jeweilig gleichartig gefilterten oder ungefilterten Abbildungen der äußeren Filterpositionen besonders gut bestimmen, da aufgrund der weiter voneinander abweichenden Blickwinkel in den Abbildungen eine größere Parallaxe besteht.

In einer weiteren Ausgestaltung der Erfindung ist die genannte Verarbeitungseinrichtung dazu vorgesehen, die genannte Position in Richtung der optischen Achsen aus unterschiedlich gefilterten Abbildungen in dem Bild zu bestimmen. Die Verarbeitungseinrichtung kann dazu vorgesehen sein, bspw. mittels eines Vergleichs von Intensitäten, Farben und/oder Helligkeiten und ggf. erkennbaren abgebildeten Konturen, Bildpunkte der verschiedenen Abbildungen einander zuzuordnen und wie oben erläutert die Position zu ermitteln. In einer besonders bevorzugten Ausführungsform der Erfindung ist die Verarbeitungseinrichtung dazu vorgesehen, Informationen zu den jeweiligen Bildpunkten aus den verschiedenen Abbildungen, bspw. Farbe, Intensität und/oder Helligkeit, mit den Positionen in Richtung der optischen Achse der jeweiligen Bildpunkte miteinander zu verknüpfen. Vorteilhaft wird dadurch die Möglichkeit geschaffen, Informationen, die sich durch die, ggf. unterschiedlichen, Filterungen ermitteln lassen, den Positionen zuzuordnen, insbesondere vom Abstand vom Abbildungssystem darzustellen.

Zweckmäßigerweise ist die Filtereinrichtung, insbesondere der genannte Träger, mit einer, vorzugsweise automatisch lesbaren, Kennzeichnung versehen. Die Kennzeichnung kann Informationen über die Eigenschaften der Filter und der jeweiligen Filterpositionen enthalten oder/und einen Code enthalten, anhand dessen sich die Informationen aus einer Datenbank, ggf. über das Internet, abrufen lassen.

Die Kennzeichnung kann durch einen optisch lesbaren Code, vorzugsweise einen Barcode, einen 2D-Code, einen QR-Code o. dgl., oder durch eine mechanische Codierung, die z.B. an dem genannten Trägerrahmen vorgesehen sein könnte, gebildet sein.

Ferner wäre vorstellbar, die Kennzeichnung an der Filtereinrichtung vorzusehen derart, dass eine Kennung optisch auf dem reellen Bild erscheint, wenn mittels der Abbildungseinrichtung eine Aufnahme erstellt wird. Die Kennzeichnung könnte an zumindest einem der Filter gebildet sein oder durch ein mit der Kennung versehenes geeignetes optisches Element gebildet sein, das in eine der Filterpositionen gesetzt wird.

Das Abbildungssystem weist zweckmäßigerweise eine Einrichtung zum Lesen der Kennzeichnung auf. Die Verarbeitungseinrichtung kann dazu vorgesehen sein, die Informationen über die Eigenschaften der Filter und der jeweiligen Filterpositionen aus der Datenbank abzurufen und/oder bei der Verarbeitung des reellen Bildes zu verarbeiten.

In einerweiteren Ausgestaltung der Erfindung weist das Abbildungssystem eine Einrichtung zum automatischen Wechseln der optischen Filter auf. Das automatische Wechseln kann erfolgen, indem einzelne oder mehrere der optischen Filter und/oder der genannte Träger getauscht werden. Zum Tauschen der Filter könnte ein Filtermagazin vorgesehen sein, das mehrere unterschiedliche Filter enthält und aus dem die Filter für den Einsatz im Träger automatisch entnommen und zur Lagerung wieder eingesetzt werden können. Zum Tauschen des gesamten Trägers könnte ein Filterrad vorgesehen sein, das mehrere der, vorzugsweise unterschiedlich mit optischen Filtern bestückten, Räderrahmen hält und sich derart an dem Abbildungssystem positionieren lässt, dass jeweilig ein anderer Tragrahmen in dem Abbildungssystem wirkt.

In einer Ausgestaltung der Erfindung weist die zweite Abbildungseinrichtung zumindest einen Spiegel, vorzugsweise mehrere Spiegel, und/oder zumindest ein Prisma, vorzugsweise mehrere Prismen, zur Erzeugung der Abbildungen auf der Empfängerfläche auf. Der bzw. die Spiegel und/oder das Prisma bzw. die Prismen sind in der zweiten Abbildungseinrichtung derart angeordnet, dass auf der Empfängerfläche mehrere Abbildungen des Objektbereichs erzeugbar sind. Dazu sind im Prinzip diverse unterschiedliche Anordnungen von Spiegeln und/oder Prismen möglich. Als besonders vorteilhaft hat es sich erwiesen, die zweite Abbildungseinrichtung derart vorzusehen, dass mehrere Spiegel vorgesehen und derart angeordnet sind, dass die verschiedenen in einer Eintrittsöffnung eintreffenden Lichtstrahlen beim Durchgang durch die zweite Abbildungseinrichtung je nach Strahlengang ohne Reflexion durch die zweite Abbildungseinrichtung hindurchdringen oder an einer oder mehreren der Spiegelflächen, ggf. mehrfach, reflektiert werden, bevor sie die zweite Abbildungseinrichtung wieder verlassen.

In einer besonders bevorzugten Ausführungsform der Erfindung umfasst die zweite Abbildungseinrichtung ein Kaleidoskop. Ein solches Kaleidoskop umfasst zweckmäßigerweise zumindest ein Paar ebener Spiegelflächen, wobei die Spiegelflächen einander zugewandt und im Abstand voneinander angeordnet sind. Zumindest ein Teil, vorzugsweise sämtliche, Strahlengänge verlaufen durch den Raum zwischen den Spiegelflächen. Vorzugsweise sind Spiegelflächen parallel zueinander angeordnet. Das Kaleidoskop kann zwei oder mehrere Spiegelpaare aufweisen. Aus den Spiegelpaaren kann ein Rohr gebildet sein, das im Querschnitt polygonal, vorzugsweise rechteckig, ist. Das Kaleidoskop könnte alternativ durch einen zylindrischen, im Querschnitt polygonalen Glasstab gebildet sein, der Seitenflächen und verspiegelte Stirnflächen zum Ein- und Austritt der Lichtstrahlen aufweist. Der Glasstab weist im Querschnitt vorzugsweise die Form eines gleichschenkligen Dreiecks, eines Rechtecks, insbesondere Quadrats, eines regelmäßigen Fünf-, Sechs-, Sieben- oder Achtecks auf. Zweckmäßigerweise sind die Spiegel und/oder Prismen derart vorgesehen, dass die verschiedenen Abbildungen den Objektbereich von unterschiedlichen Blickwinkeln aus aufgenommen darstellen.

In einer bevorzugten Ausführungsform der Erfindung umfasst die erste Abbildungseinrichtung zumindest eine Lichteintrittslinse, vorzugsweise mehrere Lichteintrittslinsen. Die zweite Abbildungseinrichtung ist zweckmäßigerweise derart gebildet, dass die in die zweite Abbildungseinrichtung eintretenden Lichtstrahlen entsprechend ihrer Richtung derart aufgespaltet werden, dass sie den Objektbereich aus geringfügig unterschiedlichen Blickwinkeln erfassen, aber dennoch denselben Objektbereich darstellen.

Die erste Abbildungseinrichtung ist zweckmäßigerweise vorgesehen derart, dass sie den Objektbereich auf der Zwischenbildebene an einem der erste Abbildungseinrichtung zugewandten Ende der zweiten Abbildungseinrichtung abbildet.

Zweckmäßigerweise ist das Lichtaustrittslinsensystem gebildet derart, dass seine Schärfeebene mit der Eingangsebene der zweiten Abbildungseinrichtung, insbesondere des Kaleidoskops, identisch ist.

Ausführungsformen der Abbildungseinrichtungen sind in der WO 2014/124982 Al beschrieben. Der Inhalt der WO 2014/124982 Al wird in die vorliegende Anmeldung durch Bezugnahme aufgenommen. Im Einzelnen wird auf den Text auf. S. 7, 1 . Absatz bis S. 1 1 , 2. Absatz und die Fig. 1 bis 3 Bezug genommen. Dort sind geeignete Abbildungseinrichtungen beschrieben und ihre Funktionsweise erläutert.

In einer Ausführungsform der Erfindung ist die zweite Abbildungseinrichtung auf einer Seite der ersten Abbildungseinrichtung angeordnet, die der Bildempfängerfläche zugewandt ist.

Zweckmäßigerweise sind die erste, die zweite und die dritte Abbildungseinrichtung in Richtung der optischen Achse hintereinander angeordnet, wobei die zweite Abbildungseinrichtung vorzugsweise zwischen der ersten und der dritten Abbildungseinrichtung angeordnet ist.

In einerweiteren Ausgestaltung der Erfindung ist das Abbildungssystem, insbesondere die Abbildungseinrichtungen, derart vorgesehen, dass ein mittels des Abbildungssystems abbildbarer Objektraum in Richtung der optischen Achse hin zur Bildempfängerfläche gesehen vor der ersten Abbildungseinrichtung angeordnet ist. Insbesondere ist das Abbildungssystem, insbesondere die Abbildungseinrichtungen, derart vorgesehen, dass der abbildbare Objektraum auf der Seite der ersten Abbildungseinrichtung angeordnet, die von der zweiten Abbildungseinrichtung abgewandt ist.

In einer besonders bevorzugten Ausführungsform der Erfindung bildet das Abbildungssystem ein Objektiv für eine Kamera. Das Objektiv umfasst zweckmäßigerweise ein Gehäuse, in dem das Abbildungssystem angeordnet ist. Das Objektiv ist vorzugsweise mit einer Einrichtung zur mechanischen Befestigung an einem Kameragehäuse, bspw. einem Objektivgewinde oder einem Objektivbajonett, versehen. Es kann ferner mit einer Einrichtung zur elektrischen oder elektronischen Verbindung und/oder zur Datenübertragung mit dem Kameragehäuse versehen sein.

Wie eingangs erwähnt betrifft die Erfindung ein Verfahren zur plenoptischen Abbildung eines Objektbereichs, insbesondere mittels einer Kamera, bei dem ein Objektbereich mit mehreren, in Richtung einer optischen Achse aufeinanderfolgend angeordneten Abbildungseinrichtungen abgebildet wird, wobei die Abbildungseinrichtungen eine erste Abbildungseinrichtung zur Erzeugung eines reellen Zwischenbildes von einem Objekt in einer Zwischenbildebene, eine zweite Abbildungseinrichtung zur Erzeugung mindestens eines virtuellen Spiegelbildes von dem reellen Zwischenbild, das in der Zwischenbildebene versetzt zu dem reellen Zwischenbild angeordnet ist, und eine dritte Abbildungseinrichtung zur gemeinsamen Abbildung des reellen Zwischenbildes und des virtuellen Spiegelbildes als reelles Bild auf einer in axialem Abstand zu der Zwischenbildebene anzuordnenden Bildempfängerfläche umfassen. Das Verfahren ist dadurch gekennzeichnet, dass die Abbildung des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder voneinander separat gefiltert werden.

Zweckmäßigerweise werden die Positionen in Richtung der optischen Achse von Objektbereichspunkten, die durch zumindest einzelne der Bildpunkte des Bildes abgebildet sind, bestimmt.

In einer Ausführungsform der Erfindung werden die Positionen dadurch bestimmt, dass ermittelt wird, wie weit identische Abschnitte des Objekts, insbesondere identische Objektpunkte, in den Abbildungen des reellen Zwischenbilds und zumindest eines der virtuellen Zwischenbilder oder/und in den Abbildungen zumindest zweier verschiedener virtueller Spiegelbilder zueinander versetzt angeordnet dargestellt sind. In einer besonders bevorzugten Ausführungsform der Erfindung werden die Positionen lediglich aus Abbildungen in dem reellen Bild ermittelt, die ungefiltert sind oder mit optischen Filtern, die identische Filtereigenschaften aufweisen, gefiltert werden. Alternativ oder ergänzend dazu werden die Positionen aus Abbildungen in dem reellen Bild ermittelt, die mit optischen Filtern gefiltert werden, die unterschiedliche Filtereigenschaften aufweisen.

In einer Ausgestaltung der Erfindung werden in den verschiedenen Abbildungen zumindest einzelne der Bildpunkte mit Punkten im Objektbereich, die sie abbilden, verknüpft und anhand der Verknüpfungen die Positionen Punkten im Objektbereich in Richtung der optischen Achse zumindest im Verhältnis zueinander ermittelt werden. Das Verknüpfen kann eine Bildanalyse der verschiedenen Abbildungen umfassen, bei der die verschiedenen Bildpunkte den jeweiligen Punkten im Objektbereich, die sie abbilden, zugeordnet werden.

Die Erfindung betrifft ferner ein Verfahren zur Verarbeitung des aufgenommenen reellen Bildes. Bei dem Verarbeitungsverfahren werden die separat gefilterte Abbildung des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder in Abhängigkeit von der jeweiligen Filterung verarbeitet und/oder Positionen in Richtung der optischen Achse von durch zumindest einzelne der Bildpunkte des Bildes abgebildeten Objektbereichspunkten aus dem Bild bestimmt.

Zweckmäßigerweise werden die Positionen dadurch bestimmt, dass ermittelt wird, wie weit identische Abschnitte des Objekts, insbesondere identische Objektpunkte, in den Abbildungen des reellen Zwischenbilds und zumindest eines der virtuellen Zwischenbilder oder/und in den Abbildungen zumindest zweier verschiedener virtueller Spiegelbilder zueinander versetzt angeordnet dargestellt sind.

In einer Ausführungsform des Verarbeitungsverfahrens wird unter Verarbeitung der unterschiedlich gefilterten Abbildungen eine Filterwirkung nachgebildet, insbesondere errechnet, z.B. durch Interpolation.

Die Erfindung betrifft ferner ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zumindest einzelne Schritte des Verfahrens zur plenoptischen Abbildung eines Objektbereichs und/oder des Verfahrens zur Verarbeitung reellen Bildes durchzuführen. Insbesondere umfasst das Computerprogrammprodukt Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zumindest einen der nachfolgend genannten Verfahrensschritte durchzuführen:

- mittels der Abbildungseinrichtung und/oder unter Durchführung des Abbildungsverfahrens das reelle Bild erzeugen,

- die separat gefilterte Abbildung bzw. Abbildungen des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder in Abhängigkeit von der jeweiligen Filterung verarbeiten,

- aus den separat gefilterten Abbildungen des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder Positionen in Richtung der optischen Achse von durch zumindest einzelne der Bildpunkte abgebildeten Objektbereichspunkten bestimmen, ggf. aus unterschiedlich gefilterten Abbildungen,

- aus den separat gefilterten Abbildungen des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder Positionen in Richtung der optischen Achse von Objektbereichspunkten, die durch zumindest einzelne der Bildpunkte abgebildet sind, bestimmen, wobei die Positionen in einem Objektraum sind, der in Richtung der optischen Achse hin zur Bildempfängerfläche gesehen vor der ersten Abbildungseinrichtung angeordnet ist und/oder auf der Seite der ersten Abbildungseinrichtung angeordnet ist, die von der zweiten Abbildungseinrichtung abgewandt ist.

Zweckmäßigerweise ist das Computerprogrammprodukt zur Aufnahme des reellen Bildes dazu eingerichtet, die Bilderzeugung automatisch zu veranlassen, wobei der Computer, auf dem das Programm läuft, eingerichtet ist derart, dass er, vorzugsweise aufgrund einer elektrischen oder/und elektronischen Verbindung mit dem Abbildungssystem oder aufgrund einer Implementierung in das Abbildungssystem, die Aufnahme veranlassen kann.

Zur Bestimmung der genannten Position ist das Computerprogrammprodukt in einer Ausführungsform der Erfindung dazu eingerichtet, zu ermitteln, wie weit identische Abschnitte des Objekts, insbesondere identische Objektpunkte, in den Abbildungen des reellen Zwischenbilds und zumindest eines der virtuellen Zwischenbilder oder/und in den Abbildungen zumindest zweier verschiedener virtueller Spiegelbilder zueinander versetzt angeordnet dargestellt sind.

In einer Ausgestaltung der Erfindung ist das Computerprogrammprodukt zur Verarbeitung der separat gefilterten Abbildung dazu vorgesehen, den Abbildungen des reellen Zwischenbildes und des mindestens einen virtuellen Spiegelbildes eine Information zu dem für die Abbildung jeweilig verwendeten Filterzuzuordnen. Das Computerprogramm kann dazu eingerichtet sein, die Information wie oben erläutert automatisch aus einer Datenbank, ggf. über das Internet, abzurufen.

Zweckmäßigerweise kann das Computerprogrammprodukt direkt in den internen Speicher eines digitalen Computers geladen werden und umfasst Softwareabschnitte, den die Verfahrensschritte durchgeführt werden können, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem Computer des Abbildungssystems, abläuft.

Zweckmäßigerweise ist das Computerprogrammprodukt ein auf einem Datenträger, vorzugsweise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Gerät mit eingebettetem Prozessor, einem in ein Gerät eingebettetem Computer, einem Smartphone, einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, insbesondere einer Foto- und/oder Videokamera, gespeichertes Computerprogramm ist oder eine für die Übersendung über ein Rechnernetzwerk, insbesondere das Internet, geeignete, Daten darstellende Signalfolge.

Die Erfindung betrifft ferner eine Vorrichtung zur Datenverarbeitung, die Mittel zur Durchführung des Verfahrens umfasst. Die Datenverarbeitungsvorrichtung ist vorzugsweise durch einen Computer gebildet.

In einer Ausführungsform der Erfindung ist die Vorrichtung Teil des genannten Abbildungssystems. Zweckmäßigerweise ist die Vorrichtung Teil einer Kamera, insbesondere einer Foto- und/oder Videokamera, die das Abbildungssystem umfasst und/oder zur Bestückung mit dem Abbildungssystem eingerichtet ist.

In einer besonders bevorzugten Ausführungsform der Erfindung ist die Datenverarbeitungsvorrichtung zum Betrieb der Kamera, insbesondere Foto- und/oder Videokamera, bei der Erstellung einer Bildaufzeichnung mittels der Kamera vorgesehen.

Zweckmäßigerweise ist die Datenverarbeitungsvorrichtung Teil des Abbildungssystems, insbesondere der Kamera, und ist dort bspw. durch einen Prozessor und einen Speicher, auf den der Prozessor zugreifen kann, gebildet. Die Erfindung betrifft ferner eine Kamera, insbesondere Foto- und/oder Videokamera, die das Abbildungssystem und die genannte Datenverarbeitungsvorrichtung umfasst.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und den beigefügten Zeichnungen, die sich auf die Ausführungsbeispiele beziehen, näher erläutert. Es zeigen:

Fig. 1 ein erfindungsgemäßes Abbildungssystem,

Fig. 2 ein weiteres erfindungsgemäßes Abbildungssystem,

Fig. 3 einen Strahlengang eines der Abbildungssysteme nach Fig. 1 oder 2,

Fig. 4 weitere Strahlengänge eines der Abbildungssysteme nach Fig. 1 oder 2,

Fig. 5 eine Filtereinrichtung eines der Abbildungssysteme nach Fig. 1 oder 2,

Fig. 6 schematisch eine mit dem Abbildungssystem versehene Kamera, und

Fig. 7 ein mittels des erfindungsgemäßen Abbildungssystems aufgenommenes Bild.

In Fig. 1 ist schematisch dargestellt, wie in erfindungsgemäßer Weise eine plenoptische Bildaufnahme unter Verwendung eines Abbildungssystems 1 erstellt wird. Das Abbildungssystem 1 weist neben einer Eintrittslinsengruppe 3 und einer Austrittslinsengruppe 5 einen Spiegelkasten 4 mit Spiegeln 19 auf, welche wie Fig. 3 zeigt, in dem Spiegelkasten 4 im Querschnitt rechteckig angeordnet sind. Der Spiegelkasten 4 bildet ein Kaleidoskop. Lichtstrahlen 22, die von einem Objektbereich, der einen Gegenstand 23 abbildet, ausgehen, treten in die Eintrittslinsengruppe 3 ein und werden durch die Eintrittslinsengruppe 3 ins Innere eines Spiegelkastens 4 gelenkt. Einige der Lichtstrahlen 22 gelangen durch den Spiegelkasten 4 hindurch bis auf die Austrittslinsengruppe 5, ohne auf einen der Spiegel 19 zu treffen, andere Lichtstrahlen werden lediglich ein einziges Mal an einem der Spiegel 19 gespiegelt, bevor sie auf die Austrittslinsengruppe 5 treffen. Weitere Lichtstrahlen wiederum werden innerhalb des Spiegelkastens 4 an den Spiegeln 19 mehrfach reflektiert, wobei die Reflexion sowohl an gegenüberliegenden als auch an benachbart zueinander angeordneten Spiegeln 19 erfolgen kann (vgl. Fig. 3 und 4). Die Austrittslinsengruppe 5 ist derart angeordnet, dass die aus dem Spiegelkasten 4 austretenden Lichtstrahlen 22 auf eine Empfängerfläche 7, die durch einen Sensor, insbesondere einen CCD- oder CMOS-Sensor gebildet ist, geleitet werden. Die Eintrittslinsengruppe 3, der Spiegelkasten 4 sowie dessen Spiegel 19, und die Austrittslinsengruppe 5 sind derart angeordnet, dass auf der Empfängerfläche 7 neun Abbildungen des Objektbereichs gebildet werden, die in einem 3 x 3 - Raster nebeneinander erzeugt werden. Die Abbildungen werden derart erzeugt, dass sie den Objektbereich ausgehend von der Eintrittslinsengruppe 4 aus neun verschiedenen Blickwinkeln abbilden.

Das Abbildungssystem 1 ist mit einer Filtereinrichtung 8 versehen, die, wie Fig. 1 und 2 zeigen, im Abbildungssystem 1 an verschiedenen Positionen angeordnet sein kann. Fig. 1 zeigt eine Anordnung der Filtereinrichtung 8 unmittelbar vor der Empfängerfläche 7. Bei der Anordnung nach Fig. 2 ist die Filtereinrichtung 8 in der Zwischenbildebene angeordnet.

Die Filtereinrichtung 8 kann als Träger zwei Glasplatten umfassen, zwischen denen Filter angeordnet sind. Ferner kann als Träger ein Kunststoffrahmen vorgesehen sein.

Fig. 5 zeigt, dass die Filtereinrichtung 8 einen Träger 18 mit neun Filterpositionen 9 - 17 zur Aufnahme von optischen Filtern aufweist, die je nach Bedarf unbesetzt bleiben können oder mit, ggf. unterschiedlichen, optischen Filtern besetzt werden können. Jede der Filterpositionen 9 - 17 ist so angeordnet, dass jeweils solche Lichtstrahlen, die je eine der verschiedenen Abbildungen auf dem oben erläuterten 3 x 3-Raster bilden, durch sie hindurch verlaufen.

Dadurch wird die Möglichkeit geschaffen, mit einer einzigen Aufnahme gleichzeitig ungefilterte und gefilterte und/oder unterschiedlich gefilterte Abbildungen des Objektbereichs in einem reellen Bild zu erstellen, das auf die Empfängerfläche 7 trifft. Darüber hinaus wird es aufgrund der verschiedenen Blickwinkel, aus denen die einzelnen Abbildungen aufgenommen werden, möglich, Informationen über Positionen in Richtung der optischen Achse von Punkten des Objektbereichs, die durch die einzelnen Bildpunkte des Bildes wiedergegeben sind, zu bestimmen, so dass sich eine Aussage über die Positionen der abgebildeten Objektbereichspunkte relativ zueinander in Bezug auf die optische Achse treffen lassen. Es können also Informationen über die Bildtiefe erlangt werden.

Die Informationen über die genannten Positionen lassen sich vergleichsweise einfach aus Abbildungen ermitteln, die in gleicher Weise gefiltert sind oder ungefiltert sind. Deshalb werden in einer Variante der Erfindung zur Positionsermittlung zumindest zwei der Filterpositionen 9 - 17 mit Filtern identischer optischer Eigenschaften besetzt oder zumindest zwei der Filterpositionen frei gelassen und die Positionen anhand der Abbildungen, die gleich oder ungefiltert sind, bestimmt.

Die Abbildungseinrichtung 1 kann einen Computer 20 umfassen, der zum Auslesen des die Bildempfängerfläche 7 bildenden Sensors und zum Speichern der ausgelesenen Daten geeignet ist. Der Computer 20 kann z.B. an einem das Abbildungssystem 1 tragenden Objektiv oder, wie Fig. 6 schematisch zeigt, die an einem Kameragehäuse 26 angeordnet sein, das mit dem Abbildungssystem 1 zusammenwirkt. Ein Computer 20 oder eine andere Datenverarbeitungseinrichtung, an die die gespeicherten Daten, ggf. mittels des Computers 20, übertragen werden, ist mittels eines darauf laufenden Computerprogramms 21 dazu eingerichtet, die unterschiedlich gefilterten Abbildungen aus dem gespeicherten Bild zu verarbeiten. Das Computerprogramm 21 ist zu diesem Zweck derart vorgesehen, dass sich jeder der Abbildungen eine jeweilige Filtereigenschaft zuordnen lässt, die dem Filter entspricht, der in der Filtereinrichtung die jeweilige Abbildung gefiltert hat. In dem Computerprogramm 21 können dazu verschiedene Daten oder Datensätze, die zu Filtern, die für die Filtereinrichtung 8 vorgesehen sind, passen, in einer Datenbank 24 abrufbar gespeichert sein, so dass das Computerprogramm 21 bei geeigneter Einstellung automatisch auf die jeweilig passenden Daten oder Datensätze zugreifen kann.

Lassen sich die Filter an einem Tragrahmen 18 der Filtereinrichtung 8, z.B. manuell, austauschen, können mittels des Computerprogramms 21 entsprechend der gewählten Anordnung die passenden Datensätze für die jeweiligen Filterpositionen ausgewählt werden. Im Anschluss kann das Computerprogramm 21 automatisch die Bildaufzeichnung anhand der Datensätze, die die optischen Filter betreffen, auswerten.

Ferner könnten eine oder mehrere vorgefertigte Filtereinrichtungen 8 vorgesehen sein, in denen die unterschiedlichen Filter test platziert sind. Solche Filtereinrichtungen 8 können mit einer in Fig. 6 schematisch gezeigten Kennzeichnung 25 versehen sein, anhand derer sich auslesen lässt, mit welchen Filtern, die Filterpositionen besetzt sind. Vorgesehen sein kann, dass das Computerprogramm 21 anhand der Kennzeichnung automatisch einen geeigneten Datensatz aus der Datenbank abruft, um die Bildaufzeichnung zu verarbeiten. Das Auslesen der Kennzeichnung 25 der Filtereinrichtung 8 könnte automatisch erfolgen. Beispielsweise könnte an dem Trägerrahmen ein Code, bspw. ein Barcode, vorgesehen sein, der automatisch bei Durchführung einer Bildaufzeichnung mittels eines entsprechenden Lesegeräts 27, das an dem Kameragehäuse angeordnet sein kann, ausgelesen wird.

Alternativ wäre vorstellbar, den Code in dem Bild, z.B. in zumindest einer der Abbildungen, zu speichern, so dass er bei Analyse der Bildaufzeichnungsdaten durch das Computerprogramm 21 automatisch erkannt wird und Computer 20 anhand der erkannten Kennzeichnung den passenden Datensatz lädt.

Ferner könnte vorgesehen sein, dass die Kennzeichnung bei Aufnahme einer Bildaufzeichnung in einem Bereich der Empfängerfläche 7 gestrahlt wird, der nicht zur Erstellung der Bildaufnahme verwendet wird, aber beim Auslesen der Empfängerfläche 7 abrufbar ist.

In einem ersten Beispiel sind in der Filtereinrichtung 8 nach Fig. 5 die Filterpositionen

9, 1 1 , 15, 17 und die zentrale Filterposition 13 frei von Filtern. Auf den verbleibenden Filterpositionen 10, 12, 14, 16 sind Neutraldichtefilter unterschiedlicher Neutraldichten angeordnet.

Auf einer Bildaufzeichnung können anhand der Abbildungen, die aus Strahlen entstehen, die durch die Filterpositionen in den Ecken und im Zentrum der Empfängerfläche 7 aufgenommen werden, zur Ermittlung der Bildtiefe die genannten Positionen bestimmt werden und ferner anhand der ungefilterten sowie der unterschiedlich gefilterten Abbildungen ein erhöhter Kontrast in der Aufzeichnung erreicht werden. Dafür kann eine geeignete Bildverarbeitung, die an sich bekannt ist und bei welcher der erhöhte Kontrast aus Aufnahmen mit unterschiedlicher Belichtung (sogenannte „Belichtungsreihen“) ermittelt wird, verwendet werden.

Es versteht sich, dass alternativ bspw. lediglich zwei der Filterpositionen 9 - 17 frei von Filtern bleiben könnten und die verbleibenden Filterpositionen mit Filtern unterschiedlicher Neutraldichten besetzt werden könnten, um eine größere oder eine breitere Kontrastauflösung zu erreichen.

Ferner könnte vorgesehen sein, sämtliche der Filterpositionen 9 - 17 mit Neutraldichtefiltern zu versehen, aber abweichend von den vorherigen Beispielen zwei oder mehrere Filter derselben Neutraldichte vorgesehen werden und anhand der Abbildungen, die mit den Filtern derselben Neutraldichte erzeugt worden sind, die genannten Positionen ermittelt werden.

Aufgrund der größeren Parallaxe, die besteht, wenn die Blickwinkel, aus denen die Abbildungen erzeugt werden, möglichst weit auseinander liegen, ist es vorteilhaft, zwei oder mehrere der in der Filtereinrichtung 8 außen liegende Filterpositionen 9,

10, 1 1 , 12, 14, 15, 16, 17 freizulassen oder mit Filtern derselben Neutraldichte zu versehen, um die Positionen zu bestimmen. Besonders gut geeignet sind die Filterpositionen 9, 1 1 , 15, 17, die die Eckpositionen in der Filtereinrichtung 8 bilden.

In einem weiteren Ausführungsbeispiel sind für die Filtereinrichtung 8 anstatt der obengenannten Neutraldichtefilter optische Filter anderer Art vorgesehen, bspw. Polarisationsfilter, Farbfilter, Komplementärfarbenfilter oder Fluoreszenzfilter. In der Filtereinrichtung 8 können dann jeweilig solche Filter mit unterschiedlicher Filterstärke oder Filterwirkung vorgesehen sein und, wie oben für den Neutraldichtefilter beschrieben, durch die unterschiedlich gefilterten Abbildungen erhöhte Filterauflösungen erreicht werden und dabei ggf. an die Informationen über die genannten Positionen gelangt werden.

In einem weiteren Ausführungsbeispiel sind in der Filtereinrichtung optische Filter unterschiedlicher Art angeordnet. Beispielsweise könnten auf den Filterpositionen 9 - 1 1 unterschiedliche Neutraldichtefilter, auf den Filterpositionen 12 - 14 unterschiedliche UV-Filter und auf den Filterpositionen 15 - 17 unterschiedliche Farbfilter angeordnet werden. Auf diese Weise lassen sich nicht nur unterschiedliche Abstufungen derselben Filterwirkung, sondern unterschiedliche Filterwirkungen in einer einzigen Bildaufzeichnung aufnehmen.

In einer anderen Variante werden die Positionen aus zumindest zwei Abbildungen, die unterschiedlich optisch gefiltert sind, oder aus zumindest einer ungefilterten und zumindest einer gefilterten Abbildung ermittelt. Dazu wird vorzugsweise eine Bildanalyse der einzelnen oder zumindest zweier der Abbildungen durchgeführt, um aus den unterschiedlich gefilterten Abbildungen die Bildpunkte zu ermitteln, die dieselben Punkte oder Bereiche des abgebildeten Objekts im Objektbereich darstellen. Diese Information wird benötigt, um, wie oben erläutert, einen Versatz in der Darstellung, bestimmen zu können.

Fig. 7 zeigt beispielhaft Abbildungen eines Objektbereichs in der Form, in der sie bei einer Aufnahme mittels des Abbildungssystems 1 auf der Empfängerfläche 7 aufgenommen werden, das mit einer Filtereinrichtung 8 nach einem weiteren bestückt ist. In dem Ausführungsbeispiel sind die Filterpositionen 15 und 17 frei von Filtern und die anderen Filterpositionen sind mit Neutraldichtefiltern unterschiedlicher Neutraldichten bestückt. Die Abbildungen treffen wie oben erläutert in einem 3 x 3 - Raster auf der Empfängerfläche 7 auf.