Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
MULTI-LENS CAMERA SYSTEM AND METHOD FOR HYPERSPECTRAL CAPTURING OF IMAGES
Document Type and Number:
WIPO Patent Application WO/2020/147890
Kind Code:
A1
Abstract:
The invention relates to a multi-lens camera system for hyperspectral capturing of images comprising a flat image sensor, a location-sensitive spectral filter element and an imaging system, wherein the imaging system comprises - a flat lens matrix having a plurality of individual lenses, which are arranged such that they generate, at a first time of capture, a plurality of first images of a subject, arranged in a grid-like manner, in a first region on the image sensor, and - additionally comprises an additional lens, which is arranged in the plane of the lens matrix or set down from the plane of the lens matrix and is designed to generate, in a second region of the image sensor and/or at a second time of capture, a second image of the subject on the image sensor, wherein the additional lens has a focal line and/or compared to the plurality of individual lenses, a different focal length, and is thus positioned such that the second image thereof differs from the first images at least in an area dimension of the image sensor in respect of the size and/or in respect of the image information of the subject present in front of the filter element. The invention additionally relates to a corresponding method for hyperspectral capturing of images.

Inventors:
HEINE RENÉ (DE)
BRANDES ARND RAPHAEL (DE)
Application Number:
PCT/DE2020/100018
Publication Date:
July 23, 2020
Filing Date:
January 13, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CUBERT GMBH (DE)
International Classes:
G01J3/02; G01J3/28; G01J3/36; H04N5/225
Foreign References:
US20120249744A12012-10-04
US20100328659A12010-12-30
EP2858342A12015-04-08
US20140267849A12014-09-18
Other References:
M. HUBOLD ET AL.: "Ultra-compact micro-optical system for multispectral imaging", PROC. SPIE 10545, MOEMS AND MINIATURIZED SYSTEMS, vol. XVII, 22 February 2018 (2018-02-22), pages 105450V
Attorney, Agent or Firm:
KONRAD, Michael (DE)
Download PDF:
Claims:
Ansprüche

1. Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein

Abbildungssystem, wobei das Abbildungssystem

- eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und

- zusätzlich eine weitere Linse umfasst, die In der Ebene der Linsenmatrix oder abge setzt von der Ebene der Linsenmatrix angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahme zeitpunkt eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen, wobei die weitere Linse eine Brennlinie und/oder verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite aufweist, und und so positioniert ist, dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer

Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.

2. Multilinsen-Kamerasystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Linsenmatrix eine Vielzahl von Einzellinsen umfasst und zusätzlich eine weitere Linse umfasst, welche verglichen mit den Einzellinsen einen unterschiedlichen Durchmesser und/oder eine unterschiedliche Brennweite und/oder eine unterschiedliche Substrat dicke und/oder einen unterschiedlichen Abstand zum Bildsensor hat, wobei die Linsen matrix so ausgestaltet ist, dass sie Abbildungen unterschiedlicher Größe auf dem Bildsensor erzeugt, wobei bevorzugt die weitere Linse bezogen auf das Raster der Linsenmatrix den Platz von einem ganzzahligen Vielfachen der Einzellinsen einnimmt.

3. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das optische Abbildungssystem eine Optik zwischen Linsen matrix und Bildsensor umfasst, welche dazu ausgestaltet ist, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen und/oder unterschiedlich große Bereiche des Motivs in Form unterschiedlicher Abbildungen darzustellen, wobei das optische Abbildungssystem bevorzugt eine Zoomoptik umfasst und wobei das Filterelement bevorzugt einen Mosaik-Filter umfasst.

4. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das optische Abbildungssystem, bevorzugt die Linsenmatrix, als weitere Linse eine Zylinderlinse umfasst, wobei das Multilinsen-Kamerasystem so ausgestaltet ist, dass derjenige Teil des Bildsensors, auf dem die Abbildung der Zylinderlinse erzeugt wird, unabhängig vom übrigen Teil des Bildsensors ausgelesen werden kann.

5. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es eine Verarbeitungseinheit umfasst, welche dazu ausgestaltet ist, die ersten Abbildungen mit einer zweiten Abbildung zu überlagern und/oder zu registrieren und/oder entsprechende Bildbereiche der ersten Abbildungen mit einer zweiten Abbildung miteinander datentechnisch zu verknüpfen, wobei die Verarbei tungseinheit insbesondere dazu ausgestaltet ist, spektrale Daten von Bildpunkten der zweiten Abbildung durch spektrale Daten basierend auf den ersten Abbildungen zu ergänzen und/oder Bildpunkten der ersten Abbildungen durch räumliche Daten der zweiten Abbildung zu ergänzen.

6. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das spektrale Filterelement einen linearvariablen Filter mit Filterlinien umfasst, welcher im Hinblick auf die Ausrichtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1° und 45° verdreht ist, und/oder einen Mosaik-Filter umfasst, wobei das Mosaik des Mosaik-Filters so angeordnet ist, dass große Wellenlängenschritte innen sind, währen kleinere Intervalle außen sind.

7. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es eine Aperturmaske zwischen Linsenmatrix und Bildsensor umfasst, wobei Aperturen auf der Aperturmaske entsprechend der Linsen der Linsen matrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbil dungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt, wobei bevorzugt ein optischer Abbildungssystem zwischen Aperturmaske und Bildsensor positioniert ist.

8. Verfahren zur Aufnahme von Daten mit einem Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, gekennzeichnet durch die Schritte:

- Bereitstellen eines Motivs,

- Aufnahme des Motivs mittels des Multilinsen-Kamerasystems, wobei eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bildsensor erzeugt wird und wobei in unterschiedlichen Bereichen des Bildsensors und/oder zu

unterschiedlichen Aufnahmezeiten eine Vielzahl erster Abbildungen und eine Anzahl zweiter Abbildungen von Bereichen desselben Motivs aufgenommen wird, wobei sich eine zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass im Rahmen einer zweiten Abbildung eine panchromatische Bildaufnahme aufgenommen wird, wobei bevorzugt an unterschiedlichen Positionen des Bildsensors und/oder zu unterschied lichen Messzeiten mehrere panchomatische Aufnahmen unterschiedlicher Bereiche des Motivs und/oder mit unterschiedlicher spektralen Auflösung angefertigt werden, und bevorzugt eine panchromatische Bildaufnahme mit Daten der ersten Aufnahmen überlagert wird.

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Daten einer zweiten Abbildung mit den Daten der ersten Abbildungen zur Auswertung der Daten überlagert, registriert und/oder miteinander in Beziehung gesetzt werden, wobei bevorzugt die Daten der zweiten Abbildung dazu verwendet werden,

- um die spektralen Daten der ersten Abbildungen an verschiedenen räumlichen

Positionen zu extrapolieren, und/oder

- um räumlich präzisierte Bezugspunkte zu erhalten und/oder

- um Dimensionsmessungen an dem Motiv durchzuführen und/oder

- um eine räumliche Zuordnung mit höherer räumlicher Auflösung als die räumliche Zuordnung der spektralen Daten der ersten Abbildungen zu erhalten,

wobei die aufgenommenen Daten bevorzugt wie folgt verarbeitet werden:

a) Verrechnung von ersten Aufnahmen mit einer zweiten Aufnahme,

b) optische Bildkorrektur, c) Eine Ermittlung von Objekteigenschaften und/oder eine Unterscheidung von Objekten,

d) Eine Überlagerung von Bildsequenzen, zur Erstellung einer Karte, und/oder zur Berechnung eines hochauflösenden Bildes.

Description:
Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern

Die Erfindung betrifft ein Multilinsen-Kamerasystem und ein Verfahren zur

hyperspektralen Aufnahme von Bildern und insbesondere auch zur Bearbeitung bzw. Verarbeitung dieser Bilder.

In vielen Bereichen der Wirtschaft und Wissenschaft werden Kameras verwendet, die zusätzlich zu einer Ortsauflösung eine spektrale Auflösung besitzen, welche oftmals über das sichtbare Spektrum hinausgeht. Beispielsweise werden bei Vermessungen der Erdoberfläche aus der Luft oftmals Kameras eingesetzt, die nicht nur eine normale RGB-Farbauflösung besitzen, sondern ein hochaufgelöstes Spektrum ggf. bis in den UV- oder Infrarotbereich hinein liefern. Mittels dieser Messungen ist z.B. eine

Erkennung einzelner Bepflanzungsbereiche in landwirtschaftlich genutzten Gebieten möglich. Damit kann beispielsweise der Wachstumszustand oder die Gesundheit von Pflanzen oder die Verteilung verschiedener chemischer Elemente wie Chlorophyll oder Lignin bestimmt werden.

Zu diesen Messungen hat sich in den letzten Jahrzehnten eine spektral hochauflösen de Bildnahmetechnik bewährt, die als„Hyperspectral Imaging“ bezeichnet wird. Dieses Hyperspectral Imaging erlaubt beispielsweise eine Erkennung und Unterscheidung verschiedener chemischer Elemente aufgrund des ortsaufgelöst aufgenommenen Spektrums.

Der ursprüngliche Aufbau eines hyperspektralen Bildgebungssystems verwendet einen sogenannten„Pushbroom“-Abtastaufbau, bei dem auf einem zweidimensionalen Bild sensor eine Dimension für eine räumliche Bestimmung und die andere Dimension für eine Spektralbestimmung verwendet wird. Neue Ansätze in der hyperspektralen Bild- gebung und die Entwicklung von höher aufgelösten Sensoren und Computerhardware haben sogenannte Snapshot-Full-Frame-Hyperspektralsysteme ermöglicht.

Ein sehr kompaktes System für die hyperspektrale Bildgebung wird z.B. in der Veröffentlichung "Ultra-compact micro-optical System for multispectral imaging" von M. Hubold et al. bechrieben (Proc. SPIE 10545, MOEMS and Miniaturized Systems XVII, 105450V; 22. Februar 2018). Nachteil des Standes der Technik ist jedoch immer noch, dass eine hohe zweidimen sionale Bildauflösung stets auf Kosten einer hohen spektralen Auflösung geht und umgekehrt.

Aufgabe der vorliegenden Erfindung war es, die Nachteile des Standes der Technik zu überwinden und ein Multilinsen-Kamerasystem zur Verfügung zu stellen, welches sowohl eine hohe spektrale Auflösung als auch eine hohe Ortsauflösung eines Motivs erreicht.

Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren gemäß den Ansprüchen gelöst.

Das erfindungsgemäße Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfasst einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbildungssystem.

Das Abbildungssystem umfasst dabei eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen. Des Weiteren umfasst das Abbildungs system zusätzlich eine weitere Linse, die in der Ebene der Linsenmatrix oder abgesetzt von der Ebene der Linsenmatrix angeordnet ist (bevorzugt vor der Linsenmatrix) und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahmezeitpunkt eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen. Die Linsen sind z.B. sphärische Linsen, Zylinderlinsen, holographische Linsen oder Fresnellinsen oder Linsensysteme (z.B. Objektive) aus mehreren solcher Linsen. Im Weiteren wird zum besseren Verständnis nur von„Linsen“ gesprochen, ohne die Allgemeinheit einzuschränken.

Dabei weist die weitere Linse eine Brennlinie und/oder verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite auf und ist so positioniert, dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.

Flächige Bildsensoren sind dem Fachmann im Grunde bekannt. Es handelt sich hierbei besonders bevorzugt um Pixeldetektoren, welche eine elektronische Aufnahme von Bildpunkten („Pixeln“) erlauben. Bevorzugte Pixeldetektoren sind CCD-Sensoren (CCD:„charge-coupled device“; dt.„ladungsgekoppeltes Bauteil“) oder CMOS- Sensoren (CMOS:„Complementary metal-oxide-semiconductor“; dt.„sich ergänzender Metall-Oxid-Halbleiter“). Besonders bevorzugt sind auf Silizium basierende Sensoren, aber auch InGaAs-Sensoren sowie auf Bleioxid oder Graphen basierte Sensoren, insbesondere für Wellenlängenbereiche außerhalb des sichtbaren Bereichs.

Ein spektrales Filterelement, welches so gestaltet ist, dass es an unterschiedlichen Positionen der Fläche des Filterelements unterschiedliche Spektralanteile von auf treffendem Licht transmittiert und andere Spektralanteile nicht transmittiert, wird hier als„ortssensitives spektrales Filterelement“ bezeichnet, wobei es auch als

„ortsabhängiges spektrales Filterelement“ bezeichnet werden könnte. Es dient dazu, die durch das Abbildungssystem erzeugten Abbildungen auf dem Bildsensor nach unterschiedlichen (kleinen) Spektralbereichen zu filtern.

Für die Anordnung des Filterelements gibt es mehrere Möglichkeiten. Das Filterele ment kann beispielsweise direkt vor der Linsenmatrix positioniert sein oder zwischen Linsenmatrix und Bildsensor. Es ist auch bevorzugt, dass Komponenten des

Abbildungssystems als Filterelement ausgestaltet sind, insbesondere die Linsenmatrix. Beispielsweise kann das Substrat der Linsenmatrix als Filterelement ausgestaltet sein.

Eine Linsenmatrix im Sinne der Erfindung umfasst eine Vielzahl von Linsen die raster förmig zueinander, also in einer regelmäßigen Anordnung, angeordnet sind, insbeson dere auf einem Träger. Die Linsen sind bevorzugt in regelmäßigen Zeilen und Spalten oder versetzt zueinander angeordnet. Besonders bevorzugt ist eine rechteckige bzw. quadratische oder eine hexagonale Anordnung. Die Linsen können beispielsweise sphärische Linsen oder zylindrische Linsen sein, aber auch asphärische Linsen sind in einigen Anwendungsfällen bevorzugt. Weiter unten wird eine bevorzugte Linsenmatrix genauer beschrieben. Erfindungsgemäß ist die Linsenmatrix so zu dem Bildsensor angeordnet, dass sie von einem Motiv eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bild sensor erzeugt. Da im Rahmen der Erfindung zwei Arten unterschiedlicher Abbildungen vorliegen, werden die Abbildungen der Einzellinsen als„erste Abbildungen“ bezeichnet. In einer besonderen Unterart herkömmlicher Spektralkameras (s. dazu auch Figur 1) liegen ausschließlich diese ersten Abbildungen (und keine davon unterschiedlichen zweiten Abbildungen) vor.

Als„Motiv“ wird ein Objekt bzw. eine Szenerie bezeichnet, also ein im Grunde belie biger Bereich des Raumes der von dem Multilinsen-Kamerasystem aufgenommen wird. Es kann sich bei dem Motiv z.B. um eine (geographische) Bodenfläche handeln aber auch um einzelne Objekte, z.B. Produkte in einer Produktionslinie.

In der Regel zeigen bei hyperspektralen Aufnahmen die ersten Abbildungen stets den gleichen Bereich des Motivs (bzw. das gesamte Motiv). Durch das Filterelement wer den diese ersten Abbildungen mit jeweils unterschiedlichen (Licht) Wellenlängen bzw. in unterschiedlichen Wellenlängenbereichen vom Bildsensor aufgenommen. Es wird hier angemerkt, dass im Hinblick auf den geforderten Unterschied der Bildinformation des Motivs gerade nicht dieser durch den Filter erzeugte spektrale Unterschied gemeint ist, da die vor dem Filterelement vorliegende Bildinformation des Motivs gemeint ist, also die Art der Darstellung der Abbildungen, wie sie ohne Filterelement erfolgen würde.

Das Multilinsen-Kamerasystem umfasst zusätzlich zu der Linsenmatrix eine weitere Linse. Hier wird explizit darauf hingewiesen, dass der Ausdruck„eine“ (wie am Ende der Beschreibung noch einmal deutlich generell gesagt wird) als„mindestens eine“ zu lesen ist, und damit„eine einzige“ aber auch„zwei oder mehr“ bedeuten kann. Diese weitere Linse kann also eine einzige weitere Linse sein, aber auch zwei oder mehr Linsen derselben oder einer anderen Form.

Die weitere Linse ist in der Ebene der Linsenmatrix, insbesondere auf der Linsenma trix, oder abgesetzt von der Ebene der Linsenmatrix angeordnet. Bevorzugt ist die weitere Linse vor der Linsenmatrix angeordnet, also so, dass die Linsenmatrix zwischen der weiteren Linse und dem Bildsensor liegt. Im Falle, dass zwei oder mehr weitere Linsen vorliegen, ist die Angabe der Positionierung so zu verstehen, dass alle weiteren Linsen in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix (oder auf einer anderen gemeinsamen Ebene) liegen können oder aber auch in unterschiedlichen Abständen zu der Linsenmatrix angeordnet sein können. Es kann durchaus zwei oder mehr Linsenmatrices geben, z.B. eine Linsenmatrix mit

Einzellinsen und eine Linsenmatrix mit weiteren Linsen. Die weitere Linse kann also durchaus auf einer weiteren Linsenmatrix angeordnet sein oder eine weitere

Linsenmatrix bilden. Bei einer einzigen weiteren Linse wäre dies eine 1x1-Matrix, bei mehreren weiteren Linsen eine Ax B-Matrix.

Die zweite Abbildung unterscheiden sich von den ersten Abbildungen und wird durch die zweite Linse erzeugt (bzw. werden mehrere zweite Abbildungen durch eine Anzahl weiterer Linsen erzeugt) und zwar in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahmezeitpunkt. Liegen mehrere weitere Linsen vor, so liegen in der Regel auch mehrere zweite Abbildungen vor, da bevorzugt jede weitere Linse eine zweite Abbildung erzeugt. Betreffend den zweiten Aufnahmezeitpunkt ist dieser Fall gleichbedeutend zu dem Merkmal ist, dass die weitere Linse verstellbar ist oder zu einer veränderbaren Optik gehört. In diesem bevorzugten Fall wird durch Verstellung der Linse bzw. durch Veränderung der Optik die weitere Abbildung in ihrer Größe oder bezüglich anderer Parameter die Bildinformation betreffend geändert und es liegt automatisch zu einem anderen Aufnahmezeitpunkt eine andere Abbildung vor, selbst wenn sich das Motiv nicht verändert.

Die weitere Linse weist eine Brennlinie auf (ist also in diesem Fall eine Zylinderlinse). Alternativ oder zusätzlich weist sie verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite auf. Zudem ist die weitere Linse (bzw. sind alle weiteren Linsen) so positioniert, dass sich ihre zweite Abbildung von der ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet. Wie oben bereits gesagt, sind also Abbildungen gemeint, wie sie ohne Filterelement auf dem Bildsensor vorliegen würden.

Dies bedeutet, dass sich die die zweite Abbildung von den ersten Abbildungen unter scheidet. Dieser Unterschied liegt bevorzugt relativ zu beiden Flächendimension des Bildsensors vor (also sowohl dessen x- und y-Koordinate), muss aber grundsätzlich nur in einer Flächendimension vorliegen, (also entweder in x- oder in y-Richtung der sensi tiven Fläche des Bildsensors). Der Unterschied betrifft dabei die Größe der Bilder, wo mit gemeint ist, dass die zweite Abbildung eine kleinere oder eine größere Fläche auf dem Bildsensor einnimmt als die ersten Abbildungen (bevorzugt ist dabei der Fall, dass die zweite Abbildung größer ist als die ersten Abbildung und somit eine höhere

Ortsauflösung erzeugt). Alternativ oder zusätzlich kann der Unterschied aber auch die vor dem Filterelement vorliegende Bildinformation des Motivs betreffen. Also diejenige Bildinformation, die noch nicht vom Filterelement gefiltert worden ist. Damit ist gemeint, dass abgesehen von der Wirkung des Filterelements die Bildinformation die zweite Abbildung eine andere Bildinformation hat als die ersten Abbildungen (z.B. die

Abbildung einer Zylinderlinse als zweite Abbildung und die Abbildungen von

sphärischen Linsen als erste Abbildungen). Der Einfluss des Filterelements fällt also nicht ins Gewicht (es werden hier Bildinformationen so betrachtet, als wenn das Filterelement nicht da wäre).

Die Bildinformation bezieht sich besonders bevorzugt auf die Bildauflösung. Beispiels weise kann der Fall vorliegen, dass die weitere Linse eine einzelne Linse mit längerer Brennweite ist . Diese Linse erzeugt eine Abbildung des Objekts auf dem Sensor, welche denselben Bildausschnitt wie jede der Einzellinsen abbildet, aber auf z.B. der vierfachen Sensorfläche. So kann mit der weiteren Linse eine höheraufgelöste

Ortsinformation desselben Motivs erzeugt werden.

Je nach Anwendungsfall bezieht sich die Bildinformation besonders bevorzugt auf die Darstellung durch eine Zylinderlinse. Diese bildet das Motiv aufgrund der Brennlinie in einer Flächendimension des Bildsensors ab, in der anderen Flächendimension könnten dann (mittels des Filterelements) spektrale Informationen gemessen werden.

Unabhängig von dem Filterelement unterscheidet sich jedoch das Bild einer

Zylinderlinse z.B. von dem sphärischer Einzellinsen. In dem Fall, in dem die

Einzellinsen Zylinderlinsen sind, müsste die weitere Linse z.B. eine größere/kleinere Zylinderlinse oder generell eine nicht-Zylinderlinse sein, z.B. eine sphärische Linse. Auch ist eine Ausführungsform mit ausschließlich gleichgroßen Linsen in der

Linsenmatrix möglich, deren Form jedoch unterschiedliche ist. Zudem kann auch eine Zoomoptik vorliegen, mittels der die Linsenmatrix oder Teile der Linsenmatrix vergrößert oder verkleinert werden kann, wobei die Linsenmatrix hier auch homogen aus Einzellinsen aufgebaut sein kann. Es sind auch Kombinationen der oben genannten Fälle möglich.

Im Folgenden werden einige Fälle noch einmal anhand von Beispielen dargestellt. Beispielsweise haben die ersten Abbildungen eine Auflösung von 500 x 500 Pixel auf dem Bildsensor und eine zweite Abbildung eine Auflösung von 1000 x 1000 (bei einer sphärischen weiteren Linse mit größerer Brennweite). Eine zweite Abbildung kann aber auch eine Auflösung von 500 x 1 (oder gar 8000 x 1) haben, wenn die weitere Linse eine Zylinderlinse ist. In diesem Fall werden aber weitere Bildpunkte des Bildsensors benutzt, um (mit dem Filterelement) aus dem gesamten durch die Zylinderlinse ausgeleuchteten Bereich spektrale Informationen zu gewinnen. Eine Zylinderlinse als weitere Linse mit derselben Größe und derselben Brennweite wie die ersten Linsen könnte zwar auch eine Abbildung in der Größe 500 x 500 Pixel auf dem Bildsensor erzeugen (gesamt ausgeleuchteter Bereich), die jedoch im Unterschied zu den ersten Abbildungen nur eine Ortsauflösung von 500 x 1 hat und sich daher bezüglich der Bildinformation des Motivs von den ersten Abbildungen unterscheidet.

Die ersten und zweiten Abbildungen könnten auch als Gruppen zusammengefasst werden (insbesondere wenn zwei oder mehr sich unterscheidende zweite Abbildungen vorliegen). In dem oben ebenfalls umfassten Fall, dass zeitlich aufeinanderfolgende Aufnahmen betrachtet werden, sollte zum besseren Verständnis das Motiv unverändert geblieben sein. Selbstverständlich kann in der Praxis, z.B. bei der Aufnahme von Luftbildern, die Kamera relativ zum Motiv bewegt werden. Wichtig ist hier jedoch, dass diese Bewegung zur Erlangung der beiden Gruppen von Abbildungen nicht notwendig ist, da die Abbildungsoptik an sich so gestaltet ist, dass unterschiedliche Arten von Abbildungen erzeugt werden. Eine zweite Gruppe der Abbildungen umfassend die oben genannten zweiten Abbildungen hat gemäß einer bevorzugten Ausführungsform eine höhere Ortsauflösung als eine erste Gruppe der Abbildungen umfassend die ersten Abbildungen. Mit dem Filterelement bietet aufgrund der Vielzahl der ersten Abbildungen die erste Gruppe der Abbildungen eine höhere spektrale Auflösung als die zweite Gruppe der Abbildungen. Eine zweite Abbildung kann, zumindest wenn sie eine vergleichsweise höhere Ortsauf lösung als die ersten Abbildungen hat, zum besseren Verständnis auch als„Ortsraster bild“ bezeichnet werden. Die zweiten Abbildungen haben gemäß einer bevorzugten Ausführungsform den Zweck, das Motiv oder einen Bereich des Motivs sehr genau (hochaufgelöst) darzustellen. Im Falle der Verwendung einer Zylinderlinse als weitere Linse hat die zweite Abbildung in einer Dimension der Fläche des Bildsensors eine geringere Ortsauflösung (aufgrund der Brennlinie). Jedoch erhält man dafür eine sehr hohe spektrale Auflösung, zumindest höher als die der ersten Abbildungen. Es ist besonders bevorzugt, dass sich die zweite Abbildung von den ersten Abbildungen dadurch unterscheidet, dass sie zumindest in einer Flächendimension des Bildsensors eine höhere Ortsauflösung von Bereichen des Motivs hat oder eine höhere spektrale Auflösung (hier nach dem Filterelement betrachtet). Die höhere spektrale Auflösung kann z.B. mittels einer Zylinderlinse und dem Filterelement erreicht werden, In einer Flächendimension des Bildsensors (orthogonal zur Abbildungsachse) kann im Grunde bei einem entsprechenden Filterelement jeder Sensorpixel eine individuelle spektrale Information liefern.

Beispielsweise ist es bei Luftbildmessungen von Vorteil eine hohe Ortsauflösung zu haben, z.B. eine Abbildung im Bereich zwischen 3 und 6 Megapixeln, damit eine genaue Positionierung benachbarter Aufnahmen mittels (gut aufgelöster) Landmarken vorgenommen werden kann. Die zweite Gruppe von Abbildungen kann mehrere Ortsrasterbilder umfassen, das erfindungsgemäße Ziel kann aber bereits mit einem einzigen (hochaufgelösten) Ortsrasterbild erreicht werden. Mehrere Ortsrasterbilder haben den Vorteil, dass sie in verschiedenen Teilen des Spektrums aufgenommen werden können und die zweite Gruppe von Abbildungen somit bereits eine gewisse spektrale Auflösung bietet.

Zumindest in dem Falle, in denen die zweite Abbildung (in beiden Flächendimensionen des Bildsensors) eine höhere Ortsauflösung bietet, können die ersten Abbildungen zum besseren Verständnis auch als„Spektralbilder“ bezeichnet werden. Im Unterschied zu einer zweiten Abbildungen, bei der die hohe Ortsauflösung bereits mit einem einzigen Ortsrasterbild erreicht werden kann, trägt hier typischerweise die Anzahl der Spektral bilder (jedes mittels des Filterelements bei einer anderen Wellenlänge aufgenommen) zu der hohen spektralen Auflösung der ersten Abbildungen bei. Die ersten Abbildungen haben den Zweck, das Motiv oder einen Bereich des Motivs mit einer sehr guten Qualität des vom Bilddetektor aufnehmbaren Spektrums darzustellen. Wie oben gesagt, erlangt man die gute spektrale Auflösung auf Kosten der Ortsauflösung.

Ein erfindungsgemäßes Verfahren zur Aufnahme von Daten mit einem

erfindungsgemäßen Multilinsen-Kamerasystem umfasst die folgenden Schritte:

- Bereitstellen eines Motivs. Das Multilinsen-Kamerasystem wird also auf ein Motiv gerichtet.

- Aufnahme des Motivs mittels des Multilinsen-Kamerasystems. In diesem Rahmen wird eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bildsensor erzeugt, wobei in unterschiedlichen Bereichen des Bildsensors und/oder zu unterschiedlichen Aufnahmezeiten eine Vielzahl erster Abbildungen und eine Anzahl zweiter Abbildungen von Bereichen desselben Motivs aufgenommen wird. Dabei unterscheidet sich eine zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs.

Insbesondere umfasst das erfindungsgemäße Verfahren die Schritte:

- Erzeugen einer Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor mittels einer flächigen Linsenmatrix mit einer Vielzahl von Einzellinsen zu einem ersten Aufnahmezeitpunkt.

- Erzeugen einer zweite Abbildung des Motivs in einem zweiten Bereich des Bild sensors und/oder zu einem zweiten Aufnahmezeitpunkt mittels einer weiteren Linse, die in der Ebene der Linsenmatrix oder abgesetzt von der Ebene der Linsenmatrix angeordnet ist.

Vorteil der vorliegenden Erfindung ist, dass ein Motiv mit einem solchen Multilinsen- Kamerasystem sowohl mit einer hohen Bildauflösung abgebildet werden kann als auch mit einer hohen spektralen Auflösung aufgenommen werden kann. Es liegen beide Gruppen von Abbildungen zur Auswertung gemeinsam vor. Die Erfindung erreicht somit eine hohe spektrale Auflösung mit einem hyperspektralen („Full Frame Snapshot“) Multilinsen-Kamerasystem während ebenfalls eine hohe Ortsauflösung erreicht wird. Beispielsweise sind eine optimale spektrale Vermessung von

Bodenflächen aus der Luft sowie eine Steuerung industrieller Prozesse und Anlagen nur möglich, wenn gleichzeitig eine hohe räumliche Auflösung bei gleichzeitig hoher spektraler Auflösung erreicht wird. Dieses Erfindung erfüllt dabei beide Anforderungen.

Im Folgenden werden bevorzugte Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass ein bevorzugtes Multilinsen-Kamerasystem auch analog zu der entsprechenden Beschreibung des Verfahrens ausgestaltet sein kann und insbesondere auch einzelne Merkmale verschiedener Ausführungsbeispiele

miteinander kombiniert werden können.

Gemäß einer bevorzugten Ausführungsform umfasst die Linsenmatrix eine Vielzahl von Einzellinsen und zusätzlich eine weitere Linse, welche verglichen mit den Einzellinsen einen unterschiedlichen Durchmesser und/oder eine unterschiedliche Brennweite und/ oder eine unterschiedliche Substratdicke und/oder einen unterschiedlichen Abstand zum Bildsensor hat. Die Linsenmatrix ist dabei so ausgestaltet, dass sie Abbildungen unterschiedlicher Größe auf dem Bildsensor erzeugt. Dies hat den Vorteil, dass das Motiv im Hinblick auf zwei Abbildungen mit den unterschiedlichen Linsen jeweils von einer unterschiedlichen Anzahl von Bildsensoren aufgenommen wird, was zur Folge hat, dass das Motiv mit unterschiedlichen Auflösungen aufgenommen wird. Selbstver ständlich wird hier davon ausgegangen, dass die Dichte der Bildpunkte des Bildsen sors über seine Fläche im Wesentlichen homogen ist. Die größeren Abbildungen, also diejenigen mit der höheren Ortsauflösung kann den zweiten Abbildungen (Ortsraster bilder) zugeordnet werden. Die kleineren Abbildungen, also diejenigen mit der geringeren Ortsauflösung kann den ersten Abbildungen (Spektralbilder) zugeordnet werden. Die Abbildungen können durchaus noch in weiteren Gruppen von Abbildungen zusammengefasst werden, z.B. wenn auf dem Bildsensor drei oder mehr systematisch unterschiedliche Bildgrößen vorliegen. Für die Erfindung genügen aber bereits zwei unterschiedliche Abbildungen.

Beispielsweise umfasst die Linsenmatrix zwei unterschiedliche Linsengrößen, wobei auch nur eine einzige große Linse und eine Vielzahl von kleinen Linsen vorliegen kann. Wichtig ist hierbei, dass die Anzahl der Spektralbilder (viel) größer ist, als die Anzahl der Ortsrasterbilder, insbesondere um ein ganzzahliges Vielfaches. Bevorzugt beträgt die Anzahl der Spektralbilder mehr als das 5-fache, besonders bevorzugt mehr als das 10-fache der Ortsrasterbilder. Die Spektralbilder werden bei unterschiedliche Wellen längen aufgenommen, z.B. mittels eines Filters, wie er weiter unten genauer beschrie ben wird. Ein Ortsrasterbild kann bei einer einzigen Wellenlänge aufgenommen werden, bevorzugt ist jedoch eine Aufnahme in einem Wellenlängenintervall, bevorzugt einem Intervall, welches die Wellenlängen mehrerer Spektralbilder umfasst. Es ist auch ein panchromatisches Ortsrasterbild bevorzugt, insbesondere wenn nur ein einziges Ortsrasterbild auf dem Bildsensor vorliegt.

In dem bevorzugten Fall, in dem das Linsensystem als weitere Linse eine sphärische oder zylindrische Linse aufweist, die größer ist als die übrigen Einzellinsen der Linsenmatrix und die eine andere Brennweite als diese Einzellinsen aufweist, liegt in der Regel automatisch der Fall vor, dass sich die durch diese weitere Linse erzeugte zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe unterscheidet. Diese bevorzugte Ausführungs form der Erfindung könnte also zusammenfassend wie folgt dargestellt werden:

Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein

Abbildungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie (zu einem ersten Aufnahmezeitpunkt) eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine weitere Linse umfasst, die in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix, angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen.

Es ist bevorzugt, dass die weitere Linse bezogen auf das Raster der Linsenmatrix den Platz von einem ganzzahligen Vielfachen der Einzellinsen einnimmt. Auf der Linsenma trix (bzw. in der in der Ebene der Linsenmatrix) liegt also bevorzugt eine Anzahl von sphärischen und/oder zylindrischen Linsen vor (weitere Linsen), die größer sind als ei ne Gruppe anderer Linsen der Linsenmatrix (Einzellinsen). Bevorzugt sind die große- ren Linsen um einen (insbesondere ganzzahligen) Faktor von 2 oder mehr größer als die anderen Linsen der Linsenmatrix, zumindest in einer Dimension der Linsenmatrix.

Es sollte dazu beachtet werden, dass eine Zylinderlinse verglichen mit sphärischen Linsen nicht zwingend zu einer höheren Ortsauflösung beiträgt, obwohl es in einer Flächendimension des Bildsensors durchaus der Fall sein kann. Während die ersten Abbildungen der sphärischen Linsen der Linsenmatrix beispielsweise eine Auflösung von z.b: 300x300 Pixeln auf dem Bildsensor haben, werden diese ersten Abbildungen nur mit 1 Spektralfilter pro Linse abgebildet. Die Zylinderlinse kann dagegen z.B. eine (Orts-) Auflösung von 300x1 Pixel haben (eine Flächendimension des Bildsensors), aber mit vielen (z.B. 6000) spektralen Kanälen (in der anderen Flächendimension des Bildsensors). Es kann selbstverständlich mehr als eine Zylinderlinse geben.

Selbstverständlich muss die Zylinderlinse keine exakte Kreisbahn als Mantelfläche haben. Die Linsenoberfläche könnte durchaus die Extrusion einer anderen Kurve dar stellen z.B. einer Ellipse. Die Zylinderlinse kann vorteilhaft Zur besseren Interpolation des Spektrums der Einzellinsen genutzt werden, sie kann aber auch einen anderen Bildausschnitt abbilden, z.B. um das Umgebungslicht aufzunehmen. Hierdurch kann z.B. die Änderung des Umgebungslichts im Spektrum korrigiert werden.

Gemäß einer bevorzugten Ausführungsform umfasst das optische Abbildungssystem eine Optik, bevorzugt eine Zoomoptik, zwischen Linsenmatrix und Bildsensor welche dazu ausgestaltet ist, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen und/oder unterschiedlich große Bereiche des Motivs in Form unterschiedlicher Abbil dungen darzustellen. Dabei ist eine Zoomoptik je nach Anwendungsfall bevorzugt zum Zoom aller Abbildungen ausgelegt (wirkt also für die Abbildungen aller Linsen der Linsenmatrix) oder bevorzugt zum Zoom eines Teils der Abbildungen ausgelegt (wirkt also für die Abbildungen eines Teils der Linsen der Linsenmatrix). Die Linsen der Zoomoptik gehören also zu den weiteren Linsen. Bei der ersten Alternative werden bevorzugt die größer aufgenommenen Aufnahmen (zu einem anderen Zeitpunkt aufgenommen als kleiner aufgenommenen erste Abbildungen) als zweite Abbildungen betrachtet. Bei der zweiten Alternative werden bevorzugt diejenigen Aufnahmen, die mit der Zoomoptik gezoomt werden können, als zweite Abbildungen betrachtet. Diese Ausführungsform ermöglicht unterschiedliche Aufnahmemodi der ersten und zweiten Abbildungen (der Ortsrasterbilder und der Spektralbilder).

Die Zoomoptik ist bevorzugt so ausgestaltet, dass sie den Winkel des Filters nachführt. Je nach Art der Zoomoptik bzw. der Art des Zoomens könnte der Fall auftreten, dass „Lücken“ im gemessenen Spektrum entstehen, die ggf. nicht gleichmäßig verteilt sind. Hier wirkt sich eine Nachführung vorteilhaft aus, die bevorzugt eine laterale Bewegung parallel zur Filterebene und/oder eine Drehung um die Flächennormale der Filterebene bzw. um die optische Achse der Kamera umfasst. Im Grunde sind aber auch laterale Bewegungen in andere Richtungen und/oder Drehungen des Filterelements um andere Achsen zur Nachführung möglich. Wrd der Filter in dem oben geschilderten Beispielfall z.B. um die optische Achse (bzw. innerhalb der Ebene in der der Filter liegt) gedreht, wird der Nachteil der„Lücken“ kompensiert. In dem Fall, in dem eine feste Beziehung zwischen Vergrößerungsmaßstab der Zoomoptik und dem Wnkel des Filters vorliegt, ist es bevorzugt, dass der Drehwinkel des Filterelements über eine mechanische oder elektronische Kompensationseinheit (z.B, eine mechanische Verbindung zur Zoom optik) automatisch nachgeführt wird. Die Nachführung umfasst also insbesondere eine Ausführungsform, bei der der Winkel des Filterelements zu seiner Flächennormalen (bzw. zur optischen Achse des Multilinsen-Kamerasystems) nicht fest ist, sondern einstellbar gestaltet ist und besonders bevorzugt von der Einstellung des optischen Abbildungssystems abhängt bzw. in Abhängigkeit der Einstellung des optischen Abbildungssystems regelbar ist.

In dem Fall, in dem das Multilinsen-Kamerasystem die vorangehend beschriebene Optik zwischen Linsenmatrix und Bildsensor enthält, liegt in der Regel automatisch der Fall vor, dass diese eine andere Brennweite aufweist als die Einzellinsen der

Linsenmatrix und dass sich zweite Abbildungen von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheiden, da diese zu unterschiedlichen Aufnahmezeitpunkten vergrößert oder verkleinert werden können. Diese bevorzugte Ausführungsform der Erfindung könnte also

zusammenfassend wie folgt dargestellt werden: Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein

Abbildungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten

Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine Optik, bevorzugt eine Zoomoptik, zwischen Linsenmatrix und

Bildsensor (als weitere Linsen) umfasst,

Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen Mosaik- Filter, welcher insbesondere in Verwendung zusammen mit einer Zoomoptik Vorteile bietet. Bevorzugt ist das Mosaik des Mosaik-Filters so angeordnet, dass große

Wellenlängenschritte innen sind, währen kleinere Intervalle außen sind. Bei einer bevorzugten Form des Mosaik-Filters ist ein Farbmosaik, insbesondere ein

Farbglasmosaik, auf einer Seite eines Substrats, bevorzugt Glas, aufgebracht, insbesondere aufgedampft. Gemäß einer vorteilhaften Ausführungsform ist auf der Vorderseite eines Substrats das Filterelement (ein Mosaik-Filter oder ein anderer Filter) aufgebracht und auf der Rückseite des Substrats die Linsenmatrix (z.B. aufgeprägt). Bevorzugt transmittiert ein Mosaik-Filter für jede Einzellinse eine andere Wellenlänge.

Bei dem Filterelement ist bevorzugt (insbesondere bei einer Ausführung als Mosaik- Filter), dass es in dem Abbildungsbereich einer weiteren Linse auf dem Bildsensor durchsichtig gestaltet ist, und bevorzugt dort ein durchsichtiges Element im

Filterelement vorliegt.

Gemäß einer bevorzugten Alternative oder Ergänzung ist dieses Abbildungssystem dazu ausgestaltet, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen.

Diese Ausführungsform kann insbesondere mit der vorgenannten Zoomoptik realisiert werden. Zu einem ersten Aufnahmezeitpunkt wird das gesamte Motiv aufgenommen. Man erhält mittels des Linsenrasters eine Vielzahl von Abbildungen des Motivs mit einer vergleichsweise geringen Ortsauflösung aber dafür mit einer hohen spektralen Auflösung (aufgrund der hohen Anzahl der Spektralbilder). Zu einem zweiten Aufnah mezeitpunkt (der vor oder nach dem ersten Aufnahmezeitpunkt liegen kann), wird ein größeres, höheraufgelöstes Bild des Motivs (zweite Abbildung) aufgenommen. Die Abbildungsoptik ist also so beschaffen, dass die einzelnen Abbildungen auf dem Bild sensor beim zweiten Aufnahmezeitpunkt größer sind als beim ersten Aufnahmezeit punkt (wobei bevorzugt das gesamte Motiv in jeder Abbildung abgebildet wird). Hierbei werden natürlich die Abbildungen einiger Linsen der Linsenmatrix nicht mehr vom Bildsensor registriert. Man erhält somit Ortsrasterbilder (die Aufnahmen mit höherer Ortsauflösung) und Spektralbilder (die Aufnahmen mit niedrigerer Ortsauflösung).

Alternativ oder ergänzend ist das Abbildungssystem dazu ausgestaltet, unterschiedlich große Bereiche des Motivs in unterschiedlichen Abbildungen darzustellen. Dies wird bevorzugt dadurch erreicht, dass die Abbildungsoptik so beschaffen ist, dass einzelnen Linsen der Linsenmatrix eine individuelle Zoomoptik zugeordnet wird, wobei die unterschiedlichen Zoomoptiken so ausgestaltet sind, dass jeweils in unterschiedliche Bereiche des Motivs gezoomt wird. Beispielsweise können vier Linsen einer uniformen Linsenmatrix so mit einer Abbildungsoptik versehen sein, dass die Abbildung der einen Linse das rechte untere Viertel des Motivs vergrößert in ihrer jeweiligen Abbildung auf dem Bildsensor anzeigt, die zweite Linse das rechte obere Viertel, und die beiden anderen Linsen jeweils das linke untere und obere Viertel. Aus den Vierteln (vier Orts rasterbilder) ergibt sich insgesamt dann das gesamte Motiv in einer höheren Ortsauf lösung während die übrigen Abbildungen der Linsenmatrix auf dem Bildsensor als Spektralbilder der ersten Abbildungen zugeordnet werden.

Gemäß einer bevorzugten Ausführungsform umfasst das optische Abbildungssystem, bevorzugt die Linsenmatrix, als weitere Linse eine Zylinderlinse, z.B. in deren obersten Zeile. Das Multilinsen-Kamerasystem ist dabei bevorzugt so ausgestaltet, dass derjenige Teil des Bildsensors, auf dem die Abbildung der Zylinderlinse erzeugt wird, unabhängig vom übrigen Teil des Bildsensors ausgelesen werden kann. Damit kann der Sensor-Readout auf die Abbildung der Zylinderlinse beschränkt werden, was den Vorteil hat, dass die Ausleserate erhöht wird, da der übrige Teil des Bildsensors in diesem Fall nicht mehr ausgelesen wird. Damit kann das Multilinsen-Kamerasystem auf einfache Weise als Linienscanner mit einer hohen Ausleserate eingesetzt werden, z.B. zur Erkennung von Produkten in einer Produktionslinie. In dem Fall, in dem das Multilinsen-Kamerasystem eine Zylinderlinse als weitere Linse umfasst, liegt automatisch der Fall vor, dass diese eine Brennlinie aufweist, und dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer

Flächendimension des Bildsensors bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet. Diese bevorzugte Ausführungsform der Erfindung könnte also zusammenfassend wie folgt dargestellt werden:

Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbil dungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Viel zahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine Zylinderlinse als weitere Linse umfasst, die in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix, vor der Linsenmatrix oder zwischen Linsenmatrix und Bildsensor angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen.

Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Verarbeitungseinheit, welche dazu ausgestaltet ist, die ersten Abbildungen mit einer zweiten Abbildung zu überlagern und/oder zu registrieren und/oder

entsprechende Bildbereiche der ersten Abbildungen mit einer zweiten Abbildung miteinander datentechnisch zu verknüpfen, wobei die Verarbeitungseinheit

insbesondere dazu ausgestaltet ist, spektrale Daten von Bildpunkten der zweiten Abbildung durch spektrale Daten basierend auf den ersten Abbildungen zu ergänzen und/oder Bildpunkten der ersten Abbildungen durch räumliche Daten der zweiten Abbildung zu ergänzen.

Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen linearvari ablen Filter mit Filterlinien („Verlaufsfilter“), welcher bevorzugt im Hinblick auf die Aus richtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1 ° und 45° verdreht ist. Alternativ oder zusätzlich umfasst das Filterelement eine Filtermatrix, besonders bevorzugt einen Mosaik-Filter. We oben bereits gesagt ist der Mosaik-Filter insbesondere für die Zoomoptik von Vorteil. Allen Filtern ist gemein, dass zumindest je- weils jeder ersten Abbildung (also der in der Regel jedem Bild der Vielzahl von

Einzellinsen) eine unterschiedliche Filtercharakteristik, in der Regel ein jeweils anderer Spektralbereich, zugeordnet wird.

Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Aperturmaske zwischen Linsenmatrix und Bildsensor, wobei Aperturen auf der Aperturmaske entsprechend den Linsen der Linsenmatrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbildungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt. Die Aperturmaske weist also das gleiche Muster wie die Linsenmatrix auf, wobei statt der Linsen dort Aperturen vorliegen. Ein optischer Abbildungssystem, z.B. eine Zoomoptik, ist bevorzugt zwischen Apertur maske und Bildsensor positioniert. Die Aperturmaske verbessert die Abbildungen, da sie Streulicht herausfiltert.

Gemäß einer bevorzugten Ausführungsform des Verfahrens wird im Rahmen einer zweiten Abbildung (also mindestens einem Ortsrasterbild) eine panchromatische Bildaufnahme aufgenommen. Dabei werden bevorzugt an unterschiedlichen Positionen des Bildsensors (insbesondere gleichzeitig) und/oder zu unterschiedlichen Messzeiten mehrere panchomatische Aufnahmen unterschiedlicher Bereiche des Motivs und/oder mit unterschiedlicher spektraler Auflösung angefertigt. Bevorzugt wird eine panchroma tische Bildaufnahme mit (hyperspektralen) Daten der ersten Aufnahmen überlagert. Dies hat den Vorteil dass damit eine neue Basis der Zuordnung dieser Daten geschaffen wird.

Gemäß einer bevorzugten Ausführungsform des Verfahrens werden die Daten einer zweiten Abbildung (mindestens einem Ortsrasterbild) mit den Daten der ersten Abbil dungen (den Spektralbildern) zur Auswertung der Daten überlagert und/oder registiert und/oder miteinander in Beziehung gesetzt (s. obige Ausführungen zur Verarbeitungs einheit oder z.B.„Pan-sharpening“). Die zweite Abbildung kann durchaus auch von einer Zylinderlinse stammen.

Dabei werden die Daten einer zweiten Abbildung bevorzugt zu den folgenden

Operationen als einzelne Operationen oder als kombinierte Operationen verwendet. - Extrapolation der spektralen Daten der ersten Abbildungen an verschiedenen räum lichen Positionen (unter Verwendung von höher auflösenden zweiten Abbildungen). Damit erhält man eine bessere räumliche Einordnung der spektralen Daten.

- Ermittlung räumlich präzisierter Bezugspunkte. Dies ist vorteilhaft zur Erstellung von Geokoordinaten für hyperspektrale Karten.

- Durchführung von Dimensionsmessungen an dem Motiv. Beispielsweise kann eine Längenmessung durchgeführt werden.

- Ermittlung einer räumlichen Zuordnung mit höherer räumlicher Auflösung als die räumliche Zuordnung der spektralen Daten der ersten Abbildungen. Damit wird die räumliche Zuordnung der spektralen Daten verbessert.

Die aufgenommenen Daten werden bevorzugt wie folgt verarbeitet. Dabei findet die Berechnung im Falle von Luftbildern bevorzugt auf einer Recheneinheit direkt im Fluggerät (z.B. einem Flugzeug, einer Drohne oder einem Satelliten) statt oder nachträglich auf einer Recheneinheit am Boden („Boden-PC“). Dies beinhaltet: a) Eine Verrechnung von ersten Aufnahmen mit einer zweiten Aufnahme, wobei die zweite Aufnahme insbesondere ein hochauflösendes Einzelkanalbild ist. Die

Berechnung kann z.B. wie vorangehend beschrieben erfolgen. b) Eine optische Bildkorrektur (räumlich und spektral). Diese erfolgt bevorzugt unter Zuhilfenahme von Umgebungslichtsensoren, z.B. einer Photodiode oder einem Spektrometer. c) Eine Ermittlung von Objekteigenschaften und/oder eine Unterscheidung von Objekten

Insbesondere aus den spektralen Informationen kann mittels einer angeschlossenen Recheneinheit Indexbasiert auf Objekteigenschaften wie die chemische

Zusammensetzung des Objekts geschlossen werden oder mit Klassifikationsverfahren zwischen verschiedenen Substanzen und Objekten unterschieden werden. Bei der Klassifikation kann neben der spektralen Bildinformation insbesondere die

Strukturinformation aus dem hochaufgelösten Sensorbild mitberücksichtigt werden. d) Eine Überlagerung von Bildsequenzen,

- zur Erstellung einer Karte, z.B. einer geolokalisierten Messkarte, bevorzugt unter Zuhilfenahme der hochaufgelösten Bildinformation zur automatischen Erzeugung von eindeutigen Passpunkten zwischen überlappenden Bildern verschiedener Orte, welche eine automatisches Stitching der hochaufgelösten Bilddaten ermöglicht und so auch die Verödung der niedriger aufgelösten spektralen Information erlaubt. Hierbei kann die Verwendung von Positionierungsdaten (z.B. GPS-Daten oder Daten eines Beschleunigungssensors) hilfreich sein und die Genauigkeit des Stitchings erhöhen, was der Einordnung der Aufnahmen in eine (geografische) Karte an mit der Realität übereinstimmenden Positionen dient, und/oder

- zur Berechnung eines hochauflösenden Bildes, welches insbesondere bei einem Zeilenscanner-Aufbau mit einer Zylinderlinse als eine weitere Linse vorteilhaft ist.

Die Resultate z.B. berechnete Pflanzenschutzparameter, können dann auf der Rechnereinheit im Fluggerät oder dem Boden PC abgespeichert werden oder umgehend an eine ausführende Einheit, z.B. eine Landmaschine gesendet werden um geolokalisierte Arbeitsschritte (z.b.: Pflanzenschutz oder Düngung) auf Basis der soeben erhobenen Erkenntnisse der spektralen Messung durchzuführen.

Beispiele für bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung sind in den Abbildungen dargestellt.

Figur 1 zeigt schematisch ein Multilinsen-Kamerasystem gemäß dem Stand der Technik.

Figur 2 zeigt schematisch ein Multilinsen-Kamerasystem gemäß einer bevorzugten Ausführungsform der Erfindung.

Figur 3 zeigt ein Beispiel für eine Anordnung von Abbildungen.

Figur 4 zeigt schematisch ein Multilinsen-Kamerasystem gemäß einer weiteren bevorzugten Ausführungsform der Erfindung.

Figur 5 zeigt ein Beispiel für eine weitere Anordnung von Abbildungen.

Figur 6 zeigt ein Beispiel für eine bevorzugte Linsenmatrix. Figur 7 zeigt ein weiteres Beispiel für eine bevorzugte Linsenmatrix.

Figur 8 zeigt schematisch ein weiteres Multilinsen-Kamerasystem gemäß einer bevorzugten Ausführungsform der Erfindung.

Figur 1 zeigt schematisch ein Multilinsen-Kamerasystem 1 zur hyperspektralen Aufnahme von Bildern gemäß dem Stand der Technik in einer perspektivischen Darstellung. Das Multilinsen-Kamerasystem 1 umfasst einen flächigen Bildsensor 3, und eine flächige Linsenmatrix 2 aus gleichförmigen Einzellinsen 2a, welche so angeordnet ist, dass sie von einem Motiv M eine Vielzahl von rasterförmig

angeordneten ersten Abbildungen AS (s. z.B. ausschließlich die kleinen ersten

Abbildungen AS in Figur 5) auf dem Bildsensor 3 erzeugt. Der Übersicht halber ist nur eine der Einzellinsen 2a mit einem Referenzzeichen versehen.

Zur Verbesserung der Qualität der ersten Abbildungen AS ist eine Aperturmaske 5 zwischen Bildsensor 3 und Linsenmatrix 2 angeordnet. Jede Apertur 5a der Apertur maske 5, ist einer Einzellinse 2a zugeordnet und genau hinter dieser angeordnet. Zum Erhalt der spektralen Informationen ist ein Filterelement 4 zwischen Aperturmaske 5 und Bildsensor 3 angeordnet. Dieses Filterelement 4 kann in anderen Ausführungen auch vor der Linsenmatrix angeordnet sein (s. z.B. Figur 8). In dem hier dargestellten Fall handelt es sich bei dem Filterelement 4 um einen linearvariablen Filter, der gegen über dem Bildsensor etwas verdreht ist. Jede Abbildung hat damit ihren Mittelpunkt bei einem anderen Längenwellenbereich des Filterelements. Somit liefert jede erste Abbil dung AS auf dem Bildsensor eine andere spektrale Information und die Gesamtheit der ersten Abbildungen AS dient zur Erstellung eines Bildes mit spektralen Informationen.

Figur 2 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer bevorzugten Ausführungsform der Erfindung in einer perspektivischen Darstellung. Es ist ähnlich dem Multilinsen-Kamerasystem aus Figur 1 aufgebaut mit dem wichtigen Unterschied, dass die Linsenmatrix 2 eine größere weitere Linse 2b mit einer anderen Brennweite aufweist. Entsprechend hat die Aperturmaske 5 an dieser Stelle auch eine größere Apertur 5a.

Durch diese größere weitere Linse 2b ist das Multilinsen-Kamerasystem 1 dazu in der Lage, bei unveränderter Positionierung des Multilinsen-Kamerasystems 1 zum Motiv M (s. Figur 1) eine zweite Abbildung AO (nämlich diejenige, die durch die größere weitere Linse 2b abgebildet wird) mit einer höheren Ortsauflösung als die der ersten Abbil dungen AS (der kleineren Einzellinsen 2a) auf dem Bildsensor 3 darzustellen. Da die größere weitere Linse 2b hier eine größere Brennweite hat, ist sie etwas weiter entfernt vom Bildsensor 3 angeordnet. Zu den Abbildungen AO, AS wird auf Figur 3 verwiesen.

Figur 3 zeigt ein Beispiel für eine Anordnung von ersten Abbildungen AS und zweiten Abbildungen AO wie sie mit einem Multilinsen-Kamerasystem 1 nach Figur 2 auf dessen Bildsensor 3 vorliegen könnte. Links oben ist eine einzige zweite Abbildung AO (Ortsrasterbild) dargestellt, wie sie von der großen weiteren Linse 2b des Multilinsen- Kamerasystems 1 nach Figur 2 auf dem Bildsensor 3 abgebildet wird. Die übrigen Bilder (Spektralbilder) gehören zur zweiten Gruppe von ersten Abbildungen AS. Links ist das Motiv M zu sehen, welches durch das Multilinsen-Kamerasystem 1 abgebildet wird, wobei der Vorgang der Abbildung mit einem Pfeil symbolisiert wird.

Da der Bildsensor 3 eine homogene Pixelverteilung hat, zeigen die zweite Abbildung AO und die ersten Abbildungen AS zwar dasselbe Motiv M in unterschiedlichen Bereichen des Bildsensors, jedoch hat das Ortsrasterbild (zweite Abbildung AO) die vierfache Ortsauflösung verglichen mit den Spektralbildern (erste Abbildungen AS).

Figur 4 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer weiteren bevorzugten Ausführungsform mit einer optischen Abbildungsoptik 6 zwischen der Linsenmatrix 2 in Seitenansicht. Das Multilinsen-Kamerasystem ist in diesem Beispiel ohne eine Aperturmaske 5 dargestellt. Der Bildsensor 3 hat wie die vorangehenden Beispiele ein vorgelagertes Filterelement 4. Die optische Abbildungsoptik 6 kann bei spielsweise eine Zoomoptik sein, was zu einer Darstellung gemäß Figur 5 führen kann. Dieses Multilinsen-Kamerasystem 1 ist dazu ausgestaltet, dass bei unveränderter Posi tionierung des Multilinsen-Kamerasystems 1 zum Motiv M mehrere zweite Abbildungen AO (oder auch eine einzige zweite Abbildung AO) mit einer höheren Ortsauflösung als die ersten Abbildungen AS (s. Figur 5) zu unterschiedlichen Aufnahmezeiten aufzunehmen.

Figur 5 zeigt ein Beispiel für eine Anordnung von Abbildungen AO, AS wie sie mit einem Multilinsen-Kamerasystem 1 nach Figur 4 auf dessen Bildsensor 3 vorliegen könnte. Die Aufnahmen des Motivs M zu unterschiedlichen Aufnahmezeiten sind links und rechts unter dem Motiv M dargestellt, wobei der Vorgang der Abbildung hier wieder mit Pfeilen symbolisiert wird.

Bei der linken Aufnahme ist die Abbildungsoptik 6 so eingestellt, dass zwar das gesamte Motiv M aufgenommen wird, aber nicht alle Bilder der Abbildungsoptik auf den Bildsensor„passen“ (gestrichelter Rand). Hier haben die einzelnen Abbildungen eine vergleichsweise große Ortsauflösung, da vergleichsweise viele Pixel des Bildsensors von einem Bild überdeckt werden. Diese Aufnahmen können als zweite Abbildungen AO angesehen werden.

Bei der rechten Aufnahme ist die Abbildungsoptik 6 so eingestellt, dass alle

Abbildungen der Linsenmatrix auf den Bildsensor„passen“. Demzufolge sind sie kleiner als die Aufnahmen in der linken Darstellung und haben auch eine geringere Ortsuflösung. Diese Aufnahmen können als erste Abbildungen AS angesehen werden.

Figur 6 zeigt ein Beispiel für eine bevorzugte Linsenmatrix 2. Dieses umfasst neben den Einzellinsen 2a in der ersten Zeile eine Zylinderlinse als weitere Linse 2b. Mit einer solchen Linse kann ein Multilinsen-Kamerasystem 1 auch als Linienscanner verwendet werden.

Figur 7 zeigt ein weiteres Beispiel für eine bevorzugte Linsenmatrix 2. Dieses umfasst in der ersten Zeile eine einzige Zylinderlinse als weitere Linse 2b, deren Rastermaß dem der sphärischen Einzellinsen 2a entspricht.

Figur 8 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer bevorzugten Ausführungsform der Erfindung in einer perspektivischen Darstellung. Es ist ähnlich dem Multilinsen-Kamerasystem aus Figur 2 aufgebaut, jedoch mit einigen Besonder heiten, die durchaus auch einzeln jede für sich in einem Multilinsen-Kamerasystem vorliegen können.

Zum einen gibt es zwei Linsenmatrizen 2, eine flächige Linsenmatrix 2 aus gleichförmi gen Einzellinsen 2a und eine Linsenmatrix 2 mit einer größeren weiteren Linse 2b, welches etwas weiter vom Bildsensor 3 entfernt ist. Zum zweiten ist das Filterelement 4 vor den beiden Linsenmatrizen 2 angeordnet.

Zum dritten ist das Filterelement 4 ein Mosaikfilter, welcher für jede Einzellinse eine andere Wellenlänge transmittiert (durch die durchsichtigen Kästen im Filterelement 4 angedeutet). Vor der weiteren Linse 2b befindet sich bevorzugt ein durchsichtiges Element im Filterelement 4, was dort durch den größeren durchsichtigen Kasten angedeutet ist.

Abschließend wird angemerkt, dass die Verwendung der unbestimmten Artikel, wie z.B. „ein“ oder„eine“, nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. So kann„ein“ auch als„mindestens ein“ gelesen werden. Begriffe wie„Einheit“ oder„Vorrichtung“ schließen nicht aus, dass die betreffenden Elemente aus mehreren zusammenwirkenden Komponenten bestehen können, die nicht unbedingt in einem gemeinsamen Gehäuse untergebracht sind, auch wenn der Fall eines umfassenden Gehäuses bevorzugt ist. Im Bereich der Optik kann insbeson dere das Element der Linse aus einer einzelnen Linse oder einem System von Linsen oder einem Objektiv bestehen ohne dass dies einer genauen Differenzierung bedarf.

Bezeugszeichenliste

1 Multilinsen-Kamerasystem

2 Linsenmatrix

2a Einzellinse

2b Weitere Linse

3 Bildsensor

4 Filterelement

5 Aperturmaske

5a Apertur

6 Abbildungsoptik

AS Erste Abbildung

AO Zweite Abbildung

M Motiv