Miniaturisiertes optoelektronisches System zur Spektralanalyse

Gebiet der Erfindung

Die Erfindung bezieht sich auf ein miniaturisiertes optoelektronisches System zur Erzeugung statischer oder bewegter Bilder von Szenen oder einzelnen Objekten und zur Ermittlung und Auswertung der spektralen Eigenschaften der Objekte innerhalb einer Szene oder auch von einzeln abgebildeten Objekten.

Stand der Technik

Es ist eine Studie über kommerzielle Geräte in Form von Mobiltelefonen bekannt, die mit mikroskopischen Abbildungseigenschaften sowie mit der Fähigkeit zur Spektralanalyse eines zu untersuchenden Objektes ausgestattet sind. Diese Studie ist veröffentlicht unter „Cell-Phone- Based Platform for Biomedical Device Development and Education Applications; Zachary J. Smith at all; Center for Biophotonics Science and Technology, University of California Davis, Sacramento, California, USA.

Hierbei wurde ein Mobiltelefon mit einem einkanaligen Spektrometer gekoppelt, das über eine Bandbreite von 300 nm und eine spektrale Auflösung von unter 5 nm verfügt. Die Bestimmung von Weißlicht-Transmissionsspektren und Fluoreszenz-Spektren ist damit möglich. Die Verwendung dieser als Handy-Spektrometer bezeichneten Gerätekombination ist im Zusammenhang mit medizinisch relevanten Applikationen vorgesehen. Als Gerätebasis wurde ein zur Medienwiedergabe geeignetes GSM-Mobiltelefon verwendet, das eine Videokamera, einen mobi- len Internetzugang mit E-Mail sowie GPS-Karten aufweist und derzeit unter der Handelsbezeichnung iPhone bekannt ist.

Weiterhin ist in US 2010/0309454 A1 ein kompaktes Spektrometer beschrieben, das mit einem Mobiltelefon gekoppelt bzw. in miniaturisierter Ausführung in ein Mobiltelefon integriert ist. Imp- liziert sind dabei ebenfalls die Energieversorgung, Datenspeicher, Signalverarbeitung und Echtzeitanzeige der Messergebnisse. Die Ergebnisse können sofort per Drahtlos-Kommunikation zu einer Remote-Station oder zu anderen Mobiltelefonen bzw. deren Benutzern übermittelt werden. So besteht beispielsweise für Diabetiker die Möglichkeit, Blutzuckermessungen in nicht invasiver Weise zuhause ausführen und die Ergebnisse an den Arzt übermitteln.

Nachteilig bei den vorgenannten Anordnungen ist, dass eine umfassende und präzise Bestimmung der Spektraleigenschaften von bildlich erfassten Szenen oder Objekten in Echtzeit nicht möglich und die Ausgabe von schlussfolgernden Informationen, etwa im Sinne von Handlungsempfehlungen für den Nutzer, die sich auf die Ermittlungs- und Auswerteergebnisse beziehen, gar nicht beabsichtigt oder - gemessen an bestehenden Bedürfnissen - nur eingeschränkt und damit unzureichend möglich ist.

Beschreibung der Erfindung

Der nachfolgend beschriebenen Erfindung liegt die Aufgabe zugrunde, die dem Stand der Technik anhaftenden Mängel zu beheben.

Erfindungsgemäß umfasst ein miniaturisiertes optoelektronisches System der eingangs ge- nannten Art

optische Bauelemente und Strahlengänge zur Erzeugung statischer oder bewegter Bilder einer Szene oder eines einzelnen Objektes,

optische Bauelemente und Strahlengänge zur Bestimmung der Spektraleigenschaften eines oder mehrerer in der Szene enthaltener Objekte oder eines einzelnen Objektes, - mindestens einen Bildsensor als optoelektronischen Wandler,

elektronische Bauelemente, ausgebildet zur Verarbeitung der Ausgangssignale des Bildsensors,

eine Informationsausgabeeinheit, ausgebildet zur Ergebnisdarstellung sinnlich, vorzugsweise visuell wahrnehmbaren Darstellung der Spektraleigenschaften in Zuordnung zu den Objekten, und

Mittel zur Stromversorgung der elektronischen Bauelemente,

wobei eine Ausführung des Systems in Form eines Handgerätes, auch als Handheld bezeichnet, vorgesehen ist. Ein Handgerät bzw. Handheld im Sinne der vorliegenden Erfindung ist ein tragbares elektronisches Gerät mit eigener Stromversorgung für unterschiedliche Anwendungen. Es ist so klein und leicht, dass es bei der Benutzung in nur einer Hand gehalten werden kann, daher die Bezeichnung Handheld, von englisch in der Hand gehalten (zitiert aus Wikipedia, 31 .08.201 1 ). Als Strahlengänge im Sinne der vorliegenden Erfindung sind die Laufwege des Lichtes durch den optischen Teil des Systems zu verstehen. In unterschiedlichen Ausführungsformen des erfindungsgemäßen Systems verlaufen die Strahlengänge zur Bilderzeugung und die Strahlen- gänge zur Bestimmung der Spektraleigenschaften zumindest abschnittweise getrennt oder gemeinsam , und die Bilderzeugung und die Spektralanalyse sind gleichzeitig oder zeitlich aufeinander folgend vorgesehen.

In einer bevorzugten Ausführungsform sind die optischen Mittel zur Bestimmung der Spektralei- genschaften als Mehrkanalspektrometer ausgebildet und dazu vorgesehen, Spektren für mehrere Wellenlängen des Beleuchtungs- und / oder Messlichtes unabhängig voneinander simultan zu bestimmen, vorzugsweise gleichzeitig mit der Erzeugung von Abbildungen der Szenen oder Objekte, deren spektrale Eigenschaften zu ermitteln sind. Einbezogen in den Erfindungsgedanken ist dabei die Ausbildung in Form eines hyperspektralen Mehrkanalspektrometers, das zur Spektralanalyse im Wellenlängenbereich von ultraviolett bis zum langwelligen Infrarot geeignet ist und in jedem der Kanäle mit bis zu 250 unterschiedlichen, jeweils einer Wellenlänge oder einem Wellenlängenbereich entsprechenden Stützstellen versehen ist.

Optional können als optoelektronische Wandler vorgesehen sein

ein polychromatischer Silizium basierter Bildsensor,

ein polychromatischer Indium-Gallium-Arsenit (InGaAs) basierter Bildsensor,

mehrere monochromatische Einzelsensoren auf Silizium- oder Indium-Gallium-Arsenid- Basis, die zusammenwirkend einen bestimmten, spektral zu analysierenden Wellenlängenbereich überdecken, oder

Kombinationen aus polychromatischen und monochromatischen Zeilen- oder Flächensensoren auf Silizium- und / oder Indium-Gallium-Arsenid-Basis, die ebenfalls einen bestimmten, spektral zu analysierenden Wellenlängenbereich überdecken.

Das erfindungsgemäße System ist in speziellen Ausgestaltungen zur Erzeugung zwei- oder dreidimensionaler Bilder von Szenen oder Objekten ausgebildet, und die Spektralanalyse erfolgt für eine oder mehrere einzelne Linien, für eine Fläche oder für ein Volumen eines aus einer Szene ausgewählten oder einzeln aufgenommenen Objektes.

Die Erzeugung dreidimensionaler Bilder erfolgt dabei vorzugsweise unter Anwendung des an sich bekannten TOF = Time Of Flight-Prinzips. Dies ist insbesondere für Applikationen vorteilhaft, die eine zeitlich aufgelöste Spektralanalyse erfordern. Hierbei wird vorteilhaft ein Photomischdetektor, auch als PMD-Sensor bezeichnet, als Bildsensor genutzt. Die Mittel zur Bilderzeugung und die Mittel zur Bestimmung der Spektraleigenschaften sind entweder innerhalb eines gemeinsamen kompakten Gehäuses untergebracht oder als getrennte Baugruppen ausgeführt. Für beide Optionen sind Ausführungsformen vorgesehen, die aufgrund ihrer Größe und ihres Gewichtes das einhändige Halten und Bedienen ermöglichen.

Im Falle der Ausführung in getrennten Baugruppen sind diese über Schnittstellen miteinander gekoppelt. Vorteilhaft ist dabei den optischen Elementen zur Bilderzeugung, insbesondere einem zum Abbildungsstrahlengang gehörenden Objektiv, eine dispersive Optik vorgeordnet, beispielsweise in Form eines optischen Gitters, Prismas oder Filters.

Um eine Kompensation der Abbildungsunschärfe zu erreichen, die aufgrund der Dispersion in Richtung der Z-Achse dem Rowlandkreis entsprechend entsteht, sowie auch um weitere Abbil- dungsunschärfen in Ebenen zu kompensieren, die zu der von der Z-Achse und der Dispersionsrichtung aufgespannten Ebene geneigt sind, werden Bildstapel aus unterschiedlichen Fokusebenen aufgenommen, die Einzelbilder dieser Stapel bezüglich der Abbildungsschärfe vorzugsweise relevanter Bildelemente ausgewertet und aus den Ergebnissen Abbildungen der Szene bzw. von Objekten gewonnen, deren Abbildungsschärfe korrigiert ist.

Die Fokusvariation wird beispielsweise durch schrittweise Änderung des Abstandes zwischen dem Objektiv und der Fokusebene des Dispersionselementes vorgenommen. Bei entsprechender Programmierung kann dazu temporär eine vorhandene Autofokussier-Einrichtung genutzt werden. Alternativ ist zwecks Kompensation der Abbildungsunschärfe auch der Einsatz von DOE ^' s oder von anderen optisch korrigierenden Elementen vorstellbar.

Zur Beleuchtung der Szene oder des aufzunehmenden Objektes und / oder zur Spektralanalyse ist das jeweilige natürliche Umgebungslicht oder das von einer künstlichen Quelle abgestrahlte Licht vorgesehen. Die Einkopplung des von der Szene bzw. dem Objekt kommenden Messlichtes in die Strahlengänge für die Spektralanalyse erfolgt beispielsweise mittels Freistrahloptiken oder Lichtwellenleitern. Im Rahmen der Erfindung liegt auch die separate oder integrierte Ausstattung des optoelektronischen Systems mit einer Beleuchtungslichtquelle, die Fluoreszenz anregendes Licht abstrahlt.

Werden künstliche Lichtquellen genutzt, so sind diese bevorzugt mit Mitteln zur definierten Beeinflussung der Intensität, der Wellenlänge und / oder der Polarisation des abgestrahlten Lichtes verbunden. Die Verwendung von Polarisationselementen ermöglicht die Verarbeitung von Phaseninformation, was insbesondere bei der Spektralellipsometrie zwecks Untersuchung von Schichtdicken und optischen Eigenschaften verschiedener Materialien vorteilhaft ist. Dabei wird polarisiertes Licht auf die Probe eingestrahlt, und anhand der Amplituden- und Phaseninformation bzw. der ellipsometrischen Parameter Y und D des reflektierten Strahls wird auf die polarisierenden Eigenschaften der Probe geschlossen.

In einer weiteren Ausgestaltung der Erfindung ist das Generieren von Anweisungen zum Handeln für den Nutzer vorgesehen, die in Form von Schlussfolgerungen aus den Ergebnissen der Spektralanalyse generiert werden. In den Erfindungsgedanken eingeschlossen ist dabei die zusätzliche Verknüpfung der Ergebnisse der Spektralanalyse mit weiteren, die Szenen und Objekte betreffenden Informationen, etwa Metadaten. Diese sind entweder intern im System gespeichert, in einem externen, jedoch dem System zugeordnet Datenspeicher abgelegt oder per Kommunikation global öffentlich zugänglich und mit dem System abrufbar.

In Bezug auf letzteres ist das erfindungsgemäße optoelektronische System beispielsweise aus- gestattet mit Mitteln zur drahtlosen Einbindung in ein Kommunikationsnetzwerk, insbesondere zur Bild- und Ton-Übertragung, zur Übertragung von Messergebnissen in externe Datenspeicher und / oder zum Abrufen von Informationen aus externen Datenspeichern. Solche Informationen sind zum Beispiel Referenzwerte für die Kalibrierung der Mittel zur Bilderzeugung, vorzugsweise jedoch für die Kalibrierung der Mittel zur Spektralanalyse. So kann insbesondere die Kalibrierung der Intensität und / oder der Wellenlänge des Beleuchtungslichtes vorgesehen sein.

In einer weiteren, ebenfalls im Rahmen der Erfindung liegenden Ausgestaltung ist das erfindungsgemäße optoelektronische System mit Mitteln zur Zielführung des Nutzers bei der Suche nach solchen Objekten innerhalb beliebiger Szenen ausgestattet, die bestimmte Spektraleigenschaften aufweisen.

Diese Zielführung wird erreicht, indem zum Beispiel mittels GPS und / oder Kompass die räumliche Orientierung der abgebildeten Szene bzw. des abgebildeten Objektes bestimmt und mit dem zeitlichen Gradienten einer vom Benutzer willkürlich oder gezielt verursachten Änderung der gemessenen absoluten oder relativen räumlichen spektralen Information in Korrelation gebracht wird. Die damit gewonnene Rückinformation an den Benutzer erlaubt die Zielführung des Systems hin zu Bereichen, die im Zusammenhang mit der jeweiligen Applikation für den Nutzer relevanten sind.

Weitere Informationen, die den Kontext der Messung unterstützen, wie z.B. Temperatur, werden in der Verrechnung der Gradienten-Raum-Information ergänzend berücksichtigt. Das Echtzeit-Feedback der Messinformation erfolgt z.B. im Display mittels Stützstellen bietenden Gittern, Pfeilen, Falschfarbenflächen, oder auch mittels haptischen Sofortinformationen an den Nutzer, etwa akustisch und / oder in Form von Vibrationen. Das Rückmeldung an den Nutzer muss dazu nicht zwingend am selben Ort erfolgen, das hei ßt der Nutzer kann die Information räumlich getrennt über die Kommunikationsschnittstellen des erfindungsgemäßen Systems erhalten, wie z.B. TCP/I P, Bluetooth etc.

Im Zusammenhang mit der Zielführung ist für bestimmte Applikationen beispielsweise auch die Verknüpfung von Objekten, die aufgrund ihrer Spektraleigenschaften als interessant ermittelt worden sind, mit bildlich erfassten Geländeformen vorgesehen.

Die Informationsausgabeeinheit verfügt zum Zweck der visuell wahrnehmbaren Ergebnisdarstellung beispielsweise über ein LED- oder OLED-Display.

Bei einer weiteren vorteilhaften Ausgestaltung sind die Mittel zur Bilderzeugung als Lichtfeldkamerasystem ausgebildet. Lichtfeldkamerasysteme sind unter der Bezeichnung plenoptische Kameras bekannt. Sie erfassen das 4D-Lichtfeld einer Szene, wodurch nicht nur die Position und Intensität eines auf den Bildsensor einfallenden Lichtstrahls bekannt ist, sondern auch des- sen Einfallsrichtung. Zur Lichtfeldmessung wird beispielsweise ein Gitter aus mehreren Mikro- linsen vor dem Bildsensor angeordnet. Damit werden vorteilhaft auch ohne Autofokussierung sehr große Tiefenschärfen erzielt bei geringster Abbildungsunschärfe.

Die vorzugsweise als Kamera ausgebildeten Mittel zur Bilderzeugung weisen vorteilhaft eine Sensormatrix auf, beispielsweise ausgeführt in Form eines CCD-Bildsensors, der mit einer AnSteuerung zum temporären Zusammenfassen benachbarter Pixel zu Pixelblöcken verbunden ist, um eine höhere Lichtempfindlichkeit und zugleich eine höhere Auslesegeschwindigkeit zu erzielen. Diese Ansteuerung kann, bezogen auf die Pixel des Bildsensors, räumlich und / oder zeitlich gestaffelt vorgenommen werden.

Im Rahmen der Erfindung liegt optional auch die Ausstattung des optoelektronischen Systems mit Beschleunigungssensor, Gyroskop und Neigungsmesser sowie mit Mitteln zur Einbindung in das Global Positioning System (GPS). Mit Hilfe des Neigungsmessers und GPS ist beispielsweise die Bestimmung des Einfallswinkels des Mess- und / oder Beleuchtungslichtes auf ein abzubildendes Objekt in Relation zur optischen Achse der Abbildungsoptik vorgesehen .

Unter dem Begriff Beleuchtungslicht soll im Zusammenhang mit der vorliegenden Erfindung das auf die Szene bzw. das Objekt gerichtete Licht, unter dem Begriff Messlicht das von der Szene bzw. dem Objekt kommende und entsprechende der jeweiligen Applikation auszuwertende Licht zu verstehen sein.

Sind künstliche Quellen für das Beleuchtung- bzw. Messlicht vorgesehen, können diese optio- nal kontinuierlich oder gepulst betrieben werden. Wird das erfindungsgemäße System als spektrales Video-System betrieben, ist im letzteren Fall die Sequenz bei der Aufnahme der bewegten Bilder mit der Pulsfrequenz der Lichtquelle so zu synchronisieren, dass die Aufnahme stets bei Beleuchtung der Szene bzw. des Objektes erfolgt, so dass periodisch sich wiederholende Vorgänge oder periodisch wiederkehrende Ereignisse sichtbar gemacht werden, etwa um zeitlich fortschreitende Veränderungen feststellen zu können.

In einer weiteren vorteilhaften Ausgestaltung sind Mittel zur Klassifizierung von abgebildeten Objekten anhand ihrer spektralen Eigenschaften vorgesehen, wobei die Klassifizierung beispielsweise unter chemisch, medizinisch oder landwirtschaftlich aufschlussreichen Aspekten vorgenommen wird.

Das erfindungsgemäße miniaturisierte optoelektronische System bietet im Unterschied zu den nach Stand der Technik verfügbaren Systemen wesentliche Vorteile. So kann erfindungsgemäß eine Überlagerung des Livebildes mit einer spektralen Messung vorgenommen werden, bei der die Sequenz der Bilderfassung größer ist als die Sequenz, mit der die Spektralanalyse erfolgt. Der Bildsensor wird dabei bereichsweise für die spektrale Messung und bereichsweise für das Livebild genutzt. Diesbezüglich sind vorzugsweise zwei Kameras im System vorgesehen, von denen eine der spektralen Messung und die zweite dem Livebild vorbehalten ist. Im Livebild wird - für den Nutzer erkennbar - eine Markierung des Bildanteiles vorgenommen, in dem die spektrale Messung erfolgt,

eine Überlagerung des Livebildes mit einer spektralen Messung vorgenommen werden, bei der die Sequenz der Bilderfassung der Sequenz entspricht, mit der die Spektralanalyse erfolgt. Hierbei werden die jeweils in Echtzeit aufgenommenen Bild- und Spektralinformationen in gleichen Bildsequenzen verarbeitet und aufbereitet. Dies bietet den Vor- teil, dass zeitkritische bzw. sich individuell verändernde Prozesse genauestens analysiert und die Prozessabläufe zugleich an die physiologischen Gegebenheiten des Menschen angepasst werden können, der eine Bildwiederholfrequenz von 16 Hz wahrnehmen kann, eine Überlagerung des Livebildes mit einer spektralen Messung vorgenommen werden, bei der die Sequenz der Bilderfassung kleiner ist als die Sequenz, mit der die Spektral- analyse erfolgt. Dies ist dann vorteilhaft, wenn das Messobjekt spektral inhomogen ist.

Eine große Anzahl von Einzelmessungen während einer kleineren Anzahl von Bilderzeugungen verbessert hierbei die Genauigkeit der Gesamtmessung. Das erfindungsgemäße System kann als spektrales Video-Stroboskop-System betrieben werden, wobei eine Synchronisierung auf die Betriebsfrequenz der vorhandenen Lichtquellen zwecks zeitlicher Zuordnung von Beleuchtung und Aufnahme vorgesehen ist. Alternativ sind Applikationen unter Nutzung des zeitlichen Ablaufes sinnvoll, bei denen der dynamische Verlauf visualisiert werden soll.

Für Anwendungen im Zusammenhang mit zeitaufgelöster Spektroskopie ist das erfindungsgemäße System zusätzlich mit einem Shutter ausgerüstet, der vorzugsweise eine Reaktionszeit im Nanosekunden-Bereich hat. Der Shutter dient zur Verknüpfung des Strahlengangs zur Bil- derzeugung mit dem Strahlengang zur Spektralmessung und ermöglicht es, Spektralmessung und Bilderzeugung sequentiell im Takt der Shutteransteuerung vorzunehmen, was bezüglich der zeitaufgelösten Spektroskopie insbesondere bei schnellen zeitlichen Veränderungen an den Messobjekten von Vorteil ist. Ist das erfindungsgemäße optoelektronische System mit einer 3D-Kamera ausgestattet, die vorzugsweise mit der Time-Of-Flight-Funktion versehen ist, können damit die Spektralmessungen zeitaufgelöst vorgenommen werden. Wird zur Spektralmessung ein spektroskopischer Vorsatz verwendet, wie weiter unten an Ausführungsbeispielen näher erläutert, ist die Entfernungsbestimmung zum Objekt trotzdem möglich. Des Weiteren ist es hiermit möglich, Laufzeitunter- schiede zur Messung von Informationen aus dem zeitlichen Signalverhalten bestimmter Stoffe und Applikationen zu messen und zur Weiterverarbeitung bereitzustellen, wie beispielsweise bei der sogenannten FLIM-Technik (Fluorescence Lifetime Imaging Microscopy), die ionensensitive Fluoreszenzfarbstoffe zur Messung intrazellulärer lonenkonzentrationen verwendet. Hierbei wird die Tatsache genutzt, dass sich die Fluoreszenz-Lebenszeit, das heißt die mittlere Verweildauer der Elektronen im angeregten Zustand, mit der lonenkonzentration ändert.

Wie teilweise bereits weiter oben erwähnt, kann zur Beleuchtung der aufzunehmenden Szenen oder Objekte Umgebungslicht oder künstliches Licht genutzt werden. Als Quelle für künstliches Licht kommen interne Lichtquellen in Betracht, optional mit einer Vorsatzoptik, oder externe Lichtquellen, die auch gepulst betrieben werden können, zum Beispiel als Blitzlicht zur Strobo- skop-Beleuchtung oder im Zusammenhang mit der 3D-Ausstattung auf der Basis TOF.

Dabei liegen folgende Varianten im Rahmen der Erfindung:

- Verwendung des Displays der Informationsausgabeeinheit als Beleuchtung,

Verwendung einer oder mehrerer monochromatischer Lichtquellen, die als Stützstellen für die Spektralmessungen dienen, zum parallelen oder seriellen Beleuchten, optional auch im Takt der Aufnahme bewegter Bilder. Dabei kann die spektrale Auflösung des Gesamtsystems auch realisiert werden, indem die Anzahl der Lichtquellen den gesamten spektralen Wellenlängenbereich - auch außerhalb des RGB-Farbraumes - überdeckt, Verwendung einer Lichtquelle zur Fluoreszenzanregung bei flächiger Beleuchtung, Verwendung von natürlichen Lichtquellen zur fluoreszenzspektroskopischen Anregung, - zeitlich aufeinander folgende Beleuchtung der Szene bzw. des Objektes mit Licht unterschiedlicher optischer Eigenschaften, wie Polarisation, Intensität, Wellenlänge oder Spektralbereich,

Verwendung des natürlichen Umgebungslichtes unter Zuhilfenahme eines oder mehrerer polarisierender Elemente zur Beleuchtung,

- Modulation der natürlichen, internen oder externen Beleuchtung, z.B. im Zusammenhang mit zeitaufgelösten Applikationen,

Steuerung und / oder Regelung der spektralen und zeitlichen Intensität des Beleuchtungslichtes,

diffuse Beleuchtung, beispielsweise mittels zwischengeschaltetem Mikrolinsenarray oder eingefügter Planspiegeloptik, um Energie- bzw. Lichtverluste zu vermeiden,

individuelle Programmierung der vorhandenen Lichtquellen bezüglich der Intensität, Wellenlänge und / oder Polarisation des abgestrahlten Lichtes,

Verwendung adaptiver optischer Elemente in den Strahlengängen des Beleuchtungsund/oder Messlichtes, um die Wellenfront zu beeinflussen und dadurch beispielsweise Abbildungsfehler der beteiligten optischen Baugruppen zu korrigieren.

Um die Intensität des Beleuchtungslichtes zu kalibrieren ist beispielsweise vorgesehen, einen Teil des von der Lichtquelle kommenden Lichtes auszukoppeln und als Licht mit Referenzspektrum direkt in den spektroskopischen Strahlengang einzukoppeln. Diese Art der Referenzierung kann vorzugsweise parallel, aber auch seriell erfolgen.

Im Falle der Verwendung eines Mehrkanalspektrometers erhält man bei der parallelen Referenzierung auf einem Kanal die Referenz„weiß", und auf den anderen Kanälen die Messinformation. Aus einem Bereich des Bildsensors, auf den kein Licht fällt, erhält man die Referenz „schwarz". Abhängig vor der zu lösenden applikativen Aufgabe kann allerdings auch die Messung eines zusätzlichen Dunkelsignals vorgesehen sein. Die Referenzierung erfolgt vorzugsweise simultan und bei jedem Bild.

Im Falle der Verwendung eines einkanaligen Spektrometers werden diese Abläufe seriell vor- genommen. Diesbezüglich ist zum Beispiel in DE 195 28 855 A1 eine Vorrichtung beschrieben, bei der mit geringem Aufwand erneute Referenzierungen zwischen den Messungen möglich sind. Zu diesem Zweck wird ein separater Referenzstrahlengang verwendet, und der Messstrahlengang wird über einen Y-Lichtleiter mit dem Referenzstrahlengang zusammengeführt, wobei in jedem Lichtleiterzweig ein schaltbarer Shutter angeordnet ist. Der Y-Lichtleiter mit Shutter dient so als optische Weiche, und der Querschnitt des gemeinsamen Strahlengangs zwischen Weiche und Spektrometer ist aufgeteilt auf den Referenz- und den Messstrahlengang. Dieser gemeinsame Strahlengang wird in die Eintrittsöffnung des Spektrometers eingekoppelt.

Eine zweite Kamera, zum Beispiel mit einer in Bezug auf die Detektions- bzw. Lichteintrittsrichtung um einen Winkel von 180° versetzten Einbaulage zur ersten Kamera, kann zur Referenzmessung für die Intensität des Umgebungslichtes genutzt werden, unabhängig davon, welche Lichtquellen zur Objekt- bzw. Szenenbeleuchtung vorgesehen sind. Alternativ ist eine Nutzung des erfindungsgemäßen optoelektronischen Systems jedoch auch ohne eine Weißreferenz möglich, wodurch zwar - für bestimmte Anwendungen nicht nachteilig - die Messgenauigkeit verringert, zugleich aber vorteilhaft auch die Herstellkosten reduziert werden.

Um die Wellenlänge des Beleuchtungslichtes zu kalibrieren ist es beispielsweise vorgesehen, die Mittel zur Bestimmung der Spektraleigenschaften einer einmaligen Kalibration unmittelbar nach Herstellung des Systems zu unterziehen. Bei Bedarf oder jeweils nach Ablauf einer festgelegten Zeitspanne kann dann z.B. mit als Linienstrahlern ausgebildeten Lichtquellen erneut kalibriert werden. Dazu wird aus einem Datenspeicher, in dem die Parameter einer Vielzahl von Linienstrahlern abgelegt sind, manuell oder automatisch eine Auswahl getroffen.

Die Übertragung der Informationen, wie Spektralwerte, Bilddaten, Videosequenzen u.a. erfolgt zwischen den einzelnen Funktions- bzw. Baugruppen über Schnittstellen innerhalb des Systems oder bidirektional durch drahtgebundene oder drahtlose Kommunikation mit externen Einheiten unter Einbeziehung nachgeordneter Auswerteroutinen und unter Berücksichtigung der applikationsbezogenen Nutzung.

Die Rückmeldung an den Nutzer wird mittels folgender Verfahrensweisen realisiert:

spektrale Informationen mit beispielsweise chemometrisch relevanten Aussagen werden mit anderen Informationen gekoppelt und als„augmented reality" dargestellt, worunter im Sinne der vorliegenden Erfindung die computergestützte Erweiterung der Realitätswahrnehmung zu verstehen ist, die alle menschlichen Sinneswahrnehmungen einbezieht, o- der

die Informationen können für maschinelles Sehen („maschine vision") genutzt werden, wobei im Rahmen der Erfindung alle Formen der computergestützten Lösung von Aufga- benstellungen in Frage kommen, die sich an den Fähigkeiten des menschlichen visuellen

Systems orientieren, von der Kommunikation bis zu haptischer Wahrnehmung z.B. für Blinde. Die Informationsausgabe an den Nutzer erfolgt dabei applikationsbezogen vorteilhaft so, dass unerwünschte Störungen der aufzunehmenden Szene bzw. des aufzunehmenden Objektes, etwa durch akustische Signale, vermieden werden. Die Kommunikation zwischen Nutzern der erfindungsgemäßen optoelektronischen Systeme ist neben den üblichen visuellen kommunikativen Möglichkeiten optional auch mittels bidirektionaler akustischer Verständigung vorgesehen. Die Nutzung von externen Informationsquellen über einen Server sowie der Zusammenschluss bzw. die Vernetzung von mehreren der erfindungsgemäßen optoelektronischen Systeme sind ebenfalls möglich.

Beim Betreiben des optoelektronischen Systems wird das aus dem Beobachtungsstrahlengang einer Abbildungsoptik für den Mikro, Makro-, Nah- und Fernbereich ausgekoppelte Licht in den Strahlengang zur Bestimmung der Spektraleigenschaften eines oder mehrerer, in der abzubildenden Szene enthaltener Objekte übertragen mit dem Ziel, die spektralen Informationen zu ermitteln und auszuwerten.

Unbekannte spektrale Eigenschaften des Objektes werden vermessen und klassifiziert. Die spektrale Identifikation kann zur identischen Replikation, also zur Speicherung der dabei gewonnenen, die spektralen Eigenschaften betreffenden Daten an mehreren verschiedenen Standorten und Synchronisation dieser Datenquellen verwendet werden.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen näher erläutert. Die zugehörigen Zeichnungen zeigen in

Fig.1 das erfindungsgemäße optoelektronische System in einem ersten Ausführungsbeispiel, bestehend aus einer ersten, als Spektrometer-Vorsatz ausgebildeten Baugruppe und einer zweiten Baugruppe mit den Funktionen eines Smartphones, wobei in die Kamera des Smartphones ausschließlich das von einem Objekt kommende Licht gelangt, das den Spektrometer-Vorsatz passiert hat,

Fig.2 die Prinzipdarstellung eines zweiten Ausführungsbeispiels, bestehend aus einem Spektrometer-Vorsatz, einem Smartphone, das zwei Kameras aufweist, einer internen Lichtquelle zur Objektbeleuchtung und Mitteln zur Referenzierung des Beleuchtungslichtes,

Fig.3 die Prinzipdarstellung eines dritten Ausführungsbeispiels, gebildet aus einem Spektrometer-Vorsatz und einem Smartphone mit einer Kamera, wobei in die Abbildungsoptik des Smartphones direkt vom Objekt kommendes Licht gelangt und zugleich getrennt davon Licht, das den Spektrometer-Vorsatz passiert hat, und wobei das in die Abbildungsoptik eintretende Licht innerhalb des Smartphones getrennt oder gemeinsam auf einen Bildsensor gerichtet ist,

Fig.4 die Prinzipdarstellung eines vierten Ausführungsbeispiels, bestehend aus zwei Spektrometer- Vorsätzen und einem Smartphone, das zwei Kameras aufweist, wobei eine externe natürliche oder künstliche Lichtquelle zur Szenen- bzw. Objektbeleuch- tung vorgesehen ist, in die Abbildungsoptik einer ersten Kamera direkt vom Objekt kommendes Licht gelangt und Licht, das den ersten Spektrometer- Vorsatz passiert hat, während in die zweite Kamera ausschließlich Licht eintritt, das den zweiten Spektrometer- Vorsatz passiert hat,

Fig.5 die Prinzipdarstellung eines fünften Ausführungsbeispiels, bestehend aus einem Spektrometer- Vorsatz und einem Smartphone, das zwei Kameras aufweist, wobei beide Kameras im Unterschied zu den Beispielen nach Fig.2 und Fig.4 die gleiche Lichteinfallsrichtung haben, in die erste Kamera direkt vom Objekt kommendes Licht gelangt, und in die zweite Kamera ausschließlich Licht gelangt, das den Spektrome- ter-Vorsatz passiert hat.

Fig.6 die Prinzipdarstellung eines sechsten Ausführungsbeispiels, bestehend aus einem Smartphone mit einer Kamera und einem externen Spektrometer, wobei in die Kamera und in das Spektrometer jeweils direkt vom Objekt kommendes Licht gelangt,

Fig.7 die Prinzipdarstellung eines weiteren Ausführungsbeispiels, bestehend aus einem Smartphone mit einer Kamera und einem integrierten Spektrometer, wobei in die Kamera und in das Spektrometer jeweils direkt vom Objekt kommendes Licht gelangt.

Fig.1 zeigt den prinzipiellen Aufbau eines ersten Ausführungsbeispiels des erfindungsgemäßen optoelektronischen Systems. Ein mehrkanaliges Prismen-Spektrometer, ausgebildet in Form eines Spektrometer-Vorsatzes 1 , verfügt hier beispielhaft über drei Kanäle 2, 3 und 4, mit denen gleichzeitig drei verschiedene Spektren des von einem Objekt 1 1 kommenden Messlichtstrahles 5 gemessen werden können. Das Spektrometer umfasst im Wesentlichen, den einzelnen Kanälen zugeordnet, Lichtspalten S2, S3 und S4, Linsengruppen mit Kollimatorfunktion L1 .2, L1 .3 und L1 .4, Linsengruppen L2.2, L2.3 und L2.4 mit Teleskopfunktion sowie ein Prisma P als dispersives optisches Element.

In Fig.1 a, einer Draufsicht auf die genannten und symbolisch angedeuteten Funktionselemente des Spektrometers, sind die in der Zeichenebene nebeneinander liegenden Kanäle 2, 3, 4 erkennbar. Fig.1 b zeigt dieselbe Darstellung in einer Seitenansicht, in welcher die Kanäle 2, 3, 4, einander verdeckend, hintereinander liegen.

Beim Betreiben dieser Anordnung tritt das Messlicht gleichzeitig in die Lichtspalten S2, S3, S4 ein, durchläuft die Kanäle 2, 3, 4, tritt über eine Schnittstelle 5 aus dem Spektrometer-Vorsatz 1 aus und nachfolgend in eine Kamera ein, die beispielsweise im Wesentlichen ein Objektiv O, eine Zoomoptik Z und einen ortsauflösenden Bildsensor B aufweist. Die Kamera ist vorzugsweise Bestandteil eines Smartphones 6.

Unter dem Begriff Smartphone sind im Sinne der vorliegenden Erfindung Geräte zu verstehen, welche die Funktionen und Funktionsbaugruppen eines Mobiltelefons mit einem PDA (Personal Digital Assistant) kombinieren. Sie sind mit mindestens einer Digitalkamera, GPS- und WLAN- Empfänger und interner Energieversorgungsquelle ausgerüstet und weisen neben dem Prozessor mehrere Datenspeicher auf, beispielsweise einen sehr schnellen, aber flüchtigen Hauptspeicher (RAM), einen nichtflüchtigen NAND-Flash-Speicher für Betriebssystem und Program- me, und optional Wechseldatenträger, z.B. in Form von Massenspeichern. Zusätzlich zum Betriebssystem kann der Nutzer Applikationsprogramme installieren. Die Synchronisation der Daten mit externen Datenspeichern und Datenverarbeitungseinrichtungen ist möglich.

In die Kamera des Smartphones 6 gelangt in diesem Ausführungsbeispiel des erfindungsge- mäßen optoelektronischen Systems als Messlicht ausschließlich das von dem Objekt 1 1 kommende Licht, das den Spektrometer-Vorsatz 1 passiert hat. Die Bilderzeugung und die Spektralanalyse werden zeitlich unmittelbar aufeinander folgend vorgenommen. Dagegen erfolgt die Spektralanalyse bzw. die Messung der drei verschiedenen Spektren gleichzeitig unter Inanspruchnahme dreier verschiedener Bereiche B1 , B2 und B3 des Bildsensors B. Alternativ ist die Erfassung der verschiedenen Spektren mit gesonderten Sensoren möglich und liegt im Rahmen der Erfindung.

Fig.2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen optoelektronischen Systems, bestehend aus einem zweikanaligen Spektrometer-Vorsatz 1 und einem Smartphone 6. Au ßer- dem weist das Smartphone 6 zwei Kameras 7 und 8 auf. Die Kameras 7, 8 haben um 180 Grad zu einander versetzte und damit entgegengesetzte Lichteinfallsrichtungen. Beide Kameras 7, 8 sind kommerziell mit den zur Erzeugung statischer oder bewegter Bilder einer Szene oder eines einzelnen Objektes erforderlichen optischen Bauelementen und Strahlengängen ausgestattet. Des Weiteren ist das erfindungsgemäße optoelektronische System in diesem Ausführungsbei- spiel mit einer internen Lichtquelle 9 ausgestattet.

Der Kamera 7 ist der Spektrometer-Vorsatz 1 vorgeordnet, die Kamera 8 wird zur Bilderzeugung genutzt. Das von der Lichtquelle 9 kommende Licht ist über einen ersten Strahlenverlauf 10 als Beleuchtungslicht auf ein abzubildendes und spektral zu analysierendes Objekt 1 1 und zugleich über einen zweiten Strahlenverlauf 12 als Referenzlicht mittels Spiegel 13 in den Spektrometer-Vorsatz 1 und diesem nachfolgend in die Kamera 7 gerichtet. Das vom Objekt 1 1 kommende Licht gelangt als Messlicht über einen Strahlenverlauf 14 in den Spektrometer- Vorsatz 1 und zugleich als Abbildungslicht über einen Strahlenverlauf 15, beispielsweise mittels Spiegeln 16 und 17 umgelenkt, in die zweite Kamera 8. Die Bilderzeugung und die Spektralana- lyse sind gleichzeitig vorgesehen.

Das optoelektronische System in einem Ausführungsbeispiel nach Fig.3 besteht aus einem Spektrometer-Vorsatz 1 und einem Smartphone 6 mit einer Kamera 7. Zur Beleuchtung des Objektes 1 1 wird Umgebungslicht genutzt. Das vom Objekt 1 1 kommende Messlicht gelangt über einen Strahlenverlauf 18 in den Spektrometer- Vorsatz 1 und nachfolgend in die Kamera 7 und zugleich als Abbildungslicht über einen Strahlenverlauf 19 direkt in die Kamera 7. Hierbei verlaufen die Strahlengänge zur Spektralanalyse und die Strahlengänge zur Bilderzeugung getrennt, und die Bilderzeugung und die Spektralanalyse werden gleichzeitig mittels eines flä- 5 chigen Bildsensors vorgenommen. Das in die Abbildungsoptik eintretende Licht ist innerhalb des Smartphones getrennt oder gemeinsam auf den Bildsensor gerichtet.

Fig.4 zeigt ein weiteres Ausführungsbeispiel in Verbindung mit einem Smartphone 6, das wiederum zwei Kameras 7 und 8 mit entgegengesetzten Lichteinfallsrichtungen aufweist. Der Kal o mera 7 ist ein erster Spektrometer- Vorsatz 1 vorgeordnet, der zur Spektralanalyse dient, während der Kamera 8 ein zweiter Spektrometer- Vorsatz 20 vorgeordnet ist, der zur Referenzierung des Beleuchtungslichtes genutzt wird. Zur Beleuchtung des spektral zu analysierenden Objektes 1 1 ist eine natürliche oder künstliche Lichtquelle 21 vorgesehen.

15 Das Beleuchtungslicht ist über einen Strahlenverlauf 22 durch den Spektrometer- Vorsatz 20 in die Kamera 8 und zugleich über einen Strahlenverlauf 23 auf das Objekt 1 1 gerichtet. Das vom Objekt 1 1 kommende Messlicht ist, vergleichbar zu Fig.3, über einen Strahlenverlauf 18 durch den Spektrometer-Vorsatz 1 hindurch in die erste Kamera 7 und zugleich über einen Strahlenverlauf 19 direkt in die Kamera 7 gerichtet. Die Strahlengänge zur Spektralanalyse und die

20 Strahlengänge zur Bilderzeugung verlaufen getrennt, die Bilderzeugung und die Spektralanalyse werden gleichzeitig mittels eines flächigen Bildsensors vorgenommen, von dem zur Spektralanalyse und zur Bilderzeugung gesonderte Flächenabschnitte genutzt werden.

Die Prinzipdarstellung des optoelektronischen Systems nach Fig.5 zeigt ein weiteres Ausfüh- 25 rungsbeispiel mit einem Smartphone 6, das zwei Kameras 7 und 8 aufweist. Beide Kameras 7, 8 haben hier - anders als in den Beispielen nach Fig.2 und Fig.4 - keine entgegengesetzten Lichteinfallsrichtungen. Zur Beleuchtung des Objektes 1 1 wird Umgebungslicht genutzt. Das vom Objekt 1 1 kommende Messlicht ist über einen Strahlenverlauf 18 durch den Spektrometer- Vorsatz 1 in die erste Kamera 7 und zugleich über einen Strahlenverlauf 19 in die zweite Kame- 30 ra 8 gerichtet. Die Strahlengänge zur Spektralanalyse und die Strahlengänge zur Bilderzeugung verlaufen getrennt, und die Bilderzeugung und die Spektralanalyse erfolgen gleichzeitig mittels eines flächigen Bildsensors oder zweier flächiger Bildsensoren. Im Falle der Verwendung eines Bildsensors werden gesonderte Flächenabschnitte zur Spektralanalyse und zur Bilderzeugung genutzt. Werden zwei Bildsensoren verwendet, dient einer davon der Spektralanalyse, der 35 zweite der Bilderzeugung.

Aus Fig.6 geht ein Ausführungsbeispiel hervor, bei dem das erfindungsgemäße optoelektronische System aus einem Smartphone 6 mit einer Kamera 7 und einem externen Spektrometer 24 gebildet ist. Zur Beleuchtung des Objektes 1 1 ist eine künstliche Lichtquelle 25 vorgesehen. Das Beleuchtungslicht ist über einen Strahlenverlauf 26 auf das Objekt 1 1 gerichtet. Über einen Strahlenverlauf 18 gelangt vom Objekt kommendes Licht in das Spektrometer 24, über einen Strahlenverlauf 19 gelangt vom Objekt kommendes Licht in die Kamera 7. die Ankopplung des Spektrometers 24 an das Smartphone 6 erfolgt über Kabel 27.

Fig.7 zeigt die Prinzipdarstellung eines weiteren Ausführungsbeispiels, hier bestehend aus einem Smartphone 6 mit einer Kamera 7 und einem integrierten Spektrometer 28. Über den Strahlenverlauf 18 gelangt vom Objekt kommendes Licht in das Spektrometer 28, über den Strahlenverlauf 19 gelangt vom Objekt kommendes Licht in die Kamera 7. Die Strahlengänge zur Spektralanalyse und die Strahlengänge zur Bilderzeugung verlaufen getrennt, und die Bilderzeugung und die Spektralanalyse erfolgen gleichzeitig mittels eines flächigen Bildsensors oder zweier flächiger Bildsensoren. Im Falle der Verwendung eines Bildsensors werden gesonderte Flächenabschnitte zur Spektralanalyse und zur Bilderzeugung genutzt. Werden zwei Bildsensoren verwendet, dient einer davon der Spektralanalyse, der zweite der Bilderzeugung.

In allen Ausführungsformen beträgt das Gewicht des erfindungsgemäßen optoelektronischen Systems maximal 1 kg, so dass auch diesbezüglich die Bedingungen eines Handgerätes erfüllt sind. Die Verwendung des erfindungsgemäßen optoelektronischen Systems erfolgt z.B. zum Zweck der Farbbestimmung im Zusammenhang mit

Farbsensoren für Monitore, Drucktechnik, Video- bzw. Digitalprojektoren zur Korrektur der Farbwerte, oder

Farbsensoren für Bauanwendungen zur Farbermittlung von Flächen, Objekten, usw. und nachfolgenden kontrollierten Farbabstimmungen bei diverser Applikationen.

Die ermittelten Daten werden weiterhin genutzt zur Inhaltsstoffbestimmung im Zusammenhang mit

Pulsoxymetern auf Reflexionsbasis,

- Photometern für Point-Of-Care (POC)-Anwendungen,

nasschemische Kopplung zu Photometern,

forensische Anwendungen,

fernoptischen Erkundungen in Kopplung mit Spektralmessungen,

mikrooptische Beobachtungen in Verbindung mit Spektralmessung,

- militärischen Anwendungen, z.B. Sichtbarmachung von Kampfstoffen, Tarnungen usw., Erfassung von Lebensmittelinformationen bezüglich Sicherheit, Zustand, Nährwert usw., agrarwissenschaftlichen Anwendungen wie Chlorophyllbestimmung, Pflanzenzustand, Bonitur, Bodeninformationen usw., wobei sich aus den Reflexionseigenschaften von Ve- getation und Bodenformationen z.B. Aussagen über Vegetationsindizes und den Gesundheitsstatus der Pflanzen ableiten lassen,

Hautschutzmeldern zwecks Warnung bei gesundheits-schädigender UV-Einstrahlung anstelle der bekannten Systeme auf Basis von Intensitätsmessungen. Das Spektrometer basierte Messsystem wird zur Unterscheidung der UV-A, UV-B und UV-C Anteile und zur getrennten Auswertung der Einzel- und Summensignale über den Zeitverlauf genutzt, Thermografiemeldern, auch verbunden mit Thermometer-Applikationen,

Brand- und Rauchmeldern, wobei die Flammen aufgrund ihrer charakteristischen Frequenz und spektralen Strahlung detektiert werden. Brandgase werden durch den Ver- gleich eines Bildes oder Spektrums ohne und desselben Bildes mit Rauch erkannt. Dies kann auch im NIR-Bereich erfolgen , um den Nutzer nicht zu beinträchtigen. Die Alarmmeldung erfolgt vorzugsweise vor Ort akustisch oder über Funk.

Wesentlicher Bestandteil des Erfindungsgedankens ist dabei die Verknüpfung mit Metadaten wie Zeit, Ort, Blickwinkel, der hohe Grad an Mobilität sowie die Kopplung in der Rückmeldung als Augmented-Reality-System .

Eine besonders vorteilhafte Anwendung besteht in der Zielführung des Nutzers bei der Suche nach Objekten mit bestimmten Spektraleigenschaften innerhalb beliebiger Szenen.

Bezuqszeichenliste

1 Spektrometer- Vorsatz

2 Kanal

5 3 Kanal

4 Kanal

5 Schnittstelle

6 Smartphone

7 Kamera

10 8 Kamera

9 Lichtquelle

10 Strahlenverlauf

1 1 Objekt

12 Strahlenverlauf

15 13 Spiegel

14 Strahlenverlauf

15 Strahlenverlauf

16 Spiegel

17 Spiegel

20 18 Strahlenverlauf

19 Strahlenverlauf

20 Spektrometer- Vorsatz

21 Lichtquelle

22 Strahlenverlauf

25 23 Strahlenverlauf

24 externes Spektrometer

25 Lichtquelle

26 Strahlenverlauf

27 Kabel

30 28 internes Spektrometer

B2, B3, B4 Bereiche auf Bildsensor

L1 .2, L1 .3 L1 .4 Linsengruppen

L2.2, L2.3; L2.4 Linsengruppen

35 O Objektiv

P Prisma

S2, S3, S4 Lichtspalte

Z Zoomoptik