Die vorliegende Erfindung liegt auf dem Gebiet der Verfahren und Vorrichtungen zur Messung von Tiefeninformationen einer Szene anhand von strukturiertem Licht (engl. „Structured Light“). Speziell betrifft sie ein Verfahren und Vorrichtungen zur Messung von Tiefeninformationen einer Szene anhand von mittels zumindest einer Parallelstrahlungsquelle generiertem strukturierten Licht, wobei hierin der Begriff „Licht“ jedoch nicht zwingend auf den Spektral be re ich des (mit dem menschlichen Auge) sichtbaren Lichts innerhalb des elektromagnetischen Spektrums beschränkt ist.

Gängige „Structured Light“-Verfahren, wie beispielsweise Verfahren der sog. „Streifenprojektion“ (die manchmal auch als „Streifenlichtscanning“ oder als „Streifenlichttopometrie“ bezeichnet wird), nutzen ein vordefiniertes Muster (aus Punkten oder Streifen), das auf ein (physisches) 3D-0bjekt oder eine Szene mit mehreren 3D- Objekten projiziert wird. Um die Tiefeninformation zu bestimmen, werden aus Aufnahmen einer oder mehrerer Kameras, die durch das Höhenprofil des Objektes bzw. der Objekte erzeugten Verzerrungen des projizierten Musters erfasst. Mittels der Information der Verzerrung und der bekannten Position der Kamera(s) und des Projektors kann über Triangulation eine Entfernung des jeweiligen Objekts oder von Punkten oder Abschnitten seiner Oberfläche vom Projektor als Tiefeninformation bestimmt werden.

Bei diesem Ansatz sind die laterale Auflösung und bei digitalen Bildern somit auch die Pixeldichte durch das projizierte Muster begrenzt. Je feiner die Punkte oder Streifen des Musters sind und je enger sie beieinander liegen, desto mehr Informationen bzw. Bildpunkte bzw. Pixel können ermittelt werden. Um bei einem bekannten Muster mehr Informationen zu der Szene bzw. zum jeweiligen Objekt zu bekommen, muss das projizierte Muster neue Aspekte des Objekts beleuchten, was nur durch eine Bewegung des Kameraaufbaus oder des Objektes erreicht werden kann. Ohne die Szenerie oder den Kameraaufbau zu bewegen, bleibt also der Informationsgehalt der Aufnahmen konstant.

Es ist eine Aufgabe der Erfindung eine, insbesondere hinsichtlich der erreichbaren räumlichen Auflösung und/oder Tiefenauflösung der Messergebnisse verbesserte Möglichkeit zur Messung von Tiefeninformationen einer dreidimensionalen Szene zu schaffen.

Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Lösung sind Gegenstand der Unteransprüche.

Ein erster Aspekt der Lösung betrifft ein Verfahren zur Messung von Tiefeninformationen einer Szene anhand von mittels zumindest einer Parallelstrahlungsquelle generiertem strukturierten Licht, wobei das Verfahren aufweist: (i) Erzeugen je eines elektromagnetischen Strahls mittels zumindest einer Parallelstrahlungsquelle; (ii) Zeitabhängiges sequenzielles Ausrichten oder optisches Abbilden des Strahls bzw. zumindest eines der Strahlen auf verschiedene, insbesondere punkt- oder liniensegmentförmige, Orte einer dreidimensionalen Szene, um die Szene mittels des zumindest einen abgebildeten Strahls in Form einer sich durch die zeitabhängige Ausrichtung oder Abbildung des Strahls ergebenden Trajektorie des Strahls definierten Bestrahlungsmusters zu bestrahlen; (iii) Zumindest abschnittsweises Detektieren eines durch zumindest anteilige Reflexion des Bestrahlungsmusters an einer oder mehreren Oberflächen zumindest eines in der Szene vorhandenen Objekts (d.h. physischen Objekts) erzeugten Abbilds des Bestrahlungsmusters und Erzeugen von Bildinformationen, die das detektierte Abbild des Bestrahlungsmusters repräsentieren; und (iv) Auswerten der Bildinformationen, um daraus Tiefeninformationen bezüglich der Szene zu berechnen. Das zeitabhängige sequenzielle Ausrichten oder Abbilden des Strahls bzw. zumindest eines der Strahlen auf verschiedene Orte der dreidimensionalen Szene erfolgt mittels Ablenkung des jeweiligen Strahls an zumindest einem Mikroscanner mit jeweils zumindest einem MEMS-Spiegel derart, dass die zeitabhängige Auslenkung des bzw. der MEMS-Spiegel das Bestrahlungsmuster zumindest anteilig definiert.

Unter dem Begriff „Parallelstrahlungsquelle“, wie hier verwendet, ist eine Strahlungsquelle zu verstehen, die eine strahlförmige elektromagnetischen Strahlung, liefert, wobei die Strahlung - zumindest im Vakuum oder in Luft - zumindest bezüglich einer zu ihrer Ausbreitungsrichtung orthogonalen Richtung höchstens eine geringe Divergenz aufweist. Die Divergenz kann insbesondere im Bereich von 2 mrad (=2 mm/1m) oder darunter betragen. Die Strahlung kann insbesondere monochromatisch sein nur in einem bestimmen engen Wellenlängenbereich des elektromagnetischen Spektrums liegen. Insbesondere fallen Laserquellen unter den Begriff „Parallelstrahlungsquelle“. Die von einer solchen Parallelstrahlungsquelle ausgegebenen elektromagnetische Strahlung geringer Divergenz wird im Weiteren als (elektromagnetischer) „Strahl“ bezeichnet. Ein solcher Strahl kann insbesondere eine im Wesentlichen punkt- oder kreisflächenförmigen Querschnitt oder einen linienförmigen Querschnitt aufweisen.

Die hierein gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.

Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oderund nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).

Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.

Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.

Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon), wie hierin verwendet, ist zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann. Das Verfahren nach dem ersten Aspekt ermöglicht es, eine Szene mittels zumindest eines feststehenden Strahlungsdetektors aufzunehmen, um das Abbild des sequenziell erst über einen Zeitraum hin erzeugten Bestrahlungsmusters zu detektieren und darauf beruhend die Tiefeninformation zu erzeugen. Insbesondere kann das Bestrahlungsmuster durch entsprechend variables Ausrichten bzw. Abbilden zeitlich variabel gestaltet werden, so dass sich im Beobachtungszeitraum des zumindest einen Strahlungsdetektors ein Abbild des Bestrahlungsmusters mit hoher Punkt- oder Liniendichte ergibt, was zu einer verbesserten Auflösung der daraus gewinnbaren Tiefeninformation in zumindest einer Richtung, insbesondere in der Tiefenrichtung (z.B. „Z-Richtung“) oder in einer oder mehreren dazu orthogonalen (lateralen) Richtungen („X“- bzw. ,,Y“-Richtungen) ergibt. Insbesondere kann so über den Beobachtungszeitraum hinweg eine ständige Verbesserung des Detailgrades der Aufnahme und der daraus resultierenden Punktwolke ermöglicht werden, ohne dass die Position des bzw. der Strahlungsdetektoren verändert werden muss. Die erreichbare Auflösung ist sodann vor allem oder gar ausschließlich durch das Verhältnis von Belichtungs- bzw. Integrationszeit des jeweiligen Strahlungsdetektors zur Dauer des Beobachtungszeitraums definiert.

Zudem kann dadurch, dass keine Pixel projiziert werden, sondern die Trajektorie selbst ausgenutzt wird, insbesondere ein nicht modulierter Laser verwendet werden, was die Elektronik viel einfacher und günstiger macht. Darüber hinaus kann mit einem nicht moduliertem Laser regelmäßig eine viel schärfe und höher aufgelöste Projektion erreicht werden als mit einer künstlich erzeugten strukturierten Beleuchtung mit Pixeln.

Die Verwendung zumindest eines Mikroscanners zum zeitabhängigen sequenziellen Ausrichten oder Abbilden des Strahls bzw. zumindest eines der Strahlen auf verschiedene Orte der dreidimensionalen Szene lässt insbesondere hochdynamische und sehr platz- und gewichtssparenden Implementierungen zu. Es ist auch insbesondere auch im Hinblick auf die Verwendung von Lissajous-Trajektorien vorteilhaft, da hierfür mehrdimensionale, insbesondere zweiachsige, Mikroscanner genutzt werden können.

Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den im weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können. Bei einigen Ausführungsformen erfolgt das zeitabhängige, sequenzielle Ausrichten oder Abbilden des elektromagnetischen Strahls bzw. zumindest eines der Strahlen so, dass die Trajektorie des jeweiligen Strahls während der Erzeugung des Bestrahlungsmusters zumindest abschnittsweise einer Lissajous-Figur entspricht. Lissajous-Scanning, insbesondere mit - zumindest im Wesentlichen - nicht reproduzierenden Trajektorien des abgelenkten Strahls, tasten die Oberflächen umso detaillierter ab, je länger die Dauer der Projektion ist, d.h. länger die Trajektorie ist. Insbesondere gibt es bei ausreichend langer Belichtungs- bzw. Projektionszeit bei Verwendung von, zumindest im Wesentlichen, nicht reproduzierenden Trajektorien, im Unterschied zu herkömmlichen MEMS-basierten Laser-Projektoren oder Lissajous-Projektoren mit sich reproduzierender Trajektorie, keine nicht erreichten Zwischenräume. Im Falle einer Lissajous-Projektion mit sich nicht reproduzierenden Trajektorien bestimmen insbesondere, regelmäßig sogar überwiegend bzw. vor allem, die Verhältnisse von Belichtungsdauer zu Projektionsdauer und/oder Messdauer den erreichbaren Detailgrad (Auflösung).

Bei einigen Ausführungsformen erfolgt das zeitabhängige, sequenzielle Ausrichten oder Abbilden des Strahls bzw. zumindest eines der elektromagnetischen Strahlen derart, dass die Trajektorie des jeweiligen Strahls während der Erzeugung des Bestrahlungsmusters zumindest abschnittsweise einer Spiralfigur entspricht. So lässt sich in dem von der Spiralfigur abgedeckten Bereich eine besonders gleichmäßige und zeitnahe Abdeckung dieses Bereichs erreichen, da der Strahl zwischendurch (d.h. während des Durchlaufens der Spiralfigur) nicht andere Bereiche der auszuleuchtenden Szene scannen muss.

Bei einigen Ausführungsformen weist der Strahl bzw. zumindest einer der Strahlen zumindest eine Spektralkomponente mit einer Wellenlänge auf, die 490 nm oder kürzer ist und/oder zumindest eine Spektralkomponente mit einer Wellenlänge, die 700 nm oder länger ist. Dies kann dazu genutzt werden, bei der Detektion des Abbilds des Bestrahlungsmusters nur oder überwiegend diese zumindest eine Spektralkomponente zu erfassen und/oder für das Auswerten der Bildinformation zur Berechnung der Tiefeninformationen bezüglich der Szene zu nutzen. Alle Informationen des sichtbaren Lichts der Szene können somit entfernt werden, was die Erfassung und Verarbeitung vereinfacht. Insbesondere kann durch Verwendung eines geeigneten optischen Bandpassfilters oder einer auf einen nicht-sichtbaren Spektralbereich einschließlich der zumindest eine Spektralkomponente angepassten Kamera (z.B. IR-Kamera) selektiv die Wellenlänge bzw. der Wellenlängenbereich des Projektionssystems (d.h. die zumindest eine Spektralkomponente) auf dem von der Kamera erfassten Bild detektiert werden. Insbesondere dann, wenn eine sehr hohe Auflösung angestrebt wird, kann es vorteilhaft sein, die Wellenlänge bzw. den Wellenlängenbereich im kurzwelligen Bereich, beispielsweise im blauen Bereich des sichtbaren Spektrums oder sogar im ultravioletten Bereich zu wählen, da sich dabei Strahlen, insbesondere Laserstrahlen, mit regelmäßig besonders kleinem Strahldurchmesser erzeugen und nutzen lassen und zudem Detektoren mit besonders hoher Empfindlichkeit verfügbar sind.

Dementsprechend wird bei einigen Ausführungsformen der Strahl bzw. zumindest einer der Strahlen an zumindest einer Stelle seines Verlaufs zwischen der Parallelstrahlungsquelle und zumindest einem zur Detektion des Abbilds des Bestrahlungsmusters eingesetzten Strahlungsdetektor durch einen Filtereinrichtung zum Dämpfen oder Ausfiltern von elektromagnetischer Strahlung in einem von einer Wellenlänge oder einem Wellenlängenspektrum des Strahls verschiedenen Spektralbereich geführt. So können Wellenlängen bzw. Wellenlängenbereich (bzw. gleichbedeutend: Spektralbereiche) ausgefiltert werden, die für die Detektion des Abbilds des Bestrahlungsmusters im Hinblick auf die darauf basierende Auswertung zur Bestimmung der Tiefeninformation nicht benötigt, sondern möglicherweise sogar störend wirken können.

Insbesondere kann die Filtereinrichtung so gewählt sein oder werden, dass sie ein Bandfilter als Filter aufweist. Somit lassen sich gezielt ein oder mehrere beidseitig begrenzte Spektralbereiche bzw. Wellenlängenbereiche für die Detektion nutzen und möglicherweise störende Wellenlängen jenseits dieser Grenzen dämpfen oder sogar ganz ausfiltern.

Bei einigen Ausführungsformen wird zur Erzeugung des Bestrahlungsmusters der Strahl oder zumindest einer der Strahlen durch ein oder mehrere optische Elemente diffraktiver oder refraktiver Art geführt, mittels dessen bzw. derer der jeweilige Strahl aufgespreizt wird. So lässt sich der ursprünglich von der Parallelstrahlungsquelle, z.B. einem Laser, gelieferte Ursprungsstrahl bezüglich seines Querschnitts, insbesondere dessen Durchmesser und oder Form, applikationsbezogen anpassen.

Bei einigen Ausführungsformen erfolgt das zeitabhängige sequenzielle Ausrichten oder Abbilden des Strahls bzw. zumindest eines der Strahlen auf verschiedene Orte der dreidimensionalen Szene auf nicht periodische Weise, so dass die Trajektorie des jeweiligen Strahls zumindest zeitabschnittsweise nicht-periodisch verläuft. So lassen sich insbesondere wandernde Trajektorien erzeugen, bei denen das von ihnen jeweils erzeugte Bestrahlungsmuster schon nach kurzer Trajektorienlaufzeit die Szene im Wesentlichen vollständig, d.h. ohne systematisches Auftreten von Bestrahlungslücken, abdeckt. Damit kann somit insbesondere die Zeit verkürzt werden, die zu einer vollständigen Abtastung und somit kompletten Erfassung von Tiefeninformation bzgl. der Szene erforderlich ist.

Bei einigen Ausführungsformen erfolgt das Ausrichten oder Abbilden des Strahls bzw. zumindest eines der Strahlen auf verschiedene Orte der dreidimensionalen Szene derart, dass das Bestrahlungsmuster sich so ergibt, dass sich die Trajektorie des Strahls bzw. des zumindest einen Strahls in einem Zeitintervall, das zumindest einer Integrationszeit eines zur Detektion des Abbilds des Bestrahlungsmusters eingesetzten Strahlungsdetektors entspricht, nicht wiederholt. Somit können Bestrahlungslücken sowie Doppelabtastungen von längeren Trajektorienabschnitten weitgehend vermieden und eine besonders effiziente Abtastung der gesamten Szene ermöglicht werden.

Bei einigen Ausführungsformen weist die Parallelstrahlungsquelle bzw. zumindest eine der Parallelstrahlungsquellen als Strahlungsquelle einen Laser oder eine leuchtdiodenbasierte Strahlungsquelle mit Kollimator auf. Insbesondere die Verwendung einer leuchtdiodenbasierten Strahlungsquelle mit Kollimator ermöglicht eine besonders energieverbrauchsarme Lösung, insbesondere im Hinblick auf die Verwendung in mobilen, batterie- oder photovoltaikgetriebenen Geräten bzw. Anwendungen.

Bei einigen Ausführungsformen weist das Verfahrendes Weiteren auf: Erzeugen eines Positionssignals, welches als Funktion der Zeit eine Information repräsentiert, die eine zum jeweiligen Zeitpunkt vorliegende Ausrichtung oder Abbildungsrichtung des Strahls bzw. zumindest eines der Strahlen oder einer diese jeweilige Ausrichtung oder Abbildungsrichtung kennzeichnet. Das Positionssignal kann insbesondere dazu verwendet werden, um ein aus dessen zeitlichen Verlauf ein Referenzmuster zu bestimmen, welches einem Abbild eines ungestörten Bestrahlungsmusters entspricht, wie es sich auf einer ebenen, orthogonal zu einer optischen Achse der Projektion des jeweiligen Strahls liegenden, durchgängigen Reflexionsfläche ergeben würde. Dieses Referenzmuster kann mit den Bildinformationen bzw. dem dadurch repräsentieren Abbild des reflektierten Bestrahlungsmusters abgeglichen werden, um auf Basis des Abgleichs im Rahmen der Auswertung der Bildinformationen die Tiefeninformationen bezüglich der Szene zu berechnen.

Insbesondere kann das Positionssignal, bei Verwendung eines MEMS-Spiegels für die Erzeugung des Bestrahlungsmusters, als zeitabhängiges Signal in Abhängigkeit von der jeweils aktuellen Spiegelauslenkung des MEMS-Spiegels bzw. zumindest eines der MEMS-Spiegel des Mikroscanners, insbesondere bezüglich mehrerer verschiedener, insbesondere orthogonaler, Spiegelachsen des Mikroscanners erzeugt werden. Dazu kann der Mikroscanner selbst mit einer entsprechenden Positions- bzw. Auslenkungsmesseinrichtung versehen sein, beispielsweise auf Basis eines oder mehrere Piezoelemente als Sensoren.

Bei einigen Ausführungsformen wird, wie schon vorausgehend erwähnt, auf Basis des Positionssignals ein Referenzbild berechnet, welches einem ungestörten Abbild des Bestrahlungsmusters bei Reflexion desselben ausschließlich an einer durchgängigen ebenen Oberfläche entspricht. Das Auswerten der Bildinformationen umfasst hierbei ein Abgleichen des durch die Bildinformationen repräsentierten Abbilds der Szene mit dem Referenzbild.

Bei einigen dieser Ausführungsformen wird dabei der Strahl bzw. zumindest einer der Strahlen, insbesondere durch entsprechendes Betreiben der jeweils zugeordneten Parallelstrahlungsquelle, insbesondere Punktstrahlquelle, so zeitabhängig intensitätsmoduliert, dass sich im Zusammenspiel mit dem ebenfalls zeitabhängigen sequenziellen Ausrichten oder Abbilden des jeweiligen Strahls auf verschiedene Orte der dreidimensionalen Szene das Abbild des Bestrahlungsmusters derart ergibt, dass dieses zumindest abschnittsweise ein Muster aus einer Mehrzahl von einzelnen Punkten oder nicht-zusammenhängenden Liniensegmenten darstellt. Auf diese Weise kann die Menge der im Rahmen der Auswertung der Bildinformation zu verarbeitenden Informationsmenge reduziert und somit der für das Gewinnen der Tiefeninformation erforderliche Aufwand und Energieverbrauch gesenkt werden, während die Tiefeninformation weiterhin in vielen Anwendungsfällen in ausreichendem Umfang bestimmt werden kann.

Das Abgleichen des durch die Bildinformationen repräsentierten Abbilds der Szene mit dem Referenzbild kann dabei insbesondere unter Verwendung einer Triangulationsrechnung auf Basis von Paaren von zueinander korrespondierenden Punkten im durch die Bildinformationen repräsentierten Abbild der Szene einerseits und dem Referenzbild andererseits sowie von dem Positionssignal sowie von einer jeweils bekannten Position und Orientierung zumindest eines zur Detektion des Abbilds eingesetzten Strahlungsdetektors, insbesondere Bildsensors, erfolgen. Insbesondere erleichtert hierbei die Möglichkeit, die Auswertung auf (eindimensionale) Punktpaare anstelle von (mehrdimensionalen) Linien bzw. Liniensegmenten stützen zu können, die dazu erforderlichen Berechnungen. Dies kann insbesondere zur Geschwindigkeits- und/oder Effizienzsteigerung genutzt werden. Insbesondere kann dabei, gemäß einigen dieser Ausführungsformen, das Bestimmen einer jeweiligen Position zumindest eines der Paare jeweils zueinander korrespondierenden Punkte anhand (i) von einem jeweiligen Zeitstempel, der einen Zeitpunkt entlang des Verlaufs einer entsprechenden Trajektorie des Strahls bzw. zumindest eines der Strahlen beim Erzeugen des jeweiligen Abbilds bzw. Referenzbilds kennzeichnet, oder (ii) unter Anwendung von zumindest einem merkmalsbasierten Matching-Algorithmus (insbesondere Bildvergleichsalgorithmus zum Erkennen von gleichen oder ähnlichen Bildern bzw. Bildausschnitten) auf die jeweiligen Darstellungen der Trajektorien des jeweiligen Strahls in dem Abbild bzw. dem Referenzbild erfolgen.

Bei einigen Ausführungsformen wird: (i) zum Detektieren des Abbilds des Bestrahlungsmusters zumindest eine Event-based Kamera (bzw. gleichbedeutend: neuromorphische Kamera) eingesetzt, um ereignisgesteuert (insbesondere ausschließlich) einen oder mehrere Bildpunkte im Abbild des Bestrahlungsmusters zu detektieren, deren Bildwerte sich seit der letzten vorausgehenden Aufnahme verändert haben; (ii) der Betrieb der Event-based Kamera mit zeitabhängigen sequenziellen Ausrichten oder Abbilden des Strahls bzw. zumindest eines der Strahlen auf jeweilige verschiedene Punkte der dreidimensionalen Szene zeitlich anhand von Synchronisationsdaten synchronisiert; (iii) in Abhängigkeit von dem Positionssignal und den Synchronisationsdaten die zu den detektierten Bildpunkten eine jeweilige Position eines zum jeweiligen detektierten Bildpunkt korrespondierenden Bildpunkts in dem Referenzbild berechnet; und (iv) das Abgleichen des durch die Bildinformationen repräsentierten Abbilds der Szene mit dem Referenzbild unter Verwendung von Triangulationsrechnungen auf Basis der jeweiligen Positionen jedes Paares von detektiertem Bildpunkt und korrespondierendem Bildpunkt im Referenzbild durchgeführt.

Ein wesentlicher Vorteil dieser Methode ist die damit eröffnete Möglichkeit zur Reduzierung des erforderlichen Datenverarbeitungsaufwands. Die Datenverarbeitung muss sich hier nur auf solche Bildpunkte (Pixel) oder Bildbereiche beziehen, bezüglich derer Ereignisaktualisierung stattfand, also sich zumindest ein Bildpunktwert (z.B. Pixelfarbe) überhaupt oder jenseits einer vorbestimmten Schwelle verändert hat. Wenn dagegen über einen bestimmten Zeitraum kein Ereignis erkannt wurde, bedeutet dies, dass sich kein Objekt im messbaren Bereich innerhalb des Sichtfelds befindet. Diese Unterscheidung ist besonders vorteilhaft für Anwendungen zu machen, bei denen nur wenige oder gar keine Objekte im Einsatzgebiet zu erwarten sind (z.B. Drohnen). Solange kein Ereignis auftritt, kann die Bildverarbeitung ausgesetzt werden bzw. bleiben und somit insbesondere Energie gespart werden. Im Gegensatz dazu kann es bei einigen anderen Ausführungsformen, welche auf der Auswertung von Gesamtbildern (z.B. Bildrahmen bzw. Frames) beruhen, erforderlich sein, auch dann das gesamte Bild mit entsprechendem Aufwand zu verarbeiten, wenn bei einer Szene mit nur einem oder wenigen Objekten nur wenige Bildpunkte bzw. Pixel verwertbare Informationen aufweisen.

Bei einigen Ausführungsformen wird zur Detektion des Abbilds des Bestrahlungsmusters und zur Erzeugung der entsprechenden Bildinformationen zumindest ein Bildsensor zur Aufnahme von 2D-Bildern, insbesondere in Form von Pixelrastern, eingesetzt. Zudem umfasst hierbei das Auswerten der Bildinformationen (zusätzlich) ein Auswerten der durch die Anwesenheit des bzw. der Objekte in der Szene hervorgerufenen Störungen im durch die Bildinformationen repräsentierten Abbild des Bestrahlungsmusters, insbesondere gegenüber der Form des ungestörten Bestrahlungsmusters, um daraus Tiefeninformationen bezüglich der Szene zu berechnen. So lässt sich die Genauigkeit der ermittelten Tiefeninformation erhöhen, da z.B. durch eine Segmentierung bezüglich des Objekts bzw. der Objekte in der Szene ein schnelles Erkennen von Rauschen und sogenannten „Outliern“ (d.h. von Bildpunkten, die außerhalb des erwarteten Objektes / Segmentes liegen) möglich ist.

Unter dem Begriff „Segmentierung“ ist hierbei, wie auf dem Gebiet der Bildverarbeitung üblich, eine Erzeugung von inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Bildpunkte entsprechend einem bestimmten Homogenitätskriterium zu verstehen. Eine Segmentierung bezüglich eines Objekts ist somit ein Erzeugen bzw. Identifizieren einer Region im Bild zu verstehen, deren Bildpunkte dem Objekt zuzuordnen sind.

Bei einigen Ausführungsformen erfolgt das Auswerten der Bildinformationen unter Verwendung eines trainierten künstlichen neuronalen Netzes. Das künstliche neuronale Netz kann besondere anhand von Trainingsdaten trainiert sein oder werden, die durch, insbesondere von demselben Bildsensor oder einem Bildsensor gleicher Bauart generierten, Bildinformationen repräsentierte Abbilder von Bestrahlungsmustem sowie diesen jeweils zugeordnete korrekte Tiefeninformationen enthalten. Zudem können die in den Trainingsdaten enthaltenen Bildinformationen und/oder die Tiefeninformationen zumindest teilweise mithilfe von Aufnahmen von realen Szenen mittels eines 3D- Bildsensors, insbesondere mittels einer Time-of-Flight, TOF, Kamera oder anhand von computergestützten Simulationen solcher Aufnahmen ermittelt worden sein oder werden. Die Verwendung eines trainierten künstlichen neuronalen Netzes zur Bildauswertung kann sich insbesondere durch eine hohe Flexibilität bezüglich verschiedenster zu analysierenden Bestrahlungsmuster und eine Zuverlässigkeit bezüglich einer korrekten Erkennung von Objekten bzw. der Bestimmung der zugeordneten Tiefeninformation auszeichnen.

Bei einigen Ausführungsformen wurden oder werden die in den Trainingsdaten enthaltenen Bildinformationen und/oder die Tiefeninformationen zusätzlich zumindest teilweise mithilfe von Aufnahmen von realen Szenen mittels eines im sichtbaren Wellenlängenbereich arbeitenden 2D-Bildsensors, insbesondere mittels einer RGB- Kamera, oder anhand von computergestützten Simulationen solcher Aufnahmen ermittelt. So lässt sich die Leistungsfähigkeit des trainierten künstlichen neuronalen Netzes weiter steigern, insbesondere im Hinblick auf dessen Diskriminierungsfähigkeit von Feinheiten im Abbild des Bestrahlungsmusters im Vergleich zum Referenzbild.

Bei einigen Ausführungsformen wird zum Detektieren des Abbilds des Bestrahlungsmusters zumindest ein Strahlungsdetektor verwendet, dessen Integrationszeit variabel einstellbar ist, wobei im Rahmen des Verfahrens diese Integrationszeit des Strahlungsdetektors in Abhängigkeit von einer Geschwindigkeit des Ausrichtens oder Ablenkens des Strahls bzw. zumindest eines der Strahlen, insbesondere dynamisch, eingestellt wird. So lässt sich insbesondere eine optimale Abstimmung zwischen der Strahlablenkung und der Integrationszeit und als Folge davon eine hohe Zuverlässigkeit bezüglich einer korrekten und effizienten Bestimmung der Tiefeninformation erreichen, denn einerseits können ungenügende Bildabtastungen genauso wie überbestimmte (mehrfache) Bildabtastungen vermieden werden.

Eine weitere Ausgestaltung kann darin bestehen, dass man nicht nur eine Laserquelle, sondern Laserquellen verschiedener Wellenlängen verwendet, um damit den möglicherweise unterschiedlichen Reflektivitäten verschiedener Objektoberflächen / Materialien Rechnung zu tragen und so eine Verbesserung der 3D-Messung erhält. Grundsätzlich gilt, dass verschiedene Einsatzzwecke auch ganz unterschiedliche Wellenlängen ermöglichen bzw. sinnvoll machen können.

Für den Einsatz einer solchen 3D-Camera im Handy etwa wird man es so kostengünstig wie möglich nur mit einem einzigen Laser ausstatten und dabei die Wellenlänge nach Kostengesichtspunkten (Laser, Elektronik, Detektor, Filter) aussuchen.

Im Bereich der Überwachungstechnik könnte es jedoch bereits darauf ankommen, die charakteristischen Merkmale verschiedener Materialien in Bezug auf Reflektivität auszunutzen und daher zu einer spezielle Wahl der Wellenlänge bzw. der Wellenlängen (multiple Laser, Filter und Detektoren) führen. Auch bei der 3D-Erfassung organischer Materialien (z.B. Lebensmittel, Obst, Gemüse, Fleisch, etc.) kann eine Erfassung mit mehr als einer Laserwellenlänge geeignet oder gar erforderlich sein.

Bei einigen Ausführungsformen wird ein Lissajous-Projektor mit nicht-moduliertem Laser in Kombination mit zumindest einem Kamera-Chip (z.B. CCD-Chip) als Strahlungsdetektoren verwendet. Ein wesentlicher Aspekt und Vorteil dieser Kombination liegt in der besseren Arbeitsweise der Kamera, wenn mit Hilfe und Unterstützung des z.B. Nahinfrarot-Lasers sehr viel Intensität in eine bestimmte Raumrichtung transportiert wird und infolgedessen die Kamera lokal sehr gute Ausleuchtungsbedingungen erhält. Man kann diese Anordnung gewissermaßen auch wie einen (Foto-)Blitz verstehen, jedoch nicht zur Aufhellung der gesamten Szene, sondern zur Aufhellung eines Teilbereiches. Die Zusammensetzung vieler lokal belichteter Szenen zu einer ganzheitlich ausgeleuchteten und erfassten Szene kann für sich bereits ganz besondere Vorteile besitzen, nämlich, dass durch kurzzeitig sehr hohe lokale Laser-Beleuchtungs-Intensität beispielsweise Bewegungsunschärfe vermieden werden kann. Die Laser-Intensität mit einem Scanner zu verteilen und punktuell eine Art Laser-Blitz zu realisieren, ermöglicht so, dass nach und nach durch das Scannen alle Bereiche scharf und ohne Bewegungsartefakte abgebildet werden können. Dies kann von erheblicher Bedeutung für den Einsatz im Fahrzeug sein, wenn die Umgebung trotz hoher Geschwindigkeit ohne Bewegungsartefakte abgebildet werden soll.

Auf dieser Basis der verbesserten Beleuchtung basierend ist eine präzise Erfassung der 3D-lnformation durch strukturierte Beleuchtung besonders gut möglich. So kann die strukturierte Beleuchtung und Auswertung der Kamera-Information durch Triangulation zur 3D-Messung auch in Pkws und anderen Fahrzeugen realisiert werden, die sonst üblicherweise auf andere Techniken wie Time-of-Flight-Verfahren (LIDAR) zurückgreifen.

Im Falle einer Lissajous-Projektion mit sich nicht reproduzierenden Trajektorien bestimmen vor allem die Verhältnisse von Belichtungsdauer zu Projektionsdauer und/oder Messdauer den erreichbaren Detailgrad (Auflösung).

Eine weitere Ausführungsform betrifft die Verwendung zweier schneller Achsen bei einem bidirektionalen Mikroscanner mit einen MEMS-Spiegel, was dazu führt, dass besonders viele Interlace-Bilder pro Zeiteinheit erfasst werden können, was für die oben genannten Aspekte der Vermeidung von Bewegungsartefakten vorteilhaft sein kann. Eine weitere Ausführungsform betrifft die gezielte Durchstimmung von Phasenlage und Frequenz mindestens einer der beiden Schwingungsachsen bzw. resonanten Spiegelschwingungen des Microscanners betreffen, mit dem Ziel, die Vorschubgeschwindigkeit, mit der sich die Trajektorie verändert, durchzustimmen. Eine veränderliche Vorschubgeschwindigkeit hätte auch unterschiedliche Liniendichten pro Zeiteinheit zur Folge und könnte adaptiv situationsabhängig sinnvoll sein.

Gleichzeitig kann es sinnvoll sein, das Sichtfeld (Field of View) adaptiv und variabel zu gestalten, um abhängig von bereits erfassten und 2D oder 3D ausgewerteten Bereichen lokal höhere oder niedrigere Informationsdichte pro Zeiteinheit zu generieren.

Allgemein lässt sich sagen, dass eine Kamera zunächst einmal eine beobachtete Szene sehr allgemein erfasst. Gleichzeitig werden bei herkömmlichen Kameras alle Pixel für alle Wellenlängen und alle erfassten Raumwinkel aufgenommen. Mit Hilfe des Laser- Projektors (und verwendeter Filter) kann eine wichtige Diskriminierung erfolgen. Es kann dabei insbesondere eine Diskriminierung nach Raumwinkel, nach Wellenlänge, nach Zeit und im Prinzip auch nach Pixel stattfinden.

Man kann die hier vorgestellte Lösung daher sehr viel weiter gefasst verstehen als nur unter dem Aspekt der 3D-Kamera als mögliche Applikation.

Besondere weitere Ausgestaltungen könnte die Verwendung mehrerer Laserquellen, Projektoren und Kameras unter unterschiedlichen Raumwinkeln darstellen, um damit beispielsweise unterschiedliche Entfernungen besser erfassen zu können.

Ein zweiter Aspekt der Lösung betrifft eine Vorrichtung zur Messung von Tiefeninformationen einer Szene anhand von mittels zumindest einer Parallelstrahlungsquelle generiertem strukturierten Licht, wobei die Vorrichtung aufweist:

(i) Zumindest eine Parallelstrahlungsquelle zur Erzeugung je eines elektromagnetischen Strahls;

(ii) zumindest einen Mikroscanner zur zeitabhängigen sequenziellen Ausrichtung oder optischen Abbildung des Strahls bzw. zumindest eines der Strahlen auf verschiedene, insbesondere punkt- oder liniensegmentförmige, Orte einer dreidimensionalen Szene, um die Szene mittels des zumindest einen abgebildeten Strahls in Form einer sich durch die zeitabhängige Ausrichtung oder Abbildung des Strahls bzw. der Strahlen ergebenden einen oder mehreren Trajektorien des Strahls bzw. der Strahlen definierten Bestrahlungsmusters zu bestrahlen;

(iii) Einen Strahlungsdetektor zur zumindest abschnittsweisen Detektion eines durch zumindest anteilige Reflexion des Bestrahlungsmusters an einer oder mehreren Objektoberflächen in der Szene erzeugtes Abbild des Bestrahlungsmusters, und zur Erzeugung von Bildinformationen, die das detektierte Abbild des Bestrahlungsmusters repräsentieren; und

(iv) Eine Auswertungseinrichtung zum Auswerten der Bildinformationen, um daraus Tiefeninformationen bezüglich der Szene zu berechnen.

Bei einigen Ausführungsformen ist die Vorrichtung konfiguriert bzw. weist Mittel auf, die geeignet sind, das Verfahren nach dem ersten Aspekt, insbesondere gemäß einer der hierin beschriebenen Ausführungsformen davon, auszuführen.

Ein dritter Aspekt der Lösung betrifft ein elektronisches Gerät, insbesondere Computer, Unterhaltungselektronikgerät, Kommunikationsendgerät (z.B. Smartphone, AR/VR- Brille, Fernsehgerät, Monitor, oder tragbarer Computer, z.B. Tablet-PCs) und/oder medizintechnisches Gerät, aufweisend eine, insbesondere darin integrierte, Vorrichtung nach dem zweiten Aspekt.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Lösung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.

Dabei zeigt:

Fig. 1 schematisch ein Grundprinzip der Lasertriangulation, wie sie bei der vorliegenden Lösung eingesetzt werden kann;

Fig. 2 schematisch die eine beispielhafte Ausführungsform einer Vorrichtung zur Ausführung eines Verfahrens zur Messung von Tiefeninformationen einer Szene unter Verwendung eines Mikroscanners zur Abbildung eines Laserstrahls auf die Szene; und

Fig. 3 eine weitere Ansicht der Vorrichtung aus Fig. 2, zusammen mit einem Referenzbild und einem bildsensorisch erfassten Abbild der von der Szene reflektierten Trajektorie des Laserstrahls; Fig. 4 eine weitere beispielhafte Ausführungsform einer Vorrichtung zur Ausführung eines Verfahrens zur Messung von Tiefeninformationen einer Szene unter Verwendung eines Mikroscanners zur Abbildung mehrere verschieden gerichteter Laserstrahlen auf eine Szene;

Fig. 5 eine weitere beispielhafte Ausführungsform einer Vorrichtung zur Ausführung eines Verfahrens zur Messung von Tiefeninformationen einer Szene unter Verwendung eines Mikroscanners zur Abbildung eines Laserstrahls mit linienförmigen Strahlquerschnitt auf eine Szene;

Fig. 6 ein Flussdiagramm zur Veranschaulichung einer bevorzugten Ausführungsform eines, insbesondere mittels einer Vorrichtung nach Fig. 2 bzw. 3, Fig. 4 oder Fig. 5 ausführbaren, Verfahrens zur Messung von Tiefeninformationen einer Szene;

Fig. 7 eine Variante der Vorrichtung aus Fig. 2 bzw. 3, bei der zusätzlich ein bildsensorisch erfasstes Abbild der Szene insgesamt (d.h. nicht nur der von der Trajektorie des Laserstrahls überstrichenen Orte der Szene) erfasst und zur Bestimmung der Tiefeninformation herangezogen wird;

Fig. 8 weitere beispielhafte Ausführungsform 800 einer Vorrichtung zur Ausführung eines Verfahrens zur Messung von Tiefeninformationen unter Verwendung eines intensitätsmodulierten Strahls zur Ausleuchtung der Szene;

Fig. 9 eine beispielhafte Ausführungsform eines mit der Vorrichtung aus Fig. 8 ausführbaren Verfahrens zur Messung von Tiefeninformationen;

Fig. 10 eine weitere beispielhafte Ausführungsform eines Verfahrens zur Messung von Tiefeninformationen; und

Fig. 11 eine beispielhafte Szene, einerseits anhand eines gemäß dem Verfahren aus Fig. 10 auf die Szene projizierten Bestrahlungsmusters und andererseits einer dabei anhand eines Detektors in Form einer Event-basierten Kamera als Bild (Abbild des aus der Szene reflektierten Bestrahlungsmusters) erfassten Punktwolke.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche, ähnliche oder einander entsprechende Elemente. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können, soweit nicht ausdrücklich anders angegeben, auch als indirekte Verbindung oder Kopplung implementiert werden.

Fig. 1 illustriert ein Grundprinzip der Laser-Triangulation 100, wie es bei der vorliegenden Lösung zum Einsatz kommen kann. Dabei wird ein Laser 105 als Parallelstrahlungsquelle eingesetzt, um einen Laserstrahl 110a zu erzeugen und auf eine abzutastende Szene zu richten, die hier beispielhaft nur eine ebene Fläche als Objekt 115 enthält. Der Laserstrahl 110a wird an dem Objekt 115 zumindest teilweise reflektiert und die reflektierte Strahlung 110b, die wenn die Oberfläche des Objekts 115 Auftreffpunkt des Laserstrahls 110a ausreichend glatt und eben ist, insbesondere wieder strahlförmig sein kann, von einem Bildsensor 120, insbesondere einer Digitalkamera, erfasst. Aus der Lage der reflektierten Strahlung 110b im erfassen Bild kann auf den Winkel a geschlossen werden. Daraus kann wiederum zusammen mit den bekannten Positionen des Lasers 105 und des Bildsensors 120 mithilfe der Triangulation auch auf die Entfernung des Laser 105 vom Reflexionspunkts seines Laserstrahls 110a am Objekt 115 und somit auf eine entsprechende Tiefeninformation geschlossen werden, die diese Entfernung angibt.

Bei der in Fig. 2 illustrierten Ausführungsform 200 einer Vorrichtung zur Messung von Tiefeninformationen einer Szene wird ein Laserstrahl 110a nicht direkt, sondern stattdessen indirekt auf dem Wege einer Spiegelabbildung mithilfe eines Mikroscanners auf die zu untersuchende Szene 115 gerichtet. Dabei wird der Laserstrahl 110a durch einen beweglich, beispielsweise kardanisch, aufgehängten Spiegel 125 des Mikroscanners 125 im Sinne einer Abtastung über die Szene geführt. Dies erfolgt im Beispiel der Fig. 2 anhand einer zweidimensionalen, im Wesentlichen harmonischen Schwingung des Mikroscanners 125, die zu einer zweidimensionalen Lissajous-Figur als Bestrahlungsmuster 130 führt und durch eine geeignete, insbesondere harmonische, Ansteuerung eines Antriebs des Mikroscanners 125 erreicht werden kann.

Befindet sich zumindest ein Objekt in der Szene, das den Laserstrahl an seiner Oberfläche zumindest anteilig reflektiert, um einen reflektierten Strahl 11 Ob zu liefern, so bildet die Spur des Reflexionspunkts des Laserstrahls 110b auf der Oberfläche (bzw. im Falle mehrere Objekte: auf mehreren Objektoberflächen) eine linienartige Trajektorie. Der Verlauf der Trajektorie ist im Wesentlichen durch die Bewegung des Spiegels 125a des Mikroscanners 125 bedingt. In Fig. 2 ist der Laserstrahl 110b beispielhaft für einen Zeitpunkt während des Durchlaufens des Bestrahlungsmusters 130 eingezeichnet. Der Mikroscanner 125 kann insbesondere ein zweiachsiger Mikroscanner sein, der eine Ablenkung des einfallenden Laserstrahls 110a in zwei Dimensionen und somit ein Ausleuchten eines Raumwinkels ermöglicht, wie in Fig. 2 illustriert. Speziell kann durch eine entsprechende Ansteuerung eines Antriebs der Spiegelbewegung des Mikroscanners erreicht werden, dass die Trajektorie eine Lissajous-Figur als Bestrahlungsmuster 130 für die Szene bildet (vgl. Fig. 2). Dieses Bestrahlungsmuster kann wiederum mit einem Bildsensor 120 als Bild oder Bildfolge (z.B. Video) erfasst und als entsprechende Bildinformationen an eine Auswertungseinrichtung 130 zum Auswerten der Bildinformationen übermittelt werden.

Die Vorrichtung 200 weist des Weiteren eine Auswertungseinrichtung 135 zum Auswerten der Bildinformationen auf, um daraus Tiefeninformationen bezüglich der Szene zu berechnen. Dies wird nachfolgend unter Bezugnahme auf Fig. 3 weiter erläutert.

Fig. 3 zeigt in einer weiteren Ansicht 300 nochmals die Vorrichtung 200 aus Fig. 2, diesmal jedoch im Zusammenhang mit einer Szene 115, in der ein dreidimensionales Objekt, hier beispielhaft eine Tasse vor einer reflektierenden Ebene (z.B. eine Leinwand, oder eine Wand usw.) vorhanden ist. Der Bildsensor 120 sowie die Auswertungseinrichtung 130 sind ebenfalls vorhanden, aber zur Vereinfachung der Darstellung nicht in Fig. 2 gezeigt (dasselbe gilt für alle weiteren Figuren, in denen verschiedene Ausführungsformen von Vorrichtungen zur Messung von Tiefeninformationen einer Szene dargestellt sind.

Die Ebene und die Tasse reflektieren das vom Mikroscanner 125 kommende Strahlung zumindest teilweise in Richtung des Bildsensors 120, sodass dort ein Abbild des auf diese Weise reflektierten Strahlungsmusters als Bild oder Bildsequenz bildsensorisch erfasst werden kann. Die Ansicht 300 zeigt zusätzlich ein solches am Bildsensor 120 aufgenommenes, beispielhaftes Abbild 140 der Szene sowie ein Referenzbild 145, welches das vom Mikroscanner auf die Szene 115 gerichtete Bestrahlungsmuster repräsentiert (d.h. vor der Reflexion an einer oder mehreren Objektoberflächen der Szene, hier an der Ebene bzw. der Tasse).

Das Referenzbild 145 kann insbesondere dadurch bestimmt werden, dass die Stellung des Spiegels 125 und somit je Schwingungsachse der zugehörige Ablenkwinkel aus einer Ruhelage des Spiegels sensorisch gemessen werden und daraus der Winkel, unter dem der reflektierte Strahl im jeweiligen Zeitpunkt in Richtung der Szene reflektiert wird, berechnet wird. Die Messung der Ablenkwinkel kann insbesondere am Mikroscanner selbst erfolgen, beispielsweise durch Piezosensoren, die an einer Aufhängung des Spiegels 125 angebracht und konfiguriert sind, anhand einer beim Auslenken des Spiegels auf sie wirkenden und piezoelektrisch gemessenen Kraftwirkung ein zur Auslenkung korrespondierendes, insbesondere dazu proportionales, Messsignal zu liefern.

Mittels der Auswertungseinheit 135, einer Datenverarbeitungsvorrichtung, lassen sich nun anhand eines Abgleichs der Bildinformationen bzw. des durch sie repräsentierten aufgenommenen Bilds 140 der Szene mit dem Referenzbild 145, insbesondere unter Nutzung von Lasertriangulation, Tiefeninformationen bezüglich der Objektoberfläche(n) in der Szene 115 berechnen. Im vorliegenden Beispiel weist die Oberfläche der Tasse aufgrund der dreidimensionalen Gestalt der Tasse eine räumlich variable Entfernung (Tiefe) vom Mikroscanner auf, so dass auch die Orte, an denen das vom Mikroscanner 125 kommende Bestrahlungsmuster lokal an der Tassenoberfläche reflektiert werden, verschieden weit vom Mikroscanner 125 entfernt und nicht in einer Ebene liegen. Daher ergeben sich im Abbild 140 Verzerrungen gegenüber dem ungestörten Bestrahlungsmuster 145. Die von Verzerrungen werden im Rahmen des Abgleichs ermittelt und bilden die Grundlage für die Bestimmung der den Tiefenverlauf der reflektierenden Oberflächen der Szene 115 repräsentierenden Tiefeninformation.

Fig. 4 zeigt eine weitere Ausführungsform 400 einer Vorrichtung zur Messung von Tiefeninformationen einer Szene. Sie unterscheidet sich von der Ausführungsform 200 aus den Figuren 2 und. 3 dadurch, dass nicht nur ein einziger Laserstrahl, sondern eine Mehrzahl von verschieden gerichteten Laserstrahlen mittels des Mikroscanners 125 abgebildet werden. Im vorliegenden Beispiel sind hierzu zwei Laser 105a und 105b gezeigt, die aus verschiedene Richtungen auf den Spiegel 125 des Mikroscanners 125 strahlen, um durch eine jeweilige Spiegelabbildung zwei verschiedene Bestrahlungsmuster 130a bzw. 130b zu erzeugen und damit zwei verschiedene Szenen bzw. zwei verschiedene Bereiche einer Szene auszuleuchten. Diese Bereiche können disjunkt oder zumindest teilweise überlappend sein und insbesondere auch verschiedene physische Objekte 115a, 115b enthalten.

Anstelle eines einzigen Bildsensors 120 ist es insbesondere auch möglich, je Laser bzw. Bestrahlungsmuster einen eigenen Bildsensor vorzusehen, der auf das jeweils zugeordnete Bestrahlungsmuster 130a bzw. 130b ausgerichtet ist, um dieses bestmöglich bildsensorisch zu erfassen.

Im Übrigen kann die Vorrichtung 400 insbesondere der Vorrichtung 200 entsprechen. Fig. 5 zeigt eine weitere Ausführungsform 500 einer Vorrichtung zur Messung von Tiefeninformationen einer Szene. Hier wird anstelle eines Punktlasers, also eines Lasers mit im Wesentlichen punkförmigen Strahlquerschnitt geringen Durchmessers, eine Strahlungsquelle 105 mit einem linienförmigen Strahlquerschnitt eingesetzt.

Zur Erzeugung des linienförmigen insbesondere geradlinigen, Strahlquerschnitts kann beispielsweise eine entsprechende Optik vor einen Laser 105 mit punktförmigen Strahlquerschnitt gesetzt werden, die den vom Laser gelieferten Laserstrahl 110a zur Linie aufspreizt. Der somit resultierende Laserstrahl 110b mit linienförmigem Querschnitt kann dann genutzt werden, um eine Szene 115 auszuleuchten, insbesondere regelmäßig abzuscannen. Dazu kann wieder insbesondere ein Mikroscanner 125 mit einem Spiegel 125a genutzt werden, der hier jedoch speziell auch als (nur) einachsiger Mikroscanner 125 ausgebildet sein kann, der den Laserstrahl 110b entlang einer quer zu seiner Erstreckungsrichtung (in Fig. 4 horizontal) liegenden räumlichen Dimension (Scanrichtung) ablenkt, da eine zweite Dimension der Abtastung bereits durch die (in Fig. 4 vertikale) Ausdehnung des linienförmigen Laserstrahlquerschnitts gegeben ist.

Im Übrigen kann die Vorrichtung 500 insbesondere der Vorrichtung 200 entsprechen.

Die in Fig. 6 illustrierte beispielhafte Ausführungsform eines Verfahrens 600 zur Messung von Tiefeninformationen einer Szene, kann insbesondere mittels einer der Vorrichtungen nach Fig. 2 bzw. 3, Fig. 4 oder Fig. 5 ausgeführt werden, und wird daher nachfolgend beispielhaft unter zusätzlicher Bezugnahme auf die Vorrichtung aus den Figuren 2 und 3 beschrieben.

Das Verfahren 600 beruht auf der Verwendung eines kontinuierlichen elektromagnetischen Strahls, insbesondere Laserstrahls, zur Ausleuchtung einer betrachteten Szene 115 anhand einer über die Szene 115 geführten Trajektorie des Strahls. Dazu wird der kontinuierliche Strahl erzeugt (im Schritt 605) und (im Schritt 610) durch scannende Abbildung des Strahls (Laserstrahls) mittels eines Mikroscanners 125 zur Ausbildung einer Trajektorie auf die Szene gerichtet.

Die Szene 115 enthält sinnvollerweise zumindest ein physisches Objekt, das den Strahl zumindest anteilig reflektiert, sodass (im Schritt 615) ein Abbild des durch Reflexion des Strahls an dem zumindest einem Objekt entstehenden Bestrahlungsmusters 130 bildsensorisch, etwa anhand einer Kamera 120 (Frame-basierter Detektor (Bildsensor)) als 2D-Abbild 140 erfasst wird. Das Bestrahlungsmuster 130 zeigt die aus den Orten der Reflexion des Strahls an dem bzw. den Objekte(n) gebildete Trajektorie des Strahls. Optional kann zudem ein Abbild der Szene 115 insgesamt („Gesamtbild“ 150), also auch der (noch) nicht von der Trajektorie durchlaufenen Bildabschnitte (Pixel) erfasst werden, insbesondere von derselben Kamera 120. Die Trajektorie kann dann beispielsweise anhand einer Filterung im Rahmen einer Bildverarbeitung aus dem erfassten Gesamtbild 150 der Szene 115 extrahiert werden.

Des Weiteren wird (im Schritt 620) ein Referenzbild 145 erfasst, welches ein durch den Mikroscanner 125 auf die Szene 115 abgebildetes Bestrahlungsmuster (vor dessen Reflexion) repräsentiert. Es kann, wie schon erwähnt, insbesondere auf Basis einer sensorischen Messung der Auslenkungen des Spiegels 125a des Mikroscanners bestimmt werden. Die Schritte 605 bis 620 erfolgen simultan.

Nun kann (im Schritt 625) in Abhängigkeit von dem Abbild 140 und dem Referenzbild 145 und optional auch von dem Gesamtbild 150 der Szene 115 (vgl. Ansicht 700 in Fig. 7) eine Tiefenkarte der Szene 115, genauer der von der Trajektorie durchlaufenen Orte der Szene oder einer Untermenge davon, abgeschätzt werden. Dies kann insbesondere unter Verwendung eines entsprechend trainierten künstlichen neuronalen Netzes (z.B. im Sinne von „Deep Learning“) erfolgen, dem das Abbild 140, das Referenzbild 145 und optional auch das Gesamtbild 150 der Szene als Input-Daten zur Verfügung gestellt werden, und dass dann die Tiefenkarte als Tiefeninformation bezüglich der Szene 115, genauer der o.g. von der Trajektorie durchlaufenen Orte der Szene, liefert.

Anhand eines vorbestimmten Abbruchskriteriums kann nun entschieden werden, ob ein erneuter Durchlauf der Verfahrensschritte 610 bis 625 erfolgen soll (630 - nein), oder nicht. Das Abbruchskriterium kann insbesondere so definiert sein, dass es eine Mindestlaufzeit der Trajektorie über die Szene oder einen mindestens zu erreichenden Grad der Abdeckung der Szene durch die bisher durchlaufene Trajektorie festlegt, die bzw. der erreicht worden sein muss, bevor die Tiefeninformation als ausreichend komplett angesehen wird und daher eine weitere Wiederholung der Verfahrensschritte 610 bis 625 unterbleibt.

Ist das Abbruchkriterium erreicht (630 - ja), dann wird (im Schritt 635, außer wenn es nur einen einzigen Durchlauf der Verfahrensschritte 610 bis 625 gab) als Verfahrensergebnis eine Tiefeninformation (insbesondere Tiefenkarte) der Szene 115 erzeugt, indem die im Rahmen des Verfahrens generierten einzelnen Tiefenkarten durch Kombination, insbesondere Überlappung, zu einer Gesamt-Tiefenkarte zusammengefasst werden. Im Falle nur eines Durchlaufs stellt die dabei erstellte Tiefenkarte zugleich die Gesamt-Tiefenkarte dar. Eine weitere besondere Ausführungsform der vorliegenden Lösung wird nun unter Bezugnahme auf die Figuren 8 und 9 beschrieben. Fig. 8 zeigt dabei eine zugehörige weitere beispielhafte Ausführungsform 800 einer Vorrichtung zur Ausführung eines Verfahrens zur Messung von Tiefeninformationen einer Szene und Fig. 9 illustriert eine Ausführungsform 900 des mit der Vorrichtung 800 aus Fig. 8 ausführbaren Verfahrens selbst.

Fig. 8 entspricht weitgehend der Fig. 3, unterscheidet sich jedoch von dieser darin, dass keine kontinuierliche Trajektorie erzeugt wird, sondern stattdessen die Trajektorie in einzelne Punkte oder kurze Liniensegmente unterteilt wird, indem der zur Bestrahlung der Szene eingesetzte Strahl entsprechend intensitätsmoduliert wird. Dies hat insbesondere den Vorteil, dass die Menge der im Rahmen des Abgleichs des Bilds 140 mit dem Referenzbild 145, das entsprechend moduliert ist, zu verarbeitenden Bilddaten deutlich reduziert werden kann, ohne dass die Qualität der erhältlichen Tiefeninformation stark leiden muss.

Bei dem Verfahren 900 werden in einem Schritt 905 der Detektor bzw. Bildsensor 120 und der Mikroscanner 125 derart synchronisiert, insbesondere anhand von Zeitstempel bzw. diese repräsentierenden Zeitstempeldaten, dass für jeden einer Menge von aufeinanderfolgenden Zeitpunkten jeweils die momentane Auslenkung des Spiegels 125a des Mikroscanners 125 und die zugeordnete Aufnahme des Bildsensors 120 erfasst und somit einander zuordnenbar sind. In einem weiteren Schritt 910 wird ein intensitätsmodulierter Laserstrahl erzeugt und in einem Schritt 915 auf den Spiegel 125a des Mikroscanners 125 gerichtet, um durch diesen je nach Modulation als Bestrahlungsmuster auf die Szene 115 projiziert zu werden, um dort eine aus Punkten oder kurzen Linienabschnitten aufgebaute Trajektorie auszubilden. Die Trajektorie wird im Schritt 920 durch den Detektor bzw. Bildsensor 120 als Abbild 140 erfasst. Zudem wird in einem Schritt 925, wie schon bei der Ausführungsform nach Fig. 2, ein Referenzbild 145 erfasst, welches das Bestrahlungsmuster repräsentiert, mit dem im Schritt 915 die Szene bestrahlt wird. Die Schritte 910 bis 925 und optional auch der Schritt 905 finden simultan statt.

Zur Auswertung werden im Schritt 930 die Punktepaare durch Abgleichen ausgewertet, die aus je einem Punkt des Bilds 140 und eine zeitlich gemäß den Zeitstempeldaten dazu korrespondierenden Punkt des Referenzbilds bestehen. Aus den beim Abgleich gegebenenfalls festgestellten Abweichungen der Positionen der beiden Punkte in einem oder mehreren Punktepaaren, kann in einem Schritt 935 per Triangulation auf die gesuchte Tiefeninformation geschlossen werden. Eine noch weitere besondere Ausführungsform der vorliegenden Lösung wird nun unter Bezugnahme auf die Figuren 10 und 11 beschrieben. Fig. 10 zeigt dabei eine zughörige Ausführungsform 1000 eines Verfahrens zur Messung von Tiefeninformationen einer Szene und Fig. 11 illustriert dazu eine beispielhafte Szene 1100, einerseits anhand eines auf die Szene projizierten Bestrahlungsmusters 130 und andererseits einer dabei als Tiefeninformation gewonnenen Punktwolke.

Bei einer Event-based Kamera handelt es sich um einen Bildsensor, der auf lokale Helligkeitsveränderungen reagiert. Solche Kameras nehmen Bilder nicht mit einem Verschluss auf, wie dies bei konventionellen Kameras der Fall ist (Bildkameras). Stattdessen arbeitet jedes Pixel in einer Event-based Kamera unabhängig und asynchron, meldet Helligkeitsänderungen, wenn sie auftreten, und bleibt ansonsten still.

Es werden daher bei der Projektion des Strahls 110b auf die Szene zu jedem Zeitpunkt nur solche Pixel erfasst, auf die zu einem betrachteten Zeitpunkt der Strahl fällt, während andere Pixel nicht erfasst werden.

Bei dem Verfahren 1000 werden der Detektor 120 und der Mikroscanner wieder, wie vorstehend schon erläutert wurde, in einem Schritt 1005 unter Verwendung von Zeitstempeln synchronisiert, um zeitlich zueinander korrespondierende Punkte aus dem detektierten Abbild 140 und dem Referenzbild 145 zu einem jeweiligen Punktepaar zusammenfassen zu können. Zudem wird wie gehabt ein, insbesondere kontinuierlicher, Laserstrahl 1010 erzeugt (Schritt 1010) und auf die Szene projiziert (Schritt 1015). Das daraus entstehende Bestrahlungsmuster ist in Fig. 11 in deren linkem Bild für eine beispielhafte Szene 115 illustriert.

Wenn der Laserstrahl auf eine Oberfläche eines Objekts fällt und dort so reflektiert wird, dass der reflektierte Strahl von der Event-based- Kamera über einen damit einhergehenden Intensitätswechsel detektiert wird (Schritt 1020), entspricht der momentan beleuchtete Punkte einem Ereignis, das durch die Event-based-Kamera detektiert wurde und somit im weiteren Verlauf des Verfahrens ausgewertet werden kann. Dazu wird zunächst aber noch das Referenzbild 145, genauer die momentane Position (Auslenkung) des Spiegels 125a des Mikroscanners bestimmt (Schritt 1025). Die Gesamtheit dieser momentanen Positionen bildet hierbei das gesamte Referenzbild 145.

Punktpaarweise kann nun ein Abgleich der Position des im Schritt 1020 detektierten Punkts im Abbild 140 mit der Position des zeitlich korrespondieren Punkts aus dem Referenzbild bzw. Schritt 1025 vorgenommen werden und auf Basis eines etwaiger Abweichung beider Punkte mit Hilfe der Triangulation die gesuchte Entfernung des Punkts in der Szene 115 als Tiefeninformation bestimmt werden (Schritt 1030). Die Schritte 1020 bis 1030 werden dann so lange für andere Punkte entlang der Trajektorie wiederholt (1035 - nein), bis ein vorbestimmtes Abbruchkriterium (z.B. der Ablauf einer vorbestimmten Zeitspanne) erfüllt ist (1035 - ja). Schließlich werden (im Schritt 1040) die derart bzgl. ihrer Entfernung rekonstruierten Punkte zu einer Punktwolke 155 kumuliert, um eine Tiefenkarte der Szene zu bilden (eine beispielhafte solche Punktwolke 155 ist Fig. 11 in deren rechten Bild illustriert). Alternativ kann statt einer Punktwolke auch ein dadurch mit den Punkten als Knotenpunkte aufgespanntes Netz (Mesh) als Tiefenkarte erzeugt werden.

Zusammenfassend können die im Rahmen der Figurenbeschreibung erläuterten Ausführungsformen nochmals wie folgt beschrieben werden:

Um möglichst einfach Linienzüge zu erstellen, die ein 3D-0bjekt in Gänze erfassen, kann eine Vorrichtung mit einem Mikroscanner 125 mit einem bi-resonant scannenden MEMS-Spiegel 125a mit einer integrierten Lösung (auch eine externe Lösung ist möglich) zur Bestimmung der Spiegelposition (Auslenkung), ein konstant leuchtender Punkt- oder Linienstrahler 105 (eine optionale Modulation des Strahlers 105 erhöht die Zeit bis das 3D Objekt komplett ausgeleuchtet ist) und einem Bildsensor (Detektor) 120 verwendet werden. Der Strahl 110a des Strahlers 105 wird über den MEMS-Spiegel abgelenkt und dient zur Ausleuchtung einer Szene 115. Dabei werden z.B. Lissajous- Figuren erzeugt, deren Form und somit die Ausleuchtung der Szene 115, bzw. von einem oder mehreren Objekten darin, von den Frequenzen beider Achsen des Mikroscanners 125 bzw. dessen Spiegel 125a abhängt.

Die während des Scanvorgangs angenommene Spiegelposition (Auslenkung) kann zu jedem Zeitpunkt ausgelesen und an eine Verarbeitungseinheit (Auswertungseinrichtung 135) weitergereicht werden. Parallel dazu nimmt ein dazu örtlich versetzter Detektor 120 die Szene auf und übergibt die Bildinformation an dieselbe Verarbeitungseinheit 135, die auch Zugriff auf die Spiegelposition hat. Durch Auswertung der Bildinformation 140 werden X, Y-Koordinaten des projizierten Punktes/Linienzuges ermittelt. Aus der Überlagerung der Information wohin projiziert wurde (aus dem Referenzbild entnommen) und dem Versatz zwischen erwartetem und tatsächlichem X, Y-Aufenthaltsort des Punktes/Linienzuges auf dem Abbild 140 wird die Tiefeninformation extrahiert. Dabei kann zwischen verschiedenen weiteren Ausführungsformen unterschieden werden, die sich hauptsächlich in der Funktionsweise des Detektors (Bildsensor) und der daraus resultierenden Verarbeitung der Informationen unterscheiden. Zwei dieser Ausführungsformen werden nachfolgend beispielhaft genauer beschrieben.

1. Frame-basierte Kamera als Detektor:

Hier wird, wie bereits vorausgehend unter Bezugnahme auf die Figuren 2 bis 6 genauer erläutert wurde, die gesamte Szene 115 über einen bestimmten Zeitraum, z.B. von einer IR-Kamera 120 als Detektor, aufgenommen. Dadurch wird von der Trajektorie, insbesondere Lissajous-Trajektorie, ein zusammenhängender Strang bildlich erfasst, der je nach Zeitfenster einen großen Bereich der Szene ausleuchtet (vgl. Abbild 140). Außerdem wird die Information über das gesamte Sichtfeld (engl. Field of View, FOV) des Detektors erstellt und nicht nur für den ausgeleuchteten Bereiche. Durch die Nutzung eines entsprechenden optischen Filters bzw. einer angepassten IR-Kamera ist auf der Bildaufnahme nur der ausgeleuchtete Bereich sichtbar. Alle Farbinformationen, z. B. RGB-Informationen, der Szene werden dadurch entfernt und dadurch die Detektion der Trajektorie auf der Aufnahme (vgl. Abbild 140) vereinfacht.

Zusätzlich zur ausgeleuchteten Aufnahme wird auf Grundlage der Spiegelpositionen, die innerhalb des Zeitraums eingenommen werden, die Referenztrajektorie (Referenzmuster 145) bestimmt, die einer Trajektorie entspricht, die z.B. aus der Projektion auf eine Fläche in Abstand von 1 m resultiert. Aus der Abweichung zwischen aufgenommenen Abbild 140 und Referenzmuster 145 wird die Tiefeninformation über komplexe Berechnungs- bzw. Extraktionsmethoden, wie zum Beispiel über ein neuronales Netz (NN) bestimmt. Dabei liefert das neuronale Netz zu den aus der Aufnahme bekannten X, Y-Koordinaten die fehlende Tiefeninformation Z. Die Bestimmung der Referenztrajektorie im Referenzbild 145 aufgrund der Spiegelposition kann dabei insbesondere vorab (d.h. vor der operativen Nutzung des neuronalen Netzes zur Bestimmung der Tiefeninformation Z) bestimmt sein oder werden und bereits über die T rainingsdaten dem neuronalen Netz im Rahmen seines T rainings zugeführt werden. Bei der Aufnahme von Bildern zur Bestimmung der Tiefeninformation müssen dann keine Informationen über die Spiegelposition erfasst werden, sondern nur noch das aufgenommene Abbild 140 über das neuronale Netz analysiert werden.

Um noch weitere Informationen über die Szene zu erhalten, kann als optionaler Schritt noch das Gesamtbild (z.B. RGB-Bild) (das ggf. über eine zusätzliche Kamera verfügbar ist) dem neuronalen Netz als Input hinzugefügt werden. Damit kann die Genauigkeit der ermittelten Tiefeninformation erhöht werden, da z.B. durch die Segmentierung (im Sinne der Bildverarbeitung) der Objekte in der Szene ein schnelles Erkennen von Rauschen und Outliern (d.h. von Punkten die außerhalb des erwarteten Objektes / Segmentes liegen) möglich ist.

2. Event-Based-Kamera als Detektor:

Hier wird, wie bereits vorausgehend unter Bezugnahme auf die Figuren 10 und 11 genauer erläutert wurde, aufgrund der Verwendung einer Event-Based-Kamera als Detektor der Schritt zur Auswertung der X, Y-Koordinaten in der Aufnahme der Szene stark vereinfacht, da nur die Informationen bzw. Koordinaten gesendet werden, bei denen eine Veränderung detektiert wurde. In Kombination mit einem optischen Filter, der auf die Wellenlänge des Strahlers, insbesondere Punktstrahlers (z.B. Laser), ausgelegt ist, kann die selektive Wahrnehmung des Detektors so weit reduziert werden, dass nur noch der vom Strahl ausgeleuchtete Punkt in der Aufnahme sichtbar und daher übermittelt wird. Des Weiteren kann durch das Filtern ein potenziell störender Einfluss anderer Strahlungsquellen reduziert oder vermieden werden und die Komplexität der weiteren Verarbeitung reduziert werden.

Somit wird mittels der Aufnahme über einen Event-Based- Detektor der stetige Linienzug der Trajektorie, insbesondere Lissajous-Trajektorie, in kleine Verarbeitungseinheiten unterteilt und zur Bearbeitung weitergeben.

Die Aufnahme eines einzelnen, projizierten Punktes bzw. minimal kleiner, zusammenhängender Linienzüge, die über Verfahren wie Schwerpunktermittlung wieder zu einem Punkt reduziert werden können, liefert mit der zu diesem Zeitpunkt eingenommen Spiegelposition via Triangulationsverfahren die Tiefeninformation. Durch diese kameraseitige Modulation und gleichzeitige Reduktion des Datenstroms (es wird nur die Position weitergegeben) kann eine schnelle und einfache Verarbeitung gewährleistet werden.

Die hier vorgestellten Lösungen ermöglichen somit jeweils insbesondere eine verbesserte laterale Auflösung (und dadurch indirekt auch verbesserte Tiefenauflösung), durch das sich ständig ändernde strukturierte Licht, genauer gesagt, durch die sich ständig ändernde Trajektorie, insbesondere Lissajous-Trajektorie. Bei einer statischen bzw. sich langsam ändernden Szene wird die Anzahl an sichtbaren Details nur durch die Belichtungszeit bestimmt, was wiederum mit der Scangeschwindigkeit des Spiegels korreliert. Trotzdem liefert der Ansatz bei schnellen Veränderungen der Szene weiterhin genügend Informationen über die gesamte Szene, so dass der Ansatz gängige Systeme in Bezug auf laterale Auflösung übersteigt, aber keine Abstriche bei der Responsivität bzw. der Framerate macht.

BEZUGSZEICHENLISTE

100 Laser-Triangulation

105 Parallelstrahlungsquelle, z.B. Laser

105a, b Parallelstrahlungsquelle, z.B. Laser 110a Laserstrahl (vor Reflektion am Objekt) 110b am Objekt reflektierter Laserstrahl 115 Szene

115a, b verschiedene Szenen oder Szenenbereiche 120 Bildsensor 125 Mikroscanner 125a (MEMS-)Spiegel des Mikroscanners 125

130 Bestrahlungsmuster

130a, b Bestrahlungsmuster 135 Auswertungseinrichtung bzw. Verarbeitungseinheit 140 (2D-)Bild der Szene 145 Referenzbild

150 Gesamtbild der Szene

155 Punktwolke

200 erste Ausführungsform einer Vorrichtung zur Messung von Tiefeninformationen

300 weitere Ansicht der Vorrichtung 200 400 zweite Ausführungsform einer Vorrichtung zur Messung von Tiefeninformationen

500 dritte Ausführungsform einer Vorrichtung zur Messung von Tiefeninformationen

600 erste Ausführungsform eines Verfahrens zur Messung von Tiefeninformationen

700 weitere Ansicht der Vorrichtung 200 gemäß einer Variante 800 vierte Ausführungsform einer Vorrichtung zur Messung von Tiefeninformationen

900 zweite Ausführungsform eines Verfahrens zur Messung von Tiefeninformationen

1000 dritte Ausführungsform eines Verfahrens zur Messung von Tiefeninformationen

1100 beispielhafte Szene