Beschreibung

Vorrichtung und Verfahren zur Aufnahme von Entfernungsbildern

Die Erfindung betrifft eine Vorrichtung zur Aufnahme von Entfernungsbildern mit einer Lichtpulse aussendenden Lichtquelle, mit einer Vielzahl von Lichtempfängern und mit einer den Lichtempfängern nachgeschalteten Auswerteeinheit, die die Lichtlaufzeit der Lichtpulse bestimmt und anhand der Licht- laufzeiten ein Entfernungsbild erstellt.

Die Erfindung betrifft ferner Verfahren zur Verarbeitung von Bildern räumlicher Objekte.

Eine derartige Vorrichtung und derartige Verfahren sind aus der DE 198 33 207 Al bekannt. Die bekannte Vorrichtung und die bekannten Verfahren dienen der Erzeugung dreidimensionaler Entfernungsbilder von räumlichen Objekten. Dabei wird mit Hilfe von Laserdioden eine Kurzzeitbelichtung des räumlichen Objekts durchgeführt. Ein Sensor mit einer Vielzahl von

Lichtempfängern empfängt die vom räumlichen Objekt zurückgeworfenen Lichtpulse. Durch Auswertung der zurückgeworfenen Lichtpulse in zwei Integrationsfenstern mit unterschiedlichen Integrationszeiten und durch Mittelung über mehrere Lichtpul- se lassen sich dreidimensionale Entfernungsbilder mit hoher Zuverlässigkeit aufnehmen.

Ein Nachteil der bekannten Vorrichtung und der bekannten Verfahren ist, dass sich Entfernungsbilder im Vergleich zu digi- talen Kamerasystemen zur Aufnahme zweidimensionaler Abbildungen nur mit einer verhältnismäßig geringen Auflösung aufnehmen lassen. Mit den derzeit verfügbaren Bauelementen lassen sich lediglich Entfernungsbildern mit etwa 50 x 50 Bildpunkten aufnehmen, im Vergleich zu digitalen Kamerasystemen für Intensitätsbilder, die Bilder in der Größenordnung von 1000 x 1000 Bildpunkten erzeugen.

Umgekehrt besteht bei zweidimensionalen Intensitätsbildern häufig das Problem, dass die objektorientierte Bildsegmentierung auf Grund von störenden Lichteffekten nicht durchgeführt werden kann. Beispielsweise kann ein Schattenwurf auf ein räumliches Objekt dazu führen, dass eine Bildverarbeitungseinheit den voll beleuchteten Bereich und den abgeschatteten Bereich des räumlichen Objekts nicht mehr als zu einem Objekt gehörig erkennt und in verschiedene Bildsegmente aufteilt.

Ausgehend von diesem Stand der Technik liegt die Erfindung daher der Aufgabe zugrunde, eine Vorrichtung zur Aufnahme von Entfernungsbildern mit erhöhter Auflösung zu schaffen. Der Erfindung liegt ferner die Aufgabe zugrunde, Verfahren zur Verarbeitung von Bildern räumlicher Objekte anzugeben, mit denen sich die räumliche Auflösung von Entfernungsbildern verbessern lässt und mit denen sich Intensitätsbilder räumlicher Objekte sicher objektorientiert segmentieren lassen.

Diese Aufgaben werden durch die Vorrichtung und die Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.

Die Vorrichtung zur Aufnahme von Entfernungsbildern weist ei- nerseits eine Vielzahl von Lichtempfängern auf, mit denen eine Lichtlaufzeitbestimmung durchgeführt werden kann. Diesen Lichtempfängern ist andererseits eine Vielzahl von Detektorelementen zugeordnet, mit denen ein Intensitätsbild des räumlichen Objekts erstellt werden kann. Da das Intensitätsbild in der Regel mit einer wesentlich höheren Auflösung aufgenommen werden kann als das Entfernungsbild, steht zusätzliche Information über das räumliche Objekt zur Verfügung, mit der die Auflösung des Entfernungsbildes verfeinert werden kann. Beispielsweise kann davon ausgegangen werden, dass eine Flä- che mit einem einheitlichen Grauwert in der Abbildung die gleiche Entfernung aufweisen. Selbst wenn nur ein einzelner Entfernungsmesspunkt in dieser Graufläche vorliegt, kann im Entfernungsbild eine Fläche erzeugt werden, die die Konturen

der zugehörigen Fläche und die Entfernung des Entfernungsmesspunkts in der Abbildung aufweist. Durch Interpolationsund Glättungsverfahren kann somit die Auflösung des Entfernungsbild erhöht werden.

Umgekehrt können mit einer derartigen Vorrichtung aufgenommene Intensitätsbilder eines räumlichen Objekts mit großer Sicherheit objektorientiert segmentiert werden. Denn die im Entfernungsbild enthaltene zusätzliche Entfernungsinformation kann dazu verwendet werden, Flächen die im gleichen Abstand liegen, und die daher in der Regel zum gleichen Objekt gehören, als solche zu erkennen, selbst wenn die Flächen im Bild unterschiedliche Einfärbungen oder Grauwerte aufweisen.

Bei einer bevorzugten Ausführungsform sind die Detektorelemente zur Aufnahme des Intensitätsbildes zwischen den Lichtempfängern zur Aufnahme des Entfernungsbilds verteilt. Bei einer derartigen Anordnung brauchen bei der nachfolgenden Bildverarbeitung, bei der die im Entfernungsbild und in dem Intensitätsbild enthaltenen Informationen miteinander verknüpft werden, keine Effekte berücksichtigt werden, die durch unterschiedliche Perspektiven hervorgerufen werden. Vielmehr kann davon ausgegangen werden, dass das Entfernungsbild und das Intensitätsbild aus der gleichen Perspektive aufgenommen worden sind.

Bei einer weiteren bevorzugten Ausführungsform sind die Lichtempfänger und die Detektorelemente in ein gemeinsames Bauelement integriert. Mit einem derartigen integrierten Bau- element lässt sich eine kompakte kostengünstige Vorrichtung zur Aufnahme von Entfernungsbildern schaffen, wobei eine eventuell vorhandene Optik sowohl für die Lichtempfänger als auch die Detektorelemente verwendet werden kann. Auch eine Beleuchtungseinheit kann sowohl für die Lichtempfänger als auch für die Detektorelemente eingesetzt werden. Außerdem entfällt die Notwendigkeit, die Detektorelemente bezüglich der Lichtempfänger zu justieren oder die relative Lage der

Detektorelemente bezuglich der Lichtempfanger durch eine Kalibrierung festzustellen.

Vorteilhafterweise weisen die Lichtempfanger eine geringere raumliche Auflosung als die Detektorelemente auf. Damit ist es möglich, die für Detektorelemente von Kamerasystemen verfugbare höhere Auflosung zu nutzen.

Um den Lichtempfangern ein ausreichendes Maß an Lichtintensi- tat zur Verfugung zu stellen, werden die von der Lichtquelle ausgesandten Lichtpulse auf ein Raster von Lichtpunkten konzentriert, die von einer vor den Lichtempfangern angeordneten Optik auf die Lichtempfanger abgebildet werden. Durch dies Maßnahme wird das von der Lichtquelle ausgesandte Licht auf wenige Lichtpunkte konzentriert und die Intensität des von den Lichtempfangern aufgenommenen Lichts erhöht.

Weitere Eigenschaften und Vorteile der Erfindung gehen aus der nachfolgenden Beschreibung hervor, in der Ausfuhrungsbei- spiele der Erfindung anhand der beigefugten Zeichnung im Einzelnen erläutert werden. Es zeigen:

Figur 1 ein Blockschaltbild einer Vorrichtung zur Aufnahme von Entfernungsbildern und zweidimensionalen Ab- bildungen eines raumlichen Objekts;

Figur 2 eine Aufsicht auf den Detektor der Vorrichtung aus Figur 1.

Figur 1 zeigt eine Uberwachungsvorrichtung 1, die der überwachung eines Raumbereichs 2 dient. Die Uberwachungsvorrichtung 1 kann der überwachung eines Gefahrenbereichs oder auch der Zugangssicherung dienen. In dem Raumbereich 2 können sich Objekte 3 befinden, deren Anwesenheit von der Uberwachungsvor- richtung 1 detektiert werden soll. Zu diesem Zweck verfugt die Uberwachungsvorrichtung über eine gepulste Lichtquelle 4, bei der es sich beispielsweise um eine einzelne Laserdiode handeln kann. Es sei angemerkt, dass unter dem Begriff Licht

das gesamte elektromagnetische Wellenlangenspektrum verstanden werden soll. Das von der gepulsten Lichtquelle 4 ausgehende Licht wird von einer vor der gepulsten Lichtquelle 4 angeordneten Optik 5 kollimiert und auf ein Beugungsgitter 6 gelenkt. Die Beugungsordnungen des am Beugungsgitter 6 gebeugten Lichts bilden Beleuchtungspunkte 7, die über den gesamten Raumbereich 2 verteilt sind. Die Beleuchtungspunkte 7 werden durch eine Eintrittsoptik 8 auf einen Detektor 9 abgebildet.

Ferner verfugt die Uberwachungsvorrichtung über eine kontinuierliche Lichtquelle 10, die über eine Optik 11 den gesamten Raumbereich 2 beleuchtet.

Dem Detektor 9 ist eine Auswerteeinheit 12 nachgeordnet. Die Auswerteeinheit 12 steuert den Detektor 9 und liest den Detektor 9 aus. Ferner steuert die Auswerteeinheit 12 auch die gepulste Lichtquelle 4 und die kontinuierliche Lichtquelle 10.

Der Auswerteeinheit 12 nachgeschaltet ist eine Bildverarbeitungseinheit 13, die die von der Auswerteeinheit 12 erzeugten Entfernungsbilder und zweidimensionalen Intensitatsbilder des Raumbereichs 2 verarbeitet.

Figur 2 zeigt eine Aufsicht auf den Detektor 9 der Uberwachungsvorrichtung 1 aus Figur 1. Die sensitive Oberflache des Detektors 9 weist Lichtempfanger 14 auf, die beispielsweise in CMOS-Technik hergestellt sind. Mit Hilfe der Lichtempfan- ger 14 kann eine Lichtlaufzeitmessung durchgeführt werden. Die von der gepulsten Lichtquelle 4 ausgesandten Lichtpulse tasten den Raumbereich 2 in den Beleuchtungspunkten 7 ab. An einem Objekt 3 im Raumbereich 2 zurückgeworfenes Licht gelangt zu den Lichtempfangern 14, die kurze Integrationszeiten in Nanosekundenbereich aufweisen. Durch Integration des auf die Lichtempfanger 14 treffenden Lichts in zwei Integrationsfenstern mit unterschiedlicher Integrationsdauer kann die Lichtlaufzeit von der gepulsten Lichtquelle 4 zum Objekt 3

und zurück zum jeweiligen Lichtempfanger 14 bestimmt werden. Aus der Lichtlaufzeit kann dann unmittelbar die Entfernung des Beleuchtungspunkt 7 auf dem Objekt 3 ermittelt werden. Diese Art der Lichtlaufzeitmessung ist dem Fachmann unter an- derem unter der Bezeichnung MDSI (=multiple double short time Integration) bekannt. Daneben können für die Lichtlaufzeitbestimmung auch Verfahren wie PMD (=photonic mixing devi- ce) verwendet werden.

Der in Figur 2 abgebildete Detektor 9 umfasst 3 x 3 Lichtemp- fanger 14. Der Zwischenraum zwischen den Lichtempfangern 14 ist jeweils mit 5 x 5 Detektorelementen 15 abgedeckt. Die Detektorelemente 15 sind ebenso wie die Lichtempfanger 14 in CMOS-Technik gefertigt. Wahrend die Lichtempfanger 14 der Aufnahme eines Entfernungsbildes dienen, wird mit den Detektorelementen 15 ein Intensitatsbild aufgenommen. Unter Inten- sitatsbild soll in diesem Zusammenhang sowohl ein die Helligkeit des Objekts 3 wiedergebendes Bild, zum Beispiel ein Grauwertbild, als auch ein Farbbild des Objekts 3 verstanden werden.

Es wird darauf hingewiesen, dass bei einer typischen Ausgestaltung des Detektors 9 ein Raster von etwa 50 x 50 Lichtemp- fangern 14 einem Raster von etwa 1000 x 1000 Detektorelemen- ten 15 überlagert ist. Bei einer derartigen Ausgestaltung ist jede zwanzigste Spalte und Zeile des Rasters der Detektorelemente 15 mit Lichtempfangern 14 belegt.

Mit der Uberwachungsvorrichtung 1 lassen sich hoch aufgelöste Entfernungsbilder aufnehmen. Zu diesem Zweck wird die im Intensitatsbild enthaltene Information dazu verwendet, zwischen den Bildpunkten des Entfernungsbildes zu interpolieren. Beispielsweise kann davon ausgegangen werden, dass einem Segment des Intensitatsbildes mit homogener Helligkeit auch ein ein- heitlicher Entfernungswert zugeordnet werden kann. Wenn nun ein Entfernungsbildpunkt in dem jeweiligen Segment liegt, kann ein dem Segment des Intensitatsbildes entsprechender Bereich des Entfernungsbildes mit Entfernungswerten gefüllt

werden, die dem Entfernungswert des Entfernungsbildpunktes im jeweiligen Segment entsprechen.

Umgekehrt kann am Intensitatsbild eine objektorientierte Seg- mentierung vorgenommen werden. Bei der Segmentierung von In- tensitatsbildern tritt nämlich häufig das Problem auf, dass Objektbereiche mit unterschiedlicher Helligkeit oder Einfar- bung unterschiedlichen Segmenten zugeordnet werden. Ein Schattenwurf auf einem Objekt kann beispielsweise dazu fuh- ren, dass der abgeschattete Bereich einem bestimmten Segment zugeordnet wird, wahrend der voll ausgeleuchtete Bereich als separates Segment behandelt wird. Wenn die beiden Segmente jedoch den gleichen Entfernungswert aufweisen, können die beiden Segmente in Verbindung gebracht werden.

Gegenüber herkömmlichen Uberwachungsvorrichtungen bietet die Uberwachungsvorrichtung 1 eine Reihe von Vorteilen.

Im Gegensatz zu Lichtvorhangen, die aus mehreren Lichtschran- ken mit jeweils einem Sender und einem Empfanger bestehen, erfordert die Uberwachungsvorrichtung 1 nur einen geringen Montageaufwand und ist auch nicht anfallig gegen Storeinflus- sen auf Grund von Verschmutzung und Fremdpartikeln.

Die Uberwachungsvorrichtung 1 ist ferner auch sonst wenig fehleranfallig und kann mit einem geringen Wartungsaufwand betrieben werden, im Gegensatz zu Laserscannern, die einen Raumbereich mit einem rotierenden Laserstrahl überwachen.

Gegenüber Uberwachungskameras, die lediglich eine zweidimensionale Verarbeitung von Grauwertbildern bieten, ist die Uberwachungsvorrichtung 1 wesentlich zuverlässiger, da die zuverlässige Funktion der Uberwachungsvorrichtung 1 nicht von der Beleuchtung des Raumbereichs 2 abhangt und die Uberwa- chungsvorrichtung 1 auch nicht durch unerwünschte Oberflachenreflexion am zu erfassenden Objekt 3 hinsichtlich ihrer Zuverlässigkeit beschrankt ist.

Die Integration der Lichtempfanger 14 und der Detektorelemente im Detektor 9 bietet darüber hinaus den Vorteil, dass die Uberwachungsvorrichtung 1 kompakt und kostengünstig aufgebaut werden kann, da die Optik 11 für den Detektor 9 sowohl von den Lichtempfangern 14 als auch den Detektorelementen 15 verwendet werden kann. Durch die feste Raumbeziehung zwischen Lichtempfangern 14 und Detektorelementen 15 entfallt ferner die Notwendigkeit, die Position der Lichtempfanger 14 bezuglich der Detektorelemente 15 durch Kalibrierungen festzustel- len.

Es sei angemerkt, dass die Uberwachungsvorrichtung 1 auch für Fahrerassistent-Systeme in der Automobiltechnik zur Erfassung von für den Verkehr relevanten Objekten, zum Beispiel von Fahrzeugen, Fußgängern oder Hindernissen verwendet werden kann .

Ferner kann die Uberwachungsvorrichtung 1 auch zur Aufnahme von Bildsequenzen dienen.