Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR RECORDING THREE-DIMENSIONAL DISTANCE-MEASURING IMAGES
Document Type and Number:
WIPO Patent Application WO/1999/034235
Kind Code:
A1
Abstract:
The invention relates to a method and a device for generating three-dimensional distance-measuring images of spatial objects, wherein the objects are briefly exposed to a light, i.e. laser diodes. A high light sensitive sensor with pixel resolution and random reading and with an adjustable integration time for each pixel is used as image sensor. Highly reliable three-dimensional distance-measuring images at a maximum of 5 ms can be recorded by evaluating the backscattered laser pulses in two integration windows with different integration times and reporting via several laser pulses.

Inventors:
MENGEL PETER (DE)
DOEMENS GUENTER (DE)
Application Number:
PCT/DE1998/003344
Publication Date:
July 08, 1999
Filing Date:
November 14, 1998
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
MENGEL PETER (DE)
DOEMENS GUENTER (DE)
International Classes:
G01B11/24; B60N2/00; G01S7/48; G01S7/487; G01S17/04; G01S17/88; G01S17/894; B60R21/01; B60R21/015; (IPC1-7): G01S17/89; G01S17/10
Domestic Patent References:
WO1997011353A11997-03-27
Foreign References:
EP0363735A21990-04-18
EP0465806A21992-01-15
Attorney, Agent or Firm:
SIEMENS AKTIENGESELLSCHAFT (Postfach 22 16 34 München, DE)
SIEMENS AKTIENGESELLSCHAFT (Postfach 22 16 34 München, DE)
Download PDF:
Claims:
Patentansprüche
1. Verfahren zur Aufnahme eines dreidimensionalen Abstands bildes von räumlichen Objekten unter Einsatz eines bild punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenen elektronischen Kurzzeitinte grator, wobei eine Integrationszeit einstellbar ist, beste hend aus folgenden Schritten : das Objekt (1) wird mit mindestens einem Lichtimpuls (2) vorgegebener Zeitdauer AL beleuchtet, von Objektpunkten (G) zurückgestreute Lichtimpulse (3) werden an zugehörigen Bildpunkten des Sensors (4) innerhalb einer vorgegebenen kurzen Integrationszeit AA, mit AA < AL, erfaßt, wobei der Zeitpunkt für den Beginn der Integrations zeit DA vor dem Eintreffen des ersten zurückgestreuten Lich timpulses (3) liegt, der dem nächstliegenden Objektpunkt (G) entspricht, aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.
2. Verfahren zur Aufnahme eines dreidimensionalen Abstands bildes von räumlichen Objekten unter Einsatz eines bild punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenem elektronischen Kurzzeitinte grator, wobei eine Integrationszeit einstellbar ist, beste hend aus folgenden Schritten : Aufnahme und Integration des einen Dunkelstrom und Umge bungslicht darstellenden Sensorsignales von dem Beginn der Aufnahme und Integration bis zu einer vorgegebenen Integrati onszeit T2, Beginn der Belichtung eines Objektes (1) durch eine Be leuchtungseinrichtung (5) zeitgleich mit dem Beginn der Auf nahme und der Integration des Sensorsignales am Sensor (4), wobei innerhalb eines Lichtintensitätsanstieges des am Sensor (4) empfangenen Lichtes bis zu einer Integrationszeit T1 in tegriert wird und T1 kleiner ist als T2, wiederholte Belichtung des Objektes (1) durch die Beleuch tungseinrichtung (5) mit zeitgleichem Beginn der Aufnahme und der Integration des Sensorsignales am Sensor (4), wobei in nerhalb des Lichtintensitätsanstieges des am Sensor (4) emp fangenen Lichtes bis zu der Integrationszeit T2 integriert wird, zu den Zeitpunkten T1 und T2 wird für alle Bildpunkte der jeweils integrierte Wert des Sensorsignales ausgelesen und gespeichert und aus den gespeicherten Werten werden für jeden Bildpunkt die Laufzeit To des Lichtes von der Beleuchtungseinrichtung (5) über das Objekt (1) bis zum Sensor (4), sowie ein ent sprechender Abstandswert, berechnet.
3. Verfahren nach Anspruch 1 oder 2, worin die einzelnen Ver fahrensschritte zur Gewinnung eines Sensorsignales jeweils mehrfach wiederholt werden, und die daraus resultierenden Si gnale für jeden einzelnen Bildpunkt integriert werden und sich erst in Anschluß an die Mehrfachbelichtung das Auslesen, Abspeichern und Auswerten der Sensorsignale anschließt.
4. Verfahren nach einem der vorhergehenden Ansprüche, worin abgespeicherte Werte digitalisiert werden.
5. Verfahren nach einem der Ansprüche 3 oder 4, worin eine adaptive Einstellung auf die jeweilige Reflektivität eines Objektes (1) dadurch geschieht, daß die Zahl der Mehrfachbe lichtungen solange gesteigert wird, bis in einer vorgegebenen Menge von Bildpunkten des Gesamtbildes die integrierten In tensitätswerte bei T1 und bei T2 in die Nähe einer Sättigung kommen.
6. Verfahren nach Anspruch 5, worin die Zahl der Mehrfachbe lichtungen oder die Intensität der Laserstrahlung solange ge steigert wird, bis für jeden einzelnen Bildpunkt des Gesamt bildes bei T1 und bei T2 die einzelnen integrierten Intensi tätswerte in die Nähe einer Sättigung kommen.
7. Verfahren nach Anspruch 5 oder 6, worin das integrierte Sensorsignal im wahlfreien Bildpunktzugriff für jeden einzel nen Bildpunkt oder für ein Segment von Bildpunkten ausgelesen wird, wobei ein Segment eine Zeile des optoelektronischen Bildsensors sein kann.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein räumliches Objekt (1) mittels mehrerer partiell das Ob jekt beleuchtender Lichtquellen (10) beleuchtet wird, diese Lichtquellen (10) seriell aktiviert werden und die Auswertung entsprechend bei der jeweiligen Beleuchtung geschieht.
9. Verfahren nach einem der vorhergehenden Ansprüche, worin die Integrationszeit bildpunktweise einstellbar ist.
10. Verfahren nach einem der Ansprüche 1 oder 3 bis 9, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflä chenreflexion des Objektes (1) zusätzlich sämtliche zurückge streuten Lichtimpulse (3) mit einer langen Integrationszeit AB » AL vollständig erfaßt werden.
11. Verfahren nach einem der Ansprüche 1 oder 3 bis 10, worin der Beginn einer Integrationszeit AA ; AB mit einer Triggerim pulsverzögerung gegenüber dem Sendeimpuls verbunden ist.
12. Verfahren nach einem der Ansprüche 1 oder 3 bis 11, worin eine Integrationszeit AA weniger als 100 ns beträgt.
13. Verfahren nach einem der Ansprüche 1 oder 3 bis 12, worin eine Integrationszeit AB ca. lus beträgt.
14. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger, als 100 ns beträgt.
15. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen Bildes und eines Grauwertbildes auf dem Sensor (4) zeilenweise un terschiedliche Integrationszeiten AA bzw. AB oder T1 bzw. T2 eingestellt werden.
16. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) bildpunktweise unterschied <BR> <BR> <BR> liche Integrationszeiten AA bzw. AB oder T1 bzw. T2 abwechselnd eingestellt werden.
17. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt (1) mit Lichtimpulsen eines Lasers oder einer ge pulsten Leuchtdiode beleuchtet wird.
18. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) wahlfrei auslesbar ist.
19. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) ein CMOS Sensor ist.
20. Verfahren nach einem der vorhergehenden Ansprüche, worin die Entfernung vom Sensor (4) zu mindestens einem Punkt als Referenzabstand bekannt ist.
21. Verfahren nach Anspruch 20, worin beim Einsatz in einem Fahrzeug ein Referenzpunkt am Türrahmen positioniert ist.
22. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewe gungsabläufen vorgenommen wird.
23. Verfahren nach Anspruch 22, worin Objekte überwacht wer den, wie Gegenstände oder Personen in Räumen oder in Fahrzeu ge.
24. Verfahren nach Anspruch 22, worin Fahrzeuge oder Kranan lagen überwacht werden und/oder worin eine allgemeine Positi onsbestimmung in einem Navigationssystem vorgenommen wird.
25. Verfahren nach Anspruch 22 oder 23, worin eine Sitzbele gung und/oder eine Sitzposition beispielsweise einer Person in einem Fahrzeug erkannt wird.
26. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand bildes, bestehend aus : einer Beleuchtungseinrichtung (5), die Lichtimpulse (2) über eine Optik (6) auf ein Objekt (1) sendet, einem optoelektronischen Sensor (4) mit einer vorgeschal teten Optik (7), der die vom Objekt (1) zurückgestreuten Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bilpunktelementen (9) bildpunktauflösend aufge baut und wahlfrei auslesbar ist und eine Integrationszeit bildpunktweise einstellbar ist, einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4), einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus entsprechenden Ladungen der Bildpunktelemente (9) des Sensors (4).
27. Vorrichtung nach Anspruch 26, worin an den Bildpunktele menten (9) des Sensors (4) zeilenoder spaltenweise abwech selnd eine kurze Integrationszeit AA bzw. T1 und eine lange<BR> Integrationszeit AB bzw. T2 eingestellt ist.
28. Vorrichtung nach Anspruch 26, worin an den Bildpunktele menten (9) des Sensors (4) abwechselnd kurze und lange Inte grationszeiten DA bzw. As oder T1 bzw. T2 eingestellt sind.
29. Vorrichtung nach einem der Ansprüche 26 bis 28, worin die Recheneinheit auf dem Sensor (4) angeordnet ist.
Description:
Beschreibung Verfahren und Vorrichtung zur Aufnahme eines dreidimensiona- len Abstandsbildes Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli- chen Objekten.

Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu- striellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensiona- len bildgebenden Systemes sind zusätzliche mechanische Scaneinrichtungen erforderlich. Dies führt zu einem relativ teuren elektronischen und mechanischen Aufwand, der den Ein- satz solcher dreidimensionalen Systeme auf wenige Spezialan- wendungen beschränkt.

Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou- pled Device) einsetzen, wobei für diese Halbeleiterkameras die Fernseh (TV)- Norm herangezogen wird. Somit lassen sich lediglich relativ lange Auslesezeiten erzielen.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel- les und kostengünstiges Verfahren zur Gewinnung eines dreidi- mensionalen Abstandsbildes für räumliche Objekte ohne aufwen- dige mechanische Einrichtungen bereitgestellt wird.

Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1,2 bzw. des Anspruches 23.

Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein- satz eines bildpunktauflösenden (pixelauflösenden) und wahl- frei auslesbaren optoelektronischen Sensors, dessen Integra- tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Lange vom Objekt zurückgestreut werden. Diese zurückgestreu- ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedli- chen Abstände unterschiedlicher Objektpunkte vom Sensor wer- den mit jeweiligen Orten korrespondierende zurückgestreute Lichtimpulse zu jeweils unterschiedlichen Zeiten am Sensor ankommen. Für eine Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrati- onszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Lange der ausgesandten und damit auch der Lange der reflektierten Lichtimpulse. Somit ist sichergestellt, daß am Ende der Integrationszeit ein einheitliches Abschneiden der zurückgestreuten Lichtimpulse am Sensor erfolgt. Die zeitverzögert eintreffenden Lichtimpulse je Bildpunktelement werden hinten abgeschnitten, so daß aufgrund der unterschied- lichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunterschiede umgesetzt werden können. Daraus läßt sich ein dreidimensionales Ab- standsbild errechnen.

Die Erfindung kann auch derart gestaltet sein, daß anstelle eines Lichtimpulses mit definierter Lange lediglich ein Lichtintensitätsanstieg mit steiler Flanke Verwendung findet, der entsprechend am Sensor aufgenommen und ausgewertet wird.

Dadurch wird das Meßergebnis unabhängig vom Verlauf der ab- fallenden Flanke des Lichtimpulses. Zum anderen kann der Ein- fluß eines Dunkelstromes, der beispielsweise durch die Be- triebswärme eines Sensorelementes erzeugt wird, sowie der An- teil des Umgebungslichtes (Störlicht) exakt für jeden Bild- punkt kompensiert werden. Durch insgesamt drei aufeinander-

folgende Messungen werden zunächst der Dunkelstrom und das Umgebungslicht erfaßt, danach werden in Zusammenhang mit ei- ner Belichtung die vom Objekt reflektierten und am Sensor empfangenen Lichtmengen in Form des Sensorsignalses inte- griert, was anschließend mit einer höheren Integrationszeit wiederholt wird. Daraus läßt sich durch entsprechende Inter- polation die Laufzeit des Lichtes für jeden Objektpunkt er- mitteln. Dies eröffnet die Verwendung von geringeren Licht- leistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.

In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit- versetzt danach mit ihrer vollständigen Lange aufgenommen.

Dies wird zur Normierung benutzt, so daß Unterschiede im Re- flexionsverhalten des Objektes erkannt und ausgeglichen wer- den können.

Weitere vorteilhafte Ausgestaltungen können den Unteransprü- chen entnommen werden.

Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex- trem kurze Bildaufnahmezeiten realisiert werden. Der verwen- dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich- nung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1 %). Die techni- sche Entwicklung schreitet bei den Integrationszeiten noch voran.

Im folgenden werden anhand von schematischen Figuren Ausfüh- rungsbeispiele beschrieben.

Figur 1 zeigt das Funktionsprinzip zur Erfassung eines drei- dimensionalen Abstandsbildes mit einem CMOS-Sensor, Figur 2 zeigt die schematische Darstellung einer zeitlichen Verschiebung zweier Lichtimpulse deren zugehörige Objektpunk- te einen unterschlichen Abstand zum CMOS-Sensor besitzen, re- lativ zu Integrationsfenstern, Figur 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi- täts-bzw. Grauwertbildern mit einem CMOS-Sensor, Figur 4 zeigt die schematische Darstellung der Fahrzeuginnen- raumüberwachung mit einem dreidimensionalen CMOS-Sensor.

Figur 5 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei das Signal der sendeseitigen Laserdiode und die empfangsseitigen Sensorsignale dargestellt sind, Figur 6 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei in Figur 6a der sendeseitige Betrieb einer Laserdiode und in Figur 6b die durch fortlaufende Integration am Sensor erzielten Sensorsignale dargestellt sind, Figur 7 zeigt in zeitlicher Korrelation die Zusammenhänge zwischen sendeseitiger Beleuchtung und empfangsseitiger De- tektion eines Laserimpulses, wobei die in der Figur 7 unten dargestellten Meßsignale in Verbindung mit einer kurzen Inte- grationszeit und einer sehr langen Integrationszeit darge- stellt werden, Figur 8 zeigt in zeitlicher Korrelation die sende-und emp- fangsseitige Darstellung eines Laserimpulses, wobei auf die Beleuchtungssteuerung des Sensors bezogen zwei unterschiedli- che kurze Integrationszeiten vorgesehen sind.

Es wird ein Verfahren zur seriellen oder gleichzeitigen Er- fassung bzw. Erzeugung eines Intensitäts-und eines dreidi- mensionalen Abstandsbildes räumlicher Objekt mit einem opto- elektronischen Sensor unter Kurzzeitbelichtung beschrieben.

Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS- Sensor eingesetzt. Dieser Sensor besitzt eine Lichtempfind- lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 10'auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein- stellbare Integrationszeit (Sample & Hold). Für die Messung der Ladungsmenge Q (t) bei Belichtung am einzelnen Bildpunkt.

Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa- rallele Erfassung von Intensitäts-und dreidimensionalen Bil- dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Wei- terhin benötigt der CMOS keine aufwendigen mechanischen Shut- ter und es müssen auch keine leistungsstarken Laserlichtquel- len für die Kurzzeitbelichtung eingesetzt werden.

Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra- nanlagen sowie der Navigation geeignet.

Die wesentlichen Funktionsmerkmale werden anhand von Figur 1 erläutert. Zunächst wird für die Beleuchtung der zu erfassen- den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei- se <100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Be- leuchtung, die nicht unbedingt zentral zur allgemeinen Detek-

tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring- lichtes denkbar. Die in Figur 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.

Eine erste Bildaufnahme A wird mit einer kurzen Integrations- <BR> <BR> <BR> zeit AA am CMOS-Sensor verbunden. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3 <BR> <BR> <BR> der Lange AL (< 100 nsec) werden an den zugehörigen Bildpunk- ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit AA A erfaßt. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrations- zeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf- zeit des Lichtes ergibt sich je nach Objektabstand R eine un- terschiedliche zeitliche Verschiebung r = 2R/Vc (Vc = Lichtgeschwindigkeit) zwischen ausgesandtem und am CMOS-Sensor detektierten Lich- timpuls. Die am Bildpunkt innerhalb der Integrationszeit AA gemessene Ladung QA wird dadurch vom Abstand R zwischen Sen- sor und Objektpunkt G abhängig. Siehe hierzu Figur 2. <BR> <BR> <BR> <BR> <BR> <BR> <P> QAOOIO * OR (A L- (2R/Vc-tD)) (1)<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> Io Intensität des ausgesandten Lichtimpulses<BR> <BR> <BR> <BR> <BR> OR Oberflächenreflexionskoeffizient am Objektpunkt G tD Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim- puls und Start des Integrationsfensters am CMOS-Sensor Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi- zienten OR wird abhängig von ihrem Abstand R eine unter- schiedliche Ladung QA am zugehörigen Bildpunkt des CMOS- Sensors gemessen. Damit werden kleine Laufzeitunterschiede

der Lichtimpulse in Ladungsänderungen QA transformiert, so daß eine integrierte Ladung für jeweils einen Objektpunkt G mit seinem jeweiligen Abstand R (,) stellvertretend ist. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä- chenreflexion.

Es wird daher zur Normierung des Abstandsbildes noch eine <BR> <BR> <BR> zweite Bildaufnahme QB durchgeführt, die nur von der Oberflä- chereflexion der Objekte der dreidimensionalen Szene abhängig ist.

Die Durchführung einer zweiten Bildaufnahme B mit langer In- tegrationszeit AB dient zur Normierung der Oberflächenrefle- xion der dreidimensionalen Szene, wobei im Prinzip das her- kömmliche Intensitäts-oder Grauwertbild verwendet wird.

Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei- <BR> <BR> <BR> <BR> ne Integrationszeit AB eingestellt, die sehr groß gegenüber<BR> <BR> <BR> <BR> <BR> der Länge eines Beleuchtungslichtimpulses ist ; AB » AL z. B.

1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtim- pulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene La- dung QB gibt sich zu °o7..A,.(2) Das erhaltene Bild ist nur von der Beleuchtungsintensität Io, dem Oberflächenreflektions-Koeffizienten OR des zugehörigen Objektpunktes, sowie der Lichtimpulslänge AL abhängig.

Die Erzeugung des zweidimensionalen Abstandsbildes QR ge- schieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. QA und QB QR (QA QB)/QB ()

Aus Gleichung (1) und (2) folgt mit td = 0 die Gleichung QR °o-2/(AJ(4) Dieser Wert kann nach Auslesen und Digitalisieren sowie zu- sätzlicher Skalierung für alle Bildpunkte direkt als Ab- standsbild QR ausgegeben werden. Ist die Triggerverzögerungs- zeit td ungleich 0, so addiert sich zu allen Punkten des Ab- standsbildes QR ein konstanter Offset =/(*A,)(5) RD = Abstandswert bei tD (Ladungsoffset) Die gleichzeitige Aufnahme von Intensitäts-und dreidimen- sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts-und Ab- standswerten. Hierzu wird eine Chiparchitektur und pixelbezo- gene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend der Figur 3 auf dem CMOS- Sensor die zurückgestreuten Lichtimpulse 3 der dreidimensio- <BR> <BR> <BR> <BR> nalen Szene gleichzeitig mit kurzer Integrationszeit AA < AL<BR> <BR> <BR> <BR> <BR> <BR> <BR> (für Pixel A) aufnehmen und mit langer Integrationszeit AB >><BR> <BR> <BR> <BR> <BR> <BR> <BR> AL (für Pixel B) erfassen. Durch eine auf dem Chip inte- grierte elektronische Schaltung kann dann direkt das zweidi- mensionale Abstandsbild &=(e.-e.)/e.<6) der zugeordneten Pixel A und B berechnet und ausgegeben wer- den.

Figur 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Weitere Varianten hierzu sind möglich. Die gleichzeitige Erfassung von Intensitäts- und dreidimensionalem Abstandsbild ist besonders für die Ana- lyse bewegter dreidimensionaler Szenen von Bedeutung, bei-

spielsweise die Erfassung von Personengestik oder die Objekt- verfolgung. Weitere besondere Kennzeichen der Erfindung sind : -Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen QA und QB abgezo- gen. Anschließend erfolgt die Berechnung des Abstandsbildes QR.

-Durch zeitliche Mittelung der Signale mehrerer Lichtim- pulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin- tensitäten erreicht werden.

-Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.

Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son- stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d. h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbaigs (smart Airbaig) von hoher sicherheitsrelevanter Be- deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor- derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes QR im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei

werden aus den Abstandswerten R in einem Raumwinkelelement Q die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeu- ginnenraum als Differenz zu den Abstandswerten bei unbesetz- tem Fahrzeuginneren bestimmmt (siehe hierzu Fig. 4).

Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie : -Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz- bild QRO) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt QRP auf einem Sitz. Dabei gilt für das Nettovolumen Vp der Sitz- belegung : wobei Ro die Abstandswerte ohne Person bzw. sonstigem Objekt und Rp die Abstandswerte mit Person bzw. sonstigem Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.

-Die adaptive Ermittlung der Sitzbelegung aus der Berech- nung der relativen Abstandsänderungen vor und nach dem Ein- steigen einer Person ins Fahrzeug kann durchgeführt werden.

Durch Anwendung regressiver und stochiastischer Auswertever- fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.

-Die Größenbestimmung der erfaßten Objekte und globale Un- terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich.

-Räumliche Zuordnung von besetzten Volumenanteilen ist mög- lich.

-Bestimmung der räumlichen Extrempositionen (x, y, z) des be- setzten Volumens im Innenraum für die Steuerung der Airbaig Auslösung kann bestimmt werden.

-Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Differenzbil- dung. Erkennuung von Personen und Gestik aus der Bewegungsa- nalyse.

Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu- ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen.

Die Auswertezeiten können für die dreidimensionale Bildauf- nahme und volumetrische Auswertung unter 10 ms liegen.

Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage.

Dabei wird für die dreidimensionale Bildaufnahme mit LED- Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Ob- jekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme QA ZU 50 ns und für die Bildaufnahme QB zu 0,5 jj. s, gewählt. Die zu erfassende Szenendynamik im Fahr- zeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit <15cm (entsprechender Laufzeitun- terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.

Mit diesen Anforderungen wird am CMOS Sensor eine Intensi- tätsdynamik von (10 x 200 =) 2000 : 1 erforderlich. Die digi- tale Erfassung des dreidimensionalen Abstandsbildes QR wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50 x 50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 104 Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands- bild von maximal 5 ms führen. Die Berechnung der Differenzvo- lumina aus den 2500 Abstandswerten ist mit einem schnellen

Prozessor, wie beispielsweise einem Pentium mit 200 Mhz in weiteren 5 ms ohne Schwierigkeit ausführbar.

In Figur 4 wird ein Schema für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkte- ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions- bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe- setztem Fahrzeug bestimmt. Das Nettovolumen Vp einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7).

Das bisher beschriebene Verfahren zur Aufnahme eines Ab- standsbildes beruht auf einem Differenzverfahren, wobei die Laufzeit TO =UPIUgeS*A beträgt, wobei : To = Lichtlaufzeit, AA = Integrationszeit, <BR> <BR> <BR> <BR> UgeS = Meßsignal bei An minus Dunkelstromanteil bei AB,<BR> <BR> <BR> <BR> <BR> <BR> <BR> Up = Uges minus (Meßsignalanteil bei AA minus Dunkelstroman- teil beiA).

Die weitere hauptsächliche Lösung der Erfindung, die in Fi- gur 8 dargestellt wird, wertet die aufgenommenen Meßsignale am Sensor mittels eines Interpolationsverfahrens aus. Dabei ergibt sich die Laufzeit des Lichtes von der Lichtquelle über das Objekt bis zum Sensor durch den Schnittpunkt der Kurve des Meßsignales in Figur 8, geschnitten mit der Kurve des Dunkelstromanteiles. Für die Lichtlaufzeit gilt To = 2R/Vc, woraus sich der Abstandswert R ergibt.

Die bei zahlreichen industriellen Anwendungen der Bildverar- beitung notwendige dreidimensionale Bilddatenerfassung ist insbesondere für die automatische Überwachung von Räumen, beispielsweise Autoinnenraum, notwendig. An die Genauigkeit des Entfernungsbildes/Abstandsbildes werden nicht allzu. hohe Anforderungen gestellt. Entfernungsbilder mit etwa 1000

Bildlpunkten wären für eine Raumüberwachung in den meisten Fällen schon ausreichend. Übliche Triangulationsverfahren scheiden dabei aus Kostengründen, sowie wegen der großen not- wendigen Meßbasis, aus.

Sowohl die Beleuchtungsart entsprechend Figur 7, als auch die Beleuchtungsart entsprechend Figur 8 lassen eine schnelle und kostengünstige Aufnahme eines dreidimensionalen Abstandsbil- des verwirklichen. Das Verfahren, bei dem über die Interpola- tion die Laufzeit des Lichtes, die zur Auswertung notwendig ist, für jeden Bildelementpunkt des Sensors 4 erzielt wird, ist beispielhaft in Figur 8 dargestellt. Hierin wird anstatt eines Lichtimpulses mit definierter Lange nur ein Lichtinten- sitätsanstieg mit steiler Flanke ausgewertet. Der am Sensor empfangene vom Objekt reflektierte Laserpuls wird durch zwei unterschiedliche Integrationszeiten abgeschnitten. Dadurch wird zum einen das Meßsignal unabhängig vom Verlauf der ab- fallenden Flanke des Lichtimpulses und zum anderen kann der Einfluß des Dunkelstromes, der beispielsweise durch die Be- triebswärme eines Sensors entsteht, und des Umgebungslichtes exakt für jeden Bildpunkt kompensiert werden.

Figur 5 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor. In dem Zeit t/Sensorspannung U-Diagramm ist zum einen die sendeseitig beleuchtende Laserdiode bzw. deren rechteckförmig ausgebildeter Lichtimpuls dargestellt. Darun- ter sind die empfangsseitig aufgenommenen Meßsignale darge- stellt. Die durchgezogene Linie, die vom Ursprung des Koordi- natensystems zu der Spannung Ud führt, ist die erste durch- geführte Messung und beinhaltet einen Dunkelstromanteil plus einen Fremdlichtanteil. Ud wird zur Integrationszeit T2, die größer als eine andere Integrationszeit T ist, aufgenommen.

Im Anschluß daran wird das Objekt 1 mit der Laserdiode be- leuchtet, woraufhin zunächst in den einzelnen Bildpunkten nur die Dunkelströme verbunden mit dem Fremdlichtanteil inte- griert werden. Wenn aufgrund der Lichtlaufzeit To zusätzli- ches Licht vom Objektpunkt G zurückgestreut wird, so steigt

das Meßsignal vom Zeitpunkt To entsprechend der Helligkeit des jeweiligen Bildpunktes stärker an. Nach einer bestimmten Integrationszeit T wird dann die Spannung U, für alle Bild- punkte ausgelesen und abgespeichert. Der gleiche Vorgang wie- derholt sich nun mit der bereits aus der ersten Dunkelstrom- messung bekannten Integrationszeit T2. Tl beträgt beispiels- weise 30 ns und T2 beträgt beispielsweise 60 ns. An den Stel- len, an denen das Meßsignal die Zeiten T, bzw. T2 schneidet, was gleichbedeutend ist mit einem Abschneiden des empfangenen Lichtimpulses, ergibt sich der Punkt Ul bzw. der Punkt U2.

Es gilt die Beziehung AU=U2-u, l Die Lichtlaufzeit To er- rechnet sich nach der Formel die in Figur 5 dargestellt ist.

Verlängert man eine Gerade durch die Punkte U2 und U,, so schneidet diese Gerade nach unten hin die Dunkelstrom dar- stellende Gerade zwischen dem Ursprung des Koordinatensystems und der Spannung UD. Am Schnittpunkt kann die Lichtlaufzeit To abgelesen werden. Sämtliche Werte für U und U2 bzw. AU werden ebenfalls für alle Bildpunkte ausgelesen und gespei- chert. Aus den für jeden Bildpunkt abgespeicherten Spannungen <BR> <BR> <BR> UD, U1, U2 und AU in Verbindung mit den vorgegebenen Integra- tionszeiten T, und T2 läßt sich eindeutig und exakt für jeden Bildpunkt die Laufzeit To berechnen, auch wenn relativ hohe Dunkelstromanteile UD vorliegen. Dabei gilt : To = Ui-AT-AU-Ti/ (Uo-AT/T2-AU).

Dies eröffnet die Verwendung von geringeren Lichtleistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.

Eine vorteilhafte Ausgestaltung sieht vor, daß zur Verringe- rung der aus Kostengründen meist kritischen Laserleistung ei- ne mehrfache Wiederholung des oben beschriebenen Vorgangs in hintereinander geschieht, wobei sich die ergebenden Werte für Ulf UDI und AU erst am Ende der Mehrfachbelichtung von CMOS-Sensoren auslesen lassen und digitalisiert werden.. Siehe hierzu die Figuren 6a und 6b. Eine analoge Mittelwertbildung

für die Mehrfachbelichtung auf dem CMOS-Sensor vermeidet auch die relativ langen Auslesezeiten bei einer späteren digitalen Mittelung. Eine adaptive Einstellung auf diejeweilige Reflek- tivität des Objektes im Hinblick auf die Optimierung des Si- gnal-/Rauschverhältnisses der Meßwerte wird, dadurch erzielt, daß in wenigen Testbildern die Zahl der Belichtungen solange gesteigert wird, bis sich in einer gewissen Menge von Bild- punkten des Gesamtbildes eine Sättigung der Werte n (U1+AU) einstellt ; mit n = Anzahl der Mehrfachbelichtungen.

Durch die beschriebenen Schritte wird ermöglicht, daß eine exakte Berechnung von der Lichtlaufzeit To bei vorliegendem Dunkelstrom und Umgebungslicht möglich ist, daß das Auslesen des Signales vom CMOS-Sensor erst nach der Mehrfachbelichtung geschieht, woraufhin sich die Digitalisierung anschließt und daß eine adaptive Einstellung der Mehrfachbelichtung entspre chend der Objektreflektivität vorgenommen werden kann. Durch diese Maßnahmen kann eine bisher notwendige Laserleistung um den Faktor 10 bis 20 gesenkt werden bzw. die Genauigkeit er höht werden.

Das in dem Bildsensor verwendete Sensorprinzip ist ein inte grierendes Verfahren, beispielsweise auf der Basis einer n+-p-Photodiode. Diese Photodiode ist Bestandteil eines elektronischen Kurzzeitintegrators, der weiterhin einen Kon densator und mehrere Transistoren aufweist. Die Verschaltung geschieht derart, daß sich beispielsweise die Kapazität des Kondensators in Abhängigkeit von dem auf die Photodiode ein fallenden Licht entlädt. Dies wird über einen sog. Shutter- Transistor gesteuert. Im Anschluß daran wird beispielsweise das in dem Kondensator verbleibende Potential ausgelesen. Um eine synchronisierte Beleuchtung zu gewährleisten wird die Zeitsteuerung des elektronischen Kurzzeitintegrators ein sog.

Strobe-Signal zur Ansteuerung einer Lichtquelle erzeugen. Für jedes Bildpunktelement des Sensors 4 wird ein derartiger elektronischer Kurzzeitintegrator (elektronischer Shutter) verwendet. Anstelle der am Ende einer Messung im Kondensator

verbleibenden Potential kann auch das bereits abgeführte Po- tential als Meßwert herangezogen werden.

In Figur 6a sind mehrere hintereinander geschaltete sendesei- tige Laserimpulse dargestellt. In Figur 6b wird beispielhaft die Integrationszeit T, in Verbindung mit der jeweiligen Spannung U, und dem Dunkelstromanteil UD dargestellt. Glei- ches kann für T2, U2 und UD aufgetragen werden. Es ergibt sich für jede Belichtung bzw. Mehrfachbelichtung ein Wert für die Lichtlaufzeit To.

In der Gegenüberstellung der Figuren 7 und 8 ist zu erkennen, daß das Interpolationsverfahren entsprechend Figur 8 kürzere Beleuchtungszeiten aufweist. Die jeweils in der Mitte darge- stellten Shutter-Zeiten von beispielsweise 30ns und 60 ns in Figur 8 und 60 ns in Verbindung mit einer sehr langen La- serimpulszeit in Figur 7 sollen die Integrationszeiten am Sensor festlegen. In der Figur 7 ist im oberen Teil das zeit- liche Verhältnis zwischen der sendeseitigen Beleuchtung und dem empfangsseitigen Eintreffen des Laserimpulses darge- stellt. Die in den Figuren 5 bis 8 jeweils dargestellten Aus- führungsbeispiele weisen keine Triggerverzögerungszeit auf.

Dies bedeutet, daß empfangsseitig mit dem Beginn des Senso- rimpulses das Meßfenster geöffnet wird. Dies bedeutet für die Darstellung in Figur 7, daß der Kurzzeit-Shutter (60ns) den empfangenen Laserpuls, jeweils bezogen auf einen Objekt-bzw. <BR> <BR> <BR> <P>Bildelementpunkt, bei der Zeit AA abschneidet. Die Zeitdauer<BR> <BR> <BR> <BR> <BR> <BR> des Lichtimpulses ist sende-wie empfangsseitig AL. Es wird deutlich, das auf Grund von verschiedenen Lichtlaufzeiten der elektronische Kurzzeitintegrator am Sensor jeweils ein Poten- tial als Meßwert liefern wird, daß in Abhängigkeit von der <BR> <BR> <BR> Laufzeit ab dem Zeitpunkt To bis zum Ende von und AA aufin-<BR> <BR> <BR> <BR> <BR> <BR> tegriert wird. Die Integrationszeit AB wird im Falle der Fi- gur 7 zum Ausgleich von Reflektivitätsunterschieden am Objekt 1 verwendet. Dabei wird ein Dunkelstrom und Fremdlichtanteil ermittelt, der entsprechend vom Meßsignal abgezogen werden kann.

Die Figur 8 zeigt eine der Figur 7 entsprechende Darstellung, wobei der obere Teil identisch dem der Figur 7 ist. In der Mitte der Figur 8 werden zwei Kurzzeit-Shutterzeiten darge- stellt. Diese werden in ähnlicher Weise wie in Figur 7 zum Abschneiden der am Sensor 4 eintreffenden Laserimpulse ver- wendet. Somit ergeben sich eine kürzere Integrationszeit T, und eine längere Integrationszeit T2. Das Meßsignal weist in den Figuren 7 und 8 einen Dunkelstrom und Fremdlichtanteil auf. Das Meßsignal ergibt sich somit aus der Addition des Photostromanteils zu dem Dunkelstrom und Fremdlichtanteil.

Anders ausgedrückt kann der Photostromanteil ermittelt wer- den, indem vom Meßsignal der Dunkelstrom und Fremdlichtanteil angezogen wird. Die Lichtlaufzeit To ergibt sich an der Stel- le auf der Zeitachse an der das Meßsignal bei einem eingehen- den reflektierten Lichtimpuls von dem normalen Verlauf des Dunkelstrom-und Fremdlichtanteils abweist, weil der Photo- stromanteil nicht mehr Null ist. Die Auswertung, die die Lichtlaufzeit To ergibt, ist in Zusammenhang mit Figur 5 be- schrieben worden.

Zur deutlichen Reduzierung der Laserleistung ist vorgesehen, daß ein Meßobjekt seriell partiell beleuchtet wird. Beleuch- tung und Auswertung geschehen gleichzeitig. Somit wird ein Objekt 1 partiell seriell beleuchtet und jeweils ausgewertet, wobei jeweils einer von mehreren Lichtquellen 10 ein bestimm- ter Teil des Objektes 1 zugeordnet ist. Darüberhinaus kann die Anstiegszeit der Intensität einer Lichtquelle 10, bei- spielsweise eines Lasers, deutlich verkürzt werden, wie etwa auf 0,1 ns.

Figur 9 zeigt schematisch eine Anordnung von drei Lichtquel- len 10, die ein Objekt 1 jeweils in einem vorbestimmten Be- reich 11 beleuchten. Der Sensor 4 empfängt die den partiellen Bereichen 11 auf dem Objekt 1 entsprechenden reflektierten Lichtanteile und verarbeitet sie weiter. Diese Ausgestaltung ermöglicht die Begrenzung beispielsweise der Laserleistung

einer Beleuchtungseinheit mit einem Laser. Die serielle Be- leuchtung und Detektion ist kostengünstig realisierbar und durch bestimmte Normen vorgegebene maximale Laserleistungen werden problemlos unterschritten. Außerdem läßt sich beglei- tend dazu die Anstiegszeit der Laserintensität deutlich, bei- spielsweise auf 0,1 nsec, verkürzen.