Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING THE POSITION OF A FIRST IMAGE REGION IN A CORRESPONDENCE IMAGE, SOC AND CONTROL DEVICE, AND SYSTEM FOR CARRYING OUT THE METHOD, AND COMPUTER PROGRAM
Document Type and Number:
WIPO Patent Application WO/2021/008926
Kind Code:
A1
Abstract:
The invention relates to a method for determining a position (58) of a first image region (50) in a correspondence image (52), the first image region corresponding to at least one second image region (56) in the correspondence image (52). The method comprises at least the following method steps: • providing the first image region (50) comprising at least one reference position (60), • providing the correspondence image (52), • determining a plurality of signature values (64) for different image positions (62) in the first image region (50), • assigning relative offsets (60) of a plurality of image positions (62) in the first image region (50) to respectively determined signature values (64), • determining a plurality of correspondence signature values (78) to different image positions (80) in the correspondence image (52), • determining relative offsets (66) relative to determined correspondence signature values (78) with use of the assignment, and • calculating target positions in the correspondence image (52) by summing the relative offset (66) and corresponding image position (80), • incrementally assigning a weighting value (74) to a calculated target position, thus forming an incremental weighting value (86), • determining the position (58) of the first image region (50) in the correspondence image (52) by finding an extremum (90) in the incremental weighting values (86). The invention also relates to a computer program, a computer-readable storage medium, and a control device, a system on a chip (SoC) (300), and a system (200).

Inventors:
SIMON STEPHAN (DE)
Application Number:
PCT/EP2020/069050
Publication Date:
January 21, 2021
Filing Date:
July 07, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G06V10/36; G06V10/44
Domestic Patent References:
WO2005048195A22005-05-26
Foreign References:
DE102010006522A12010-09-30
DE10356090B32005-04-21
DE10351778A12005-06-09
DE102018201692A12019-08-08
Download PDF:
Claims:
Ansprüche

1. Verfahren zum Ermitteln einer Position (58) eines ersten Bildbereichs (50) in einem Korrespondenz-Bild (52), wobei der erste Bildbereich (50) zu zumin dest einem zweiten Bildbereich (56) in dem Korrespondenz-Bild (52) korres pondiert, umfassend zumindest die folgenden Verfahrensschritte:

• Bereitstellen des ersten Bildbereichs (50) umfassend zumindest eine Referenzposition (60),

• Bereitstellen des Korrespondenz-Bildes (52),

• Ermitteln einer Mehrzahl von Signaturwerten s, (64) zu verschiedenen Bildpositionen (c,,g) (62) im ersten Bildbereich (50), wobei ein Signa turwert Si (64) eine Umgebung einer Bildposition (c,,g) (62) im ersten Bildbereich (50) charakterisiert und wobei eine Bildposition (c,,g) (62) einen relativen Versatz (Dc,,Dgί) = (cG,gG) - (Cί,g) (66) bezüglich der Re ferenzposition (xr,Yr) (60) aufweist,

• Zuordnen von relativen Versätzen (Dc,,Dg,) (66) einer Mehrzahl von Bildpositionen (c,,g) (62) im ersten Bildbereich (50) zu jeweilig ermit telten Signaturwerten s, (64),

• Ermitteln einer Mehrzahl von Korrespondenz-Signaturwerten Sj (78) zu verschiedenen Bildpositionen (uj,Vj) (80) im Korrespondenz-Bild (52), wobei ein Korrespondenz-Signaturwert Sj (78) eine Umgebung einer Bildposition (uj,Vj) (80) im Korrespondenz-Bild (52) charakteri siert,

• Ermitteln von relativen Versätzen (AUj.AVj) (66) zu ermittelten Korres pondenz-Signaturwerten Sj (78) unter Verwendung der Zuordnung und

• Berechnen von Zielpositionen (uo,vo) = (uj,Vj) + (AUj.AVj) in dem Kor respondenz-Bild (52) durch Summation des relativen Versatzes (AUj.AVj) (66) und jeweiliger Bildposition (uj,Vj) (80),

• inkrementeiles Zuordnen eines Wichtungswerts w (74) zu einer be rechneten Zielposition, wobei ein inkrementeller Wichtungswert w‘ (86) gebildet wird,

• Ermitteln der Position (uo,vo)* (58) des ersten Bildbereichs (50) in dem Korrespondenz-Bild (52) durch Auffinden eines Extremums (90) in den inkrementeilen Wichtungswerten w‘ (86).

2. Verfahren nach Anspruch 1, wobei die Mehrzahl von Signaturwerten s, (64) zu verschiedenen Bildpositionen (xj,yj) (62) im ersten Bildbereich (50) in Form einer Matrix oder Tabelle ermittelt wird und/oder wobei die Mehrzahl von Kor respondenz-Signaturwerten Sj (78) zu verschiedenen Bildpositionen (uj,Vj) (80) des Korrespondenz-Bildes (52) in Form einer Matrix oder Tabelle ermit telt wird.

3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die relativen Versätze (Dc,,Dgί) (66) einer Mehrzahl von Bildpositionen (xi.y,) (62) im ersten Bildbereich (50) zu jeweilig ermittelten Signaturwerten s, (64) in einer Zuord nungsvorschrift (70), insbesondere in einer Lookup-Tabelle, zugeordnet wer den.

4. Verfahren nach Anspruch 3, wobei ein jeweiliger Signaturwert s, (64) eine Adresse (72) der Zuordnungsvorschrift (70), insbesondere der Lookup-Ta belle, festgelegt.

5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Wichtungs werte w (74) zu Zielpositionen im Korrespondenz-Bild (52) in Form einer Mat rix oder Tabelle zugeordnet werden.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Korrespon denz-Signaturwert sj (78) zu einer Bildposition (uj,Vj) (80) im Korrespondenz- Bild (52) analog gebildet wird, insbesondere nach derselben Vorschrift gebil det wird, wie ein Signaturwert s, (64) zu einer Bildposition (xi,yi) (62) im ersten Bildbereich (50).

7. Verfahren nach einem der vorhergehenden Ansprüche, wobei der zugeord nete Wichtungswert w (74) abhängig vom relativen Versatz (Auj.Avj) (66) ge wählt wird, insbesondere mit zunehmendem relativen Versatz (66) zunimmt oder abnimmt.

8. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Position (uo,vo)* (58) des ersten Bildbereichs (50) in dem Korrespondenz-Bild (52) er mittelt wird, wenn der der Position (58) zugeordnete inkrementeile Wichtungs wert w‘ (86) einen relativen oder absoluten Schwellwert erreicht.

9. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein relativer Versatz (AUj.AVj) (66) zu ermittelten Korrespondenz-Signaturwerten Sj (78) un ter Verwendung der Zuordnung und einer Skalierungsgröße berechnet wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, wobei Mehrdeutig keiten in der Mehrzahl der ermittelten Signaturwerte s, (64) durch Löschen und/oder durch Zusammenfassen der mehrdeutigen Signaturwerte s, (64) be hoben werden.

11. Verfahren nach einem der vorhergehenden Ansprüche, wobei der erste Bild bereich (50) und/oder das Korrespondenz-Bild (52) unter Verwendung zumin dest einer bildgebenden Sensorvorrichtung (12a) erfasst und bereitgestellt wird.

12. SoC (System-on-Chip), welcher dazu eingerichtet ist, ein Verfahren nach ei nem der Ansprüche 1 bis 11 durchzuführen, wobei der SoC (300) dazu ein gerichtet ist, zumindest einen ersten Bildbereich (50) und ein Korrespondenz- Bild (52) zu erfassen und abhängig von der ermittelten Position (uo,vo)* (58) des ersten Bildbereichs (50) in dem Korrespondenz-Bild (52) ein Ausgangs signal (302) zu erzeugen.

13. Steuervorrichtung, eingerichtet zur Durchführung eines Verfahrens nach ei nem der Ansprüche 1 bis 11.

14. System umfassend zumindest eine Steuervorrichtung nach Anspruch 13 und mindestens eine bildgebende Sensorvorrichtung (12a), welche dazu einge richtet ist, einen ersten Bildbereich (50) und ein Korrespondenz-Bild (52) zu erfassen und bereitzustellen.

15. Computerprogramm umfassend Befehle, welche bei ihrer Ausführung mittels einer Prozessorvorrichtung einer Steuervorrichtung die Steuervorrichtung veranlassen, ein Verfahren nach einem der vorherigen Ansprüche 1 bis 11 auszuführen.

16. Computerlesbares Speichermedium, auf dem ein Computerprogramm nach Anspruch 15 hinterlegt ist.

Description:
Beschreibung

Titel

Verfahren zum Ermitteln einer Position eines ersten Bildbereichs in einem Korres pondenz-Bild, SoC und Steuervorrichtung und System zur Durchführung des Ver- fahrens, sowie Computerprogramm

Die Erfindung betrifft ein Verfahren zum Ermitteln eines ersten Bildbereichs in ei nem Korrespondenz-Bild. Ferner betrifft die Erfindung ein System-on-a-Chip (SoC) und eine Steuervorrichtung zur Durchführung des Verfahrens. Die Erfindung be trifft auch ein System, ein computerlesbares Speichermedium und ein Computer programm, die jeweils dazu eingerichtet sind, die vorgeschlagenen Verfahren aus zuführen.

Stand der Technik

Aus dem Stand der Technik sind unterschiedliche Möglichkeiten bekannt, eine Po sition eines ersten Bildbereichs in einem Korrespondenz-Bild zu ermitteln, bei spielsweise sogenanntes„Block-Matching“. Dabei wird der erste Bildbereich mit allen in Frage kommenden gleich großen zweiten Bildbereichen aus dem Korres pondenz-Bild verglichen. Bei jedem dieser Vergleiche werden alle Pixelpaare ver glichen. Jeder Vergleich bewertet dabei eine Ähnlichkeit bzw. einen Unterschied der jeweils betrachteten Pixel, beispielsweise eine absolute Differenz von Grau werten. Durch Aufsummieren der absoluten Differenzen ergibt sich eine Bewer tungszahl für jeden in Betracht kommenden zweiten Bildbereich, wobei die Summe umso größer ist, je größer der Unterschied zwischen den Bildbereichen ist. Block- Matching ist sehr rechenaufwändig, denn der Rechenaufwand wächst sowohl mit den Dimensionen des ersten Bildbereichs als auch mit den Dimensionen des Kor respondenz-Bildes. Ferner ist Block-Matching nicht sehr zuverlässig, da das Er gebnis nicht sehr diskriminativ ist, d.h. es ist kein klares Extremum und damit keine eindeutige Position ermittelbar. Eine weitere Möglichkeit besteht im sogenannten„Merkmalsvergleich“, d.h. dem Vergleich mindestens eines Merkmals, das aus dem ersten Bildbereich extrahiert wurde, mit Merkmalen, die aus dem Korrespondenz-Bild extrahiert wurden. Dabei werden als Signatur bezeichnete Folgen von Binärwerten erzeugt, die entspre chende Bildbereiche charakterisieren. Dem Ansatz liegt dabei die Annahme zu Grunde, dass eine ähnliche Signatur von Bildbereichen auf ähnliche Bildbereiche schließen lässt. Der Vergleich der Signaturen erfolgt dann durch Bit-weisen Ver gleich der ersten Signatur mit der zweiten Signatur (XOR-Vergleich) und Zählen der Bits, die sich unterscheiden. Je geringer das Ergebnis, umso höher die Über einstimmung der Bildbereiche. Allerdings kann auch der Vergleich der Signaturen aufwändig sein, da pro möglicher Position im Korrespondenz-Bild ein Vergleich der Signaturen erforderlich ist, wobei jeweils zwei Signaturen (beispielsweise von 256 Bit Länge) bit-weise verglichen werden müssen. Ferner kann auch hier das Problem bestehen, dass das Ergebnis des Merkmalsvergleichs nicht ausreichend diskriminativ ist.

Die Schrift DE 103 51 778 Al offenbart ein Verfahren zur Verarbeitung von Bild daten bewegter Szenarien. Dazu werden in einzelnen zeitlich aufeinander folgen den Bilddatensätzen miteinander korrespondierende Bildpunkte bzw. Bildbereiche identifiziert.

Offenbarung der Erfindung

Die Erfindung betrifft in einem ersten Aspekt ein Verfahren zum Ermitteln einer Position eines ersten Bildbereichs in einem Korrespondenz-Bild, wobei der erste Bildbereich zu zumindest einem zweiten Bildbereich in dem Korrespondenz-Bild korrespondiert. Das Verfahren umfasst zumindest die folgenden Verfahrens schritte:

• Bereitstellen des ersten Bildbereichs umfassend zumindest eine Referenzpo sition,

• Bereitstellen des Korrespondenz-Bildes,

• Ermitteln einer Mehrzahl von Signaturwerten s, zu verschiedenen Bildpositio nen (c ί ,g,) im ersten Bildbereich, wobei ein Signaturwert s, eine Umgebung einer Bildposition (xi,y) im ersten Bildbereich charakterisiert und wobei eine Bildposition (c,,g) einen relativen Versatz (Dc,,Dg) = (x r ,Y r ) - (xi,y) bezüglich der Referenzposition (c G ,g G ) aufweist, • Zuordnen von relativen Versätzen (Dc,,Dg) einer Mehrzahl von Bildpositionen (xi,yi) im ersten Bildbereich zu jeweilig ermittelten Signaturwerten s,,

• Ermitteln einer Mehrzahl von Korrespondenz-Signaturwerten S j zu verschie denen Bildpositionen (uj,Vj) im Korrespondenz-Bild, wobei ein Korrespon denz-Signaturwert Sj eine Umgebung einer Bildposition (uj,Vj) im Korrespon denz-Bild charakterisiert,

• Ermitteln von relativen Versätzen (AU j .AV j ) zu ermittelten Korrespondenz-Sig naturwerten S j unter Verwendung der Zuordnung und

• Berechnen von Zielpositionen (uo,vo) = (uj,Vj) + (AUj.AVj) in dem Korrespon denz-Bild durch Summation des relativen Versatzes (AU j .AV j ) und jeweiliger Bildposition (uj,Vj),

• inkrementeiles Zuordnen eines Wichtungswerts w zu einer berechneten Ziel position, wobei ein inkrementeller Wichtungswert w‘ gebildet wird,

• Ermitteln der Position (uo,vo)* des ersten Bildbereichs in dem Korrespondenz- Bild durch Auffinden eines Extremums in den inkrementeilen Wichtungswer ten w‘. Dabei entspricht die zu ermittelnde Position insbesondere der zu dem extremalen inkrementeilen Wichtungswert w‘ zugehörigen Zielposition.

Die Erfindung löst das Problem des Auffindens einer Position eines ersten Bildbe reichs in einem Korrespondenz-Bild. Diese Aufgabe tritt in den Bereichen der Bild verarbeitung, der Bildanalyse, des maschinellen Sehens, der Computer Vision, usw. häufig auf. Beispielsweise kann das erfindungsgemäße Verfahren für fol gende Anwendungen verwendet werden:

Indirektes Messen von Abständen, wobei mittels eines handgehaltenen Laser entfernungsmessgeräts nacheinander Distanzen zu zumindest zwei entfernten Punkten gemessen werden. Das Laserentfernungsmessgeräts ermittelt aus den beiden Entfernungen und jeweils synchron dazu aufgezeichneten Kame rabildern indirekt die Entfernung zwischen den beiden Punkten und gibt diese aus. Dabei ist es nach erfindungsgemäßem Verfahren möglich, den beim An visieren des ersten Messpunkts erfassten ersten Bildbereich im beim Anvisie ren des zweiten Messpunkts erfassten Korrespondenz-Bild wiederzufinden und dessen Position zu bestimmen. Hierdurch wird ermöglicht, einen durch Translation und/oder Rotation des handgehaltenen Laserentfernungsmessge räts hervorgerufenen Fehler zu kompensieren, sodass ein Stativ überflüssig wird. Einem Fachmann ist zu diesem Messprinzip die DE 10 2018 201 692 Al bekannt. Verfolgen eines stationären Objekts, während sich eine Kamera an dem Objekt vorbei bewegt. Beispielsweise kann derart ein Verkehrszeichen im Straßen verkehr beim Vorbeifahren verfolgt werden. Diese Möglichkeit wird genutzt, um mehrere Beobachtungen desselben Verkehrszeichens zu erhalten, die unter schiedliche Größe bzw. Auflösung besitzen, und somit ein zuverlässigeres Le sen des Verkehrszeichens zu ermöglichen.

Verfolgen eines bewegten Objekts mittels einer Kamera, beispielsweise eines Fußgängers in einer Sequenz von Kamerabildern einer bewegten Kamera in einem Fahrzeug oder im Rahmen von Überwachungskameras.

Sukzessive Auswertung von Bildverschiebungen im Rahmen der Navigation von autonomen Robotern, die bei ihrer Fahrt relativ zu einem Untergrund (bei spielsweise Beton oder Rasen) Bilder mittels einer zum Boden gerichteten Ka mera von diesem Untergrund aufnehmen, wobei eine präzise Lokalisation des autonomen Roboters ermöglicht wird.

Das Verfahren kann in einer Ausführungsform ausschließlich in Hardware, insbe sondere in Form eines System-on-a-Chip (SoC) implementiert sein. In einer alter nativen Ausführungsform kann das Verfahren auch in Form von Software oder in einer Mischung aus Software und Hardware realisiert sein. Insbesondere kann das Verfahren ein computerimplementiertes Verfahren darstellen, das mittels einer Steuervorrichtung, beispielsweise einer Prozessorvorrichtung von einer Compu tervorrichtung, durchgeführt wird. Zur Durchführung des Verfahrens kann die Steu ervorrichtung ferner zumindest eine Speichervorrichtung aufweisen, in der das Verfahren als maschinenlesbares Computerprogramm hinterlegt ist.

Unter„bereitstellen“ ist insbesondere zu verstehen, dass einer das Verfahren durchführenden Vorrichtung, insbesondere einer Steuervorrichtung oder einem SoC, die entsprechende Information - hier zumindest ein erster Bildbereich und ein Korrespondenz-Bild - zur weiteren Verarbeitung übermittelt wird. In einer Aus führungsform des Verfahrens kann die entsprechende Information durch Einlesen von entsprechenden Daten aus einer Datei, beispielsweise durch Einlesen von auf einem Datenserver hinterlegten Daten, erfolgen. In einer wiederum alternativen oder zusätzlichen Ausführungsform des Verfahrens können ein erster Bildbereich und/oder ein Korrespondenz-Bild unter Verwendung zumindest einer bildgeben den Sensorvorrichtung erfasst und bereitgestellt werden. Insbesondere ist eine Bereitstellung unter Verwendung einer optischen Kamera, beispielsweise einer vi suellen Kamera und/oder einer Wärmebildkamera, oder unter Verwendung eines anderweitigen bildgebenden Sensors denkbar - beispielsweise unter Verwendung eines Radar-Sensors, NMR-Sensors, 3D-Time-of-Flight-Sensors oder derglei chen. Ferner ist denkbar, dass ein erster Bildbereich unter Verwendung einer ers ten bildgebenden Sensorvorrichtung, insbesondere einer ersten Kamera, und ein Korrespondenz-Bild unter Verwendung einer zweiten bildgebenden Sensorvorrich tung, insbesondere einer zweiten Kamera bereitgestellt wird. Insbesondere sind erste bildgebende Sensorvorrichtung und zweite bildgebende Sensorvorrichtung vom gleichen Typ (beispielsweise visuelle Kameras). Zwischen den beiden Sen sorvorrichtungen kann ein definierter (insbesondere fester) geometrischer Bezug bestehen. Alternativ oder zusätzlich ist denkbar, dass sowohl erster Bildbereich als auch Korrespondenz-Bild unter Verwendung derselben Sensorvorrichtung be reitgestellt werden. Beispielsweise ist eine Erfassung und Bereitstellung durch die selbe Sensorvorrichtung zu unterschiedlichen Zeitpunkten und/oder aus unter schiedlichen Perspektiven denkbar.

Die Erfindung betrifft das effiziente Auffinden eines ersten Bildbereichs, insbeson dere eines ersten Bildbereichs aus einem Ausgangsbild, in einem Korrespondenz- Bild. Das Korrespondenz-Bild kann dabei ein weiteres Bild oder auch das Aus gangsbild selbst darstellen. Sofern der erste Bildbereich zu zumindest einem zwei ten Bildbereich in dem Korrespondenz-Bild korrespondiert, lässt sich der erste Bildbereich auffinden. Das Auffinden umfasst das Ermitteln einer Position des ers ten Bildbereichs in dem Korrespondenz-Bild. Unter„Ermitteln einer Position“ ist dabei zu verstehen, dass der erste Bildbereich durch Angabe einer Position - bei spielsweise in Form von Pixelkoordinaten - eindeutig in dem Korrespondenz-Bild auffindbar ist. Das Verfahren wird auch als„Korrespondenzfindung“ bezeichnet. Der erste Bildbereich kann dabei deutlich kleiner sein als das Korrespondenz-Bild. So ist denkbar, die Position eines beispielsweise 41 *51 Pixel umfassenden ersten Bildbereichs in einem 2560x1440 Pixel umfassenden Korrespondenz-Bild zu er mitteln. Insbesondere ist es auch möglich, die Position eines einzelnen Bildpunkts (Pixel) in dem Korrespondenz-Bild zu ermitteln, wobei für die Durchführung des erfindungsgemäßen Verfahrens dennoch ein erster Bildbereich verwendet wird, wobei der erste Bildbereich eine, insbesondere kleine, Umgebung des Bildpunkts beinhaltet. Der erste Bildbereich und das Korrespondenz-Bild umfassen eine Mehrzahl an Bildpositionen, die mit (xi.y,) im ersten Bildbereich und mit (uj,Vj) im Korrespondenz- Bild bezeichnet werden können. Die Bildpositionen können dabei insbesondere durch eine Pixel-Auflösung des ersten Bildbereichs bzw. des Korrespondenz-Bilds definiert sein. Alternativ sind auch anderweitige signaltechnische Untergliederun gen des ersten Bildbereichs bzw. des Korrespondenz-Bilds in unterscheidbare Bildpositionen denkbar. Insbesondere ist möglich, dass auf eine signaltechnsiche Untergliederung des ersten Bildbereichs bzw. des Korrespondenz-Bilds eine Transformation (beispielsweise eine Skalierung, Drehung, sog. Warping (insbe sondere Bildentzerrung zur Objektivkorrektur) oder dergleichen) angewandt wird. Ferner kann sich eine signaltechnische Untergliederung bereits durch die Sensor vorrichtung ergeben, beispielsweise im Falle eines Detektions-Arrays wie im Falle eines ,Phased Array Radars“.

Der erste Bildbereich umfasst zumindest eine Referenzposition (beispielsweise bezeichenbar als (x r ,y r )), auf die sich die Ermittlung der Position des ersten Bild bereichs im Korrespondenz-Bild bezieht. Wenn beispielsweise ermittelt wird, dass der erste Bildbereich sich im Referenz-Bild an Position (xo,yo) findet, so findet sich tatsächlich die Referenzposition des ersten Bildbereichs an dieser Stelle. Die Re ferenzposition kann prinzipiell beliebig gewählt sein. Insbesondere ist die Refe renzposition als ein Pixel des ersten Bildbereichs gewählt. Beispielsweise kann die Referenzposition als die geometrische Mitte des ersten Bildbereichs gewählt sein. Alternativ kann die Referenzposition auch als ein Eckpunkt oder ein anderweitig markanter Punkt des ersten Bildbereichs gewählt sein - beispielsweise abhängig von der Geometrie des ersten Bildbereichs. Es ist ebenfalls denkbar, dass die Re ferenzposition nicht an einer ganzzahligen Pixelposition liegt, da diese prinzipiell auch an einer beliebigen (beispielsweise berechneten) Position zwischen den Pi- xeln liegen kann. Es sei angemerkt, dass sich eine beliebige Bildposition (xi,y) im ersten Bildbereich bezüglich der Referenzposition durch einen relativen Versatz (Dc,,Dg ί ) beschreiben lässt. Der Ausdruck (Dc,,Dg,) schließt dabei die Beschreibung des Versatzes in unterschiedlichen Koordinatensystemen, beispielsweise in karte sischen und nicht-kartesischen (z.B. Polarkoordinaten) Koordinatensystemen, ausdrücklich ein. Ferner kann sich auch die Bildung einer Signatur einer Bildposi tion in dem ersten Bildbereich auf die Referenzposition beziehen (Erläuterung siehe unten). In einer Ausführungsform des Verfahrens kann vorgesehen sein, den ersten Bild bereich und/oder das Korrespondenz-Bild nach deren Bereitstellung zunächst an zupassen, insbesondere zu filtern, zu glätten, (linear oder nichtlinear) in Grauwert bilder zu transformieren, zu skalieren, zu drehen, zu verzerren, eine Auflösung zu verändern oder dergleichen.

Erfindungsgemäß werden in einem Verfahrensschritt eine Mehrzahl von Signatur werten Si zu verschiedenen Bildpositionen (c,,g) im ersten Bildbereich ermittelt. Ein Signaturwert (auch als Signatur bekannt) bezeichnet dabei insbesondere ein aus Daten eines bereitgestellten Bildes (oder Bildbereichs) für eine (gewählte oder de finierte) Bildposition (c,,g) ermitteltes Merkmal, das eine Umgebung der zugehöri gen Bildposition (c,,g) charakterisiert. Somit weisen zu Bildpositionen ermittelte Signaturwerte eine, insbesondere feste, Zuordnung zu der entsprechenden Bild position, insbesondere zu Koordinaten dieser Bildposition, auf. Die Signaturwerte charakterisieren die jeweils zugeordneten Bildpositionen durch eine rechnerische Umgebungsbeschreibung der zugeordneten Bildposition. Bevorzugt werden die Signaturwerte jeweils durch eine oder mehrere einfache Rechenoperationen aus den benachbarten Dateninhalten (insbesondere Bildinformationen bzw. Bilddaten) der zugeordneten Bildposition ermittelt, beispielsweise durch mehrfache, insbe sondere gewichtete, Differenzbildung und/oder Summation mehrerer Grauwerte unmittelbar benachbarter oder in der Nähe liegender Bildpositionen. Bei gewichte ter Differenzbildung können die Gewichte von dem relativen Versatz abhängen. Die Bildung von derartigen Signaturen, insbesondere unterschiedliche Verfahren zur Erzeugung oder Ermittlung derartiger Signaturwerte, ist dem Fachmann hinrei chend bekannt, beispielsweise unter Abkürzungen wie„Scale-invariant feature transform (SI FT)“,„Speeded Up Robust Features (SU RF)“,„Binary Robust Inde pendent Elementary Features (BRI EF)“, „Oriented FAST and Rotated BRIEF (ORB)“ oder dergleichen. In einem Ausführungsbeispiel kann ein Signaturwert aus dem ersten Bildbereich gebildet werden, indem für zwei in vorgegebener relativer Anordnung innerhalb des Bildbereichs befindliche Pixel geprüft wird, welcher der beiden Grauwerte größer ist, und das Ergebnis mit 0 oder 1 binär codiert wird. Diese Prüfung wird für eine Anzahl weiterer Pixelpaare wiederholt und somit eine Folge von Binärwerten, beispielsweise bestehend aus insbesondere 8, 16 oder 24 Bit, erzeugt. Diese Folge von Binärwerten charakterisiert den Bildbereich und wird als Signaturwert (oder auch als Signatur) bezeichnet. Der Signaturwert kann auch als Dezimalzahl aufgefasst werden. Prinzipiell liegt dem Ansatz der Ermittlung ei ner Position des ersten Bildbereichs im Korrespondenz-Bild mit Signaturwerten die Annahme zu Grunde, dass ein ähnlicher Signaturwert des ersten Bildbereichs auf einen ähnlichen Bildbereich des Korrespondenz-Bild schließen lässt und umge kehrt. Dabei kann ein Vergleich von Signaturwerten insbesondere durch Bit-wei sen Vergleich (XOR-Vergleich) und Zählen der Bits, die sich unterscheiden, erfol gen (in diesem Falle wird also wobei eine Unähnlichkeit gemessen).

Erfindungsgemäß wird nicht nur für die Referenzposition ein Signaturwert gebildet, sondern für eine Mehrzahl von Bildpositionen im ersten Bildbereich. Beispiels weise werden Signaturwerte für alle durch Pixel definierten Bildpositionen im ers ten Bildbereich ermittelt, insbesondere für mehr als 90 %, mehr als 75 %, mehr als 50 % oder ganz insbesondere für mehr als 30 % aller durch Pixel definierten Bild positionen im ersten Bildbereich. Die Mehrzahl von Signaturwerten s, zu verschie denen Bildpositionen (x j ,y j ) im ersten Bildbereich kann in Form einer Matrix oder Tabelle oder in Form eines Signaturwertbildes ermittelt werden. Die Matrix wird dabei als erste Signaturwertmatrix bezeichnet. Dabei wird einer entsprechenden Bildposition (x j ,y j ) ein Signaturwert si zugeordnet. Dabei kann die Matrix oder Ta belle oder das Signaturwertbild die gleiche Dimension aufweisen wie der erste Bildbereich.

In einer Ausführungsform des Verfahrens ist denkbar, Mehrdeutigkeiten in der Mehrzahl der ermittelten Signaturwerte s, durch Löschen und/oder durch Zusam menfassen der mehrdeutigen Signaturwerte s, zu beheben. Beim Löschen mehr deutiger Signaturwerte s, werden diese somit von Durchführung des weiteren Ver fahrens ausgeschlossen. Das Löschen von Mehrdeutigkeiten ermöglicht die Be reitstellung eines besonders einfachen Verfahrens, wobei allerdings Informationen verloren gehen. Ein Zusammenfassen von Mehrdeutigkeiten kann insbesondere durch ein gewichtetes Mitteln von relativen Versätzen erfolgen.

In einem Verfahrensschritt werden relative Versätze (Dc,,Dg ί ) einer Mehrzahl von Bildpositionen (c,,g) im ersten Bildbereich zu den jeweilig ermittelten Signaturwer ten Si zugeordnet. Insbesondere können die relativen Versätze (Dc,,Dg ί ) einer Mehrzahl von Bildpositionen (c,,g) im ersten Bildbereich zu jeweilig ermittelten Sig naturwerten Si in einer Zuordnungsvorschrift, insbesondere in einer Lookup-Ta- belle, zugeordnet werden. Dabei ist denkbar, einen jeweiligen relativen Versatz (Dc,,Dg ί ) einer Bildposition (c,,g) bezüglich der Referenzposition aus einer Matrix von relativen Versätzen (Dc,,Dg,) zu ermitteln. Dabei können die relativen Versätze insbesondere fest und unveränderlich vorgesehen bzw. gespeichert sein. In einer Ausführungsform des Verfahrens wird unter Verwendung eines jeweiligen Signaturwerts s, eine Adresse der Zuordnungsvorschrift, insbesondere der Lookup-Tabelle, festgelegt. Derart kann anhand der Signaturwerte eine besonders effiziente und speicherplatzsparende Zuordnung in der Zuordnungsvorschrift vor genommen werden, wobei durch einen jeweiligen Signaturwert eine Adresse fest gelegt ist, an der eine zugehörige Eintragung (d.h. zumindest ein relativer Versatz (Dc,,Dg ί )) zu finden ist. In einem Ausführungsbeispiel hat die Zuordnungsvorschrift, beispielsweise die Lookup-Tabelle, eine Anzahl von Adressen, die der Anzahl von eindeutigen (insbesondere möglichen bzw. darstellbaren) Signaturwerten ent spricht. Beispielsweise gibt es bei einer Signaturlänge von n Bit 2 n Adressen. Da die Adressen selbst keinen Speicherplatz benötigen - da sie nur implizit und fest in aufsteigender Reihenfolge in einer Speicherzuordnung vorhanden sein zu brau chen - kann vorteilhafterweise ein besonders ressourcenschonendes Verfahren angegeben werden.

Das erfindungsgemäße Verfahren umfasst ferner einen Verfahrensschritt, in dem eine Mehrzahl von Korrespondenz-Signaturwerten S j zu verschiedenen Bildpositi onen (uj,Vj) im Korrespondenz-Bild ermittelt werden. Es gelten die gleichen Aus führungen wie oben zu Signaturwerten und Bildpositionen des ersten Bildbereichs. Insbesondere charakterisiert ein Korrespondenz-Signaturwert S j eine Umgebung einer Bildposition (uj,Vj) im Korrespondenz-Bild. Insbesondere wird ein Korrespon denz-Signaturwert Sj zu einer Bildposition (uj,Vj) im Korrespondenz-Bild analog ge bildet, insbesondere nach derselben Vorschrift gebildet, wie ein Signaturwert s, zu einer Bildposition (c,,g) im ersten Bildbereich. Ferner kann die Mehrzahl von Kor respondenz-Signaturwerten Sj zu verschiedenen Bildpositionen (uj,Vj) des Korres pondenz-Bildes in Form einer Matrix oder Tabelle oder eines Korrespondenz-Sig- naturwertbildes ermittelt werden. Die Matrix wird dann als zweite Signaturwertmat rix bezeichnet. Dies ist insbesondere in einer Software-Implementierung denkbar. Alternativ ist auch denkbar, auf eine (auch vorübergehende) Speicherung einzel ner Korrespondenz-Signaturwerte S j zu verzichten und die Korrespondenz-Signa turwerte S j unmittelbar dann zu verarbeiten, wenn sie ermittelt wurden. Insbeson dere in einer Hardware-Implementierung des erfindungsgemäßen Verfahrens - beispielsweise in einem SoC - ist es daher möglich, eine besonders speicherplatz reduzierte und somit ressourcenschonende Realisierung anzugeben.

In einer Ausführungsform des Verfahrens weisen ein Signaturwert s, und ein Kor respondenz-Signaturwert S j eine vorgegebene Länge von 24 Bit oder weniger auf, insbesondere von 16 Bit oder weniger, ganz insbesondere von 8 Bit oder weniger. Auf diese Weise kann die Anzahl an Rechenoperationen beziehungsweise die Re chenzeit zur Ermittlung der Signaturwerte reduziert werden. Ferner kann die Größe der Zuordnungsvorschrift, insbesondere der Lookup-Tabelle, sehr klein werden, da deren Größe exponentiell (s.o. 2 n ) mit der Anzahl an Bits n wächst. In einem Ausführungsbeispiel ist ein Signaturwert der Länge 10 Bit implementiert.

Mit den vorliegenden Korrespondenz-Signaturwert S j lassen sich anschließend re lative Versätze (AUj.AVj) zu ermittelten Korrespondenz-Signaturwerten S j unter Ver wendung der zuvor aufgestellten Zuordnung ermitteln. Dazu wird insbesondere der dem Korrespondenz-Signaturwert S j entsprechende Eintrag in der Zuord nungsvorschrift, d.h. durch Aufsuchen der auf dem Korrespondenz-Signaturwert S j basierenden Andresse, ausgelesen.

Wurden die Versätze ermittelt, lassen sich wiederum Zielpositionen (AUj+Uj,AVj+Vj) in dem Korrespondenz-Bild berechnen. Eine jeweilige Zielposition bestimmt die Bildposition der Referenzposition im Korrespondenz-Bild, ausgehend von unter schiedlichen Korrespondenz-Signaturen. Die Berechnung erfolgt durch Kompen sation des Versatzes (d.h. bei vorliegender Definition des Versatzes durch Addi tion) des relativen Versatzes (Auj.Avj) und jeweiliger, zum Korrespondenz-Signa turwert Sj gehörender, Bildposition (uj,Vj). In einer Ausführungsform des Verfahrens werden Korrespondenz-Signaturwerte für alle durch Pixel definierten Bildpositio nen im Korrespondenz-Bild ermittelt. In einer alternativen Ausführungsform des Verfahrens werden für mehr als 90 %, für mehr als 75 %, für mehr als 50 % oder ganz insbesondere für mehr als 30 % aller durch Pixel definierten Bildpositionen im Korrespondenz-Bild Korrespondenz-Signaturwerte ermittelt.

Unter„inkrementellem Zuordnen eines Wichtungswerts w“ ist insbesondere zu ver stehen, dass zu einer berechneten Zielposition ein Wichtungswert w inkrementeil (d.h. additiv) zugeordnet wird. Ist der Zielposition bereits ein Wichtungswert zuge ordnet, erhöht sich dieser um den neu zugeordneten Wichtungswert w zum inkre menteilen Wichtungswert w‘. Dabei können die Wichtungswerte w zu Zielpositio nen im Korrespondenz-Bild in Form einer Matrix oder Tabelle zugeordnet werden. Die Matrix wird auch als Abstimmungsmatrix bezeichnet. In einem weiteren Ver fahrensschritt wird die Position (uo,vo)* des ersten Bildbereichs in dem Korrespon denz-Bild durch Auffinden eines Extremums, insbesondere eines Maximums, in den inkrementeilen Wichtungswerten w‘ ermittelt. Es kann vorgesehen sein, die ermittelten inkrementeilen Wichtungswerte w‘ noch aufzubereiten, beispielsweise durch Filtern und/oder Glätten, sodass das Ergebnis der Ermittlung dadurch ein deutiger wird. Insbesondere lassen sich in diesem Verfahrensstadium isolierte Ext rema (z.B. Peaks) in den inkrementeilen Wichtungswerten w‘ unterdrücken, wäh rend das tatsächlich gesuchte Extremum, insbesondere Maximum, sich klarer ab hebt. Ferner kann somit eine Präzision verbessert werden, da das Glätten ein Rau schen in den ermittelten inkrementeilen Wichtungswerten w‘ zumindest teilweise unterdrückt.

In einer Ausführungsform des Verfahrens wird der zugeordnete Wichtungswert w abhängig vom relativen Versatz (ÄU j .Av j ) gewählt, wobei der Wichtungswert w ins besondere mit zunehmendem relativen Versatz zunimmt oder abnimmt. In einer alternativen Ausführungsform des Verfahrens wird der zugeordnete Wichtungs wert w abhängig vom relativen Versatz (DC ί ,Dg ί ) gewählt, wobei der Wichtungswert insbesondere mit zunehmendem relativen Versatz zunimmt oder abnimmt. Vor zugsweise ist ein Wichtungswert w umso größer, je näher die Bildposition und die Referenzposition beieinanderliegen und/oder je eindeutiger der Signaturwert in nerhalb des ersten Bildbereichs ist. Derart können die Wichtungswerte w hoch sein an denjenigen Bildpositionen, an denen eine hohe Ähnlichkeit mit der gesuchten Zielposition vorliegt, und niedrige Werte an den übrigen (unähnlichen) Bildpositio nen. Ein jeweiliger Wichtungswert kann dabei berechnet werden oder ebenfalls aus einer Matrix oder Tabelle ausgelesen werden. Derart wird vorteilhaft die rela tive Position der Bildposition, zu der ein entsprechender Signaturwert gehört, in die Ermittlung der Zielposition eingebunden.

In einer Ausführungsform des Verfahrens wird eine Position (u 0 ,vo)* des ersten Bildbereichs in dem Korrespondenz-Bild ermittelt, wenn der der Position zugeord nete inkrementeile Wichtungswert w‘ einen relativen oder absoluten Schwellwert erreicht. Derart kann eine besonders zuverlässige Ermittlung der Position realisiert werden. Insbesondere in Kombination mit der zuvor erwähnten Filterung und/oder Glättung lässt sich derart ein besonders robustes Verfahren angeben.

In einer Ausführungsform des Verfahrens wird ein relativer Versatz (AU j .ÄV j ) zu er mittelten Korrespondenz-Signaturwerten S j unter Verwendung der Zuordnung und einer Transformationsgröße, insbesondere einer Skalierungsgröße und/oder einer Rotationsgröße und/oder einer Translationsgröße und/oder einer Scherungs größe, berechnet. Die Berechnung unter Einbezug der Transformationsgröße kann in einem Ausführungsbeispiel durch Multiplikation des relativen Versatzes (AU j .ÄV j ) (dieser stellt einen 2-dimensionalen Vektor dar) mit einer (2 ><2)-Matrix durchgeführt werden. Insbesondere kann somit eine Skalierung z.B. abhängig von einer Änderung einer Auflösung des ersten Bildbereichs und des Korrespondenz- Bildes und/oder abhängig von einer Änderung einer Gegenstandsweite im ersten Bildbereich und im Korrespondenz-Bild durchgeführt werden. So ist annehmbar, dass sich ein in die Sensorvorrichtung abgebildetes Objekt zwischen Bereitstel lung des ersten Bilds und des Korrespondenz-Bilds um einen Faktor r vergrößert (r > 1) oder verkleinert hat (r < 1) oder gleich groß geblieben ist (r = 1). Vorwissen über diesen Bezug (r) kann beispielsweise aus vorausgegangenen Beobachtun gen prädiziert oder aus weiteren zur Verfügung stehenden Informationen (bei spielsweise Laserentfernungsmessdaten) ermittelt werden und in das erfindungs gemäße Verfahren eingebracht werden:

Vorteilhaft kann somit erreicht werden, dass ein für die Abstimmung zu ermitteln des Extremum, insbesondere Maximum, besonders klar ausbildet.

Ferner lässt sich eine relative Rotation von erstem Bildbereich und Korrespon denz-Bild zueinander kompensieren. Hierfür kann der skalaren Faktor r durch eine 2 ><2-Matrix ersetzt werden zu

Derart ist es möglich, zusätzlich zur Skalierung auch eine Rotation, eine Stre ckung, eine Stauchung und/oder eine Scherung vorzusehen. Derartige Transfor mationen sind von hoher praktischer Relevanz, insbesondere wenn sich eine Per spektive zwischen erstem Bildbereich und Korrespondenz-Bild verändert (hat).

In einer Ausführungsform des Verfahrens werden Mehrdeutigkeiten durch Lö schen und/oder durch Zusammenfassen der mehrdeutigen Signaturwerte entfernt.

In einem weiteren Aspekt betrifft die Erfindung ein System-on-Chip (SoC), das dazu eingerichtet ist, das erfindungsgemäße Verfahren durchzuführen. Insbeson dere ist das SoC dazu eingerichtet, mittels zumindest einer bildgebenden Sensor- Vorrichtung zumindest einen ersten Bildbereich und ein Korrespondenz-Bild zu er fassen und abhängig von der ermittelten Position (uo.vo)* des ersten Bildbereichs in dem Korrespondenz-Bild ein Ausgangssignal zu erzeugen.

In einem weiteren Aspekt betrifft die Erfindung eine Steuervorrichtung, die dazu eingerichtet ist, das erfindungsgemäße Verfahren durchzuführen. Insbesondere wird eine Steuervorrichtung mit zumindest einer Prozessorvorrichtung und einer Speichervorrichtung vorgeschlagen, wobei auf der Speichervorrichtung Befehle hinterlegt sind, die beim Ausführen dieser durch die Prozessorvorrichtung bewir ken, dass die Steuervorrichtung das erfindungsgemäße Verfahren ausführt. Unter einer„Prozessorvorrichtung“ soll insbesondere eine Vorrichtung verstanden wer den, die zumindest einen Informationseingang, eine Informationsverarbeitungsein heit zur Bearbeitung sowie eine Informationsausgabe zur Weitergabe der bearbei teten und/oder ausgewerteten Informationen aufweist. In einem Ausführungsbei spiel umfasst die Prozessorvorrichtung zumindest einen Prozessor. Eine„Spei chervorrichtung“ dient dabei dazu, ein zur Durchführung eines der beschriebenen Verfahren notwendiges Computerprogramm für die Prozessorvorrichtung bereit zuhalten.

Abschließend betrifft ein weiterer Aspekt der Erfindung ein System umfassend zu mindest eine erfindungsgemäße Steuervorrichtung und/oder ein erfindungsgemä ßes SoC und mindestens eine bildgebende Sensorvorrichtung, beispielsweise eine Kamera, welche dazu eingerichtet ist, einen ersten Bildbereich und ein Kor respondenz-Bild zu erfassen und bereitzustellen. Insbesondere betrifft die Erfin dung ein Fahrzeug, ein Laserentfernungsmessgerät und einen autonomen Robo ter mit dem erfindungsgemäßen SoC und/oder der erfindungsgemäßen Steuervor richtung und mindestens einer bildgebenden Sensorvorrichtung.

In einem weiteren Aspekt betrifft die Erfindung ein Computerprogramm umfassend Befehle, welche bei ihrer Ausführung mittels einer Prozessorvorrichtung einer Steuervorrichtung die Steuervorrichtung veranlassen, das erfindungsgemäße Ver fahren auszuführen. Das Computerprogramm umfasst Anweisungen, die eine Steuervorrichtung veranlassen, das erfindungsgemäße Verfahren mit all seinen Schritten auszuführen, wenn das Computerprogramm ausgeführt wird. Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium, auf dem das erfindungsgemäße Computerprogramm hinterlegt ist, insbesondere gespeichert, ist. Speichermedien an sich sind einem Fachmann dabei bekannt.

Unter„vorgesehen“ und„eingerichtet“ soll im Folgenden speziell„programmiert“, „ausgelegt“, „konzipiert“ und/oder„ausgestattet“ verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion„vorgesehen“ ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest ei nem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt oder dazu ausgelegt ist, die Funktion zu erfüllen.

Das erfindungsgemäße Verfahren stellt ein besonders effizientes und somit Pro zessorressourcenschonendes Verfahren dar, bei dem bei der Ermittlung der Posi tion im Korrespondenz-Bild nur sehr wenige Rechenoperationen erforderlich sind. Ferner ist das vorgeschlagene Verfahren im Vergleich zu Verfahren des Standes der Technik besonders diskriminativ und weist daher eine besonders hohe Zuver lässigkeit auf. Diese Vorteile werden insbesondere dadurch erreicht, dass

der erste Bildbereich mit mehreren Signaturwerten beschrieben wird, wobei nicht nur für die Referenzposition ein Signaturwert ermittelt wird, sondern für mehrere Bildpositionen im ersten Bildbereich;

eine Zuordnungsvorschrift (insbesondere eine Lookup-Tabelle) zum schnellen Zugriff verwendet wird, wobei die Adresse für den Zugriff unmittelbar auf den Signaturwerten basieren, insbesondere den Signaturwerten entsprechen oder mit einfachen Operationen aus den Signaturwerten ermittelt werden kann, bei spielsweise durch binäres Maskieren, binäre XOR-Operationen, Konkatenie- ren, Änderungen der Bitreihenfolge oder dergleichen;

Signaturen zu Bildpositionen in dem ersten Bildbereich zum einmaligen Ermit teln der Zuordnungsvorschrift genutzt werden;

Signaturwerte des Korrespondenz-Bilds nur zum Lesen aus der Zuordnungs vorschrift, insbesondere der Lookup-Tabelle, genutzt werden;

in der Zuordnungsvorschrift relative Versätze gespeichert werden, die es er möglichen, von einer jeweiligen Bildposition zu einer Korrespondenz-Signatur durch Verrechnung des relativen Versatzes auf eine jeweilige Zielposition zu schließen;

an der jeweiligen Zielposition ein Wichtungswert w abgegeben wird, wobei ein inkrementeller Wichtungswert w‘ ermittelt wird, wobei sich die Position, an der sich der erste Bildbereich in dem Korrespondenz-Bild befindet, durch Ermitteln eines Extremums in den inkrementeilen Wichtungswerten w‘ auffinden lässt. Vorteilhaft kann das Verfahren noch effizienter gestaltet werden, indem besonders kurze Signaturwerte (und Korrespondenz-Signaturwerte) verwendet werden, bei spielsweise mit einer Länge von weniger als 24 Bit.

Zeichnungen

Die Erfindung ist anhand von in den Zeichnungen dargestellten Ausführungsbei spielen in der nachfolgenden Beschreibung näher erläutert. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen. Gleiche Bezugszei chen in den Figuren bezeichnen gleiche Elemente.

Es zeigen:

Figur 1 eine schematische Ansicht einer Ausgestaltung eines erfindungs gemäßen Systems in Form eines Laserentfernungsmessgeräts, das sich in einer exemplarischen Messkonstellation befindet,

Figur 2a-2b eine schematische Veranschaulichung (a) eines ersten Bildbereichs und (b) eines Korrespondenz-Bilds ausgehend von der exemplari schen Messkonstellation aus Figur 1,

Figur 3 eine schematische Darstellung einer Ausführungsform des erfin dungsgemäßen Verfahrens,

Figur 4a-4f während der Ausführung des Verfahrens nach Figur 3 verwendete und/oder erstellte Matrizen: (a) Matrix von Signaturwerten, (b) Mat rix von relativen Versätzen, (c) Matrix von Wichtungswerten, (d) Zuordnungsvorschrift, (e) Matrix zur Erläuterung des Ablaufs einer Abstimmung, (f) Matrix von inkrementeilen Wichtungswerten,

Figur 5a-5b schematische, bildliche Darstellungen von Abstimmungsmatrizen, Figur 6 eine schematische Darstellung eines erfindungsgemäßen System- on-a-Chip. Beschreibung der Ausführungsbeispiele

Vorbemerkung: Die zuvor weitgehend verwendeten Ausdrücke

• (xi,yi) zu einer Bildposition im ersten Bildbereich,

• (u j ,V j ) zu einer Bildposition im Korrespondenz-Bild,

• (Dc,,Dg ί ) oder (AU j .ÄV j ) für einen relativen Versatz bezüglich der Referenzpo sition,

• Si für einen Signaturwert zu einer Bildposition im ersten Bildbereich,

• S j für einen Korrespondenz-Signaturwert zu einer Bildposition im Korrespon denz-Bild,

• (uo,vo) = (u j ,V j ) + (Au j .ÄV j ) = (Au j +U j ,Av j +V j ) für berechnete Zielpositionen im Korrespondenz-Bild,

• w für einen Wichtungswert,

• w‘ für einen inkrementeilen Wichtungswert und

• (uo,vo)* für die ermittelte Position des ersten Bildbereichs in dem Korrespon denz-Bild

werden im Folgenden wegen Einführung von Bezugszeichen nicht weiter ausge führt, sind aber prinzipiell konsistent verwendbar.

Die folgende Beschreibung bezieht sich auf Figur 1 und Figuren 2a und 2b. Figur 1 zeigt einen Anwendungsfall, der die Aufgabe der Erfindung anhand eines realen Beispiels - hier dem indirekten Messen von Abständen (auch: Längen) - veran schaulicht. In schematischer Ansicht ist eine Messkonstellation dargestellt, in der ein Laserentfernungsmessgerät 10 mit einer bildgebenden Sensorvorrichtung 12a, hier realisiert als eine Kamera 12, eingesetzt wird. In der gezeigten Ausführungs form befindet sich das Laserentfernungsmessgerät 10 in einem dreidimensionalen Raum. Dabei ist das Laserentfernungsmessgerät 10 derart ausgerichtet, dass eine Entfernungsmessrichtung 14 auf ein Zielobjekt 16, hier als ein Haus dargestellt, ausgerichtet ist. Ziel des Anwenders könnte hier sein, den Abstand 18 in der dar gestellten Messkonstellation durch indirekte Messung zu ermitteln. Dabei wird mit tels des handgehaltenen Laserentfernungsmessgeräts 10 eine erste Distanz 20 zu einem ersten (entfernten) Punkt 22 (beispielsweise die dargestellte Ecke 26 eines Fensters) gemessen. Gleichzeitig zur Durchführung der Messung der ersten Dis tanz 20 wird mittels des Laserentfernungsmessgeräts 10 das Bild 24 - umfassend den ersten Bildbereich 50 - zumindest einer Umgebung des ersten Punkts 22 mit tels der in dem Laserentfernungsmessgerät 10 integrierten Kamera 12 erfasst. Das Bild 24 ist in Figur 2a schematisch dargestellt. Dazu ist die Kamera 12 auf einer dem entfernten Objekt zugewandten Seite des Gehäuses integriert. Anschließend wird eine zweite Distanz 28 zu einem zweiten (entfernten) Punkt 30 gemessen. Gleichzeitig zur Durchführung der Messung der zweiten Distanz 28 zum zweiten Punkt 30 wird ein Bild zumindest einer Umgebung des zweiten Punkts 30 erfasst - das Korrespondenz-Bild 52. Das Korrespondenz-Bild 52 ist in Figur 2b schema tisch dargestellt.

Das Laserentfernungsmessgerät 10 ermittelt aus den beiden gemessenen Distan zen und den synchron damit aufgezeichneten Bildern indirekt den Abstand 18 zwi schen dem ersten Punkt 22 und dem zweiten Punkt 30 und gibt diesen unter Ver wendung einer Ausgabevorrichtung 32 an den Anwender aus. Insbesondere ist es erforderlich, nach erfindungsgemäßem Verfahren 100 eine möglichst exakte Posi tion des ersten Bildbereichs 50 in dem Korrespondenz-Bild 52 zu ermitteln, um anschließend eine (mögliche) Translation des handgehaltenen Laserentfernungs messgeräts 10 zwischen den beiden Entfernungsmessungen zu bestimmen. Eine mögliche Rotation des Laserentfernungsmessgeräts 10 zwischen den beiden Bild aufnahmen, die im handgehaltenen Betrieb kaum vermeidbar ist, soll hier als be kannt angenommen sein, da sie mit kostengünstiger Inertialsensorik (hier nicht nä her dargestellt) ermittelt werden kann. Diese Rotation kann als Vorwissen einge bracht werden, sodass der Freiheitsgrad der Rotation bei der Durchführung des erfindungsgemäßen Verfahrens 100 außer Acht bleiben kann. Alternativ oder zu sätzlich kann diese Rotation ebenfalls nach erfindungsgemäßem Verfahren 100 ermittelt werden (siehe Beschreibung oben). Insbesondere wurde hier bereits eine mögliche Rotation in der Bildebene auf den ersten Bildbereich 50 angewandt, so dass Grau- oder Farbwerte aus dem gedrehten rechteckigen ersten Bildbereich 50 ausgelesen werden. Dabei kann eine Interpolation der Werte vorteilhaft sein. Da die mögliche Rotation bereits im ersten Bildbereich 50 kompensiert wurde, ist im Korrespondenz-Bild 52 keine weitere Kompensation der Rotation erforderlich. Al ternativ kann die Rotation auch nur im Korrespondenz-Bild 52 kompensiert wer den. Weiterhin alternativ kann die Kompensation der Rotation anteilig auf Bildbe reich 50 und Korrespondenz-Bild 52 verteilt werden.

Im Korrespondenz-Bild 52 wird derjenige zweite Bildbereich 56 gesucht, dessen Inhalt (d.h. Bildinhalt bzw. Bilddateninhalt) zu dem Inhalt des ersten Bildbereichs 50 korrespondiert, d.h. diesem entspricht bzw. diesem ähnlich ist. Dabei wird der erste Bildbereich 50 in dem Korrespondenz-Bild 52 gefunden, wenn die Position 58 des ersten Bildbereichs 50 (hier durch die Mitte des Bildbereichs 56 gekenn zeichnet) in dem Korrespondenz-Bild 52 - beispielsweise angebbar in Pixelkoor dinaten bezogen auf das Korrespondenz-Bild 52 (vgl. Koordinatenangaben in Fi guren 5a oder 5b) - ermittelt wird.

Das Ergebnis dieser Suche ist in Figur 2b bereits vorweggenommen und im Kor respondenz-Bild 52 durch ein den zweiten Bildbereich 56 kennzeichnendes gestri cheltes Rechteck veranschaulicht. Es sei angemerkt, dass anders als in diesem Ausführungsbeispiel der erste Bildbereich 50 und/oder das Korrespondenz-Bild 52 auch eine andere Form, beispielsweise eine rechteckige, runde, ovale, elliptische, sichelförmige, kreuzförmige, polygonale, isogonale Form oder weitere, dem Fach mann bekannte Form, aufweisen kann.

Das dargestellte Laserentfernungsmessgerät 10 der Figur 1 umfasst ferner eine hier nicht näher dargestellte, erfindungsgemäße Steuervorrichtung zur Durchfüh rung des erfindungsgemäßen Verfahrens 100. Dazu umfasst die Steuervorrich tung des Laserentfernungsmessgeräts 10 ein Computerprogramm umfassend Be fehle, welche bei ihrer Ausführung mittels einer Prozessorvorrichtung der Steuer vorrichtung die Steuervorrichtung veranlassen, das erfindungsgemäße Verfahren 100 auszuführen. Das Computerprogramm ist auf einem computerlesbaren Spei chermedium hinterlegt. Das Laserentfernungsmessgerät 10 umfassend die bildge bende Sensorvorrichtung 12a stellt ein erfindungsgemäßes System 200 dar.

Der Ablauf des erfindungsgemäßen Verfahrens 100 zum Ermitteln einer Position 58 des ersten Bildbereichs 50 in dem Korrespondenz-Bild 52, wobei der erste Bild bereich 50 zu zumindest einem zweiten Bildbereich 56 in dem Korrespondenz-Bild 52 korrespondiert, ist in Figur 3 als Verfahrensdiagramm dargestellt und wird unter Verwendung der Figuren 2 und 4a-4f erläutert.

In einem ersten Verfahrensschritt 102 wird der erste Bildbereich 50 umfassend zumindest eine Referenzposition 60 bereitgestellt (vgl. gestricheltes Rechteck in Figur 2a). Das Bereitstellen erfolgt in diesem Ausführungsbeispiel mittels der Ka mera 12 als bildgebender Sensorvorrichtung 12a des Laserentfernungsmessge räts 10, wie oben für die beispielhafte Messkonstellation beschrieben. In diesem Ausführungsbeispiel ist der bereitgestellte, aus dem ersten Bild 24 ausgeschnit tene erste Bildbereich 50 etwas größer gewählt, damit bei der anschließend durch zuführenden Ermittlung von Signaturwerten 64 ausreichend Reserve vorhanden ist, denn bei der Ermittlung wird nicht nur eine einzelne Bildposition 62 (hier als Bildpunkt oder Pixel 54 gewählt) einbezogen, sondern auch dessen lokale Umge bung berücksichtigt. In Verfahrensschritt 104 wird das Korrespondenz-Bild 52 be reitgestellt (vgl. Figur 2b). Das Bereitstellen erfolgt hier ebenfalls mittels der Ka mera 12 des Laserentfernungsmessgeräts 10. Es sei angemerkt, dass die Verfah rensschritte 102 und 104 zeitversetzt erfolgen können, wobei es zweckmäßig sein kann, den ersten Bildbereich 50 und/oder das Korrespondenz-Bild 52 Zwischen speichern zu können, wobei das Bereitstellen sodann durch Auslesen aus einem Speicher erfolgt. In den Darstellungen der Figur 2 sind einzelne Bildpositionen 62 bzw. 80 durch Pixel 54 (hier durch ein Gitter) wiedergegeben. Jeder Pixelposition kann somit ein Koordinatenpaar (c,,g) zugeordnet werden, das die Bildposition 62 bzw. 80 beschreibt. Wie bereits erwähnt, zeigt Figur 2b bereits das Ergebnis des Verfahrens, d.h. den zweiten Bildbereich 56.

Es sei angemerkt, dass in dem dargestellten Ausführungsbeispiel des erfindungs gemäßen Verfahrens 100 beispielhafte Bilddaten für den ersten Bildbereich 50 und das Korrespondenz-Bild 52 gezeigt sind, die zur besseren Veranschaulichung in ihrer Größe auf wenige Pixel 54 reduziert dargestellt sind (beispielsweise im Falle des ersten Bildbereichs 50 auf 5*5 Pixel, statt wie in einem typischen Anwen dungsfall beispielsweise umfassend 41 *51Pixel).

In Verfahrensschritt 106 werden eine Mehrzahl von Signaturwerten 64 (bezeichen- bar mit s,) zu verschiedenen Bildpositionen 62 (beschreibbar durch Pixelkoordina ten (xi,y)) im ersten Bildbereich 50 ermittelt. Ein Signaturwert 64 charakterisiert eine Umgebung einer Bildposition 62 im ersten Bildbereich 50. Eine jeweilige Bild position 62 weist einen relativen Versatz 66 - beschreibbar als Abstand (Dc,,Dg ί ) der Pixelkoordinaten - bezüglich der Referenzposition 60 auf (vgl. auch Figuren 4a und 4b). Für die Ermittlung eines Signaturwerts 64 sind dem Fachmann ver schiedene Möglichkeit bekannt. Beispielsweise kann sie eine Glättung der Bildda ten beinhalten, gefolgt von mehreren paarweisen Vergleichen von Pixelwerten aus Bildpositionen 62 (Pixelpositionen) in vorgegebener relativer Anordnung, mit Bina- risierung und Konkatenation der Einzelergebnisse, wobei eine Binärfolge ermittelt wird. Die Binärfolge hat in diesem Ausführungsbeispiel eine Länge von 10 Bit, ent sprechend einem Wertebereich von 0 bis 1023. Die Mehrzahl von Signaturwerten 64 zu verschiedenen Bildpositionen 62 im ersten Bildbereich 50 wird in Form einer Matrix, der sogenannten ersten Signaturwertmatrix 68, ermittelt. Im vorliegenden Ausführungsbeispiel wird angenommen, dass der erste Bildbereich 50 hinreichend groß ist und dass pro Bildposition 62, hier durch die einzelnen Pixel 54 des Bild bereichs 50 gegeben, ein Signaturwert 64 ermittelt wird. Es sei angemerkt, dass es prinzipiell auch möglich ist, mehr als einen oder weniger als einen Signaturwert 64 pro Bildposition 62 (d.h. pro Pixel 54) zu ermitteln.

In Figur 4a ist eine derartige Matrix von Signaturwerten 64 dargestellt, die den ersten Bildbereich 50 repräsentieren. Diese sog. erste Signaturwertmatrix 68, auch als erstes Signaturbild bezeichenbar, besteht hier beispielhaft aus 5*5 Matrixele menten. Dies entspricht 5*5 Bildpositionen 62 (Pixeln 54) im ersten Bildbereich 50. Es existiert dabei eine eindeutige Zuordnung zwischen jedem Matrixelement der Signaturwertmatrix 68 zu einer Bildposition 62 im ersten Bildbereich 50. Die Signaturwerte 64 weisen hier - wie beschrieben - einen Wertebereich von 0 bis 1023 auf.

In Verfahrensschritt 108 werden relative Versätze 66 einer Mehrzahl von Bildposi tionen 62 - ggf. auch aller Bildpositionen 62 - im ersten Bildbereich 50 zu jeweilig ermittelten Signaturwerten 64 zugeordnet. Die relativen Versätze 66 der Mehrzahl von Bildpositionen 62 im ersten Bildbereich 50 werden zu jeweilig ermittelten Sig naturwerten 64 in einer Zuordnungsvorschrift 70, insbesondere in einer Lookup- Tabelle, zugeordnet. Eine derartige Zuordnungsvorschrift ist in Figur 4d darge stellt. Unter Verwendung eines jeweiligen Signaturwerts 64 wird dabei eine Ad resse 72 der Zuordnungsvorschrift 70, insbesondere der Lookup-Tabelle, festge legt. Insbesondere wird durch den jeweiligen Signaturwert 64 eine Tabellenad resse festgelegt, an der die jeweilige Eintragung vorgenommen wird. Der Inhalt der Eintragung umfasst relative Versätze 66 und Wichtungswerte 74 (bezeichen bar mit w). Wie bereits beschrieben ist denkbar, dass die Adresse nicht identisch mit einem Signaturwert ist, sondern mittelbar aus einem Signaturwert oder mehre ren Signaturwerten ermittelt werden kann, z.B. durch Weglassen von Anteilen, Zu sammenfügen von Anteilen, Bitoperationen, Berechnungen oder dergleichen.

Zur Erstellung dieser Zuordnungsvorschrift werden in diesem Ausführungsbeispiel zwei weitere Matrizen verwendet, dargestellt in Figuren 4b und 4c. In Figur 4b ist eine Matrix von relativen Versätzen 66 dargestellt, die genauso groß ist wie die erste Signaturwertmatrix 68. Dabei enthält jedes Matrixelement diejenigen relati ven Versätze 66, die an der jeweiligen Position eines Matrixelements - entspre chend einer Bildposition 62 - aufaddiert werden müssen, um zur Referenzposition 60 zu gelangen. Die Referenzposition 60 ist dabei als die Mitte der Matrix gewählt. Beispielsweise steht an der ersten Stelle von links in der zweiten Zeile die Eintra gung ,(2;1)‘. Dies bedeutet, dass man von diesem Matrixelement aus zwei Felder nach rechts und ein Feld nach unten wandern muss, um zur Referenzposition 60 zu gelangen. Dabei zeigt die angenommene x- Koordinatenachse nach rechts und die angenommene y- Koordinatenachse nach unten, wie in der Bildverarbeitung üblich. Die Matrix von relativen Versätzen 66 ist in diesem Ausführungsbeispiel als fest und unveränderlich vorgesehen und muss somit nicht in einem veränderlichen Speicher gespeichert werden.

In Figur 4c ist ferner eine Matrix von Wichtungswerten 74 dargestellt, wobei diese ebenfalls so groß ist wie die erste Signaturwertmatrix 68. In diesem Ausführungs beispiel sind die Wichtungswerte 74 ganzzahlig und nehmen mit zunehmendem Abstand von der Referenzposition 60 (d.h. von der Mitte der Matrix bzw. des ersten Bildbereichs 50) im Wesentlichen ab. Somit wird ein Wichtungswert 74 abhängig vom relativen Versatz 66 gewählt. Mit einer so gewählten Matrix von Wichtungs werten 74 wird bewirkt, dass Signaturwerte 64 in der Nähe der Mitte der Signatur wertmatrix 68 mit einem stärkeren Gewicht an der Abstimmung berücksichtigt wer den als Signaturwerte 64 am Rand der Signaturwertmatrix 68. Als Wichtungswerte 74 werden kleine ganze Zahlen verwendet, mit dem Vorteil, dass diese mit kürze ren Wortlängen beschreibbar sind und zu kleinerem Speicher- und Bandbreitebe darf für die Übertragung führen, was für Embedded-Systeme relevant und vorteil haft ist. Die Matrix von Wichtungswerten 74 ist in diesem Ausführungsbeispiel ver änderlich vorgesehen. Dabei wird insbesondere auch Null als Wichtungswert 74 zugelassen, um so bestimmte Signaturwerte 64 von der Abstimmung ausschlie ßen zu können, beispielsweise wenn ein Signaturwert 64 mehrdeutig ist. Es sei angemerkt, dass in einem einfachsten Ausführungsbeispiel auch vorgesehen sein kann, dass alle Wichtungswerte 74 den Wert 1 aufweisen. In diesem Fall kann auf die Matrix von Wichtungswerten 74 prinzipiell auch verzichtet werden.

Figur 4d zeigt einen Ausschnitt der mit beispielhaften Werten bestückten Zuord nungsvorschrift 70, insbesondere der Lookup-Tabelle, die hier die Adressen 72 im Bereich von 0 bis 1023 aufweist. Es ist ein Befüllungszustand dargestellt, der vor liegt, nachdem das Beschreiben der Zuordnungsvorschrift 70 anhand der Signa turwertmatrix 64 aus Figur 4a und anhand der Matrix von relativen Versätzen 66 aus Figur 4b und optional anhand der Matrix von Wichtungswerten 74 aus Figur 4c stattgefunden hat. An der Adresse ,1‘ der Zuordnungsvorschrift 70 ist ein ent sprechender relativer Versatz 66 mit ,(1;-1)‘ sowie ein Wichtungswert 74 mit ,3‘ hinterlegt bzw. abgespeichert. Der Vergleich mit Figur 4a zeigt, dass der Signatur wert ,1‘ nur in der vorletzten Zeile im zweiten Feld der Signaturwertmatrix 68 auf- tritt. An der entsprechenden Stelle der Matrix von relativen Versätzen 66 (Figur 4b) befindet sich die Eintragung ,(-l;-l)‘ und an der entsprechenden Stelle der Matrix von Wichtungswerten 74 befindet sich die Eintragung ,3‘.

Der Ablauf beim Beschreiben der Zuordnungsvorschrift 70 ist folgendermaßen: elementweise und synchrone Iteration (beispielsweise in Zeilen- oder Spalten richtung) durch alle Matrixelemente der 5*5 Matrixelemente großen Matrizen - Signaturwertmatrix 68 (Figur 4a), Matrix von relativen Versätzen 66 (Figur 4b) und Matrix von Wichtungswerten 74 (Figur 4c);

dabei auslesen von Signaturwerten 64 aus der Signaturwertmatrix 68, von re lativem Versatz 66 aus der Matrix der relativen Versätze 66 und Wichtungswert 74 aus der Matrix der Wichtungswerte 74;

springen an die Adresse 72 der Zuordnungsvorschrift 70, die unter Verwen dung des Signaturwerts 64 festgelegt ist, und eintragen von relativem Versatz 66 sowie Wichtungswert 74 - wobei in dem in Figur 4d dargestellten Ausfüh rungsbeispiel vereinfachend angenommen ist, dass der Signaturwert 64 unmit telbar die Adresse 72 in der Zuordnungsvorschrift 70 darstellt.

Die Zuordnungsvorschrift 70 kann Adressen 72 enthalten, an denen keine Eintra gung vorgenommen worden ist. Dies ist in Figur 4d durch leere Felder dargestellt. Tatsächlich wird dort in der Praxis jedoch etwas eingetragen sein, beispielsweise beliebige (weil irrelevante) relative Versätze 66 und/oder Wichtungswerte ,0‘ - wo bei ,0‘ beispielhaft den ,Leer-Zustand‘ kennzeichnet. Der ,Leer-Zustand‘ kann be deuten, dass der entsprechende Signaturwert 64 in der Signaturwertmatrix 68 nicht vorgekommen ist oder dass der entsprechende Signaturwert 64 zu oft vorge kommen ist, sodass er zur Vermeidung von Mehrdeutigkeiten gelöscht wurde. Ins besondere ist denkbar, letztgenannten Fall gelöschter Signaturwerte 64 auf Grund der Vermeidung von Mehrdeutigkeiten auch mit einem speziellen Wert zu codie ren, z. B. mit ,- , um ihn vom ,Leer-Zustand‘ zu unterscheiden. Die Adressen 72 selbst benötigen keinen Speicherplatz, da sie nur implizit und fest in aufsteigender Reihenfolge vorhanden sind. Soll die Zuordnungsvorschrift 70 ein weiteres Mal benutzt werden, beispielsweise um einen weiteren ersten Bildbereich 50 in einem weiteren oder demselben Korrespondenz-Bild 52 zu suchen, kann sie durch Null setzen sämtlicher Wichtungswerte 74 und/oder relativer Versätze 66 zurückge setzt werden. Alternativ und insbesondere weniger aufwändig ist es, nur diejenigen Signaturwerte 64 durchzugehen und zurückzusetzen, die bei einer vorherigen Durchführung des Verfahrens 100 verwendet und somit geändert wurden. Diese betroffenen Signaturwerte 64 können aus der entsprechenden alten (zwischenge speicherten) ersten Signaturwertmatrix 68 nochmals nachgelesen werden.

In diesem Ausführungsbeispiel kommen Wiederholungen einzelner Signaturwerte 64 vor - hier beispielsweise eine Häufung der Werte ,333“, ,911“ und ,400“ (ge kennzeichnet durch Umrahmungen) in Figur 4a. Für solche Fälle von Mehrdeutig keiten wird in diesem Ausführungsbeispiel in Verfahrensschritt 108 eine Mehrdeu tigkeitsbehandlung durchgeführt, indem Mehrdeutigkeiten zusammengefasst oder gelöscht werden (hier nicht näher dargestellt).

Gemäß einer ersten Option werden Mehrdeutigkeiten von Signaturwerten 64 ge löscht. Das bedeutet, dass mehrdeutige Signaturwerte 64 von der Durchführung des weiteren Verfahrens 100 ausgeschlossen werden. Dies kann unter Zuhilfen ahme der nachfolgend beschriebenen Zuordnungsvorschrift 70 während des Be schreibens erreicht werden, indem beispielsweise durch das Schreiben eines Wichtungswerts 74 von ,-l‘ der zugehörige Signaturwert 64 als auszuschließen gekennzeichnet wird. Der Signaturwert 64 steht dann für die spätere Korrespon denzsuche nicht mehr zur Verfügung. Praktisch kann eine Umsetzung wie folgt aussehen: Wird beim Versuch, eine Eintragung vorzunehmen festgestellt, dass an einer Adresse bereits ein Wichtungswert w mit größer ,0‘ eingetragen ist, so wird dieser auf ,-l‘ gesetzt. Wir bei einem weiteren Versuch, eine Eintragung vorzu nehmen, festgestellt, dass an dieser Adresse bereits ,-l‘ als Wichtungswert einge tragen ist, so wird diese Eintragung abgebrochen und der Wichtungswert ,-l‘ be lassen.

Gemäß einer weiteren Option werden Mehrdeutigkeiten von Signaturwerten 64 durch Zusammenfassen behoben. Dies kann erfolgen, indem in der Zuordnungs vorschrift 70 mehrere relative Versätze 66 durch Multiplikation mit jeweiligen zu gehörigen Wichtungswerten 74 gewichtet werden:

((Wii-AXii + Wj 2' ÄXj 2 + · · · )/ (w ii + Wj 2 + ...);(wii-Ayii + We Ay n + ...)/(W Ü + w, 2 + ...)). Die Division durch (w,i + w, 2 + ...) kann zur Vereinfachung auch auf einen späteren Zeitpunkt verlagert werden (beispielsweise nachdem der letzte Signaturwert 64 eingegangen ist). In Verfahrensschritt 110 wird eine Mehrzahl von Korrespondenz-Signaturwerten 78 (bezeichnet mit Sj) zu verschiedenen Bildpositionen 80 (bezeichenbar mit (uj,Vj)) im Korrespondenz-Bild 52 ermittelt, wobei ein Korrespondenz-Signaturwert 78 eine Umgebung einer Bildposition 80 im Korrespondenz-Bild 52 charakterisiert. Die Korrespondenz-Signaturwerte 78 zu Bildpositionen 80 im Korrespondenz-Bild 52 werden analog gebildet, insbesondere nach derselben Vorschrift gebildet, wie die Signaturwerte 64 zu Bildpositionen 62 im ersten Bildbereich 50. Das Ergebnis ist eine zweite Signaturwertmatrix 82 (auch als zweites Signaturbild bezeichen bar), wie sie in Figur 4e dargestellt ist. Es sei angemerkt, dass die zweite Signa turwertmatrix 82 einen„leeren Rand“ aufweist, da für die Ermittlung von Korres pondenz-Signaturwerten 78 eine lokale Nachbarschaft erforderlich ist, was in der Nähe des Bildrands nicht überall der Fall ist, sodass dort nicht überall ein gültiger Korrespondenz-Signaturwert 78 ermittelt werden kann. Beispielsweise kann der "leere Rand" dabei entweder durch Weglassen von Zeilen oder Spalten der zwei ten Signaturwertmatrix 82 umgesetzt sein oder mittels einer Kennzeichnung von Korrespondenz-Signaturwerten 78 als„ungültig“, z.B. durch einen speziellen Sig naturwert oder durch einen Wichtungswert ,0‘. Auch für die zweite Signaturwert matrix 82 kann es vorteilhaft sein, eine Behandlung von Mehrdeutigkeiten durch zuführen - und zwar unabhängig davon, ob eine solche für die erste Signaturwert matrix 68 durchgeführt wird oder nicht. Es sei angemerkt, dass die zweite Signa turwertmatrix 82 nicht zwangsläufig als Ganzes existieren muss. Insbesondere ist es nicht notwendig, die zweite Signaturwertmatrix 82 zu speichern. Stattdessen kann es ausreichend sein, nur einen Bruchteil davon zu speichern, z.B. nur so viele Matrix-Zeilen von Korrespondenz-Signaturwerten 78, wie für die Mehrdeutigkeits behandlung nötig sind - oder sogar nur einen einzelnen Korrespondenz-Signatur- wert 78 vorzuhalten. Denn der Korrespondenz-Signaturwert 78 wird nur kurzzeitig benötigt und kann anschließend vergessen werden. Dies ermöglicht eine Umset zung des Verfahrens 100 mit sehr geringem Speicherbedarf, was es beispiels weise für kosten kritische Embedded-Systeme interessant macht.

Die folgenden Verfahrensschritte 112 - 116 stellen die Durchführung einer Abstim mung dar, mit dem Ziel, eine Abstimmungsmatrix 84 (auch bezeichnet als Abstim mungsbild oder Stimmgewichtsmatrix), insbesondere von der Größe der zweiten Signaturwertmatrix 82 (evtl, abzüglich des leeren Rands, s.o.), zu ermitteln, wobei die Abstimmungsmatrix 84 hohe Werte an denjenigen Matrixelementen enthält, an denen eine hohe Ähnlichkeit mit der gesuchten Position 58 vorliegt und niedrige Werte an den übrigen (unähnlichen) Positionen. Da bei der Abstimmung Wich tungswerte an Bildpositionen (AUj+Uj,AVj+Vj) eingetragen werden müssen, kann es ferner auch sinnvoll sein, die Abstimmungsmatrix 84 gerade genau so groß zu wählen, dass eine Eintragung von Wichtungswerten 74 immer möglich ist - also keine Wichtungswerte 74 außerhalb der Abstimmungsmatrix 84 landen.

In Verfahrensschritt 112 werden relative Versätze 66 (jetzt bezeichenbar als (AUj.AVj)) zu ermittelten Korrespondenz-Signaturwerten 78 unter Verwendung der Zuordnungsvorschrift 70 ermittelt. In Figur 4e ist veranschaulicht, wie die Abstim mung anschaulich abläuft. Bei dem dargestellten Bild handelt es sich um die zweite Signaturwertmatrix 82, die stellvertretend den Inhalt des Korrespondenz-Bilds 52 repräsentiert. Diese zweite Signaturwertmatrix 82 wird insbesondere element weise prozessiert, beispielsweise zeilenweise, oben links beginnend. Ist an der jeweiligen Bildposition 80 (Matrixposition) ein gültiger Korrespondenz-Signaturwert 78 vorhanden - hier ,709“ - so wird an der zum Korrespondenz-Signaturwert 78 korrespondierenden Adresse 72 der Zuordnungsvorschrift 70, insbesondere der Lookup-Tabelle, geprüft, ob eine gültige Eintragung vorhanden ist, d.h. in diesem Ausführungsbeispiel, ob der dort gespeicherte Wichtungswert 74 größer als Null ist. Ist dies der Fall, werden die dort gespeicherten relativen Versätze 66 und der Wichtungswert 74 ausgelesen - hier der relative Versatz ,(2;1)‘ und der Wichtungs wert ,2‘. Entsprechend wird bei der Durchführung der Abstimmung wieder auf die Zuordnungsvorschrift 70 zugegriffen, diesmal aber nur lesend. Dabei wird pro gül tigem Korrespondenz-Signaturwert 78, insbesondere aus der zweiten Signatur wertmatrix 82, an der durch den Korrespondenz-Signaturwert 78 festgelegten Ad resse 72 der Zuordnungsvorschrift 70 zugegriffen und dort - sofern vorhanden - die gespeicherten relativen Versätze 66 und der Wichtungswert 74 ausgelesen.

In Verfahrensschritt 114 werden Zielpositionen (bezeichenbar als (uo,vo) = (uj,Vj) + (AUj.AVj) = (AUj+Uj,AVj+Vj) in dem Korrespondenz-Bild 52 durch Addition des relati ven Versatzes 66 (AUj.AVj) und jeweiliger Bildposition 80 (uj,Vj) im Korrespondenz- Bild 52 berechnet. Optional kann an dieser Stelle auch eine Skalierung, bevorzugt eine Rotation, Streckung/Stauchung und Scherung kompensiert werden. Dabei werden Wichtungswerte 74 zu Zielpositionen im Korrespondenz-Bild 52 in Form der Abstimmungsmatrix 84 zugeordnet - vgl. Figur 4f. Die Abstimmungsmatrix 84 hat in diesem Ausführungsbeispiel dieselbe Größe wie die zweite Signaturwert matrix 82 und wird vor Beginn der Erstellung initialisiert (beispielsweise überall auf Null oder ,leer‘ gesetzt). An der ermittelten Zielposition 88 in der Abstimmungs matrix 84 wird dann - sofern diese gültig ist - in Verfahrensschritt 116 ein inkre- menteller Wichtungswert 86 (bezeichenbar durch w‘) durch inkrementeiles Zuord nen des Wichtungswerts 74 erhöht. Im weiteren Verlauf - vgl. Figur 4e zwei Zeilen und eine Spalte später - wird der Korrespondenz-Signaturwert 78 von ,1‘ erreicht. An der entsprechenden Adresse 72 der Zuordnungsvorschrift 70 (vgl. Figur 4e) ist der relative Versatz 66 als (1;-1) und der Wichtungswert ,3‘ hinterlegt. Damit ergibt sich in diesem Ausführungsbeispiel dieselbe Zielposition 88 in der Abstimmungs matrix 84 wie zuvor bei dem Korrespondenz-Signaturwert 78 von ,709“. Es wird nun also der bisher gespeicherte inkrementeile Wichtungswert 86 von ,2‘ um ,3‘ auf ,5‘ erhöht (Wert ,5‘ ist in Figur 4f dargestellt). Damit ist demonstriert, wie die erwartete relative Anordnung der Korrespondenz-Signaturwerte 78 (vergleiche die relative Anordnung der Signaturwerte ,709“ und ,1‘ in Bezug auf die Zielposition 88 in Figur 4e mit der relativen Anordnung der gleichnamigen Signaturwerte 64 in Bezug auf die Referenzposition 60 in Figur 4a) zu einer Erhöhung des inkremen teilen Wichtungswerts 86 führt, die schließlich zur gesuchten Position 58 führt. Es sei angemerkt, dass an Matrixelementen der zweiten Signaturwertmatrix 82 ohne gültigen Korrespondenz-Signaturwert 78 nichts weiter unternommen werden muss (als leere Felder dargestellt). Es ist ebenfalls denkbar, für derart ungültige Felder einen speziellen Signaturwert wie ,- , ,0‘ oder ,1024“ vorzusehen.

Aufgrund von Quantisierungen auf ein Pixelraster, Rundungsungenauigkeiten, In terpolationsfehlern, Abstandsänderungen und Perspektivänderungen zwischen dem ersten Bildbereich 50 und dem Korrespondenz-Bild 52 kann es Vorkommen, dass die inkrementeilen Wichtungswerte 86, die idealerweise in einer Bildposition 80 (d.h. in einem Matrixelement) konzentriert sein müssten, auf mehrere benach barte Bildpositionen 80 verstreut bzw. .verschmiert“ sind. Diese Streuung kann durch einen Nachverarbeitungsschritt wirksam kompensiert werden, beispiels weise durch Anwendung eines linearen und ortsinvarianten Glättungsfilters auf die Abstimmungsmatrix 84. Eine solche Filterung führt zum deutlicheren Herausarbei ten der zu suchenden lokalen Extrema 90, insbesondere Maxima, und kann die Suche erleichtern bzw. die Unsicherheit bei der Suche verringern, weil bei Betrach tung der Verhältnisse schwache Nebenextrema 92, insbesondere Nebenmaxima, tendenziell unterdrückt und die starke Extrema, insbesondere Maxima, tendenziell hervorgehoben werden. Abschließend wird in Verfahrensschritt 118 die Position 58 (bezeichenbar als (uo.vo)*) des ersten Bildbereichs 50 in dem Korrespondenz-Bild 52 durch Auffinden eines Extremums 90, insbesondere eines Maximums, in den inkrementeilen Wich tungswerten 86 der Abstimmungsmatrix 84 ermittelt. Es sei angemerkt, dass auch die Abstimmungsmatrix 84 zu keinem Zeitpunkt explizit oder vollständig gespei chert vorliegen muss. Es kann ausreichend sein, Matrixelemente bzw. Abstim mungswerte für den„Gewinner“ (globales Extremum bzw. Maximum) der Abstim mung und eventuell für einen zweiten, dritten„Gewinner“ (lokale Extrema bzw. Maxima) usw. an eine weitere Auswertung, insbesondere einen weiteren Verfah rensschritt 120 der Auswertung, weiterzureichen. In der weiteren Auswertung kann beispielsweise geprüft werden, ob der inkrementeile Wichtungswert 86 oder die inkrementeilen Wichtungswerte 86 für einen Gewinner eindeutig genug ist/sind und ob ein ausreichend signifikanter Abstand zu einem inkrementeilen Wichtungs wert 86 zu einer weiteren Bildposition 80 im Korrespondenz-Bild 52 vorliegt (d.h. zum zweiten„Gewinner“). Entsprechend wird die Position 58 des ersten Bildbe reichs 50 in dem Korrespondenz-Bild 52 ermittelt, wenn der der Position 58 zuge ordnete inkrementeile Wichtungswert 86 einen relativen oder absoluten Schwell wert erreicht.

Es sei angemerkt, dass die Abstimmungsmatrix 84 nicht vollständig gespeichert werden muss, es aber sinnvoll sein kann, denjenigen Teil im Speicher zu halten, auf dem noch Wichtungswerte 74 abgegeben werden können. Da die Vektoren (ÄU j .ÄV j ) des Versatzes 66 typischerweise nicht sehr lang sind, ist eine "Reich weite" bei der Abstimmung sehr begrenzt, sodass nur auf einem relativ schmalen Streifen der Abstimmungsmatrix 84 Wichtungswerte 74 abgegeben werden. Somit ist denkbar, denjenigen Teil der Abstimmungsmatrix 84, der nicht mehr in Reich weite der Abstimmung ist - d.h. der nicht mehr in Reichweite des Versatzes 66 ist -, bereits auszuwerten, sodass dieser anschließend nicht länger gespeichert wer den muss.

In Figur 5 sind für die beispielhafte Messkonstellation der Figur 1 zwei Abstim mungsmatrizen 84a, 84b dargestellt. Dabei sind die inkrementeilen Wichtungs werte 86 der jeweiligen Abstimmungsmatrix 84a, 84b als Grauwerte in einer bildli chen Darstellung wiedergegeben, wobei ein dunklerer Grauwert einem höheren Wert des zu Grunde liegenden inkrementeilen Wichtungswerts 86 entspricht. Die Abstimmungsmatrix 84a in Figur 5a betrifft die Ermittlung der Position 58a des ersten Bildbereichs 50 im ersten Bild 24, während die Abstimmungsmatrix 84b in Figur 5b die Ermittlung der Position 58b des ersten Bildbereichs 50 im Korrespon denz-Bild 52 betrifft. Es ist gut zu erkennen, dass in der Abstimmungsmatrix 84a ein eindeutiges Extremum 90 vorliegt. In der Abstimmungsmatrix 84b zeigt sich ebenfalls ein klar ausgebildetes Extremum 90, das die Position 58b des ersten Bildbereichs 50 im Korrespondenz-Bild 52 kennzeichnet, wobei weitere Nebenext rema 92 schwächer sichtbar sind. Die Betrachtung der jeweiligen Werte unter Ver wendung eines Schwellwerts macht es abschließend möglich, die Position 58b als globales Extremum zu identifizieren.

Es sei angemerkt, dass die Abstimmungsmatrix 84a in der Praxis nicht zwangs läufig benötigt wird. Es ist jedoch denkbar, die Abstimmungsmatrix 84a optional zu nutzen, um vorab (im selben Bild, d.h. im ersten Bild 24) festzustellen, ob es un günstige Mehrdeutigkeiten gibt und wie nah diese einem richtigen Kandidaten kommen. Dieses Vorwissen könnte bei der späteren Auswertung des Korrespon denz-Bilds 52 verwendet werden, beispielsweise als Information wie ausgeprägt und wie nah ein zweiter„Gewinner“ liegt und/oder ob ein zweiter„Gewinner“ im Korrespondenz-Bild noch enthalten ist oder nicht.

In Figur 6 ist ein SoC 300 zur Durchführung des erfindungsgemäßen Verfahrens 100 dargestellt. Der SoC 300 erfasst einen ersten Bildbereich 50 und ein Korres pondenz-Bild 52 unter Verwendung einer bildgebenden Sensorvorrichtung 312a des SoC 300. Der SoC 300 ist dazu eingerichtet, eine Position 58 des ersten Bild bereichs 50 in dem Korrespondenz-Bild 52 zu ermitteln und davon abhängig ein Ausgangssignal 302 zu erzeugen bzw. auszugeben.