Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CORRECTION METHOD, AND DEVICE FOR CORRECTING IMAGE DATA
Document Type and Number:
WIPO Patent Application WO/2019/197230
Kind Code:
A1
Abstract:
The invention relates to a correction method, comprising the steps A), B), C), D), E), F). In step A), image data are read in, wherein the image data are representative of a calibration image (1') of a calibration pattern (1') recorded by means of an optics system (2). The calibration pattern comprises a plurality of structures (10), and the calibration image comprises correspondingly imaged structures (10'). In step B), a line (4) is simulated such that the line extends through a reference point (5), which subdivides the line into a first half-line (41) and a second half-line (42), and the first and second half-lines intersect the imaged structures at one or more intersection points (40). In step C), a first and a second sequence of measured values are determined, which represent the intersection points on the first half-line and the second half-line to the reference point. In step D), a third and a fourth sequence of target values are predetermined or determined, wherein the target values represent target distances of the intersection points on the first half-line and on the second half-line as reference point. In step E), a mapping rule is determined, which at least approximately maps the target values of the third and fourth sequences to the measured values of the first and second sequence. In step F), image data of an image recorded via an optics system are corrected by means of the mapping rule determined in step E).

Inventors:
WEINLICH ANDREAS (DE)
Application Number:
PCT/EP2019/058348
Publication Date:
October 17, 2019
Filing Date:
April 03, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL AUTOMOTIVE GMBH (DE)
International Classes:
G06T5/00
Other References:
WANG QUANZENG ET AL: "Development of the local magnification method for quantitative evaluation of endoscope geometric distortion", JOURNAL OF BIOMEDICAL OPTICS, SPIE, vol. 21, no. 5, 1 May 2016 (2016-05-01), pages 56003, XP060071986, ISSN: 1083-3668, [retrieved on 20160509], DOI: 10.1117/1.JBO.21.5.056003
REMY S ET AL: "Estimating the radial distortion of an optical system; effect on a localization process", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) AUSTIN, NOV. 13 - 16, 1; [PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)], LOS ALAMITOS, IEEE COMP. SOC. PRESS, US, vol. 2, 13 November 1994 (1994-11-13), pages 997 - 1001, XP010146094, ISBN: 978-0-8186-6952-1, DOI: 10.1109/ICIP.1994.413505
JUNHEE PARK ET AL: "Lens distortion correction using ideal image coordinates", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 55, no. 3, 1 August 2009 (2009-08-01), pages 987 - 991, XP011277853, ISSN: 0098-3063, DOI: 10.1109/TCE.2009.5278053
QIYUE WANG ET AL: "Radial distortion correction in a vision system", APPLIED OPTICS, vol. 55, no. 31, 28 October 2016 (2016-10-28), WASHINGTON, DC; US, pages 8876, XP055589648, ISSN: 0003-6935, DOI: 10.1364/AO.55.008876
HUGHES C ET AL: "Wide-angle camera technology for automotive applications: a review", IET INTELLIGENT TRANSPORT SYS,, vol. 3, no. 1, 9 March 2009 (2009-03-09), pages 19 - 31, XP006032372, ISSN: 1751-9578, DOI: 10.1049/IET-ITS:20080017
Download PDF:
Claims:
Patentansprüche

1. Korrekturverfahren, umfassend die Schritte:

A) Einlesen von Bilddaten, wobei

- die Bilddaten repräsentativ für ein über eine Optik (2) aufgenommenes Kalibrierbild (1') eines Kalibriermusters (1) sind,

- das Kalibriermuster (1) eine Mehrzahl von Strukturen (10) und das Kalibrierbild (1') entsprechend abgebildete

Strukturen (10') umfasst;

B) Simulation einer Geraden (4) durch das Kalibrierbild (1 ') , sodass

- die Gerade (4) durch einen Referenzpunkt (5) verläuft, der die Gerade (4) in eine erste Halbgerade (41) und eine zweite Halbgerade (42) unterteilt, und

- die erste Halbgerade (41) und die zweite Halbgerade (42) jeweils die abgebildeten Strukturen (10') in einem oder mehreren Schnittpunkten (40) schneiden;

C) Ermitteln einer ersten und einer zweiten Folge von Messwerten, die sich aus dem Kalibrierbild (1') ergebende Abstände der Schnittpunkte (40) auf der ersten Halbgeraden (41) und auf der zweiten Halbgeraden (42) zum Referenzpunkt (5) repräsentieren;

D) Vorgeben oder Ermitteln einer dritten und vierten Folge von Sollwerten, die Sollabstände der Schnittpunkte (40) auf der ersten Halbgeraden (41) und auf der zweiten Halbgeraden (42) zum Referenzpunkt (5) repräsentieren;

E) Ermitteln einer Abbildungsvorschrift, die die Sollwerte der dritten und vierten Folge zumindest näherungsweise auf die Messwerte der ersten und zweiten Folge abbildet oder um gekehrt ;

F) Korrektur von Bilddaten eines über eine Optik aufgenommenen Bildes mittels der im Schritt E) ermittelten Abbildungs vorschrift .

2. Korrekturverfahren nach Anspruch 1, wobei

- die Strukturen (10) parallel verlaufende Linien (10) sind.

3. Korrekturverfahren nach Anspruch 2, wobei

- die Gerade (4) so simuliert wird, dass sie zumindest eine der abgebildeten Linien (10') unter einem Winkel von zumindest 80° schneidet.

4. Korrekturverfahren nach einem der vorhergehenden An

sprüche, wobei

- die Strukturen (10) untereinander äquidistant sind.

5. Korrekturverfahren nach einem der vorhergehenden An

sprüche, wobei

- im Schritt D) die dritte und vierte Folge so vorgegeben oder ermittelt werden, dass virtuelle Schnittpunkte auf der Geraden (4), die den Sollwerten entsprechende Abstände zum Referenzpunkt (5) aufweisen, untereinander äquidistant sind .

6. Korrekturverfahren nach einem der vorhergehenden An

sprüche,

wobei als Referenzpunkt (5) der Schnittpunkt des Kalib rierbildes (1') mit einer optischen Achse der Optik (2) oder eine Bildmitte des Kalibrierbildes (1') gewählt wird.

7. Korrekturverfahren nach einem der vorhergehenden An

sprüche, wobei im Schritt D) die dritte und vierte Folge derart vorgegeben oder ermittelt werden, dass

- Abstände zwischen benachbarten virtuellen Schnittpunkten auf der Geraden (4) , die den Sollwerten entsprechende Abstände zum Referenzpunkt (5) auf weisen, entlang der Geraden (4) monoton und linear zu- oder abnehmen.

8. Korrekturverfahren nach den vorhergehenden Ansprüchen 6 und 7, wobei das Verfahren weiter die Schritte umfasst: Dl) Ermitteln einer ersten Anzahl nl an Schnittpunkten (40) auf der ersten Halbgeraden (41), die innerhalb eines vor gegebenen Maximalabstands (M) vom Referenzpunkt (5) liegen; D2) Ermitteln einer zweiten Anzahl n2 an Schnittpunkten (40) auf der zweiten Halbgeraden (42), die innerhalb des vor gegebenen Maximalabstands (M) vom Referenzpunkt (5) liegen; - die lineare Zu- oder Abnahme dabei derart gewählt wird, dass auf die erste Halbgerade (41) genau nl virtuelle Schnittpunkte mit Abständen zum Referenzpunkt von höchstens einem Sollma ximalabstand passen und auf die zweite Halbgerade (42) genau n2 virtuelle Schnittpunkte mit Abständen zum Referenzpunkt (5) von höchstens dem Sollmaximalabstand passen.

9. Korrekturverfahren nach einem der vorhergehenden An

sprüche,

wobei im Schritt D) die jeweils kleinsten Sollwerte der dritten und vierten Folge so vorgegeben werden, dass

- die Summe dieser beiden kleinsten Sollwerte einem vorgegebenen Wert entspricht, und

- das Verhältnis des kleinsten Sollwertes der dritten Folge zum kleinsten Sollwert der vierten Folge gleich dem Verhältnis des kleinsten Messwertes der ersten Folge zum kleinsten Messwert der zweiten Folge ist.

10. Korrekturverfahren nach einem der Ansprüche 1 bis 8,

wobei im Schritt D) die jeweils kleinsten Sollwerte der dritten und vierten Folge über ein iteratives Verfahren ermittelt werden, wobei als Randbedingung vorgegeben wird, dass die Summe dieser beiden kleinsten Sollwerte einem vorgegebenen Wert entspricht.

11. Korrekturverfahren nach einem der vorhergehenden An

sprüche,

wobei als Abbildungsvorschrift ein Polynom verwendet wird.

12. Korrekturverfahren nach einem der vorhergehenden An

sprüche, wobei - mehrere verschiedene Geraden (4) durch das Kalibrierbild (1') simuliert werden und zu jeder Geraden (4) eine erste und eine zweite Folge an Messwerten und eine dritte und vierte Folge an Sollwerten ermittelt wird,

- die Folgen jeder Geraden (4) zur Ermittlung der Ab bildungsvorschrift herangezogen werden.

13. Vorrichtung (100) zur Korrektur von Bilddaten, die dazu eingerichtet ist, ein Korrekturverfahren nach einem der vorhergehenden Ansprüche durchzuführen.

Description:
Beschreibung

Korrekturverfahren und Vorrichtung zur Korrektur von Bilddaten

Es wird ein Korrekturverfahren angegeben. Darüber hinaus wird eine Vorrichtung zur Korrektur von Bilddaten angegeben.

Eine zu lösende Aufgabe besteht darin, ein Korrekturverfahren zur Korrektur von über eine Optik aufgenommene Bilddaten anzugeben. Eine weitere zu lösende Aufgabe besteht darin, eine Vorrichtung anzugeben, mit der ein solches Korrekturverfahren durchgeführt werden kann.

Diese Aufgaben werden unter anderem durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestal tungen und Weiterbildungen sind Gegenstand der abhängigen Patentansprüche .

Gemäß zumindest einer Ausführungsform umfasst das Korrektur verfahren einen Schritt A) , in dem Bilddaten eingelesen werden. Die Bilddaten sind repräsentativ für ein über eine Optik aufgenommenes Kalibrierbild eines Kalibriermusters. Das Ka libriermuster umfasst eine Mehrzahl von Strukturen, insbesondere Linien oder Punkte, wie zum Beispiel Gitterlinien oder Git terpunkte, und das Kalibrierbild umfasst entsprechend abge bildete Strukturen.

Beispielsweise ist das Kalibrierbild in eine Mehrzahl von Pixel unterteilt, wobei die Bilddaten Intensitäten für Farbwerte in den einzelnen Pixeln repräsentieren.

Bei der Optik handelt es sich beispielsweise um eine Linse oder ein Linsensystem, zum Beispiel einer Kamera oder eines Mikroskops oder eines Objektivs.

Die Strukturen des Kalibriermusters heben sich von dem Hin tergrund des Kalibriermusters bevorzugt optisch deutlich ab. Beispielsweise ist das Kalibriermuster ein Schwarz-Weiß-Muster . Die Strukturen sind beispielsweise in einem regelmäßigen Muster angeordnet. Die Strukturen des Kalibriermusters sind bevorzugt gerade und/oder zueinander parallel verlaufende Linien. Umfasst das Kalibriermuster Punkte, so sind diese bevorzugt in einem regelmäßigen Gitter angeordnet. Es kann das Kalibriermuster aber auch ein Schachbrettmuster sein.

Als Kalibriermuster kann zum Beispiel jede Szene verwendet werden, bei der Linien und/oder Punkte zu erkennen sind, be vorzugt in einem gleichen Abstand zum Referenzpunkt, wie dem optischen Bildzentrum.

Obwohl Linien des Kalibriermusters zum Beispiel gerade und/oder parallel verlaufen, können die abgebildeten Linien des Ka librierbildes gekrümmt verlaufen. Dies kann zum Beispiel auf Abbildungsfehler der Optik zurückgeführt werden. Das hier beschriebene Korrekturverfahren ist insbesondere dazu einge richtet, solche Abbildungsfehler der Optik zu korrigieren.

Gemäß zumindest einer Ausführungsform umfasst das Verfahren einen Schritt B) , in dem eine Gerade durch das Kalibrierbild simuliert wird, so dass die Gerade durch einen Referenzpunkt verläuft, der die Gerade in eine erste Halbgerade und eine zweite Halbgerade unterteilt und die erste Halbgerade und die zweite Halbgerade jeweils die abgebildeten Strukturen in einem oder mehreren Schnittpunkten schneiden. Das heißt, jede Halbgerade durchkreuzt eine oder mehrere der abgebildeten Strukturen.

Die Schnittpunkte können dabei entweder manuell annotiert werden oder vollautomatisch, beispielsweise bei einem

Schwarz-Weiß-Kalibriermuster durch ein Gradientendetektions verfahren. Beispielsweise schneiden die erste Halbgerade und die zweite Halbgerade die abgebildeten Linien jeweils in zumindest zwei oder zumindest vier oder zumindest acht Schnittpunkten. Gemäß zumindest einer Ausführungsform umfasst das Verfahren einen Schritt C) , in dem eine erste und eine zweite Folge von Messwerten ermittelt wird, wobei die Messwerte die sich aus dem Kalibrierbild ergebenden Abstände der Schnittpunkte auf der ersten Halbgeraden und auf der zweiten Halbgeraden zum Refe renzpunkt repräsentieren.

Bei der ersten Folge und der zweiten Folge handelt es sich also jeweils um Zahlenfolgen. Die Folgenelemente in den Zahlenfolgen sind die genannten Messwerte. Die Messwerte repräsentieren bevorzugt jeweils den Betrag des Abstandes eines Schnittpunktes zum Referenzpunkt. Die erste Folge repräsentiert dabei nur die Schnittpunkte auf der ersten Halbgeraden und die zweite Folge repräsentiert nur die Schnittpunkte auf der zweiten Halbgeraden. Die Folgen umfassen also zum Beispiel jeweils so viele Fol genelemente wie die Anzahl an Schnittpunkten auf den zugehörigen Halbgeraden. Alternativ können aber auch nur einige der

Schnittpunkte annotiert werden, sodass die Folgen weniger Elemente als Schnittpunkte aufweisen.

Gemäß zumindest einer Ausführungsform umfasst das Verfahren einen Schritt D) , in dem eine dritte und eine vierte Folge von Sollwerten vorgegeben oder ermittelt werden, wobei die Sollwerte Sollabstände der Schnittpunkte auf der ersten Halbgeraden und auf der zweiten Halbgeraden zum Referenzpunkt repräsentieren.

Die dritte und vierte Folge sind also wiederum Zahlenfolgen, mit den Sollwerten als Folgenelemente. Die Sollwerte werden ins besondere so vorgegeben oder ermittelt, dass diese jeweils einen erwarteten Abstand eines Schnittpunktes zum Referenzpunkt repräsentieren oder angeben. Die dritte Folge repräsentiert dabei die Schnittpunkte auf der ersten Halbgeraden und umfasst daher so viele Folgenelemente wie die erste Folge. Die vierte Folge repräsentiert die Schnittpunkte auf der zweiten Halb geraden und umfasst daher so viele Folgenelemente wie die zweite Folge. Insbesondere wird also j edem Messwert der ersten Folge ein Sollwert der dritten Folge eineindeutig zugeordnet und jedem Messwert der zweiten Folge ein Sollwert der vierten Folge eineindeutig zugeordnet.

Gemäß zumindest einer Ausführungsform umfasst das Verfahren einen Schritt E) , in dem eine Abbildungsvorschrift ermittelt wird, die die Sollwerte der dritten und vierten Folge zumindest näherungsweise auf die Messwerte der ersten und zweiten Folge abbildet oder umgekehrt. Bei der Abbildungsvorschrift handelt es sich insbesondere um eine Funktion F:IR->[R. Jeder Sollwert der dritten und vierten Folge wird dabei näherungsweise auf den zugeordneten Messwert der ersten und zweiten Folge abgebildet. Alternativ oder zusätzlich kann aber auch eine Abbildungs vorschrift ermittelt werden, die die Messwerte der ersten und zweiten Folge zumindest näherungsweise auf die Sollwerte der dritten und vierten Folge abbildet.

„Zumindest näherungsweise" bedeutet hierbei, dass zur Ermittlung der Abbildungsvorschrift insbesondere ein Minimierungsver fahren, beispielsweise nach der Methode der kleinsten Quadrate, verwendet wird. Insbesondere ist die Anzahl an Parametern der Abbildungsvorschrift, die durch das Minimierungsverfahren ermittelt wird, kleiner als die Anzahl an Sollwerten oder Messwerten .

Gemäß zumindest einer Ausführungsform umfasst das Verfahren einen Schritt F) , bei dem Bilddaten eines über eine Optik aufgenommenen Bildes mittels der im Schritt E) ermittelten Abbildungsvorschrift korrigiert werden. Bei der Optik handelt es sich bevorzugt um die gleiche Optik, mit der das Kalibrierbild aufgenommen wurde, oder um eine ähnliche Optik. Bei den Bilddaten kann es sich um die Bilddaten des Kalibrierbildes oder eines anderen über eine Optik aufgenommenen Bildes handeln.

Bei der Korrektur wird aus dem aufgenommenen Bild also ein korrigiertes Bild erzeugt, bei dem bevorzugt die Abbildungs fehler der Optik teilweise oder vollständig korrigiert sind. Die Korrektur des aufgenommenen Bildes erfolgt beispielsweise wie folgt: Das korrigierte Bild soll eine gewisse Anzahl an Pixeln aufweisen, zum Beispiel die gleiche Anzahl an Pixeln wie das aufgenommene Bild. Für jedes Pixel des korrigierten Bildes wird der Abstand dieses Pixels zum Referenzpunkt ermittelt. An schließend wird ermittelt, welchen Wert die im Schritt E) ermittelte Abbildungsvorschrift diesem Abstand zuordnet. Da raufhin wird ein passendes Pixel des aufgenommenen Bildes ermittelt, das auf einer selben Geraden durch den Referenzpunkt liegt wie das Pixel des korrigierten Bildes und das als Abstand zum Referenzpunkt diesen ermittelten Wert hat. Die diesem Pixel in dem aufgenommenen Bild zugeordneten Bilddaten werden dann dem Pixel für das korrigierte Bild zugeordnet. Insbesondere wird das aufgenommene Bild also mit Hilfe der Abbildungsvorschrift radial entzerrt oder korrigiert, wobei der Referenzpunkt das Zentrum für die radiale Entzerrung darstellt.

Gemäß zumindest einer Ausführungsform werden die Schritte A) bis F) in der angegebenen Reihenfolge durchgeführt.

In mindestens einer Ausführungsform umfasst das Korrektur verfahren die Schritte A) , B) , C) , D) , E) , F) . Im Schritt A) werden Bilddaten eingelesen, wobei die Bilddaten repräsentativ für ein über eine Optik aufgenommenes Kalibrierbild eines Kalibrier musters sind. Das Kalibriermuster umfasst eine Mehrzahl von Strukturen und das Kalibrierbild umfasst entsprechend abge bildete Strukturen. Im Schritt B) wird eine Gerade durch das Kalibrierbild simuliert, so dass die Gerade durch einen Re ferenzpunkt verläuft, der die Gerade in eine erste Halbgerade und eine zweite Halbgerade unterteilt und die erste Halbgerade und die zweite Halbgerade jeweils die abgebildeten Strukturen in einem oder mehreren Schnittpunkten schneiden. Im Schritt C) werden eine erste und eine zweite Folge von Messwerten ermittelt, die sich aus dem Kalibrierbild ergebende Abstände der

Schnittpunkte auf der ersten Halbgeraden und auf der zweiten Halbgeraden zum Referenzpunkt repräsentieren. Im Schritt D) werden eine dritte und eine vierte Folge von Sollwerten vor- gegeben oder ermittelt, wobei die Sollwerte Sollabstände der Schnittpunkte auf der ersten Halbgeraden und auf der zweiten Halbgeraden zum Referenzpunkt repräsentieren. Im Schritt E) wird eine Abbildungsvorschrift ermittelt, die die Sollwerte der dritten und vierten Folge zumindest näherungsweise auf die Messwerte der ersten und zweiten Folge abbildet oder umgekehrt. Im Schritt F) werden Bilddaten eines über eine Optik aufge nommenen Bildes mittels der im Schritt E) ermittelten Abbil dungsvorschrift korrigiert.

Der vorliegenden Erfindung liegt insbesondere die Idee zu Grunde, Abstände von Schnittpunkten zu einem Referenzpunkt , die ohne eine Verzerrung der Optik bestimmte Werte einnehmen sollten, eben genau auf diese Werte abzubilden. Anders als in alternativen Verfahren, bei denen beispielsweise abgebildete gekrümmte Gitterlinien auf gerade Gitterlinien abgebildet werden, werden hier nur Abstände korrigiert, was den Rechenaufwand erheblich reduziert. Das Verfahren, insbesondere die Ermittlung der Abbildungsvorschrift, ist damit besonders schnell. Eine Pa rametrisierung des Minimierungsverfahrens ist nicht notwendig, wodurch das Verfahren sehr stabil ist und bei validen Ein gangsdaten robust funktioniert. Die Entzerrung oder Korrektur ist nicht auf gewisse Abstandsbereiche vom Referenzpunkt oder Bildzentrum beschränkt, sondern ist gleichermaßen vom Refe renzpunkt bis in die Bildecken präzise und stabil. Die Im plementierung des Verfahrens, beispielsweise in einer Re cheneinheit oder einem Prozessor, gestaltet sich einfach und übersichtlich. Eine automatisierte Erkennung der Schnittpunkt der simulierten Geraden mit abgebildeten Strukturen ist al gorithmisch einfach, wodurch eine vollautomatische Implemen tierung robust ist. Die exakte Ausrichtung des Kalibriermusters senkrecht zur Optik ist nicht notwendig.

Gemäß zumindest einer Ausführungsform sind die Strukturen parallel verlaufende Linien, bevorzugt äquidistante Linien. Die Linien können gerade oder gekrümmt sein. Gemäß zumindest einer Ausführungsform wird die Gerade so si muliert, dass sie zumindest eine der abgebildeten Linien unter einem Winkel von zumindest 80° schneidet. Je größer der Winkel zwischen der simulierten Geraden und den abgebildeten Linien ist, desto mehr Schnittpunkte liegen auf der ersten Halbgeraden und der zweiten Halbgeraden und desto präziser kann die Abbil dungsvorschrift ermittelt werden.

Gemäß zumindest einer Ausführungsform sind die Strukturen untereinander äquidistant. Das heißt, benachbarte Strukturen weisen immer den gleichen Abstand zueinander auf.

Gemäß zumindest einer Ausführungsform wird im Schritt D) die dritte und vierte Folge so vorgegeben oder ermittelt, dass virtuelle Schnittpunkte auf der Geraden, die den Sollwerten entsprechende Abstände zum Referenzpunkt aufweisen, unterei nander äquidistant sind. Das heißt, hätten die Schnittpunkte als Abstände zum Referenzpunkt die Sollwerte, so wären die

Schnittpunkte untereinander äquidistant, sodass zwei benach barte Schnittpunkte auf der Geraden immer den gleichen Abstand zueinander hätten.

Die virtuellen Schnittpunkte sind keine tatsächlichen

Schnittpunkte, sondern nur fiktive Schnittpunkte.

Bei dieser Ausführungsform wird also die Abbildungsvorschrift so ermittelt, dass Abbildungen von ursprünglich äquidistanten Strukturen nach der Korrektur mit der Abbildungsvorschrift möglichst wieder äquidistant erscheinen.

Gemäß zumindest einer Ausführungsform wird als Referenzpunkt der Schnittpunkt des Kalibrierbildes mit einer optischen Achse der Optik gewählt. Alternativ kann als Referenzpunkt auch die Bildmitte des Kalibrierbildes gewählt werden.

Gemäß zumindest einer Ausführungsform umfasst das Verfahren weiter einen Schritt Dl), in dem eine erste Anzahl nl an Schnittpunkten auf der ersten Halbgeraden ermittelt wird, die innerhalb eines vorgegebenen Maximalabstands vom Referenzpunkt liegen. Der Maximalabstand wird bevorzugt kleiner als ein maximaler Abstand eines Bildrandes des Kalibrierbildes zum Referenzpunkt gewählt.

Gemäß zumindest einer Ausführungsform umfasst das Verfahren weiter einen Schritt D2), in dem eine zweite Anzahl n2 an Schnittpunkten auf der zweiten Halbgeraden ermittelt wird, die innerhalb des vorgegebenen Maximalabstands vom Referenzpunkt liegen .

Gemäß zumindest einer Ausführungsform werden im Schritt D) die dritte und vierte Folge derart vorgegeben, dass Abstände zwischen virtuellen Schnittpunkten auf der Geraden, die den Sollwerten entsprechende Abstände zum Referenzpunkt aufweisen, entlang der Geraden monoton und linear zu- oder abnehmen. Anders ausgedrückt: hätten die Schnittpunkte als Abstände zum Referenzpunkt die Sollwerte, so würden die Abstände zwischen den Schnittpunkten entlang der Geraden entweder monoton linear zunehmen oder monoton linear abnehmen.

Der Abstand zwischen einem zweiten virtuellen Schnittpunkt und einem dritten virtuellen Schnittpunkt ist also beispielsweise um einen Wert m größer als der Abstand zwischen einem ersten virtuellen Schnittpunkt und dem zweiten virtuellen Schnittpunkt. Der Abstand zwischen dem dritten virtuellen Schnittpunkt und einem vierten virtuellen Schnittpunkt wiederum ist um den Wer m größer als der Abstand zwischen dem zweiten virtuellen

Schnittpunkt und dem dritten virtuellen Schnittpunkt, und so weiter. Die Steigung m ist beispielsweise eine reelle Zahl.

Gemäß zumindest einer Ausführungsform wird die lineare Zu- oder Abnahme dabei derart gewählt, dass auf die erste Halbgerade genau nl virtuelle Schnittpunkte mit Abständen zum Referenzpunkt von höchstens einem Sollmaximalabstand passen und auf die zweite Halbgerade genau n2 virtuelle Schnittpunkte mit Abständen zum Referenzpunkt von höchstens dem Sollmaximalabstand passen.

Das heißt, die Steigung m wird so vorgegeben, dass über eine Strecke auf der Geraden, dessen Länge dem zweifachen Sollma ximalabstand entspricht, und die von dem Referenzpunkt halbiert wird, genau nl + n2 virtuelle Schnittpunkte passen, zwischen denen der Abstand mit der Steigung m zu- oder abnimmt.

Mit dieser Vorgehensweise kann insbesondere eine Verkippung des Kalibriermusters bei der Aufnahme über die Optik berücksichtigt werden. Eine solche Verkippung würde in einem Bild ohne eine Verzerrung durch die Optik zum Beispiel zu abgebildeten Git terlinien führen, deren Abstände in eine Richtung linear zu- oder abnimmt. Entsprechend werden die Sollwerte hier so gewählt, dass die Korrektur des Kalibrierbildes mittels der Abbildungsvor schrift im Wesentlichen zu Gitterlinien mit linear zunehmenden oder abnehmenden Abständen führt.

Zur Verbesserung der Genauigkeit könnte statt mit ganzzahligen Anzahlen an Schnittpunkten hier mit Dezimalbrüchen gearbeitet werden. Dabei werden sowohl das Verhältnis der dem Referenzpunkt nächstliegenden Schnittpunkte und der Abstand des dem Refe renzpunkt fernsten Schnittpunktes zum Maximalabstand berück sichtigt, beispielsweise durch eine lineare Interpretation. Ebenso bietet sich zur Erhöhung der Genauigkeit an, den maximalen Abstand möglichst groß zu wählen. Beispielsweise wird als Maximalabstand der vom Referenzpunkt am weitesten entfernte Schnittpunkt derjenigen Halbgeraden gewählt, bei der dieser Schnittpunkt den geringeren Abstand zum Referenzpunkt aufweist.

Gemäß zumindest einer Ausführungsform werden im Schritt D) die jeweils kleinsten Sollwerte der dritten und vierten Folge so vorgegeben, dass die Summe dieser beiden kleinsten Sollwerte einem vorgegebenen Wert entspricht. Werden die Sollwerte in der dritten und vierten Folge beispielsweise so vorgegeben, dass Abstände zwischen entsprechenden virtuellen Schnittpunkten auf der Geraden immer gleich sind, so wird die Summe der beiden kleinsten Sollwerte zum Beispiel so vorgegeben, dass diese ebenfalls diesem Abstand entspricht.

Werden die Sollwerte dagegen beispielsweise so vorgegeben, dass die Abstände entsprechender virtueller Schnittpunkte entlang der Geraden monoton und linear zu- oder abnehmen, dann wird die Summe der beiden kleinsten Sollwerte so vorgegeben, dass diese lineare Zu- oder Abnahme eingehalten bleibt.

Gemäß zumindest einer Ausführungsform werden im Schritt D) die jeweils kleinsten Sollwerte der dritten und vierten Folge so vorgegeben, dass das Verhältnis des kleinsten Sollwertes der dritten Folge zum kleinsten Sollwert der vierten Folge gleich dem Verhältnis des kleinsten Messwertes der ersten Folge zum kleinsten Messwert der zweiten Folge ist.

Gemäß zumindest einer Ausführungsform werden im Schritt D) die jeweils kleinsten Sollwerte der dritten und vierten Folge über ein iteratives Verfahren ermittelt, wobei als Randbedingung vorgegeben wird, dass die Summe dieser beiden kleinsten Sollwerte einem vorgegebenen Wert entspricht. Beispielsweise ist der vorgegebene Wert wie oben beschrieben gewählt.

Anstelle für das Verhältnis der kleinsten Sollwerte der dritten und vierten Folge also von vornherein einen festen Wert vor zugeben, wird dieser Wert ermittelt, insbesondere durch ein iteratives Minimierungsverfahren. Die kleinsten Sollwerte werden zum Beispiel gleichzeitig oder zusammen mit der Ab bildungsvorschrift über das Minimierungsverfahren bestimmt.

Gemäß zumindest einer Ausführungsform wird als Abbildungs vorschrift ein Polynom verwendet. Beispielsweise wird ein Polynom von höchstens sechstem Grad verwendet . Bevorzugt wird ein Polynom vierten Grades verwendet. Besonders bevorzugt wird das konstante Element des Polynoms auf den festen Wert Null gesetzt. Als Abbildungsvorschrift kann auch eine nicht-polynominale Funktion zur radialen Linsenentzerrung verwendet werden, welche ebenso linear in ihren Parametern ist. Für nicht-polynominale Funktionen zur radialen Linsenentzerrung, welche in ihren Parametern nicht-linear sind, lässt sich das Verfahren ein- setzen, in dem ein lineares Minimierungsverfahren durch ein nicht-lineares Minimierungsverfahren ersetzt wird. Dies führt typischerweise jedoch zu iterativen Lösungsmethoden.

Gemäß zumindest einer Ausführungsform weist das Kalibrierbild ein rechteckiges Format auf.

Gemäß zumindest einer Ausführungsform verlaufen die abgebildeten Strukturen in Form von abgebildeten Linien diagonal über das Kalibrierbild. Schneidet nun die simulierte Gerade die abge bildeten Linien unter einem Winkel von beispielsweise zumindest 80°, so verläuft auch die simulierte Gerade im Wesentlichen diagonal über das Kalibrierbild, wodurch die Anzahl der

Schnittpunkte mit den abgebildeten Linien und dabei die Ge nauigkeit des Verfahrens steigt.

Gemäß zumindest einer Ausführungsform werden mehrere ver schiedene Geraden durch das Kalibrierbild simuliert und zu jeder Geraden eine erste und eine zweite Folge an Messwerten und eine dritte und vierte Folge an Sollwerten ermittelt. Die dritten und vierten Folgen an Sollwerten können für mehrere oder alle Geraden entsprechend den vorherigen Ausführungsformen ermittelt werden.

Gemäß zumindest einer Ausführungsform werden die Folgen jeder Geraden zur Ermittlung der Abbildungsvorschrift herangezogen. Dadurch steigt die Anzahl an Punkte, anhand der die Abbil dungsvorschrift ermittelt wird, was die Genauigkeit des Ver fahrens erhöht.

Darüber hinaus wird eine Vorrichtung zur Korrektur von Bilddaten angegeben. Die Vorrichtung eignet sich insbesondere dazu, ein hier beschriebenes Korrekturverfahren durchzuführen. Das heißt, alle im Zusammenhang mit dem Korrekturverfahren offenbarten Merkmale sind auch für die Vorrichtung offenbart und umgekehrt.

Die Vorrichtung kann insbesondere einen Prozessor aufweisen, der die verschiedenen Verfahrensschritte durchführt. Die Vor richtung kann beispielsweise eine Kamera, insbesondere eine Digitalkamera, sein. Beispielsweise umfasst die Vorrichtung die Optik, also zum Beispiel die Linse oder das Linsensystem, über die das Kalibrierbild aufgenommen wird.

Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm aus gebildet ist, das hier beschriebene Korrekturverfahren durchzuführen .

Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein Computerprogrammprodukt, das einen ausführbaren Programmcode umfasst, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das hier beschriebene Korrekturverfahren ausführt.

Nachfolgend wird ein hier beschriebenes Korrekturverfahren sowie eine hier beschriebene Vorrichtung unter Bezugnahme auf

Zeichnungen anhand von Ausführungsbeispielen näher erläutert. Gleiche Bezugszeichen geben dabei gleiche Elemente in den einzelnen Figuren an. Es sind dabei jedoch keine maßstäblichen Bezüge dargestellt, vielmehr können einzelne Elemente zum besseren Verständnis übertrieben groß dargestellt sein.

Es zeigen:

Figuren 1 bis 7 verschiedene Positionen in Ausführungsbeispielen des Korrekturverfahrens,

Figuren 8A und 8B Ablaufdiagramme verschiedener Ausführungs beispiele des Korrekturverfahrens, Figur 9 ein Ausführungsbespiel der Vorrichtung.

In der Figur 1 ist eine erste Position in einem Ausführungs beispiel des Korrekturverfahrens gezeigt. Über eine Optik 2, vorliegend eine Linse 2, ist ein Kalibrierbild 1' eines Ka libriermusters 1 abgebildet. Das Kalibriermuster 1 umfasst eine Mehrzahl von Strukturen 10 in Form von Linien 10. Die Linien 10 verlaufen vorliegend parallel und äquidistant zueinander.

Das Kalibrierbild 1', also die Abbildung des Kalibriermusters 1 über die Optik 2, ist verzerrt. Abgebildete Linien 10' des Kalibrierbildes 1 ' sind durch die Verzerrung weder parallel noch äquidistant zueinander. Dies ist zum Beispiel auf Abbil dungsfehler der Optik 2 zurückzuführen.

In der Figur 2 ist eine zweite Position des Korrekturverfahrens gezeigt. Durch das Kalibrierbild 1' ist eine Gerade 4 simuliert, die durch einen Referenzpunkt 5 verläuft, und die abgebildeten Linien 10' in mehreren Schnittpunkten 40 schneidet. Der Re ferenzpunkt 5 ist vorliegend das optische Bildzentrum oder die Bildmitte des Kalibrierbildes 1 ' . Der Referenzpunkt 5 unterteilt die Gerade 4 in eine erste Halbgerade 41 und eine zweite Halbgerade 42. Sowohl auf der ersten Halbgeraden 41 also auch auf der zweiten Halbgeraden 42 liegen mehrere Schnittpunkte 40.

In der Figur 3 ist eine dritte Position des Korrekturverfahrens gezeigt. Ausgehend von den Schnittpunkten wird eine erste Folge und eine zweite Folge an Messwerten bestimmt. Die Messwerte der ersten Folge repräsentieren oder sind die Abstände der

Schnittpunkte auf der ersten Halbgeraden zum Referenzpunkt. Die Messwerte der zweiten Folge repräsentieren oder sind die Abstände der Schnittpunkte auf der zweiten Halbgeraden zum Referenzpunkt.

Die dargestellten acht Messwerte der ersten Folge und die dargestellten sieben Messwerte der zweiten Folge sind rein illustrativ gewählt und entsprechen nicht den tatsächlichen Abständen der in der Figur 2 gezeigten Schnittpunkte 40 zum Referenzpunkt .

In der Figur 4 ist eine vierte Position des Korrekturverfahrens gezeigt. Hier sind eine dritte und eine vierte Folge von Sollwerten vorgegeben. Die Sollwerte der dritten Folge re präsentieren Sollabstände der Schnittpunkte auf der ersten Halbgeraden zum Referenzpunkt. Die Sollwerte der vierten Folge repräsentieren Sollabstände der Schnittpunkte auf der zweiten Halbgeraden zum Referenzpunkt. Entsprechend weist die dritte Folge gleich viele Folgenelemente wie die erste Folge auf und die vierte Folge weist gleich viele Folgenelemente wie die zweite Folge auf.

Im vorliegenden Ausführungsbeispiel sind die Sollwerte der dritten und vierten Folge so vorgegeben, dass die Differenz zwischen jeweils zwei benachbarten Sollwerten immer gleich ist. Außerdem entspricht die Summe der kleinsten Sollwerte der dritten und vierten Folge genau dieser Differenz. Das heißt, virtuelle Schnittpunkte auf der Geraden, deren Abstände zum Referenzpunkt den Sollwerten entsprechen, sind untereinander alle äquidistant. Dies ist genau das, was man für die Schnittpunkte erwarten würde, wenn die Optik keine Abbildungsfehler aufweisen würde. Die Sollwerte entsprechen also bis auf einen Skalierungsfaktor den erwarteten Abständen der Schnittpunkte zum Referenzpunkt.

In der Figur 5 ist eine fünfte Position des Korrekturverfahrens gezeigt, bei dem die Sollwerte der dritten und vierten Folge auf einer horizontalen x-Achse und die Messwerte der ersten und zweiten Folge auf einer vertikalen y-Achse aufgetragen sind. Die der ersten Halbgeraden zugeordneten Messwerte und Sollwerte sind dabei als ungefüllte Punkte dargestellt, die der zweiten Halbgeraden zugeordneten Messwerte und Sollwerte sind als gefüllte Punkte dargestellt.

Die Messwerte und Sollwerte sind zudem als (x,y) -Werte in das durch die x-Achse und y-Achse aufgespannte Koordinatensystem eingetragen. Die (x,y) -Werte sind außerdem durch eine Funktion (gestrichelte Linie) angenähert. Die Funktion ist insbesondere durch ein Polynom vierten Grades parametrisiert . Die Parameter der Funktion werden zum Beispiel über ein Minimierungsverfahren, zum Beispiel das Verfahren der kleinsten Quadrate, ermittelt. Die Funktion stellt eine Abbildungsvorschrift dar, mit der die Sollwerte der dritten und vierten Folge zumindest näherungsweise auf die Messwerte der ersten und zweiten Folge abgebildet werden.

In der Figur 6 ist eine sechste Position des Korrekturverfahrens dargestellt. Mittels der zuvor ermittelten Abbildungsvorschrift wurden die Bilddaten des Kalibrierbildes radial korrigiert. Das dargestellte korrigierte Bild 1'' weist korrigierte Linien 10'' auf, die näherungsweise parallel und äquidistant zueinander verlaufen .

In der Figur 7 ist eine Position des Korrekturverfahrens gezeigt, bei der eine Anzahl nl = 5 an Schnittpunkten 40 auf der ersten Halbgeraden 41 mit einem Abstand von höchstens einem Maxi malabstand M vom Referenzpunkt 5 liegt. Auf der zweiten

Halbgeraden 42 liegen n2 = 4 Schnittpunkte 40 mit einem Abstand von höchstens dem Maximalabstand M vom Referenzpunkt 5 entfernt.

Geht man davon aus, dass bei der Aufnahme des Kalibrierbildes 1' das Kalibriermuster 1 gekippt war, so müssten ohne eine Ver zerrung durch die Optik die Abstände der abgebildeten Linien 10 ' gemäß dem Strahlensatz mit linear ansteigenden oder absteigenden Abständen erscheinen. Entsprechend sollte die Abbildungsvor schrift so ermittelt werden, dass nach der Korrektur der das Kalibrierbild 1 ' repräsentierenden Bilddaten Abstände zwischen den korrigierten Linien linear ab- oder zunehmen.

Um dies zu erreichen, werden nachfolgend zu der Position der Figur 7 die Sollwerte der dritten und vierten Folge zum Beispiel so vorgegeben, dass Abstände zwischen virtuellen Schnittpunkten auf der Geraden, die den Sollwerten entsprechende Abstände zum Referenzpunkt aufweisen, entlang der Geraden monoton und linear zu- oder abnehmen. Um die richtige Steigung in dieser linearen Zu- oder Abnahme zu erhalten, wird als Randbedingung zum Beispiel vorgegeben, dass auf die erste Halbgerade 41 genau nl dieser virtuellen Schnittpunkte innerhalb eines Sollmaximalabstands vom Referenzpunkt 5 passen und auf die zweite Halbgerade 42 genau n2 virtuelle Schnittpunkte innerhalb desselben Sollmaxi malabstands passen. Anschließend werden die entsprechenden Sollwerte und die Messwerte beispielsweise wie in der Figur 5 aufgetragen und eine Abbildungsvorschrift ermittelt.

In der Figur 8A ist ein Ablaufdiagramm eines Ausführungsbeispiels des Korrekturverfahrens dargestellt. Es werden nacheinander die oben beschriebenen Schritte A) bis F) ausgeführt.

In der Figur 8B ist ein Ablaufdiagramm eines weiteren Aus führungsbeispiels gezeigt. Vor dem Schritt D) werden die oben beschriebenen Schritte Dl) und D2) ausgeführt.

In der Figur 9 ist ein Ausführungsbeispiel einer Vorrichtung 100 gezeigt, die dazu eingerichtet ist, das Korrekturverfahren durchzuführen. Die Vorrichtung 100 umfasst zum Beispiel einen Prozessor. Bilddaten, die hier repräsentativ für ein über eine Optik aufgenommenes Kalibrierbild 1 ' eines Kalibriermusters sind, werden eingelesen. Die Vorrichtung führt das oben be schriebene Korrekturverfahren aus. Anschließend werden kor rigierte Bilddaten ausgegeben. Vorliegend werden die korri gierten Bilddaten zu den eingelesenen Bilddaten des Kali biermusters ausgegeben.

Anders als in der Figur 9 dargestellt, kann die Vorrichtung auch selbst die Optik umfassen, über die das Kalibrierbild aufgenommen wird. Die Vorrichtung ist dann zum Beispiel eine Digitalkamera.

Die Erfindung ist nicht durch die Beschreibung anhand der Ausführungsbeispiele auf diese beschränkt. Vielmehr umfasst die Erfindung jedes neue Merkmal sowie jede Kombination von

Merkmalen, was insbesondere jede Kombination von Merkmalen in den Patentansprüchen beinhaltet, auch wenn diese Merkmale oder diese Kombination selbst nicht explizit in den Patentansprüchen oder Ausführungsbeispielen angegeben ist.