Die vorliegende Patentanmeldung nimmt die Priorität der deutschen Patentanmeldung DE 10 2020 212 285.7 in Anspruch, deren Inhalt durch Bezugnahme hierin aufgenommen wird.

Die Erfindung betrifft ein Verfahren zur räumlichen Bilderfassung mit Hilfe einer zwei Kameras aufweisenden Stereokamera. Ferner betrifft die Erfindung ein Verfahren zur Erzeugung einer redundanten Abbildung eines Messobjektes sowie eine Vorrichtung zur Durchführung dieser Verfahren.

Eine Objekterfassungsvorrichtung ist bekannt aus der WO 2013/020872 Al sowie der dort angegebenen Referenzen.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur räumlichen Bilderfassung anzugeben, welches an die Praxis insbesondere der Bilderfassung zur Sicherstellung eines autonomen Fahrens gut angepasst ist.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfahren mit den im Anspruch 1 angegebenen Merkmalen.

Lageabweichungen zwischen Signaturen von Szenerie-Objekten, die sich aufgrund von Lage- bzw. Positionsabweichungen der Kameras untereinander ergeben, können bei diesem Verfahren präzise erkannt und kompensiert werden.

Szenerie-Objekte können vergleichsweise gering ausgedehnte Objekte sein, deren Bilder beispielsweise lediglich einzelne oder weniger als zehn Pixel der jeweiligen Kamera groß sind. Alternativ können die Szenerie-Objekte auch größer ausgedehnt sein und ganze Bildbereiche umfassen. Beispiele für derartige, größere Szenerie-Objekte sind beim Beispiel einer Fahrzeug-Bilderfassung einzelne Fahrzeugkomponenten oder Fahrzeugabschnitte oder auch das gesamte Fahrzeug. Beispiele für charakteristische Lageabweichungen, die bei dem Bilderfassungsverfahren ermittelt werden, sind eine Abweichung bzw. ein Abstand einer Abbildungs-Position der Abbildung von Szenerie-Objekten von einer Epipolarlinie der jeweiligen Kamera. Auch eine Lageabweichung der jeweiligen Abbildungs-Position eines Szenerie-Objektes längs der Epipolarlinie kann beim Ermittlungsverfahren betrachtet werden. Diese Lageabweichungen werden nachfolgend auch als vertikale Disparität und als horizontale Disparität bezeichnet.

Beim Filtern der Lageabweichungen kann schlicht überprüft werden, ob die Lageabweichungen kleiner sind als ein vorgegebener Lageabweichungs-Toleranzwert. Die Vorgabe des Lageabweichungs-Toleranzwertes ist fließend und kann solange stattfinden, bis die Anzahl ausgewählter Signatur-Paare kleiner ist als der vorgegebene Grenzwert.

Anstelle einer Stereokamera können auch mehr als zwei Kameras bei dem Bilderfassungsverfahren Zusammenwirken.

Jede der Kameras kann wiederum als System aus mehreren einander zugeordneten Kameras aufgebaut sein. Eine dieser einander zugeordneten Kameras kann eine Fischaugen-Kamera sein. Die Brennweite einer derartigen Fischaugen-Kamera kann kleiner sein als 20 mm. Eine andere dieser zugeordneten Kameras kann eine Telekamera mit einem Teleobjektiv mit einer Brennweite von mindestens 80 mm sein.

Zum Ermitteln der charakteristischen Lageabweichungen der zugeordneten Signatur-Paare voneinander sowie zum Filtern der Lageabweichungen kann beispielsweise die jeweilige vertikale Disparität für alle Signatur-Paare quadratisch aufsummiert werden und es können Zustandsgrößen der Stereokamera so lange variiert werden, bis diese Quadrat-Summe minimiert ist.

Als Abbruchkriterium zum Drücken der Anzahl der ausgewählten Signatur-Paare kleiner als ein vorgegebener Grenzwert kann ein Lageabweichungs-Toleranzwert in Form einer Vorgabe einer Quadrat-Summe der vertikalen Disparität oder auch einer Standard- Abweichung der vertikalen Disparität genutzt werden.

Insbesondere Relativbewegungen zwischen den Kameras können bei dem Bilderfassungsverfahren berücksichtigt werden. Eine über die Ermittlung der charakteristischen Lageabweichungen zugeordneter Signatur-Paare erfolgende Relativlagenschätzung der Kameras zueinander kann zu der Triangulations-Berechnung asynchron erfolgen.

Eine Lagekorrektur einer Relativlage der Kameras zueinander, insbesondere auf Grundlage einer Relativlagenschätzung, kann auch unmittelbar vor jeder Triangulationsrechnung erfolgen. Es kann dann für jeden Messvorgang eine Kamera-Lage-Kalibrierung vorliegen. Mit einer derartigen, unmittelbaren Kalibrierung können auch bei Einsatz von Bilderfassungs-Vorrichtungen, bei den sich eine Relativlage der Kameras zueinander ständig verändert, sichere Stereomessungen durchgeführt werden. Eine derartige Lagekorrektur auf Grundlage insbesondere einer Kamera- Relativlagenschätzung kann unter Einsatz von Daten von inertialen Messeinheiten erfolgen, mit denen die Kameras fest verbunden sind. Insbesondere ein Einsatz von Kamera-Messvorrichtungen mit sehr großem Abstand zwischen den Kameras (long baseline stereoscopy) ist möglich.

Bei der Triangulations-Berechnung können bekannte Rektifizierungs-Verfahren zum Einsatz kommen. Hierzu wird verwiesen auf die Fachbücher von Karl Kraus, Photogrammetrie, Bände 1 und 2, Dümmler, Bonn, 1996/1997 sowie Thomas Luhmann, Nahbereichsphotogrammetrie Grundlagen, Methoden und Anwendungen, 3. Auflage, Berlin/Offenbach 2010 verwiesen.

Bei der Triangulations-Berechnung erfolgt eine optische Abstandsmessung durch Winkelmessung innerhalb im Rahmen des Verfahrens definierter Dreiecke. Diese können jeweils gebildet sein durch eine der beiden Kameras und zwei Bildpunkte oder durch die beiden Kameras und einen Bildpunkt.

Beim Filtern der Ablageabweichungen zur Auswahl zugeordneter Signatur-Paare können diejenigen Signatur-Paare ausgewählt werden, die mit höherer Wahrscheinlichkeit zum selben Szenerie-Objekt der räumlichen Szenerie gehören.

Das Filtern der Lageabweichungen zur Auswahl zugeordneter Signatur-Paare kann nach Anspruch 2 mit einem Filteralgorithmus geschehen. Ein Maß für die jeweilige Lageabweichung, die zum Filtern verwendet werden kann, ist beispielsweise die horizontale Disparität und/oder die vertikale Disparität. Beim Bilderfassungsverfahren nach Anspruch 4 oder 5 können auch schwer zu erfassende räumliche Szenerien sicher hinsichtlich der Szenerie-Objekte zugeordnet und entsprechende 3D-Da- tenkarten fehlerfrei erstellt werden. Abweichungen in der relativen Ausrichtung der Kameras der Stereokamera zueinander können präzise berücksichtigt werden. Die im Ermittlungsschritt ermittelten Winkelkorrekturwerte können als Zustandsgrößen zur oben angesprochenen Variation z. B. zur Quadratsummen-Minimierung der vertikalen Disparität herangezogen werden.

Bei den Winkelkorrekturwerten handelt es sich um für die relative Lagebeziehung der Kameras zueinander charakteristische Winkel, beispielsweise um eine Verkippung einer Baseline-Ebene, um eine Baseline- Verkippung, um eine relative Verkippung der Kamera-Bildaufnahmerichtungen oder um eine Verkippung von Kamera-Koordinatenachsen zueinander.

Das Bestimmungsverfahren nach Anspruch 6 führt zu besonders genauen 3D-Datenwerten.

Das Verfahren nach Anspruch 7 erlaubt die Einbeziehung von instantanen Lageänderungen der Kameras zueinander, beispielsweise aufgrund von Erschütterungen. Dieses Datenerfassen erfolgt dann in Echtzeit. Eine Zeitkonstante dieser Datenerfassung kann kleiner sein als 500 ms und kann insbesondere kleiner sein 100 ms. Die von den inertial en Messeeinheiten erfassten Daten können eine Roh-Information zu einer notwendigen Korrektur der Relativlage der Kameras zueinander liefern, die durch die Bild-erfassung dann noch optimiert wird. Eine entsprechende Lage- änderungs-Erfassung kann auch zur Relativlagen-Kalibrierung der Kameras zueinander genutzt werden. Dies kann insbesondere vor Durchführung des jeweiligen Triangulationsschritts bei der Durchführung des Bilderfassungsverfahrens geschehen.

Eine weitere Aufgabe der Erfindung ist es, die Datenerfassungssicherheit bei der Abbildung eines Messobjektes zu verbessern.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfahren mit den in Anspruch 8 angegebenen Merkmalen.

Erfindungsgemäß wurde erkannt, dass die verschiedenen Kameras, die beispielsweise bei einem Kamerasystem zur Ermöglichung des autonomen Verfahrens bereitgestellt werden, miteinander zur redundanten Abbildung eines Messobjektes Zusammenwirken können. Dabei werden die Kameras entsprechend verknüpft, sodass Erfassungsergebnisse eines Kamerapaares durch Einsatz einer dritten Kamera abgeglichen und überprüft werden können. Auf diese Weise können Erfassungsfehler erkannt werden und es kann sogar eine echte Redundanz dadurch erzeugt werden, dass drei unabhängige Erfassungsergebnisse miteinander verglichen werden können, wobei eine Qualifizierung der Erfassungsdaten als korrekt dann erfolgt, wenn mindestens zwei der drei Erfassungsergebnisse miteinander übereinstimmen. Das Messobjekt kann beliebig sein, solange das Messobjekt Texturen bzw. Strukturen aufweist und hierüber eine Tiefeninformation birgt.

Die Vorteile einer Vorrichtung nach Anspruch 9 und 10 entsprechen denen, die vorstehend im Zusammenhang mit den Verfahren bereits erläutert wurden. Die Vorrichtung kann mindestens eine mit einer inertialen Messeinheit fest verbundene Kamera aufweisen.

Die drei Kameras können in Form eines Dreiecks, insbesondere in Form eines gleichschenkligen Dreiecks angeordnet sein.

Eine Anordnung nach Anspruch 11 mit sechs Kameras führt zu einer nochmals verbesserten Abbildungsredundanz. Die sechs Kameras können in Form eines Hexagons angeordnet sein, insbesondere in Form eines regelmäßigen Sechsecks. Die Kameras können in der Kam era- Anordnungsebene angeordnet sein.

Der Einsatz einer zusätzlichen entfernten Kamera nach Anspruch 12 ermöglicht einen Sicherheitsabgleich der Ergebnisse der Abbildungserfassung durch die drei benachbart zueinander angeordneten Kameras. Die drei benachbart zueinander angeordneten Kameras können in der Kamera-Anordnungsebene angeordnet sein. Ein Abstandsfaktor zur Charakterisierung des Abstandes der entfernt angeordneten Kamera im Vergleich der Abstände der benachbart angeordneten Kameras kann größer sein als 2, kann größer sein als 3, kann größer sein als 4, kann größer sein als 5 und kann beispielsweise auch 10 betragen. Dieser Ab Standsfaktor kann so gewählt werden, dass über die benachbart angeordneten Kameras ein Nahbereich bis zu einer Nahbereichsgrenze abgedeckt wird und durch Hinzunahme der entfernt angeordneten Kamera ab dieser Nahbereichs-Grenze dann ein Fernbereich des Sichtfeldes der Kameras.

Eine Anordnung nach Anspruch 13 vereinfacht den Abgleich der Triangulations-Messungen. Die Verbindung mindestens einer der Kameras mit einer inertialen Messeinheit ermöglicht auch eine Beschleunigungsmessung der jeweiligen Kamera und eine entsprechende Auswertung erfasster Beschleunigungswerte.

Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. In dieser zeigen:

Fig. 1 eine Aufsicht auf eine Vorrichtung zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer Kamera, wobei eine Zusatz-Kalibierfläche sowohl in einer Neutralposition außerhalb eines Kamera-Sichtfeldes als auch in einer Betriebsposition im Kamera-Sichtfeld dargestellt ist;

Fig. 2 eine Ansicht aus Richtung II in Figur 1 mit Zusatz-Kalibierflächen in der Neutralposition;

Fig. 3 schematisch eine Darstellung zur Verdeutlichung von Lagebeziehungen zwischen Komponenten der Kalibrier-Vorrichtung;

Fig. 4 eine weitere Details preisgebende Ansicht einer beweglichen Referenzkamera der Kalibrier-Vorrichtung einschließlich eines Kamera-Verlagerungsantriebs zur Bewegung der beweglichen Referenzkamera in mehreren Translations/Rotations- Freiheitsgraden;

Fig. 5 schematisch verschiedene Ausrichtungen der beweglichen Referenzkamera, nämlich insgesamt acht Ausrichtungsvarianten;

Fig. 6 eine Kalibriertafel mit einer Kalibrierfläche, aufweisend Kalibrierstrukturen, die als Haupt-Kalibrierfläche und/oder als Zusatz-Kalibrierfläche bei der Kalibrier- Vorrichtung zum Einsatz kommen kann; Fig. 7 in einer Ansicht von oben eine Anordnung eines Systems zur Bestimmung relativer Positionen von Zentren von Eintrittspupillen mindestens zweier Kameras, die an einem gemeinsamen Tragrahmen montiert sind, zueinander;

Fig. 8 schematisch zwei Kameras einer Stereokamera zur räumlichen Bilderfassung, wobei Koordinaten und Lageparameter zur Bestimmung von Winkel-Korrekturwerten der Kameras zueinander veranschaulicht sind;

Fig. 9 wiederum schematisch die beiden Kameras der Stereokamera nach Figur 8 bei der Erfassung von Szenerie-Objekten einer räumlichen Szenerie, wobei Lageabweichungs-Parameter charakteristischer Signaturen der von den Kameras jeweils erfassten Bildern hervorgehoben sind;

Fig. 10 ein Blockschaltbild zur Verdeutlichung eines Verfahrens zur räumlichen Bilderfassung mit Hilfe der Stereokamera nach den Figuren 8 und 9;

Fig. 11 eine Vorrichtung zur Durchführung eines Verfahrens zur Erzeugung einer redundanten Abbildung eines Messobjektes unter Einsatz beispielsweise zweier Gruppen zu je drei einer gemeinsamen Signalverarbeitung zugeordneten Kameras;

Fig. 12in einer zu Figur 8 ähnlichen Darstellung wiederum zwei Kameras einer Stereokamera zur räumlichen Bilderfassung, wobei Koordinaten und Lageparameter zur Bestimmung von Korrekturwerten, insbesondere von Winkel-Korrekturwerten der Kameras zueinander veranschaulicht sind.

Eine Kalibrier-Vorrichtung 1 dient zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer zu kalibrierenden Kamera 2. Die zu kalibrierende Kamera 2 ist innerhalb eines quaderförmigen Montagevolumens 3 angeordnet, welches in den Figuren 1 und 2 gestrichelt hervorgehoben ist. Innerhalb des Montagevolumens 3 wird die zu kalibrierende Kamera 2 bei der Durchführung des Kalibrierverfahrens fest montiert. Hierzu dient eine in der Figur 1 lediglich angedeutete Halterung 4. Mit der Halterung 4 wird die zu kalibrierende Kamera 2 derart gehalten, dass diese ein vorgegebenes Kalibrier-Sichtfeld 5 erfasst, dessen Begrenzungen in der Seitenansicht der Vorrichtung 1 nach Figur 1 gestrichelt dargestellt sind. Bei der zu kalibrierenden Kamera 2 kann es sich beispielsweise um eine Kamera für ein Fahrzeug handeln, die zur Bereitstellung einer Funktion „autonomes Fahren“ genutzt werden soll.

Zur Erleichterung der Beschreibung von Lagebeziehungen insbesondere von Kameras der Vorrichtung 1 zueinander sowie zum Sichtfeld 5 ist in den Figuren 1 bis 3, soweit nichts anderes angegeben, jeweils ein xyz-Koordinatensystem eingezeichnet. In der Figur 1 verläuft die x-Achse senkrecht zur Zeichenebene in diese hinein. Die y- Achse verläuft in der Figur 1 nach oben. Die z-Achse verläuft in der Figur 1 nach rechts. In der Figur 2 verläuft die x-Achse nach rechts, die y- Achse nach oben und die z-Achse verläuft senkrecht zur Zeichenebene aus dieser heraus.

Ein gesamter Sichtbereich des Kalibrier-Sichtfeldes 5 kann beispielsweise in der xz-Ebene einen Erfassungswinkel von 100° überdecken. Auch andere Erfassungswinkel zwischen beispielsweise 10° und 180° sind möglich. Grundsätzlich ist es auch möglich, Kameras mit einem Erfassungswinkel zu kalibrieren, der größer ist als 180°.

Die Halterung 4 ist an einem Tragrahmen 6 der Kalibrier-Vorrichtung 1 festgelegt.

Die Kalibrier-Vorrichtung 1 hat mindestens zwei und bei der dargestellten Ausführung insgesamt vier stationäre Referenzkameras 7, 8, 9 und 10 (vgl. Figur 3), von denen in der Figur 1 lediglich zwei stationäre Referenzkameras, nämlich die Referenzkameras 7 und 8 sichtbar sind. Die stationären Referenzkameras 7 bis 10 sind ebenfalls am Tragrahmen 6 montiert. Die stationären Referenzkameras 7 bis 10 dienen zur Aufnahme des Kalibrier-Sichtfeldes 5 aus unterschiedlichen Richtungen.

Die Figur 3 zeigt beispielhafte Dimensionsparameter, die bei der Kalibrier-Vorrichtung 1 eine Rolle spielen.

Haupt-Sichtlinien 11, 12, 13, 14 der stationären Referenzkameras 7 bis 10 sind in der Figur 3 strichpunktiert dargestellt.

Diese Haupt-Sichtlinien 11 bis 14 schneiden sich in einem Punkt C (vgl. Figuren 1 und 3). Die Koordinaten dieses Schnittpunkts C sind in den Figuren 1 und 3 mit x _c , y _c und z _c bezeichnet. Ein x- Ab stand zwischen den Referenzkameras 7 und 10 einerseits und den Referenzkameras 8 und 9 andererseits ist in der Figur 3 mit dxh bezeichnet. Eine x-Koordinate der stationären Referenzkameras 7 und 8 einerseits und 9 und 10 andererseits ist jeweils gleich.

Ein y- Abstand zwischen den stationären Referenzkameras 7 und 8 einerseits und 9 und 10 andererseits ist in der Figur 3 mit dyh bezeichnet. Eine y-Koordinate der stationären Referenzkameras 7 und 10 einerseits und 8 und 9 andererseits ist jeweils gleich.

Die Kalibrier-Vorrichtung 1 hat weiterhin mindestens eine stationäre Haupt-Kalibrierfläche, im dargestellten Ausführungsbeispiel drei Haupt-Kalibrierflächen 15, 16 und 17, die von entsprechenden Kalibrier-Tafeln vorgegeben werden. Die Haupt-Kalibrierfläche 15 erstreckt sich bei der Anordnung nach den Figuren 1 und 2 parallel zur xy-Ebene und bei einer z-Koordinate, die größer ist als z _c . Die beiden weiteren, seitlichen Haupt-Kalibrierflächen 16, 17 erstrecken sich bei der Anordnung nach den Figuren 1 und 2 parallel zur yz-Ebene zu beiden Seiten der Anordnung der vier stationären Referenzkameras 7 bis 10. Die Haupt-Kalibrierflächen 15 bis 17 sind stationär ebenfalls am Tragrahmen 6 montiert.

Die Haupt-Kalibrierflächen haben stationäre Haupt-Kalibrierstrukturen, für die Beispiele in der Figur 6 dargestellt sind. Jedenfalls einige dieser Kalibrierstrukturen sind im Kalibrier-Sichtfeld 5 angeordnet. Die Haupt-Kalibrierstrukturen können ein regelmäßiges, zum Beispiel in Form eines Rasters angeordnetes Muster aufweisen. Entsprechende Rasterpunkte, die Teil der Kalibrierstrukturen sind, sind in der Figur 6 bei 18 dargestellt. Die Kalibrierstrukturen können farbige Musterelemente aufweisen, wie in der Figur 6 bei 19 veranschaulicht. Weiterhin können die Kalibrierstrukturen unterschiedliche Größen haben. Im Vergleich zu den Rasterpunkten 18 vergrößerte Musterelemente als Haupt-Kalibrierstrukturen sind in der Figur 6 bei 20 hervorgehoben. Weiterhin können die Haupt-Kalibrierstrukturen kodierte Musterelemente, zum Beispiel QR- Codes 21 (vgl. Figur 6) aufweisen.

Eine zum xyz-Koordinatensystem nach den Figuren 1 und 2 ausgerichtete Anordnung der Haupt- Kalibrierflächen 15 bis 17 ist nicht zwingend. Figur 3 zeigt eine beispielhaft verkippte Anordnung einer Haupt-Kalibrierfläche 15‘, die beispielsweise zur xy-Ebene einen Winkel aufweist. Zusätzlich ist in der Figur 3 noch ein externes Koordinatensystem XYZ beispielsweise einer Produktionshalle dargestellt, in dem die Kalibriervorrichtung 1 untergebracht ist. Das xyz-Koordina- tensystem des Koordinatensystems der Kalibriervorrichtung 1 einerseits und das XYZ- Koordinatensystem der Produktionshalle können gegeneinander verkippt sein, wie in der Figur 3 durch einen Kippwinkel rot _z veranschaulicht ist.

Die Haupt-Kalibrierstrukturen 15 bis 17, 15‘ liegen also in einer Haupt-Kalibierstruktur-Haupt- ebene (xy-Ebene in der Anordnung nach den Figuren 1 und 2) und zusätzlich in einer Haupt-Ka- librierstruktur-Winkelebene (yz-Ebene in der Anordnung nach den Figuren 1 und 2) vor, wobei die Haupt-Kalibrierstruktur-Hauptebene xy unter einem Winkel größer als 5°, nämlich unter einem Winkel von 90°, zur Haupt-Kalibrierstruktur-Winkelebene yz angeordnet ist. Dieser Winkel zur Haupt-Kalibrierstruktur-Winkel ebene yz kann je nach Ausführung größer sein als 10°, kann größer sein als 20°, kann größer sein als 30°, kann größer sein als 45° und kann auch größer sein als 60°. Kleine Winkel, zum Beispiel im Bereich zwischen 1° und 10°, können dazu genutzt werden, mit den Haupt-Kalibrierstrukturen eine gekrümmte Kalibrierstruktur-Fläche anzunähern.

Bei der Anordnung nach den Figuren 1 und 2 sowie zusätzlich bei der Anordnung der Haupt-Ka- librierfläche 15‘ nach Figur 3 können mehr als zwei Haupt-Kalibrierstruktur-Flächen 15 bis 17, 15‘ in verschiedenen Haupt-Kalibrierstrukturebenen angeordnet sein.

Eine Position der jeweiligen Haupt-Kalibrierfläche, beispielsweise der Haupt-Kalibrierfläche 15‘ im Vergleich zum xyz-Koordinatensystem kann definiert werden über eine Position eines Zentrums der Haupt-Kalibrierfläche sowie zweier Kippwinkel der Haupt-Kalibrierfläche 15‘ zu den xyz-Koordinaten. Ein weiterer Parameter, mit dem die jeweilige Haupt-Kalibrierfläche 15 bis 17 bzw. 15‘ charakterisiert wird, ist ein Rasterabstand grid der Rasterpunkte 18 der Kalibrierstruktur, der in der Figur 6 veranschaulicht ist. Die beiden grid-Werte, die bei der Haupt-Kalibrierfläche 15‘ in der Figur 6 horizontal und vertikal gegeben sind, müssen nicht zwingend gleich zueinander sein, sie müssen aber fest vorgegeben und bekannt sein.

Auch die Positionen der farbigen Musterelemente 19, der vergrößerten Musterelemente 20 und/oder der kodierten Musterelemente 21 innerhalb des Rasters der Rasterpunkte 18 ist jeweils für die Haupt-Kalibrierfläche 15 bis 17, 15‘ fest vorgegeben. Diese Lagebeziehungen der verschiedenen Musterelemente 18 bis 21 zueinander dienen zur Identifikation der jeweiligen Haupt- Kalibrierfläche, zur Bestimmung der absoluten Lage der jeweiligen Haupt-Kalibierfläche im Raum. Die vergrößerten Musterelemente 20 können zur Stützung der jeweiligen Lagebestimmung herangezogen werden. Unterschiedliche Größen der Musterelemente 18 bis 20 und auch der kodierten Musterelemente 21 ermöglichen eine Kalibriermessung im Nah- und im Fernbereich sowie auch eine Messung, bei der die Haupt-Kalibrierflächen 15 bis 17, 15‘ gegebenenfalls stark zur xy-Ebene verkippt sind.

Weiterhin hat die Kalibrier-Vorrichtung 1 mindestens eine und in der dargestellten Ausführung drei Zusatz-Kalibrierflächen 22, 23 und 24 mit Zusatz-Kalibrierstrukturen 25. Die Zusatz-Kalibrierflächen 22 bis 24 sind durch schalenförmige Kalibriertafeln realisiert. Die Zusatz-Kalibrierstrukturen 25 sind auf der jeweiligen Zusatz-Kalibrierfläche 22 bis 24 in Form eines 3x3-Ras- ters angeordnet. Die Zusatz-Kalibrierstrukturen 25 können ihrerseits jeweils Musterelemente nach Art der Musterelemente 18 bis 21 aufweisen, die vorstehend im Zusammenhang mit den Haupt-Kalibrierflächen erläutert wurden.

Die Zusatz-Kalibrierflächen 22 bis 24 sind gemeinsam auf einem beweglichen Haltearm 26 montiert. Letzterer ist über einen Getriebemotor 27, also einen Kalibrierflächen-Verlagerungsan- trieb, um eine Schwenkachse 28 schwenkbar, die parallel zur x-Richtung verläuft. Über den Getriebemotor 27 sind die Zusatz-Kalibrierstrukturen 22 bis 24 zwischen einer Neutralposition und einer Betriebsposition verlagerbar. Durchgezogen ist in den Figuren 1 und 2 jeweils die Neutralposition der Zusatz-Kalibrierstrukturen 22 bis 24 dargestellt, in der diese außerhalb des Kalibrier-Sichtfeldes 5 angeordnet sind. Gestrichelt ist in der Figur 1 eine im Vergleich zur Neutralposition hochgeschwenkte Betriebsposition des Haltearms 26 und der Zusatz-Kalibrierflächen 22 bis 24 dargestellt. In der Betriebsposition sind die Zusatz-Kalibrierflächen 22 bis 24 im Kalibrier-Sichtfeld 5 angeordnet.

In der Betriebsposition liegt eine zentrale Zusatz-Kalibrierstruktur 25z (vgl. auch Figur 3) beispielsweise, wie in den Figuren 1 und 2 gezeigt, parallel zur xy-Ebene. Die 3x3-Rasteranordnung der Zusatz-Kalibrierstrukturen 25 liegt in der Betriebsposition dann in drei längs der x-Richtung verlaufenden Zeilen 251, 252 und 25s sowie in drei parallel zur y-Richtung verlaufenden Spalten vor. Jeweils benachbarte Zeilen und jeweils benachbarte Spalten der Zusatz-Kalibrierstrukturen 25 sind zueinander um einen Kippwinkel a verkippt, der im Bereich zwischen 5° und 45°, beispielsweise im Bereich von 30° liegen kann. Für die vier jeweils in den Ecken des 3x3-Rasters angeordneten Rasterbereiche liegt diese Verkippung um den Kippwinkel a um zwei aufeinander senkrecht stehende Achsen vor. Es ergibt sich dann der schalenförmige Grundaufbau der jeweiligen Zusatz-Kalibrierfläche 22 bis 24. Die Zusatz-Kalibrierstrukturen 25 liegen in einer von einer ebenen Fläche abweichenden 3D-Anordnung vor.

Zur Kalibrier-Vorrichtung 1 gehört weiterhin eine Auswerteeinheit 29 zur Verarbeitung von aufgenommenen Kameradaten der zu kalibrierenden Kamera 2 sowie der stationären Referenzkameras 7 bis 10 sowie von Zustandsparametern der Vorrichtung, also insbesondere der Position der Zusatz-Kalibrierflächen 22 bis 24 sowie der Haupt-Kalibrierflächen 15 bis 17 sowie von Positionen und Sichtlinien-Verläufen der Referenzkameras 7 bis 10. Die Auswerteeinheit 29 kann einen Speicher für Bilddaten aufweisen.

Zur Kalibrier-Vorrichtung 1 gehört weiterhin eine bewegliche Referenzkamera 30, die ebenfalls der Aufnahme des Kalibrier-Sichtfeldes 5 dient.

Figur 3 veranschaulicht Bewegungsfreiheitsgrade der beweglichen Referenzkamera 30, nämlich zwei Kipp-Freiheitsgrade und einen Translationsfreiheitsgrad.

Figur 4 zeigt Details der beweglichen Referenzkamera 30. Diese ist über einen Kam era- Verlagerungsantrieb 31 zwischen einer ersten Sichtfeld- Aufnahmeposition und mindestens einer weiteren Sichtfeld- Aufnahmeposition verlagerbar, die sich von der ersten Sichtfeld- Aufnahmeposition in einer Bildaufnahmerichtung (vgl. die Aufnahmerichtung 32 in der Figur 1) unterscheidet.

Der Kam era- Verlagerungsantrieb 31 beinhaltet einen ersten Schwenkmotor 33, einen zweiten Schwenkmotor 34 und einen Linearverlagerungs-Motor 35. Ein Kamerakopf 36 der beweglichen Referenzkamera 30 ist an einer Schwenkkomponente des ersten Schwenkmotors 33 über eine Halteplatte 37 montiert. Über den ersten Schwenkmotor 33 kann der Kamerakopf 36 um eine Achse parallel zur x-Achse verschwenkt werden. Der erste Schwenkmotor 33 ist über eine weitere Halteplatte 38 an einem Schwenkelement des zweiten Schwenkmotors 34 montiert. Über den zweiten Schwenkmotor 34 ist ein Verschwenken des Kamerakopfes 36 um eine zur y- Achse parallele Schwenkachse möglich. Über einen Haltebügel 39 ist der zweite Schwenkmotor 34 an einer Linearverlagerungseinheit 40 des Linearverlagerungs-Motors 35 montiert. Über den Linearverlagerungs-Motor 35 ist eine Linearverlagerung des Kamerakopfes 36 parallel zur x-Achse möglich.

Der Kam era- Verlagerungsantrieb 31 und auch der Kamerakopf 36 der Referenzkamera 30 stehen mit der Auswerteeinheit 29 in Signalverbindung. Die Lage des Kamerakopfes 36 wird dabei der Auswerteeinheit 29 abhängig von der Position der Motoren 33 bis 35 und auch abhängig von der Montagesituation des Kamerakopfes 36 zum ersten Schwenkmotor 33 jeweils exakt übermittelt.

Die über den ersten Schwenkmotor 33 vorgebbare Winkelposition des Kamerakopfes 36 wird auch als Nickwinkel bezeichnet. Anstelle des ersten Schwenkmotors 33 kann auch eine Veränderung eines Nickwinkels über eine Gelenkverbindung des Kamerakopfes 36 über eine zur x- Achse parallele Gelenkachse und einen in y-Richtung verlagerbaren Linearantrieb mit zwei Anschlägen zur Vorgabe zweier unterschiedlicher Nickwinkel, der mit dem Kamerakopf 36 verbunden ist, realisiert sein. Die über den zweiten Schwenkmotor 34 vorgebbare Winkelposition des Kamerakopfes 36 wird auch als Gierwinkel bezeichnet.

Figur 5 verdeutlicht beispielhaft acht Varianten von Positionierungen des Kamerakopfes 36 der beweglichen Referenzkamera 30 unter Nutzung der drei Bewegungs-Freiheitsgrade, die in der Figur 3 veranschaulicht sind.

Dargestellt ist strichpunktiert jeweils die Bildaufnahmerichtung 32 abhängig vom jeweils eingestellten Nickwinkel ax und Gierwinkel ay. In der oberen Zeile der Figur 5 liegt der Kamerakopf bei einer kleinen x-Koordinate x _m in vor. In der unteren Zeile der Figur 5 liegt der Kamerakopf 36 an einer im Vergleich hierzu größeren x-Koordinate x _ma x vor. Die acht Bildaufnahmerichtungen nach Figur 5 repräsentieren unterschiedliche Parametertripel (Position x; ax; ay) mit jeweils zwei diskreten Werten für jeden dieser drei Parameter.

Bei einer Variante der Kalibrier-Vorrichtung kann auf die bewegliche Referenzkamera 30 auch verzichtet werden.

Zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille der zu kalibrierenden Kamera 2 wird die Kalibrier-Vorrichtung 1 folgendermaßen eingesetzt: Zunächst wird die zu kalibrierende Kamera 2 in der Halterung 4 gehaltert.

Anschließend werden die stationären Haupt-Kalibrierflächen 15 bis 17 bzw. 15‘ mit der zu kalibrierenden Kamera 2 und den Referenzkameras 7 bis 10 sowie 30 erfasst, wobei die Zusatz-Kalibrierflächen 22 bis 24 in der Neutralposition vorliegen.

Die Zusatz-Kalibrierflächen 22 bis 24 werden dann zwischen der Neutralposition und der Betrieb sposition mit dem Kalibrierflächen-Verlagerungsantrieb 27 verlagert. Anschließend werden die Zusatz-Kalibrierflächen 22 bis 24 mit der zu kalibrierenden Kamera 2 und mit den Referenzkameras 7 bis 10 sowie 30 erfasst, wobei die Zusatz-Kalibrierstrukturen 25 in der Betriebsposition vorliegen. Es werden dann die aufgenommenen Bilddaten der zu kalibrierenden Kamera 2 und der Referenzkameras 7 bis 10 sowie 30 mit der Auswerteeinheit 29 ausgewertet. Diese Auswertung erfolgt über eine Vektoranalyse der aufgenommenen Bilddaten unter Berücksichtigung der Positionen der aufgenommenen Kalibrierstrukturen 18 bis 21 sowie 25.

Beim Erfassen der Haupt-Kalibrierflächen 15 bis 17 und der Zusatz-Kalibrierflächen 22 bis 24 kann jeweils ein erstes Erfassen der Haupt-Kalibrierflächen 15 bis 17, 15‘ einerseits und der Zusatz-Kalibrierflächen 22 bis 24 andererseits mit der beweglichen Kamera 30 in der ersten Sichtfeld-Aufnahmeposition und, nach Verlagern der beweglichen Referenzkamera 30 mit dem Kamera-Verlagerungsantrieb 31, in der mindestens einen weiteren Sichtfeld- Aufnahmeposition erfolgen, wobei beim Auswerten der aufgenommenen Bilddaten auch die Bilddaten der beweglichen Referenzkamera 30 in den mindestens zwei Sichtfeld- Aufnahmepositionen berücksichtigt werden.

Eine Erfassungs-Reihenfolge der Kalibrierflächen 15 bis 17 sowie 22 bis 24 kann folgendermaßen sein: Zunächst werden die Haupt-Kalibrierflächen 15 bis 17 mit der beweglichen Kamera 30 in der ersten Sichtfeld- Aufnahmeposition erfasst. Dann werden die Zusatz-Kalibrierflächen 22 bis 24 in die Betriebsposition verlagert und mit der beweglichen Referenzkamera 30 wiederum in der ersten Sichtfeld- Aufnahmeposition erfasst. Die bewegliche Referenzkamera 30 wird dann in die weitere Sichtfeld- Aufnahmeposition verlagert, wobei die Zusatz-Kalibrierflächen 22 bis 24 in der Betriebsposition verbleiben. Anschließend erfolgt eine Erfassung der Zusatz-Kalibrier- flächen 22 bis 24 mit der beweglichen Referenzkamera 30 in der weiteren Sichtfeld-Aufnahmeposition. Die Zusatz-Kalibrierflächen 22 bis 24 werden dann in die Neutralposition verlagert und es erfolgt ein weiteres Erfassen der Haupt-Kalibrierflächen 15 bis 17 mit der beweglichen Referenzkamera in der weiteren Sichtfeld- Aufnahmeposition. Während dieser Abfolge kann in Zeiträumen, in denen die Zusatz-Kalibrierflächen 22 bis 24 in der Neutralposition vorliegen, eine Erfassung der Haupt-Kalibrierflächen 15 bis 17 auch mit den stationären Referenzkameras 7 bis 10 erfolgen und, soweit die Zusatz-Kalibrierflächen 22 bis 24 in der Betriebsposition vorliegen, eine Erfassung von diesen Zusatz-Kalibrierflächen 22 bis 24 auch mit den stationären Referenzkameras 7 bis 10.

Anhand der Figur 7 wird nachfolgend ein System 41 zur Bestimmung relativer Positionen von Zentren von Eintrittspupillen mindestens zweier Kameras 42, 43, 44 zueinander beschrieben, die an einem gemeinsamen Tragrahmen 45 montiert sind.

Die Kameras 42 bis 44 können dabei vorab hinsichtlich der Lage ihres jeweiligen Eintrittspupil- len-Zentrums mit Hilfe der Kalibrier-Vorrichtung 1 kalibriert worden sein.

Eine nominale Position der Kameras 42 bis 44 relativ zum Tragrahmen 45, also eine Soll-Einbauposition ist bei Durchführung dieser relativen Positionsbestimmung mittels des Systems 41 bekannt.

Bei den Kameras 42 bis 44 kann es sich beispielsweise um Kameras an einem Fahrzeug handeln, die zur Bereitstellung einer Funktion „autonomes Fahren“ genutzt werden sollen.

Das System 41 hat mehrere Kalibrierstruktur-Trägerkomponenten 46, 47, 48 und 49. Bei der Kalibrierstruktur-Trägerkomponente 46 handelt es sich um eine Master-Komponente zur Vorgabe eines Master-Koordinatensystems xyz. Die x-Achse dieses Master-Koordinatensystems verläuft in der Figur 7 nach rechts, die y- Achse verläuft nach oben und z- Achse verläuft senkrecht zur Zeichenebene aus dieser heraus.

Für die Kalibrierstrukturen, die auf den Kalibrierstruktur-Trägerkomponenten 46 bis 49 aufgebracht sind, gilt, was vorstehend zu den Kalibrierstrukturen 18 bis 21 in Zusammenhang insbesondere mit der Figur 6 erläutert wurde. Die Kalibrierstruktur-Trägerkomponenten 46 bis 49 sind in einer Betriebsposition des Systems 41 um den Tragrahmen 45 herum so angeordnet, dass jede der Kameras 42 bis 44 mindestens Kalibrierstrukturen von zweien der Kalibrierstruktur-Trägerkomponenten 46 bis 49 erfasst. Eine derartige Anordnung ist nicht zwingend, es ist also möglich, dass zumindest einzelne der Kameras 42 bis 44 Kalibrierstrukturen von lediglich genau einer der Kalibrierstruktur-Trägerkomponenten 46 bis 49 erfassen. Die Anordnung der Kalibrierstruktur-Trägerkomponenten 46 bis 49 ist zudem so, dass mindestens eine der Kalibrierstrukturen auf genau einer der Kalibrierstruktur- Trägerkomponenten 46 bis 49 von zweien der Kameras 42 bis 44 erfasst wird. Um diese Bedingungen zu gewährleisten, kann gegebenenfalls der Tragrahmen 45 relativ zu den Kalibrierstruktur-Trägerkomponenten 46 bis 49, die ihre Positionen jeweils nicht ändern, verlagert werden.

Figur 7 verdeutlicht ein Lagebeispiel des Tragrahmens 45 mit Ist-Positionen der Kameras 42, 43, 44 auf dem nicht nochmals gezeigten Tragrahmen derart, dass ein Sichtfeld 50 der Kamera 42 die Kalibrierstrukturen der Kalibrierstruktur-Trägerkomponenten 46 und 47 erfasst, während die Kamera 43 mit ihrem Sichtfeld 51 die Kalibrierstrukturen der Kalibrierstruktur-Trägerkomponenten 47 und 48 erfasst und während die weitere Kamera 44 mit ihrem Sichtfeld 52 die Kalibrierstrukturen der Kalibrierstruktur-Trägerkomponenten 48 und 49 erfasst.

Eine relative Lage der Kalibrierstruktur-Trägerkomponenten 46 bis 49 zueinander muss vorab nicht streng definiert sein, darf sich aber während des Positionsbestimmungsverfahrens mittels des Systems 41 nicht ändern.

Zum System 41 gehört weiterhin eine Auswerteeinheit 53 zur Verarbeitung von aufgenommenen Kameradaten der Kameras 42 bis 44 sowie gegebenenfalls von Zustandsparametem während der Positionsbestimmung, also insbesondere einer Identifikation des jeweiligen Tragrahmens 45.

Zur Bestimmung der relativen Positionen der Eintrittspupillen-Zentren der Kameras 42 bis 44 wird das System 41 folgendermaßen eingesetzt:

In einem ersten Vorbereitungsschritt werden die Kameras 42 bis 44 am gemeinsamen Tragrahmen 45 montiert. In einem weiteren Vorbereitungsschritt werden die Kalibrierstruktur-Träger- komponenten 46 bis 49 als Gruppe von Kalibrierstruktur-Trägerkomponenten um den Tragrahmen 45 herum angeordnet. Dies kann auch so geschehen, dass die Gruppe der Kalibrierstruktur- Trägerkomponenten 46 bis 49 in einem Vorbereitungsschritt ausgelegt wird und der Tragrahmen dann relativ zu dieser Gruppe in Position gebracht wird. Zudem wird über die Ausrichtung der Masterkomponente 46 das xyz-Koordinatensystem definiert. Die anderen Kalibrierstruktur-Trägerkomponenten 47 bis 49 müssen nicht zu diesem xyz-Koordinatensystem ausgerichtet sein.

Nun erfolgt ein Erfassen der im Sichtfeld der Kameras 42 bis 44 liegenden Kalibrierstruktur-Trägerkomponenten 46 bis 49 in einer vorgegebenen Relativposition des Tragrahmens 45 zur Gruppe der Kalibrierstruktur-Trägerkomponenten 46 bis 49, beispielsweise in der Ist-Position der Kameras 42 bis 44 nach Figur 7. Die aufgenommenen Bilddaten der Kameras 42 bis 44 werden dann mit der Auswerteeinheit 53 ausgewertet, sodass die exakten Lagen der Zentren der Eintrittspupillen sowie auch der Bildaufnahmerichtungen der Kameras 42 bis 44 im Koordinatensystem der Master-Komponente 46 ermittelt werden. Diese Ist-Positionen werden dann in Koordinaten des Tragrahmens 45 umgerechnet und mit den nominalen Soll-Positionen abgeglichen. Dies kann im Rahmen eines Best Fit- Verfahrens geschehen.

Bei dem Bestimmungsverfahren kann der Tragrahmen zwischen verschiedenen Kamera-Erfassungspositionen auch derart verlagert werden, dass mindestens eine der Kameras, deren Relativposition bestimmt werden soll, eine Kalibrierstruktur-Trägerkomponente erfasst, die vorher von dieser Kamera noch nicht erfasst war. Dieser Schritt des Erfassens und des Verlagerns des Tragrahmens kann so oft wiederholt werden, bis für alle Kameras, deren Relativpositionen zueinander bestimmt werden sollen, die Bedingung erfüllt ist, dass jede der Kameras mindestens Kalibrierstrukturen von zweien der Kalibrierstruktur-Trägerkomponenten erfasst, wobei mindestens eine der Kalibrierstrukturen von zwei der Kameras erfasst wird.

Anhand der Figuren 8 bis 10 wird nachfolgend ein Verfahren zur räumlichen Bilderfassung mit Hilfe einer zwei Kameras 54, 55 aufweisenden Stereokamera 55a beschrieben. Diese Kameras 54 bis 55 können einen Vorbereitungsschritt mit Hilfe der Kalibrier-Vorrichtung 1 kalibriert worden und auch hinsichtlich ihrer Relativposition mit Hilfe des Systems 41 vermessen worden sein. Die Kameras 54, 55 sind wiederum an einem Tragrahmen montiert. Die in der Figur 8 links dargestellte Kamera 54 wird als Master-Kamera zur Definition eines Master-Koordinatensystems xm, ym und zm herangezogen, zm ist hierbei die Bildaufnahmerichtung der Master-Kamera 54. Die zweite, in der Figur 8 rechts dargestellte Kamera 55 ist dann die Slave-Kamera.

Die Master-Kamera 54 ist mit einer inertialen Master-Messeinheit 56 (IMU) fest verbunden, die als Drehratensensor, insbesondere in Form eines mikro-elektro-mechanischen Systems (MEMS) ausgebildet sein kann. Die Master-Messeinheit 56 misst Winkeländerungen eines Nickwinkels daxm, eines Gierwinkels day _m sowie eines Rollwinkels daz _m der Master-Kamera 54 und erlaubt somit, in Echtzeit Lageänderungen des Master-Koordinatensystems xm, ym, zm zu überwachen. Eine Zeitkonstante dieser Echtzeit-Lageänderungs-Erfassung kann besser sein als 500 ms, kann besser sein als 200 ms und kann auch besser sein als 100 ms.

Auch die Slave-Kamera 55 ist mit einer zugehörigen inertialen Slave-Messeinheit 57 fest verbunden, über die Winkeländerungen eines Nickwinkels dax _s , eines Gierwinkels day _s und eines Rollwinkels daz _s der Slave-Kamera 55 in Echtzeit erfasst werden können, sodass relative Änderungen des Slave-Koordinatensystems xs, ys, zs zum Master-Koordinatensystem xm, ym, zm wiederum jeweils in Echtzeit erfasst werden können. Relativbewegungen der Kameras 54, 55 der Stereokamera 55a zueinander können in Echtzeit über die Messeinheiten 56, 57 erfasst und in das räumliche Bilderfassungsverfahren einbezogen werden. Die Messeinheiten 56, 57 können zur Vorhersage einer Relativlageänderung der Kameras 54, 55 zueinander genutzt werden. Eine im Rahmen der räumlichen Bilderfassung erfolgende Bildverarbeitung kann diese Relativlagevorhersage dann noch verbessern. Selbst dann, wenn beispielsweise aufgrund einer Bewegung eines Tragrahmens, auf dem die Stereokamera 54a untergebracht ist, auf unebenem Untergrund, sich die Kameras 54, 55 laufend gegeneinander bewegen, ergibt sich dennoch ein stabiles Ergebnis der räumlichen Bilderfassung.

Eine Verbindunglinie zwischen den Zentren der Eintrittspupillen der Kameras 54, 55 ist in der Figur 8 mit 58 bezeichnet und stellt die Baseline der Stereokamera 55a dar.

Beim Verfahren zur räumlichen Bilderfassung werden folgende Winkel erfasst, die für die Lagebeziehung der Slave-Kamera 55 zur Master-Kamera 54 relevant sind: der Winkel by _s , also eine Verkippung einer auf der Ebene xmzm senkrecht stehenden Ebene, durch die die Baseline 58 verläuft, zur Ebene xmym um die Kippachse ym; bz _s : eine der Verkippung by _s entsprechende Verkippung der Baseline 58 zur Ebene xmzm um eine zur Slave-Koordinatenachse zs parallele Kippachse; ax _s : eine Verkippung der Slave-Koordinatenachse zs, also der Bildaufnahmerichtung der Slave-Kamera 55, zur Ebene xmzm um die Slave-Koordinatenachse xs; ay _s : eine der Verkippung ax _s entsprechende Verkippung der Slave-Koordinatenachse xs relativ zur Master-Ebene xmym um die Slave-Koordinatenachse ys sowie az _s : eine den Verkippungen ax _s , ay _s entsprechende Verkippung der Slave-Koordinatenachse ys zur Master-Koordinatenebene ymzm um die Slave-Koordinatenachse zs.

Bei der räumlichen Bilderfassung mit Hilfe der beiden Kameras 54, 55 unter Berücksichtigung einerseits dieser Winkel by _s , bz _s , ax _s , ay _s , az _s einschließlich der mit den Messeinheiten 56, 57 erfassten Winkeländerungen dax _m , day _m , daz _m , dax _s , day _s , daz _s wird folgendermaßen vorgegangen:

Zunächst wird ein Bild einer räumlichen Szenerie mit Szenerie-Objekten 59, 60, 61 (vgl. Figur 9) gleichzeitig mit den beiden Kameras 54, 55 der Stereokamera erfasst. Diese Bilderfassung der Bilder 62, 63 geschieht für beide Kameras 54, 55 gleichzeitig in einem Erfassungsschritt 64 (vgl. Figur 10).

Die Bilderfassung kann über mehrere Zyklen einer Erfassung der inertialen Messeinheit 56, 57, insbesondere über eine Dauer, die mehreren Zeitkonstanten der Echtzeit-Lageänderungs-Messer- fassungen entspricht, integriert werden.

Dargestellt ist in der Figur 9 schematisch das jeweilige Bild 62, 63 der Kameras 54 und 55.

Die Abbildung des Szenerie-Objekts 59 ist im Bild 62 der Master-Kamera 54 bei 59M dargestellt, die Abbildung des Szenerie-Objekts 60 bei 60M.

Die Abbildung des Szenerie-Objekts 59 ist im Bild 63 der Slave-Kamera 55 bei 59s dargestellt. Die Abbildung des Szenerie-Objekts 61 ist im Bild 63 der Slave-Kamera 55 bei ölsdargestellt. Zudem finden sich im Bild 63 der Slave-Kamera 55 auch an den entsprechenden x, y-Koordina- ten des Bildframes die Abbildungen 59M, 60M der Master-Kamera 54. Eine y- Abweichung der Abbildungs-Positionen 59M, 59S wird als zur Epipolarlinie der jeweiligen Kamera senkrechte Disparität bzw. als vertikale Disparität VD bezeichnet. Entsprechend wird eine x- Abweichung der Abbildungs-Positionen 59M, 59S des Szenerie-Objekts 59 als Disparität längs der Epipolarlinie bzw. als horizontale Disparität HD bezeichnet. Hierzu wird auf die bekannte Terminologie zur Epipolargeometrie verwiesen. Der Parameter „Zentrum der Kamera- Eintrittspupille“ wird in dieser Terminologie als „Projektionszentrum“ bezeichnet.

Die beiden Abbildungen 60M, 61S zeigen in den Bildern 62, 63 die gleiche Signatur, werden also mit dem gleichen Abbildungsmuster in den Bildern 62, 63 dargestellt, stammen aber tatsächlich von den beiden innerhalb der räumlichen Szenerie unterschiedlichen Szenerie-Objekten 60 und 61.

Die charakteristischen Signaturen der Szenerie-Objekte 59 bis 61 in den Bildern werden nun in einem Ermittlungsschritt 65 (vgl. Figur 10) für jede der beiden Kameras 54, 55 getrennt ermittelt.

Die im Schritt 65 ermittelten Signaturen werden in einer Signaturliste jeweils zusammengefasst und in einem Zuordnungsschritt 66 erfolgt ein paarweises Zuordnen der im Schritt 65 ermittelten Signaturen der erfassten Bilder 62, 63. Gleiche Signaturen werden also hinsichtlich der erfassten Szenerie-Objekte einander zugeordnet.

Je nach erfasster räumlicher Szenerie kann sich als Ergebnis des Zuordnungsschritts 66 eine sehr hohe Anzahl zugeordneter Signaturen ergeben, beispielsweise mehrere zehntausend zugeordnete Signaturen und entsprechend mehrere zehntausend ermittelte charakteristische Lageabweichungen.

In einem weiteren Ermittlungsschritt 67 werden nun charakteristische Lageabweichungen der zugeordneten Signatur-Paare voneinander ermittelt, also beispielsweise die vertikalen und horizontalen Disparitäten VD, HD.

Beispielsweise die jeweils ermittelte vertikale Disparität VD wird für alle zugeordneten Signatur-Paare quadratisch aufsummiert. Durch Variation der vorstehend im Zusammenhang mit der Figur 8 beschriebenen Winkelparameter by _s , bz _s , ax _s , ay _s , az _s kann dann eine Minimierung dieser Quadratsumme erfolgen. Diese Quadratsumme hängt von diesen, vorstehend im Zusammenhang mit der Figur 8 erläuterten Winkeln ab.

In einem nachfolgenden Filterungsschritt 68 werden dann die ermittelten Lageabweichungen zur Auswahl zugeordneter Signatur-Paare gefiltert, die mit höherer Wahrscheinlichkeit zum gleichen Szenerie-Objekt 59 bis 61 gehören, unter Einsatz eines Filteralgorithmus. Die einfachste Variante eines solchen Filteralgorithmus ist eine Auswahl durch Vergleich mit einem vorgegebenen Toleranzwert, wobei nur diejenigen Signatur-Paare den Filter passieren, bei denen die Quadratsumme kleiner ist als der Vorgabe-Toleranzwert. Dieser Vorgabe-Toleranzwert kann beispielweise so lange erhöht werden, bis als Ergebnis des Filterns die Anzahl ausgewählter Signatur- Paare kleiner ist als ein vorgegebener Grenzwert.

Bei einer Bildalgorithmus-Variante kann die jeweilige Lageabweichung VD, HD selbst zur Auswahl zugeordneter Signatur-Paare herangezogen werden. Es wird dann geprüft, ob die jeweilige Lageabweichung unterhalb einer vorgegebenen Schwelle liegt.

Es können insbesondere mehrere Schwellen untersucht werden. Zum Beispiel kann geprüft werden, für wie viele Signatur-Paare die vertikale Disparität unter Schwellwerten Si, S2, S3 und S4 liegt, wobei gilt: Si < S2 < S3 < S4. Es resultieren dann vier Listen von jeweils akzeptierten Signatur-Paar-Zuordnungen (akzeptierte Korrespondenzen) und verworfenen Signatur-Paar-Zuordnungen (verworfene Korrespondenzen). Es wird dann untersucht, wie die Anzahl der jeweils gebundenen akzeptierten Korrespondenzen vom Schwellwert abhängt. Der niedrigste Schwellwert wird verwendet, bei dem der Korrespondenz- Anzahlwert näherungsweise gleichbleibt. Es ergibt sich ein heuristisches Verfahren zum Filtern der Signatur-Paare, sodass „falsche“ Signatur-Paare, die nicht zum gleichen Objekt gehören, mit guter Wahrscheinlichkeit verworfen werden.

Sobald als Ergebnis des Filterns eine Anzahl ausgewählter Signatur-Paare kleiner ist als ein vorgegebener Grenzwert, beispielsweise kleiner als ein Zehntel der ursprünglich paarweise zugeordneten Signaturen oder absolut beispielsweise kleiner ist als fünftausend Signatur-Paare, erfolgt in einem Schritt 69 eine Triangulations-Berechnung zur Ermittlung von Tiefendaten für die jeweiligen Szenerie-Objekte 59 bis 61. Neben der Anzahl ausgewählter Signatur-Paare kann als Abbruchkriterium auch ein Vorgabe-Toleranzwert für die Quadratsumme charakteristischer Lage- abweichungen der zugeordneten Signatur-Paare, zum Beispiel der vertikalen Disparität VD, dienen, entsprechend dem, was vorstehend erläutert wurde. Auch eine Standardabweichung der charakteristischen Lageabweichung, beispielsweise der vertikalen Disparität VD, kann als Abbruchkriterium herangezogen werden.

Die Triangulation kann mit dem jeweils akzeptierten Signatur-Paaren, also den akzeptierten Korrespondenzen durchgeführt werden.

Als Ergebnis dieser Triangulations-Berechnung kann in einem Erstellungs-und Ausgabeschritt 70 eine 3D-Datenkarte der erfassten Szenerie-Objekte 59 bis 61 innerhalb des erfassten Bildes der räumlichen Szenerie als Ergebnis erstellt und ausgegeben werden. Ein Beispiel für eine derartige 3D-Datenkarte ist eine Zuordnung aller Punkte des jeweiligen Szenerie-Objekts zu jeweiligen Werte-Tripeln Xi, yi, Zi, die die Lage dieses jeweiligen Szeneriepunkts in kartesischen Koordinaten wiedergeben. Über einen entsprechenden Zugriff auf diese 3D-Datenkarte ist eine räumliche Wiedergabe des jeweiligen Szenerie-Objekts möglich.

Soweit sich beim Filterschritt 68 ergibt, dass die Anzahl der ausgewählten Signatur-Paare noch größer ist als der vorgegebene Grenzwert, erfolgt zunächst in einem Ermittlungsschritt 71 ein Ermitteln von Winkelkorrekturwerten zwischen den verschiedenen ausgewählten zugordneten Signatur-Paaren zur Prüfung, ob abgebildete Roh-Objekte, die zu den verschiedenen ausgewählten zugeordneten Signatur-Paaren gehören, innerhalb der räumlichen Szenerie lagerichtig zueinander angeordnet werden können. Hierzu werden die vorstehend im Zusammenhang mit der Figur 8 beschriebenen Winkel herangezogen, wobei aufgrund der Messüberwachung über die Messeinheiten 56, 57 diese Winkel in Echtzeit korrigiert vorliegen.

Aufgrund einer im Ermittlungsschritt 71 erfolgenden Ausgleichsberechnung lassen sich dann beispielsweise die Szenerie-Objekte 60, 61 trotz ihrer identischen Signaturen 60M, 61s in den Bildern 62, 63 voneinander unterscheiden, sodass ein entsprechend zugeordnetes Signatur-Paar als Fehlzuordnung ausgesondert werden kann, sodass die Anzahl der ausgewählten Signatur- Paare sich entsprechend verringert.

Nach erfolgter Winkelkorrektur wird in einem Vergleichsschritt 72 ein Vergleich der jeweils für die Signatur-Paare ermittelten Winkelkorrekturwerte mit einer vorgegebenen Korrekturwert- Größe durchgeführt. Soweit die Winkelwerte der Signatur-Paare als Ergebnis des Vergleichsschritts 72 stärker voneinander abweichen als die vorgegebene Korrekturwert-Größe wird in einem Anpassungsschritt 73 der Filteralgorithmus, der im Filterschritt 68 zum Einsatz kommt, so angepasst, dass sich nach dem Filtern mit dem angepassten Filteralgorithmus eine Anzahl ausgewählter Signatur-Paare ergibt, die kleiner ist als die Anzahl, die sich beim vorhergehenden Filterschritt 68 ergeben hat. Diese Anpassung kann dadurch erfolgen, dass Signatur-Paare ausgeschieden werden, die sich in ihren Disparitäten um mehr als ein vorgegebener Grenzwert unterscheiden. Auch ein Vergleichsmaßstab, ab wann die Signaturen eines potentiellen Signatur-Paares als gleich und damit zuordenbar beurteilt werden, kann bei der Anpassung 73 kritischer eingestellt werden.

Diese Abfolge der Schritte 73, 68, 71 und 72 wird dann so lange durchgeführt, bis sich ergibt, dass die Winkelkorrekturwerte der verbleibenden zugeordneten Signatur-Paare höchstens so weit voneinander abweichen wie die vorgegebene Korrekturwert-Größe. Es erfolgt dann wiederum die Triangulationsberechnung im Schritt 69, wobei hierbei die Winkelkorrekturwerte der ausgewählten Signatur-Paare einbezogen werden können, und das Erstellen und Ausgeben der erhaltenen Ergebnisse insbesondere in Form wiederum einer 3D-Datenkarte.

Anhand der Figur 11 wird nachfolgend ein Verfahren zur Erzeugung einer redundanten Abbildung eines Messobjekts erläutert. Hierzu werden mehrere Kameras miteinander verknüpft, deren Eintrittspupillen-Zentren eine Kamera-Anordnungsebene definieren. Figur 11 zeigt hierzu zwei Gruppen zu je drei Kameras 74 bis 76 einerseits (Gruppe 74a) und 77, 78, 79 andererseits (Gruppe 77a). Die Gruppen 74a einerseits und 77a andererseits haben jeweils eine zugeordnete Datenverarbeitungseinheit 80, 81 zur Verarbeitung und Auswertung der von den zugehörigen Kameras erfassten Bilddaten. Die beiden Datenverarbeitungseinheiten 80, 81 stehen über eine Signalleitung 82 miteinander in Signalverbindung.

Zur Erfassung einer räumlichen Szenerie können beispielsweise die Kameras 74 bis 76 der Gruppe 74a miteinander zusammengeschalten werden, sodass, beispielsweise über ein Bilderfassungsverfahren, das vorstehend im Zusammenhang mit den Figuren 8 bis 10 erläutert wurde, eine 3D-Erfassung dieser räumlichen Szenerie ermöglicht ist. Zur Erschaffung einer zusätzlichen Redundanz dieser räumlichen Bilderfassung kann das Bilderfassungsergebnis beispielsweise der Kamera 77 der weiteren Gruppe 77a herangezogen werden, welches der Datenverarbeitungseinheit 80 der Gruppe 74a über die Datenverarbeitungseinheit 81 der Gruppe 77a und die Signalleitung 82 zur Verfügung gestellt wird. Aufgrund der räumlichen Entfernung der Kamera 77 zu den Kameras 74 bis 76 der Gruppe 74a ergibt sich ein bei der Abbildung der räumlichen Szenerie deutlich anderer Blickwinkel, was die Redundanz der räumlichen Bilderfassung verbessert.

Eine Kamera- Anordnungsebene 83 die von den Kameras 74 bis 76 der Gruppe 74a bzw. den Kameras 77 bis 79 der Gruppe 77a definiert ist, ist in der Figur 11 schematisch angedeutet und liegt unter einem Winkel zur Zeichenebene der Figur 11.

Eine räumliche Bilderfassung mit Hilfe der Kameras genau einer Gruppe 74a, 77a wird auch als Intra-Bilderfassung bezeichnet. Eine räumliche Bilderfassung unter Einbeziehung der Kameras von mindestens zwei Gruppen wird auch als Inter-Bilderfassung bezeichnet.

Eine Triangulation kann beispielsweise mit den Stereo-Anordnungen der Kameras 78, 79, der Kameras 79, 77 und der Kameras 77, 78 jeweils unabhängig erfolgen. Die Triangulationspunkte dieser drei Anordnungen müssen jeweils übereinstimmen.

Eine Kamera-Gruppe nach Art der Gruppen 74a, 77a kann in Form eines Dreiecks, insbesondere in Form eines gleichschenkligen Dreiecks angeordnet sein. Auch eine Anordnung von sechs Kameras in Form eines Hexagons ist möglich.

Im Vergleich zum Abstand zwischen den Kameras einer Gruppe 74a, 77a sind die Kameras der jeweils anderen Gruppe um mindestens einen Faktor 2 weiter entfernt. Ein Ab stand zwischen den Kameras 76 und 77 beträgt also mindestens das Doppelte des Abstandes zwischen den Kameras 75 und 76 bzw. den Kameras 74 und 76. Dieser Ab Standsfaktor kann auch größer sein und kann beispielsweise größer sein als 3, kann größer sein als 4, kann größer sein als 5 und kann auch größer sein als 10. Ein durch die jeweilige Gruppe 74a, 77a abgedeckter Kamera-Nahbereich kann beispielsweise im Bereich zwischen 80 cm und 2,5 m liegen. Über die Hinzunahme mindestens einer Kamera der jeweils anderen Gruppe kann dann über die Nahbereichs-Grenze hinaus auch ein Fembereich mit der Bilderfassungs-Vorrichtung erfasst werden. Nachfolgend wird ein Verfahren zur räumlichen Bilderfassung beschrieben, welches als Ergänzung der vorstehenden Beschreibung verstanden werden soll.

Zur räumlichen Bilderfassung wird ein Gleichungssystem für Bildpunktkorrespondenzen von bekannten Bildpunkten (u,v)iinks mit (u, v) _re chts zum Beispiel der Kameras 54, 55 mit bekannter Brennweite f gelöst. Dieses Gleichungssystem lautet:

Diese Gleichung 1 wird nachfolgend anhand der Figur 12 noch näher erläutert.

In der Gleichung 1 bedeuten: ui, vi: Bildkoordinaten eines betrachteten Szenerie-Merkmals, am Beispiel des Szenerie-

Objekts 59, 59i (=59M) im linken Bild;

Ur, v _r : Bildkoordinaten des Merkmals, am Beispiel des Szenerie-Objekts 59, 59 _r (=59s) im rechten Bild; fi, fi: Brennweiten der linken bzw. rechten Kamera 54, 55; i, A, _r : Laufvariablen entlang des Strahls vom Zentrum der linken bzw. rechten Kamera 54,

55 durch den Bildpunkt der linken bzw. rechten Kamera. Bei k=0 ist das Zentrum der linken bzw. rechten Kamera 54, 55, bei =1 ist der Punkt 59i, 59 _r des Szenerie-Objekts 59 auf dem jeweiligen Bild 62, 63 der jeweiligen Kamera 54, 55. Bei X>1 liegen Punkte auf dem weiteren Strahl vor der linken bzw. rechten Kamera 54, 55 nach der jeweiligen Bildebene 62, 63 bis zum Schnittpunkt im Szenerie-Objekt 59 und darüber hinaus; t _x , t _y , t _z : Koordinaten der Position des Zentrums der rechten Kamera 55 im Koordinatensystem der linken Kamera 54. Die Länge dieses Vektors t ist die Basislänge (bien) bzw. Baseline 58 (vgl. Fig. 8). Diese Länge des Vektors t kann gemessen werden und/oder ist aus der Montagesituation der beiden Kameras 54, 55 heraus bekannt. Es verbleiben, nachdem die Länge von t bekannt ist, zwei Freiheitsgrade bei den drei Koordinaten t _x , t _y und t _z ; Rxx, . . . , R _zz : Parameter der Rotationsmatrix zur Beschreibung der Drehlage der rechten Kamera 55 im Koordinatensystem der linken Kamera 54. Diese Drehung hat drei Rotationsfreiheitsgrade.

Strichpunktiert sind in der Figur 12 wiederum und vergleichbar zur Figur 9 die optischen Achsen der beiden Kameras 54, 55 dargestellt.

Die obige Gleichung 1 kann als drei Gleichungen 1.1, 1.2 und 1.3 für das Wertetripel ui (Gleichung 1.1), vi (Gleichung 1.2) und fi (Gleichung 1.3) geschrieben werden. Es handelt sich also um ein Gleichungssystem mit drei Gleichungen (Gl.1.1 bis Gl.1.3) und zwei Unbekannten ( i, Xr). Diese Gleichungen können in eine Gleichung unter Elimination der Unbekannten (Xi, X _r ) überführt werden.

Eine Korrespondenz ist dabei eine Übereinstimmung von Merkmalspunkten bei einer Erfassung des gleichen Szenerie-Objekts durch die verschiedenen Kameras 54, 55 (links 1, rechts r) der Bilderfassungsvorrichtung. Wenn ein Merkmalspunkt eine Szenerie-Objekts von der Kamera 54 bei Bildkoordinaten ui, vi erfasst wurde und der gleiche Merkmalspunkt mit der Kamera 55 bei den Bildkoordinaten uj, vj, handelt es sich hierbei um eine (positive) Korrespondenz. Jede Korrespondenz kann eine vertikale Disparität VD zugeordnet werden. Daher sind mindestens fünf Korrespondenzen pro Kamerapaar notwendig, die Zahl kann etwas höher, vorteilhaft aber deutlich höher sein, wegen höherer statistischer Stabilität.

Bei den Bildpunkt-Korrespondenzen kann es sich um Stereokorrespondenzen handeln. Zur Stereokorrespondenz wird verwiesen auf die Fachartikel Daniel Scharstein, Richard Szeliski: A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, in: International journal of computer vision, 47. Jg., Nr. 1-3, 2002, S. 7-42 und Alex Kendall et al.: End-to-end learning of geometry and context for deep stereo regression. CoRR, vol. abs/1703.04309, 2017. u, v sind in GL 1 kartesische Koordinaten des jeweiligen Bildpunkts, zum Beispiel die jeweiligen kartesischen Koordinaten x, y bzw. Koordinaten in Richtung der jeweiligen horizontalen und vertikalen Disparität HD, VD. Die Vektoren (u,v,f) beschreiben einen Punkt auf dem Strahl vom Ursprung einer Kamera 54, 55 mit Laufparameter .

Gl. 1 beschreibt die Lageänderung von der rechten Kamera (zum Beispiel Kamera 55) zur linken Kamera (zum Beispiel Kamera 54) mit drei Positionsparametern über den Translationsvektor t und die Rotationsmatrix R, also mit sechs Freiheitsgraden.

Weil die Länge (Basislänge = baseline 58 der Fig. 8 = bien) des Verschiebevektors t ohne Skalarwissen in der räumlichen Szenerie nicht geschätzt werden kann, sondern gemessen wird oder anderweitig vorbekannt ist, gibt es 5 Freiheitsgrade, nämlich zwei mit bien normierte zu bien senkrechte Verschiebungen (die auch als Drehungen der bien interpretiert werden können) und drei Drehungen der rechten Kamera zur linken (also 5 Drehungen).

Ein Beispiel für die 5 Freiheitsgrade sind die vorstehend genannten Winkel by _s , bz _s , ax _s , ay _s , az _s für die Lagebeziehung der Slave-Kamera 55 zur Master-Kamera 54.

Das Gleichungssystem GL 1 besteht aus drei Gleichungen mit zwei Unbekannten, nämlich den beiden Laufparametern i, A, _r und fünf Freiheitsgraden der Translationsmatrix T und der Rotationsmatrix R.

Aus dieser drei Gleichungen lässt sich eine Gleichung bilden, in der keine unbekannte Größe mehr vorliegt. Durch geeignete Umformungen entsteht also genau eine Gleichung ohne die X Parameter, also nur abhängig von den 5 Freiheitsgraden.

Mit mindestens fünf Gleichungen können die Freiheitsgrade zum Beispiel durch einen Schätzer berechnet werden. Ein derartiger Schätzer löst das in der Regel überbestimmte Gleichungssystem durch Minimierung eines Restfehlers. Ein derartiger Schätzer ist in der Literatur bekannt als „James-Stein-Schätzer“ (vgl. den Fachartikel „Stein’ s estimation rule and its competitors - an empirical bayes approach“ von B. Efron und C. Morris, Journal of the American Statistical Association 68 (341, Seiten 117 bis 130, 1973).

Die Korrespondenzen, also die Bildpunkt-Korrespondenzen entsprechend der obigen Gleichung 1, müssen zueinander linear unabhängig sein. Mit einer hohen Anzahl von Korrespondenzen können Falsch-Positive durch Algorithmen herausgefiltert werden, die auf der Gewichtung der Merkmale über ihre Größe der Ablage zur jeweiligen Epipolarlinie der jeweiligen Kamera 54, 55 basieren.

Die Falsch-Positiven Korrespondenzen sind in erster Näherung normalverteilt. Die echten positiven Korrespondenzen haben charakteristische Häufungen, sind also nicht normal verteilt. Die Filterung führt dazu, dass die Falsch-Positiven Korrespondenzen herausgefiltert werden, sodass im Rahmen eines konvergenten Algorithmus die positiven Korrespondenzen übrigbleiben. Die Positiven lassen den Schätzer auf den IST-Wert konvergieren. Dieser Schätzer funktioniert auch bei schielenden Kameras (Richtungsabweichung zwischen zm und zs, vgl. insbesondere die obige Beschreibung zur Figur 8) und konvergiert schneller bei Fischaugen-Kameras.

Soweit die Bilderfassungsvorrichtung zwei Kameras 54, 55 aufweist, müssen fünf Freiheitsgrade bestimmt werden. Bei drei Kameras, die zu zwei Kamerapaaren konfiguriert werden können, ergeben sich zehn zu bestimmende Freiheitsgrade.

Im Allgemeinen stehen bei einer Bilderfassungsvorrichtung n Kameras zur Verfügung. Bei einem Kamerapaar können 5 Freiheitsgrade geschätzt werden. Jede Kamera, die über ein erstes Kamerapaar mit fünf Freiheitsgraden hinausgeht, trägt sechs zusätzliche Freiheitsgrade bei. Bei n Kameras ergeben sich dann 6n - 1 schätzbare Freiheitsgrade.

In beide Kameras 54, 55 der Bilderfassungsvorrichtung werden IMU (Inertialsensoren für die Drehrate) eingebaut. Aus der Drehrate in einer Periode (Mono-Period-Frame) kann die Drehlageänderung geschätzt werden und somit die fünf Drehlageänderungen der Kameras zueinander. Der Restfehler wird durch die Anwendung des Verfahrens kompensiert. Bei Einsatz von IMUs kann zusätzlich eine IMU-Translation genutzt werden. Beim Einsatz von IMUs können Beschleunigungswerte erfasst werden, was eine Vorhersagegenauigkeit verbessern hilft.

Die Vorhersage durch die IMU-Daten kann zur Stabilisierung auch über mehrere Zyklen integriert werden. Dazu wird das Verfahren ebenfalls über diese Perioden gerechnet. Die Anzahl der Kameras kann anstelle von zwei auch auf drei und mehr Kameras zur gemeinsamen Berechnung erhöht werden. Durch die unterschiedlichen Perspektiven werden die Schätzergebnisse verbessert, selbst wenn die Kameras in einer Reihe liegen.

Die Schätzung wird nochmals verbessert, wenn die Kameras eine Fläche aufspannen.

Die Schätzung wird nochmals verbessert, wenn die Kameras stärker schielen und somit zusammen ein größeres Blickfeld eröffnen. In diesem Sinne kann ein Fischauge als Kamera 54, 55 besser sein als ein Normalobjektiv.

Jedes der Szenerie-Objekte kann ein größerer korrespondierender Bildbereich (Blob) sein, zum Beispiels eine Komponente eines Fahrzeugs. Die Korrespondenzen größerer Blobs können genauer ermittelt werden als die Korrespondenzen kleinerer Merkmale.

Mit drei Kameras kann dasselbe räumliche Merkmal in drei Bildern gefunden werden. Wird es dreimal gefunden, ist es plausibilisiert. Eine entsprechende Plausibilisierung kann in die Lageabweichungs-Filterung des Bilderfassungsverfahrens eingehen. Wenn ein bestimmtes Merkmal von zwei Kameras erfasst wird, kann dessen Position bei Erfassung durch die dritte Kamera vorhergesagt werden. Wird es dort bei der Abbildung durch die dritte Kamera tatsächlich abgebildet, ist das fragliche räumliche Merkmal dann plausibilisiert. Falls nicht, wird eine Fehlzuordnung angenommen.

Mit zunehmender Anzahl der Kameras steigt die Plausibilisierung, somit die erwähnten Zurückweisungen von Falsch-Positiven Korrespondenzen.

Jede Schätzung gewichtet die Korrespondenzen über die Gewichte der Ablagen zur Epipolarlinie der jeweiligen Kamera 54, 55. Vor jedem Schätzschritt wird die jeweilige Epipolarlinie berechnet. Bei Mehrfachschätzung verändert sich die Epipolarlinie, die Gewichte werden mitverändert. Bis zu einem Schwellwert kann beispielsweise das Gewicht „1“ angenommen werden. Bis zu einem doppelten Schwellwert kann das Gewicht dann linear auf null abgesenkt werden. Die Veränderung der Gewichte im Laufe der Mehrfachschätzung gibt ihrerseits wieder Informationen über die Möglichkeit eines Falsch-Positiven, dass wiederum zu neuen Gewichtungen führt. Die Größe der jeweiligen Gewichte kann durch Vergleich der Korrespondenz-Anzahlen bei Verwendung der vier unterschiedlich großen Schwellwerte Si bis S4 geleitet werden.

Die Gewichtungen werden über eine Kostenfunktion abhängig von beispielsweise der Größe der Schwellwerte beschrieben.

Die Korrespondenzen sollen möglichst gleichmäßig im Bild verteilt werden. Dazu wird das Bild in Zonen eingeteilt (zum Beispiel neun gleichmäßig verteilte Zonen). Die Anzahl der Merkmale in den Zonen sollte idealerweise gleichmäßig sein. Eine ZDF (Zone Distribution Funktion) beschreibt die Verteilung der Merkmale im Bild. Bei ungünstiger Verteilung wird die Schätzung zurückgewiesen.

Ein Schätzer ist hinsichtlich des gewonnenen Ergebnisses robuster, soweit gleichmäßig über das jeweilige Bild verteilte Korrespondenzen vorliegen. Bei der Zonen-Unterteilung kann sichergestellt werden, dass in allen Zonen eine Mindestanzahl von Korrespondenzen vorliegt. Zumindest bei einer letzten durchgeführten Schätzung muss eine derartige Mindestanzahl von Korrespondenzen in den Zonen vorliegen. Korrespondenzen aus Zonen, in denen viele Korrespondenzen im Vergleich beispielsweise zu einem Mittelwert der Korrespondenzen in den aufgeteilten Zonen vorliegen, können dann durch kleinere Gewichtsfaktoren weniger gewichtet werden.

Ungleichverteilte Korrespondenzen können alternativ zum vorstehend beschriebenen Umgewichten auch durch Löschen in überbesetzten Zonen besser gleichverteilt werden.

Ungleichverteilte Korrespondenzen können durch Gewichtung in überbesetzten Zonen diskriminiert werden.

Die ZDF- Verteilung kann auch über die Gewichte aus der Nähe zu den Epipolarlinien angepasst werden. Dies folgt durch ein Produkt einerseits aus einem Gewicht, das von der Nähe der jeweiligen Epipolarlinie abhängt und andererseits von einem Gewicht, das von der jeweiligen Zone abhängt. Die Korrespondenzen werden über ihre Abstände zur aktuellen Epipolarlinie gewichtet. Grundsätzlich können sehr viele Korrespondenzen, also auch größere Abstände zur jeweiligen Epipolarlinie in Betracht gezogen werden. Die Zahl der Korrespondenzen mit kleinen Abständen zur jeweiligen Epipolarlinie sollte aber vergleichsweise groß sein. Dazu wird die Kurve der Anzahl der Korrespondenzen über wachsende maximale Epipolarab stände betrachtet. Diese typischerweise s-förmige Kurve (erst leicht steigend, dann stark steigend, dann wieder schwach steigend), die die Anzahl der Korrespondenzen als Funktion des Epipolarabstands angibt, wird analysiert und der Ort des größten Gradienten gesucht (Inflektionspunkt). Bei kleinen Änderungen kleiner Abstände nehmen zurückgewiesene Korrespondenzen statistisch nahezu linear zu.

Jenseits eines tatsächlichen Fehlers bleibt diese Zunahme nominell konstant.

Dieser Ort ist ein Kompromiss zwischen möglichst vielen Korrespondenzen und nicht zu vielen Korrespondenzen mit großem Abstand.

In der Nähe eines Ist-Wertes häufen sich die Korrespondenzen, es steigt also die Signifikanz. Weit entfernt von einem Ist-Wert sind die Korrespondenzen in der Regel statistisch verteilt (Hintergrundrauschen) .

Die Ergebnisse der Schätzung können über eine zeitliche Periode gemittelt werden. Es können also mehrere Bilder in einer Sequenz aufgenommen und einer entsprechenden Schätzung unterzogen werden. Es ergibt sich eine zeitliche Filterung.

Die gemittelten Schätzwerte werden nur bis zu einer maximalen Vergangenheit gemittelt. Es erfolgt also eine gleitende Mittelwertbildung in Echtzeit. Störungen, die entsprechend lange zurückliegen, werden wieder vergessen und behindern die neuesten Schätzungen nicht mehr.

Die Relativlagen der bei der Bilderfassungsvorrichtung zum Einsatz kommenden Kameras können mit dem Bilderfassungsverfahren geschätzt werden. Schätzergebnisse verschiedener Bilderfassungs-Szenarien können verglichen werden. Weichen sie zu stark voneinander ab, wird zurückgewiesen und deaktiviert (Fail-Safe) oder durch eine dritte eines der beiden Ergebnisse bestätigt und die Mission fortgesetzt (Fail-Operational). Die Messungen mit diesen rekalibrierten Kameras werden in diesem Fall ebenfalls mit zwei Übereinstimmungen innerhalb von drei Messungen bestätigt.

Einer extrinsischen Kalibrierung mit dem Bilderfassungsverfahren liegt eine intrinsische Kalibrierung (Verzeichnung bzw. Verzerrung, Brennweite etc) der jeweiligen Kamera zugrunde.

Die Modellfehler der intrinsischen Kalibrierung kann in die Gewichtungen der Abstände zu den Epipolarlinien integriert werden. Eine Vorhersage von Koordinaten der Szenerie-Objekte 59 bis 61 im Bild der zweiten Kamera 55, abhängig von den Epipolarlinien- Abständen, also die Epipolarkurve, kann unmittelbar unter Berücksichtigung einer Verzerrungsbeschreibung erfolgen. Die Gewichte einer derartigen Beschreibung können entsprechend einem erwarteten Restfehler einer Verzerrungskorrektur erhöht werden.

Zur Erfassung der Rundumsicht mit möglichst wenigen Kameras können die Kameras mit Fischaugenobjektiven mit einer Brennweite kleiner als 20 mm, insbesondere kleiner als 10 mm ausgestattet sein. Bei größeren Abständen wird die Entfernungsauflösung wegen der geringen Brennweite geringer sein, als bei der Verwendung von Normal- oder Tele-Objektiven. Die Schätzung mit Normal- oder Teleobjektiven ist instabiler als die Schätzung mit Fischaugenobjektiven. Werden Telekameras mit einer Brennweite von mindestens 80 mm, die insbesondere mindestens 150 mm oder mindestens 200 mm betragen kann, zur Optimierung der vorstehen beschriebenen Kameras 54, 55, 74-76, 77-79 formstabil an Fischaugen-Kameras montiert bzw. zugeordnet, kann die Schätzung der Fischaugen-Kamera in die Telekamera transformiert werden. Werden zwei Fischaugen-Kameras geschätzt, ergeben sich automatisch neue Schätzwerte für die an ihnen assoziierten Telekameras. Die höhere Auflösung der Telekameras kann aber Beiträge zur Schätzung des Systems aus mindestens zwei Fischaugenkameras und den assoziierten Telekameras liefern. Die Bilderfassungsvorrichtung hat dann nicht mehr nur Fischaugen-Kameras sondern auch zusätzliche, zugeordnete Telekameras. Zwei Fischaugenkameras können beispielsweise ein Stereopaar (vgl. das obige Beispiel der Kameras 54. 55) bilden. Jeder Fischaugenkamera kann eine Telekamera fest bzw. steif zugeordnet sein. Aus Korrespondenzen der Fischaugenkameras einerseits und Korrespondenzen der Telekameras andererseits kann dann entsprechend zur vorstehenden Gleichung 1 ein vergrößertes Gleichungssystem aufgebaut werden, das dann gelöst wird. Die Schätzwerte können über mehrere Frames gemittelt werden. Die Mittelung kann mit IMU- Wert-normierten Schätzwerten erfolgen. Größere Bewegungen gehen weniger störend ein.

Die Mittelung der IMU-Wert-normierten Schätzungen kann durch Rückweisung von IMU- detektierten Ruck-Bewegungen geglättet und somit stabilisiert werden.

Ein Bewegungsmodell kann eine Schätzung unterstützen. Eine Vorhersage der Winkel mit ihren Wahrscheinlichkeit kann mit der aktuellen Messung und den Messfehlern ausbalanciert und dynamische Messungen unterstützt werden. Das Bewegungsmodell basiert auf der Steifigkeitsannahme einer Träger Struktur bzw. des Tragrahmens der Kameras. Die Bewegung muss langsamer als die Exposuretime, also die Belichtungszeit, kann aber schneller als die Cycletime, also die Bildwiederholzeit, sein.

Die typischen Bewegungen eines Aufbaus können aufgezeichnet werden und aus diesem Trainingssatz Kl-Modelle (Modelle der künstlichen Intelligenz) abgeleitet werden, die eine bessere Vorhersage erlauben. So können zum Beispiel Motorschwingungen kompensiert werden, die in die Träger Struktur für die Kameras eingeleitet werden.

Das Kl-Modell kann Ruck-artige Bewegungen detektieren und Schätzungen zurückweisen helfen.

Die Schätzung der Relativlage der Kameras kann asynchron mit der Messung mittels Triangulation sein. Die Messung basiert auf klassischen Stereoalgorithmen rektifizierter Bilder.

Das Bilderfassungsverfahren verwendet Native Merkmale zur Bildung von Korrespondenzen.

Ein klassisches Stereo-Matching- Verfahren vergleicht Grauwertdifferenzen und sucht einen Ort entlang der Epipolarkurve, typischerweise eine horizontale Strecke, mit geringstem Grauwertabstand, der eine Schwelle unterschreiten muss. Eine Signatur liegt vor, wenn die Grauwerte gleich sind. „Native“ Merkmale werden aus einer Transformation von Grauwerten einer Merkmalsumgebung in eine Signatur umgewandelt. Es erfolgt also ein Vergleich von Grauwerten innerhalb einer Merkmalsumgebung in einem Kamerabild. Es werden nur Merkmale verwendet, deren Signaturen im Bild vergleichsweise selten vorkommen, beispielsweise weniger als zehn, weniger als acht oder weniger als siebenmal. Derartige, seltene Merkmale werden als native Merkmale bezeichnet.

Die Korrespondenzen können auch zur Entfernungsmessung mit Triangulation verwendet werden. Die Merkmale werden extrahiert und zur Triangulation verwendet (Native- Stereo). Dieselben Merkmale werden im Rahmen des Bilderfassungsverfahrens und zur Schätzung verwendet. Ist die Schätzung fertig, können die neuen Ergebnisse asynchron den Messungen beigestellt werden. Es wird mehrfach gemessen, während nur einmal geschätzt wird. Dies erfolgt bei langsam sich verändernder Relativlage der Kameras.

Das Bilderfassungsverfahren kann in gröberen (gebinnten) Bildern, also in Bildern, bei denen jeweils eine Mehrzahl von Pixeln zusammengefasst ist, schnell starke Abweichungen entdecken. Falls diese erkannt werden, werden in den feineren Bildern die genauen Änderungen ermittelt und den Messungen zur Verfügung gestellt. Schätzungen mit kleineren Abweichungen werden nicht zur Verfügung gestellt, weil die rechenaufwändige Berechnung der Warpparameter für rektifizierte Bildern vermieden werden soll. Warpparameter sind Parameter zur Beschreibung einer gewünschten Entzerrung auf Basis einer Verzerrungsbeschreibung, also auf Basis einer Bildfehlerbeschreibung der Kameras 54, 55.

Die zurückgewiesenen Abweichungen müssen natürlich kleiner als die von DenseStereo, also von dem vorstehend beschriebenen klassischen Stereo-Matching- Verfahren, tolerierbaren Abweichungen sein. Zeilenfehler von einem Pixel können dabei in der Regel toleriert werden. Dies ist abhängig von einer Größe einer verglichenen Umgebung. Derartige Zeilenfehler führen aber auch dann, wenn sie gering sind, zu Fehlem in der Entfernungsmessung.

Bei stark verformbaren (weichen) mechanischen Konstruktionen zwischen den jeweils betrachteten Kameras, beispielsweise den Kameras 54, 55 muss vor jeder Messung eine Schätzung erfolgen. Aus den Schätzdaten werden die Warpparameter errechnet, dann die rektifizierten Bilder mit dem Ziel der Zeilentreue berechnet und aus der Dense Stereo-Korrespondenz, also ein Ort eines minimalen Abstands, die Entfernung über Triangulation ermittelt. Die Berechnungen der Warpparameter für DenseStereo sind rechenaufwändig. Das Native-Stereo, also eine Zuordnung nativer Merkmale ohne Zeilentreue und ohne Vergleich von Grauwerten, wo ausschließlich ein Vergleich von Signaturen erfolgt, kann unmittelbar aus den Korrespondenzen des Bilderfassungsverfahren die Triangulation rechnen.

Das Bilderfassungsverfahren liefert außerdem über die Gewichtung der Abstände zu den Epipolarlinien ein Vertrauensmaß für die Korrespondenzen. Bei dem Vertrauensmaß handelt es sich zum einen um eine Wahrscheinlichkeit einer Zuordnung über mehr als zwei Kameras und zum anderen über eine Bewertung einer Größe eines zu erwartenden Rauschens, letztlich also ein Sig- nal/Rausch Verhältnis.

Die synchrone Folge von Schätzung und Triangulation mit Nativen Merkmalen ist somit effizient und gibt ein Maß für die Vertrauenswürdigkeit von Messpunkten.

Die Native-Triangulation kann aus einer Korrespondenz die Entfernung messen. Hierbei wird ein Mittelpunkt eines Abstands windschiefer Strahlen betrachtet, die aus zwei korrespondierenden Bildpunkten der beiden Stereokameras 54, 55 generiert werden. Ein derartiger Abstand muss eine vorgegebene Schwelle unterschreiten.

Werden aber drei oder mehr Kameras verwendet, können pro Merkmal drei oder mehr Korrespondenzen vorliegen. Die Entfernungsmessung wird genauer und zuverlässiger. Die Anzahl der Messpunkte sinkt allerdings in der Regel. Eine Schnittmenge erfolgreicher Triangulationen zwischen einem Kamerapaar 1/2 und einem Kamerapaar 2/3 ist kleiner als eine Vereinigungsmenge der beiden erfolgreichen Triangulationen.

Werden in Kamerapaaren mehrere gleiche Signaturen gefunden, entstehen multiple Korrespondenzen. Aus diesen Korrespondenzen gleicher Signaturen werden diese mit der geringsten Kostenfunktionen zu den Epipolarlinien ausgewählt. Es wird also die Signatur ausgewählt, die einer Epipolarkurve am nächsten ist und nicht unbedingt die im Raum nächstliegende Signatur. Es können mehrere ausgewählt werden, jede ausgewählte Signatur darf aber nur einmal verwendet werden. Wenn eine Korrespondenz einmal ausgewählt wurde, sollten die beiden Positionen in beiden Bildern nicht mehr für weitere Korrespondenzen verwendet werden.