Titel

Verfahren zur Kalibrierung eines Erfassungssystems

Technisches Gebiet

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Erfassungssystems, wobei das Erfassungssystem zumindest eine bewegbare Erfassungseinrichtung umfasst.

Die Erfindung betrifft weiter ein Erfassungssystem, umfassend zumindest eine bewegbare Erfassungseinrichtung.

Obwohl die vorliegende Erfindung allgemein auf beliebige Erfassungseinrichtungen anwendbar ist, wird die vorliegende Erfindung in Bezug auf Erfassungssysteme mit Kameras als Erfassungseinrichtungen beschrieben.

Obwohl die vorliegende Erfindung allgemein auf beliebige Erfassungssysteme anwendbar ist, wird die vorliegende Erfindung in Bezug auf Erfassungssysteme in Flurfördergeräten beschrieben.

Stand der Technik

Mehrkamerasysteme finden im Automotive- Bereich eine breite Anwendung. Sie bilden beispielsweise die Grundlage für Surround-View-Anwendungen, wie etwa dem

Einparkassistenten. Neuerdings halten diese Mehrkamerasysteme auch Einzug in den Bereich der Flurförderzeuge, beispielsweise Gabelstapler. Dort sollen sie, ähnlich wie im PKW, zur visuellen Unterstützung des Fahrers dienen oder auch

Assistenzfunktionen, beispielsweise eine Warnung vor möglichen Kollisionen, anbieten. Bei den bekannten Mehrkamerasystemen bedarf es einer akkuraten extrinsischen Kalibrierung der einzelnen Kameras zueinander, um Informationen zwischen den Kameras miteinander in Verbindung setzen zu können. Möchte man beispielweise Informationen zwischen einer nach vorne schauenden Kamera und einer zur Seite schauenden Kamera austauschen, muss für die Kalibrierung der Kameras die räumliche Lage der Kameras im dreidimensionalen Raum zueinander bestimmt werden. Hierzu werden beispielsweise Kalibriertafeln verwendet. Die Kalibriertafeln enthalten ein bekanntes Muster mit bekannten metrischen Abständen, beispielsweise Schachbrettmuster. Jede Tafel ist außerdem von mindestens zwei Kameras aus sichtbar. Dadurch können dreidimensionale Punkte trianguliert werden, die es wiederum erlauben, die dreidimensionale Lage der Kameras in der Welt zueinander zu ermitteln.

Das bekannte Kalibrierungsverfahren erfordert allerdings ein starres Kamera-System. Das bedeutet, dass alle Kameras relativ zueinander unbeweglich sind. Diese Annahme ist beispielsweise bei Mehrkamerasystemen für Gabelstapler, zum Beispiel bei einem Gegengewichtsstapler verletzt, wenn die nach vorne gerichtete Kamera am Mast befestigt ist. Diese Kamerapositionierung wird unter anderem gewählt, da sonst der Mast die Sicht der Kamera versperren würde. Der Mast aber lässt sich nach vorne kippen, um eine Last aufzunehmen. Dadurch ändert sich die relative Lage der Kamera am Mast zu den übrigen Kameras und die vorher bestimmte Kalibrierung des

Mehrkamerasystems ist nicht mehr gültig.

Aus der US 2017/0287169 Al ist ein Verfahren zur extrinsischen Kalibrierung eines Kamerasystems bekannt geworden, umfassend zwei Kameras für ein

motorbetriebenes Fahrzeug. Äußere Störeinflüsse, zum Beispiel mechanische

Vibrationen, führen zu Veränderungen der Orientierung beider Kameras relativ zueinander, so dass sich eine Abweichung von einer initial durchgeführten Kalibrierung ergibt. Ausgehend von der initialen Kalibrierung ist eine iterative Rekalibrierung der Gierachse der Kameras vorgesehen. Die Rekalibrierung findet auf Grundlage von Bildaufnahmen beider Kameras derselben Szenerie statt, die mittels eines

Bildverarbeitungsverfahrens miteinander verglichen werden.

Offenbarung der Erfind ung

In einer Ausführungsform stellt die Erfindung ein Verfahren zur Kalibrierung eines Erfassungssystems bereit, wobei das Erfassungssystem zumindest eine bewegbare Erfassungseinrichtung umfasst, umfassend die Schritte

Ermitteln von zumindest zwei möglichen unterschiedlichen Posen der zumindest einen bewegbaren Erfassungseinrichtung,

Vorabkalibrieren der zumindest einen bewegbaren Erfassungseinrichtung anhand jeder der zumindest zwei möglichen Posen, Bereitstellen von Vorabkalibrierinformationen für die zumindest zwei möglichen Posen,

Ermitteln einer aktuellen Pose der zumindest einen bewegbaren

Erfassungseinrichtung,

Ermitteln von Kalibrierinformationen für die aktuelle Pose basierend auf den Vorabkalibrierinformationen, und

Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose anhand der bereitgestellten Kalibrierinformationen.

In einer weiteren Ausführungsform stellt die Erfindung ein Erfassungssystem bereit, umfassend zumindest eine bewegbare Erfassungseinrichtung, eine erste

Ermittlungseinrichtung ausgebildet zum Ermitteln von zumindest zwei möglichen unterschiedlichen Posen der zumindest einen bewegbaren Erfassungseinrichtung, eine Vorabkalibiereinrichtung ausgebildet zum Vorabkalibrieren der zumindest einen bewegbaren Erfassungseinrichtung anhand jeder der zumindest zwei möglichen Posen, eine Bereitstellungseinrichtung ausgebildet zum Bereitstellen von

Vorabkalibrierinformationen für die zumindest zwei möglichen Posen, eine

Poseeinrichtung ausgebildet zum Ermitteln einer aktuellen Pose der zumindest einen bewegbaren Erfassungseinrichtung, eine zweite Ermittlungseinrichtung ausgebildet zum Ermitteln von Kalibrierinformationen für die aktuelle Pose basierend auf

Vorabkalibrierinformationen, und eine Kalibriereinrichtung ausgebildet zum Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose anhand der bereitgestellten Kalibrierinformationen.

Der Begriff„Pose“ ist im weitesten Sinne zu verstehen und bezieht sich insbesondere in den Ansprüchen, vorzugsweise in der Beschreibung auf zumindest eine Koordinate, Information, Daten oder dergleichen für eine Position und/oder Orientierung eines Gegenstands.

Einer der damit erzielten Vorteile ist, dass eine Bestimmung der Pose von beweglichen Erfassungseinrichtungen jederzeit möglich ist. Darüber hinaus wird die Flexibilität erhöht, da eine zuverlässige und einfache Kalibrierung von beliebigen

Erfassungssystemen mit mehreren Erfassungseinrichtungen möglich ist.

Weitere Merkmale, Vorteile und weitere Ausführungsformen der Erfindung sind im Folgenden beschrieben oder werden dadurch offenbar.

Gemäß einer vorteilhaften Weiterbildung wird zum Ermitteln möglicher Posen der zumindest einen bewegbaren Erfassungseinrichtung eine Bewegung der zumindest einen bewegbaren Erfassungseinrichtung modelliert. Einer der damit erzielten Vorteile ist, dass auf einfache und zuverlässige Weise eine Vielzahl von möglichen Posen ermittelt und konfiguriert werden kann.

Gemäß einer weiteren vorteilhaften Weiterbildung umfasst das Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung anhand zumindest einer

Zwischenpose zwischen den zumindest zwei möglichen Posen. Vorteil hiervon ist, dass damit eine Bewegung der zumindest einen Erfassungseinrichtung beispielsweise von einer Startpose in eine Endpose über eine Zwischenpose zuverlässiger erfasst und ein Kalibrieren auf zuverlässigere Weise erfolgen kann.

Gemäß einer weiteren vorteilhaften Weiterbildung wird die zumindest eine

Zwischenpose basierend auf einem vorgegebenen Verbindungsstreckenmodell zwischen den zumindest zwei möglichen Posen ermittelt. Vorteil hiervon ist, dass damit auf einfache Weise eine Zwischenpose zwischen den zumindest zwei möglichen Posen ermittelt werden kann und so die zumindest eine bewegbare

Erfassungseinrichtung zuverlässig kalibriert werden kann.

Gemäß einer weiteren vorteilhaften Weiterbildung wird die zumindest eine

Zwischenpose mittels des Verbindungsstreckenmodells in Form einer geodätischen Linie zwischen den zumindest zwei möglichen Posen ermittelt. Dies ermöglicht eine einfache und schnelle Kalibrierung.

Gemäß einer weiteren vorteilhaften Weiterbildung wird die aktuelle Pose der zumindest einen bewegbaren Erfassungseinrichtung von dieser selbst ermittelt oder

Poseinformationen für die zumindest eine bewegbare Erfassungseinrichtung werden von einer externen Sensoreinrichtung bereitgestellt. Wird die aktuelle Pose von der zumindest einen bewegbaren Erfassungseinrichtung selbst ermittelt, wird ein kompakter Aufbau erreicht, wohingegen bei Bereitstellung von einer externen

Sensoreinrichtung bereits vorhandene Informationen einfach ausgelesen werden können und so besonders einfach Informationen über die aktuelle Pose der zumindest einen Erfassungseinrichtung bereitgestellt werden können.

Gemäß einer weiteren vorteilhaften Weiterbildung erfolgt das Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose anhand von

Vorabkalibrierinformationen für eine der aktuellen Pose nächstkommenden Pose. Auf diese Weise kann eine besonders schnelle und einfache Kalibrierung erfolgen. Gemäß einer weiteren vorteilhaften Weiterbildung erfolgt das Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose anhand einer

Interpolation basierend auf den Kalibrierinformationen. Auf diese Weise kann eine verbesserte Schätzung für die aktuelle Pose erreicht werden, sodass insgesamt das Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung noch zuverlässiger erfolgen kann.

Gemäß einer weiteren vorteilhaften Weiterbildung ist eine Mehrzahl von

Erfassungseinrichtungen angeordnet, von denen zumindest eine bewegbar angeordnet ist, und wobei sich Erfassungsbereiche zumindest zweier Erfassungseinrichtungen in zumindest einem Überlappungsbereich überlappen und wobei Kalibrierinformationen für zumindest eine Erfassungseinrichtung bereitgestellt sind und wobei

Korrespondenzen anhand des zumindest einen Überlappungsbereichs ermittelt werden und wobei anhand der ermittelten Korrespondenzen Kalibrierinformationen zum

Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose bereitgestellt werden. Dies ermöglicht beispielsweise eine Ermittlung eines für eine aktuelle Pose der Ermittlungseinrichtung genauen Neigungswinkels anhand dessen plausible oder besonders geeignete Kalibrierinformationen aus der Menge der vorbestimmten Kalibrierinformationen ausgewählt werden können. Damit wird das Kalibrieren insgesamt noch zuverlässiger.

Gemäß einer weiteren vorteilhaften Weiterbildung ist eine Mehrzahl von

Erfassungseinrichtungen angeordnet, von denen zumindest eine bewegbar angeordnet ist, und wobei die Erfassungseinrichtungen in zumindest zwei Gruppen unterteilt werden und wobei anhand der gebildeten Gruppen Kalibrierinformationen zum

Kalibrieren der zumindest einen bewegbaren Erfassungseinrichtung in der aktuellen Pose bereitgestellt werden. Auf diese Weise kann das Kalibrieren noch zuverlässiger erfolgen, da durch die Gruppeneinteilung beispielsweise zwei voneinander

unabhängige Bestimmungen von möglichen Kalibrierinformationen ermöglicht werden, die beispielsweise zu einem aktuellen Rotationswinkel oder allgemein

Kalibrierinformationen für die aktuelle Pose passen.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unter ansprüchen, aus den Zeichnungen, und aus dazugehöriger Figurenbeschreibung anhand der Zeichnungen.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu er läuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Bevorzugte Ausführungen und Ausführungsformen der Erfindung sind in den Zeich nungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Bauteile oder Elemente beziehen.

Kurze Beschreibu ng der Zeichnu ngen

Dabei zeigt

Figur 1 in schematischer Form ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung;

Figur 2 in schematischer Form ein Erfassungssystem auf einem Flurförderzeug gemäß einer Ausführungsform der vorliegenden Erfindung; und

Figur 3 in schematischer Form eine Draufsicht des Erfassungssystems gemäß

Figur 2.

Ausfü hru ngsformen der Erfind ung

Figur 1 zeigt in schematischer Form ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung.

Im Detail umfasst das Verfahren eine Offline-Phase S und eine Online-Phase T. In der Offline- Phase S wird/werden zuerst die Pose(n) - unter dem Begriff„Pose“ ist hier Position und Orientierung zu verstehen - einer beweglich angeordneten

Erfassungseinrichtung eingestellt (Schritt Sl). Anschließend wird ein Kalibriervorgang gestartet (Schritt S2). Als Ausgabe erhält man das Kalibrierergebnis (Schritt S3), das in Form von Transformationsmatrizen vorliegen kann. Die Schritte S1-S3 werden solange wiederholt, bis mit Schritt Sl das komplette benötigte Bewegungsspektrum von Erfassungseinrichtungen, beispielsweise Kameras, abgedeckt ist. In der Online-Phase T wird die Pose der beweglich angeordneten Erfassungseinrichtung ermittelt (Schritt TI) und im Anschluss die hierzu passende Kalibrierung aus den offline,

beziehungsweise vorab ermittelten Kalibrierergebnissen (Schritt S3) berechnet (Schritt T ). Im Schritt T2 wird dann die Kamera mit den berechneten Kalibrierinformationen kalibriert. Figur 2 zeigt in schematischer Form ein Erfassungssystem auf einem Flurförderzeug gemäß einer Ausführungsform der vorliegenden Erfindung und Figur 3 zeigt in schematischer Form eine Draufsicht des Erfassungssystems gemäß Figur 2.

Im Detail ist in den Figuren 2 und 3 ein Gabelstapler 2 gezeigt, der einen bewegbaren Mast 3 aufweist. An dem bewegbaren Mast 3 ist ein Erfassungssystem 1 mit einer Kamera 10 gezeigt, die an diesem fest installiert angeordnet ist. Durch eine Bewegung des Mastes 3 kann also die Kamera 10 bewegt werden. Die Kamera 10 zeigt hierbei nach vorne. Weiterhin ist auf dem Dach 4 des Gabelstaplers 2 eine weitere Kamera 11 fest angeordnet, deren Erfassungsbereich rückwärts gewandt ist.

Der Mast 3 des Gabelstaplers 2 kann - hier angenommen - nur definierte

Bewegungen vollführen. Im Folgenden wird weiter ausschließlich eine Bewegung in Form einer Rotation des Mastes 3 um einen Rotationspunkt angenommen, wie dies in Figur 2 schematisch gezeigt ist. In der in den Figuren 2 und 3 gezeigten

Ausführungsform wird zum einen eine übliche Bewegung der Kamera 10 modelliert und zum anderen die Kamera 10 für mehrere Posen 3a, 3b, 3c, in diesem Fall für mehrere Neigungswinkel/Rotationswinkel 30 des Mastes 3, kalibriert, um dann zwischen diesen Kalibrierungen interpolieren zu können. Dabei werden die mehrfachen Kalibrierungen einmalig im Vorfeld durchgeführt. Zur Laufzeit, also beim späteren bestimmungsgemäßen Betrieb des Gabelstaplers 2, sind sie daher bekannt und werden dann abgerufen.

Die Bewegung der Kamera 10 kann über die Bewegung des Mastes 3 modelliert werden. Dafür muss einerseits die relative Lage der Kamera 10 zum Mast 3, also Abstand und Ausrichtung, bekannt sein und andererseits der Rotationspunkt des Mastes 3 und der Rotationswinkel 30, um den rotiert wird. Dann wird die Pose der Kamera 10 um eine Transformationsmatrix, die die Transformation der Kamera 10 bedingt durch die Rotation des Mastes 3 beschreibt, erweitert. Es können hierbei zwei Fälle unterschieden werden:

A) Der Rotationswinkel des Mastes 3 kann messtechnisch bestimmt werden und ist bekannt. So könnte er zum Beispiel als Signal auf einem CAN-Bus anliegen und vom Erfassungssystem 1 ausgelesen werden. In diesem Fall kann er daher als bekannt angenommen werden. B) Der Rotationswinkel 30 wird messtechnisch nicht bestimmt und ist daher unbekannt. Hier können dann zwei Varianten unterschieden werden:

Bl) Der Rotationswinkel wird nicht bestimmt und die passende Kalibrierung, wie weiter unten beschrieben, wird anderweitig ermittelt.

B2) Der Rotationswinkel 30 wird im laufenden Betrieb bestimmt, zum Beispiel über gemeinsame Merkmale mit einer benachbarten starren Kamera und es wird wie in Fall A) weiter verfahren.

Die zur Modellierung außerdem benötigte relative Lage der Kamera 10 zum Mast 3 kann bei der Kalibrierung in der Offline-Phase S vorab mitbestimmt werden.

Je nach Stärke der Rotation des Mastes 3 kann die Schätzung der Pose

beziehungsweise der relativen Lage der Kamera 10 im Erfassungssystem 1, trotz Modellierung der Bewegung, entsprechend ungenau werden. Außerdem kann die theoretische Annahme einer Bewegung der Kamera 10 auf einer perfekten Kreisbahn in der Praxis, etwa durch mechanische Vorgänge, verletzt sein. Hier können dann mehrfache Kalibriervorgänge für verschiedene Rotationswinkel 30 durchgeführt werden. Je nach gewünschter Genauigkeit kann dies für eine bestimmte Anzahl von Rotationswinkeln durchgeführt werden, zum Beispiel ein Kalibriervorgang pro ein Grad Rotationswinkel. Es werden also mehrere Kalibriervorgänge für definierte

Rotationswinkel 30 durchgeführt. Für den oben beschriebenen Fall A), bei dem der Rotationswinkel 30 dem Erfassungssystem 1 bekannt ist, kann nun zwischen diesen Stützstellen - erhalten durch die Pose der Kamera 10 für verschiedene

Rotationswinkel 30 - an denen jeweils eine Kalibrierung durchgeführt wurde, gemäß der modellierten Bewegung, etwa entlang der Geodäte, zwischen diese auch für Zwischenposen eine Kalibrierung durch Interpolation ermittelt werden. Dies erhöht die Genauigkeit, da die Fehlerausbreitung der Posenschätzung der Kamera 10 durch zusätzliche Messungen an den Stützstellen verhindert wird.

In einer weiteren Ausführungsform wird auf die Interpolation verzichtet und es wird nur die Kalibrierung gewählt, die dem Rotationswinkel 30 des Mastes 3 am nächsten kommt. Dann kann auch auf eine Modellierung der Bewegung verzichtet werden.

Mit Bezug auf die Figuren 2 und 3 kann für die Kameraposition 3a eine erste

Kalibrierung und für die Kameraposition 3c eine zweite Kalibrierung durchgeführt werden. Für sämtliche Zwischenpositionen 3b kann dann zwischen diesen beiden Kalibrierungen entlang der modellierten Bewegung, etwa der Geodäte, interpoliert werden. Für Kamerapositionen nahe der Kameraposition 3b wird durch dieses

Verfahren eine verbesserte Posenschätzung ermöglicht als wenn man nur eine

Kalibrierung (für die Kameraposition 3a) vorliegen hätte.

Für den Fall Bl), bei dem der Rotationswinkel 30 nicht bekannt ist, muss auf anderem Wege bestimmt werden, welche der vorberechneten Kalibrierungen ausgewählt werden soll. In dem gezeigten Erfassungssystem 1 mit vier Kameras 10, 11, 12, 13, bei dem zwei Kameras 12, 13 zu den Seiten zeigen, können in den Überlappbereichen 22, 23 der Front 10- und der Seitenkameras 12, 13 Korrespondenzen bestimmt werden. Diese Korrespondenzen lassen sich dann dazu verwenden, die für den tatsächlichen Rotationswinkel 30 plausibelste Kalibrierungsinformationen aus der Menge der vorberechneten Kalibrierungsinformationen auszuwählen. Dies entspricht dann dem genannten Fall A).

Um das Ergebnis zu verbessern, können in einer weiteren Ausführungsform die Front- 10 und die Seitenkameras 12, 13 auch in zwei Gruppen, beispielsweise Front- und linke Seitenkamera 10, 12 bilden eine Gruppe und Front- und rechte Seitenkamera 10, 13 bilden die andere Gruppe, eingeteilt werden, um zwei voneinander unabhängige Bestimmungen der zum tatsächlichen Rotationswinkel 30 passenden Kalibrierung zu erhalten. In einer weiteren Ausführungsform kann auch von der Online- Kalibrierung (Schritte S1-S3) genutzt werden.

Zusammenfassend weist zumindest eine der Ausführungsformen der Erfindung zumindest einen der folgenden Vorteile auf:

• Genauere Kalibrierung.

• Höhere Flexibilität, sowohl in Anwendungsbereichen als auch bei den

E rfass u n gssyste men.

• Einfachere und zuverlässigere Kalibrierung.

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele be schrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Weise modi fizierbar.