Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND SYSTEM FOR CREATING A MODEL
Document Type and Number:
WIPO Patent Application WO/2019/115198
Kind Code:
A1
Abstract:
To create a model of an object, characteristic structures (e.g. edges) of the object are ascertained on the basis of a subregion of a 2D representation (e.g. 2D image) of the object with the surroundings thereof. This subregion corresponds to a 3D representation (e.g. point cloud) of the object that comes from the subtraction of a 3D-5 representation of the object with the surroundings thereof and a 3D representation of the surroundings without this object.

Inventors:
SAFRONOV, Kirill (Am Brachfeld 26, Augsburg, 86169, DE)
WEIGLEIN, Christian (Friedrich-List-Str. 6, Augsburg, 86153, DE)
Application Number:
EP2018/082200
Publication Date:
June 20, 2019
Filing Date:
November 22, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
KUKA DEUTSCHLAND GMBH (Zugspitzstraße 140, Augsburg, 86165, DE)
International Classes:
G06T7/33; G06T5/50; G06T7/11; G06T7/194; G06T7/55
Domestic Patent References:
WO2016029970A12016-03-03
Foreign References:
US6771818B12004-08-03
US20150199816A12015-07-16
US7031525B22006-04-18
US5748775A1998-05-05
US20030071810A12003-04-17
Other References:
RICHARD A NEWCOMBE ET AL: "KinectFusion: Real-time dense surface mapping and tracking", MIXED AND AUGMENTED REALITY (ISMAR), 2011 10TH IEEE INTERNATIONAL SYMPOSIUM ON, IEEE, 26 October 2011 (2011-10-26), pages 127 - 136, XP032201443, ISBN: 978-1-4577-2183-0, DOI: 10.1109/ISMAR.2011.6092378
Attorney, Agent or Firm:
TILLMANN, Axel (Zugspitzstr. 140, Augsburg, 86165, DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Erstellen eines Modells eines Objekts (25), aufweisend:

Bereitstellen einer ersten Menge (30) an 3D-lnformationen, wobei die erste Menge 3D-lnformationen des Objekts und einer Umgebung (20), in der sich das Objekt befindet, aufweist;

Bereitstellen einer zweiten Menge (40) an 2D-lnformationen, wobei die zweite Menge 2D-lnformationen des Objekts und dieser Umgebung aufweist; Bereitstellen einer dritten Menge (35) an 3D-lnformationen, wobei die dritte Menge 3D-lnformationen dieser Umgebung ohne das Objekt aufweist;

Erzeugen einer vierten Menge (37) an 3D-lnformationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-lnformationen des Objekts aufweist und im Wesentlichen keine 3D-lnformationen dieser Umgebung aufweist; und

Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (250) der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass dieser Teilbereich der zweiten Menge sich auf räumliche Bereiche bezieht, in denen sich das Objekt befindet, insbesondere im Wesentlichen nur auf solche räumlichen Bereiche, in denen sich das Objekt befindet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die vierte Menge an 3D-lnformationen auf die zweite Menge an 2D-lnformationen gemappt wird, woraus sich dieser Teilbereich der zweiten Menge ergibt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass einerseits die zweite Menge an 2D-lnformationen und andererseits die erste und/oder dritte Menge an 3D-lnformationen aus einem ähnlichen, bevorzugt aus dem gleichen Blickwinkel erstellt werden bzw. wurden, insbesondere durch eine zumindest teilweise gemeinsame optische Vorrichtung, vorzugsweise eine Linse (15), und weiter bevorzugt in eine ähnliche, insbesondere gleiche Blickrichtung.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die dritte Menge an 3D-lnformationen mit der ersten Menge an 3D- Informationen registriert/gematcht wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Mengen an 3D-lnformationen Punktewolken des Objekts bzw. der Umgebung, insbesondere deren Oberflächen sind.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Erzeugen der vierten Menge ein Entfernen von Punkten aus der zu der ersten Menge gehörenden Punktewolke aufweist, die auch in der zu der dritten Menge gehörenden Punktewolke enthalten sind.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren das Ermitteln von Teilen eines dreidimensionalen Raumes, die von dem Objekt bzw. der Umgebung eingenommen werden, aufweist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Erzeugen der vierten Menge das Subtrahieren der Teile des dreidimensionalen Raumes, die von der Umgebung eingenommen werden, von den Teilen des dreidimensionalen Raumes, die zusammen von dem Objekt und der Umgebung eingenommen werden, aufweist.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die charakteristischen Strukturen des Objekts Kanten des Objekts sind.

1 1 . Verfahren zum Erstellen eines Modells eines Objekts (25), aufweisend:

Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (250) einer 2D-Darstellung (40) des Objekts mit dessen Umgebung (20), der einer 3D-Darstellung (37) des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung (30) des Objekts mit dessen Umgebung und einer 3D-Darstellung (35) der Umgebung ohne dieses Objekt hervorgeht.

12. System (1 ) zum Erstellen eines Modells eines Objekts (25), wobei das System aufweist:

A)

Mittel (14) zum Bereitstellen einer ersten Menge (30) an 3D-lnformationen, wobei die erste Menge 3D-lnformationen des Objekts (25) und einer Umgebung (20), in der sich das Objekt befindet, aufweist;

Mittel (14) zum Bereitstellen einer zweiten Menge (40) an 2D-lnformationen, wobei die zweite Menge 2D-lnformationen des Objekts und dieser Umgebung aufweist;

Mittel zum Bereitstellen einer dritten Menge (35) an 3D-lnformationen, wobei die dritte Menge 3D-lnformationen dieser Umgebung ohne das Objekt aufweist;

Mittel (10) zum Erzeugen einer vierten Menge (37) an 3D-lnformationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D- Informationen des Objekts aufweist und im Wesentlichen keine 3D- Informationen dieser Umgebung aufweist; und

Mittel (10) zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (38) der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen; oder

B)

Mittel zum Ermitteln von charakteristischen Strukturen des Objekts (25) auf Basis eines Teilbereichs (38) einer 2D-Darstellung (40) des Objekts mit dessen Umgebung (20), der einer 3D-Darstellung (37) des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung (30) des Objekts mit dessen Umgebung und einer 3D-Darstellung (35) der Umgebung ohne dieses Objekt hervorgeht. 13. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem

Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 1 1 .

Description:
Verfahren und System zum Erstellen eines Modells

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Erstellen eines Modells eines Objekts sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.

Um ein Objekt zu detektieren oder lokalisieren, kann eine 2D- Objekterkennungsmethode verwendet werden. Solche Erkennungsmethoden finden beispielsweise im Zusammenhang mit Robotern Anwendung, ist aber nicht auf dieses Anwendungsgebiet beschränkt. Mit Hilfe einer solchen Methode wird es einem Roboter ermöglicht oder zumindest erleichtert, Objekte und deren Position, Ausrichtung usw. zu erkennen, was für das Manipulieren, insbesondere Greifen, des Objekts nötig sein kann.

Zum Durchführen einer 2D-Objekterkennungsmethode wird normalerweise ein 2D- Modell des gesuchten Objekts benötigt. Ein aus dem Stand der Technik bekannter Ansatz sieht zum Erstellen eines 2D-Modells eines Objekts folgende Schritte vor:

1. Das Objekt wird in einer Umgebung platziert, zum Beispiel auf einer Ebene.

2. Es wird ein 2D-Bild des Objekts mit bzw. in seiner Umgebung aufgenommen.

3. Wenn die Objekterkennungsmethode beispielsweise kantenbasiert ist, werden anhand dieses Bildes Kanten eingelernt bzw. vorgegeben. Dies kann manuell durchgeführt werden. Es sind aber auch automatische Methoden bekannt, in denen die Kanten automatisch erkannt werden.

4. Die Kanten werden als 2D-Modell in einer Datenbank gespeichert.

Eine automatische Kantenerkennungsmethode ist im Allgemeinen weniger personal- und zeitaufwändig als eine Methode, bei der die Kanten manuell eingelernt oder vorgegeben werden. Die Erfinder der vorliegenden Erfindung haben jedoch erkannt, dass auch bei einer automatischen Methode verschiedene Probleme auftreten können. So kann diese Methode umgebungsabhängig, insbesondere sehr umgebungsabhängig, sein. Beispielsweise können störende Einflüsse, wie Fremdlicht, Schatten oder Störkonturen, das Erkennen von Kanten beeinträchtigen. Insbesondere können Dinge als Kanten erkannt werden, die nicht Kanten des Objekts sind und demnach nicht zu dem (gewünschten) Modell des Objekts gehören. Andererseits könnten auch tatsächlich vorhandene Kanten des Objekts nicht als solche erkannt werden, so dass dem Modell Kanten fehlen könnten (z.B. wenn Schwellenwerte zum Erkennen von Kanten relativ hoch angesetzt werden, um zu vermeiden, dass Dinge fälschlicherweise als Kanten des Objekts erkannt werden, die nicht zu dem Modell des Objekts gehören).

Den Erfindern sind wiederum verschiedene Lösungsansätze bekannt, die nach Erkenntnis der Erfinder aber wiederum ihre eigenen Probleme mit sich bringen können:

1 . Es kann manuell eine Maske eingegeben werden, um einen bestimmten Bereich (Region of Interest, ROI) vorzugeben. Dieser Bereich definiert normalerweise den Bereich, in dem sich das Objekt befindet.

2. Das automatisch erstellte Modell kann manuell überprüft werden, wobei gegebenenfalls manuell Kanten, die nicht zu dem Modell gehören, weggefiltert werden bzw. fehlende Kanten manuell hinzugefügt werden.

3. Es wird ein erstes Bild aufgenommen, bei dem das Objekt sich in einer Umgebung (beispielsweise auf einer Ebene) befindet. Es wird auch ein zweites Bild dieser Umgebung, aber ohne das Objekt, aufgenommen. Anschließend wird ein Differenzbild berechnet und in diesem Differenzbild werden die Kanten automatisch erkannt, die sich dann nur auf die Kanten des Objekts beschränken sollen (siehe US 7,031 ,525 und US 5,748,775). Bei diesem Verfahren können allerdings immer noch Dinge als Kanten erkannt werden, die nicht zu dem Modell gehören. So kann beispielsweise ein Schatten, den das Objekt auf die Umgebung wirft, in das Differenzbild übernommen werden und dann als vermeintliche Kante des Objekts interpretiert werden. 4. Um zu vermeiden, dass Dinge als Kanten interpretiert werden, die keine Kanten des Objekts sind, kann die Umgebung komplett homogen gestaltet werden, indem beispielsweise die Umgebung lediglich eine einfarbige, flache, texturfreie Ebene ist, auf der das Objekt platziert wird. Dies ist aber nicht (immer) praktikabel. Außerdem könnten weiterhin Schatten, die das Objekt auf die Ebene wirft, das Ergebnis verfälschen.

5. Gemäß US 2003/0071810 kann ein 3D-Modell eines Objekts erstellt werden und auf eine Ebene projiziert werden. In diesem Fall können aber nur geometrische Merkmale des Objekts extrahiert werden. Manche Objekte haben aber nicht nur geometrische Merkmale (Kanten, Löcher, ...) sondern auch Beschriftung, Farbverläufe, Aufkleber, etc., diese werden im 3D-Modell nicht sichtbar, weil sie auf einer Ebene liegen. Beim Projizieren des 3D-Modells auf eine 2D-Ebene bleiben diese also unberücksichtigt.

Diese Methoden sind unter Umständen sehr aufwändig, insbesondere kostspielig und zeitaufwändig. Zumindest manche müssen wenigstens teilweise manuell durchgeführt werden bzw. manuell überprüft werden. In vielen Fällen ist hierzu ausgebildetes Personal (Fachkräfte) nötig.

Aufgabe der vorliegenden Erfindung ist es, das Erstellen eines Modells eines Objekts zu verbessern.

Diese Aufgabe wird durch Verfahren und Systeme mit den Merkmalen der unabhängigen Ansprüche gelöst. Anspruch 12 stellt ein Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.

Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Erstellen eines Modells eines Objekts die folgenden Schritte auf:

Bereitstellen einer ersten Menge an 3D-lnformationen, wobei die erste Menge 3D- Informationen des Objekts und einer Umgebung, in der sich das Objekt befindet, aufweist;

Bereitstellen einer zweiten Menge an 2D-lnformationen, wobei die zweite Menge 2D- Informationen des Objekts und dieser Umgebung aufweist;

Bereitstellen einer dritten Menge an 3D-lnformationen, wobei die dritte Menge 3D- Informationen dieser Umgebung ohne das Objekt aufweist;

Erzeugen einer vierten Menge an 3D-lnformationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-lnformationen des Objekts aufweist und im Wesentlichen keine 3D-lnformationen dieser Umgebung aufweist; und

Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen.

Hierdurch kann das Ermitteln von charakteristischen Strukturen des Objekts, um das Modell des Objekts zu erstellen, im Wesentlichen auf die Bereiche beschränkt werden, in denen sich das Objekt befindet. Die Umgebung wird somit durch das Verfahren „ausgeblendet“, so dass das unerwünschte Aufnehmen von Merkmalen der Umgebung in das Modell des Objekts reduziert oder vermieden werden kann.

In einer Ausführungsform bezieht sich dieser Teilbereich der zweiten Menge auf räumliche Bereiche, in denen sich das Objekt befindet, insbesondere im Wesentlichen nur auf solche räumlichen Bereiche, in denen sich das Objekt befindet. Das Verfahren sorgt also dafür, dass charakteristische Strukturen nur für solche räumlichen Bereiche ermittelt werden, in denen sich das Objekt befindet.

In einer Ausführungsform wird die vierte Menge an 3D-lnformationen auf die zweite Menge an 2D-lnformationen gemappt. Daraus ergibt sich der Teilbereich der zweiten Menge. Das an sich bekannte Mappen kann also dazu benutzt werden, den relevanten Teilbereich der zweiten Menge zu definieren. In einer Ausführungsform werden bzw. wurden einerseits die zweite Menge an 2D- Informationen und andererseits die erste und/oder dritte Menge an 3D-lnformationen aus einem ähnlichen, bevorzugt aus dem gleichen, Blickwinkel erstellt, weiter bevorzugt in eine ähnliche, insbesondere gleiche, Blickrichtung. Dies macht das Mappen der vierten Menge an 3D-lnformationen (die aus der ersten und dritten Menge an 3D-lnformationen hervorgeht) auf die zweite Menge an 2D-lnformationen einfacher bzw. zuverlässiger. Vorzugsweise werden einerseits die zweite Menge an 2D-lnformationen und andererseits die erste und/oder dritte Menge an 3D- Informationen durch eine zumindest teilweise gemeinsame optische Vorrichtung, vorzugsweise eine (optische) Linse, erstellt. Dies kann das Erstellen der ersten, zweiten und/oder dritten Menge an 2D- bzw. 3D-lnformationen vereinfachen.

In einer Ausführungsform wird die dritte Menge an 3D-lnformationen mit der ersten Menge an 3D-lnformationen registriert/gematched. Hierdurch kann sichergestellt werden, dass Fehler beim Erzeugen der vierten Menge an 3D-lnformationen auf Basis der ersten und der dritten Menge reduziert werden können, selbst wenn der Blickwinkel oder die Blickrichtung beim Erstellen der ersten und dritten Menge an 3D- Informationen nicht exakt gleich waren.

In einer Ausführungsform können die Mengen an 3D-lnformationen Punktewolken des Objekts bzw. der Umgebung, insbesondere deren Oberflächen, sein. Punktewolken sind dem Fachmann bekannt, um 3D-Objekte darzustellen.

In einer Ausführungsform weist das Erzeugen der vierten Menge ein Entfernen von Punkten aus der zu der ersten Menge gehörenden Punktewolke, die auch in der zu der dritten Menge gehörenden Punktewolke enthalten sind, auf. So können Punktewolken als relativ einfaches Hilfsmittel dazu benutzt werden, die 3D- Informationen, die sich (nur) auf die Umgebung beziehen,„herauszufiltern“.

In einer Ausführungsform weist das Verfahren das Ermitteln von Teilen eines dreidimensionalen Raumes, die von dem Objekt bzw. der Umgebung eingenommen werden, auf. Weiterhin kann das Erzeugen der vierten Menge das Subtrahieren der Teile des dreidimensionalen Raumes, die von der Umgebung eingenommen werden, von den Teilen des dreidimensionalen Raumes, die zusammen von dem Objekt und der Umgebung eingenommen werden, aufweisen. So kann das Ermitteln von Teilen des dreidimensionalen Raumes, die von der Umgebung mit und ohne dem Objekt eingenommen werden, dazu benutzt werden, um die Teile des dreidimensionalen Raumes, die nur von dem Objekt eingenommen werden, zu bestimmen.

In einer Ausführungsform sind die charakteristischen Strukturen des Objekts Kanten des Objekts. Dies hat den Vorteil, dass an sich bekannte Kantenerkennungsverfahren, die hier nicht näher erläutert werden, bei dem Erstellen des Modells des Objekts benutzt werden können. Es ist aber auch denkbar, dass die charakteristischen Strukturen von anderer Art sind, beispielsweise Spitzen oder Ecken des Objekts oder Bereiche mit Krümmungsradius unter einem bestimmten Wert. In anderen Ausführungsformen sind die charakteristischen Strukturen des Objekts nicht (nur) geometrische Merkmale (wie z.B. Kanten, Löcher, ...) des Objekts, sondern können auch Merkmale sein, die man als „nichtgeometrisch“ ansehen kann (wie z.B. Beschriftung, Farbverläufe, Aufkleber, ...).

Gemäß einem zweiten Aspekt der vorliegenden Erfindung weist ein Verfahren zum Erstellen eines Modells eines Objekts das Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs einer 2D-Darstellung des Objekts mit dessen Umgebung, der einer 3D-Darstellung des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung des Objekts mit dessen Umgebung und einer 3D-Darstellung der Umgebung ohne dieses Objekt hervorgeht, auf.

Auch gemäß diesem Aspekt kann das Ermitteln von charakteristischen Strukturen des Objekts auf solche Teilbereiche der 2D-Darstellung des Objekts beschränkt werden, die (nur) von dem Objekt eingenommen werden.

Gemäß einem dritten Aspekt der vorliegenden Erfindung weist ein System zum Erstellen eines Modells eines Objekts auf:

Entweder:

A) Mittel zum Bereitstellen einer ersten Menge an 3D-lnformationen, wobei die erste Menge 3D-lnformationen des Objekts und einer Umgebung, in der sich das Objekt befindet, aufweist;

Mittel zum Bereitstellen einer zweiten Menge an 2D-lnformationen, wobei die zweite Menge 2D-lnformationen des Objekts und dieser Umgebung aufweist;

Mittel zum Bereitstellen einer dritten Menge an 3D-lnformationen, wobei die dritte Menge 3D-lnformationen dieser Umgebung ohne das Objekt aufweist;

Mittel zum Erzeugen einer vierten Menge an 3D-lnformationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-lnformationen des Objekts aufweist und im Wesentlichen keine 3D-lnformationen dieser Umgebung aufweist; und

Mittel zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen; oder

B)

Mittel zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs einer 2D-Darstellung des Objekts mit dessen Umgebung, der einer 3D- Darstellung des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung des Objekts mit dessen Umgebung und einer 3D-Darstellung der Umgebung ohne dieses Objekt hervorgeht.

Gemäß einem fünften Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt mit einem Programmcode bereitgestellt, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines der oben beschriebenen Verfahren. Bei dem oben genannten Objekt kann es sich typischerweise um Gegenstände handeln. Die Erfindung findet aber auch dann Anwendung, wenn es sich bei dem

Objekt um Personen oder Tiere handelt. Des Weiteren kann es sich bei dem Objekt auch um Teile von Gegenständen, Personen oder Tieren handeln.

Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den

Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

Fig. 1 ein System zum Aufnehmen, Speichern und Verarbeiten von 2D- bzw. 3D- Informationen;

Fig. 2 eine Anordnung zum Aufnehmen von 3D-lnformationen einer Umwelt mit einem Objekt;

Fig. 3 3D-lnformationen bezüglich der Anordnung der Fig. 2;

Fig. 4 2D-lnformationen bezüglich der Anordnung der Fig. 2;

Fig. 5 eine Anordnung zum Aufnehmen von 2D- und 3D-lnformationen einer

Umwelt (ohne) Objekt;

Fig. 6 3D-lnformationen bezüglich der Anordnung der Fig. 5;

Fig. 7 das Resultat eines Matchens der 3D-lnformationen aus den Figuren 3 und

6;

Fig. 8 3D-lnformationen bezüglich des in Fig. 2 gezeigten Objekts;

Fig. 9 das Mapping der 3D-lnformationen der Fig. 8 auf die 2D-lnformationen der

Fig. 4;

Fig. 10 2D-lnformationen bezüglich des in Fig. 2 gezeigten Objekts; und Fig. 1 1 ein Flussdiagramm eines Verfahrens nach einer Ausführung der vorliegenden Erfindung.

Fig. 1 zeigt ein System 1 zum Aufnehmen von 2D- und 3D-lnformationen. Das System 1 weist eine Datenverarbeitungsanlage 10 auf, die in diesem Beispiel einen Prozessor (CPU) 1 1 aufweist, der mit einem Speicher 12 und einer Ein- und/oder Ausgabeschnittstelle 13 kommunizieren kann. Schnittstelle 13 kann mit anderen Entitäten (nicht dargestellt) kommunizieren, zum Beispiel, um 2D- und/oder 3D- Informationen zu empfangen und/oder auszugeben. Die Datenverarbeitungsanlage 10 ist mit einer Aufnahmeeinrichtung oder einem Sensor 14 verbunden. Die Aufnahmeeinrichtung 14 kann ein optisches System aufweisen, von dem nur eine Linse 15 dargestellt ist. In dem hier vorgestellten Beispiel dient die Aufnahmeeinrichtung 14 sowohl zur Aufnahme von 2D-lnformationen als auch zur Aufnahme von 3D-lnformationen. Die 2D-lnformationen können Bildinformationen, wie sie beispielsweise durch eine herkömmliche digitale Kamera aufgenommen werden, ähneln. Die 3D-lnformationen können verschiedene Formate annehmen. Ein Beispiel eines solchen Formats ist als Punktewolke bekannt. Dieses Beispiel wird benutzt, um Ausführungsbeispiele der vorliegenden Erfindung zu beschreiben.

Als Variante zu der in Fig. 1 gezeigten Anordnung könnten auch zwei oder mehrere Aufnahmeeinrichtungen statt einer einzigen Aufnahmeeinrichtung 14 vorhanden sein, wobei zumindest eine dieser Einrichtungen 2D-lnformationen aufnehmen kann und zumindest eine andere Einrichtung 3D-lnformationen aufnehmen kann. Bevorzugt ist in jedem Fall, dass die 2D- und 3D-lnformationen aus einem ähnlichen, insbesondere gleichen, Blickwinkel und in eine ähnliche, insbesondere gleiche, Blickrichtung aufgenommen werden. Es ist somit zweckmäßig, dass das Licht (oder andere elektromagnetische Strahlung), welches zum Aufnehmen der 2D- und 3D- Informationen detektiert wird, durch ein und dieselbe Linse 15 hindurchtritt, auch wenn das Licht o.Ä. nach dem Durchtreten durch die gemeinsame Linse 15 beim Aufnehmen der 2D- bzw. 3D-lnformationen verschiedenen optischen Wegen folgt.

Es werden nachfolgend verschiedene Schritte eines Verfahrens anhand von Ausführungsbeispielen beschrieben. Hierbei wird gleichzeitig auf eine der Figuren 2 bis 10, die die einzelnen Schritte darstellen, als auch auf die Fig. 1 1 , die das gesamte Verfahren als Flussdiagramm darstellt, Bezug genommen.

Fig. 2 zeigt von der in Fig. 1 dargestellten Anordnung lediglich die Aufnahmeeinrichtung 14. Der Rest der Anordnung 1 ist zum Zweck der besseren Übersicht nicht dargestellt. Außerdem zeigt Fig. 2 eine„Umwelt“ 20, hier bestehend aus einer Ebene 21 und einer quaderförmigen Struktur 22. Die Form der Umwelt 20 und die Abmessungen, Farbe usw. der Teile dieser Umwelt ist jedoch unerheblich.

Die in Fig. 2 gezeigte Anordnung enthält außerdem ein Objekt 25, für welches gemäß der Erfindung ein Modell erstellt werden soll. Objekt 25 - hier ein zylinderförmiger Gegenstand - befindet sich auf der quaderförmigen Struktur 22.

Nach dem Start 100 des Verfahrens werden in einem Schritt 101 3D-lnformationen des Objekts 25 und der Umgebung 20 durch die Aufnahmeeinrichtung 14 aufgenommen. Zu diesem Zeitpunkt kann das erfindungsgemäße System im allgemeinen noch nicht zwischen dem Objekt 25 und seiner Umgebung 20 unterscheiden, so dass es zu diesem Zeitpunkt noch nicht viel Sinn machen würde, durch die Datenverarbeitungsanlage 10 Kanten oder andere charakteristische Strukturen erkennen zu lassen.

Eine beispielhafte Darstellung der im Schritt 101 aufgenommenen 3D-lnformationen ist in Fig. 3 gezeigt. Fig. 3 zeigt einen Teil einer Punktewolke 30, die die Position von Oberflächenpunkten des Gesamtsystems„Objekt und Umwelt“ darstellt. Hierbei ist zu beachten, dass in dem Beispiel in Fig. 3 nur Punkte dargestellt werden, die sich auf einer Ebene befinden, die parallel zu der Vorderseite des Quaders 22 verläuft und das Objekt 25 mittig schneidet. Tatsächlich besteht die Punktewolke aus weiteren Punkten auf anderen Ebenen, die wiederum parallel zu der Vorderseite des Quaders 22 verlaufen können und das Objekt 25 an anderer Stelle schneiden oder nur die Umwelt 20, nicht aber das Objekt 25 schneiden. Zusammen ergibt sich also eine Punktewolke, wobei auch zu beachten ist, dass ein wie in Fig. 3 gezeigter Ausschnitt 30 dieser Punktewolke durch optisches Abtasten in irgendeiner Ebene entstehen kann, die nicht parallel zu der Vorderseite des Quaders 22 sein muss. Die verschiedenen Ebenen müssen auch nicht zueinander parallel sein. Des Weiteren müssen die Punkte, die die Punktwolke bilden, nicht Ebenen-weise erstellt worden sein, sondern können auch beispielsweise durch optisches Abtasten in einer radialen Richtung oder durch optisches Abtasten entlang den Richtungen eines Polarkoordinatensystems entstanden sein. Auch können die Punkte durch Abtasten an zufällig verteilten Orten entstehen. Letztendlich gibt aber die Punktewolke einen Aufschluss darüber, wo sich das Objekt 25 und dessen Umgebung 20 im dreidimensionalen Raum befindet.

Wie in Fig. 4 dargestellt, werden im Schritt 102 2D-lnformationen des Objekts 25 und seiner Umwelt 20 durch die Aufnahmeeinrichtung 14 aufgenommen. Diese Informationen 40 können ein 2D-Bild im herkömmlichen Sinn darstellen. Gemäß Fig. 4 weist dieses Bild einen Außenbereich 210, der der Ebene 21 entspricht, einen zentralen Bereich 250, der dem Objekt 25 entspricht, und einem dazwischenliegenden Bereich 220, der dem Quader 22 entspricht, auf. Auch in dieser Darstellung macht es noch wenig Sinn, Kanten automatisch erkennen zu lassen, weil nicht nur die Kante am Umfang des Bereichs 250, sondern auch die Kante am Umfang des Bereichs 220 als Kante erkannt würde.

Wie in Fig. 5 dargestellt, werden im Schritt 103 auch 3D-lnformationen durch die Aufnahmeeinrichtung 14 aufgenommen, die nur die Umwelt 20 betreffen. Zu diesem Zweck wurde vorher das Objekt 25 entfernt. Es entsteht somit eine Aufnahme der Umwelt 20. Diese kann im vorliegenden Beispiel wiederum die Form einer Punktewolke annehmen, wobei Fig. 6 einen Teil dieser Punktewolke 35 zeigt. Diese stellt somit eine Referenzpunktewolke 35 dar.

Es ist zu beachten, dass die 3D-lnformationen der Umwelt 20 mit bzw. ohne Objekt 25 und die 2D-lnformationen der Umwelt 20 mit Objekt 25 auch in einer anderen Reihenfolge erstellt werden können, also beispielsweise zunächst nur Umwelt und anschließend Umwelt mit Objekt. Als weitere Variante ist es möglich, dass die 2D- und/oder 3D-lnformationen der Umwelt mit und/oder ohne Objekt auch„offline“, also nicht unbedingt vor Ort, erstellt werden können. So können diese Informationen oder ein Teil dieser Informationen auch bereits vorab erstellt worden sein und über die Kommunikationsschnittstelle 13 dem Datenverarbeitungsgerät 10 zugeführt worden sein. Die Informationen können in dem Speicher 12 gespeichert werden.

Nachdem die 2D-lnformationen von Objekt 25 und Umwelt 20 und die 3D- Informationen der Umwelt 20 mit und ohne Objekt 25 bereitgestellt wurden (entweder durch Aufnahme durch die Aufnahmeeinrichtung 14 oder über Schnittstelle 13), können 3D-lnformationen ermittelt oder erzeugt werden, die sich nur oder zumindest im Wesentlichen nur auf das Objekt 25 beziehen. Dies geschieht auf Basis der 3D- Informationen der Umwelt 20 mit und ohne Objekt 25. Unter Umständen ist hierzu ein Matchen oder Registrieren der 3D-lnformationen mit bzw. ohne Objekt 25 (Fig. 3 bzw. Fig. 6) nötig, damit sich die Bereiche der 3D-lnformationen decken, die sich nur auf die Umwelt 20 beziehen. Das Ergebnis dieses Matchens ist in Fig. 7 dargestellt (wiederum als Punktewolke 36 oder Teil einer Punktewolke). Falls die 3D- Informationen der Umwelt 20 mit und ohne Objekt 25 aus exakt dem gleichen Blickwinkel und in der exakt gleichen Blickrichtung erstellt wurden und sich in der Umwelt 20 außer dem Hinzufügen oder Wegnehmen des Objekts 25 nichts geändert hat, könnte unter Umständen auf das Matchen verzichtet werden.

Algorithmen zum Ausführen eines Matchens von zwei Punktewolken sind im Stand der Technik bekannt.

Es kann nun in einem Schritt 104 eine vierte Menge an 3D-lnformationen auf Basis der ersten und der dritten Menge an 3D-lnformationen erzeugt werden. Hierzu werden ausgehend von der Punktewolke 30 (Umgebung und Objekt) diejenigen Punkte entfernt, die auch in der Punktewolke 35 (Umgebung ohne Objekt) vorhanden sind. Als Ergebnis erhält man die in Fig. 8 dargestellte Punktewolke 37, die im Wesentlichen nur Punkte des Objekts, nicht aber der Umgebung, aufweist. Effektiv findet also eine Art Subtraktion der Punktewolken 30 und 35 statt.

Je nach Implementierung können die Punktewolken vor dieser „Subtraktion“ weiterverarbeitet bzw. aufbereitet werden. Es kann beispielsweise anhand der Punktewolken 30 und 35 wenigstens näherungsweise bestimmt/berechnet werden, wo sich (Ober-) Flächen der Umgebung bzw. der Gesamtheit von Umgebung und Objekt befinden. Verfahren zum mathematischen Anpassen von Flächen auf Punktewolken sind im Stand der Technik bekannt. In dem nachfolgenden Subtraktionsschritt können dann die Flächen der Umgebung von den Flächen der Gesamtheit von Objekt und Umgebung entfernt werden.

Wenn nun 3D-lnformationen des Objekts bekannt sind (Punktewolke 37 oder ein entsprechendes Oberflächenmodell des Objekts oder ähnliches) können diese Informationen in einem Schritt 105 auf die zweite Menge an 2D-lnformationen 40 gemappt werden. Hierzu kann anhand der Punktewolke 37 des Objekts ermittelt werden, in welchem Bereich einer 2D-Darstellung 40 (Fig. 4) das Objekt 25 sich befindet. Dieser Bereich ist in Fig. 9 als Bereich 38 angedeutet, wobei dieser zur Verdeutlichung separat in der oberen Bildhälfte gezeigt ist. Im Verhältnis zu dem 2D- Bild 40 von Objekt und Umgebung befindet sich dieser Bereich 38 natürlich nicht außerhalb des 2D-Bildes 40. Die eigentliche Position des Bereichs 38 wird schematisch durch den Pfeil in Fig. 9 dargestellt, d.h. der Bereich 38, in dem sich - ermittelt aufgrund der Punktewolken von Umgebung mit und ohne Objekt - das Objekt befindet, ist der in Fig. 9 gezeigte zentrale Bereich, in dem sich tatsächlich die 2D- Abbildung des Objekts 25 befindet.

Durch die bisher beschriebenen Verfahrensschritte kann also automatisch bestimmt werden, in welchem Bereich einer 2D-Darstellung eines Objekts 25 und seiner Umwelt 20 das Objekt 25 sich befindet.

Nach Ermittlung des Bereichs 38 können nun in einem Verfahrensschritt 106 charakteristische Strukturen des Objekts 25 (wie zum Beispiel Kanten oder ähnliches) ermittelt werden. Die Ermittlung von Kanten beschränkt sich hierbei auf den Bereich 38, so dass Kanten der Umwelt nicht fälschlicherweise als Kanten des Objekts erkannt werden. Fig. 10 zeigt die ermittelten Kanten 250 des Objekts 25.

Obwohl gemäß dem obigen Ausführungsbeispiel die 3D-Darstellung des Objekts 25 (also in dem oben beschriebenen Ausführungsbeispiel die Punktewolke 37 des Objekts 25) nach dem Erstellen des 2D-Modells (Kanten 250) nicht mehr benötigt wird, kann gemäß einer Variante diese 3D-Darstellung des Objekts 25 weiterbenutzt werden, entweder im Zusammenhang mit dem 2D-Modell oder unabhängig von diesem. In einer weiteren Ausführungsform der vorliegenden Erfindung ist ein System zum Erstellen eines Modells eines Objekts vorgesehen. Dieses System - bereits in Fig. 1 schematisch dargestellt - weist einen 2D-/3D-Sensor (Aufnahmeeinrichtung) 14 und eine Datenverarbeitungsanlage 10 auf, um die vorangehend beschriebenen Verfahrensschritte durchzuführen. Um Wiederholungen zu vermeiden, werden diese Schritte nicht noch einmal beschrieben.

In einer weiteren Ausführungsform ist ein Computerprogrammprodukt mit einem Programmcode vorgesehen. Dieser Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, kann beispielsweise durch die Datenverarbeitungsanlage 10 geladen werden, um das vorbeschriebene Verfahren durchzuführen.

Obwohl vorangehend beschrieben wurde, dass sich das Objekt 25 in einer Umgebung 20 befindet, wird darauf hingewiesen, dass das Objekt 25 sich auch beispielsweise auf der Umgebung befinden kann. So kann das Objekt beispielsweise auf einem Tisch oder ähnlichem positioniert sein, wie es tatsächlich auch in den Figuren gezeigt ist. Der Ausdruck„in der Umgebung“ ist also nicht hinsichtlich der Position des Objekts relativ zu seiner Umwelt eingeschränkt.

Es wurde bereits erwähnt, dass die erste, zweite und dritte Menge an 2D- bzw. 3D- Informationen bevorzugt aus dem gleichen (oder zumindest ähnlichen) Blickwinkel und in die gleiche (oder zumindest in eine ähnliche) Blickrichtung erstellt werden. Weichen die Blickwinkel oder Blickrichtungen voneinander ab, können unter Umständen Korrekturen oder Näherungsverfahren durchgeführt werden, damit das Verfahren dennoch brauchbare Ergebnisse liefert.

Gemäß einem der oben beschriebenen Verfahren werden (Ober-) Flächen der Umgebung mit und ohne Objekt 25 ermittelt und anschließend die (Ober-) Flächen der Umwelt entfernt, um (Ober-) Flächen des Objekts zu ermitteln. Stattdessen kann in ähnlicher Weise der dreidimensionale Raum, der durch die Umwelt 20 mit bzw. ohne Objekt 25 eingenommen wird, ermittelt werden. Nach entsprechender Subtraktion ergibt sich dann der dreidimensionale Raum, der (nur) von dem Objekt 25 eingenommen wird, was dann, wie vorangehend beschrieben, bei dem Mapping gemäß Schritt 105 (Fig. 9) angewendet werden kann.

Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.

Bezuqszeichenliste

1 System zum Ermitteln von 2D-/3D-lnformationen

10 Datenverarbeitungsanlage

1 1 Prozessor

12 Speicher

13 Kommunikationsschnittstelle

14 Aufnahmeeinrichtung / Sensor

15 Optische Linse

20 Umwelt

21 Ebene der Umwelt

22 Quaderförmige Struktur der Umwelt

25 Objekt

30 Punktewolke (Umwelt und Objekt)

35 (Referenz-) Punktewolke (Umwelt)

36 Gematchte Punktewolke

37 Punktewolke (Objekt)

38 Durch Objekt eingenommener Bereich

40 2D-Bild (Objekt und Umwelt)

210 2D-Darstellung der Ebene 21

220 2D-Darstellung der quaderförmigen Struktur 22

250 2D-Darstellung des Objekts 25