Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
TRAINING A SMART HOUSEHOLD APPLIANCE
Document Type and Number:
WIPO Patent Application WO/2020/260132
Kind Code:
A1
Abstract:
The invention relates to a method for training a recognition system for recognizing an object in an interior space of a household appliance. The method comprises the steps of capturing images from a plurality of predetermined perspectives of the object placed on an alignment sheet; producing training data on the basis of the images; and training the adaptive recognition system using said training data.

Inventors:
HAGE CLEMENS (DE)
NASTERNAK MICHAL (PL)
RICO GARCIA CRISTINA (DE)
Application Number:
PCT/EP2020/066977
Publication Date:
December 30, 2020
Filing Date:
June 18, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BSH HAUSGERAETE GMBH (DE)
International Classes:
G06K9/00; G01C11/02; G01C11/26; G06K9/32; G06K9/62; G06T7/55; G06T7/593; G06Q10/08
Domestic Patent References:
WO2018212493A12018-11-22
Foreign References:
US20170262973A12017-09-14
EP1308902A22003-05-07
US20160225137A12016-08-04
Other References:
FREDRIK FÄRNSTRÖM ET AL: "Computer Vision for determination of Fridge Content", SYMPOSIUM ON IMAGE ANALYSIS (SBBA) 2002, 7 March 2002 (2002-03-07), Lund, Sweden, pages 45 - 48, XP055726943
Download PDF:
Claims:
PATENTANSPRÜCHE

1. Verfahren (200) zum Trainieren einer Erkennungseinrichtung (125) zur Erkennung eines Objekts (115) in einem Innenraum (110) eines Hausgeräts (105), wobei das Ver fahren (200) folgende Schritte umfasst:

Erfassen (210) von Bildern des auf einem Justierbogen (120) platzierten Objekts (115) aus mehreren, vorzugsweise vorbestimmten Perspektiven;

Erzeugen (225) von Trainingsdaten auf der Basis der Bilder; und

- Trainieren der adaptiven Erkennungseinrichtung (125) mit den Trainingsdaten.

2. Verfahren (200) nach Anspruch 1 , wobei auf der Basis der Bilder ein dreidimensiona les Modell des Objekts (115) erstellt (220) wird und die Trainingsdaten auf der Basis des dreidimensionalen Modells erzeugt (225) werden.

3. Verfahren (200) nach Anspruch 1 oder 2, wobei der Justierbogen (120) mit dem Ob jekt (115) an vorbestimmte Positionen gegenüber einer Kamera (130) zur Erfassung der Bilder bewegt wird.

4. Verfahren (200) nach Anspruch 3, wobei eine Anweisung zur Bewegung des Justier bogens (120) mit dem Objekt (115) an eine vorbestimmte Position gegenüber der Ka mera (130) bereitgestellt wird.

5. Verfahren (200) nach Anspruch 4, wobei erfasst wird, dass sich der Justierbogen (120) mit dem Objekt (115) an einer vorbestimmten Position gegenüber der Kamera (130) befindet.

6. Verfahren (200) zum Erkennen eines Objekts (115) in einem Innenraum (110) eines Hausgeräts (105), umfassend Schritte eines Verfahrens (200) nach einem der voran gehenden Ansprüche, ferner ein Erfassen (235) eines Bildes des Objekts (115) im In nenraum (110) und ein Erkennen (235) des Objekts (115) auf der Basis des Bildes.

7. System (100), umfassend:

- einen Justierbogen (120) zur Platzierung eines Objekts (115) auf dem Justierbo gen (120); - eine Kamera (130) zur Erfassung von Bildern des auf dem Justierbogen (120) platzierten Objekts (115) aus mehreren, vorzugsweise vorbestimmten Perspekti ven;

- eine Verarbeitungseinrichtung (135), die dazu eingerichtet ist, auf der Basis der Bilder Trainingsdaten zu erzeugen; und eine adaptive Erkennungseinrichtung

(125) mit den Trainingsdaten zu trainieren.

8. System (100) nach Anspruch 7, wobei die Kamera (130) eine Tiefenkamera umfasst. 9. System (100) nach Anspruch 7 oder 8, ferner umfassend eine Projektionseinrichtung

(320) zur Projektion einer Positionsmarke auf eine Oberfläche (305), auf welcher der Justierbogen (120) mit dem Objekt (115) zu platzieren ist.

10. System (100) nach einem der Ansprüche 7 oder 8, wobei die Kamera (130) Teil eines Smartphone (310) ist.

Description:
Trainieren eines Intelligenten Hausgeräts

Die Erfindung betrifft ein intelligentes Hausgerät. Insbesondere betrifft die Erfindung ein Hausgerät mit einer Kamera zur Erkennung von Gegenständen in einem Innenraum des Hausgeräts.

Ein intelligenter Kühlschrank umfasst eine Kamera zur Erfassung eines Bildes eines In nenraums und eine Verarbeitungseinrichtung. Die Verarbeitungseinrichtung prozessiert das Bild und kann ein im Innenraum angeordnetes Objekt erkennen. Beispielsweise kön nen so unterschiedliche Speisen im Kühlschrank erfasst werden, was etwa zur Erstellung einer Einkaufsliste hilfreich sein kann.

Die Erkennung arbeitet bevorzugt mittels maschinenimplementierten Lernens. Die Verar beitungseinrichtung kann bereits darauf trainiert sein, bestimmte Objekte zu erkennen. Dazu kann die Verarbeitungseinrichtung beispielsweise ein künstliches neuronales Netz werk implementieren. Unbekannte Objekte können jedoch nicht erkannt werden, sodass kein vollständiges Inventar des Kühlschranks angelegt werden kann.

WO2018212493A1 schlägt einen Kühlschrank mit einer innen angebrachten Kamera und einer außen angebrachten Anzeigeeinrichtung vor. Eine Verarbeitungseinrichtung kann einen Gegenstand im Kühlschrank erkennen und dessen Namen auf der Außenseite an- zeigen.

Um die Verarbeitungseinrichtung auf ein neues Objekt zu trainieren, sind üblicherweise Laborbedingungen herzustellen, um beispielsweise jede bekannte Ansicht jeweils einer genauen Perspektive oder Entfernung zur Kamera zuzuordnen. Einem Benutzer des Kühlschranks fehlen hierfür üblicherweise die notwendigen Mittel, beispielsweise eine steuerbare Drehscheibe, auf der das Objekt platziert werden kann. Außerdem kann ein manuelles Bereitstellen von Trainingsdaten auf der Basis von Abtastungen eines Objekts ausgesprochen aufwändig sein.

Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik, um eine Erkennungseinrichtung zur Erkennung eines Objekts in einem Innenraum eines Hausgeräts auf ein neues Objekt anzulernen. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.

Ein Verfahren zum Trainieren einer Erkennungseinrichtung zur Erkennung eines Objekts in einem Innenraum eines Hausgeräts umfasst Schritte des Erfassens von Bildern des auf einem Justierbogen platzierten Objekts aus mehreren (vorzugsweise vorbestimmten) Per spektiven; des Erzeugens von Trainingsdaten auf der Basis der Bilder; und des Trainie- rens der bevorzugt adaptiven Erkennungseinrichtung mit den Trainingsdaten.

In einigen Ausführungsformen kann der Justierbogen an vorbestimmte Positionen gegen über einer unbeweglich angeordneten Kamera gebracht werden. In anderen Ausführungs formen ist die Kamera selbst beweglich und beispielsweise ein Nutzer kann aus mehreren Perspektiven Bilder des auf dem Justierbogen platzierten Objekts erfassen, wobei eine räumliche Zuordnung der Bilder zueinander aufgrund des in den Bildern zu erkennenden Justierbogens möglich sein kann. Eine Position des Objekts gegenüber dem Justierbogen wird vorzugsweise unveränderlich gehalten, um die räumliche Zuordnung der Bilder zuei nander zu erleichtern. Der Justierbogen umfasst bevorzugt ein dünnes, ebenes Objekt, auf dem das Objekt angeordnet werden kann. Beispielsweise kann der Justierbogen ein Papier, eine Pappe, einen Karton, eine Folie oder ein Blech umfassen. Dabei kann der Justierbogen eine optische Markierung tragen, sodass seine Position auf einem durch die Kamera erfassten Bild bestimmbar ist. Eine Position des Objekts kann auf der Basis der bestimmten Position des Justierbogens leicht bestimmt werden. So können auf einfache Weise Bilder des Objekts aus den vorbestimmten Perspektiven angefertigt werden. Die Bilder können zum Trainieren der Erkennungseinrichtung ausreichen.

Eine trainierte Erkennungseinrichtung kann das Objekt, nachdem es im Innenraum des Hausgeräts platziert wurde, auf einem Bild erkennen, das mittels einer in den Innenraum gerichteten Kamera erfasst wurde. Das Hausgerät kann insbesondere einen Kühlschrank, einen Gefrierschrank, einen Klimaschrank oder ein Gargerät wie einen Bräter, einen Dampfgarer oder einen Ofen umfassen. Bevorzugt ist das Hausgerät zur Lagerung des Objekts eingerichtet. In einer anderen Ausführungsform kann das Hausgerät aber auch zur Prozessierung des Objekts eingerichtet sein, wobei das Objekt erkannt werden kann, wenn ein vorbestimmter Prozessiergrad erreicht wurde. Beispielsweise kann das Errei chen eines vorbestimmten Gargrads eines in einem Ofen aufgenommenen Gerichts an hand optischer Merkmale bestimmt werden. In einer bevorzugten Ausführungsform wird auf der Basis der Bilder ein dreidimensionales Modell des Objekts erstellt, wobei die Trainingsdaten auf der Basis des dreidimensionalen Modells erzeugt werden können. Das dreidimensionale Modell kann auf der Basis der Bilder relativ einfach bestimmt werden. Das Modell kann nachbearbeitet werden, um bei spielsweise einen Hohlraum zu öffnen oder zu schließen, der auf der Basis der Bilder nicht korrekt erkannt wurde. Auch Artefakte oder Lücken im Modell können reduziert oder eliminiert werden. Diese Bearbeitungen können manuell oder automatisiert erfolgen. Auf der Basis des Modells können praktisch beliebig viele Trainingsdaten erstellt werden, die erforderlich sein können, um ein Erkennen des Objekts durch die Erkennungseinrichtung zu ermöglichen. Arbeitet die Erkennungseinrichtung mit einem künstlichen neuronalen Netzwerk, so können mehrere tausend, mehrere zehntausend oder mehrere hunderttau send Trainingsdaten für eine gute Erkennung erforderlich sein.

Der Justierbogen mit dem Objekt kann an vorbestimmte Positionen gegenüber einer Ka mera zur Erfassung der Bilder bewegt werden. Dazu kann eine Anweisung zur Bewegung des Justierbogens mit dem Objekt an eine vorbestimmte Position gegenüber der Kamera bereitgestellt werden. Die Anweisung kann beispielsweise akustisch oder optisch ausge geben werden. Die optische Ausgabe kann symbolisch, textuell oder graphisch erfolgen.

Es kann erfasst werden, dass sich der Justierbogen mit dem Objekt an einer vorbestimm ten Position gegenüber der Kamera befindet. Dazu kann eine Bestätigung einer Person erfasst werden, die optional den Justierbogen mit dem Objekt positioniert. In einer ande ren Ausführungsform kann das Erreichen einer vorbestimmten Position durch den Justier bogen auf der Basis eines Bildes der Kamera bestimmt werden. In diesem Fall kann eine Bestätigung ausgegeben werden, dass die Position erreicht wurde. Üblicherweise wird eine vorbestimmte Anzahl von Positionen verwendet, beispielsweise ca. 10-20.

Nach einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Erkennen eines Objekts in einem Innenraum eines Hausgeräts Schritte eines hierin beschriebenen Ver fahrens, des Erfassens eines Bildes des Objekts im Innenraum und ein Erkennen des Objekts auf der Basis des Bildes. Anders ausgedrückt kann ein Verfahren zum Erkennen des Objekts im Innenraum des Hausgeräts zuvor mittels eines hierin beschriebenen Ver fahrens auf dessen Erkennung trainiert worden sein. Das Ergebnis eines ersten hierin beschriebenen Verfahrens kann durch ein zweites Verfahren zur Erkennung des Objekts genutzt werden.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein System einen Justierbogen zur Platzierung eines Objekts auf dem Justierbogen; eine Kamera zur Erfas sung von Bildern des auf dem Justierbogen platzierten Objekts aus mehreren, vorzugs weise vorbestimmten Perspektiven; und eine Verarbeitungseinrichtung. Dabei ist die Ver arbeitungseinrichtung dazu eingerichtet, auf der Basis der Bilder Trainingsdaten zu er zeugen; und eine adaptive Erkennungseinrichtung mit den Trainingsdaten zu trainieren.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Ver fahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann insbesondere als Applikation („App“) für einen Compu ter oder ein mobiles Gerät vorliegen. Das Computerprogrammprodukt kann auch auf ei nem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Ver fahrens können auf die Vorrichtung übertragen werden oder umgekehrt.

Die Verarbeitungseinrichtung kann lokal im Bereich der Kamera vorliegen oder die mittels der Kamera erfassten Bilder können an eine entfernt angeordnete Verarbeitungseinrich tung übermittelt werden. Die Verarbeitungseinrichtung kann insbesondere als Server oder Dienst, optional in einer Cloud, realisiert sein. Der Justierbogen kann als elektronische Vorlage bereitgestellt sein, die durch einen Benutzer ausgedruckt werden kann. Es kön nen unterschiedliche Justierbögen für unterschiedliche Objekte vorgesehen sein, bei spielsweise in Abhängigkeit einer Größe des jeweiligen Objekts.

Die Kamera kann eine Tiefenkamera umfassen. Dazu kann die Kamera nach dem TOF (Time-Of-Flight) Prinzip Licht aussenden und am Objekt reflektiertes Licht registrieren. Eine Dauer zwischen dem Aussenden und dem Registrieren des Lichts kann zur Bestim mung einer Entfernung zum Objekt verwendet werden. In einer anderen Ausführungsform kann die Kamera nach dem Stereo-Prinzip arbeiten. Dabei können gleichzeitig mehrere Bilder aus leicht unterschiedlichen Perspektiven angefertigt werden und Tiefeninformatio nen können auf der Basis von Abweichungen zwischen den Bildern bestimmt werden. Auf der Basis von Bildern mit Tiefeninformationen können leichter oder genauer Trai ningsdaten beziehungsweise ein dreidimensionales Modell zur Bereitstellung von Trai ningsdaten erzeugt werden.

Das System kann darüber hinaus eine Projektionseinrichtung zur Projektion einer Positi onsmarke auf eine Oberfläche, auf welcher der Justierbogen mit dem Objekt zu platzieren ist, umfassen. Mittels der Projektionseinrichtung kann ein Hinweis zur Positionierung des Justierbogens ausgegeben werden. Beispielsweise kann die Projektion Umrisse des kor rekt platzierten Justierbogens umfassen, sodass eine Bedienperson den Justierbogen leicht auf die Projektion verschieben kann. Die Kamera und die Projektionseinrichtung können in einer Projektions- und Interaktionseinrichtung (PAI) zusammengefasst sein. Dabei kann die PAI zur Anbringung über einer Arbeitsfläche eingerichtet sein. Der Jus tierbogen kann auf der Arbeitsfläche platziert oder positioniert werden.

In einer anderen Ausführungsform ist die Kamera Teil eines Smartphone. Das Smartpho- ne kann etwa mittels eines Stativs fest aufgestellt werden. Anschließend kann nur noch die Position des Justierbogens mit dem Objekt gegenüber dem Smartphone verändert werden. Das Smartphone kann erforderliche Einrichtungen zur Steuerung der Kamera und zur Verarbeitung oder zur Übermittlung von Daten an eine entfernte Stelle bereits enthalten. Ein Benutzer kann ein vorhandenes Smartphone zur Umsetzung der vorliegen den Erfindung verwenden. Anschaffungskosten für die Implementierung der hierin vorge schlagenen Technik können verringert sein. Eine für die Technik erforderliche Applikation kann leicht auf dem Smartphone installiert werden.

Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:

Figur 1 ein beispielhaftes System mit einem Hausgerät;

Figur 2 ein beispielhaftes Verfahren zum Trainieren eines Hausgeräts;

Figur 3 beispielhafte Varianten von Vorrichtungen zur Erfassung von Bildern eines Ob jekts; und

Figur 4 einen beispielhaften Justierbogen mit einem Objekt darstellt. Figur 1 zeigt ein beispielhaftes System 100 mit einem Hausgerät 105, das hier beispiel haft als Kühlschrank ausgeführt ist. Das Hausgerät 105 umfasst einen Innenraum 1 10, in dem ein Objekt 115 angeordnet werden kann. Das Objekt 1 15 umfasst üblicherweise ein Lebensmittel, etwa eine Speise, ein Gericht oder eine Zutat. Dabei kann ein Gebinde des Objekts 1 15 variieren; beispielsweise kann das gleiche Lebensmittel in unterschiedlichen Verpackungen oder Größen vorliegen. Vorliegend ist das Objekt 115 auf einem Justierbo gen 120 platziert, der im Innenraum 1 10 positioniert ist.

Eine Erkennungseinrichtung 125 umfasst eine in den Innenraum 110 richtbare Kamera 130, eine Verarbeitungseinrichtung 135, sowie optional eine Ausgabevorrichtung 140, hier in Form einer graphischen Ausgabevorrichtung 140, oder eine Kommunikationseinrich tung 145. die Verarbeitungseinrichtung 135 umfasst bevorzugt einen Mikrocomputer. Die Ausgabevorrichtung 140 kann beispielsweise textuelle oder graphische Ausgaben bereit stellen. Dabei kann die Ausgabe auf der Innenseite und/oder der Außenseite des Hausge räts 105 bereitgestellt sein. Optional ist eine akustische Ausgabevorrichtung 140 vorgese hen.

Die Kommunikationseinrichtung 145 ist zur Kommunikation mit einer externen Einrichtung 150 eingerichtet. In einem üblichen Betrieb des Hausgeräts 105 kann ein Inhalt des Hausgeräts 105 erkannt und verarbeitet werden und die verarbeiteten Informationen kön nen, beispielsweise in Textform, an die externe Einrichtung 150 übermittelt werden. Die externe Einrichtung 150 kann die Informationen weiterleiten, beispielsweise an ein festes oder mobiles Gerät eines Benutzers des Hausgeräts 105. Die Informationen können mit tels der Kommunikationseinrichtung 145 auch direkt an das Gerät des Benutzers geleitet werden.

Für eine hierin beschriebene Technik kann die externe Einrichtung 150 für das Trainieren der Erkennungseinrichtung 125 eingerichtet sein. Dazu kann eine dedizierte Einrichtung 150 vorgesehen sein, die sich von der Einrichtung 150 zur Verarbeitung oder Übermitt lung von Informationen über erkannte Objekte 115 unterscheidet. Die Aufgaben der ex ternen Einrichtung 150 können auch lokal durch die Verarbeitungseinrichtung 135 der Erkennungseinrichtung 125 oder eine andere lokale Verarbeitungseinrichtung erbracht werden. Die externe Einrichtung 150 umfasst bevorzugt eine Verarbeitungseinrichtung 155, eine Kommunikationseinrichtung 160 und eine optionale Speichervorrichtung 165. Es wird vorgeschlagen, mittels der Kamera 130 eine Anzahl Bilder des auf dem Justier bogen 120 platzierten Objekt 115 zu erfassen, und auf der Basis der Bilder die Verarbei tungseinrichtung 135 zu trainieren, um das Objekt 1 15 zu erkennen. Dazu werden die Bilder bevorzugt an die externe Einrichtung 150 übermittelt, wo aus ihnen ein dreidimen sionales Modell des Objekts 1 15 bestimmt wird. Auf der Basis des Modells können Trai ningsdaten erzeugt werden, die insbesondere Ansichten des Objekts 115 aus verschie denen Perspektiven oder mit verschiedenen Abdeckungen durch andere Gegenstände umfassen können. Die Trainingsdaten können zum Trainieren eines lernfähigen, compu terimplementierten Systems verwendet werden. Das System oder ein charakteristischer Teil davon kann an die Erkennungseinrichtung 125 zurück übermittelt werden, um das Objekt 1 15 im Innenraum 110 des Hausgeräts 105 auf einem mittels der Kamera 130 er fassten Bildes zu erkennen. Insbesondere kann das trainierte System ein künstliches neu ronales Netzwerk umfassen und charakteristische Parameter, insbesondere über eine Anordnung und/oder Verschaltung von künstlichen Neuronen, kann übermittelt werden.

Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Trainieren einer Erken nungseinrichtung 120. Das Verfahren kann insbesondere mittels eines Systems 100 aus geführt werden. Es ist zu beachten, dass die in Figur 1 dargestellten Elemente bevorzugt primär zur Erkennung des Objekts 1 15 verwendet werden, wenn die Erkennungseinrich tung 125 bereits entsprechend trainiert worden ist. Ein im Folgenden beschriebenes Trai ning kann mit solchen Elementen ausgeführt werden. Bevorzugt werden jedoch andere Einrichtungen verwendet, die weiter unten noch genauer erläutert werden.

In einem Schritt 205 wird das Objekt 1 15 auf dem Justierbogen 120 platziert, wobei der Justierbogen 120 an eine vorbestimmte Position gebracht wird, aus der die Kamera 130 eine vorbestimmte Perspektive auf das Objekt 115 hat. Die Position kann dynamisch be stimmt werden, beispielsweise auf der Basis einer Größe des Objekts 115. Ein Hinweis auf die vorbestimmte Position kann mittels der Ausgabeeinrichtung 140 ausgegeben wer den. Hat der Justierbogen 120 die Position eingenommen, kann dies auf der Basis eines Bilds der Kamera 130 erkannt werden oder eine Betätigung einer Eingabevorrichtung kann erfasst werden.

In einem Schritt 210 kann ein Bild des Objekts 115 auf dem Justierbogen 120 erfasst werden. Dabei ist bevorzugt das gesamte Objekt 1 15 und zumindest ein vorbestimmter Abschnitt des Justierbogens 120 abgebildet, wobei der Abschnitt eine optische Markie rung zeigen kann, die zur Bestimmung einer Position und/oder Ausrichtung des Justier bogens 120 verwendet werden kann.

In einem Schritt 215 kann bestimmt werden, ob bereits ausreichend Bilder des Objekts 115 auf dem Justierbogen 120 aus unterschiedlichen, vorbestimmten Positionen gegen über der Kamera 130 vorliegen. Ist dies nicht der Fall, können die Schritte 205 und 210 erneut durchlaufen werden. Es ist zu beachten, dass im Schritt 205 zwar der Justierbogen 120 gegenüber der Kamera 130 bewegt werden kann, eine Ausrichtung und Position des Objekts 115 gegenüber dem Justierbogen 120 jedoch bevorzugt unverändert bleibt.

In einem Schritt 220 kann ein dreidimensionales Modell des Objekts 115 bestimmt wer den. Dieser Schritt wird bevorzugt seitens der externen Einrichtung 150 durchgeführt. Das dreidimensionale Modell ist dazu eingerichtet, das Objekt 115 möglichst von allen Ansich ten zu zeigen, die das Objekt 115 gegenüber der Kamera 130 einnehmen kann. Dazu können Informationen der Bilder entsprechend zusammengefasst und gegeneinander abgeglichen werden. Das Modell reflektiert bevorzugt nur optische Merkmale des Objekts 115.

In einem Schritt 225 können Trainingsdaten auf der Basis des Modells erzeugt werden. Die Trainingsdaten können jeweils eine Ansicht des Objekts 115 aus einer vorbestimmten Perspektive umfassen. Optional ist die Ansicht einer vorbestimmten Störung unterworfen, beispielsweise einer partiellen Verdeckung durch ein anderes Objekt.

In einem Schritt 230 kann die Erkennungseinrichtung 125 auf der Basis der Trainingsda ten trainiert werden. Praktisch wird nicht die Erkennungseinrichtung 125 des Hausgeräts 105 trainiert, sondern eine Kopie oder ein Derivat von charakteristischen Teilen des Er kennungssystems 125, insbesondere in Form eines künstlichen neuronalen Netzwerks.

In einem Schritt 235 kann die Erkennungseinrichtung 235 dazu verwendet werden, mittels der Kamera 130 ein Bild des Objekts 115 im Innenraum 110 anzufertigen und das Objekt 115 zu erkennen oder das Bild zu segmentieren, um das Objekt 115 zu isolieren, zu iden tifizieren oder freizustellen. Die Verwendung des Hausgeräts 105 zum Anfertigen von Bildern, die vom Verfahren 200 letztlich zum Trainieren der Erkennungseinrichtung 125 verwendet werden können, kann aufwändig sein, da zum korrekten Anordnen des Objekts 115 auf dem Justierbogen 120 jeweils eine Tür des Hausgeräts geöffnet und zum Erfassen eines Bildes wieder ge schlossen werden muss. Außerdem kann eine Qualität der Kamera 130 begrenzt sein. Eine Perspektive der Kamera 130 kann für den vorliegenden Zweck suboptimal sein. Eine Beleuchtung im Hausgerät 105 kann weiter relativ schwach sein, sodass die Bilder keine hohe Qualität erreichen können.

Figur 3 zeigt beispielhafte Varianten von Vorrichtungen, die sich besser zur Erfassung von Bildern eines Objekts 115 zur Erzeugung von Trainingsdaten eignen können. Ohne Be schränkung der Allgemeinheit wird angenommen, dass sich das auf dem Justierbogen 120 platzierte Objekt 115 auf einer Oberfläche 305 befindet, die insbesondere horizontal verlaufen kann und die Oberseite eine Arbeitsplatte bilden kann.

Eine erste Vorrichtung 310 umfasst ein Mobilgerät, beispielsweise einen Laptop Compu ter, einen Tablet Computer oder ein Smartphone. Das Gerät umfasst üblicherweise eine Kamera 130 sowie eine Verarbeitungseinrichtung 135 und eine Kommunikationseinrich tung 145. Für die Durchführung des Verfahrens 200, insbesondere der Schritte 205-215, kann das Gerät mittels eines Stativs in eine unveränderliche Position gegenüber der Oberfläche 305 gebracht werden.

Eine zweite Vorrichtung 315 umfasst eine PAI, die üblicherweise oberhalb der Oberfläche 305 beispielsweise an der Unterseite eines Oberschranks oder Regals, oder an einer ver tikalen Wand angebracht sein kann. In einer weiteren Ausführungsform kann die Vorrich tung 315 auch mittels eines Masts über der Oberfläche 305 gehalten sein.

Die PAI umfasst üblicherweise eine Kamera 130, eine Verarbeitungseinrichtung 135 und eine Kommunikationseinrichtung 145. Außerdem ist als Ausgabevorrichtung 140 ein Pro jektor 320 vorgesehen, der mit einem leichten seitlichen Versatz zur Kamera 130 ange bracht sein kann. Der Projektor 320 ist bevorzugt dazu eingerichtet, eine Darstellung auf die Oberfläche 305 zu projizieren und die Kamera 130 kann dazu eingerichtet sein, eine Position eines Objekts, insbesondere eine Hand eines Benutzers, gegenüber der Darstel lung zu bestimmen. Die PAI kann in besonderer Weise vorteilhaft dazu verwendet wer den, eine gewünschte Position für den Justierbogen 120 auf die Oberfläche 305 zu proji- io

zieren. Nimmt der Justierbogen 120 die projizierte Position ein, kann dies mittels der Ka mera 130 bestimmt werden. Alternativ kann eine Eingabe eines Benutzers erfasst wer den. Die Eingabe kann bezüglich einer auf die Oberfläche 305 projizierten Schaltfläche erfolgen.

Beide Vorrichtungen 310, 315 können leicht durch einen Benutzer des Hausgeräts 105 verwendet werden. Andere Ausführungsformen für Vorrichtungen 310, 315 sind ebenfalls möglich.

Figur 4 zeigt einen beispielhaften Justierbogen 120, auf dem ein Objekt 115 platziert ist. Die Darstellung ist aus einer erhabenen Position und mit einer Optik der Kamera 130 mit kurzer Brennweite, sodass sich merkliche perspektivische Verzerrungen ergeben. Das Objekt 115 ist beispielhaft im Wesentlichen quaderförmig und kann beispielsweise eine Milchpackung umfassen. Ein Aufdruck der Verpackung ist nicht dargestellt.

Der Justierbogen 120 trägt bevorzugt eine Anordnung 405 mit wenigstens einer optischen Markierung 410. Die dargestellten Markierungen 410 sind in gleichen relativen Abständen auf einer Kreislinie angeordnet, in deren Bereich das Objekt 115 platziert ist. Aufgrund der Größe des Objekts 115 können nicht alle Markierungen 410 gleichzeitig von der Kamera 130 aus sichtbar sein. Die Markierungen 410 umfassen beispielhaft jeweils einen

Zentrierpunkt, um den einer oder mehrere Kreisbögen dargestellt sind.

System

Hausgerät

Innenraum

Objekt

Justierbogen

Erkennungseinrichtung

Kamera

Verarbeitungseinrichtung

Ausgabevorrichtung

Kommunikationseinrichtung externe Einrichtung

Verarbeitungseinrichtung

Kommunikationseinrichtung

Speichervorrichtung

Verfahren

Platzieren Objekt auf Justierbogen Erfassen Bild des Objekts Ausreichend Bilder vorhanden? 3D-Modell des Objekts erstellen Trainingsdaten erzeugen

Erkennungseinheit trainieren Erkennungseinheit verwenden

Oberfläche

erste Vorrichtung zweite Vorrichtung Projektor

Anordnung

Markierung