Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM WITH A DISHWASHER, METHOD, AND COMPUTER PROGRAM PRODUCT
Document Type and Number:
WIPO Patent Application WO/2022/161778
Kind Code:
A1
Abstract:
The invention relates to a system (100) with a dishwasher (1), in particular a domestic dishwasher, having an image-capturing device (110) for capturing a 2D image (2DIMG) of a dish rack (12-14) in the dishwasher (1) and dishes (21-24) arranged therein, an image processing device (120) for determining a 3D image (3DIMG) on the basis of the captured 2D image (2DIMG) and additionally captured metadata (META) of the captured 2D image (2DIMG), and a control device (140) for executing a wash program depending on the determined 3D image (3DIMG).

Inventors:
PAINTNER, Kai (DE)
RUPP, Michael (DE)
SINGH, Kuldeep Narayan (DE)
Application Number:
PCT/EP2022/050623
Publication Date:
August 04, 2022
Filing Date:
January 13, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BSH HAUSGERÄTE GMBH (DE)
International Classes:
G06V10/82; G06V20/52; G06V20/64; A47L15/42
Download PDF:
Claims:
24

PATENTANSPRÜCHE

1 . System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts- Geschirrspülmaschine, mit einer Bilderfassungseinrichtung (110) zum Erfassen eines 2D- Bildes (2DIMG) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) und darin angeordnetem Spülgut (21 - 24), einer Bildverarbeitungseinrichtung (120) zum Ermitteln eines 3D-Bildes (3DIMG) auf Basis des erfassten 2D-Bildes (2DIMG) und von zusätzlich erfassten Metadaten (META) des erfassten 2D-Bildes (2DIMG) und mit einer Steuerungsvorrichtung (140) zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes (3DIMG).

2. System nach Anspruch 1 , dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (120) ein erstes neuronales Netzwerk (125) umfasst, welches dazu eingerichtet ist, in Abhängigkeit von dem erfassten 2D-Bild (2DIMG) und den Metadaten (META) des erfassten 2D-Bildes (2DIMG) einen latenten Vektor (LVEC) zu erzeugen, und ein zweites neuronales Netzwerk (130) umfasst, welches dazu eingerichtet ist, in Abhängigkeit des erzeugten latenten Vektors (LVEC) ein 3D-Bild (3DIMG) der Spülgutaufnahme (12 - 14) zu ermitteln.

3. System nach Anspruch 2, dadurch gekennzeichnet, dass der latente Vektor (LVEC) eine Repräsentation der in dem erfassten 2D-Bild (2DIMG) enthaltenen Bilddaten und der Metadaten (META) umfasst, wobei eine Datenmenge des latenten Vektors (LVEC) höchstens 1/100, vorzugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, einer Datenmenge des erfassten 2D-Bildes (2DIMG) umfasst.

4. System nach einem der Ansprüche 1 - 3, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich der auf dem erfassten 2D-Bild (2DIMG) sichtbaren Spülgutaufnahme (12 - 14) und/oder eines auf dem erfassten 2D-Bild (2DIMG) sichtbaren Abschnitts der Spülgutaufnahme (12 - 14) umfas- sen. 5. System nach einem der Ansprüche 1 - 4, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich einer Höheneinstellung der Spülgutaufnahme (12 - 14) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.

6. System nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich eines Winkels zwischen der Bilderfassungseinrichtung (120) und der Spülgutaufnahme (12 - 14) umfassen.

7. System nach einem der Ansprüche 1 - 6, dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) eine Beleuchtungseinrichtung (111 , 112) zum Beleuchten der Spülgutaufnahme (12 - 14) umfasst und die Metadaten (META) des 2D-Bildes (2DIMG) eine Information bezüglich eines Betriebsmodus der Beleuchtungseinrichtung (111 , 112) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.

8. System nach einem der Ansprüche 1 - 7, dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) mehrere räumlich getrennt voneinander angeordnete Beleuchtungseinrichtungen (111 , 112) zum Beleuchten der Spülgutaufnahme (12 - 14) umfasst und die Metadaten (META) des 2D-Bildes (2DIMG) eine Information bezüglich eines jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen (111 , 112) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.

9. System nach Anspruch 8, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (120) zum Erfassen mehrerer 2D-Bilder der Spülgutaufnahme (12, 13, 14) bei unterschiedlichen Betriebsmodi der mehreren Beleuchtungseinrichtungen (111 , 112) eingerichtet ist, wobei die jeweiligen Metadaten (META) der mehreren 2D-Bilder (2DIMG) eine Information bezüglich des jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen (111 , 112) zum Zeitpunkt der Erfassung des jeweiligen 2D-Bildes (2DIMG) umfassen, und wobei die Bildverarbeitungseinrichtung (120) dazu eingerichtet ist, ein 3D-Bild (3DIMG) in Abhängigkeit der mehreren 2D-Bilder (2DIMG) und der jeweiligen Metadaten (META) zu ermitteln. 10. System nach einem der Ansprüche 1 - 9, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (140) dazu eingerichtet ist, in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) eine Blockade einer beweglich gelagerten Sprühvorrichtung der Geschirrspülmaschine (1) durch in der Spülgutaufnahme (12 - 14) angeordnetes Spülgut (21 - 25) zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Blockade durchzuführen.

11. System nach einem der Ansprüche 1 - 10, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (140) dazu eingerichtet ist, in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) eine Masse des in der Spülgutaufnahme (12 - 14) angeordneten Spülguts (21 - 25) zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Masse durchzuführen.

12. System nach einem der Ansprüche 1 - 11 , dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) ein Hydrauliksystem aufweist, das wenigstens eine Intensivspülzone umfasst, wobei die Steuerungsvorrichtung (140) dazu eingerichtet ist, die wenigstens eine Intensivspülzone in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) wahlweise zu aktivieren.

13. System nach einem der Ansprüche 1 - 12, dadurch gekennzeichnet, dass das System (100) eine zu der Geschirrspülmaschine (1) externe Einrichtung (200) aufweist, die die Bildverarbeitungseinrichtung (120) integriert, insbesondere das erste neuronale Netzwerk (125) und/oder das zweite neuronale Netzwerk (130) integriert, wobei die Geschirrspülmaschine (1) eine Kommunikationseinheit (160) aufweist, die zum Übermitteln des erfassten 2D-Bildes (2DIMG) und der Metadaten (META) an die externe Einrichtung (200) und zum Empfangen des 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) von der externen Einrichtung (200) eingerichtet ist.

14. Verfahren zum Betreiben einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit den Schritten:

Erfassen (S1) eines 2D-Bildes (2DIMG) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) und darin angeordnetem Spülgut (21 - 25) und von Metadaten (META) des erfassten 2D-Bildes (2DIMG), Ermitteln (S2) eines 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) in Abhängigkeit des erfassten 2D-Bildes (2DIMG) und der erfassten Metadaten (META), und Durchführen (S3) eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes (3DIMG). 15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 14 auszuführen.

Description:
System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt

Die vorliegende Erfindung betrifft ein System mit einer Geschirrspülmaschine, ein Verfahren zum Betreiben einer Geschirrspülmaschine und ein Computerprogrammprodukt.

Es sind Geschirrspülmaschinen bekannt, die eine Kamera oder dergleichen zum Erfassen eines Bildes einer Spülgutaufnahme aufweisen. Auf Basis erfasster Bilder kann beispielsweise eine Beladung der Geschirrspülmaschine, eine Anschmutzung des Spülguts und dergleichen ermittelbar sein. Derartige Informationen können dazu genutzt werden, ein Spülprogramm zu optimieren, so dass ein Reinigungsergebnis verbessert werden kann.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, das Reinigen von Spülgut mit einer Geschirrspülmaschine zu verbessern.

Gemäß einem ersten Aspekt wird ein System mit einer Geschirrspülmaschine, insbesondere einer mit Haushalts-Geschirrspülmaschine, vorgeschlagen. Die Geschirrspülmaschine umfasst eine Bilderfassungseinrichtung zum Erfassen eines 2D-Bildes einer Spülgutaufnahme der Geschirrspülmaschine und darin angeordnetem Spülgut. Das System umfasst eine Bildverarbeitungseinrichtung zum Ermitteln eines 3D-Bildes der Spülgutaufnahme auf Basis des erfassten 2D-Bildes und von zusätzlich erfassten Metadaten des erfassten 2D-Bildes. Die Geschirrspülmaschine umfasst ferner eine Steuerungsvorrichtung zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes.

Dieses System weist den Vorteil auf, dass ein dreidimensionales Bild der Spülgutaufnahme vorliegt, wobei hierfür nur eine Bildaufnahmeeinrichtung benötigt wird. Das dreidimensionale Bild ermöglicht es, verschiedene, für die Durchführung des Spülprogramms hilfreiche Informationen zu ermitteln. Beispielsweise kann auf Basis des 3D-Bildes ermittelt werden, ob ein Spülgut aus der Spülgutaufnahme herausragt und eine Sprühvorrichtung, wie einen drehbar gelagerten Sprüharm, blockieren kann, und es können entsprechende Maßnahmen ergriffen werden. Weiterhin kann eine Intensivspülzone automatisch aktiviert oder deaktiviert werden. Weiterhin kann ein Nutzer beim Beladen der Geschirrspülma- schine mit Spülgut unterstützt werden, um eine optimale Beladung zu erreichen. Weiterhin kann ein Trocknungsschritt optimiert werden.

Die Bilderfassungseinrichtung ist beispielsweise eine digitale Kamera, die zum Erfassen und Ausgeben eines digitalen Bildes, das beispielsweise eine Auflösung von wenigstens 1 MP (MP = Megapixel), bevorzugt wenigstens 5 MP, weiter bevorzugt über 8 MP, eingerichtet ist. Die Bilderfassungseinrichtung umfasst vorzugsweise einen Bildsensor mit einem erweiterten Spektralbereich, der beispielsweise eine Empfindlichkeit im Bereich zwischen 2500 nm - 250 nm aufweist. Die Bilderfassungseinrichtung umfasst vorzugsweise ferner ein Objektiv, das zum Abbilden der Spülgutaufnahme (oder der Spülgutaufnahmen, sofern die Geschirrspülmaschine mehrere Spülgutaufnahmen aufweist) auf den Bildsensor eingerichtet ist. Bevorzugt erfasst die Bilderfassungseinrichtung das Bild der Spülgutaufnahme, wenn diese in einer vorbestimmten Position angeordnet ist. Die Bilderfassungseinrichtung kann ferner eine Beleuchtungseinheit umfassen, um die Spülgutaufnahme während des Erfassens des Bildes zu beleuchten.

Insbesondere weist die Geschirrspülmaschine nur genau eine Bilderfassungseinrichtung mit einem optischen Strahlengang und einem Sensor auf. Es handelt sich somit insbesondere nicht um eine Stereo-Kamera. Damit kann die Komplexität der Geschirrspülmaschine geringgehalten werden.

In Ausführungsformen kann die Bilderfassungseinrichtung als eine Stereo-Kamera ausgebildet sein, die zwei 2D-Bilder aus unterschiedlichen Blickwinkeln erfasst und auf deren Basis das 3D-Bild ermittelt werden kann.

Beispielsweise umfasst die Geschirrspülmaschine einen Spülbehälter mit einem um eine Beschickungsöffnung des Spülbehälters umlaufenden Spülbehälterflansch, wobei die Bilderfassungseinrichtung in oder an einem einer Decke des Spülbehälters zugeordneten oberen Flanschabschnitt des Spülbehälterflansches angeordnet ist, und wobei die Bilderfassungseinrichtung von dem Spülbehälter weg und schräg in Richtung einer von einem Boden des Spülbehälters aufgespannten Ebene weist.

Diese Anordnung der Bilderfassungseinrichtung ist vorteilhaft, da diese damit außerhalb eines von der Spülflotte zugänglichen Bereichs angeordnet ist, weshalb die Umgebungs- bedingungen auch für sensible elektronische Bauteile einfach kontrollierbar sind. Der Spülbehälterflansch befindet sich vorzugsweise außerhalb einer mittels einer Dichteinrichtung abgedichteten Spülkammer.

Beispielsweise ist in oder an dem Spülbehälterflansch ein Hohlraum vorgesehen, in dem die Bilderfassungseinrichtung zumindest abschnittsweise aufgenommen ist, wobei der Hohlraum, vorzugsweise in Richtung der Ebene, von einem transparenten Element begrenzt ist.

Diese Ausführungsform stellt sicher, dass die Bilderfassungseinrichtung derart an der Geschirrspülmaschine angeordnet ist, dass sie nicht hervorsteht oder als störend wahrgenommen wird. Auch kann eine Geschirrspülmaschine, die zwar den Spülbehälterflansch mit dem Hohlraum aufweist, aber nicht mit einer Bilderfassungseinrichtung ausgestattet ist, vergleichsweise einfach nachgerüstet werden.

Das transparente Element ist beispielsweise als eine Kunststoffscheibe, eine Mineralglasscheibe, eine Glasscheibe oder dergleichen ausgebildet. Das transparente Element stellt vorzugsweise eine Abdichtung des Hohlraums nach unten, in Richtung der Ebene hin, sicher, so dass Dampf aus der Spülkammer, wenn die Tür nach Ablauf eines Spülprogramms geöffnet wird, nicht in den Hohlraum eintreten kann. Beispielsweise ist hierzu eine entsprechende Dichteinrichtung vorgesehen. Das transparente Element ist vorzugsweise für den gesamten Spektralbereich, den die Bilderfassungseinrichtung erfasst, transparent. In Ausführungsformen kann aber auch vorgesehen sein, dass das transparente Element nur selektiv für bestimmte Bereiche des Spektralbereichs transparent ist. Dann wirkt das transparente Element zusätzlich als ein Filter.

In Ausführungsformen ist die Bilderfassungseinrichtung vollständig in dem Hohlraum angeordnet, wobei der Hohlraum insgesamt abgedichtet ist. Das heißt, dass insbesondere keine Feuchtigkeit in den Hohlraum eindringen kann, was für eine Lebensdauer der Bilderfassungseinrichtung vorteilhaft ist.

Vorzugsweise weist die Bilderfassungseinrichtung einen vertikalen Bildwinkel von wenigstens 90° und einen horizontalen Bildwinkel von wenigstens 120° auf. Dies stellt sicher, dass die Spülgutaufnahme insgesamt erfasst werden kann, ohne dass einzelne Bereiche, beispielsweise Randbereiche, der Spülgutaufnahme auf dem erfassten Bild nicht zu sehen sind. Der jeweilige Bildwinkel wird vorzugsweise durch entsprechende optische Elemente bereitgestellt. Man kann auch von einer Ultraweitwinkel-Optik sprechen.

Die Bildverarbeitungseinrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Bildverarbeitungseinrichtung zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Bildverarbeitungseinrichtung als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.

Die Bildverarbeitungseinrichtung umfasst vorzugsweise ein neuronales Netzwerk, welches dazu eingerichtet ist, das 3D-Bild zu erzeugen. Die Bildverarbeitungseinrichtung kann mehrere neuronale Netzwerke aufweisen, die jeweils einen Teilschritt bei dem Ermitteln des 3D-Bildes durchführen können. Die Bildverarbeitungseinrichtung umfasst vorzugsweise einen Prozessor und eine Speichereinrichtung und ist dazu eingerichtet, Bildtransformationen des erfassten 2D-Bildes unter Verwendung von Algorithmen, Funktionen und dergleichen durchzuführen.

Der Aufbau eines neuronalen Netzwerks stellt sich beispielsweise wie folgt dar. Das neuronale Netzwerk kann in drei Schichten oder Abschnitte unterteilt werden, eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht. Jede der Schichten umfasst eine Mehrzahl von einzelnen Neuronen, wobei unterschiedliche Schichten auch eine unterschiedliche Zahl an Neuronen aufweisen können. Die Menge an Neuronen in der Eingabeschicht hängt beispielsweise von der Menge und dem Format der durch das neuronale Network zu verarbeitenden Daten, was man auch als die Dimen- sionalität der Daten bezeichnen kann, ab. Die Menge an Neuronen in der Ausgabeschicht hängt beispielsweise von der Dimensionalität des Ausgangsvektors ab.

Die Eingabeschicht bildet den Eingang des neuronalen Netzwerks, dem die zu verarbeitenden Daten in Form eines Eingangsvektors zugeführt wird. Die Neuronen der Eingabeschicht nehmen die in dem Eingangsvektor enthaltenen Informationen auf und geben die- se gewichtet an die Neuronen der ersten verborgenen Schicht weiter. Die Neuronen der ersten verborgenen Schicht nehmen die gewichteten Signale von der Eingangsschicht auf und geben diese ihrerseits gewichtet an die folgende verborgene Schicht weiter. Die Signale werden auf diese Weise von Schicht zu Schicht durch das neuronale Netzwerk geleitet, bis die Ausgabeschicht erreicht ist. Es kann auch Verknüpfungen von Neuronen unterschiedlicher, nicht direkt aufeinander folgenden Schichten und/oder entgegen der Haupt-Propagationsrichtung vorliegen. An den Neuronen der Ausgabeschicht wird der Ausgabevektor abgegriffen. Die Menge an verborgenen Schichten ist grundsätzlich unbegrenzt, jedoch skaliert die Rechenleistung, die zum Betreiben des neuronalen Netzwerks benötigt wird, mit der Menge verborgener Schichten. Je mehr Schichten ein neuronales Netzwerk umfasst, umso komplexere Aufgaben kann das neuronale Netzwerk lösen, allerdings steigt auch der Trainingsaufwand, das heißt, die Größe des Trainingsdatensatzes entsprechend an. Daher ist es vorteilhaft, nur so viele verborgene Schichten wie für die jeweilige Aufgabe nötig zu verwenden.

Die Metadaten, die für ein jeweiliges erfasstes 2D-Bild erfasst werden, umfassen beispielsweise verschiedene Informationen zu einem aktuellen Betriebszustand der Geschirrspülmaschine, wie einem Auszugszustands einer Spülgutaufnahme, einem Öff- nungswinkel einer Tür der Geschirrspülmaschine und dergleichen, sowie zu Betriebsparametern oder Einstellungen der Bilderfassungseinrichtung zum Zeitpunkt der Bilderfassung, wie einer Belichtungszeit, einer Empfindlichkeit, einem Bildwinkel und dergleichen mehr. Die Metadaten umfassen damit Informationen, die bei dem Ermitteln des 3D-Bildes hilfreich sind, insbesondere um Fehlinterpretationen zu vermeiden.

Ein neuronales Netzwerk muss trainiert werden, bevor es eingesetzt werden kann. Hierzu kommen unterschiedliche Trainingsverfahren in Frage. Man kann zwischen überwachtem Lernen und unüberwachtem Lernen unterscheiden. Bei überwachtem Lernen wird dem neuronalen Netzwerk ein Eingangsvektor zugeführt, wobei der entsprechende optimale Ausgangsvektor ebenfalls vorgegeben ist. Auf Basis des Unterschieds zwischen dem von dem neuronalen Netzwerk erzeugten Ausgangsvektor und dem optimalen Ausgangsvektor wird das neuronale Netzwerk optimiert. Hierzu werden die Gewichtungen, mit denen die einzelnen Neuronen verknüpft sind, angepasst. Bei unüberwachtem Lernen wird der optimale Ausgangsvektor nicht vorgegeben, sondern es wird beispielsweise eine Optimierungsfunktion ausgewertet und das neuronale Netzwerk entsprechend optimiert. Eine Form des unüberwachten Lernen ist als GAN (engl. generative adversarial network) bekannt.

Das ermittelte 3D-Bild kann auch als 3D-Modell der Spülgutaufnahme bezeichnet werden. Das 3D-Bild umfasst Tiefeninformationen, die in dem 2D-Bild nicht enthalten sind. Auf Basis der Tiefeninformationen kann die Durchführung des Spülprogramms optimiert werden. Das Optimieren der Durchführung des Spülprogramms umfasst insbesondere ein Ausgeben eines Hinweises an einen Benutzer der Geschirrspülmaschine, um diesem eine suboptimale Anordnung von Spülgut zu signalisieren, so dass der Nutzer die Anordnung beispielsweise optimieren kann. Dies kann vorzugsweise unter Anleitung durch die Geschirrspülmaschine erfolgen. Weiterhin können insbesondere Parameter, die das Beaufschlagen des Spülguts mit Spülflotte mittels eines oder mehrere Hydrauliksysteme betreffen, optimiert werden. So kann bei tiefen Töpfen oder Gläsern ein höherer Druck verwendet werden, um dieses Spülgut auch in der Tiefe zu reinigen.

Gemäß einer Ausführungsform des Systems umfasst die Bildverarbeitungseinrichtung ein erstes neuronales Netzwerk, welches dazu eingerichtet ist, in Abhängigkeit von dem erfassten 2D-Bild und den Metadaten des erfassten 2D-Bildes einen latenten Vektor zu erzeugen, und ein zweites neuronales Netzwerk, welches dazu eingerichtet ist, in Abhängigkeit des erzeugten latenten Vektors ein 3D-Bild der Spülgutaufnahme zu ermitteln.

Das erste neuronale Netzwerk ermittelt einen latenten Vektor auf Basis des erfassten 2D- Bildes und den erfassten Metadaten. Der latente Vektor bildet damit den Ausgangsvektor des ersten neuronalen Netzwerks. Der latente Vektor kann als eine Kodierung der in dem erfassten 2D-Bild und den Metadaten enthaltenen Informationen verstanden werden. Insbesondere umfasst der latente Vektor eine im Vergleich zu dem erfassten 2D-Bild und den Metadaten deutlich reduzierte Datenmenge.

Das erste neuronale Netzwerk ist insbesondere als ein CNN (engl. convolutional neural network) ausgebildet.

Das zweite neuronale Netzwerk ermittelt auf Basis des latenten Vektors ein 3D-Bild der Spülgutaufnahme. Das zweite neuronale Netzwerk ist insbesondere als ein GAN ausgebildet, das in einem entsprechenden trainingsverfahren trainiert wurde. Für das Training eines jeweiligen neuronalen Netzwerks müssen entsprechende Trainingsdaten vorliegen. Beispielsweise muss eine große Anzahl an 2D-Bildern mit entsprechenden Metadaten und den daraus zu erzeugenden latenten Vektoren vorgegeben sein. Weiterhin müssen die zu den latenten Vektoren gehörenden 3D-Bilder bekannt sein. Die Größe des Trainingsdatensatzes umfasst vorzugsweise wenigstens einhundert, vorzugsweise mehrere hundert, bevorzugt wenigstens eintausend, vorzugsweise mehrere tausend Sets, wobei jedes Set ein 2D-Bild mit Metadaten, den entsprechenden latenten Vektor und das entsprechende 3D-Bild umfasst.

Gemäß einer weiteren Ausführungsform des Systems umfasst der latente Vektor eine Repräsentation der in dem erfassten 2D-Bild enthaltenen Bilddaten und der Metadaten, wobei eine Datenmenge des latenten Vektors höchstens 1/100, vorzugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, einer Datenmenge des erfassten 2D-Bildes umfasst.

Diese Ausführungsform ermöglicht ein schnelles Erzeugen des 3D-Bildes auf Basis des latenten Vektors, da von dem zweiten neuronalen Netzwerk vergleichsweise wenig Daten verarbeitet werden müssen, um das 3D-Bild zu erzeugen.

Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich der auf dem erfassten Bild sichtbaren Spülgutaufnahme und/oder eines auf dem erfassten 2D-Bild sichtbaren Abschnitts der Spülgutaufnahme umfassen.

Die Geschirrspülmaschine umfasst insbesondere mehrere Spülgutaufnahmen, wie eine untere und eine obere Spülgutaufnahme.

Die Information kann beispielsweise auf Basis einer optischen Kennzeichnung der Spülgutaufnahme, die auf dem 2D-Bild erkennbar ist, unter Verwendung eines entsprechenden Algorithmus ermittelt werden. Alternativ oder zusätzlich kann die Geschirrspülmaschine einen separaten Sensor aufweisen, der dazu eingerichtet ist, diese Information zu erfassen und als Metadaten zu dem erfassten Bild auszugeben. Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich einer Höheneinstellung der Spülgutaufnahme zum Zeitpunkt der Erfassung des 2D-Bildes.

Die Geschirrspülmaschine kann eine Spülgutaufnahme umfassen, deren Höhe anpassbar ist. Damit kann die Spülgutaufnahme insbesondere zum Aufnehmen von Spülgut unterschiedlicher Größe angepasst werden. Da der Abstand von der Bilderfassungseinrichtung zu der Spülgutaufnahme für das Ermitteln des 3D-Bildes eine hilfreiche Information darstellt, wird die aktuelle Höheneinstellung der Spülgutaufnahme vorzugsweise als Metadaten zu dem 2 D-Bild erfasst. Beispielsweise weist die Geschirrspülmaschine einen entsprechenden Sensor auf, der dazu eingerichtet ist, die Höheneinstellung der Spülgutaufnahme zu erfassen. Der Sensor kann als eine Bildverarbeitungseinheit ausgebildet sein.

Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich eines Winkels zwischen der Bilderfassungseinrichtung und der Spülgutaufnahme.

Gemäß einer weiteren Ausführungsform des Systems umfasst die Geschirrspülmaschine eine Beleuchtungseinrichtung zum Beleuchten der Spülgutaufnahme und die Metadaten des 2D-Bildes umfassen eine Information bezüglich eines Betriebsmodus der Beleuchtungseinrichtung zum Zeitpunkt der Erfassung des 2D-Bildes.

Die Beleuchtungseinrichtung unterstützt das Erfassen des 2D-Bildes, so dass insbesondere ein Signal-Rausch-Verhältnis des Bildes besser als ein vorbestimmter Mindestwert ist. Die Beleuchtungseinrichtung kann ein schmalbandiges Spektrum abstrahlen oder ein breitbandiges Spektrum abstrahlen. Die Beleuchtungseinrichtung kann insbesondere eine Intensität in einem Spektralbereich außerhalb des sichtbaren Spektralbereichs aufweisen.

Die Beleuchtungseinrichtung kann mit einer Parallaxe relativ zu der Bilderfassungseinrichtung in Bezug auf die Spülgutaufnahme angeordnet sein, so dass die Bilderfassungseinrichtung beleuchtete und durch Spülgut abgeschattete Bereiche der Spülgutaufnahme erfasst. Auf Basis des Schattenwurfes können hierbei Informationen zu der dreidimensionalen Form des Spülguts und der Spülgutaufnahme abgeleitet werden. Die Metadaten umfassen insbesondere eine Information bezüglich einer Beleuchtungsintensität, einem Beleuchtungsspektrum, einer Parallaxe zwischen der Beleuchtungseinrichtung und der Bilderfassungseinrichtung.

Gemäß einer weiteren Ausführungsform des Systems umfasst die Geschirrspülmaschine mehrere räumlich getrennt voneinander angeordnete Beleuchtungseinrichtungen zum Beleuchten der Spülgutaufnahme und die Metadaten des 2D-Bildes umfassen eine Information bezüglich eines jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen zum Zeitpunkt der Erfassung des 2D-Bildes.

Bei dieser Ausführungsform lassen sich vorteilhaft unterschiedliche Beleuchtungszustände realisieren, wobei ein jeweiliger Beleuchtungszustand zusätzliche Informationen zum Ermitteln des 3D-Bildes bereitstellt. Die Ermittlung des 3D-Bildes kann damit vorteilhaft mit einer erhöhten Genauigkeit und Zuverlässigkeit erfolgen.

Gemäß einer weiteren Ausführungsform des Systems ist die Bilderfassungseinrichtung zum Erfassen mehrerer 2D-Bilder der Spülgutaufnahme bei unterschiedlichen Betriebsmodi der mehreren Beleuchtungseinrichtungen eingerichtet, wobei die jeweiligen Metadaten der mehreren 2D-Bilder eine Information bezüglich des jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen zum Zeitpunkt der Erfassung des jeweiligen 2D- Bildes umfassen, und wobei die Bildverarbeitungseinrichtung dazu eingerichtet ist, ein 3D- Bild in Abhängigkeit der mehreren 2D-Bilder und der jeweiligen Metadaten zu ermitteln.

In Ausführungsformen ist das erste neuronale Netzwerk dazu eingerichtet, genau einen latenten Vektor in Abhängigkeit der mehreren erfassten 2D-Bilder und der jeweiligen Metadaten zu erzeugen, oder das erste neuronale Netzwerk ist dazu eingerichtet, für jedes der mehreren erfassten 2D-Bilder einen latenten Vektor zu erzeugen, wobei das zweite neuronale Netzwerk dazu eingerichtet ist, in Abhängigkeit der mehreren erzeugten latenten Vektoren ein 3D-Bild der Spülgutaufnahme zu ermitteln.

Gemäß einer weiteren Ausführungsform des Systems ist Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme eine Blockade einer beweglich gelagerten Sprühvorrichtung der Geschirrspülmaschine durch in der Spülgutaufnahme angeordnetes Spülgut zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Blockade durchzuführen.

Vorzugsweise wird ein Hinweis an einen Nutzer der Geschirrspülmaschine ausgegeben, so dass der Nutzer die Blockade beheben kann, indem er das die Sprühvorrichtung blockierende Spülgut entfernt.

Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme eine Masse des in der Spülgutaufnahme angeordneten Spülguts zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Masse durchzuführen.

Die Masse Spülguts hat insbesondere einen Einfluss auf die Trocknung des Spülguts und kann daher beim Ermitteln der optimalen Parameter für den Trocknungsschritt berücksichtigt werden. Zusätzlich kann hierbei ein Material des Spülguts berücksichtigt werden, das sich beispielsweise ebenfalls von dem 2D-Bild ableiten lässt.

In Ausführungsformen des Systems ist die Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme einen Flüssigkeitssammelpunkt des in der Spülgutaufnahme angeordneten Spülguts zu ermitteln und das Spülprogramm in Abhängigkeit des ermittelten Flüssigkeitssammelpunkts durchzuführen.

Der Flüssigkeitssammelpunkt ist insbesondere eine Senke in einem Spülgut, in dem sich Flüssigkeit sammelt und nicht abfließen kann. Beispielsweise wird ein Hinweis an den Nutzer ausgeben, so dass dieser das Spülgut anders anordnet, so dass die Senke nicht vorhanden ist. Weiterhin können Trocknungsparameter angepasst werden, so dass auch die Flüssigkeit in der Senke abtrocknen kann.

Gemäß einer weiteren Ausführungsform des Systems weist die Geschirrspülmaschine ein Hydrauliksystem auf, das wenigstens eine Intensivspülzone umfasst, wobei die Steuerungsvorrichtung dazu eingerichtet ist, die wenigstens eine Intensivspülzone in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme wahlweise zu aktivieren. Die Intensivspülzone ist beispielsweise mittels eines schaltbaren Ventils fluidisch mit dem Hydrauliksystem gekoppelt, wobei die Steuerungsvorrichtung zum Aktivieren der Intensivspülzone das schaltbare Ventil öffnet. Die Intensivspülzone kann ferner mittels einer motorisch positionierbaren und/oder ausrichtbaren Sprühvorrichtung ausgebildet sein, wobei die Steuervorrichtung die Intensivspülzone auf Basis des 3D-Bildes derart ausbildet, dass Spülgut, das eine intensive Behandlung benötigt, wie beispielsweise Töpfe oder Pfannen, in der Intensivspülzone liegt.

Gemäß einer weiteren Ausführungsform des Systems umfasst das System eine zu der Geschirrspülmaschine externe Einrichtung, die die Bildverarbeitungseinrichtung integriert, insbesondere das erste neuronale Netzwerk und/oder das zweite neuronale Netzwerk integriert, wobei die Geschirrspülmaschine eine Kommunikationseinheit aufweist, die zum Übermitteln des erfassten 2D-Bildes und der Metadaten an die externe Einrichtung und zum Empfangen des 3D-Bildes der Spülgutaufnahme von der externen Einrichtung eingerichtet ist.

Die externe Einrichtung ist vorzugsweise als ein Server oder dergleichen ausgebildet, der eine hohe Rechenleistung aufweist. Daher kann das 3D-Bild mit komplexen Algorithmen und/oder unter Verwendung komplexer neuronaler Netzwerke ermittelt werden.

Die Kommunikationseinheit ist beispielsweise mittels eines Netzwerks mit der externen Einrichtung koppelbar. Das Netzwerk umfasst dabei insbesondere ein Mobilfunknetzwerk, ein WLAN, das Internet und/oder ein weiteres kabelloses oder kabelgebundenes Datennetzwerk.

In Ausführungsformen umfasst die externe Einrichtung beispielsweise nur das erste neuronale Netzwerk und/oder nur das zweite neuronale Netzwerk, wobei das jeweils andere neuronale Netzwerk insbesondere in der Geschirrspülmaschine integriert ist. Die Bildverarbeitungseinrichtung ist in dieser Ausführungsform damit verteilt angeordnet. Die Kommunikationseinheit ist entsprechend zum Empfangen des latenten Vektors und/oder zum Senden des latenten Vektors eingerichtet. Gemäß einem zweiten Aspekt wird ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. Das Verfahren umfasst die Schritte:

Erfassen eines 2D-Bildes einer Spülgutaufnahme der Geschirrspülmaschine und darin angeordnetem Spülgut und von Metadaten des erfassten 2D-Bildes,

Ermitteln eines 3D-Bildes der Spülgutaufnahme auf Basis des erfassten 2D-Bildes und der erfassten Matedaten, und

Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes.

Das Verfahren weist die gleichen Vorteile auf, wie zu dem System gemäß dem ersten Aspekt erläutert. Das Verfahren wird vorzugsweise mit der Geschirrspülmaschine des Systems gemäß dem ersten Aspekt durchgeführt.

Die für das vorgeschlagene System beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.

Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.

Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform einer Haushalts-Geschirrspülmaschine;

Fig. 2 zeigt schematisch ein Ausführungsbeispiel für das Ermitteln eines 3D-Bildes auf Basis eines 2D-Bildes und Metadaten;

Fig. 3 zeigt eine schematische Ansicht einer weiteren Ausführungsform einer Haushalts- Geschirrspülmaschine;

Fig. 4 zeigt ein schematisches Flussdiagramm als Beispiel für das Ermitteln eines latenten Vektors;

Fig. 5 zeigt ein schematisches Blockschaltbild einer Anordnung zum Trainieren eines neuronalen Netzwerks;

Fig. 6 zeigt ein schematisches Blockschaltbild eines Systems mit einer Geschirrspülmaschine und einer externen Einheit; und

Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben einer Geschirrspülmaschine.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.

Die Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform einer Haushalts-Geschirrspülmaschine 1. Die Haushalts-Geschirrspülmaschine 1 umfasst einen Spülbehälter 2, der durch eine Tür 3, insbesondere wasserdicht, verschließbar ist. Hierzu kann zwischen der Tür 3 und dem Spülbehälter 2 eine Dichteinrichtung vorgesehen sein. Der Spülbehälter 2 ist vorzugweise quaderförmig. Der Spülbehälter 2 kann in einem Ge- häuse der Haushalts-Geschirrspülmaschine 1 angeordnet sein. Der Spülbehälter 2 und die Tür 3 können einen Spülraum 4 zum Spülen von Spülgut bilden.

Die Tür 3 ist in der Fig. 1 in ihrer geöffneten Stellung dargestellt. Durch ein Schwenken um eine an einem unteren Ende der Tür 3 vorgesehene Schwenkachse 5 kann die Tür 3 geschlossen oder geöffnet werden. Mit Hilfe der Tür 3 kann eine Beschickungsöffnung 6 des Spülbehälters 2 geschlossen oder geöffnet werden. Der Spülbehälter 2 weist einen Boden 7, eine dem Boden 7 gegenüberliegend angeordnete Decke 8, eine der geschlossenen Tür 3 gegenüberliegend angeordnete Rückwand 9 und zwei einander gegenüberliegend angeordnete Seitenwände 10, 11 auf. Der Boden 7, die Decke 8, die Rückwand 9 und die Seitenwände 10, 11 können beispielsweise aus einem Edelstahlblech gefertigt sein. Alternativ kann beispielsweise der Boden 7 aus einem Kunststoff mate rial gefertigt sein.

Die Haushalts-Geschirrspülmaschine 1 weist ferner zumindest eine Spülgutaufnahme 12 bis 14 auf. Vorzugsweise können mehrere, beispielsweise drei, Spülgutaufnahmen 12 bis 14 vorgesehen sein, wobei die Spülgutaufnahme 12 eine untere Spülgutaufnahme oder ein Unterkorb, die Spülgutaufnahme 13 eine obere Spülgutaufnahme oder ein Oberkorb und die Spülgutaufnahme 14 eine Besteckschublade sein kann. Wie die Fig. 1 weiterhin zeigt, sind die Spülgutaufnahmen 12 bis 14 übereinander in dem Spülbehälter 2 angeordnet. Jede Spülgutaufnahme 12 bis 14 ist wahlweise in den Spülbehälter 2 hinein- oder aus diesem herausverlagerbar. Insbesondere ist jede Spülgutaufnahme 12 bis 14 in einer Einschubrichtung E in den Spülbehälter 2 hineinschiebbar oder hineinfahrbar und entgegen der Einschubrichtung E in einer Auszugsrichtung A aus dem Spülbehälter 2 herausziehbar oder herausfahrbar.

In einem oberen Bereich eines um die Beschickungsöffnung 6 des Spülbehälters 2 umlaufenden Spülbehälterflansch ist eine Bilderfassungseinrichtung 110 angeordnet. Die Bilderfassungseinrichtung 110 ist als eine Digitalkamera ausgebildet. Die Digitalkamera 110 ist insbesondere mittig in Bezug auf die Beschickungsöffnung 6 platziert und weist beispielsweise ein Weitwinkel-Objektiv (nicht dargestellt) auf, das es ermöglicht, jede der Spülgutaufnahmen 12 - 14, wenn diese in dem herausverlagerten Zustand sind, in einem jeweiligen 2 D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) vollständig zu erfassen. An der Tür 3 sind weiterhin eine Bildverarbeitungseinrichtung 120 und eine Steuerungsvorrichtung 140 angeordnet. Diese sind hier separat voneinander dargestellt, sie können aber auch in einem Element gemeinsam integriert sein. Zudem ist die Anordnung an der Tür 3 nur beispielhaft. Die Bildverarbeitungseinrichtung 120 ist zum Ermitteln eines 3D- Bildes 3DIMG einer jeweiligen Spülgutaufnahme 12 - 14 (siehe Fig. 2, 5 oder 6) auf Basis des erfassten 2D-Bildes 2DIMG und von zusätzlich erfassten Metadaten META (siehe Fig. 2 oder 6) des erfassten 2D-Bildes 2DIMG eingerichtet. Dies ist nachfolgend anhand der Fig. 2 - 6 detailliert erläutert. Die Steuerungsvorrichtung 140 ist zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes 3DIMG eingerichtet. .

Fig. 2 zeigt schematisch ein Ausführungsbeispiel für das Ermitteln eines 3D-Bildes 3DIMG auf Basis eines 2D-Bildes 2DIMG und Metadaten META, wobei dieses Beispiel zwei separate Schritte aufweist. Das 2D-Bild 2DIMG zeigt eine Spülgutaufnahme 12 mit darin angeordnetem Spülgut 21 - 25. Das 2D-Bild 2DIMG wurde beispielsweise von der Bilderfassungseinrichtung 110 (siehe Fig. 1) erfasst, als die Spülgutaufnahme 12 voll aus dem Spülbehälter 4 herausverlagert war. Die Metadaten META umfassen beispielsweise die Information, dass die Spülgutaufnahme 12 zum Zeitpunkt der Bilderfassung voll aus dem Spülbehälter 4 herausverlagert war. Die Metadaten META umfassen vorzugsweise zudem die Information, welche von mehreren Spülgutaufnahmen 12 - 14 auf dem 2D-Bild 2DIMG zu sehen ist, eine Höheneinstellung der sichtbaren Spülgutaufnahme 12 und/oder einen Winkel der Bilderfassungseinrichtung 110 und der Spülgutaufnahme 12. Weiterhin können die Metadaten META einen Zeitstempel und Einstellungen der Bilderfassungseinrichtung

110, wie eine Empfindlichkeit (beispielsweise ein ISO-Wert oder Gain-Wert), eine Brennweite (Zoom-Einstellung), einen Bildwinkel, und dergleichen mehr umfassen. Sofern die Geschirrspülmaschine 1 (siehe Fig. 1 oder 3) eine zusätzliche Beleuchtungseinrichtung

111 , 112 (siehe Fig. 3) aufweist, umfassen die Metadaten META insbesondere Informationen betreffend einen Betriebszustand der Beleuchtungseinrichtungen 111, 112, wie eine Beleuchtungsintensität, ein Beleuchtungsspektrum und dergleichen mehr.

In einem ersten Schritt werden das 2D-Bild 2DIMG und die Metadaten META zu einem latenten Vektor LVEC kombiniert. Dies erfolgt vorzugsweise mittels eines ersten neuronalen Netzwerks 125 (siehe Fig. 4 oder 6). Der latente Vektor LVEC umfasst insbesondere die zum Ermitteln des 3D-Bildes 3DIMG notwendigen oder relevanten Informationen. Der latente Vektor LVEC weist insbesondere eine Datenmenge auf, die höchstens 1/100, vor- zugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, der Datenmenge des erfassten 2D-Bildes 2DIMG umfasst. Das Erzeugen des latenten Vektors LVEC durch ein neuronales Netzwerk 125 ist anhand der Fig. 4 detailliert erläutert.

In einem zweiten Schritt wird auf Basis des latenten Vektors LVEC das 3D-Bild 3DIMG ermittelt. Dies erfolgt vorzugsweise mittels eines zweiten neuronalen Netzwerks 130 (siehe Fig. 5 oder 6), das insbesondere als ein GAN ausgebildet ist.

Fig. 3 zeigt eine schematische Ansicht einer weiteren Ausführungsform einer Haushalts- Geschirrspülmaschine 1. Die Fig. 3 zeigt insbesondere eine Vorderansicht der Haushalts- Geschirrspülmaschine 1 bei geöffneter Tür 3. Die Haushalts-Geschirrspülmaschine 1 der Fig. 3 kann wie die anhand der Fig. 1 erläuterte Haushalts-Geschirrspülmaschine 1 ausgebildet sein und alle dort erläuterten Merkmale aufweisen, auch wenn diese in der Fig. 3 nicht dargestellt sind. Zusätzlich weist die Haushalts-Geschirrspülmaschine 1 außer der mittig angeordneten Bilderfassungseinrichtung 110 zwei Beleuchtungseinrichtungen 111, 112 auf, die neben der Bilderfassungseinrichtung 110 angeordnet sind.

Die Beleuchtungseinrichtungen 111 , 112 umfassen beispielsweise ein Blitzgerät und/oder eine LED-Beleuchtungseinheit. Die Beleuchtungseinrichtungen 111, 112 können identisch oder unterschiedlich zueinander ausgebildet sein. In Ausführungsformen kann nur eine einzelne Beleuchtungseinrichtung und/oder mehr als zwei Beleuchtungseinrichtungen vorgesehen sein.

Die Beleuchtungseinrichtungen 111 , 112 sind insbesondere dazu eingerichtet, die Spülgutaufnahmen 12, 13 zu beleuchten, wenn die Bilderfassungseinrichtung 110 ein 2D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) erfasst. Durch die versetzte Anordnung von Bilderfassungseinrichtung 110 und Beleuchtungseinrichtungen 111, 112 ergibt sich insbesondere eine Parallaxe zwischen der Bilderfassungseinrichtung 110 und den Beleuchtungseinrichtungen 111 , 112. Damit kann das erfasste 2D-Bild 2DIMG auch schattierte Bereiche umfassen, was eine Ermittlung des 3D-Bildes 3DIMG (siehe Fig. 2, 5 oder 6) unterstützen kann. Vorzugsweise sind die beiden Beleuchtungseinrichtungen 111 , 112 dazu eingerichtet, die jeweilige Spülgutaufnahme 12, 13 mit unterschiedlichen Spektren zu beleuchten, beispielsweise mit unterschiedlichen Farben. Dann erfasst die Bilderfassungseinrichtung 110 insbesondere ein 2D-Bild 2DIMG, welches eine erhöhte Informationsdichte bezüglich der dreidimensionalen Form des in der Spülgutaufnahme 12, 13 angeordneten Spülguts 21 - 25 (siehe Fig. 2) umfasst, da sich schattierte Bereiche aus zwei Beleuchtungsrichtungen ergeben können. Die Metadaten META (siehe Fig. 2) des erfassten 2D-Bildes 2DIMG umfassen insbesondere eine Information zu einer relativen Anordnung der Bilderfassungseinrichtung 110 und der Beleuchtungseinrichtungen 111, 112 sowie zu dem Betriebszustand einer jeweiligen der Beleuchtungseinrichtungen 111 , 112 zum Zeitpunkt der Bilderfassung.

Es kann vorgesehen sein, dass die Bilderfassungseinrichtung 110 mehrere 2D-Bilder 2DIMG bei unterschiedlichen Betriebsmodi der Beleuchtungseinrichtungen 111 , 112 erfasst, insbesondere bei unterschiedlichen Beleuchtungsspektren, um zusätzliche Bildinformationen bezüglich des in der Spülgutaufnahme 12, 13 angeordneten Spülguts 21 - 25 zu erfassen.

Fig. 4 zeigt ein schematisches Flussdiagramm als Beispiel für das Ermitteln eines latenten Vektors LVEC auf Basis eines 2D-Bildes 2DIMG und zugehöriger Metadaten META. Der latente Vektor LVEC wird hierbei durch ein trainiertes neuronales Netzwerk 125 erzeugt, das mehrere funktionale Schichten umfasst. Dies sind in diesem Beispiel eine erste Filterschicht CL1 (engl. convolutional layer), eine erste Aggregationsschicht PL1 (engl. pooling layer), eine zweite Filterschicht CL2, eine zweite Aggregationsschicht PL2 und ein mehrlagiges Perzeptron MLP (engl. multi-layered perceptron).

Die beiden Filterschichten CL1, CL2 sind dazu eingerichtet, auf Basis der jeweiligen Eingangsdaten eine Anzahl von sogenannten Feature-Maps FM zu ermitteln. Eine jeweilige Filterschicht CL1, CL2 umfasst insbesondere mehrere Filter, wobei jedes Filter eine Fea- ture-Map FM erzeugt. Die erzeugten Feature-Maps FM entsprechen insbesondere einer kompakteren und abstrakteren Darstellung der Eingangsinformationen. Durch die Anwendung der Filterschichten CL1, CL2 wird daher die Datenmenge reduziert.

Die Aggregationsschichten PL1 , PL2 reduzieren die Datenmenge weiter, indem eine jeweilige Aggregationsschicht PL1, PL2 beispielsweise nur die relevantesten Informationen der Eingangsdaten (das sind für die erste Aggregationsschicht PL1 beispielsweise die Feature-Maps FM der ersten Filterschicht CL1) weitergibt (beispielsweise in Form eines sogenannten "Max-Pooling Layer").

Es sei angemerkt, dass die Anzahl und/oder die Reihenfolge der Filterschichten CL1 , CL2 und der Aggregationsschichten PL1 , PL2 in weiteren Ausführungsformen von der in der Fig. 4 dargestellten abweichen kann.

Das mehrlagige Perzeptron MLP ist insbesondere als ein vollständig verbundenes neuronales Netzwerk (engl. fully connected layer) ausgebildet. Das mehrlagige Perzeptron MLP erzeugt auf Basis der Ausgangsdaten der zweiten Aggregationsschicht PL2 den latenten Vektor LVEC.

Fig. 5 zeigt ein schematisches Blockschaltbild einer Anordnung zum Trainieren eines neuronalen Netzwerks 130. Das neuronale Netzwerk 130 wird beispielsweise daraufhin trainiert, dass es auf Basis eines latenten Vektors LVEC, der beispielsweise wie anhand der Fig. 4 beschrieben auf Basis eines erfassten 2D-Bildes 2DIMG (siehe Fig. 2, 4 oder 6) und zugehörigen Metadaten META (siehe Fig. 2, 4 oder 6) erzeugt wurde, ein 3D-Bild 3DIMG erzeugt. Das neuronale Netzwerk 130 kann insbesondere Teil der Bildverarbeitungseinrichtung 120 sein.

Die Anordnung der Fig. 5 entspricht insbesondere einem GAN (engl. generative adversarial network). Bei einem GAN handelt es sich um ein unüberwachtes Lernverfahren, bei dem zwei neuronale Netzwerke 130, 132 gewissermaßen gegeneinander antreten. Als Trainingsdaten werden einerseits latente Vektoren LVEC und andererseits 3D-Bilder 3DIMG* vorgegeben. Das vorgegebene 3D-Bild 3DIMG* zeigt hierbei die Realität und der korrespondierende latente Vektor LVEC ist der auf Basis des korrespondierenden 2 D-Bild 2DIMG abgeleitete latente Vektor LVEC.

Das neuronale Netzwerk 130 wird auch als Generator bezeichnet, da es ein künstliches 3D-Bild 3DIMG erzeugt. Das erzeugte 3D-Bild 3DIMG und das echte 3D-Bild 3DIMG* werden dem neuronalen Netzwerk 132 zugeführt. Das neuronale Netzwerk 130 wird auch als Diskriminator bezeichnet. Der Diskriminator 130 entscheidet, welches der beiden zugeführten Bilder 3DIMG*, 3DIMG das echte Bild ist, und gibt ein entsprechendes Ergebnis R aus. Der Generator 130 und der Diskriminator 132 stehen in einer Konkurrenzsituation: der Generator 130 versucht, ein 3D-Bild 3DIMG zu erzeugen, das der Diskriminator 132 für das echte 3D-Bild 3DIMG* hält. Bei einer ausreichend großen Trainingsdatenmenge wird der Generator 130 in die Lage versetzt, ein 3D-Bild 3DIMG zu erzeugen, das einer tatsächlichen dreidimensionalen Ansicht der Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 oder 3) entspricht. Der trainierte Generator 130 ist beispielsweise Bestandteil der Bildverarbeitungseinrichtung 120.

Fig. 6 zeigt ein schematisches Blockschaltbild eines Systems 100 mit einer Geschirrspülmaschine 1 und einer externen Einheit 200. Die Geschirrspülmaschine 1 ist insbesondere als eine Haushalts-Geschirrspülmaschine ausgebildet und kann die Merkmale der in den Fig. 1 und 3 erläuterten Haushalts-Geschirrspülmaschinen 1 aufweisen. Insbesondere weist die Haushalts-Geschirrspülmaschine 1 in diesem Beispiel eine Kommunikationseinheit 160 auf. Die Kommunikationseinheit 160 ist dazu eingerichtet, mit einer externen Einrichtung 200 eine Kommunikationsverbindung herzustellen. Die Kommunikationsverbindung kann insbesondere drahtlos hergestellt werden, beispielsweise mittels WLAN, Bluetooth und/oder einem Mobilfunkstandard nach 2G, 3G, 4G und/oder 5G. Die Kommunikationsverbindung kann auch drahtgebunden hergestellt werden.

Die externe Einrichtung 200 ist insbesondere als ein Computer oder Server ausgebildet, der über das Internet erreichbar ist. Hierzu weist die externe Einrichtung 200 ebenfalls eine Kommunikationseinheit 202 auf. Die externe Einrichtung 200 integriert in diesem Beispiel die Bildverarbeitungseinrichtung 120.

Die Geschirrspülmaschine 1 überträgt das erfasste 2D-Bild 2DIMG der Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 oder 3) und die zugehörigen Metadaten META mittels der Kommunikationseinheit 160 an die externe Einrichtung 200. Die externe Einrichtung 200 umfasst die Bildverarbeitungseinrichtung 120, welche ein erstes neuronales Netzwerk 125, insbesondere ein CNN (engl. convolutional neural network), und ein zweites neuronales Netzwerk 130, insbesondere ein GAN, umfasst. Auf Basis des empfangenen 2D-Bildes 2DIMG und der Metadaten META ermittelt die Bildverarbeitungseinrichtung das 3D-Bild 3DIMG der Spülgutaufnahme 12, 13, 14 und überträgt das ermittelte 3D-Bild 3DIMG an die Haushalts-Geschirrspülmaschine 1. Dies kann vorteilhaft sein, da das Ermitteln des 3D-Bildes 3DIMG in Abhängigkeit des erfassten 2D-Bildes 2DIMG und der Metadaten META ein rechenintensiver Vorgang sein kann. In diesem Ausführungsbeispiel ist es nicht notwendig, dass die Geschirrspülmaschine 1 diese Rechenleistung selbst erbringt, weshalb diese weniger komplex ausgebildet sein kann. Das Vorhandensein der externen Einrichtung 200 schließt jedoch nicht aus, dass die Geschirrspülmaschine 1 eine Bildverarbeitungseinrichtung 120 aufweist.

Es sei angemerkt, dass die Geschirrspülmaschine 1 der Fig. 6 zusätzlich auch die Bildverarbeitungseinrichtung 120 aufweist. Dann könnte beispielsweise fallweise die Verarbeitung lokal, also unter Verwendung der Bildverarbeitungseinrichtung 120 der Geschirrspülmaschine 1 , oder extern, also unter Verwendung der Bildverarbeitungseinrichtung 120 der externen Einrichtung 200, erfolgen. Dies kann vorteilhaft sein, wenn beispielsweise ein Verbindungsproblem bezüglich der Kommunikationsverbindung vorliegt.

In Ausführungsformen (nicht dargestellt) umfasst die Geschirrspülmaschine 1 beispielsweise das erste neuronale Netzwerk 125 und die externe Einrichtung 200 umfasst das zweite neuronale Netzwerk 130. Hierbei wird von der Geschirrspülmaschine 1 der latente Vektor LVEC an die externe Einrichtung 200 übertragen.

In Ausführungsformen (nicht dargestellt) umfasst die Geschirrspülmaschine 1 beispielsweise das zweite neuronale Netzwerk 130 und die externe Einrichtung 200 umfasst das erste neuronale Netzwerk 125. Hierbei wird von der Geschirrspülmaschine 1 der latente Vektor LVEC von der externen Einrichtung 200 empfangen.

Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben einer Geschirrspülmaschine 1 , beispielsweise der Haushalts- Geschirrspülmaschine der Fig. 1 oder Fig. 3.

In einem ersten Schritt S1 werden ein 2D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) einer Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 , 2 oder 3) der Geschirrspülmaschine 1 und darin angeordnetem Spülgut 21 - 25 (siehe Fig. 2) und Metadaten META (siehe Fig. 2 oder 3) zu dem 2D-Bild 2DIMG erfasst. In einem zweiten Schritt S2 wird ein 3D-Bild 3DIMG (siehe fig. 2, 5 oder 6) der Spülgutaufnahme 12, 13, 14 auf Basis des erfassten 2D-Bildes 2DIMG und der erfassten Matedaten META ermittelt. Dies erfolgt beispielsweise wie vorstehend anhand der Fig. 2, 4 und 5 beschrieben.

In einem dritten Schritt S3 wird ein Spülprogramm in Abhängigkeit des ermittelten 3D- Bildes 3DIMG durchgeführt. Beispielsweise kann auf Basis des 3D-Bildes 3DIMG ermittelt werden, ob ein Spülgut 21 - 25 aus der Spülgutaufnahme 12, 13, 14 herausragt und eine Sprühvorrichtung, wie einen drehbar gelagerten Sprüharm, blockieren kann, und es können entsprechende Maßnahmen ergriffen werden. Weiterhin kann eine Intensivspülzone automatisch aktiviert oder deaktiviert werden. Weiterhin kann ein Nutzer beim Beladen der Geschirrspülmaschine 1 mit Spülgut 21 - 25 unterstützt werden, um eine optimale Beladung zu erreichen. Weiterhin kann ein Trocknungsschritt optimiert werden.

Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.

Verwendete Bezugszeichen:

1 Geschirrspülmaschine

2 Spülbehälter

3 Tür

4 Spülkammer

5 Schwenkachse

6 Beschickungsöffnung

7 Boden

8 Decke

9 Rückwand

10 Seitenwand

11 Seitenwand

12 Spülgutaufnahme

13 Spülgutaufnahme

14 Spülgutaufnahme

21 Spülgut

22 Spülgut

23 Spülgut

24 Spülgut

25 Spülgut

100 System

110 Bilderfassungseinrichtung

111 Beleuchtungseinrichtung

112 Beleuchtungseinrichtung

120 Bildverarbeitungseinrichtung

125 neuronales Netzwerk

130 neuronales Netzwerk

132 neuronales Netzwerk

140 Steuerungsvorrichtung

160 Kommunikationseinheit

200 externe Einrichtung

202 Kommunikationseinheit 2DIMG Bild 3DIMG Bild 3DIMG* Bild CL1 Filterschicht CL2 Filterschicht FM Feature-Map LVEC latenter Vektor META Metadaten MLP mehrlagiges Perzeptron PL1 Aggregationsschicht PL2 Aggregationsschicht R Ergebnis S1 Verfahrensschritt S2 Verfahrensschritt S3 Verfahrensschritt S4 Verfahrensschritt