Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM COMPRISING A DISHWASHER, METHOD FOR OPERATING A DISHWASHER, AND COMPUTER PROGRAM PRODUCT
Document Type and Number:
WIPO Patent Application WO/2022/058223
Kind Code:
A1
Abstract:
The invention relates to a system (100) comprising a dishwasher (1), in particular a domestic dishwasher; a controller (15) for carrying out a wash program depending on the loading of a washware receiving area (12 - 14) of the dishwasher (1) with washware; a camera (20) for capturing an image (IMG) of at least one sub-region (W1 - W4) of the washware receiving area (12) on the basis of a pull-out position (Y1 - Y5) of the washware receiving area (12), wherein on the basis of the pull-out position (Y1 - Y5) upon capturing the image (IMG), the control device (15) is designed to store the captured image (IMG) on a storage space of a number of storage spaces, said storage space being assigned to the pull-out position (Y1 - Y5), and each storage space of the number of storage spaces is assigned to a quantity of pull-out positions (Y1 - Y5); and an image analysis unit (25) for ascertaining the loading (RES) of the washware receiving area (12 - 14) on the basis of the images (IMG) stored on the storage spaces.

Inventors:
RUPP MICHAEL (DE)
PAINTNER KAI (DE)
SINGH KULDEEP NARAYAN (DE)
SPÄTH TOBIAS (DE)
Application Number:
PCT/EP2021/074752
Publication Date:
March 24, 2022
Filing Date:
September 09, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BSH HAUSGERAETE GMBH (DE)
International Classes:
A47L15/00; A47L15/42
Domestic Patent References:
WO2018044094A12018-03-08
Foreign References:
US20120138092A12012-06-07
US20190200841A12019-07-04
DE102018009311B42020-07-02
CN111568327A2020-08-25
Download PDF:
Claims:
PATENTANSPRÜCHE System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts- Geschirrspülmaschine, mit einer Steuerungsvorrichtung (15) zum Durchführen eines Spülprogramms in Abhängigkeit einer Beladung einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) mit Spülgut, mit einer Kamera (20) zum Erfassen eines Bildes (IMG) zumindest eines Teilbereichs (W1 - W4) der Spülgutaufnahme (12) in Abhängigkeit einer Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12), wobei die Steuerungsvorrichtung (15) dazu eingerichtet ist, das erfasste Bild (IMG) in Abhängigkeit der Auszugsposition (Y1 - Y5) beim Erfassen des Bildes (IMG) auf einem der Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz einer Anzahl von Speicherplätzen zu speichern, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen (Y1 - Y5) zugeordnet ist, und mit einer Bildanalyseeinheit (25) zum Ermitteln der Beladung (RES) der Spülgutaufnahme (12 - 14) in Abhängigkeit der auf den Speicherplätzen gespeicherten Bilder (IMG). System nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Erfassen einer Bildposition eines Merkmals (12A) der Spülgutaufnahme (12 - 14) in dem erfassten Bild (IMG) und zum Ermitteln der Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14) in Abhängigkeit der erfassten Bildposition des Merkmals (12A) der Spülgutaufnahme (12 - 14) eingerichtet ist. System nach Anspruch 2, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Erfassen der Bildposition des Merkmals (12A) der Spülgutaufnahme (12 - 14) in Abhängigkeit eines Interessenbereichs (ROI) des Bildes (IMG) eingerichtet ist. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Merkmal (12A) der Spülgutaufnahme (12 - 14) einen Handgriff der Spülgutaufnahme (12 - 14) zum manuellen Herausziehen der Spülgutaufnahme (12 - 14) aus und zum manuellen Hineinschieben der Spülgutaufnahme (12 - 14) in die Geschirrspülmaschine (1) und/oder eine an dem Handgriff angeordnete Markierung umfasst. 5. System nach einem der Ansprüche 1 - 4, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Speichern des jeweils aktuellsten Bildes (IMG) der Spülgutaufnahme (12 - 14) bei einer bestimmten Auszugsposition (Y1 - Y5) auf dem der bestimmten Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz eingerichtet ist.

6. System nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass jedem Speicherplatz ein bestimmtes Intervall (Z1 - Z4) aus der Menge möglicher Auszugspositionen der Spülgutaufnahme (12 - 14) zugeordnet ist.

7. System nach Anspruch 6, dadurch gekennzeichnet, dass wenigstens zwei Speicherplätze vorgesehen sind, wobei ein einem ersten Speicherplatz zugeordnetes erstes Intervall (Z1 - Z4) eine maximale Auszugsposition (Y2) der Spülgutaufnahme (12 - 14) umfasst und eine erste Breite aufweist, ein einem zweiten Speicherplatz zugeordnetes zweites Intervall (Z1 - Z4) an das erste Intervall (Z1 - Z4) angrenzt und zweite Breite aufweist, wobei die erste Breite schmaler als die zweite Breite ist.

8. System nach einem der Ansprüche 1 - 7, dadurch gekennzeichnet, dass die Kamera (20) zum Erfassen eines Bildstroms der Spülgutaufnahme (12 - 14) eingerichtet ist, wobei zwei zeitlich aufeinanderfolgende Bilder (IMG) in dem Bildstrom einen vorbestimmten zeitlichen Abstand aufweisen, und wobei die Steuerungsvorrichtung (15) dazu eingerichtet ist, in Abhängigkeit zweier aufeinanderfolgender Bilder (IMG) des Bildstroms eine Bewegung der Spülgutaufnahme (12 - 14) zu ermitteln und eines der zwei aufeinanderfolgenden Bilder (IMG) in Abhängigkeit einer ermittelten Bewegung zu speichern.

9. System nach einem der Ansprüche 1 - 8, dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) zum Ermitteln der Beladung in Abhängigkeit eines einem jeweiligen gespeicherten Bild (IMG) zugeordneten Aufnahmezeitpunkts (t1 — 15) und den dem Speicherplatz zugeordneten Auszugspositionen (Y1 - Y5) eingerichtet ist, wobei ein erstes Bild (IMG), in dem ein bestimmter Teilbereich (W1 - W4) der Spülgutaufnahme (12 - 14) sichtbar ist und dessen Aufnahmezeitpunkt (t1 - 15) jünger als der Aufnahmezeitpunkt (t1 - 15) eines zweiten Bildes (IMG) ist, in dem der bestimmte Teilbereich (W1 - W4) der Spülgutaufnahme (12) auch sichtbar ist, zum Ermitteln der Beladung für den bestimmten Teilbereich (W1 - W4) der Spülgutaufnahme (12) herangezogen wird. System nach einem der Ansprüche 1 - 9, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) dazu eingerichtet ist, ein Bild (IMG), dessen Aufnahmezeitpunkt (t1 -t5) älter als ein vorbestimmter Schwellwert ist, zu löschen. System nach einem der Ansprüche 1 - 10, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) dazu eingerichtet ist, die Kamera (20) nach Ablauf eines vorbestimmten Zeitintervalls, in dem ein Zustand der Spülgutaufnahme (12 - 14) konstant ist, in einen Ruhemodus zu versetzen. System nach einem der Ansprüche 1 - 11 , dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) in einer zu der Geschirrspülmaschine (1) externen Einrichtung angeordnet ist, wobei die Steuerungsvorrichtung (15) und die Bildanalyseeinheit (25) zum gegenseitigen Übertragen von Daten eingerichtet sind. System nach einem der Ansprüche 1 - 12, dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) zum Ermitteln einer Art, einer Menge, einer Ausrichtung, einer Anordnung und/oder eines Materials des in der Spülgutaufnahme (12 - 14) angeordneten Spülguts eingerichtet ist. Verfahren zum Betreiben einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit:

Erfassen (S1) eines Bildes (IMG) zumindest eines Teilbereichs (W1 - W4) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) in Abhängigkeit einer Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14),

Ermitteln (S2) der Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14) zum Zeitpunkt (t1 - 15) der Bilderfassung,

Speichern (S3) des Bildes (IMG) auf einem der Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz einer Anzahl von Speicherplätzen, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen (Y1 - Y5) zugeordnet ist,

Ermitteln (S4) einer Beladung der Spülgutaufnahme (12 - 14) in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern, und Durchführen (S5) eines Spülprogramms in Abhängigkeit der ermittelten Beladung. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 14 auszuführen.

Description:
System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt

Die vorliegende Erfindung betrifft ein System mit einer Geschirrspülmaschine, ein Verfahren zum Betreiben einer Geschirrspülmaschine und ein Computerprogrammprodukt.

Bekannte Geschirrspülmaschinen sind dazu eingerichtet, ein Spülprogramm auf Basis einer Beladung der Geschirrspülmaschine optimiert durchzuführen. Dabei wird beispielsweise eine Spülflottentemperatur, eine Pumpendrehzahl und/oder ein Reinigungsmittel in Abhängigkeit einer Art des Spülguts angepasst. Die Beladung der Geschirrspülmaschine kann mittels einer Bilderkennung basierend auf einem Bild einer Spülgutaufnahme ermittelt werden. Hierzu ist beispielsweise die Kamera geeignet auszulösen und ein für die Bilderkennung geeignetes Bild ist zu speichern.

WO 2018/044094 A1 offenbart eine Geschirrspülmaschine mit einer Kamera, die zum Aufnehmen eines Bildes einer Spülgutaufnahme eingerichtet ist. Die Spülgutaufnahme weist eine Markierung auf, anhand derer eine Position der Spülgutaufnahme auf Basis des Bildes ermittelt wird. Weiterhin wird Spülgut, das in dem aufgenommenen Bild sichtbar ist, erkannt.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb einer Geschirrspülmaschine zu verbessern.

Gemäß einem ersten Aspekt wird ein System mit einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. Das System umfasst eine Steuerungsvorrichtung zum Durchführen eines Spülprogramms in Abhängigkeit einer Beladung einer Spülgutaufnahme der Geschirrspülmaschine mit Spülgut, und eine Kamera zum Erfassen eines Bildes zumindest eines Teilbereichs der Spülgutaufnahme in Abhängigkeit einer Auszugsposition der Spülgutaufnahme, wobei die Steuerungsvorrichtung dazu eingerichtet ist, das erfasste Bild in Abhängigkeit der Auszugsposition beim Erfassen des Bildes auf einem der Auszugsposition zugeordneten Speicherplatz einer Anzahl von Speicherplätzen zu speichern. Jedem Speicherplatz der Anzahl ist eine Menge von Aus- zugspositionen zugeordnet. Das System umfasst ferner eine Bildanalyseeinheit zum Ermitteln der Beladung der Spülgutaufnahme in Abhängigkeit der auf den Speicherplätzen gespeicherten Bilder.

Dieses System hat den Vorteil, dass für Bilder, auf denen unterschiedliche Teilbereiche der Spülgutaufnahme sichtbar sind, unterschiedliche Speicherplätze vorgesehen sind. Damit wird eine benötigte Speichermenge reduziert, da jeder Speicherplatz insbesondere nur ein einzelnes Bild speichert. Das gespeicherte Bild ist dabei insbesondere das aktuellste Bild, das den jeweiligen Teilbereich zeigt. Ein weiterer Vorteil ist, dass eine Anzahl an Bildern, die zum Ermitteln der Beladung analysiert werden müssen, reduziert sein kann. Insbesondere ist es ausreichend, für einen jeweiligen Teilbereich nur das aktuellste Bild, auf dem der Teilbereich zu sehen ist, zu analysieren. Damit kann eine benötigte Rechenleistung und/oder Rechenzeit reduziert sein.

Die Steuerungsvorrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Steuerungsvorrichtung zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Steuerungsvorrichtung als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.

Die Steuerungsvorrichtung ist zum Durchführen des Spülprogramms in Abhängigkeit der Beladung eingerichtet. Das heißt, dass die Steuerungsvorrichtung einen Ablauf des Spülprogramms und/oder einzelne Parameterwerte eines teilweise vorgegebenen Spülprogramms anpasst oder verändert. Der Ablauf umfasst insbesondere eine Abfolge von Teilprogrammschritten, wie ein Vorspülen, ein Hauptspülen, ein Klarspülen und ein Trocknen Parameterwerte umfassen insbesondere eine Dauer eines jeweiligen Teilprogrammschritts, ein Spülflottenvolumen, eine Spülflottentemperatur, ein zuzugebendes Reinigungsmittel, Zeitpunkte eines Zugebens des Reinigungsmittels, eine Umwälzpumpendrehzahl, eine Einstellung einer Wasserweiche, eine Einstellung einer Wasserhärte und dergleichen mehr. Beispielsweise kann, wenn die Beladung zu großen Teilen Glaswaren umfasst, eine Wasserhärte höher eingestellt und ein eine Umwälzpumpendrehzahl reduziert sein im Vergleich zu einer Beladung, die hauptsächlich Keramikwaren und/oder Metallwaren umfasst. Die Geschirrspülmaschine umfasst beispielsweise eine Spülkammer, in welcher wenigstens eine ausziehbar gelagerte Spülgutaufnahme angeordnet ist. Bei geöffneter Tür der Geschirrspülmaschine kann die Spülgutaufnahme ausgezogen werden und ermöglicht so ein komfortables Beschicken der Spülgutaufnahme mit Spülgut.

Die Geschirrspülmaschine weist beispielsweise an der oberen Kante des Spülbehälters eine Kamera auf, die zum Erfassen eines durch den Bewegungsradius der Spülgutaufnahme bestimmten Bereichs eingerichtet ist. Die Kamera umfasst insbesondere ein Weitwinkelobjektiv und ist zum Erfassen eines großen Raumwinkels eingerichtet. Insbesondere ist die Kamera zum Erfassen der gesamten Spülgutaufnahme, wenn diese in vollständig ausgezogenem Zustand, das heißt in einer maximalen Auszugsposition, ist, eingerichtet. Vorzugsweise wird die Kamera durch das Öffnen der Tür aktiviert und gibt einen Bildstrom an die Steuerungsvorrichtung aus. Der Bildstrom umfasst sequenziell aufgenommene Bilder, wobei eine bestimmte Bilderfassungsrate vorgegeben ist. Die Bilder werden insbesondere unverarbeitet in Form von Rohdaten von der Kamera an die Steuerungsvorrichtung übertragen. Die Steuerungsvorrichtung übernimmt die weitere Verarbeitung, also beispielsweise die Entscheidung, ob ein Bild gespeichert oder verworfen wird. Die Kamera kann daher vergleichsweise einfach aufgebaut sein und weist nur einen geringen Ressourcenbedarf auf. Damit kann die Kamera besonders kostengünstig sein. Die Kamera kann zum Erfassen eines Bildes in einem infraroten Spektralbereich, einem visuellen Spektralbereich und/oder in einem ultravioletten Spektralbereich eingerichtet sein.

Es sei angemerkt, dass in Ausführungsformen anstelle der Steuerungsvorrichtung die Kamera die Verarbeitung der erfassten Bilder durchführen kann.

In bevorzugten Ausführungsformen umfasst die Geschirrspülmaschine mehrere Spülgutaufnahmen, die insbesondere vertikal übereinander in der Geschirrspülmaschine angeordnet sind. Wenn die Geschirrspülmaschine mehrere Spülgutaufnahmen aufweist, so gelten die vorstehenden und nachfolgenden Merkmale und/oder Erläuterungen für jede Spülgutaufnahme einzeln, soweit zutreffend.

Das von der Kamera erfasste Bild zeigt einen Teilbereich der Spülgutaufnahme. Der Teilbereich, der auf dem Bild sichtbar ist, hängt von der aktuellen Auszugsposition der Spülgutaufnahme und dem Bildfeld der Kamera ab. Beispielsweise ist das Bildfeld der Kamera derart festgelegt, dass bei vollständig eingeschobener Spülgutaufnahme nur ein vorderer Rand der Spülgutaufnahme, beispielsweise ein Handgriff der Spülgutaufnahme, auf dem Bild sichtbar ist. Wenn die Spülgutaufnahme nun herausgezogen wird, gelangt nach und nach ein größerer Teilbereich der Spülgutaufnahme in das Bildfeld der Kamera. Wenn die Spülgutaufnahme beispielsweise zur Hälfte herausgezogen ist, ist etwa die Hälfte der Spülgutaufnahme auf dem Bild sichtbar.

Je nach dem, welcher Teilbereich auf dem erfassten Bild sichtbar ist, wird das Bild von der Steuerungsvorrichtung in einem zugeordneten Speicherplatz gespeichert. Hierbei wird die aktuelle Auszugsposition der Spülgutaufnahme als Indikator für den sichtbaren Teilbereich genutzt. Die Anzahl an Speicherplätzen ist vorzugsweise begrenzt, insbesondere sind für eine jeweilige Spülgutaufnahme weniger als zehn Speicherplätze vorgesehen, vorzugsweise weniger als fünf Speicherplätze. Der Speicherbedarf zum Speichern der Bilder kann damit signifikant reduziert sein. Jedes erfasste Bild wird insbesondere gemeinsam mit einem Zeitstempel, der einen Zeitpunkt der Bilderfassung enthält, gespeichert.

Die Bildanalyseeinheit ist zum Ermitteln der Beladung der jeweiligen Spülgutaufnahme auf Basis der erfassten Bilder eingerichtet. Die Bildanalyseeinheit kann hierfür beispielsweise Methoden der Signalanalyse, Mustererkennung, Bilderkennung, Bildklassifikation und dergleichen verwenden. Die Bildanalyseeinheit kann die Ermittlung zumindest teilweise auf Basis einer künstlichen Intelligenz, wie einem trainierten neuronalen Netzwerk, durchführen.

Die Bildanalyseeinheit analysiert vorzugsweise nur jeweils die aktuellsten Bilder eines jeweiligen Teilbereichs. Beispielsweise kann für einen vorderen Teilbereich der Spülgutaufnahme ein aktuelleres Bild vorliegen als ein Bild, das die gesamte Spülgutaufnahme zeigt. Die ist insbesondere dann der Fall, wenn der Nutzer der Geschirrspülmaschine zum Beschicken des vorderen Bereichs der Spülgutaufnahme diese nur teilweise ausgezogen hat. In diesem Fall wird die Bildanalyseeinheit beispielsweise das Bild, das die gesamte Spülgutaufnahme zeigt und das aktuellere Bild, das den vorderen Teilbereich zeigt, analysieren. Weitere Bilder, die beispielsweise größere oder auch kleinere Teilbereiche als den vorderen Teilbereich zeigen und die älter sind, werden hingegen vorzugsweise nicht analysiert, da diese veraltete und/oder redundante Informationen umfassen. Die Beladung des vorderen Teilbereichs wird auf Basis des aktuelleren Bildes ermittelt, die Beladung des verbleibenden Teils der Spülgutaufnahme wird auf Basis des Bildes der gesamten Spülgutaufnahme ermittelt. Damit ist für jeden Teilbereich die aktuelle Beladung ermittelt, wobei eine benötigte Rechenleistung und/oder Rechenzeit reduziert ist.

Das Ermitteln der Beladung erfolgt vorzugsweise erst dann, wenn der Nutzer der Geschirrspülmaschine das Spülprogramm startet. Da in jedem Spülprogramm zunächst Spülflotte in die Spülkammer zugeführt werden muss, verbleibt hierfür genügend Zeit, ohne dass die Durchführung des Spülprogramms verzögert wird.

Gemäß einer Ausführungsform des Systems ist die Steuerungsvorrichtung zum Erfassen einer Bildposition eines Merkmals der Spülgutaufnahme in dem erfassten Bild und zum Ermitteln der Auszugsposition der Spülgutaufnahme in Abhängigkeit der erfassten Bildposition des Merkmals der Spülgutaufnahme eingerichtet.

Diese Ausführungsform weist den Vorteil auf, dass die aktuelle Auszugsposition der Spülgutaufnahme durch die Steuerungsvorrichtung auf Basis der erfassten Bilder automatisch erkannt wird, ohne dass eine zusätzliche Vorrichtung benötigt wird. Unterschiedliche Spülgutaufnahmen weisen beispielsweise unterschiedliche Merkmale oder unterschiedliche Positionen der Merkmale auf. Ein Merkmal ist insbesondere ein bestimmtes Muster oder eine bestimmte Struktur. Das Merkmal kann beispielsweise nur in einem bestimmten Spektralbereich, beispielsweise nur in dem infraroten Spektralbereich, sichtbar sein.

Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung zum Erfassen der Bildposition des Merkmals der Spülgutaufnahme in Abhängigkeit eines Interessenbereichs des Bildes eingerichtet ist.

Diese Ausführungsform hat den Vorteil, dass die Steuerungsvorrichtung nur einen Teil der Bilder auf das Merkmal hin analysieren muss, weshalb die zu verarbeitende Datenmenge geringer ist. Die benötigte Rechenleistung und/oder eine Rechendauer wird damit reduziert. Gemäß einer weiteren Ausführungsform des Systems umfasst das Merkmal der Spülgutaufnahme einen Handgriff der Spülgutaufnahme zum manuellen Herausziehen der Spülgutaufnahme aus und zum manuellen Hineinschieben der Spülgutaufnahme in die Geschirrspülmaschine und/oder eine an dem Handgriff angeordnete Markierung.

Dies ist vorteilhaft, da keine zusätzliche Struktur benötigt wird, um das Merkmal bereitzustellen.

Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung zum Speichern des jeweils aktuellsten Bildes der Spülgutaufnahme bei einer bestimmten Auszugsposition auf dem der bestimmten Auszugsposition zugeordneten Speicherplatz eingerichtet.

Das aktuellste Bild ist das Bild mit dem jüngeren Aufnahmezeitpunkt. Sofern die Steuerungsvorrichtung den Bildstrom der Kamera sequenziell abarbeitet, wird immer das gerade abgearbeitete Bild das aktuellste sein, weshalb die Steuerungsvorrichtung dieses in dem zugeordneten Speicherplatz speichert und damit ein bereits darin gespeichertes Bild überschreibt. Wenn die Abarbeitung nicht sequenziell erfolgt und es zeitliche Verschiebungen geben kann, kann vorgesehen sein, dass die Steuerungsvorrichtung, bevor sie ein Kandidatenbild in einem zugeordneten Speicherplatz speichert, die Zeitstempel des Kandidatenbildes und des bereits gespeicherten Bildes vergleicht und das aktuellere der beiden speichert.

Gemäß einer weiteren Ausführungsform des Systems ist jedem Speicherplatz ein bestimmtes Intervall aus der Menge möglicher Auszugspositionen der Spülgutaufnahme zugeordnet.

Das bestimmte Intervall korrespondiert mit dem auf dem aufgenommenen Bild sichtbaren Teilbereich der jeweiligen Spülgutaufnahme. Beispielsweise ist bei einer Auszugsposition, die zwischen 90%-100% bezogen auf die maximale Auszugsposition liegt, auf einem erfassten Bild ein Teilbereich umfassend 90%-100% der Spülgutaufnahme sichtbar. Unter einem Intervall wird vorliegend insbesondere ein zusammenhängender Wertebereich verstanden. Alle bestimmten Intervalle zusammen können, müssen aber nicht alle möglichen Auszugsposition umfassen. Bilder, die bei nicht umfassten Auszugspositionen erfasst werden, werden entsprechend verworfen und nicht gespeichert.

Gemäß einer weiteren Ausführungsform des Systems sind wenigstens zwei Speicherplätze vorgesehen, wobei ein einem ersten Speicherplatz zugeordnetes erstes Intervall eine maximale Auszugsposition der Spülgutaufnahme umfasst und eine erste Breite aufweist, ein einem zweiten Speicherplatz zugeordnetes zweites Intervall an das erste Intervall angrenzt und zweite Breite aufweist, wobei die erste Breite schmaler als die zweite Breite ist.

Die erste Breite ist vorzugsweise vergleichsweise schmal, beispielsweise umfasst die nur 5% - 10% des gesamten Auszugsbereichs. Diese Ausführungsform hat den Vorteil, dass ein Bild, das die gesamte Spülgutaufnahme zeigt (maximale Auszugsposition), nicht durch ein Bild ersetzt oder überschrieben wird, auf dem die Spülgutaufnahme nur noch teilweise sichtbar ist. Damit liegt vorteilhaft in den meisten Fällen ein Bild der gesamten Spülgutaufnahme vor. Indem das zweite Intervall breiter gewählt wird, kann die Anzahl benötigter Speicherplätze bei gleichzeitig möglichst hoher Abdeckung des Auszugsbereichs effektiv reduziert werden.

Gemäß einer weiteren Ausführungsform des Systems ist die Kamera zum Erfassen eines Bildstroms der Spülgutaufnahme eingerichtet, wobei zwei zeitlich aufeinanderfolgende Bilder in dem Bildstrom einen vorbestimmten zeitlichen Abstand aufweisen, und wobei die Steuerungsvorrichtung dazu eingerichtet ist, in Abhängigkeit zweier aufeinanderfolgender Bilder des Bildstroms eine Bewegung der Spülgutaufnahme zu ermitteln und eines der zwei aufeinanderfolgenden Bilder in Abhängigkeit einer ermittelten Bewegung zu speichern.

In dieser Ausführungsform kann vorteilhaft auf eine Kamera, die einen mechanischen Verschluss oder einen komplexen elektronischen Verschluss umfasst, verzichtet werden. Bilder, die aufgrund einer Bewegung der Spülgutaufnahme unscharf und daher für eine Bildanalyse ungeeignet sind, werden von der Steuerungsvorrichtung erkannt und können damit verworfen werden. Die Steuerungsvorrichtung ermittelt die Bewegung insbesondere auf Basis einer Veränderung der Bildposition des Merkmals der Spülgutaufnahme. Das Ermitteln der Beladung ist damit robuster. Die Bewegung kann anhand einer Veränderung der Bildposition des Merkmals sowohl in X-Richtung als auch in Y-Richtung ermittelt werden. Beispielsweise wird die Bildposition auf Basis eines Schwerpunkts eines flächigen Merkmals ermittelt. Wenn das Merkmal teilweise verdeckt ist, dann weist der Schwerpunkt eine andere Bildposition auf. Dieser Fall kann auftreten, wenn die Spülgutaufnahme selbst in Ruhe ist, aber gerade ein Nutzer der Geschirrspülmaschine Spülgut in die Spülgutaufnahme einsortiert. Ein solches Bild ist für die Analyse weniger geeignet, da hier noch nicht der Endzustand erreicht ist und fremde Gegenstände auf dem Bild erkennbar sind, was das Ermitteln der Beladung verfälschen kann.

Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit zum Ermitteln der Beladung in Abhängigkeit eines einem jeweiligen gespeicherten Bild zugeordneten Aufnahmezeitpunkts und den dem Speicherplatz zugeordneten Auszugspositionen eingerichtet, wobei ein erstes Bild, in dem ein bestimmter Teilbereich der Spülgutaufnahme sichtbar ist und dessen Aufnahmezeitpunkt jünger als der Aufnahmezeitpunkt eines zweiten Bildes ist, in dem der bestimmte Teilbereich der Spülgutaufnahme auch sichtbar ist, zum Ermitteln der Beladung für den bestimmten Teilbereich der Spülgutaufnahme herangezogen wird.

Bei dieser Ausführungsform wird nur jeweils das aktuellste Bild für einen jeweiligen Teilbereich analysiert.

Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, ein Bild, dessen Aufnahmezeitpunkt älter als ein vorbestimmter Schwellwert ist, zu löschen.

Der Schwellwert kann beispielsweise mehrere Tage betragen. Mit dieser Ausführungsform kann beispielsweise erreicht werden, dass Bilder, die noch von vor einer Durchführung eines ersten Spülprogramms aufgenommen wurden, nicht zum Ermitteln der Beladung für ein zweites Spülprogramm herangezogen werden.

Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, die Kamera nach Ablauf eines vorbestimmten Zeitintervalls, in dem ein Zustand der Spülgutaufnahme konstant ist, in einen Ruhemodus zu versetzen. Das vorbestimmte Zeitintervall umfasst beispielsweise zwischen 5 Minuten und 20 Minuten. Dies hat den Vorteil, dass einerseits die Kamera zum Einsparen von Energie in einen Ruhezustand versetzt werden kann, andererseits aber auch sichergestellt ist, dass während einer typischen Dauer des Beschickens einer Geschirrspülmaschine aktuelle Bilder erfasst werden.

Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit in einer zu der Geschirrspülmaschine externen Einrichtung angeordnet, wobei die Steuerungsvorrichtung und die Bildanalyseeinheit zum gegenseitigen Übertragen von Daten eingerichtet sind.

In dieser Ausführungsform kann die Geschirrspülmaschine weniger komplex aufgebaut sein. Zudem kann die Bildanalyseeinheit eine besonders hohe Rechenleistung aufweisen, wenn diese beispielsweise in einem über das Internet oder dergleichen zugänglichen Server integriert ist. Weiterhin kann eine Auslastung der Bildanalyseeinheit erhöht werden, indem diese von einer Mehrzahl an Geschirrspülmaschinen genutzt wird. Auch ist eine Aktualisierung der Bildanalyseeinheit in dieser Ausführungsform vereinfacht möglich.

Die Steuerungsvorrichtung und die Bildanalyseeinheit können Daten beispielsweise über das Internet und/oder über eine Mobilfunkverbindung, wie 3G, 4G oder 5G, übertragen. Die Steuerungsvorrichtung überträgt insbesondere gespeicherte Bilder, wobei sie nur die jeweils aktuellsten, wie vorstehend erläutert, überträgt. Die Bildanalyseeinheit empfängt die Bilder, führt die Analyse durch und überträgt die ermittelte Beladung an die Steuerungsvorrichtung.

Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit zum Ermitteln einer Art, einer Menge, einer Ausrichtung, einer Anordnung und/oder eines Materials des in der Spülgutaufnahme angeordneten Spülguts eingerichtet ist.

Gemäß einem zweiten Aspekt wird ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. In einem ersten Schritt wird ein Bild zumindest eines Teilbereichs einer Spülgutaufnahme der Geschirrspülmaschine in Abhängigkeit einer Auszugsposition der Spülgutaufnahme erfasst. In einem zweiten Schritt wird die Auszugsposition der Spülgutaufnahme zum Zeitpunkt der Bilderfassung ermittelt. In einem dritten Schritt wird das Bild auf einem der Auszugsposition zugeordneten Speicherplatz einer Anzahl von Speicherplätzen gespeichert, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen zugeordnet ist. In einem vierten Schritt wird eine Beladung der Spülgutaufnahme in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern ermittelt. In einem fünften Schritt wird ein Spülprogramm in Abhängigkeit der ermittelten Beladung durchgeführt.

Die für die vorgeschlagene Geschirrspülmaschine erläuterten Vorteile und Erklärungen gelten für das Verfahren entsprechend. Die für die vorgeschlagene Geschirrspülmaschine beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.

Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.

Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert. Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform eines Systems mit einer Haushalts-Geschirrspülmaschine;

Fig. 2 zeigt ein beispielhaftes Bild einer Spülgutaufnahme;

Fig. 3 zeigt eine schematische Seitenansicht eines Systems mit einer Haushalts- Geschirrspülmaschine;

Fig. 4 zeigt eine weitere schematische Seitenansicht eines Systems mit einer Haushalts- Geschirrspülmaschine;

Fig. 5 zeigt eine schematische Ansicht eine Spülgutaufnahme mit Teilbereichen;

Fig. 6 zeigt ein Diagramm eines zeitlichen Ablaufs;

Fig. 7 zeigt schematisch eine auf verschiedenen Bildern basierende ermittelte Beladung;

Fig. 8 zeigt ein schematisches Blockdiagramm eines weiteren Ausführungsbeispiels eines Systems; und

Fig. 9 zeigt ein schematische Blockschaltbild eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Geschirrspülmaschine.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.

Die Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform eines System 100 mit einer Geschirrspülmaschine 1 , die als eine Haushalts- Geschirrspülmaschine ausgebildet ist. In diesem Beispiel sind alle Komponenten des Systems 100 in der Haushalts-Geschirrspülmaschine 1 integriert. Die Haushalts- Geschirrspülmaschine 1 umfasst einen Spülbehälter 2, der durch eine Tür 3, insbesondere wasserdicht, verschließbar ist. Hierzu kann zwischen der Tür 3 und dem Spülbehälter 2 eine Dichteinrichtung vorgesehen sein. Der Spülbehälter 2 ist vorzugweise quaderförmig. Der Spülbehälter 2 kann in einem Gehäuse der Haushalts-Geschirrspülmaschine 1 angeordnet sein. Der Spülbehälter 2 und die Tür 3 können einen Spülraum 4 zum Spülen von Spülgut bilden.

Die Tür 3 ist in der Fig. 1 in ihrer geöffneten Stellung dargestellt. Durch ein Schwenken um eine an einem unteren Ende der Tür 3 vorgesehene Schwenkachse 5 kann die Tür 3 geschlossen oder geöffnet werden. Mit Hilfe der Tür 3 kann eine Beschickungsöffnung 6 des Spülbehälters 2 geschlossen oder geöffnet werden. Der Spülbehälter 2 weist einen Boden 7, eine dem Boden 7 gegenüberliegend angeordnete Decke 8, eine der geschlossenen Tür 3 gegenüberliegend angeordnete Rückwand 9 und zwei einander gegenüberliegend angeordnete Seitenwände 10, 11 auf. Der Boden 7, die Decke 8, die Rückwand 9 und die Seitenwände 10, 11 können beispielsweise aus einem Edelstahlblech gefertigt sein. Alternativ kann beispielsweise der Boden 7 aus einem Kunststoffmaterial gefertigt sein.

Die Haushalts-Geschirrspülmaschine 1 weist ferner zumindest eine Spülgutaufnahme 12 bis 14 auf. Vorzugsweise können mehrere, beispielsweise drei, Spülgutaufnahmen 12 bis 14 vorgesehen sein, wobei die Spülgutaufnahme 12 eine untere Spülgutaufnahme oder ein Unterkorb, die Spülgutaufnahme 13 eine obere Spülgutaufnahme oder ein Oberkorb und die Spülgutaufnahme 14 eine Besteckschublade sein kann. Wie die Fig. 1 weiterhin zeigt, sind die Spülgutaufnahmen 12 bis 14 übereinander in dem Spülbehälter 2 angeordnet. Jede Spülgutaufnahme 12 bis 14 ist wahlweise in den Spülbehälter 2 hinein- oder aus diesem herausverlagerbar. Insbesondere ist jede Spülgutaufnahme 12 bis 14 in einer Einschubrichtung E in den Spülbehälter 2 hineinschiebbar oder hineinfahrbar und entgegen der Einschubrichtung E in einer Auszugsrichtung A aus dem Spülbehälter 2 herausziehbar oder herausfahrbar.

An der vorderen Kante der Decke 8 ist eine Kamera 20 angeordnet. Das Bildfeld FOV (siehe Fig. 3 oder 4) der Kamera 20 ist derart ausgebildet, dass diese eine vollständig ausgezogene Spülgutaufnahme 12 bis 14 vollständig erfassen kann. An der Tür 3 ist zudem eine Steuerungsvorrichtung 15 und eine Bildanalyseeinheit 25 angeordnet. Die Steuerungsvorrichtung 15 umfasst eine Anzahl von Speicherplätzen (nicht gezeigt) zum Speichern von von der Kamera 20 erfassten Bildern IMG (siehe Fig. 2) und ist zum Durchführen eines Spülprogramms in Abhängigkeit einer ermittelten Beladung der Haushalts- Geschirrspülmaschine 1 eingerichtet. Die Bildanalyseeinheit 25 ist zum Ermitteln der Beladung in Abhängigkeit von Bildern der Spülgutaufnahmen 12 bis 14, die von der Kamera 20 erfasst wurden, eingerichtet.

Im Folgenden werden die Funktionen der Steuerungsvorrichtung 15, der Kamera 20 und der Bildanalyseeinheit 25 detailliert erläutert.

Fig. 2 zeigt ein beispielhaftes Bild IMG einer Spülgutaufnahme 12, das beispielsweise von der Kamera 20 der Fig. 1 erfasst wurde. Auf dem Bild IMG ist die Tür 3 und die Spülgutaufnahme 12, die hier vollständig ausgezogen ist, zu sehen. Zudem ist ein Handgriff 12A der Spülgutaufnahme 12 zu sehen. Aus Gründen der Übersicht ist die Spülgutaufnahme 12 hier ohne Spülgut dargestellt. Zwei Koordinatenachsen X, Y sind ebenfalls dargestellt. Das Bild IMG weist eine Anzahl an Bildpunkten auf, deren Bildposition anhand der Koordinaten X, Y eindeutig festgelegt ist. Durch die Koordinaten X1 , X2, Y1 , Y2 ist ein Interessenbereich ROI in dem Bild festgelegt. Der Interessenbereich ROI ist so gewählt, dass sich der Handgriff 12A der Spülgutaufnahme 12 in diesem Bereich des Bildes IMG bewegt, wenn die Spülgutaufnahme 12 bewegt wird.

Die Steuerungsvorrichtung 15 (siehe Fig. 1) ist dazu eingerichtet, eine Bildposition des Handgriffs 12A in dem Bild IMG zu ermitteln, indem sie den Interessenbereich ROI analysiert. Einer jeweiligen Bildposition oder einem Intervall Z1 - Z4 (siehe Fig. 3 - 6) ist ein Speicherplatz zugeordnet, auf dem das erfasste Bild gespeichert wird. Dies ist nachfolgend anhand der Fig. 3 - 6 detailliert erläutert.

Fig. 3 zeigt eine schematische Seitenansicht eines Systems 100 mit einer Haushalts- Geschirrspülmaschine 1 , beispielsweise der Haushalts-Geschirrspülmaschine der Fig. 1. Die Tür 3 ist in der geöffneten Position dargestellt und die untere Spülgutaufnahme 12 ist in vollständig ausgezogener Position (maximale Auszugsposition) gezeigt. Das Bildfeld FOV der Kamera 20 ist in dieser Seitenansicht angedeutet. Das Bildfeld FOV erreicht vorzugsweise einen vertikalen Winkel von bis zu 120° (in der Darstellung der Fig. 3 weist das Bildfeld FOV einen vertikalen Winkel von etwa 75° auf) und einen horizontalen Winkel von bis zu 180° (der horizontale Winkel ist in der Fig. 3 nicht erkennbar). Unterhalb der Tür 3 ist beispielhaft eine Y-Achse dargestellt, mit einer Anzahl an bestimmten Punkten Y1 - Y5. Die Punkte Y1 und Y2 stimmen beispielsweise mit jenen der Fig. 2 überein. Jeweils zwei Punkte bilden ein Intervall Z1 - Z4, wobei sich die Intervalle Z1 - Z4 nicht überschneiden: Z1 = (Y3; Y2], Z2 = (Y4; Y3], Z3 = (Y5; Y4], Z4 = [Y1 ; Y5], Die Summer der Intervalle Z1 - Z4 umfasst alle Auszugspositionen zwischen Y1 und Y2. Es sei angemerkt, dass auch mehr als vier Intervalle Z1 - Z4 oder weniger als Intervalle Z1 - Z4 vorgesehen sein können. Es ist ersichtlich, dass die Position des Handgriffs 12A der Spülgutaufnahme 12 in Bezug auf die Y-Achse direkt mit der Auszugsposition der Spülgutaufnahme 12 korrespondiert.

In der Fig. 3 befindet sich die Spülgutaufnahme 12 in der maximalen Auszugsposition und der Handgriff 12A befindet sich in dem Intervall Z1 = (Y3; Y2], In der Fig. 4, die das gleiche System 100 wie die Fig. 3 zeigt, befindet sich die Spülgutaufnahme 12 in einer mittleren Auszugsposition und der Handgriff 12A befindet sich in dem Intervall Z3 = (Y5; Y4],

Je nach dem, in welchem Intervall Z1 - Z4 oder an welcher Bildposition der Handgriff 12A ermittelt wird, kann darauf geschlossen werden, welcher Teilbereich W1 - W4 (siehe Fig. 5) der Spülgutaufnahme 12 auf dem Bild IMG (siehe Fig. 2) der Kamera 20 sichtbar ist.

Es sei angemerkt, dass die vorstehenden Angaben entsprechend für die weiteren Spülgutaufnahmen 13 und 14 (siehe Fig. 1) gelten.

Fig. 5 zeigt eine schematische Ansicht einer Spülgutaufnahme 12 mit Teilbereichen W1 - W4. Die Teilbereiche W1 - W4 zeigen, welcher Teil der Spülgutaufnahme 12 auf einem Bild IMG (siehe Fig. 2) sichtbar ist, wenn sich der Handgriff 12A in einem jeweiligen Intervall Z1 - Z4 (siehe Fig. 3, 4 oder 6) befindet. Wenn sich der Handgriff 12A in dem Intervall Z1 befindet, ist die gesamte Spülgutaufnahme 12 sichtbar (Teilbereich W1). Wenn sich der Handgriff 12A in dem Intervall Z2 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 90% - 50% sichtbar (Teilbereich W2), wobei der hinterste Bereich der Spülgutaufnahme 12 (der dem Handgriff 12A gegenüberliegende Bereich) nicht mehr sichtbar ist. Wenn sich der Handgriff 12A in dem Intervall Z3 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 50% - 30% sichtbar (Teilbereich W3), wobei die hintere Hälfte der Spülgutaufnahme 12 nicht mehr sichtbar ist. Wenn sich der Handgriff 12A in dem Intervall Z4 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 30% - 0% sichtbar (Teilbereich W4), wobei der hintere Bereich der Spülgutaufnahme 12 nicht mehr sichtbar ist.

Es sei angemerkt, dass die vorstehenden prozentualen Angaben lediglich der Anschauung dienen und nicht einschränkend auszulegen sind. Welche Anteile der Spülgutaufnahme 12 auf einem jeweiligen Bild IMG sichtbar sind, hängt einerseits von der Ausgestaltung der Kamera 20, insbesondere deren Bildfeld FOV (siehe Fig. 3 oder 4), sowie von der Festlegung der Intervalle Z1 - Z4 ab.

Fig. 6 zeigt ein Diagramm eines zeitlichen Ablaufs vor einem Start eine Spülprogramms. In dem Beispiel der Fig. 6 wird davon ausgegangen, dass vier Speicherplätze zum Speichern von vier Bildern IMG für eine jeweilige Spülgutaufnahme 12 bis 14 vorgesehen sind. Jedem Speicherplatz ist ein Intervall Z1 - Z4 zugeordnet, beispielsweise wie anhand der Fig. 3 und 4 erläutert. In weiteren Ausführungsformen können mehr Speicherplätze vorgesehen sein.

Zu einem Anfangszeitpunkt tO ist auf keinem der Speicherplätze ein Bild IMG gespeichert. Zu einem Zeitpunkt t1 wird ein erstes Bild IMG1 erfasst. Die Steuerungsvorrichtung 15 (siehe Fig. 1) ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG1 in dem Intervall Z3 liegt, weshalb das Bild IMG1 auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert wird. Zu einem Zeitpunkt t2 wird ein zweites Bild IMG2 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG2 in dem Intervall Z1 liegt, weshalb das Bild IMG2 auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert wird. Zu einem Zeitpunkt t3 wird ein drittes Bild IMG3 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG3 in dem Intervall Z3 liegt, weshalb das Bild IMG3 auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert wird. Hierbei wird das bislang gespeicherte Bild IMG1 überschrieben. Zu einem Zeitpunkt t4 wird ein viertes Bild IMG4 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG4 in dem Intervall Z1 liegt, weshalb das Bild IMG4 auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert wird. Hierbei wird das bislang gespeicherte Bild IMG2 überschrieben. Zu einem Zeitpunkt t5 wird ein fünftes Bild IMG5 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG5 in dem Intervall Z2 liegt, weshalb das Bild IMG5 auf dem dem Intervall Z2 zugeordneten Speicherplatz gespeichert wird.

Es sei angemerkt, dass die Kamera 20 (siehe Fig. 1 , 3 oder 4) einen Bildstrom erfasst und ausgibt, das heißt, Bilder mit einer vorbestimmten Bildrate erfasst und ausgibt. Die Bildrate beträgt beispielsweise zwischen 1 FPS (FPS: frame per second = Bild pro Sekunde) bis zu 30 FPS, vorzugsweise zwischen 10 FPS und 15 FPS. Wenn die Spülgutaufnahme 12 für längere Zeit, beispielsweise 10 Sekunden, an einer bestimmten Auszugsposition verharrt, beispielsweise mit dem Handgriff 12A im Intervall Z1 , dann wird jeweils das aktuell erfasste Bild gespeichert. In den 10 Sekunden werden bei einer Bildrate von beispielsweise 10 FPS insgesamt 100 Bilder erfasst. Von diesen 100 Bildern wird nur das zuletzt erfasste dauerhaft gespeichert. Es kann vorgesehen sein, dass jedes der Bilder zunächst gespeichert wird und dann von dem folgenden Bild überschrieben wird, oder aber die Bilder werden zunächst in einem Pufferspeicher gehalten, bis die Spülgutaufnahme 122 weiterbewegt wird und damit das aktuellste Bild für die jeweilige Auszugsposition bekannt ist.

Nach dem Zeitpunkt t5 wird das Spülprogramm gestartet. Dann wird zuerst die Beladung der Spülgutaufnahme 12 (und der weiteren Spülgutaufnahmen 13, 14, soweit vorhanden) ermittelt. Wenn für unterschiedliche Teilbereiche W1 - W4 (siehe Fig. 5) Bilder mit unterschiedlichen Zeitstempeln, also unterschiedlicher Aktualität, vorhanden sind, wird das jeweils aktuellste Bild IMG für einen jeweiligen Teilbereich W1 - W4 analysiert.

In dem vorliegenden Beispiel sind zu diesem Zeitpunkt drei Bilder IMG4, IMG5 und IMG3 gespeichert. Das aktuellste Bild IMG5 (Zeitpunkt t5), das auf dem dem Intervall Z2 zugeordneten Speicherplatz gespeichert ist, zeigt beispielsweise einen Teilbereich W2 der Spülgutaufnahme 12. Der hinterste Bereich der Spülgutaufnahme 12 ist auf diesem Bild IMG5 nicht sichtbar. Das Bild IMG4 (Zeitpunkt t4), das auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert ist, zeigt die gesamte Spülgutaufnahme 12 (Teilbereich W1). Das Bild IMG3 (Zeitpunkt t3), das auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert ist, zeigt einen Teilbereich W3 der Spülgutaufnahme 12. Dieser Teilbereich W3 ist sowohl von dem Teilbereich W2 als auch von dem Teilbereich W1 umfasst. Da der Aufnahmezeitpunkt t3 des Bildes IMG 3 älter ist, als der Aufnahmezeitpunkt der Bilder IMG4 und IMG5, wird das Bild IMG3 nicht analysiert, da es im Vergleich veraltete Informationen aufweist. Das Bild IMG5 wird zum Ermitteln der Beladung für den Teilbe- reich W2 der Spülgutaufnahme 12 verwendet und das Bild IMG4 wird zum Ermitteln der Beladung für den auf dem Bild IMG5 nicht sichtbaren Teilbereich (W1 - W2) verwendet, wie nachfolgend anhand der Fig. 7 erläutert.

Das Ermitteln der Beladung erfolgt vorzugsweise, indem jeweils das gesamte Bild analysiert wird und anschließend die relevanten Bereiche extrahiert werden. Es ist auch möglich, die Teilbereiche zu extrahieren und zu einem Bild zusammenzufügen, welches anschließend analysiert wird, allerdings können dabei Artefakte und Verzerrungen auftreten, da die Bilder zu unterschiedlichen Zeitpunkten erfasst wurden, was die Analyse beeinträchtigen kann.

Fig. 7 zeigt schematisch ein Ergebnis RES einer Beladungsermittlung, wobei verschiedene Bilder IMG4, IMG5 (siehe Fig 6) für unterschiedliche Teilbereiche W2, W1-W2 verwendet wurden. Das Ergebnis RES umfasst zwei Teilergebnisse RES1 und RES2. Das erste Teilergebnis RES1 resultiert aus einer Analyse des Bildes IMG5, auf welchem nur der Teilbereich W2 sichtbar ist. Der Teil des Ergebnisses der Analyse des Bildes IMG5, der sich nicht auf die Spülgutaufnahme 12, sondern beispielsweise auf die Tür 3 bezieht, wird verworfen. Das zweite Teilergebnis RES2 resultiert aus einer Analyse des Bildes IMG4. Die Teile des Ergebnisses der Analyse des Bildes IMG4, die sich auf den Teilbereich W2 beziehen, werden verworfen, da es für diesen Teilbereich ein aktuelleres Bild IMG4 gibt, und es wird nur der Teil des Ergebnisses, der sich auf den Bereich W1-W2 bezieht, verwendet. Das Gesamtergebnis RES setzt sich aus den Teilergebnisse RES1 , RES2 zusammen.

Fig. 8 zeigt ein schematisches Blockdiagramm eines weiteren Ausführungsbeispiels eines Systems 100. Das System 100 umfasst eine extern zu einer Geschirrspülmaschine 1 (beispielsweise der Haushalts-Geschirrspülmaschine der Fig. 1 ohne die dort dargestellte Bildanalyseeinheit) angeordnete Bildanalyseeinheit 25. Die Geschirrspülmaschine umfasst eine Kommunikationseinrichtung 16, mittels der die Steuerungsvorrichtung 15 (siehe Fig. 1) zum Übertragen von Bildern IMG and die Bildanalyseeinheit 25 und zum Empfangen eines Ergebnisses einer Beladungsermittlung RES von der Bildanalyseeinheit 25 eingerichtet ist. Die Bildanalyseeinheit 25 weist ihrerseits eine entsprechende Kommunikationseinrichtung 26 auf. Die Kommunikationseinrichtungen 16, 26 sind beispielsweise als Modem, als WLAN- Adapter, und/oder als Mobilfunkmodem ausgebildet.

Fig. 9 zeigt ein schematische Blockschaltbild eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Geschirrspülmaschine 1 , beispielsweise der Haushalts- Geschirrspülmaschine der Fig. 1. In einem ersten Schritt S1 wird ein Bild IMG (siehe Fig. 2) zumindest eines Teilbereichs W1 - W4 (siehe Fig. 5) einer Spülgutaufnahme 12 (siehe Fig. 1 - 4) der Geschirrspülmaschine 1 in Abhängigkeit einer Auszugsposition Z1 - Z4 (siehe Fig. 3 - 5) der Spülgutaufnahme 12 erfasst. In einem zweiten Schritt S2 wird die Auszugsposition Z1 - Z4 der Spülgutaufnahme 12 zum Zeitpunkt t1 - 15 (siehe Fig. 5) der Bilderfassung ermittelt. In einem dritten Schritt S3 wird das Bild IMG auf einem der Auszugsposition Z1 - Z4 zugeordneten Speicherplatz einer Anzahl von Speicherplätzen gespeichert, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen Z1 - Z4 zugeordnet ist. In einem vierten Schritt S4 wird eine Beladung RES (siehe Fig. 7 oder 8) der Spülgutaufnahme 12 in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern IMG ermittelt. In einem fünften Schritt S5 wird ein Spülprogramm in Abhängigkeit der ermittelten Beladung RES durchgeführt.

Das Verfahren kann verschiedene zusätzliche Schritte umfassen, wie beispielsweise ein Ermitteln einer Bildposition eines Merkmals der Spülgutaufnahme 12 , wie eines Handgriffs 12A, in dem erfassten Bild IMG, ein Überschreiben und/oder Löschen von gespeicherten Bildern IMG, ein Verwerfen von erfassten Bildern IMG auf Basis einer erkannten Bewegung der Spülgutaufnahme 12 in dem erfassten Bild IMG und weitere Schritte dergleichen.

Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar. Verwendete Bezugszeichen:

1 Geschirrspülmaschine

2 Spülbehälter

3 Tür

4 Spülkammer

5 Schwenkachse

6 Beschickungsöffnung

7 Boden

8 Decke

9 Rückwand

10 Seitenwand

11 Seitenwand

12 Spülgutaufnahme

12A Merkmal

13 Spülgutaufnahme

14 Spülgutaufnahme

15 Steuerungsvorrichtung

16 Kommunikationseinrichtung

20 Kamera

25 Bildanalyseeinheit

26 Kommunikationseinrichtung

100 System

A Ausziehrichtung

E Einschubrichtung

FOV Bildfeld

IMG Bild

IMG1 Bild

IMG2 Bild

IMG3 Bild

IMG4 Bild

IMG5 Bild

RES Beladung RES1 Teilbeladung

RES2 Teilbeladung

ROI Interessenbereich t Zeitachse tO Zeitpunkt t1 Zeitpunkt t2 Zeitpunkt t3 Zeitpunkt t4 Zeitpunkt t5 Zeitpunkt

W1 Teilbereich

W1-W2 Bereich

W2 Teilbereich

W3 Teilbereich

W4 Teilbereich

X Koordinatenachse

XI Position

X2 Position

Y Koordinatenachse

Y1 Position

Y2 Position

Y3 Position

Y4 Position

Y5 Position

Z1 Intervall

Z2 Intervall

Z3 Intervall

Z4 Intervall