Bildern

Die Erfindung betrifft ein Verfahren zum Speichern von mittels einer Kamera eines Haus haltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern, bei dem Bilder zusammen in einem Datenspeicher des Haushaltsgeräts mit einer vorge gebenen Zahl von Speicherplätzen für die Bilder gespeichert werden. Die Erfindung be trifft auch ein Verfahren, bei dem in einem Datenspeicher abgespeicherte Bilder chronolo gisch sequenziell abgespielt werden. Die Erfindung betrifft ferner ein Haushaltsgerät, auf weisend einen Behandlungsraum, mindestens eine in den Behandlungsraum gerichtete Kamera und eine Datenverarbeitungseinrichtung zur Durchführung des Verfahrens. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Speicherung von während ei nes Garablaufs aus einem Garraum eines Gargeräts, insbesondere Backofens, aufge nommenen Bildern.

Es sind Backöfen bekannt, die mit einer Kamera zur Überwachung ihres Ofen- oder Gar raums ausgerüstet sind. Mittels der Kamera können Bilderfolgen von in dem Garraum befindlichem Gargut aufgenommen werden, beispielsweise, um während eines Garvor gangs einen Bräunungsfortschritt beobachten und auswerten zu können.

Dabei ist es aufgrund des häufig zeitlich ungleichmäßigen und auch nicht genau vorher sagbaren Verlaufs des Bräunungsvorgangs vorteilhaft, viele Bilder der Bilderfolge Vorhal ten zu können, beispielsweise zur visuellen Beurteilung durch einen Nutzer oder zur au tomatischen Bestimmung eines Bräunungsgrads. Andererseits benötigen Bilder typi scherweise viel Speicherplatz, was kostenungünstig ist.

Zur Reduzierung eines benötigten Speicherplatzes für Bilder einer Bilderfolge ist es be kannt, die Bilder komprimiert zu speichern, z.B. im MOV-, MPEG-, MP4-, JPEG- usw. Format. Dabei ist jedoch nachteilig, dass zur Bildkompression und Bilddekompression eine hohe Rechenleistung benötigt wird, was wiederum Kosten erhöht, z.B. zum Vorse hen eines Grafikprozessors usw. Auch bleibt die Aufnahmefähigkeit eines Datenspeichers nachteiligerweise dennoch begrenzt, speziell bei lang andauernden Garvorgängen. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereit zustellen, Bilder einer von einem Haushaltsgerät, insbesondere Gargerät, speziell Back ofen, erzeugten - insbesondere auch lang andauernden - Bildfolge oder Bildsequenz auf besonders speicherplatzsparende Weise abzuspeichern.

Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.

Die Aufgabe wird gelöst durch ein Verfahren zum Speichern von mittels einer Kamera eines Haushaltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenomme nen Bildern ("Bildfolge"), bei dem

a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Daten speicher mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespei chert werden, und dann

b) wenn sämtliche Speicherplätze mit Bildern belegt sind, von den in dem Datenspei cher gespeicherten Bildern diejenigen Bilder gelöscht werden, deren Bewertungs zahl einen vorgegebenen Schwellwert nicht erreicht, und folgend zu Schritt a) zu rückverzweigt wird,

wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt.

Durch dieses Verfahren wird der Vorteil erreicht, dass die Möglichkeit bereitgestellt wird, mit begrenztem ("vorgegebenen") Speicherplatz für eine praktisch unbegrenzte Dauer Bilder einer Bildfolge mit für Haushaltsgeräte relevantem Bildinhalt abzuspeichern, also eine praktisch unbegrenzte Aufnahmedauer zu erreichen. Dabei wird ausgenutzt, dass zu Beginn des Verfahrens bei gefülltem Datenspeicher Bilder gelöscht werden, die sich (ent sprechend dem Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden. Der so freigewordene Speicherplatz wird mit neu aufgenommenen Bildern gefüllt, bis er wieder erschöpft ist. Dann werden erneut Bilder gelöscht, die sich (entsprechend dem neuen, typischerweise höheren Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden, usw. Mit jedem erneuten Durchlaufen der obigen Verfahrensschritte ver bleiben somit Bilder, die zu einer immer längeren Bildfolge gehören, wobei die bildlichen Unterschiede zwischen aufeinanderfolgenden verbliebenen Bildern typischerweise immer größer werden. Während also zu Beginn des Verfahrens eine einen vergleichsweise kur zen Zeitraum betreffende Bildfolge in dem Datenspeicher gespeichert ist, deren Bilder sich in zeitlicher Abfolge in der Regel eher wenig unterscheiden, ist zu einem späteren Zeitpunkt eine einen längeren Zeitraum abdeckende Bildfolge mit gleicher Bildzahl in dem Datenspeicher gespeichert, deren Bilder sich in zeitlicher Abfolge in der Regel stärker unterscheiden. Folglich werden nur relevante Bilder gespeichert. Bilder, die kaum Ände rungen zu ihren Vorgängern aufweisen, werden entfernt. Für die verbleibenden Bilder ergibt sich kein Qualitätsverlust durch Datenreduktion.

Ein weiterer Vorteil ist, dass sich das Verfahren einfach umsetzen lässt, insbesondere auch durch eine integrierte Schaltung mit geringer Rechenleistung wie einem Mikrocon troller, einen FPGA, einem ASIC, usw.

Die mittels der Kamera aufgenommenen Bilder können insbesondere mittels einer fest vorgegebenen Bildrate aufgenommen werden. Die Bildfolge der mittels der Kamera auf genommenen Bilder kann als "Video Stream" angesehen werden. Auch die in dem Da tenspeicher abgespeicherte Bildfolge kann als Video Stream angesehen werden, wobei jedoch dann die zugehörigen Zeitabstände zweier zeitlich aufeinanderfolgender Bilder in der Regel nicht mehr konstant ist, sondern sich aus der Differenz ihrer Zeitstempel bzw. der in dem Zeitstempel vorhandenen Zeitinformation ergeben. Der zeitstempel kann ins besondere den Aufnahmezeitpunkt des zugehörigen Bilds umfassen oder darstellen.

Das Haushaltsgerät kann ein Haushaltsgroßgerät oder ein Haushaltskleingerät sein, ins besondere im Sinne sog. weißer Ware. Das Haushaltsgroßgerät kann z.B. ein Wäsche pflegegerät (wie eine Waschmaschine, Wäschetrockner, Waschtrockner, usw.) oder ein Küchengerät wie eine Geschirrspülmaschine, ein Kühlgerät oder ein Gargerät (z.B. ein Backofen, ein Kochfeld, ein Mikrowellengerät, ein Dampfbehandlungsgerät oder eine be liebige Kombination davon, usw.) sein.

Das Verfahren dient insbesondere zum Speichern der Bildfolge des Haushaltsgeräts wäh rend eines Betriebsablaufs des Haushaltsgeräts, z.B. während eines Garvorgangs, eines Spülvorgangs, eines Waschvorgangs, usw. von entsprechendem Gut wie Gargut, Wä sche, Geschirr, Kühlgut usw. Die Kamera kann dazu Bilder aus einem Behandlungsraum des Gargeräts (z.B. einem Garraum, einer Wäschetrommel, einem Kühlraum usw.) auf nehmen bzw. in einen solchen Behandlungsraum gerichtet sein. Die Kamera kann aber z.B. auch dazu eingerichtet (ausgestaltet und angeordnet) sein, Bilder von auf einem Kochfeld garendem Gargut aufnehmen und dazu z.B. in eine darüber angeordnete Dunstabzugshaube integriert sein. Der Betriebsablauf kann auch ein Ablauf sein, bei dem kein Gut behandelt wird, z.B. ein Reinigungsablauf usw. Der Betriebsablauf kann ein Be triebsprogramm des Haushaltsgeräts sein. Das Verfahren kann also rein beispielhaft ein Verfahren zum Speichern von während eines Garvorgangs mittels einer Kamera eines Gargeräts in zeitlicher Abfolge aus einem Garraum des Gargeräts aufgenommenen Bil dern sein.

Die Kamera kann eine Schwarz/Weiß-Kamera oder - vorteilhafterweise - eine Farbkame ra sein. Die Kamera kann alternativ oder zusätzlich eine IR-Kamera sein oder im IR- Bereich empfindlich sein. Die von der Kamera aufgenommenen Bilder sind insbesondere bildpunktartige Bilder mit grundsätzlich beliebigen Auflösungen.

Der Zeitstempel umfasst Information über den Zeitpunkt der Aufnahme des zugehörigen Bilds, beispielsweise als absoluten Zeitpunkt der Aufnahme und/oder als relative Zeitdau er seit Beginn der ersten Aufnahme bzw. seit Beginn des Verfahrens. Mittels des Zeit stempels kann insbesondere eine zeitliche Reihenfolge und ein zeitlicher Abstand zweier Bilder zueinander bestimmt werden.

Der Datenspeicher ist insbesondere ein in das Haushaltsgerät integrierter Datenspeicher.

Dass Bilder gelöscht werden, deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht, kann umfassen, dass alle Bilder aus dem Datenspeicher gelöscht werden, deren Bewertungszahl unterhalb des vorgegebenen Schwellwerts liegt. Analog können alle Bilder gelöscht werden deren Bewertungszahl den vorgegebenen Schwellwert er reicht, aber nicht überschreitet, wobei dieser Fall im Folgenden nicht weiter ausgeführt wird. Analog kann die Bewertungszahl auch so berechnet werden, dass sie umso geringer ist, je größer ein Bildunterschied ist. In diesem - inhaltlich analogen und deshalb nicht weiter beschriebenen - Fall können alle Bilder gelöscht werden, deren Bewertungszahl oberhalb des vorgegebenen Schwellwerts liegt. In anderen Worten werden insbesondere alle Bilder gelöscht, deren bildlicher Unterschied zu einem zuvor aufgenommenen Bild nicht ausreichend stark oder groß ist.

Dass die Bewertungszahl ein Maß für einen bildlichen Unterschied zwischen zwei Bildern darstellt, kann insbesondere umfassen, dass die Bewertungszahl umso höher ist, je höher deren bildlicher Unterschied ist. Der bildliche Unterschied kann sich auf eine Form von in den beiden Bildern abgebildeten Objekten und/oder auf deren Farbe beziehen. Zwei in Form und Farbe identische Bilder können insbesondere die niedrigste Bewertungszahl, beispielsweise null, aufweisen.

Nachdem nach einem Löschen von Bildern in Schritt b) zu Schritt a) zurückverzweigt wor den ist, werden in Schritt a) zuvor freigewordene Speicherplätze durch neu aufgenomme ne Bilder aufgefüllt, bis erneut der Speicherplatz voll ist, usw.

Schritt b) kann auch als Anwendung eines "Reduzierungs-Algorithmus" zur Löschung von Bildern mit geringster Relevanz verstanden werden. Unter Bildern mit geringster Relevanz oder irrelevanten Bildern können insbesondere Bilder verstanden werden, welche einen kleinen oder keinen Unterschied zu einem vorhergehenden Bild aufweisen.

Die in dem Datenspeicher gespeicherten Bilder können in einer Weiterbildung in grund sätzlich beliebiger Reihenfolge gespeichert sein, da ihr Zeitstempel eine eindeutige zeitli che Position oder chronologische Abfolge vorgibt. Alternativ können die Bilder in dem Da tenspeicher bereits in zeitlicher Reihenfolge bzw. chronologisch geordnet gespeichert sein. Dazu können beispielsweise Bilder mit zu niedriger Bewertungszahl aus dem Spei cher entfernt werden, die verbleibenden Bilder zusammengeschoben werden und neue Bilder an die frei gewordenen Plätze angehängt werden. Damit liegen die Bilder im Da tenspeicher in der chronologisch korrekten Reihenfolge vor.

Es ist eine Weiterbildung, dass das Verfahren bis zum Ende eines Betriebsablaufs durch geführt wird bzw. mit Beendigung eines Betriebsablaufs abgebrochen wird. Die bis dahin gespeicherte Bildfolge kann dann gelöscht oder für eine folgende Auswertung und/oder Ansicht gespeichert bleiben. Es ist eine Ausgestaltung, dass Schritt b) bis zum Ende des Garvorgangs mit steigender Bewertungszahl wiederholt durchgeführt wird. So wird eine Löschung von Bildern in Schritt b) besonders zuverlässig sichergestellt.

Es ist eine Weiterbildung, dass die Bewertungszahl erhöht wird, wenn in Schritt b) bei gleichgebliebener Bewertungszahl keine Bilder oder keine ausreichende Zahl von Bildern gelöscht werden. Ist also in Schritt a) der Datenspeicher mit Bildern vollgelaufen, wird in Schritt b) zunächst versucht, Bilder mit der zuletzt verwendeten Bewertungszahl zu lö schen. Stellt sich dabei heraus, dass dann keine Bilder oder eine nicht genügende Anzahl von Bildern gelöscht wird, wird die Bewertungszahl erhöht und dann Schritt b) erneut durchgeführt. Erst nach erneuter oder zweiter Durchführung von Schritt b) wird zurück zu Schritt a) verzweigt.

Es ist eine Weiterbildung, dass die Bewertungszahl mit jeder Durchführung von Schritt b) erhöht wird (zumindest solange die Bewertungszahl nicht für alle vorhandenen Bilder er neut berechnet wird, wie weiter unten genauer beschrieben wird). So wird vorteilhafter weise erreicht, dass typischerweise eine vergleichsweise hohe Zahl von Bildern gelöscht wird, so dass der Datenspeicher in Schritt a) nicht so schnell vollläuft. Dies hält zudem eine benötigte Rechenleistung gering.

Es ist eine Weiterbildung, dass eine Erhöhung der Bewertungszahl eine inkrementeile Erhöhung ist, also die Bewertungszahl bei einer Erhöhung um ihre geringste Schrittweite erhöht wird. Weisen die Bewertungszahlen beispielsweise jeweils einen Abstand Eins zu ihren nächsten Nachbarn auf, wird die Bewertungszahl insbesondere um den Wert Eins erhöht. Jedoch kann allgemein die Erhöhung oder Schrittweite der Bewertungszahl grundsätzlich frei gewählt werden, beispielsweise im Verlauf des Verfahrens auch varia bel.

Es ist eine Ausgestaltung, dass in Schritt b) vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird.

Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Daten speichers aus:

Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft Bild_2, Bild_3 und Bild_4. In Schritt b) werden nun mit dem Löschen von Bild_2, Bild_3 und Bild_4 deren Bewertungszahlen BZ dem zeitlich nächsten Bild hinzuaddiert, das nicht gelöscht wird, nämlich Bild_5:

Die freigewordenen Speicherplätze von Bild_2, Bild_3 und Bild_4 können in einem fol genden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.

Es ist eine Ausgestaltung, dass in Schritt b)

- vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird und

- diejenigen Bilder gelöscht werden, deren addierte Bewertungszahl den vorgege benen Schwellwert nicht erreicht.

Dadurch wird der Vorteil erreicht, dass die Bewertungszahl(en), die ja ein Maß für eine bildliche Abweichung zu einem davor aufgenommenen Bild darstellt bzw. darstellen, bei Löschen eines oder mehrerer Bilder nicht verloren gehen, sondern dem nächsten noch vorhandenen Bild zugeschlagen werden. Dadurch wiederum wird der bildliche Unter schied zu dem dann noch verbliebenen vorherigen Bild durch ein passendes Maß bzw. eine passende Bewertungszahl ausgedrückt.

Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Daten speichers aus: Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft zunächst die Bilder Bild_2, Bild_3 und Bild_4. In Schritt b) werden nun die bei Übergang zu Schritt b) vorliegenden Bewertungszahlen BZ dieser Bilder dem zeitlich nächsten Bild hinzuaddiert:

Nun werden alle Bilder, die immer noch eine Bewertungszahl BZ < 5 aufweisen, gelöscht:

Die freigewordenen Speicherplätze von Bild_2 und Bild_3 können in einem folgenden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.

Es ist eine Ausgestaltung, dass in Schritt b)

- vor dem Löschen die Bewertungszahlen der Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, in zeitlich aufsteigender Reihenfolge dem zeitlich nächsten noch vorhandenen Bild kumulativ zuaddiert werden, bis die kumulativ addierte Bewertungszahl den Schwellwert erreicht und

- diejenigen Bilder gelöscht werden, deren kumulativ addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht.

Ein Beispiel für diese Ausgestaltung gehe wiederum von folgender Speicherbelegung des Datenspeichers aus:

Es sei auch hier angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5.

Das in zeitlicher Reihenfolge erste Bild, das den Schwellwert nicht erreicht, ist Bild_2. Dieses wird folglich gelöscht, und seine Bewertungszahl BZ = 1 wird dem zeitlich nächs ten Bild kumulativ zuaddiert bzw. zugeschlagen, hier also Bild_3:

Bild_3 erreicht damit aber immer noch nicht den vorgegebenen Schwellwert, so dass fol gend dessen bereits kumulativ addierte Bewertungszahl BZ = 4 dem nächsten Bild, näm lich Bild 4 zuaddiert wird:

Die kumulativ addierte Bewertungszahl von Bild_4 liegt nun über dem Schwellwert, so dass Bild_4 folgend nicht gelöscht wird. Nach dem Löschen liegt daher folgende Spei cherbelegung vor:

Die freigewordenen Speicherplätze der Bilder Bild_2 und Bild_3 können in einem folgen den Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.

Es ist eine Weiterbildung, dass die vor Schritt b) vorliegende Bewertungszahl eines Bilds, das nur durch kumulative Addition der Bewertungszahlen vorhergehender Bilder den Schwellwert erreicht (in dem vorherigen Beispiel Bild_4), dem folgenden Bild zuaddiert wird.

In dem vorhergehenden Beispiel würde dann nach dem Löschen folgende Speicherbele gung vorliegen:

Es ist eine Ausgestaltung, dass die Bewertungszahlen aller nach einem Durchführen von Schritt b) noch verbliebenen oder gespeicherten Bilder neu berechnet werden. Dies ergibt eine besonders vorteilhafte Rückbehaltung aussagekräftiger Bilder. Das Neuberechnen kann insbesondere noch vor der Rückverzweigung zu Schritt a) durchgeführt werden. Es ist eine Weiterbildung, dass der Neuberechnung der Bewertungszahlen in einem fol genden Schritt b) ein einfaches Löschen aller Bilder, welche den Schwellwert nicht errei chen, folgt. Dabei wird ausgenutzt, dass aufgrund der Neuberechnung der Bewertungs zahlen deren folgende Addition nicht sinnvoll ist, zumindest wenn die Neuberechnung mit Schritt b) jedesmal erfolgt. Erfolgt die Neuberechnung jedoch nicht bei jedem Schritt b), kann eine Addition für die dazwischen durchgeführten Schritte b) sinnvoll sein.

Es ist eine Ausgestaltung, dass dem ersten Bild die höchste Bewertungszahl zugeordnet wird. So wird der Vorteil erreicht, dass das erste Bild immer in der Bildfolge verbleibt und zudem in Bezug auf seine Bewertungszahl definiert ist.

Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem arithmetischen Mit telwert der Unterschiede der Bildpunkte zu den entsprechenden Bildpunkten in dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig. Weist ein Bild also (m n) Bildpunkte B (x, y) mit x [0; m-1] und y = [0; n-1] auf, werden Bildpunkte B (x, y) mit gleichem x und y bzw. deren Bildwerte insbesondere voneinander subtrahiert. Folgend werden die Differenzen der Bildwerte, insbesondere deren Beträge, arithmetisch gemittelt.

Die Bildwerte können beispielsweise Helligkeitswerte sein, z.B. Graustufenwerte oder einem jeweiligen Farbkanal zugehörige Farbhelligkeitswerte. Die Helligkeitswerte können z.B. in einem Wertebereich [0; 255] liegen. Sind einem Bildpunkt mehrere Bildwerte zuge ordnet (beispielsweise Helligkeitswerte für drei Farbkanäle R, G und B), können zur Be stimmung der endgültigen Bewertungszahl die farbkanalabhängig bestimmten Mittelwerte selbst wieder gemittelt werden.

Die Bewertungszahl BZ für ein BildJ mit (m n) Bildpunkten kann folglich ausgedrückt werden als: mit Wp _j einem Wert eines Kanals Kp eines bestimmten Bildpunkts mit der Koordinate (x, y). Beispielsweise kann ein Bildpunkt Bildpunktwerte Wp in drei Farbkanälen aufweisen, z.B. einen roten Farbwert W1 _j in einem roten Farbkanal (p =1), einen grünen Farbwert W2 _j in einem grünen Farbkanal (p =3) und einen blauen Farbwert W3 _j in einem blauen Farb kanal (p =3). Jedoch ist die Erfindung nicht darauf beschränkt und kann z.B. auch mehr oder weniger Kanäle, insbesondere Farbkanäle aufweisen. So kann bei einem Graustu fenbild auch nur ein Kanal vorhanden sein, wobei die Bildpunktwerte dann den entspre chenden Helligkeiten der Bildpunkte entsprechen.

Wpi ist ein entsprechender Wert für das zuletzt vor BildJ aufgenommene (dem "davor aufgenommenen Bild") abgespeicherte BildJ. Unter dem davor aufgenommenen Bild kann insbesondere ein Bild verstanden werden, dessen Zeitstempel den nächstfrüheren Zeitstempel zu dem Zeitstempel von BildJ aufweist. Dabei kann insbesondere zur Be rechnung der Bewertungszahl von BildJ dasjenige im Datenspeicher gespeicherte BildJ als Vergleich herangezogen werden, das den dazu zeitlich als nächstes davorliegenden Zeitstempel aufweist.

Wenn die Bildpunktwerte Wp in einem Wertebereich von z.B. [0; 255] liegen, liegt vorteil hafterweise auch die Bewertungszahl BZ in diesem Wertebereich. Ist BZ = 0, bedeutet dies insbesondere, dass die Bilder BildJ und BildJ identisch sind. BZ = max (z.B. 255) bedeutet insbesondere, dass sich die Bilder BildJ und BildJ stark unterscheiden. Die Bewertungszahl für ein Bild liegt also insbesondere im Wertebereich der Bildwerte der einzelnen Bildpunkte. Sie kann gerundet werden, z.B. auf einen ganzen Wert, insbeson dere auf- oder abgerundet.

Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem linearen Korrelati onskoeffizienten zu dem davor aufgenommenen Bild entspricht, insbesondere farbka nalabhängig. Die Bestimmung eines linearen Korrelationskoeffizienten zweier Bilder ist allgemein bekannt und wird deshalb hier nicht mehr ausgeführt.

Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem Unterschied fourier transformierter Spektralwerte zu dem davor aufgenommenen Bild entspricht, insbesonde re farbkanalabhängig. Es werden bei dieser Ausgestaltung insbesondere Ortsfrequenzen zweier Bilder verglichen und bewertet. Die Quantifizierung eines Unterschieds zweier Spektren, insbesondere Fourier-Spektren, ist allgemein bekannt und wird deshalb hier nicht weiter ausgeführt. Es ist eine Weiterbildung, dass in Schritt b) die Bewertungszahl derjenigen Bildern, deren Bewertungszahl den vorgegebenen Schwellwert nicht erreicht, vor dem Löschen auf Null gesetzt wird und dann alle Bilder aus dem Datenspeicher gelöscht werden deren Bewer tungszahl Null ist.

Es ist eine Ausgestaltung, dass die gespeicherten Bilder Rohbilder sind, also insbesonde re nicht komprimiert sind. Dies ergibt den Vorteil eines besonders zuverlässigen und emp findlichen Bildvergleichs. Auch kann dann auf eine Bildverarbeitung verzichtet werden, was Rechenleistung spart. Die Rohbilder sind insbesondere Vollbilder. Sie umfassen ins besondere die Rohdaten der aufgenommenen Bilder.

Da die meisten mit Haushaltsgeräten verbundenen sichtbaren Vorgänge oder Verände rungen während eines Betriebsablaufs eher langsam voranschreiten, können die Bilder auch mit einer geringen Bildrate aufgenommen oder in dem Datenspeicher gespeichert werden, z.B. mit einer Bildrate von einem Bild pro Sekunde oder sogar noch geringer, z.B. einem Bild pro fünf, zehn, dreißig Sekunden, usw. Die Verwendung einer geringen Bildra te ist auch deshalb vorteilhaft, weil sich so bildliche Unterschiede zwischen zeitlich aufein anderfolgend aufgenommenen Bildern besonders gut bestimmen lassen und die Bewer tungszahl besonders aussagekräftig wird, speziell bei schleichenden Veränderung in einer Bildfolge. Auch lässt sich so der Rechenaufwand besonders gering halten.

Die Aufgabe wird auch gelöst durch ein Verfahren, bei dem mittels des Verfahrens wie oben beschrieben in einem Datenspeicher abgespeicherte Bilder chronologisch sequen ziell (mit aufsteigendem Zeitstempel) abgespielt werden, z.B. im Sinne eines Video- Streams. Dadurch wird der Vorteil erreicht, dass eine auch über einen sehr langen Zeit raum aufgenommene Bildfolge nach Art eines Zeitraffers dargestellt werden kann (Zeitraf ferdarstellung), wobei die Zeitabstände (Abstände zwischen den Zeitstempeln) zwischen den gespeicherten Bildern in der Regel unterschiedlich sind. Ein besonderer Vorteil ist, dass praktisch nur Bilder abgespielt sind, deren Abfolge besonders aussagekräftig ist, da sich aufeinanderfolgende Bilder vergleichsweise stark unterscheiden.

Es ist eine Weiterbildung, dass die Bildsequenz der gespeicherten Bilder auf einem Bild schirm dargestellt wird. So kann ein Nutzer vorteilhafterweise ein Ergebnis eines Betriebs eines Haushaltsgeräts verfolgen. Beispielsweise möchte ein Nutzer Gargut in einem Backofen garen, hat aber keine Zeit, den Garfortschritt dauernd zu beaufsichtigen: der Nutzer beschickt den Garraum zunächst mit dem Gargut und startet einen Garvorgang. Dann verlässt der Nutzer den Raum für einen längeren Zeitraum. Während des Garvor gangs werden Bilder aus dem Garraum und damit von dem Gargut wie oben beschrieben aufgenommen und gespeichert. Kommt der Nutzer nach seiner Abwesenheit wieder, kann er den Verlauf des Garfortschritts (z.B. einen Bräunungsfortschritt) durch Abspielen der gespeicherten Bilder in zeitlich aufsteigender und damit chronologisch richtiger Folge (insbesondere nach Art eines Zeitraffers) nachverfolgen.

Es ist eine Weiterbildung, dass in dem Datenspeicher gespeicherte Bilder mit chronolo gisch aufeinanderfolgendem Zeitstempel, die einen hohen Unterschied in ihren Bewer tungszahlen aufweisen (der z.B. höher als ein zweiter Schwellwert ist) in einer abzuspie lenden Bildfolge oder Videosequenz nicht direkt aufeinanderfolgend abgespielt werden, sondern durch ein oder mehrere berechnete Zwischenbilder voneinander getrennt. Die geräteseitig / automatisch berechnete Zwischenbilder sind durch Interpolation aus den beiden tatsächlich aufgenommenen Bildern generierte Bilder. Dies ermöglicht vorteilhaf terweise einen sanfteren bildlichen Übergang zwischen zwei sehr unterschiedlichen Bil dern.

Eine andere Anwendung der gespeicherten Bilder besteht darin, diese geräteseitig op tisch auszuwerten, z.B. zur Erkennung eines Erreichens eines vorgegebenen End- Bräunungsgrads, der beispielsweise aus einem zeitlichen Verlauf des Bräunungsgrads bestimmbar, insbesondere vorhersagbar, sein kann. Das Haushaltsgerät kann beruhend auf dem Ergebnis der Auswertung automatisch eine Aktion auslösen, beispielweise einen Garvorgang beenden.

Das Abspielen der in dem Datenspeicher abgespeicherten Bilder kann also ein Darstellen der Bilder in einem Bildschirm und/oder deren Auswertung umfassen.

Die Aufgabe wird auch gelöst durch ein Haushaltsgerät, insbesondere Gargerät, aufwei send einen Behandlungsraum, insbesondere Garraum, mindestens eine in den Behand lungsraum gerichtete Kamera zur Aufnahme von Bildern für die Verfahren wie oben be schrieben und eine Datenverarbeitungseinrichtung zur Durchführung der Verfahrens wie oben beschrieben. Es ist eine Weiterbildung, dass das Haushaltsgerät einen Bildschirm zum Abspielen einer gemäß dem obigen Verfahren erzeugten Bildfolge aufweist.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.

Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens, der dazu eingerichtet ist, das erfindungsgemäße Verfahren ablaufen zu lassen.

Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens 1 mit ei nem Garraum 2, in dem Gargut G untergebracht ist. Der Backofen 1 weist eine hier de ckenseitig angeordnete Kamera 3, insbesondere Farbkamera, auf, die in den Garraum 2 gerichtet ist und von oben Bilder, die das Gargut G zeigen, aufnehmen kann.

Die Kamera 3 ist mit einer Datenverarbeitungseinrichtung 4 gekoppelt, welche einen Da tenspeicher 5 aufweist. Die Datenverarbeitungseinrichtung 4 dient zur Verarbeitung der von der Kamera 3 aufgenommenen Bilder, insbesondere zu ihrer Speicherung in dem Datenspeicher 5 als Rohbilder, einer Berechnung einer Bewertungszahl und einer Zuord nung eines Zeitstempels zu jedem Bild. Die Zuordnung der Bewertungszahl und des Zeit stempels kann durch eine Speicherung in Tabellenform und entsprechende Verknüpfun gen erfolgen. Die Bilder können insbesondere mit einer vergleichsweise geringen Bildrate erzeugt und/oder abgespeichert werden, z.B. kann ein Bild pro Sekunde in dem Daten speicher 5 abgespeichert werden.

Die Datenverarbeitungseinrichtung 4 weist lediglich einen Mikrocontroller, FPGA, ASIC o.ä. zur Datenverarbeitung auf. Auch ist der Datenspeicher 5 klein dimensioniert.

Die Datenverarbeitungseinrichtung 4 ist zudem mit einem - z.B. berührungsempfindlichen - Bildschirm 6 des Backofens 1 verbunden. Die Datenverarbeitungseinrichtung 4 ist ins besondere dazu eingerichtet, die in dem Datenspeicher 5 gespeicherten Bilder in chrono logischer Reihenfolge auf dem Bildschirm 6 anzuzeigen, z.B. als Video Stream. Wie durch den gestrichelten Rahmen angedeutet, kann mittels der Datenverarbeitungs einrichtung 4 ein Verfahren zum Speichern von mittels der Kamera 3 in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern durchgeführt werden.

Dazu wird zu Beginn des Verfahrens in einem Schritt S1 ein erstes Bild aufgenommen und diesem eine höchste Bewertungszahl zugeordnet. Auch wird ein zugehöriger Zeit stempel erzeugt. Diese Daten werden in dem Datenspeicher s gespeichert, und zwar z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.

Folgend wird in Schritt S2 ein weiteres Bild aufgenommen und ein zugehöriger Zeitstem pel erzeugt.

Dem weiteren Bild wird in Schritt S3 mittels der Datenverarbeitungseinrichtung 4 eine Be wertungszahl berechnet und zugeordnet, und zwar grundsätzlich beruhend auf einer be liebigen der wie weiter oben beschriebenen Berechnungsmethoden, oder auf eine noch andere Weise.

Auch diese Daten für das weitere Bild werden in dem Datenspeicher 5 gespeichert, und zwar auch hier z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.

In Schritt S4 wird überprüft, ob der Datenspeicher 5 voll oder bald voll sein wird. Falls nicht ("N"), wird zu Schritt S2 zurückverzweigt.

Falls dies jedoch der Fall ist ("J"), werden in Schritt S5 mittels der Datenverarbeitungsein richtung 4 diejenigen in dem Datenspeicher 5 gespeicherten Bildern wie weiter oben be schrieben identifiziert, deren Bewertungszahl einen vorgegebenen Schwellwert nicht er reicht.

In einem folgenden Schritt S6 werden diese Bilder, die den vorgegebenen Schwellwert nicht erreichen, aus dem Datenspeicher 5 gelöscht. Es wird dann zu Schritt S2 zurückver zweigt. Das Verfahren kann abgebrochen werden, wenn eine bestimmt Bedingung erfüllt wird, z.B. ein Garparameter (wie eine Gardauer, ein Bräunungsgrad usw.) einen vorgegebenen Zielwert erreicht hat oder ein Nutzer den Vorgang aktiv beendet. Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei spiel beschränkt.

Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.

Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.

Bezugszeichenliste

1 Backofen

2 Garraum

3 Kamera

4 Datenverarbeitungseinrichtung

5 Datenspeicher

6 Bildschirm

G Gargut

S1-S6 Verfahrensschritte