Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING THE COOKING END TIME OF FOOD, AND HOUSEHOLD COOKING APPLIANCE
Document Type and Number:
WIPO Patent Application WO/2022/148593
Kind Code:
A1
Abstract:
The invention relates to a method (S1-S12) for determining the cooking end time of food (G) that is located in a cooking chamber (2) of a household cooking appliance (1), said method comprising: at the beginning of a cooking process (S8), a brightness value-separable image of the cooking chamber (2) is generated (S1-S2); based on the colour coordinates of the brightness value-separable image, said image is segmented (S3-S5) by means of cluster analysis, said segmentation producing food pixels associated with the food (G) and environment pixels associated with the environment of the food (G); a user is given the opportunity to enter a target degree of browning (S7); images of the cooking chamber (2) are taken at time intervals during a cooking process (S9); an actual degree of browning is calculated in these images based on the food pixels (S10); and the actual degree of browning is compared with the target degree of browning (S11); and the food (G) is treated in the cooking chamber (2) until the actual degree of browning has at least approximately reached the target degree of browning (S12). The invention also relates to a household cooking appliance (1) designed to carry out the method. The invention is particularly advantageously applicable to ovens.

Inventors:
ADAM JULIEN (FR)
NIGAR KADIR (FR)
Application Number:
PCT/EP2021/084786
Publication Date:
July 14, 2022
Filing Date:
December 08, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BSH HAUSGERAETE GMBH (DE)
International Classes:
G06T7/00; F24C7/08
Domestic Patent References:
WO2019091741A12019-05-16
Foreign References:
US20200182481A12020-06-11
EP3477206A12019-05-01
DE102016215550A12018-02-22
JP2001272045A2001-10-05
EP3477206A12019-05-01
Other References:
WANG CONGHUI ET AL: "Baking Status Characterization of Baked Food Image Based on Superpixel Segmentation", 2019 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST), IEEE, 9 December 2019 (2019-12-09), pages 1 - 6, XP033724468, DOI: 10.1109/IST48021.2019.9010460
WANG CONGHUI ET AL: "Uniformity Evaluation of Temperature Field in an Oven Based on Image Processing", IEEE ACCESS, IEEE, USA, vol. 8, 8 January 2020 (2020-01-08), pages 10243 - 10253, XP011767038, DOI: 10.1109/ACCESS.2019.2962783
VIJAY BADRINARAYANANALEX KENDALLROBERTO CIPOLLA: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2017
CHRISTIAN LEDIG ET AL.: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, July 2017 (2017-07-01)
Download PDF:
Claims:
PATENTANSPRÜCHE

1. Verfahren (S1-S12) zum Bestimmen eines Garzeitendes von in einem Garraum (2) eines Haushalts-Gargeräts (1) befindlichem Gargut (G), bei dem

- zu Beginn eines Garvorgangs (S8) ein hellwert-separierbares Bild des Gar- raums (2) erzeugt wird (S1-S2),

- an dem hellwert-separierbaren Bild eine Segmentierung anhand seiner Farbko- ordinaten durch Clusteranalyse vorgenommen wird (S3-S5), welche dem Gar- gut (G) zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts (G) zugehörige Umgebungs-Bildpunkte ergibt,

- einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben (S7),

- während eines Garvorgangs zeitlich beabstandet Bilder des Garraums (2) auf- genommen werden (S9), in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird (S10),

- der Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad verglichen wird (S11) und

- das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis der Ist- Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat (S12).

2. Verfahren (S1-S12) nach Anspruch 1, bei dem zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird (S1) und in ein hellwert-separierbares Bild umgewandelt wird (S2).

3. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem das RGB-Bild in ein L*a*b*- Bild umgewandelt wird (S2) und an dem L*a*b*- Bild eine Segmentierung anhand der Farbkomponenten a* und b* vorgenommen wird (S3- S5).

4. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung anhand einer Clusteranalyse unter Nutzung eines k-Means-artigen Algorithmus vorgenommen wird (S3).

5. Verfahren (S1-S12) nach Anspruch 4, bei dem sich zur Segmentierung (S3-S5) dem k-Means-ähnlichen Algorithmus (S3) eine Opening-Operation (S4) anschließt. 6. Verfahren (S1-S12) nach einem der Ansprüche 4 bis 5, bei dem sich zur Segmen- tierung (S3-S5) dem k-Means-ähnlichen Algorithmus (S3) ein nutzergeführter Re- gion-Growing-Algorithmus (S5) anschließt.

7. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung (S3-S5) im Laufe des Garvorgangs wiederholt wird.

8. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem

- beruhend auf den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte des anfänglich aufgenommenen hellwert-separierbaren Bilds und anhand von in ei- ner Datenbank abgespeicherten realen Bräunungskurven für unterschiedliche Gargüter eine Prädiktions-Bräunungskurve für das aktuelle Gargut berechnet wird (S6, S6a-S6c) )und

- dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von Farbfeldern einzugeben, deren Farben beabstandeten Punkten der Prädiktions- Bräunungskurve entsprechen (S7).

9. Verfahren (S1-S12) nach Anspruch 8, bei dem die Prädiktions-Bräunungskurve berechnet wird (S6), indem für die einzelnen Punkte der Prädiktions- Bräunungskurve ein lineares Gleichungssystem erstellt wird (S6a), das diese Punkte über Matrixfaktoren mit den anfänglichen gemittelten Farbraumkoordinaten der Gargut-Bildpunkte verknüpft werden (S6c), wobei die Matrixfaktoren mittels ei- ner Regressionsanalyse aus den gemittelten Farbraumkoordinaten der Gargut- Bildpunkte der in der Datenbank abgespeicherten realen Bräunungskurven be- stimmt werden (S6b).

10. Verfahren (S1-S12) nach einem der Ansprüche 8 bis 9, bei dem nach Beginn des Garvorgangs (S8) Bilder des aktuellen Garguts (G) in vorgegebenen zeitlichen Ab- ständen aufgenommen werden (S9), aus diesen Bildern anhand der Gargut- Bildpunkte der Ist-Bräunungsgrad des Garguts (G) bestimmt wird (S10), anhand der Ist-Bräunungsgrade die Prädiktions-Bräunungskurve für das aktuelle Gargut (G) neu berechnet wird und aus der Prädiktions-Bräunungskurve für das aktuelle Gargut der Ziel-Bräunungsgrad angepasst wird. 11. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei welchem dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von zeichenbasiert beschriebenen Ziel-Bräunungsgraden einzugeben (S7).

12. Verfahren nach einem der Ansprüche 1 bis 9, bei welchem aus einer Datenbank (D) abgerufene reale Bilder des Garguts (G) oder eines ähnlichen Garguts mit un- terschiedlichen Bräunungsgraden zur Auswahl des Ziel-Bräunungsgrads angebo- ten werden.

13. Verfahren nach einem der Ansprüche 1 bis 9, bei welchem dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben, indem zusätzlich das ursprünglich aufgenommene Bild angezeigt wird und bei Auswahl eines Ziel-Bräunungsgrads durch den Nutzer das Gargut (G) in dem Bild als mit dem ausgewählten Ziel- Bräunungsgrad gebräunt angezeigt wird.

14. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis ein Abstand des Ziel- Bräunungsgrads in dem Farbraum von einem aktuellen Ist-Bräunungswert ein Mi- nimum durchlaufen hat (S10, S11).

15. Haushalts-Gargerät (1), aufweisend einen Garraum (2), mindestens einen in den Garraum (2) gerichteten Farbbildsensor (6), eine grafische Nutzerschnittstelle (8) sowie eine Datenverarbeitungseinrichtung (7), wobei das Haushalts-Gargerät (1) dazu eingerichtet ist,

- zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors (6) ein hellwert-separierbares Bild des Garraums zu erzeugen (S1-S2),

- mittels der Datenverarbeitungseinrichtung (7) an dem hellwert-separierbaren Bild eine Segmentierung durch Clusteranalyse anhand seiner Farbkoordinaten vorzunehmen, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts zugehörige Umgebungs-Bildpunkte ergibt (S3),

- einem Nutzer über die grafische Nutzerschnittstelle (8) angeboten wird, einen Ziel-Bräunungsgrad einzugeben (S7) und - mittels der Datenverarbeitungseinrichtung (7) während eines Garvorgangs zeit- lich beabstandet Bilder des Garraums aufzunehmen (S9), in diesen Bildern an- hand der Gargut-Bildpunkte einen jeweiligen Ist-Bräunungsgrad zu berechnen (S10) und den Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad zu vergleichen (S11) und

- das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis der Ist- Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat (S12).

Description:
VERFAHREN ZUM BESTIMMEN EINES GARZEITEINDES VON GARGUT

SOWIE HAUSHALTSGARGERÄT

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Garzeitendes von in einem Garraum eines Haushalts-Gargeräts befindlichem Gargut, bei dem zu Beginn eines Gar- vorgangs ein hellwert-separierbares Bild des Garraums erzeugt wird, an dem hellwert- separierbaren Bild eine Segmentierung anhand seiner Farbkoordinaten vorgenommen wird, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Gar- guts zugehörige Umgebungs-Bildpunkte ergibt, einem Nutzer angeboten wird, einen Ziel- Bräunungsgrad einzugeben, während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenommen werden, in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird, der Ist-Bräunungsgrad mit dem Ziel- Bräunungsgrad verglichen wird und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad erreicht hat. Die Erfindung betrifft auch ein zur Durchführung des Verfahrens ausgestaltetes Haushalts-Gargerät. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Backöfen.

EP 3477206 A1 offenbart ein Kochgerät, das eine Kochkammer und eine Bildaufnahme- vorrichtung zum Erfassen eines Bildes eines Nahrungsmittels innerhalb der Kammer um- fasst. Eine Datenverarbeitungseinheit kann so konfiguriert werden, dass sie einen Para- meter für das Lebensmittel basierend auf dem aufgenommenen Bild berechnet, der auf einer Benutzeroberfläche angezeigt werden kann.

WO 2019/091741 A1 offenbart einen Ofen, der erfasst, ob darin in einem Garraum vor- handenes Lebensmittel gegart ist, wobei eine Steuereinheit, die von einem Sensor bereit- gestellte Daten empfängt, Farbdaten basierend auf diesen Daten ermittelt und durch In- terpretieren besagter Farbdaten bestimmt, ob das Lebensmittel fertiggegart ist. Dazu wird ein RGB-Bild des Garraums in ein L*a*b-Bild umgewandelt, in (a*, b*)-Farbebene obere und untere Schwellwerte für die Farbkoordinaten a* und b* angegeben werden, für die innerhalb der Schwellwerte liegenden Bildpunkte ein gemittelter Helligkeitswert berechnet wird, der gemittelte Helligkeitswert als Maß für eine Bräunung des Lebensmittels mit ei- nem Ziel-Bräunungswert verglichen wird. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine Möglichkeit bereitzustellen, mit rechentechnisch geringem Aufwand ein Garzeitende eines Garvorgangs anhand eines Ziel-Bräunungsgrads besonders zuverlässig zu bestimmen.

Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevor- zugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.

Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen eines Garzeitendes von in einem Garraum eines Haushalts-Gargeräts befindlichem Gargut, bei dem zu Beginn eines Garvorgangs ein hellwert-separierbares Bild des Garraums erzeugt wird, an dem hellwert-separierbaren Bild eine Segmentierung anhand der Farbkoordinaten durch Clusteranalyse vorgenommen wird, welche dem Gargut zugehörige Gargut- Bildpunkte und einer Umgebung des Garguts zugehörige Umgebungs-Bildpunkte ergibt, einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben und während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenommen werden, in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist- Bräunungsgrad berechnet wird und der Ist-Bräunungsgrad mit dem Ziel- Bräunungsgrad verglichen wird und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat.

Dieses Verfahren gibt den Vorteil, dass Gargut mit einem vergleichsweise geringen Re- chenaufwand in einem aufgenommenen Bild Gargut-Bildpunkte besonders zuverlässig von Umgebungs-Bildpunkten trennbar sind. Dazu ist insbesondere die Nutzung einer Clusteranalyse vorteilhaft, da sich so im Gegensatz z.B. zu einer Segmentierung durch - insbesondere fest vorgegebene Schwellwerte für die Farbkoordinaten - eine erheblich bessere Unterscheidung zwischen Gargut-Bildpunkten und Umgebungs-Bildpunkten ergibt, insbesondere falls das Gargut eine ähnliche Farbe aufweist wie seine Umgebung, z.B. hellbraunes Gargut und Backpapier. Dadurch wiederum kann ein Ist-Bräunungsgrad besonders zuverlässig mit einem Ziel-Bräunungsgrad verglichen werden. Das Verfahren ist vorteilhafterweise unabhängig von der Kenntnis der Art des in dem Garraum behandel- ten Garguts durchführbar.

Das Haushalts-Gargerät kann ein Backofen mit mindestens einem Wärmestrahler (z.B. Rohrheizkörper oder IR-Strahler) , ein Mikrowellenofen, ein Dampfgarer oder eine beliebi- ge Kombination daraus sein, z.B. ein Backofen mit einer Mikrowellen- und/oder Dampf- garfunktion sein.

Dass ein Bild des Garraums "zu Beginn" eines Garvorgangs erzeugt wird, umfasst, dass z.B. mittels einer Kamera ein Bild des Garraums vor Beginn des Garvorgangs, mit Beginn des Garvorgangs oder kurz nach Beginn des Garvorgangs (z.B. innerhalb einer Minute) aufgenommen wird.

Unter einem hellwert-separierbaren Bild wird ein bildpunktartig aufgebautes Bild verstan- den, bei dem die Farbkoordinaten der einzelnen Bildpunkte als Koordinaten eines Far- braums ausgedrückt werden, bei dem eine ("Hellwert"-)Koordinate einem Hellwert ("Lightness") entspricht. Ein solcher Farbraum kann z.B. der L*a*b*-Farbraum gemäß EN ISO 11664-4 (auch als CIELAB oder CIEL*a*b* bezeichnet) mit der Helligkeits- Komponente oder -Koordinate L* sein.

Das Vornehmen der Segmentierung an dem hellwert-separierbaren Bild umfasst insbe- sondere eine automatische Eingruppierung der Bildpunkte, insbesondere aller Bildpunkte, in einer Farbebene des Farbraums, d.h., ohne Betrachtung der Hellwertkoordinate in zwei oder mehr Untergruppen. In Gegensatz zu einer einfachen Segmentierung durch Schwellwertsetzung in der Farbebene lässt sich durch die Clusteranalyse eine besonders gute, bildinhaltsabhängige Separierung zwischen den Gargut-Bildpunkten und den Um- gebungs-Bildpunkten des Garguts erreichen. Als ein Ergebnis der Segmentierung wird insbesondere eine Zuordnung der Bildpunkte in dem aufgenommenen Bild zu den jeweili- gen Segmenten erlangt, so dass bekannt ist, welche der Bildpunkte Gargut-Bildpunkte und welche Umgebungsbildpunkte sind. Dies kann z.B. auf Grundlage der Kenntnis ge- schehen, dass Farben einer Umgebung des Garguts wie einer Ofenmuffel (z.B. Farbe des Emails) oder eines Gargutträgers zumindest ungefähr bekannt sind. Unter "Farbkoordinaten" werden Koordinaten des hellwert-separierbaren Bilds verstan- den, welche keine Hellwertkoordinate sind oder darstellen. Im L*a*b*-Farbraum entspricht dies den Koordinaten a* und b*, usw. Im Folgenden werden alle Koordinaten eines (vol- len) Farbraums (z.B. L*, a* und b*) zur Unterscheidung von den Farbkoordinaten als "Far- braumkoordinaten" bezeichnet.

Dass an dem hellwert-separierbaren Bild eine Segmentierung anhand der Farbkoordina- ten vorgenommen wird umfasst also, dass die Segmentierung in einer durch die Farbko- ordinaten aufgespannten "Farbebene" vorgenommen wird, die Segmentierung also nur die Werte der Bildpunkte in dieser Farbebene betrachtet oder berücksichtigt.

Das durch eine Kamera oder einen analogen Farbbildsensor aufgenommene Bild kann in originär in einem anderem Farbraum vorliegen als in einem Farbraum mit eigenständiger Hellwert-Koordinate, z.B. als ein RGB-Bild, was eine Nutzung herkömmlicher Farbkame- ras zur Bildaufnahme erleichtert. Das aufgenommene Bild wird dann, falls es nicht als ein hellwert-separierbares Bild vorliegt, bildpunktweise in ein hellwert-separierbares Bild um- gerechnet und dadurch erzeugt. Alternativ kann das aufgenommene Bild auch direkt in Form eines hellwert-separierbaren Bild aufgenommen und dadurch erzeugt sein. Es ist somit eine mögliche Ausgestaltung, dass zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird und in ein hellwert-separierbares Bild umgewandelt wird.

Dass einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben, kann umfas- sen, dass einem Nutzer farblich (z.B. anhand einer Anzeige auswählbarer Braunfarben in einem Bildschirm oder "Display") und/oder anhand von Zeichenfolgen (z.B. "leicht", "mit- tel" und "gut durch", anhand einer Ziffernskala bspw. zwischen "0" und "10", usw.) einen Auswahl angeboten wird, einen Bräunungsgrad einzustellen. Die farbliche Bräunungsska- la kann in einer besonders einfachen Ausgestaltung fest vorgegeben sein, z.B. beruhend auf einer nutzerseitig eingegebenen Art des Garguts. Alternativ kann die farbliche Bräu- nungsskala auf Basis des zu Beginn bzw. anfänglich aufgenommenen Bild vorausberech- net werden, was einen besonders gute Einschätzung der im Lauf des Garvorgangs er- reichbaren Ziel-Bräunungsgrade ergibt.

Dass während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenom- men werden, umfasst insbesondere, dass die während des Garvorgangs aufgenomme- nen Bilder analog zu dem zu Beginn oder anfänglich aufgenommenen Bild in einem hell- wert-separierbaren Farbraum vorliegen, weil deren Bildpunkte bereits originär in diesem Farbraum vorliegen oder in einen hellwert-separierbaren Farbraum transformiert worden sind. Dies ergibt den Vorteil, dass sich ein Erreichen des Ziel-Bräunungsgrads besonders zuverlässig erkennen lässt. In diesem Fall entsprechen der Ist-Bräunungsgrad und der Ziel-Bräunungsgrad also jeweiligen Punkten in dem hellwert-separierbaren Farbraum, einschließlich einem Wert auf der Hellwertkoordinate. Allgemein ist es jedoch auch mög- lich, den Ziel-Bräunungsgrad als Farbpunkt in dem originär aufgenommenen Farbraum (z.B. dem RGB-Farbraum) zu beschreiben und die während des Garvorgangs (nach dem anfänglichen Bild) aufgenommenen Bilder in dem originär aufgenommenen Farbraum zu belassen. Dies spart an Rechenaufwand.

Dass in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird, umfasst insbesondere, dass in diesen Bildern ein über die jeweiligen Far- braumkoordinaten der Gargut-Bildpunkte gemittelter Wert berechnet wird und der Ist- Bräunungsgrad und der Ist-Bräunungsgrad dem Farbpunkt mit diesen gemittelten Werten entspricht.

Dass der Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad verglichen wird, umfasst insbe- sondere, dass in dem Farbraum ein Abstand zwischen dem Ist-Bräunungsgrad und dem Zielbräunungsgrad berechnet wird.

Dass der Ziel-Bräunungsgrad zumindest ungefähr erreicht ist entspricht einem Erreichen eines Garzeitendes. Mit Erreichen des Garzeitendes kann mindestens eine Aktion ausgelöst werden, z.B. der Garvorgang beendet werden, eine Temperatur des Garraums auf eine Warmhaltetemperatur gesenkt werden und/oder eine Nachricht an einen Nutzer ausgegeben werden, bspw. ein Piepton, einen Anzeige im Bildschirm 8 oder einen Nachricht auf ein mobiles Endgerät des Nutzers ausgegeben werden.

Dass das Gargut so lange in dem Garraum behandelt wird, bis der Ziel-Bräunungsgrad zumindest ungefähr erreicht ist, kann umfassen, dass das Gargut so lange in dem Gar- raum behandelt wird, bis der Abstand zwischen Ist-Bräunungsgrad und Ziel- Bräunungsgrad einen vorgegebenen Abstand erreicht oder unterschreitet. Es ist eine Ausgestaltung, dass zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird, und - insbesondere bildpunktweise - in ein L*a*b*- Bild umgewandelt wird. Eine L*a*b*-Darstellung weist den Vorteil auf, dass sich eine folgende Segmentie- rung anhand nur der Farbkomponenten (bei L*a*b* bzw. CIELAB der Farbraumkompo- nenten a* und b*) besonders einfach und zuverlässig lässt. Die originäre Aufnahme als RGB-Bild ist vorteilhaft, da viele handelsübliche Kameras RGB-Kameras sind.

Der L*a*b*-Farbraum beschreibt alle wahrnehmbaren Farben. Er nutzt einen dreidimensi- onalen Farbraum, bei dem die Hell- oder Helligkeitskoordinate L* senkrecht auf der Farb- ebene (a*,b*) steht. Dabei gibt die a*-Koordinate die Farbart und Farbintensität zwischen Grün und Rot an und die b*-Koordinate die Farbart und die Farbintensität zwischen Blau und Gelb an. Je größer positive Werte von a* und b* sind und je kleiner negative Werte von a* und b* sind, desto intensiver wird der Farbton. Falls a* = 0 und b* = 0 ist, liegt ein unbunter Farbton auf der Helligkeitsachse vor. In üblichen Softwareumsetzungen kann L* ("Lightness", Helligkeit) z. B. Werte zwischen 0 und 100 annehmen und a* und b* können z.B. zwischen -128 und 127 variiert werden. Folgend wird eine automatische Segmentie- rung nur in der Farbebene (a*,b*) vorgenommen.

Es ist eine Ausgestaltung, dass die Segmentierung anhand einer Clusteranalyse insbe- sondere unter Nutzung eines k-Means-artigen Algorithmus vorgenommen wird. So wird der Vorteil erreicht, dass ein einfach umsetzbarer und leistungsfähiger Algorithmus zur Segmentierung verwendet werden kann, der z.B. im Vergleich zu neuronalen Netzwerken wenig Rechenleistung benötigt. Dabei werden in der betrachteten (a*; b*)-Farbebene ins- besondere zwei oder mehr Schwerpunkte zufällig gesetzt und dann die Bildpunkte des aufgenommenen Bilds (in seiner helligkeitsseparierten Farbraumdarstellung) anhand ihrer Farbebenenkoordinaten den Schwerpunkten zugeordnet. Dadurch werden Segmente bzw. Gruppierungen ähnlicher Bildpunkte (deren Zahl der Zahl der Schwerpunkte ent- spricht) gebildet. Es ist eine Weiterbildung, dass der k-Means-artige Algorithmus zwei Schwerpunkte nutzt, was zur Unterscheidung von Gargut-Bildpunkten und Umgebungs- Bildpunkten besonders vorteilhaft ist.

Der k-Means-artige Algorithmus kann ein k-Means-Algorithmus (als solcher) oder ein dar- aus abgeleiteter Algorithmus (z.B. ein k-Median, k-Means++- oder k-Medoids-Algorithmus usw.) sein. Der k-Means-Algorithmus kann z.B. als Lloyd-Algorithmus oder MacQueen’s Algorithmus umgesetzt sein.

Alternativ kann die Clusteranalyse unter Nutzung eines Erwartungs-Maximierungs- Algorithmus vorgenommen werden. In einer Sichtweise kann der k-Means-Algorithmus als Spezialfall eines Erwartungs-Maximierungs-Algorithmus angesehen werden.

Auch ist es möglich, zur Clusteranalyse ein trainiertes neuronales Netzwerk zu verwen- den. Das trainierte neuronale Netzwerk kann beispielsweise ein sog. "Convolutional Neu- ral Network" (auch als CNN oder ConvNet bezeichnet) sein, insbesondere ein tiefes CNN ("deep Convolutional Neural Network"), vorteilhafterweise ein sog. "deep convolutional semantic Segmentation neural network". Ein Beispiel eines solchen Netzwerks ist das sog. SegNet, wie es z.B. in dem Artikel "SegNet: A Deep Convolutional Encoder-Decoder Ar- chitecture for Image Segmentation” by Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017 beschrie- ben ist. Es ist eine Weiterbildung, dass die Clusteranalyse anhand eines trainierten neu- ronales Netzwerks ein trainiertes GAN ("Generative Adversarial Network") nutzt., speziell ein superauflösendes GAN, ein sog. "SRGAN", Ein Beispiel eines SRGANs ist beispiels- weise beschrieben in: “Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”, Christian Ledig et al., IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Juli 2017.

Es ist eine Ausgestaltung, dass sich zur Segmentierung dem k-Means-ähnlichen Algo- rithmus eine Opening-Operation in einer Farbebene des hellwert-separierbaren Bilds an- schließt. So wird der Vorteil erreicht, dass ein "Rauschen" (noise) der Gargut-Bildpunkte in dem aufgenommenen Bild unterdrückt wird, da zu rauschbehafteten Bereichen gehöri- ge Bildpunkte aus der Segmentierung bzw. Gruppierung entfernt und nicht mehr betrach- tet werden. Unter einem "rauschbehafteten Bereich" kann ein Bereich in dem aufgenom- menen Bild verstanden werden, in dem Gargut-Bildpunkte und Umgebungsbildpunkte weitgehend unzusammenhängend ("rauschend") vorhanden sind, so dass dieser Bereich weder dem Gargut noch der Umgebung zuverlässig zugeordnet werden kann. So wird wiederum der Vorteil erreicht, dass Bildbereiche besonders zuverlässig dem Gargut zuge- rechnet werden können, da unscharfe bzw. ausfransende Randbereiche eliminiert wer- den. Zur Durchführung der Opening-Operation können z.B. auf grundsätzlich bekannte Weise sog. Erosions- und/oder and Dilatation-Operatoren verwendet werden.

Eine zur Nutzung des k-Means-ähnlichen Algorithmus zusätzliche oder alternative Ausge- staltung besteht darin, die Segmentierung mittels eines nutzergeführten "Region-Growing- Algorithmus" durchzuführen. Dies ermöglicht vorteilhafterweise eine besonders zuverläs- sige Separierung von Gargut- und Umgebungs-Bildpunkten, da Gargutbereich durch ei- nen Nutzer erkannt und an dem Haushalts-Gargerät eingegeben werden können. Dies ist beispielsweise besonders nützlich, wenn die automatische Segmentierung anhand nur zweier Schwerpunkte vorgenommen wird und das Gargut auf einem Backpapier liegt und die Farbe des Backpapiers deutlich näher an der Farbe des Garguts als dem Backblech liegt oder wenn Gargüter mit deutlich unterschiedlicher Farbe in den Garraum verbracht worden sind.

Bei dieser Ausgestaltung kann einem Nutzer beispielsweise das aufgenommene Bild (im vollen Farbraum) angezeigt werden und ihm die Möglichkeit gegeben wird, bestimmte Bildpunkte oder Bildbereiche als dem Gargut zugehörig zu kennzeichnen, z.B. durch An- tippen der Bildbereiche auf einem berührungsempfindlichen Bildschirm ("Touchscreen") oder durch eine Auswahl mittels eines Cursors. Dann wird durch den Region-Growing- Algorithmus in der Farbebene (z.B. der (a*; b*)-Farbebene) um den Berührungspunkt oder Berührungsbereich herum eine Fläche definiert, deren Bildpunkte eine gleiche oder ähnli- che Farbe zur Farbe des Berührungspunkts oder Berührungsbereichs aufweist, und die in dieser Fläche befindlichen Bildpunkte werden als Gargut-Bildpunkte kategorisiert. Dies kann beispielsweise so umgesetzt sein, dass überprüft wird, ob ein zu dem nutzerseitig ausgewählten Bildbereich oder Bildpunkt benachbarter Bildpunkt in der Farbebene inner- halb eines vorgegebenen Abstands R zu dem Farbpunkt des Bildpunkts oder einem Farbpunkt, welcher dem Durchschnitt der Farbpunkte des Berührungsbereichs in der Far- bebene entspricht, befindet. Ist dies der Fall, wird der benachbarte Bildpunkt dem Gargut zugerechnet, sonst der Umgebung. Der Region-Growing-Algorithmus wird mit einer Über- prüfung der dann zu den hereingenommenen Bildpunkten benachbarten Bildpunkten so lange weitergeführt, bis keine Bildpunkte mehr dieser Bedingung, dass sie innerhalb des vorgegebenen Abstands R liegen, mehr erfüllen. Die so erweiterte Fläche kann dem Nut- zer in dem Bild angezeigt werden, und der Nutzer kann dann die Fläche verwerfen und/oder weitere Bildbereiche oder Bildpunkte als dem Gargut zugehörig definieren. Es ist eine Weiterbildung, dass der Nutzer den Abstand R anpassen kann, um die Fläche emp- findlicher (kleineres R) oder weniger empfindlich (größeres R) zu generieren.

Es ist eine Weiterbildung, dass sich der Segmentierung dem k-Means-ähnlichen Algo- rithmus ein nutzergeführter "Region-Growing-Algorithmus" anschließt oder anschließen kann. So wird der Vorteil erreicht, dass durch den k-Means-ähnlichen Algorithmus falsch oder nicht zugeordnete Bildbereiche bzw. Bildpunkte durch einen Nutzer korrigiert bzw. hinzugefügt werden können: ist beispielsweise ein bestimmter Bildbereich durch den k- Means-ähnlichen Algorithmus als der Umgebung zugerechnet worden, obwohl er Gargut zeigt, kann der Nutzer diesen Bereich durch den Region-Growing-Algorithmus den Gargut zuordnen. Umgekehrt kann der Nutzer einen durch den k-Means-ähnlichen Algorithmus fälschlicherweise dem Gargut zugerechneten Bildbereich durch den Region-Growing- Algorithmus der Umgebung zuordnen.

Es ist eine Weiterbildung, dass die Segmentierung im Laufe des Garvorgangs wiederholt wird. Dadurch wird der Vorteil erreicht, dass z.B. eine Bewegung, Volumenänderung usw. des Garguts berücksichtigt werden kann, z.B. nach in vorgegebenen Zeitabständen. So kann der Ist-Bräunungsgrad besonders zuverlässig bestimmt werden..

Es ist eine Ausgestaltung, dass beruhend auf den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte des anfänglich aufgenommenen hellwert-separierbaren Bilds (z.B. den Koordinaten L*, a* und b* des L*a*b*-Farbraums) und anhand von in einer Datenbank abgespeicherten realen Bräunungskurven für unterschiedliche Gargüter eine Bräunungs- kurve ("Prädiktions-Bräunungskurve") für das aktuelle Gargut berechnet wird. So wird der Vorteil erreicht, dass eine gut passende Prädiktions-Bräunungskurve des aktuell zu ga- renden Garguts auch ohne Kenntnis der Art des aktuell zu garenden Garguts für viele Anwendungsfälle erstellbar ist. Die realen Bräunungskurven reichen vorteilhafterweise von ungegart bis voll gegart, ggf. sogar bis übergart.

Die Prädiktions-Bräunungskurve kann wiederum z.B. dazu verwendet werden, einem Nut- zer gargutangepasst verschiedene durch die Punkte der Prädiktions-Bräunungskurve de- finierte Ziel-Bräunungsgrade zur Auswahl anzubieten. Dazu kann einem Nutzer bei- spielsweise angeboten werden, einen Ziel-Bräunungsgrad anhand von Farbfeldern einzu- geben, die mit Farben beabstandeter Punkten der Prädiktions-Bräunungskurve ausgefüllt sind. Unter einer Prädiktions-Bräunungskurve wird insbesondere die berechnete, zeitlich in der Zukunft liegende ("prädiktive") Entwicklung des Bräunungsgrads der Gargutoberflä- che des aktuellen Garguts im Farbraum verstanden. Die Datenbank kann eine Kompo- nente des Gargeräts sein oder kann in einer mit dem Gargerät kommunikativ koppelbaren externen Instanz wie einem Netzwerk-Server oder einem Cloud-Speicher vorgehalten werden.

Es ist eine Ausgestaltung, dass die Prädiktions-Bräunungskurve berechnet wird, indem für die einzelnen (Zeit-)Punkte der Prädiktionskurve ein lineares Gleichungssystem erstellt wird, das sie über Matrixfaktoren mit den anfänglichen gemittelten Farbraumkoordinaten der Gargut-Bildpunkte verknüpft und die Matrixfaktoren mittels einer - insbesondere linea- ren - aus den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte der in der Daten- bank abgespeicherten realen Bräunungskurven bestimmt werden.

Beispielsweise können die Farbpunkte F (L*, a*, b*) der Prädiktions-Bräunungskurve im Farbrau für das aktuelle Gargut anhand des linearen Gleichungssystems für den L*a*b*- Farbraum für die Zeitpunkte ti = t1, tn anhand des linearen Gleichungssystems berechnet werden, wobei L* in it dem aus dem anfänglich (d.h., zum Zeitpunkt tO) aufge- nommenen hellwert-separierbaren Bild des aktuellen Garguts über die Gargut-Bildpunkte gemittelten L*-Wert, ä * init dem aus dem anfänglich aufgenommenen hellwert- separierbaren Bild über die Gargut-Bildpunkte gemittelten a*-Wert, b * init dem aus dem anfänglich aufgenommenen hellwert-separierbaren Bild über die Gargut-Bildpunkte gemit- telten b*-Wert entsprechen und k Matrixkoeffizienten sind. Die Matrixkoeffizienten k wer- den mittels mathematischer Regressionsanalyse aus den aus der Datenbank abgespei- cherten realen Bräunungskurven berechnet. Somit lässt sich für das aktuelle Gargut eine Prädiktions-Bräunungskurve mit den Farbpunkten } für die Zeitpunkte ti = t1, tn bzw. für die Schritte vo- rausberechnen.

Einem Nutzer kann nun anhand der für die Prädiktions-Bräunungskurve eine Auswahl an Ziel-Bräunungsgraden unter den Farbpunkten } zur Auswahl angeboten werden. Dabei können einem Nutzer alle berechneten Bräunungspunkte der Prädiktions-Bräunungskurve, eine Auswahl aus den berechneten Bräunungsgraden oder - beispielsweise durch Interpolation auf Farbpunkte, die zwischen berechneten Bräunungsgraden der Prädiktions-Bräunungskurve liegen - mehr als die berechneten Bräunungsgrad farblich in Farbfeldern angezeigt werden. Die Anzeige einzelner Ziel-Bräunungsgrade auf einem Bildschirm als jeweilige Farbfelder oder Boxen, also nicht als kontinuierliche oder quasi-kontinuierliche Skala, erleichtert einem Nutzer vorteilhafterweise eine Auswahl eines Bräunungsgrads, da er im Gegensatz zu einer kontinuierliche oder quasi-kontinuierliche Skala einen Bräunungsgrad zuverlässig treffen kann.

Es ist eine Weiterbildung, dass einzelne Ziel-Bräunungsgrade auf einem Bildschirm als jeweilige Farbfelder oder Boxen angezeigt werden und einem Nutzer angeboten wird, zusätzliche Felder von Ziel-Bräunungsgraden anzuzeigen, die zwischen den zuvor ange- zeigten Bräunungsgraden liegen. So kann die einfache Auswählbarkeit vorteilhafterweise mit einer variabel erhöhten Zahl von Ziel-Bräunungsgraden kombiniert werden. Den Bo- xen kann eine entsprechende Zeichenfolge zugeordnet angezeigt werden, und zwar in der Nähe der Farbfelder oder in den Farbfeldern.

Es ist eine für eine nutzerfreundliche Auswahl besonders vorteilhafte Ausgestaltung, dass dem Nutzer zusätzlich oder alternativ angeboten wird, dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von zeichenbasiert beschriebenen Ziel-Bräunungsgraden einzugeben., beispielsweise anhand von Texten wie "hell", "medium", dunkel" oder an- hand von Zahlen wie "1", ..., "10". Die Zeichen können also Buchstaben und/oder Ziffern umfassen. Es ist eine Weiterbildung, dass Ziel-Bräunungsgrade nur zeichenhaft auf dem Bildschirm angezeigt werden, also ohne farbliche Darstellung der auswählbaren Ziel- Bräunungsgrade.

Es ist eine Weiterbildung, dass bei Angebot zur Auswahl des Ziel-Bräunungsgrads zu- sätzlich das ursprünglich aufgenommene Bild angezeigt wird. Dabei ist es eine Ausgestal- tung, dass bei Auswahl eines Ziel-Bräunungsgrads durch einen Nutzer das Gargut in dem Bild als mit dem ausgewählten Ziel-Bräunungsgrad gebräunt angezeigt wird, z.B. im Sin- ne einer "Virtual Reality". Je höher dann der ausgewählte Ziel-Bräunungsgrad ist, desto brauner wird das Gargut dargestellt, usw.

Es ist eine Weiterbildung, dass ein Nutzer anstelle des ursprünglich aufgenommenen Bilds (z.B. mit einer Pizza Hawaii als aktuellem Gargut) reale Bilder und/oder reale Bräu- nungskurven eines gleichen oder ähnlichen Garguts (z.B. einer Pizza Margherita) mit un- terschiedlichen realen Bräunungsgraden aus einer Datenbank abruft und den Ziel- Bräunungsgrad anhand einer Auswahl eines Bilds aus dem Menge der aus der Daten- bank abgerufenen Bilder mit unterschiedlichen Bräunungsgraden auswählt. Den aus der Datenbank abgerufenen Bildern ist ein jeweiliger Bräunungsgrad hinterlegt, welcher dann als der Ziel-Bräunungsgrad des aktuellen Garguts übernommen werden kann. Alternativ kann können die Bräunungsgrade dieser Bilder zur Durchführung des Verfahrens berech- net werden. Diese Weiterbildung ergibt den Vorteil, dass der Ziel-Bräunungsgrad anhand von Aufnahmen real gebräunter Gargüter bestimmt werden kann, die ein realistischeres Abbild des Garguts zeigen als eine einfache rechnerische Überlagerung eines Bräu- nungsgrads des noch ungebräunten aktuellen Garguts.

Mit der finalen Eingabe eines Ziel-Bräunungsgrads (z.B. Bestätigung eines ausgewählten Ziel-Bräunungsgrads) durch einen Nutzer wird das Gargut in einer Ausgestaltung so lange in dem Garraum behandelt wird, bis ein Abstand des Ziel-Bräunungsgrads in dem Far- braum von einem gemittelten aktuellen Ist-Bräunungswert ein Minimum durchlaufen hat. Dazu wird in einer Weiterbildung in vorgegebenen, insbesondere regelmäßigen, Abstän- den ein Bild des Garguts aufgenommen, anhand der Gargut-Bildpunkte ein gemittelter Bildpunkt in dem hellwert-separierbares Farbraum gebildet und mit dem Ziel- Bräunungsgrad (d.h., mit dem dem Ziel-Bräunungsgrad entsprechenden Farbpunkt in dem Farbraum) verglichen. Diese Ausgestaltung ist besonders vorteilhaft, wenn der Ist- Bräunungsgrad den Ziel-Bräunungsgrad nicht genau erreicht, so dass dann der Garvor- gang - zeitlich geringfügig nach dem idealen Abbruchzeitpunkt - dennoch abgebrochen wird, wenn der Ist-Bräunungsgrad den Ziel-Bräunungsgrad "so gut wie möglich" erreicht hat. Es ist eine Ausgestaltung, dass nach Beginn des Garvorgangs Bilder des aktuellen Gar- guts in vorgegebenen zeitlichen Abständen aufgenommen werden, aus diesen Bildern anhand der Gargut-Bildpunkte der Ist-Bräunungsgrad des Garguts bestimmt wird, anhand der Ist-Bräunungsgrade die Prädiktions-Bräunungskurve für das aktuelle Gargut neu be- rechnet wird und aus der Prädiktions-Bräunungskurve für das aktuelle Gargut der Ziel- Bräunungsgrad angepasst wird. So wird der Vorteil erreicht, dass dann, wenn anhand aktueller Bilder erkannt wird, dass die Prädiktions-Bräunungskurve von der anfänglich berechneten Prädiktions-Bräunungskurve merklich abweicht, der Ziel-Bräunungsgrad ent- sprechend dem wahrscheinlichen Kundenwunsch angepasst werden kann. Der Ziel- Bräunungsgrad kann mit oder ohne Nutzerbestätigung oder erneute Nutzereingabe ange- passt werden.

Die "neu" berechnete Prädiktions-Bräunungskurve kann z.B. ebenfalls mittels des oben beschriebenen linearen Gleichungssystems und einer Regressionsmethode berechnet werden, wobei dann die Werte der Farbraumkoordinaten L*, a* und b* für die bereits auf- genommenen Bilder bekannt sind. Sind beispielsweise vor Neuberechnung der Prädikti- ons-Bräunungskurve bereits 10 Bilder zu den Zeitpunkten t1, ...., t10 aufgenommen wor- den, aufgenommen worden, kann das obige Gleichungssystem als formuliert werden, wobei die Werte der Farbraumkoordinaten für die Zeitpunkte t1, ...., t10 bekannt sind. Die Matrixkoeffizienten k lassen sich wieder durch eine Regressionsanalyse unter Nutzung der in der Datenbank abgespeicherten realen Bräunungskurven auffinden.

Beispielsweise kann so dann, wenn die neue berechnete Prädiktions-Bräunungskurve kürzer ist als die anfänglich berechnete Prädiktions-Bräunungskurve (also die am meisten braunen Farbraumpunkte der anfänglich berechneten Prädiktions-Bräunungskurve nicht umfasst), ein von einem Nutzer ausgewählter Ziel-Bräunungsgrad relativ zu der einem Verhältnis der Längen beider Prädiktions-Bräunungskurven auf der "neuen" Prädiktions- Bräunungskurve verschoben werden. War die anfänglich berechnete Prädiktions- Bräunungskurve bspw. 10 Einheiten lang, wobei Bräunungsgraden zwischen "1" und "10" von dem Nutzer ausgewählt werden konnten (mit "0" dem ungegarten Gargut), umfasst die neue Prädiktions-Bräunungskurve aber nur Bräunungsgrade, die den Bräunungsgra- den "1" bis "8" der anfänglich berechneten Prädiktions-Bräunungskurve entsprechen, ein neuer Ziel-Bräunungsgrad "6" auf der neuen Prädiktions-Bräunungskurve ausgewählt werden, der farblich dem anhand der ursprünglich berechneten Prädiktions- Bräunungskurve ausgewählten Ziel-Bräunungsgrad "5" entspricht.

In einem anderen Beispiel der anhand der anfänglich berechneten Prädiktions- Bräunungskurve ausgewählte Ziel-Bräunungsgrad nicht mehr erreicht werden. Dies kann z.B. der Fall sein, wenn das aktuell gegarte Gargut auch nach längerer Gardauer ver- gleichsweise hell bleibt (z.B. Fisch), ein Nutzer aber anhand der (von der Art des aktuellen Garguts unabhängigen) anfänglich berechneten Prädiktions-Bräunungskurve einen ver- gleichsweise braunen Ziel-Bräunungsgrad ausgewählt hatte. In diesem Fall kann z.B. einen Nachricht oder ein Signal n den Nutzer ausgegeben, dass der von ihm gewünschte Ziel-Bräunungsgrad nicht erreichbar ist und der Nutzer dann anhand der neuen Prädikti- ons-Bräunungskurve einen neuen Ziel-Bräunungsgrad eingeben kann. Alternativ oder zusätzlich kann ein anhand der anfänglich berechneten Prädiktions-Bräunungskurve aus- gewählter Ziel-Bräunungsgrad (z.B. "mittel") automatisch an die neue Prädiktions- Bräunungskurve angepasst werden.

Die Aufgabe wird auch gelöst durch ein Haushalts-Gargerät, aufweisend einen Garraum, mindestens eine in den Garraum gerichtete Kamera, eine grafische Nutzerschnittstelle sowie eine Datenverarbeitungseinrichtung, wobei das Haushaltsgerät dazu eingerichtet ist, zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors ein hell- wert-separierbares Bild des Garraums zu erzeugen, mittels der Datenverarbeitungseinrichtung an dem hellwert-separierbaren Bild eine Segmentierung anhand der Nichthelligkeits-Farbkoordinaten vorzunehmen, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts zuge- hörige Umgebungs-Bildpunkte ergibt, einem Nutzer über die grafische Nutzerschnittstelle angeboten wird, einen Ziel- Bräunungsgrad einzugeben und mittels der Datenverarbeitungseinrichtung während eines Garvorgangs zeitlich beab- standet Bilder des Garraums aufzunehmen, in diesen Bildern anhand der Gargut- Bildpunkte einen jeweiligen Ist-Bräunungsgrad zu berechnen und den Ist- Bräunungsgrad mit dem Ziel-Bräunungsgrad zu vergleichen und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat.

Das Haushalts-Gargerät kann analog zu dem Verfahren ausgebildet werden, und umge- kehrt, und weist die gleichen Vorteile auf.

In den Garraum eingebrachtes Gargut kann mittels mindesten einer Gargutbehandlungs- einrichtung behandelt werden, z.B. durch Wärmestrahlung (erzeugt z.B. durch Rohrheiz- körper, IR-Strahler, usw.), Mikrowellen (erzeugt durch einen Mikrowellengenerator) und/oder Dampf, insbesondere Heißdampf bzw. "Super Heated Steam" (erzeugt z.B. durch einen Verdampfer).

Der mindestens eine Farbbildsensor kann mindestens eine im sichtbaren Spektra Ibereich empfindliche, bildpunktartig auslösende Farbkamera oder einen anderen Farbbildsensor umfassen. Der Farbbildsensor kann insbesondere originär RGB-Bilder erzeugen.

Die graphische Nutzerschnittstelle kann z.B. einen durch einen Cursor betätigbaren Bund/oder berührungsempfindlichen Farbbildschirm ("Touchscreen") umfassen.

Dass zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors ein hellwert-separierbares Bild des Garraums erzeugbar ist, kann umfassen, dass durch den Farbbildsensor originär ein hellwert-separierbares Bild erzeugt wird oder dass durch den Farbbildsensor originär ein nicht hellwert-separierbares Bild (z.B. RGB-Bild) erzeugt wird, das mittels der Datenverarbeitungseinrichtung in ein hellwert-separierbares Bild umge- wandelt bzw. umgerechnet wird.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei- spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.

Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Haushalts- Gargeräts;

Fig.2 zeigt einen möglichen Ablauf eines Verfahrens zum Bestimmen eines Gar- zeitendes von in einem Garraum des Haushalts-Gargeräts aus Fig.1 befindli- chem Gargut;

Fig.3 zeigt einen Draufsicht auf einen Bildschirm 8 des Haushalts-Gargeräts aus Fig.1 , der zur Auswahl eines Ziel-Bräunungsgrads mit drei Farbfeldern ausge- staltet ist; und

Fig.4 zeigt einen Draufsicht auf einen Bildschirm 8 des Haushalts-Gargeräts aus Fig.1 , der zur Auswahl eines Ziel-Bräunungsgrads mit sechs Farbfeldern aus- gestaltet ist

Fig.1 zeigt ein Haushalts-Gargerät in Form eines Backofens 1 mit einem Garraum 2, des- sen frontseitige Beschickungsöffnung durch einen Tür 3 verschließbar ist. Der Garraum 2 ist hier durch Wärmestrahler in Form beispielhaft eingezeichneter Oberhitzeheizkörper 4 und Unterhitzeheizkörper 5 heizbar. Hier beispielhaft deckenseitig ist eine in den Garraum 2 gerichtete RGB-Farbbildkamera 6 vorhanden, durch die RGB-Bilder des Garraums 2, einschließlich von darin vorhandenem Gargut G, aufnehmbar sind. Die Kamera 6 ist mit einer Datenverarbeitungseinrichtung 7 datentechnisch gekoppelt, wobei die Datenverar- beitungseinrichtung 7 außerdem mit einer grafischen Nutzerschnittstelle in Form eines Farbbildschirms 8 datentechnisch gekoppelt ist. Das Haushalts-Gargerät kann auch Be- leuchtungsmittel zum Beleuchten des Garraums 2 aufweisen (o. Abb.)

Fig.2 zeigt einen möglichen Ablauf eines Verfahrens zum Bestimmen eines Garzeitendes von in einem Garraum des Backofens 1 befindlichem Gargut G.

In einem Schritt SO wird das Gargut G in den Garraum 2 verbracht und der Verfahrensab- lauf über den Bildschirms 8 oder eine andere Betätigungsvorrichtung des Backofens 1 gestartet. In einem Schritt S1 wird mittels der Kamera 5 ein RGB-Bild des Garraums aufgenommen, das auch das Gargut G zeigt, und an die Datenverarbeitungseinrichtung 7 übertragen.

In einem Schritt S2 wird das RGB-Bild mittels der Datenverarbeitungseinrichtung 7 in ein L*a*b*-Bild umgerechnet.

In Schritt S3 wird mittels der Datenverarbeitungseinrichtung 7 in der (a*; b*)-Farbebene bzw. anhand der a*- und b*-Farbkoordinaten des Bilds eine Segmentierung der Bildpunk- te des Bilds mittels eines k-Means-Algorithmus mit zwei Schwerpunkten durchgeführt. Jeder der Bildpunkte ist dadurch als Gargut-Bildpunkt oder als Umgebungs-Bildpunkt ein- geordnet.

In einem Schritt S4 wird mittels der Datenverarbeitungseinrichtung 7 in der (a*; b*)- Farbebene eine Opening Operation durchgeführt. Dadurch werden in rauschbehafteten Bereichen des Bilds vorhandene Bildpunkte aus den Gruppen der Gargut-Bildpunkte und Umgebungs-Bildpunkte

In einem Schritt S5 wird einem Nutzer über die Bildschirm 8 die Durchführung eines "Re- gion Growings" angeboten und, falls der Nutzer dies nutzt, ausgeführt. Dadurch können vorher als Umgebungs-Bildpunkte eingeordnete Bildpunkte nutzergesteuert als Gargut- Bildpunkte umgruppiert werden, oder umgekehrt

In einem Schritt S6 werden mittels der Datenverarbeitungseinrichtung 7 aus den Gargut- Bildpunkten Mittelwerte der drei Farbraumkoordinaten L*, a* und b* gebildet, nämlich und daraus ein lineares Gleichungssystem aufgestellt (Schritt S6a). Folgend wird in einem Schritt S6b mittels der Datenverarbeitungseinrichtung 7 anhand des linearen Gleichungssystems und anhand von aus einer (geräteinternen oder geräte- externen) Datenbank D abgerufenen realen Bräunungskurven verschiedener Gargüter eine lineare Regressionsanalyse durchgeführt, welche die Matrixkoeffizienten des Linea- ren Gleichungssystems ergibt. In einem folgenden Schritt S6c wird mittels der Datenver- arbeitungseinrichtung 7 anhand des linearen Gleichungssystems eine Prädiktions- Bräunungskurve für das Gargut G im L*a*b*-Farbraum berechnet. In einem Schritt S7 werden dem Nutzer auf dem Farbbildschirm 8 mehrere Farbfelder angezeigt, deren Farben beabstandeten Punkten der Prädiktions-Bräunungskurve und damit unterschiedlichen Ziel-Bräunungsgraden entsprechen, wie beispielhaft in Fig.3 gezeigt. Zusätzlich können die Farbfelder durch Text und/oder Zahlen gekennzeichnet werden, z.B. "wenig", "mittel" und "durch" oder "1" bis "10". Der Nutzer kann nun einen bestimmten Ziel-Bräunungsgrad auswählen, z.B. durch Berühren eines gewünschten Farbfelds oder durch eine entsprechende Cursor-Operation. Der Ziel-Bräunungsgrad entspricht einem entsprechenden Zielpunkt F L * a * b * -Farbraum.

In Fig.3 ist ferner die Möglichkeit gezeigt, den Ziel-Bräunungsgrad anhand von in dem Farbbildschirm 8 definierten Farbfeldern F1, F2, F5 auszuwählen, die homogen mit jeweils einer der Farben der Prädiktions-Bräunungskurve mit hier aufsteigendem Ziel- Bräunungsgrad gefüllt sind. Die einzelnen Punkte der Prädiktions-Bräunungskurve entsprechen somit jeweiligen Bräunungsgraden. Der Nutzer kann durch Antippen eines Farbfelds F1, F2 oder F5 einen Ziel-Bräunungsgrad auswählen und ggf. folgend bestätigen.

In den Farbfeldern F1, F2, F5 sind auch beschreibende Texte vorhanden, hier: "Hell" für ein wenig gegartes Gargut G, "Medium" für ein mittelbraun gegartes Gargut G und "Dunkel" für ein gut bzw. dunkel gegartes Gargut G. Die beschreibenden Texte können aber auch außerhalb der Farbfelder angeordnet sein, z.B. darunter oder darüber.

Optional kann auf dem Farbbildschirm 8 auch ein Feld FG zur Anzeige eines Bilds des Garguts G vorhanden sein, z.B. des ursprünglich aufgenommenen Bilds oder eines während des Garvorgangs aufgenommenen Bilds. Der letztere Fall kann z.B. vorliegen, wenn der Ziel-Bräunungsgrad anhand einer neuen Prädiktions-Bräunungskurve berechnet werden soll, wie bereits oben und folgend weiter unten genauer beschrieben wird. Optional kann dann, wenn der Nutzer eines der Farbfelder F1, F3, F5 auswählt, das Gargut G so eingefärbt werden, dass seine Farbe dem zugehörigen Ziel-Bräunungsgrad entspricht, z.B. nach Art einer "Virtual Reality'-Anpassung.

Ferner ist in dem Farbbildschirm 8 ein Feld FE definiert, bei dessen Betätigung zusätzliche Ziel-Bräunungsgrade angezeigt werden, wie in Fig.4 anhand der zusätzlichen Farbfelder F2, F4 und F6 dargestellt. Folgend auf eine bestätigte Auswahl eines Ziel-Bräunungsgrads durch einen Nutzer in Schritt S7 wird in Schritt S8 der Garvorhang durch Aktivieren des Oberhitze-Heizkörpers 4 und/oder des Unterhitze-Heizkörpers 5 gestartet.

Dann wird in einem Schritt S9 durch die Kamera zu einem Zeitpunkt ti des Garvorgangs ein RGB-Ist-Bild des Garraums 2 aufgenommen und in ein L*ä*b*-Bilder umgewandelt.

In einem Schritt S10 werden anhand der Gargut-Bildpunkte des zum Zeitpunkt ti des Garvorgangs aufgenommenen Ist-Bilds Mittelwerte der drei Farbraumkoordinaten L*, a* und b* gebildet, nämlich ( ) ( ) ( ) was einem Ist-Bräunungsgrad in Form eines Ist-Farbpunkts im L*a*b*-Farbraum entspricht.

In einem Schritt S11 wird ein Abstand des Ist-Farbpunkts F (ti) des zuletzt aufgenommenen Bilds von dem Zielpunkt F Z iei im L*a*b*-Farbraum berechnet. Es wird weiterhin überprüft, ob der - ggf. koordinatenabhängige - Abstand einen vorgegebenen Wert erreicht oder unterschreitet. Ist dies nicht der Fall ("N", ist also der Ist- Bräunungsgrad des Garguts G noch vergleichsweise weit von dem Ziel-Bräunungsgrad entfernt), wird zu Schritt S9 zurückverzweigt. Dabei werden aufeinanderfolgende Bilder insbesondere in regelmäßigen Zeitabständen (z.B. alle 10 s, 30 s oder 60 s) durch die Kamera 5 aufgenommen.

Ist dies hingegen der Fall ("J"), wird in einem Schritt S11 mindestens eine Aktion ausgelöst werden, z.B. der Garvorgang beendet werden, eine Temperatur des Garraums auf eine Warmhaltetemperatur gesenkt werden und/oder eine Nachricht an einen Nutzer ausgegeben (z.B. ein Piepton, einen Anzeige im Bildschirm 8 oder einen Nachricht auf ein mobiles Endgerät des Nutzers) ausgegeben werden.

Alternativ oder zusätzlich wird in Schritt S11 ein Verlauf der Abstände der Ist-Farbpunkte F (ti) aufgezeichnet, wobei in der alternativen Version nicht überprüft zu werden braucht, ob der Abstand einen vorgegebenen Wert erreicht oder unterschritten hat. In Schritt S12 wird dann alternativ oder zusätzlich überprüft, ob der Verlauf ein Minimum erreicht hat. Ist dies nicht der Fall ("N") wird zu Schritt S9 zurückverzweigt, ansonsten ("J) zu Schritt S12 übergegangen. Nicht eingezeichnet, aber optional gegen ist die Möglichkeit zu überprüfen, wie häufig z.B. die Schritte S9 bis S11 durchlaufend worden sind und in regelmäßigen zeitlichen Abstän- den (z.B. alle 10, 20, 50 oder 100 Durchläufe oder alle 5 min, 15 min oder 30 min) die Prädiktions-Bräunungskurve analog zu Schritt S6 neu berechnet wird, wobei allerdings dann in dem linearen Gleichungssystem anstelle der Durchschnittwerte der Farbraumko- ordinaten die Durchschnittwerte der Farbraumkoordinaten L * ( ti ), der aufgenommenen Bilder an den entsprechenden Schritten bzw. Zeit- punkten ti eingesetzt werden, soweit für die entsprechenden Schritte bzw. Zeitpunkte ti vorhanden, so wie weiter oben beschrieben. Es ergibt sich dann eine neue Prädiktions- Bräunungskurve. Dieser Möglichkeit kann sich ein zu Schritt S7 ähnlicher Schritt an- schließen, bei dem der Nutzer seinen Ziel-Bräunungsgrad anhand der neuen Prädiktions- Bräunungskurve anpassen kann. Alternativ kann der Ziel-Bräunungsgrad automatisch angepasst werden. Die Möglichkeit, den Ziel-Bräunungsgrad anzupassen, kann in einer Weiterbildung insbesondere nur dann angeboten und ggf. durchgeführt werden, wenn die neue Prädiktions-Bräunungskurve merklich von der zuvor gerechneten Prädiktions- Bräunungskurve abweicht, bspw. weil die Kurvenabweichung (z.B. berechnet anhand der Methode kleinster Quadrate) ein vorgegebenes Maß überschreitet und/oder weil der zuvor eingestellte Ziel-Bräunungsgrad in der neuen Prädiktions-Bräunungskurve nicht mehr enthalten ist.

Da der Garvorgang bereits läuft, wird folgend Schritt S8 übersprungen und direkt zu Schritt S9 übergegangen.

Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei- spiel beschränkt.

Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer- den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.

Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole- ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist. Bezugszeichenliste

1 Backofen

2 Garraum

3 Tür

4 Oberhitzeheizkörper

5 Unterhitzeheizkörper

6 RGB-Farbbildkamera

7 Datenverarbeitungseinrichtung

8 Farbbildschirms

D Datenbank

G Gargut

S1-S12 Verfahrensschritte