Die vorliegende Erfindung betrifft ein Verfahren und eine Steu ^¬ ervorrichtung zum Steuern eines in ein System eingebundenen Gerätes auf Basis einer Mediendatei, ein Computerprogrammprodukt zur Auswertung der Mediendatei sowie ein Gebäudeautomationssys ^¬ tem gemäss den Oberbegriffen der unabhängigen Ansprüche.

Aus dem Stand der Technik ist bekannt, ausgehend von einer auf einem Gerät abgespielten Videodatei, welche zusätzliche Informa tionen enthält, angeschlossene Geräte einzuschalten und/oder am angeschlossenen Gerät ein entsprechendes voreingestelltes Pro ^¬ gramm zu aktivieren.

Nachteilig an diesen Systemen ist, dass die Videodatei bereits mit den benötigten Zusatzinformationen versehen werden muss und das zu steuernde Gerät bereits die zur Ablaufsteuerung benötig ^¬ ten Programmdaten enthalten muss. Entsprechend können mit solchen Videos bzw. mit den entsprechenden Geräten nur die jeweils vorbestimmten Programme angestossen werden.

Es ist Aufgabe der Erfindung, die Nachteile des Standes der Technik zu überwinden. Insbesondere soll ein Verfahren, eine Steuervorrichtung, ein Computerprogrammprodukt und ein Gebäude ^¬ automationssystem zur Verfügung gestellt werden, welche ausgehend von einer beliebigen Mediendatei ein Gerät möglichst flexi bei steuern kann.

Diese Aufgabe wird durch die in den unabhängigen Patentansprü ^¬ chen definierten Verfahren und Vorrichtungen gelöst. Weitere Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen .

In der nachfolgenden Beschreibung wird unter dem Begriff System jegliche Art eines elektronischen Netzwerks verstanden, in dem ein Datentransfer, insbesondere Datenaustausch zwischen den Elementen des Systems ermöglicht ist. Dieser Datentransfer oder Datenaustausch kann über eine Drahtverbindung, eine faseroptische Verbindung, optisch, z.B. Infrarot, über Funk oder mittels PLC erfolgen. Beispielsweise kann ein solches Netzwerk ein Gebäude ^¬ automationssystem sein, welches unterschiedliche Geräte mitei ^¬ nander vernetzt und es erlaubt, diese sowohl zentral als auch dezentral zu steuern. Unter einer Mediendatei wird beispielsweise ein Video, ein Po- dcast, ein Livestream, eine Bilderstrecke usw. verstanden, welche nicht zwingend mit spezifischen Steuerdaten für Geräte versehen sind. Ein erfindungsgemässes Verfahren zum Steuern wenigstens eines in ein System, insbesondere ein Gebäudeautomationssystem eingebundenen Gerätes mit einer Steuervorrichtung umfasst die Schritte:

- Auswahl und/oder Aufruf einer Mediendatei durch einen Benut- zer oder durch das System,

- Analyse der Mediendatei und Extraktion der für die Steuerung relevanten Informationen aus der Mediendatei,

- Aussenden von Steuerbefehlen an das wenigstens eine Gerät auf Basis der aus der Mediendatei extrahierten Information.

In diesem Zusammenhang wird unter der Analyse der Mediendatei verstanden, dass der Kontext der Mediendatei automatisch erkannt wird und entsprechend der Inhalt der Mediendatei ausgewertet wird. Beispielsweise wird mit einer solchen Analyse eine gespro ^¬ chene Information zur Ofentemperatur in einer Videoanleitung eines Kuchenrezeptes erkannt und diese Information aus der Medien ^¬ datei extrahiert. Die so gewonnene Information kann nun weiter verwendet werden. Für die Analyse werden Algorithmen der Spracherkennung, der Bilderkennung, der Gesten- und Mimikerkennung und/oder weitere bekannte Algorithmen verwendet.

Die für die Steuerung relevanten Informationen hängen vom Inhalt der Mediendatei und den zu steuernden Geräten ab. Beispielsweise werden aus einem Rezept zum Backen eines Kuchens andere Informa ^¬ tionen extrahiert als aus einer Anleitung zum Installieren eines Sonos-Lautsprechers oder aus einer geführten Installation in einem Gebäude, wo unterschiedliche Steuerelemente wie beispiels- weise Dimmer und Lampen in einer Reihenfolge korrekt installiert und diese zum Test vom System angeblinkt werden und/oder zur Bestätigung und/oder Überprüfung der Installation Tasten gedrückt werden müssen. Ein solches Verfahren erlaubt beispielsweise, dass der Benutzer eine Mediendatei im Internet oder aus seinem privaten Speicher abruft und anhand dieser Mediendatei seine beispielsweise in ei ^¬ nem Gebäudeautomationssystem eingebundenen Geräte direkt ansteuert. Der Benutzer muss somit nicht mehr selber im Gebäudeautoma- tionssystem die zur Steuerung benötigten Daten eingeben, sondern diese werden automatisch aus der Mediendatei extrahiert und die entsprechenden Geräte angesteuert. Beispielsweise wird somit ein Rezept zum Backen eines Kuchens ausgewertet, die zum Backen be ^¬ nötigte Temperatur im Ofen eingestellt, das Rührwerk der

Teigknetmaschine automatisch betätigt und ein Timer im Ofen auf die entsprechende zum Backen benötigte Backzeit eingestellt. Der Benutzer muss lediglich die Zutaten in die Teigknetmaschine zu ^¬ geben, den fertiggestellten Teig in eine Backform füllen und die Backform in den Ofen schieben. Beim Einschieben des Teiges in den Ofen und Schliessen der Ofentür kann der Timer automatisch gestartet werden. Selbstverständlich sind hierbei auch weniger oder weitere Teilautomatisierungen möglich.

Das Gerät kann der Steuervorrichtung Rückmeldungen geben, welche insbesondere Informationen zum Status des Gerätes beinhalten. So kann beispielsweise im vorbeschriebenen Beispiel die Teigknetma ^¬ schine der Steuervorrichtung zurückmelden, wenn der Teig genü- gend durchgeknetet und entsprechend eine homogene Masse erstellt ist. Eine solche Rückmeldung kann beispielsweise den weiteren Ablauf der Mediendatei steuern. Im Falle des Kuchenrezeptes kann der Benutzer angewiesen werden, den Teig in die entsprechende Backform einzufüllen und die Backform mit dem Teig in den Ofen zu schieben. Ebenso ist es denkbar, dass eine solche Rückmeldung vom Ofen beispielsweise beinhaltet, dass sich der Teig jetzt im Ofen befindet. Eine solche Rückmeldung kann durch entsprechende Sensoren im Gerät ausgelöst werden. Die Verwendung solcher Rückmeldungen erlaubt ein effizientes Abarbeiten der entsprechenden Informationen, welche aus der Mediendatei extrahiert wurden.

Die Steuerung des Ablaufs der Mediendatei kann einen oder Kombi ^¬ nationen der folgenden Schritte umfassen: - Stoppen des Ablaufs,

- Vorspringen im Ablauf an eine bestimmte Stelle,

- Rückspringen im Ablauf an eine bestimmte Stelle,

- Unterbrechen des Ablaufs,

- Weiterführen des Ablaufs,

- Auswahl und/oder Aufruf einer weiteren Mediendatei.

Durch die Beeinflussung des Ablaufs der Mediendatei kann bei ^¬ spielsweise sichergestellt werden, dass Instruktionen, welche an den Benutzer gerichtet sind und nicht ausgeführt wurden, wieder ^¬ holt als Instruktion an den Benutzer ausgegeben werden. Ebenso ist es im vorgenannten Beispiel beim Schliessen oder Ofentür nach dem Einbringen des Teiges in den Ofen nötig, dass der Ab- lauf der Mediendatei solange unterbrochen wird, bis die entspre ^¬ chende Backzeit abgelaufen ist. Weiter ist es jedoch auch denkbar, dass aufgrund einer solchen Rückmeldung eine weitere Medi ^¬ endatei ausgewählt und/oder aufgerufen wird, ohne dass der Be ^¬ nutzer hierzu weitere Aktionen betätigt. So kann das System bei- spielsweise erkennen, dass sich der Benutzer nicht instruktions- gemäss verhält und weitere erklärende Mediendateien zur Verfü ^¬ gung stellen.

Die Analyse der Mediendatei kann in Echtzeit erfolgen. Im Falle eines Videos ist es somit möglich, dass der Benutzer das Video betrachtet und die entsprechenden Analysen im Hintergrund in Echtzeit durchgeführt werden. Wie vorgängig erwähnt wird bei ^¬ spielsweise im Video erklärt, dass der Ofen auf 200 Grad einge ^¬ stellt werden muss. Diese Information wird ausgewertet und di- rekt an den Ofen übermittelt. Alternativ ist es jedoch auch denkbar, dass die Analyse der Mediendatei unabhängig vom Ablauf der Mediendatei erfolgt. Eine solche vom Ablauf unabhängige Ana ^¬ lyse erlaubt es beispielsweise, dass im Falle eines Videos die ^¬ ses bereits vor und/oder während des Ablaufs komplett analysiert wird, sodass nötigenfalls bereits mögliche Sprungpositionen er ^¬ kannt werden.

Zur Analyse der Mediendatei und zur Extraktion der Informationen können Audiodaten und/oder Videodaten und/oder Textdaten

und/oder Zusatzinformationen der Mediendatei, wie beispielsweise Metadaten, Tags, Schlagworte, usw. ausgewertet werden. Insbesondere ist so ermöglicht, dass sowohl akustische, visuelle als auch zusätzliche der Mediendatei beigefügte Informationen ausge ^¬ wertet werden.

Das Aussenden der Steuerbefehle an das wenigstens ein Gerät kann über das System, insbesondere ein Gebäudeautomationssystem erfolgen. Entsprechend muss nicht die Steuervorrichtung direkt mit den zu steuernden Geräten verbunden oder verbindbar sein, sondern muss lediglich mit seinem zugeordneten System kommunizieren können. Das zu steuernde wenigstens eine Gerät ist bereits in dieses System eingebunden, sodass die Ansteuerung wesentlich vereinfacht wird.

Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Computerprogrammprodukt zur Auswertung einer Mediendatei. Ein er- findungsgemässes Computerprogrammprodukt für die Gebäudeautoma ^¬ tion extrahiert, wenn es auf einem Computer ausgeführt wird, In ^¬ formationen aus einer Mediendatei, um auf Basis dieser extra ^¬ hierten Information wenigstens ein Gerät in einem System, insbesondere in einem Gebäudeautomationssystem steuern zu können.

Unter einem Computerprogrammprodukt wird hier beispielsweise ei ^¬ ne App auf einem Smartphone, einem Tablet Computer, einem Note ^¬ book usw. verstanden. Der Computer wird dabei entsprechend auch als Smartphone, Tablet Computer, Notebook, PC oder als Cloud- Service verstanden. Entsprechend ist es denkbar, dass das Compu ^¬ terprogrammprodukt nicht auf einem Gerät des Benutzers ausge ^¬ führt wird, sondern dass die entsprechende Mediendatei bei ^¬ spielsweise über eine Internetverbindung in einem Cloud-Service geladen wird und dort die entsprechenden Informationen extra- hiert werden. Die extrahierten Informationen zum Steuern des wenigstens einen Gerätes können dann wiederum über das Internet dem Benutzer bzw. dem System zur Verfügung gestellt werden. Zur Extraktion der Informationen können Audiodaten und/oder Videodaten und/oder Textdaten und/oder Zusatzinformationen der Mediendatei ausgewertet werden. Wiederum wird somit ermöglicht, dass die Mediendatei akustisch, visuell als auch anhand ihrer Zusatzinformationen wie beispielsweise Metadaten, Tags, Schlag ^¬ worte, usw. ausgewertet wird.

Eine erfindungsgemässe Steuervorrichtung, insbesondere für ein Verfahren wie vorgängig geschildert, zum Steuern wenigstens ei- nes in ein System, insbesondere in ein Gebäudeautomationssystem eingebundenen Gerätes umfasst eine Mediendatenschnittstelle, Be ^¬ dienelemente für einen Benutzer zum Auswählen und/oder Aufrufen einer Mediendatei, eine Anzeigeeinheit zum Anzeigen der ausge ^¬ wählten Mediendatei, eine Analyseeinheit, insbesondere mit einem Computerprogrammprodukt wie vorgängig beschrieben, zum Analysie ^¬ ren und Extrahieren von Steuerinformationen aus der Mediendatei und eine Schnittstelle zu einem System, insbesondere zu einem Gebäudeautomationssystem. Unter einer Steuervorrichtung wird hierbei beispielsweise ein Smartphone, ein Tablet Computer, ein Notebook, ein PC oder ein Computer in einer beliebigen Form sowie ein netzgebundener Speicher (NAS) , ein Router oder ein Server verstanden. Ebenfalls wird unter einer Steuervorrichtung auch eine Set-Top-Box, beispielsweise d-box, Dreambox, Mediabox, ReelBox, TiVo-PVR, AppleTV, Met@box, usw. oder eine Videospiel- konsole, beispielsweise SNES, Playstation, X-Box, usw. verstan ^¬ den. Die Bedienelemente, die Anzeigeeinheit und die Analyseein ^¬ heit müssen nicht zwingend in der Steuervorrichtung integriert sein sondern können über ein entsprechendes Anschlusselement, z.B. kabelgebunden und/oder drahtlos an die Steuervorrichtung angebunden werden.

Eine Mediendatenschnittstelle stellt beispielsweise eine Verbin ^¬ dung zu einer Videoj ukebox, einem Medienplayer, einem Speicher, einem Cloud-Service oder eine Anbindung an das Internet dar. Un ^¬ ter einer Mediendatenschnittstelle wird explizit nicht nur eine physische Schnittstelle als Steckverbinder oder als drahtlosen Anschluss verstanden, sondern jede Möglichkeit der Datenaufnah- me, insbesondere eine Kamera. Diese Schnittstelle erlaubt den Zugriff auf die ausgewählte und/oder aufgerufene Mediendatei. Eine Kamera beispielsweise erlaubt es einem Benutzer ein her ^¬ kömmliches Rezept aus einem Buch zu fotografieren und der Steu ^¬ ervorrichtung zur Analyse zur Verfügung zu stellen.

Unter einer Analyseeinheit wird eine App oder ein Programmcode verstanden, welcher auf der Steuervorrichtung oder allenfalls auf einem speziellen Chip der Steuervorrichtung abläuft. Die Analyse der Mediendatei kann auch in einem Cloud-Service erfol- gen. Somit wäre dieser Teil des Cloud-Dienstes die Analyseein ^¬ heit, welche im Sinne der vorliegenden Erfindung über die Anschlussmöglichkeit der Steuervorrichtung eingebunden werden kann . Auch der Begriff der Schnittstelle zum System soll nicht zwingend als physische Schnittstelle betrachtet werden. Auch hier ist wiederum eine drahtlose Anbindung oder aber eine Anbindung über das Internet oder einen Cloud-Dienst an das System denkbar. Eine solche Steuervorrichtung ist beispielsweise in der Lage, eine vom Benutzer ausgewählte Videodatei anzuzeigen und gleich ^¬ zeitig und/oder vorgängig nach Informationen zu analysieren, welche zur Steuerung eines mit dem System verbundene oder in dieses System eingebundenen Gerätes dienen können.

Die Schnittstelle zum System kann unidirektional oder bidirekti ^¬ onal ausgebildet sei. Bei einer bidirektionalen Ausbildung ist es beispielsweise möglich, dass das zu steuernde Gerät eine Rückmeldung, beispielsweise über seinen Status, an die Steuervorrichtung zurückgibt. Entsprechend kann die Steuervorrichtung beispielsweise das Abspielen der Mediendatei stoppen, unterbre ^¬ chen, weiterführen, an eine bestimmte Stelle vor oder zurück springen oder aber eine weitere Mediendatei aufrufen.

Die Mediendatenschnittstelle kann eine Anbindung an das Internet umfassen. Entsprechend kann der Benutzer die Mediendatei auch aus dem Internet, einem Cloud-Dienst oder einem Streaming-Dienst auswählen und/oder aufrufen.

Ein erfindungsgemässes Gebäudeautomationssystem umfasst ein Computerprogrammprodukt wie vorgängig geschildert und/oder eine Steuervorrichtung wie vorgängig beschrieben. Ein solches Gebäu- deautomationssystem lässt insbesondere zu, dass bestimmte in das Gebäudeautomationssystem eingebundene Geräte von der Steuervorrichtung oder von einem Computerprogrammprodukt wie beschrieben in Abhängigkeit von aus einer Mediendatei extrahierter Informa ^¬ tionen gesteuert werden.

Anhand eines Flussdiagrammes wird ein mögliches Ausführungsbei ^¬ spiel der Erfindung im Folgenden näher erläutert.

Gezeigt wird ein erfindungsgemässes Verfahren anhand eines

Flussdiagrammes am Beispiel eines zu backenden Kuchens. In einem ersten Schritt 1 wählt der Benutzer eine Mediendatei aus, welche das Backen eines Kuchens schrittweise erklärt. Hierzu teilt der der Benutzer der Steuervorrichtung mit, dass er einen Kuchen und welche Art von Kuchen er backen möchte. Dies kann beispielsweise über eine Spracheingabe erfolgen. Die Steuervorrichtung sucht dann über eine Medienschnittstelle ein entsprechendes Rezept. Es ist jedoch auch denkbar, dass der Benutzer diese Information konventionell über eine Tastatur eingibt oder direkt die ent- sprechende Mediendatei der Steuervorrichtung zur Verfügung stellt. Ausserdem kann der Benutzer seine Eingabe auch aus einem Rezeptbuch eingeben, indem er beispielsweise eine Fotographie des Rezeptes der Steuervorrichtung zur Verfügung stellt.

Im Schritt 2 wird die Steuervorrichtung mit ihrer Analyseeinheit die Mediendatei auf analysieren und die für die Steuerung der Geräte, beispielsweise ein Ofen, eine Teigknetmaschine, eine Waage, benötigten Informationen aus der Mediendatei extrahieren. Für diesen Analyse-Schritt kommen unterschiedliche Algorithmen wie Texterkennung, Bilderkennung, Spracherkennung, Gestenerkennung, Mimikerkennung usw. zum Einsatz.

Im Schritt 3 wird der Ablauf der Mediendatei gestartet. Im Falle einer Mediendatei in Form eines Instruktionsvideos wird das Vi ^¬ deo auf der Anzeigeeinheit dargestellt und gestartet. Sobald ei ^¬ ne vom Benutzer auszuführende Arbeit ansteht oder ein Gerät an ^¬ gesteuert und eine Arbeit auszuführen hat, wird der Ablauf der Mediendatei bzw. des Videos unterbrochen. Im Beispiel des Ku- chens werden die einzelnen Zutaten aufgeführt und der Benutzer aufgefordert, eine Schüssel auf die Waage zu stellen und die be ^¬ nötigten Zutaten in der entsprechenden Menge der Schüssel zuzugeben . Im Schritt 4 wird die Steuervorrichtung bereits einen Befehl an den Ofen aussenden, um diesen auf die benötigte Temperatur vorzuheizen .

Im Schritt 5 ist die benötigte Arbeit vom Benutzer oder vom Ge- rät ausgeführt und es erfolgt eine Rückmeldung an die Steuervor ^¬ richtung. Diese Rückmeldung kann vom Benutzer oder direkt vom Gerät erfolgen. Im Falle des Zugebens der Zutaten meldet die Waage selbstständig das Gewicht an die Steuervorrichtung zurück. Die beiden Schritte 4 und 5 können auch in umgekehrter Reihenfolge ablaufen, so dass die Rückmeldung von einem Gerät das Aussenden eines Befehls an ein weiteres Gerät auslöst. Die Steuervorrichtung entscheidet im Schritt 6, ob der Ablauf der Mediendatei beendet ist, bzw. im vorliegenden Fall, ob der Kuchen schon fertig gebacken ist. Wenn der Kuchen fertig gebacken ist, wird das Verfahren beim Punkt 7 beendet. Andernfalls wird im Schritt 8 von der Steuervorrichtung überprüft, ob ein weiterführen des Ablaufes der Mediendatei noch sinnvoll ist. Üblicherweise ist ein Weiterführen sinnvoll, so dass wiederum zum Schritt 3 gesprungen wird und die Mediendatei weiter bis zur nächsten benötigten Arbeit abgespielt wird.

Es folgt nun die Instruktion an den Benutzer, dass die Schüssel in die Teigknetmaschine eingegeben werden muss, worauf diese mit der aus der Mediendatei extrahierten Information, z.B. Geschwindigkeit und Zeit, die Zutaten zu einem Teig verrührt. Sobald ein homogener Teig vorhanden oder die eingestellte Zeit abgelaufen ist, erfolgt wiederum eine Rückmeldung an die Steuervorrichtung. Der Kuchen ist noch nicht fertig gebacken und ein Weiterfahren ist sinnvoll. Es erfolgt wieder der Sprung zum Schritt 3. Die Mediendatei wird weiter abgespielt und der Benutzer instru ^¬ iert, dass der Teig in die Kuchenform gefüllt werden muss. So ^¬ bald der Benutzer die ausgeführte Arbeit bestätigt erfolgen wie ^¬ derum die beiden Entscheidungen 6, 8 und der Rücksprung zum Schritt 3.

Die Steuervorrichtung lässt die Mediendatei weiter ablaufen und instruiert den Benutzer sofern der Ofen genügend vorgeheizt ist, die Kuchenform in den Ofen zu schieben. Hierzu wird der Ofen an- gesteuert, so dass dieser die Tür automatisch öffnet und der Be ^¬ nutzer die Form einlegen kann. Das Schliessen der Ofentür wird vom Ofen zurückgemeldet ebenso wie die Meldung, dass der Kuchen im Ofen platziert ist. Entsprechend wird wieder zum Schritt 3 gewechselt und benötigte Backzeit an den Ofen übermittelt.

Falls der Benutzer fälschlicherweise die befüllte Kuchenform nicht in den Ofen gestellt sondern lediglich die Ofentür geschlossen hat, kann der Ofen eine Rückmeldung 5 an die Steuereinheit geben. Es wird überprüft, ob der Ablauf weiter sinnvoll ist. Da dies der Fall ist, wird wiederum zum Schritt 3 gewech ^¬ selt und dem Benutzer nochmals die Sequenz mit der Instruktion zum Einschieben der Backform in den Ofen abgespielt. Die Ofentür wird geöffnet, der Benutzer schiebt den Kuchen tatsächlich in den Ofen, schliesst die Tür und die Backzeit erneut eingestellt.

Falls sich der Benutzer bei einem Arbeitsschritt komplett falsch verhält und der weitere Ablauf nicht mehr sinnvoll ist, wird zum Schritt 1 gesprungen und die Steuervorrichtung sucht und wählt eine Mediendatei zur Behebung des Problems. Beispielsweise kann der Benutzer zu viel Mehl den Zutaten zugegeben haben. Entsprechend wird eine Mediendatei für die Verwendung der zugegebenen Menge Mehl gesucht und ausgewählt.