以下、本発明の実施の形態を図面を用い� ��説明する。

(第1の実施の形態)
<構成>
 図3は、本発明の第1の実施の形態に係る機� �制御システム1の概略構成図である。機器制� ��システム1は、各ユーザUS01、US02、……US0Nご とに家庭に構築されたAV(Audio Visual)システム� ��複数のAV機器の動作を制御するシステムで� �り、機器制御サーバ装置(以下、機器制御サ� ��バという)2と機器制御クライアント端末(以� ��、機器制御クライアントという)3とから構� �されている。機器制御サーバ2と機器制御ク� ��イアント3は、例えば、インターネット網な どの通信ネットワーク4により相互に通信可� �となっており、機器制御システム1は、通信� ��ットワークを介した学習リモコンシステム� ��なっている。なお、本実施の形態では、機� ��制御システム1の制御対象機器をAV機器とし� ��説明するが、機器制御システム1の制御対象 機器はAV機器に限定されず、広く電子機器全� ��に適用可能である。

 機器制御サーバ2は、ユーザが学習させた AV機器のリモコンデータや、タイマ機能によ� ��制御対象機器を自動操作させるためのタイ� ��テーブル(いつどの機器をどのように動作さ せるかを記したデータ)を一元的に管理する� �うになっている。すなわち、ユーザがリモ� �ン機能の学習やタイムテーブルの作成を行� �と、リモコンデータやタイムテーブルが機� �制御クライアント3を介して機器制御サーバ2 上に登録される。そして、所望日時(正確に� �、所望日時の所定時間前)になると、機器制� ��サーバ2は、所望日時に動作させるAV機器の� ��モコンデータ及びタイムテーブル(以下、実 行データという)を制御クライアント3に送信� ��るようになっている。

 機器制御クライアント3は、機器制御サー バ2から実行データを受信し、所望日時にな� �たことを確認すると、実行データに従って� �制御対象のAV機器に対して所望の動作をさせ るリモコンデータを送信するようになってい る。以下、機器制御クライアント3が制御対� �機器に対してリモコンデータを送信する日� �(所望日時)を実行日時と称する。

 また、詳しくは後述するが、機器制御シ� ��テム1は、その特徴として、制御対象機器の 状態監視(リモコン操作を受けたAV機器が操作 された通りの正常な状態になっているか否か の監視)を行うようになっており、機器制御� �ライアント3は、制御対象機器の状態に関す� ��状態データを取得し、取得した状態データ� ��機器制御サーバ2に送信するようになってい る。機器制御サーバ2は、受信した状態デー� �に基づいて制御対象機器が正常な動作をし� �か否かを判断するようになっており、正常� �動作でないと判断したときには、制御対象� �器を正常な状態に復旧させるための処理を� �行するようになっている。

 このように機器制御システム1は、機器制 御サーバ2と機器制御クライアント3に処理を� ��散させており、機器制御サーバ2側が主たる データを記憶して、負荷の重い処理を実行し 、機器制御クライアント3側は主として送受� �機能に特化しているので、各ユーザ宅に設� �される機器制御クライアント3を簡単な構成� ��することができる。

<機器制御クライアントの構成>
 図4は、機器制御システム1が適用されるAVシ ステム10の概略構成図である。図4に示すAVシ� ��テム10は、赤外線送受信装置100とパーソナ� �コンピュータ(以下、PCという)200と専用コン� ��ローラ300とPLC部110とルータ120から構成され� ��機器制御クライアント3、AVアンプ11、TV(TeleV ision)12、CATV(Community Antenna TeleVision)のSTB(Set T op Box)(以下、CATVと略す)13、IPTV(Internet Protocol  TeleVision)のSTB(以下、IPTVと略す)14、FM(frequency  modulation)チューナ15、及びDVD(Digital Versatile  Disc)レコーダ16により構成されている。なお� �AVアンプ11は、接続ケーブルを介して、それ� ��れのAV機器、つまりTV11、CATV13、IPTV14、FMチ� �ーナ15及びDVDレコーダ16と接続されている。� ��た、本実施の形態では、天井に赤外線送受� ��装置100を設置して、電力線を通信回線とし� ��ため、PLC部110を設けたが、電力線を通信回� ��としないシステム構成でもよく、この場合� ��はPLC部110は不要である。

 機器制御クライアント3は、具体的には、 CATV13、IPTV14、FMチューナ15、DVDレコーダ16を操 作するための装置となっている。以下、制御 対象機器という場合には、このCATV13、IPTV14、 FMチューナ15、DVDレコーダ16を指すものとする 。

 赤外線送受信装置100は、天井に設置され� ��赤外線送受信装置であり、リモコン信号を� ��外線によって送受信する機能を備えている� ��

 図5は、赤外線送受信装置100の外観側面図 である。図5に示すように、赤外線送受信装� �100の赤外線送信手段は、具体的には、保護� �バー105の内側に設置された赤外線LED101であ� �、また、赤外線受信手段は、保護カバー105� �内側に設置された赤外線受光素子102である� �

 また、赤外線送受信装置100は、図5に示す ように、保護カバー105の内側にCCD(Charge Couple d Devices)ビデオカメラ103を設けており、非球� ��反射ミラー104で反射された画像を捉えるよ� ��になっている(CCDカメラ部103は、設置された 部屋の中すべてが撮影可能な360度カメラであ る)。詳しくは、CCDビデオカメラ103は、制御� �象機器(CATV13、IPTV14、FMチューナ15、DVDレコー ダ16)の前面の画像を撮影しており、この撮影 画像を制御対象機器の状態データとしている (図10参照)。すなわち、各AV機器の前面に設け られたインジケータ部(LED表示やモニタ表示� �よってAV機器の動作状態を示す部位)の画像� �ら、各AV機器が制御された通りの動作をした か否かを判断するようになっている。例えば 、DVDレコーダ16が電源オンの状態になると、� ��源オン・オフを示すインジケータが赤く点� ��する場合には、DVDレコーダ16に対して電源� �オンにするリモコン信号を送信したときは� �電源オン・オフを示すインジケータが赤く� �灯しているか否かを、CCD(Charge Coupled Devices) ビデオカメラ103により撮影された画像データ から判断する。

 PC200と専用コントローラ300は、ユーザか� �の指示を入力する指示入力手段であり、略� �一の機能を有する。PC200を用いて指示を行う 場合には、PC200のモニタに表示された表示画� ��をもとに所定の指示(例えば、リモコン機能 の学習、制御対象機器の状態の学習、タイム テーブルの作成など)を行う。指示された情� �は、ルータ120、通信ネットワーク4を介して� ��器制御サーバ2に送信される。専用コントロ ーラ300を用いて指示を行う場合には、TV12にOS D表示された画面をもとに所定の指示(例えば� ��リモコン機能の学習、制御対象機器の状態� ��学習、タイムテーブルの作成など)を行う。 指示された情報は、赤外線送受信装置100、PLC 部110、ルータ120及び通信ネットワーク4を介� �て機器制御サーバ2に送信される。なお、本� ��施の形態においては、PC200と専用コントロ� �ラ300の双方を具備する構成としているが、� �ずれか一方だけを具備する構成としてもよ� �。

 図6は、赤外線送受信装置100の機能ブロッ ク図である。図6に示すように、赤外線送受� �装置100は、CPU111、メモリ112、赤外線送受信� �御部113、タイマ部114、PLCインターフェース(� ��下、PLC-IF)部115、イーサネット(登録商標)イ� ��ターフェース(以下、イーサ-IF)部116、CCD部11 7、及びCCD制御部118を有している。

 CPU111は、赤外線送受信装置100の演算・制� ��手段であり、メモリ112は、赤外線送受信装� ��100の記憶手段である。詳しくは、メモリ112� ��は、機器制御サーバ2から送信された実行デ ータが記憶される。メモリ112は、機器制御サ ーバ2が管理する実行データ(リモコンデータ� ��タイムテーブル)のうち、実行直近のいくつ かの実行データを記憶するだけなので、小さ な記憶容量の記憶手段として構成することが できる。例えば、機器制御サーバ2は、実行� �時が現日時から所定時間先(例えば、24時間� �など)までの実行データを前もって送信する� ��うにしてもよいし、また、実行日時が近い� ��に所定の件数分(5件など)の実行データを送� ��するようにしてもよい。以下、機器制御サ� ��バ2が実行データを機器制御クライアント3� �送信する日時を送信日時と称する。

 赤外線送受信制御部113は、赤外線の送受� ��を制御するようになっている。詳しくは、� ��外線によるリモコン信号を受信したときは� ��周波数変調(例えば38KHz)されたリモコン信号 をN倍(少なくとも2倍、好ましくは10倍以上)の サンプリング周波数でサンプリングして、機 器制御サーバ2に送信し、また、赤外線によ� �リモコン信号を送信するときは、メモリ111� �記憶されたリモコンデータをそのままリモ� �ン信号として送信するようになっている。� �なわち、本実施の形態では、従来のように� �モコンデータをリモコンコードの形態とし� �記憶するのではなく、上述したN倍のサンプ� ��ング周波数でサンプリングされた周波数変� ��のリモコン信号を機器制御サーバ2及びメモ リ111で記憶している。これにより、既存のリ モコンの通信方式だけでなく、将来のリモコ ンの通信方式にも対応可能であり、多様な通 信方式に柔軟に対応できる。なお、本実施の 形態において、赤外線送受信制御部113は、各 AV機器にリモコン信号を送信したり、被学習� ��モコンからリモコン信号を受信したりする� ��、専用コントローラ300とも赤外線通信を行� ��ようになっている。

 タイマ部114は、時計機能(電波時計が好ま しい)を有しており、メモリ112に記憶された� �行データの実行日時を常時チェックしてい� �。

 PLC-IF部115は、電力線通信を行うためにイ� ��ターフェースである。本実施の形態では、P LC-IF部115及びイーサ-IF部116を介することで、� ��外線送受信装置100とPLC部110との通信が可能� ��なっている。

 CCD部117及びCCD制御部118は、CCDビデオカメ� ��103のレンズを通った光を電気信号に変換し� ��CCDビデオカメラ103が撮影した画像データを� ��成するようになっている。

<機器制御サーバの構成>
 図7は、機器制御サーバ2のサーバ構成を示� �機能ブロック図である。図7に示すように、� ��器制御サーバ2は、リモコンデータ記憶部201 、状態データ記憶部202、タイムテーブル記憶 部203、EPG(Electronic Program Guide)データ記憶部20 4、制御部205、及び通信部206を備えている。� �お、機器制御サーバ2は、物理的に一つから� ��る装置の他、複数の装置がネットワーク接� ��されたシステムなどの構成であってもよい� ��

 リモコンデータ記憶部201は、リモコン機� ��の学習の際(詳しくは後述する)に、機器制� �クライアント3から送信されるリモコンデー� ��を記憶するデータベースであり、リモコン� ��ータはユーザごとに管理されている。すな� ��ち、各ユーザが学習させたそれぞれのリモ� ��ンデータをサーバ側で一括して管理するよ� ��になっている。なお、リモコンデータ記憶� ��201に記憶されるリモコンデータは、上述し� ��ように、赤外線送受信装置100が受信した、� ��波数変調されたリモコン信号のN倍のサンプ リング周波数でサンプリングされたリモコン 信号である。

 状態データ記憶部202は、制御対象機器の� ��態学習の際(詳しくは後述する)に、機器制� �クライアント3から送信される状態データを� ��憶するデータベースであり、状態データは� ��リモコンデータと同様に、ユーザごとに管� ��されている。すなわち、各ユーザが学習さ� ��たそれぞれの状態データをサーバ側で一括� ��て管理するようになっている。状態データ� ��、上述したように制御対象機器が正常な動� ��をしたか否かを判断するためのデータであ� ��から、制御対象機器に対して所定の機能を� ��行させたときの正常な状態を、制御対象機� ��の状態学習の際に予めデータベースに登録� ��ておくものである。例えば、具体的には、D VDレコーダ16の電源をオンにするという機能� �対しては、CCDカメラ103により撮影したDVDレ� �ーダ16の電源オン・オフを示すインジケータ 部が特定の色(例えば赤色など)に光っている� ��像データを状態データとして状態データ記� ��部202に登録しておく。

 タイムテーブル記憶部203は、タイムテー� ��ル作成の際(詳しくは後述する)に、機器制� �クライアント3から送信されるタイムテーブ� ��を記憶するデータベースであり、タイムテ� ��ブルは、リモコンデータと同様に、ユーザ� ��とに管理されている。すなわち、各ユーザ� ��作成したそれぞれのタイムテーブルをサー� ��側で一括して管理するようになっている。� ��イムテーブルとは、タイマ機能により制御� ��象機器を自動操作する場合の操作コマンド� ��記述したリストである。つまり、タイムテ� ��ブルには、何日の何時にどの機器をどのよ� ��に制御するのかが記述されている。機器制� ��サーバ2は、タイムテーブルに記述された実 行日時を常に監視しており、上述した送信日 時になると、該当するタイムテーブル及びリ モコンデータを実行データとして、機器制御 クライアント3に送信する。

 このように本実施の形態では、機器制御� ��ーバ2が制御対象機器のスケジュール管理を しているので、スケジュール管理に関しては 、機器制御クライアント3側には一切負荷が� �からないようになっている。

 図11にタイムテーブルの一例を示す。図11 に示すタイムテーブルL10は、タイムテーブル データcmd10、cmd20、cmd30及びcmd40から構成され� ��いる。具体的には、タイムテーブルデータc md10は、2006年10月22日の21時にCATV13の電源をオ� ��にして、60秒待機し、その後、CATV13のチャ� �ネルを362に設定するデータである。また、� �イムテーブルデータcmd20は、2006年10月22日の2 1時にDVDレコーダ16の電源をオンにし、信号入 力を外部入力1に設定し、録画を開始するデ� �タである。また、タイムテーブルデータcmd30 は、2006年10月22日の22時54分にDVDレコーダ16の� ��作を停止させ、電源をオフにするデータで� ��り、また、タイムテーブルデータcmd40は、20 06年10月22日の22時54分にCATV13の電源をオフに� �るデータである。すなわち、タイムテーブ� �L10によれば、機器制御システム1は、2006年10� ��22日の21時から21時54分までの間、CATV13の362� �ャンネルの番組コンテンツをDVDレコーダ16に 録画するようにAV機器を自動操作する。

 EPGデータ記憶部204は、EPGデータを記憶す� ��データベースであり、本実施の形態では、� ��器制御サーバ2側で一括して管理するように している。これにより、タイムテーブル作成 の際には、機器制御サーバ2のEPG機能を使っ� �番組選択をすることができるので、機器制� �クライアント3側で、EPG機能を備える必要は� ��く、機器制御クライアント3の構成を簡素化 できる。

 制御部205は、CPU、メモリ等から構成され� ��リモコンデータ記憶部201、状態データ記憶� ��202、テイムテーブル記憶部203、及びEPGデー� ��記憶部204の制御や、データの転送、種々の� ��算、データの一時的な格納等を行うことに� ��り、後述するような機器制御サーバ2の各種 動作を実行させるようになっている。なお、 制御部205は、タイマ機能を有しており、上述 したタイムテーブルの送信日時を常時チェッ クしている。

 通信部206は、通信ネットワーク4を介して 機器制御クライアント3と情報の送受信を可� �とする通信手段である。ここで、機器制御� �ーバ2は、機器制御クライアント3との通信の 際には、機器制御クライアント3を一意に識� �できる情報(例えば、IPアドレスなど)によっ� ��、機器制御クライアント3を識別している。 これにより、制御部205は、それぞれのユーザ を識別してユーザごとの各種動作を実行し、 リモコンデータ記憶部201、状態データ記憶部 202、タイムテーブル記憶部203には、ユーザご とのデータが管理される。

 なお、リモコンデータは、上述したよう� ��各ユーザ単位に管理されるデータであるた� ��、例えば、ユーザAが学習させたリモコンデ ータは、ユーザAだけが使用可能であるが、� �べてのユーザが共有できるリモコンデータ� �別途、保持するようにしてもよい。例えば� �ユーザAが学習させたリモコンデータを機器� ��御サーバ2上の所定のホルダに保存したとき は、すべてのユーザが使える仕様としてもよ い。これにより、自らリモコンデータを学習 させなくても、他人の学習させたリモコンデ ータを使うことができるので、リモコン機能 の学習操作に対する労力を省力化することが できる。

<リモコン機能の学習>
 次に、機器制御システム1におけるリモコン データの学習について説明する。図8は、リ� �コンデータを学習するときに、PC200のモニタ に表示される画面d10(又はTV12に表示されるOSD� ��示の画面d10)である。ユーザがPC200(又は専用 コントローラ300)を操作して、機器制御サー� �2にリモコン学習モードを指示する操作信号� ��送信することにより、リモコン学習モード� ��なり、画面d10が表示される。

 画面d10が表示されると、ユーザは、PC200(� ��は専用コントローラ300)を操作して、登録リ モコンa10(登録するリモコンの種類;例えば、D VDレコーダなど)、及び登録内容a20(登録する� �作、機能;例えば、電源オンを示す「PowerOn」 など)を入力する。次に、ユーザは、PC200(又� �専用コントローラ300)を操作して、画面d10に� ��示されている仮想リモコンb10の所定のボタ� ��a30を指示する。これにより、仮想リモコンb 10の指示したボタンa30に上述した登録リモコ� ��の登録内容の機能が割り当てられることに� ��る。

 次に、ユーザは、学習させるリモコン(被 学習リモコンという;例えば、DVDレコーダの� �用リモコンなど)を赤外線送受信装置100に向� ��て、被学習リモコンの登録内容を実行する� ��タンを操作する。これにより、被学習リモ� ��ンのリモコン信号が赤外線送受信装置100を� ��して機器制御サーバ2に送信され、仮想リモ コンの所定のボタンa30と対応付けられて、学 習されたリモコンデータとしてリモコンデー タ記憶部201に記憶される。なお、このリモコ ンデータは、赤外線送受信装置100が受信した 、周波数変調されたリモコン信号のN倍のサ� �プリング周波数でサンプリングされたリモ� �ン信号である。以上の操作を登録したいAV機 器の登録したい機能ごとに繰り返して、リモ コン機能の学習を行う。

 なお、短縮キー登録a40も可能なので、複� ��の操作(例えば、CATVの電源オンにし、チャ� �ネルを360chに設定するなど)を1つのボタンに� ��り当てるようにしてもよい。

 また、機器制御システム1は、外部通信ネ ットワークと接続されているので、上述した 方法とは別に、リモコンデータを保持するサ ーバからダウンロードすることにより、制御 対象機器のリモコンデータを機器制御サーバ 2のリモコンデータ記憶部201に登録させるこ� �も可能である。

<制御対象機器の状態の学習>
 次に、機器制御システム1における制御対象 機器の状態の学習について説明する。図9は� �制御対象機器の状態を学習するときに、PC200 のモニタに表示される画面d20(又はTV12に表示� ��れるOSD表示の画面d20)である。ユーザがPC200( 又は専用コントローラ300)を操作して、機器� �御サーバ2に状態学習モードを指示する操作� ��号を送信することにより、状態学習モード� ��なり、画面d20が表示される。

 画面d20が表示されると、ユーザは、PC200(� ��は専用コントローラ300)を操作して、登録機 器a50(リモコン機能の学習で登録したリモコ� �の種類;例えば、IPTVなど)、及び登録内容a60(� ��モコン機能の学習で登録した操作、機能;電 源オンを示す「PowerOn」など)を入力する。

 次いで、ユーザは、入力結果を確認後、P C200(又は専用コントローラ300)の所定のキーを 操作すると、登録内容a60に対応する機能のリ モコン信号が赤外線送受信装置100を介して送 信される。この結果、制御対象機器(登録機� �a50)は、リモコン信号を受信し、リモコン信� ��に応じた動作を行う。一方、リモコン信号� ��信後、赤外線送受信装置100には、CCDビデオ� ��メラ103が撮影したビデオ信号が入力される� ��で、当該ビデオ信号が示す画像データをモ� ��タ画面b20に表示する。モニタ画面b20に表示� ��れる画像データの一例を図10(b)に示す。図10 (b)は、CATV13の電源をオンにするリモコン信号 を送信し、CATV13の電源オン・オフを示すイン ジケータ部が赤く点灯した状態(電源オン状� �)の画像である。なお、図10(a)は、CATV13の電� �がオフの状態のときの画像である。

 次いで、ユーザはPC200(又は専用コントロ� ��ラ300)を操作して、モニタ画面b20に表示され た画像のうち、登録したい領域a70を指示する 。例えば、「CATV13電源をオンにする」という 機能に対しては、画面中央からやや左上の領 域に表示されるCATV13の電源オン・オフを示す インジケータ部を囲む領域a70を指示する(図10 参照)。これにより、赤く点灯した、CATV13の� �源オン・オフを示すインジケータ部を含む� �域a70の画像データが、選択された領域a70の� �面上の位置関係を示すデータ(2次元座標デー タ)とともに、「CATV13電源をオンにする」と� �う機能を実行したときの正常な状態を示す� �態データとして、機器制御サーバ2に送信さ� ��、状態データ記憶部202に記憶される。なお� ��登録した状態データは、画面d20の右方に登� ��済みリストb40として表示される。以上の操� ��を登録したいAV機器の登録したい機能ごと� �繰り返して、制御対象機器の状態の学習を� �う。

 このように本実施の形態の制御対象機器� ��状態の学習は、予め、制御対象機器に所定� ��機能を実行させて、正常な動作を示す画像� ��ータを当該機能と対応付けて登録しておく� ��のである。

 なお、上述した制御対象機器の状態の学� ��においては、電源オン・オフの制御を具体� ��として挙げて説明したが、これ以外の機能� ��対しても適用されるのは勿論であり、例え� ��、記録・再生・停止などの制御、入力信号� ��切り替え(外部入力、ビデオ、TVなど)やチャ ンネル設定などの機能に適用可能である。記 録・再生・停止などの制御に関しては、電源 オン・オフのときと同様に、当該機能を示す LED表示の画像を登録すればよいし、入力信号 の切り替えやチャンネル設定に関しては、当 該機能を表示するモニタ表示の画像を登録す ればよいものである。

<制御対象機器の動作確認>
 次に、機器制御システム1における制御対象 機器の動作確認について説明する。本実施の 形態においては、所定の機能を制御対象機器 に実行させたときの状態データと、上述した 制御対象機器の状態の学習において、予め登 録した上記所定の機能の状態データと、のマ ッチングにより、機器制御サーバ2が制御対� �機器の動作を確認するようになっている。� �なわち、両状態データが一致すると判断し� �ときは、制御対象機器が正常に動作してい� �と判断するものである。

 例えば、上述した「CATV13の電源をオンに� ��る」という機能に対応するリモコン信号を� ��御対象機器に送信したときには、当該リモ� ��ン信号を送信した後にCCDビデオカメラ103か� ��入力されるビデオ信号は、機器制御サーバ2 に送信されるので、機器制御サーバ2は、特� �領域(制御対象機器の状態の学習の際、登録� ��た領域であり、具体的には、領域a70)の画像 を抽出し、この抽出した特定領域の画像デー タと、「CATV13電源をオンにする」という機能 に対応させて状態データ記憶部202に予め登録 した画像データと、のパターンマッチングに よって判断する。すなわち、両画像が一致す ると判断したときには、CATV13の電源はオンに 制御され、CATV13は正常に動作していると判断 する。一方、両画像が一致しないときには(� �えば、制御後に取得した画像データの電源� �ン・オフを示すインジケータ部が赤く点灯� �ていない場合)、CATV13の電源はオンに制御さ� ��ていないので、CATV13は正常に動作していな� ��と判断する。

 ここで、図11に示すタイムテーブルL10に� �って制御対象機器を動作させたときの動作� �認を具体的に説明する。

 まず、タイムテーブルデータcmd10におい� �、CATV13の電源をオンにする機能に対しては� �CATV13の電源オン・オフを示すインジケータ� �(例えば、LED表示)の画像により判断する。ま た、CATV13のチャンネルを362に設定する機能に 対しては、CATV13のチャンネル番号を表示する インジケータ部(例えば、モニタ表示)の画像� ��より判断する。

 次に、タイムテーブルデータcmd20におい� �、DVDレコーダ16の電源をオンにする機能に対 しては、DVDレコーダ16の電源オン・オフを示� ��インジケータ部(例えば、LED表示)の画像に� �り判断する。また、信号入力を外部入力1に� ��定する機能に対しては、DVDレコーダ16の信� �入力を示すインジケータ部(例えば、モニタ� ��示)の画像により判断する。また、録画を開 始する機能に対しては、DVDレコーダ16の録画� ��態を示すインジケータ部(例えば、LED表示)� �画像により判断する。

 次に、タイムテーブルデータcmd30におい� �、DVDレコーダ16の動作を停止する機能に対し ては、DVDレコーダ16の停止を示すインジケー� ��部(例えば、LED表示)の画像により判断する� �また、DVDレコーダ16の電源をオフにする機能 に対しては、DVDレコーダ16の電源オン・オフ� ��示すインジケータ部(例えば、LED表示)の画� �により判断する。

 最後に、タイムテーブルデータcmd40にお� �て、CATV13の電源をオフにする機能に対して� �、CATV13の電源オン・オフを示すインジケー� �部(例えば、LED表示)の画像により判断する。

<タイムテーブルの作成>
 次に、機器制御システム1におけるタイムテ ーブル作成処理について説明する。機器制御 システム1は、タイマ機能により制御対象機� �を自動操作することが可能となっている。

 図12は、タイムテーブルを作成するとき� �、PC200のモニタに表示される画面d30(又はTV12� ��表示されるOSD表示の画面d30)。ユーザがPC200( 又は専用コントローラ300)を操作して、機器� �御サーバ2に予約モードを指示する操作信号� ��送信することにより、予約モードになり、� ��面d30が表示される。

 画面d30が表示されると、ユーザは、PC200(� ��は専用コントローラ300)を操作して、予約日 時(年、月、日、時、分)a110を入力し、次いで 、ユーザは、PC200(又は専用コントローラ300)� �操作して、コマンドa120を入力する。コマン� ��a120の入力に際しては、画面d30に表示された 仮想リモコンb10の所定のボタンa130(上述した� ��モコン機能の学習により、既に所定の機能� ��割り当てられたボタン)を操作することによ り、当該ボタンに対応した機能(コマンド)が� ��動的に入力されるようになっている。この� ��うに、本実施の形態においては、仮想リモ� ��ンb10の機能を割り付けられたボタンを操作� ��るだけで簡単にタイムテーブルを作成する� ��とができる。なお、作成されたタイムテー� ��ルは機器制御サーバ2に送信され、タイムテ ーブル記憶部203に記憶される。

 ここで、作成されたタイムテーブルの中� ��、同一制御対象機器に対して時間帯が重な� ��複数の予約が生じることがあり得るが、こ� ��場合には、予め設定された順序に従って、� ��の同一機能を有する別の制御対象機器に予� ��を割り振るようなタイムテーブルを作成し� ��もよい(例えば、DVDレコーダAで予約データ� �重複している場合には、重複した一の予約� �ータの制御対象機器をDVDレコーダBにするな� ��)。これは各社のリモコンを学習し、かつ予 約を一元管理していることにより可能になる ものである。

<動作>
 次に、図13~図16を用いて、機器制御システ� �1の動作について説明する。ここで、図13及� �図14は、機器制御サーバ2の動作を示すフロ� �チャートであり、図15及び図16は、機器制御� ��ライアント3の動作を示すフローチャートで ある。

 まず、図13を参照して、機器制御サーバ2� ��動作について説明する。

 ステップS10では、機器制御クライアント3 から、操作指示信号を受信したか否かを判断 する。操作指示信号は、PC200又は専用コント� ��ーラ300を介してユーザから指示された信号� ��あり、具体的には、リモコン機能の学習を� ��示する信号、制御対象機器の状態の学習を� ��示する信号、タイムテーブル作成を指示す� ��信号の3種類が存在する。操作指示信号を受 信したときは、ステップS20に進み、操作指示 信号を受信しなかったときは、ステップS90に 進む。

 ステップS20では、操作指示信号の種類に� ��じて、フラグをオンにする。すなわち、リ� ��コン機能の学習を指示する信号のときには� ��リモコン学習フラグをオンにし、制御対象� ��器の状態の学習を指示する信号であるとき� ��は、状態学習フラグをオンにし、タイムテ� ��ブル作成を指示する信号のときには、予約� ��ラグをオンにする。

 ステップS30では、リモコン学習フラグが� ��ンであるか否かを判断し、リモコン学習フ� ��グがオンであるときには、ステップS40に進� ��、リモコン機能の学習を行い(図8参照)、学� ��したリモコンデータをリモコンデータ記憶� ��201に記憶させる。一方、リモコン学習フラ� ��がオンでないときには、ステップS50に進む� ��

 ステップS50では、状態学習フラグがオン� ��あるか否かを判断し、状態学習フラグがオ� ��であるときには、ステップS60に進み、制御� ��象機器の状態の学習を行い(図9)、学習した� ��態データを状態データ記憶部202に記憶させ� ��。一方、状態学習フラグがオンでないとき� ��は、ステップS70に進む。

 ステップS70では、予約フラグがオンであ� ��か否かを判断し、予約フラグがオンである� ��きには、ステップS80に進み、タイムテーブ� ��作成処理を行い(図12参照)、作成されたタイ ムテーブルをタイムテーブル記憶部203に記憶 させる。一方、予約フラグがオンでないとき には、ステップS90に進む。

 ステップS90では、現日時(年、月、日、時 、分)をチェックし、次いで、ステップS100で� ��、タイムテーブル記憶部203に記憶されたタ� ��ムテーブルをチェックする。現日時がタイ� ��テーブルに記述された実行日時(年、月、日 、時、分)の所定時間前、すなわち、送信日� �に該当するときには、イベントフラグをオ� �にする。

 ステップS110では、イベントフラグがオン であるか否かを判断し、イベントフラグがオ ンであるときには、ステップS120に進み、機� �制御クライアント3に実行データを送信する� ��ータ送信処理を行い、ステップS10に戻る。� ��方、イベントフラグがオンでないときには� ��ステップS10に戻る。

 ここで、図14を参照して、ステップS120の� ��ータ送信処理を詳しく説明する。図14は図13 のステップS120のデータ送信処理を詳しく示� �フローチャートである。

 ステップ121では、タイムテーブルに従っ� ��、送信日時に該当する実行データ(タイムテ ーブル、リモコンデータ)を機器制御クライ� �ント3に送信する。これにより、機器制御ク� ��イアント3は、受信した実行データをメモリ 112に一旦記憶しておき、実行日時に当該実行 データのコマンド(リモコンデータ)を制御対� ��機器に送信する。

 ステップ122では、実行日時に当該実行デ� ��タのコマンド(リモコンデータ)を送信した� �器制御クライアント3は、コマンド送信後、� ��御対象機器から状態データを取得するので� ��この状態データを機器制御クライアント3か ら受信する。

 ステップ123では、受信した状態データと� ��状態データ記憶部202に記憶された状態デー� ��の比較に基づいて、制御対象機器が実行デ� ��タのコマンドに応じた状態になっているか� ��かを確認する。

 ステップ124では、制御対象機器がコマン� ��に応じた状態である、すなわち正常に動作� ��ているときには、データ送信処理を終了し� ��制御対象機器がコマンドに応じた状態でな� ��ときには、ステップS125に進む。

 ステップ125では、機器制御クライアント3 が一旦送信したコマンドを再送信する指示を 機器制御クライアント3に送信する。これに� �り、機器制御クライアント3は、コマンドを� ��御対象機器に再送信する。

 ステップ126では、コマンドの送信回数が� ��定の回数、例えば、3より多いか否かを判定 する。コマンドの送信回数が所定の回数より 多くない場合には、ステップS122に進み、制� �対象機器が再送信したコマンドに応じた状� �になっているか否かを確認するため、状態� �ータを再受信する。コマンドの送信回数が� �定の回数より多い場合には、復旧不可能と� �断し、ステップS127に進み、エラーログ情報� ��記録する指示を機器制御クライアント3に送 信する。これにより、機器制御クライアント 3は、エラーログ情報を記録し、機器制御サ� �バ2に送信するので、機器制御サーバ2は、こ のエラーログ情報を記録保存する。

 次に、図15を参照して、機器制御クライ� �ント3の動作について説明する。

 ステップS210では、機器制御サーバ2から� �サーバ指示信号を受信したか否かを判断す� �。サーバ指示信号は、機器制御サーバ2から� ��指示信号であり、PC200又は専用コントロー� �300を介してユーザが指示した信号に応じた� �示であったり、タイムテーブルに従ってデ� �タを送信するときの指示であったりする。� �体的には、リモコン機能の学習を指示する� �号、制御対象機器の状態の学習を指示する� �号、タイムテーブル作成を指示する信号、� �行データの受信を指示する信号の4種類が存� ��する。機器制御サーバ2から、サーバ指示信 号を受信したときは、ステップS210に進み、� �ーバ指示信号を受信しなかったときは、ス� �ップS310に進む。

 ステップS220では、サーバ指示信号の種類 に応じて、機器制御クライアント3のモード� �定を行う。すなわち、リモコン機能の学習� �指示する信号のときには、リモコン学習モ� �ドに設定し、制御対象機器の状態の学習を� �示する信号であるときには、状態学習モー� �に設定し、タイムテーブル作成を指示する� �号のときには、予約モードに設定し、実行� �ータの受信を指示する信号のときは、デー� �受信モードに設定する。

 ステップS230では、データ受信モードであ るか否かを判断し、データ受信モードである ときは、ステップS240に進み、機器制御サー� �2から実行データを受信し、メモリ112に記憶� ��る。一方、データ受信モードでないときは� ��ステップS250に進む。

 ステップS250では、リモコン学習モードで あるか否かを判断し、リモコン学習モードで あるときには、ステップS260に進み、リモコ� �機能の学習を行い(図8参照)、リモコンデー� �を機器制御サーバ2に送信する。一方、リモ� ��ン学習モードでないときには、ステップS270 に進む。

 ステップS270では、状態学習モードである か否かを判断し、状態学習モードであるとき には、ステップS280に進み、制御対象機器の� �態の学習を行い(図9参照)、状態データを機� �制御サーバ2に送信する。一方、状態学習モ� ��ドでないときには、ステップS290に進む。

 ステップS290では、予約モードであるか否 かを判断し、予約モードであるときには、ス テップS300に進み、タイムテーブル作成処理� �行い(図12参照)、作成されたタイムテーブル� ��機器制御サーバ2に送信する。一方、予約モ ードでないときには、ステップS310に進む。

 ステップS310では、現日時(年、月、日、� �、分)をチェックし、次いで、ステップS320で は、メモリ112に記憶された実行データの実行 日時(年、月、日、時、分)をチェックする。

 ステップS330では、現日時が実行データの 実行日時であるか否かを判断し、現時刻が実 行データd10の実行日時であるとき、すなわち 、制御対象であるAV機器を制御する時刻であ� ��ときは、ステップS340に進み、制御対象機器 の動作を制御する。一方、現日時が実行デー タの実行日時でないときは、ステップS210に� �る。

 ここで、図16を参照して、ステップS340の� ��器制御処理を詳しく説明する。図16は図15の ステップS340の機器制御処理を詳しく示すフ� �ーチャートである。

 ステップ341では、メモリ112に記憶された� ��行データのコマンドに従って、該当するリ� ��コン信号を制御対象機器に送信する。

 ステップ342では、リモコン信号を送信後� ��制御対象機器から状態データを取得する。

 ステップ343では、制御対象機器から取得� ��た状態データを機器制御サーバ2に送信する 。

 以上、本実施の形態の機器制御システム1 によれば、制御対象機器に対して所定の機能 を実行させる場合、所定の機能に対応するリ モコン信号を送信するだけでなく、当該リモ コン信号を送信した後の制御対象機器から出 力される状態データを取り込んで、制御対象 機器が正常に動作したか否かを判断すること ができるので、制御対象機器の動作を把握し て、確実に制御対象機器を制御することがで きる。この結果、無人状態、つまり、タイマ 機能により制御対象機器を自動操作するよう な場合であっても、確実に制御対象機器を制 御することができる。

 特に本実施の形態においては、制御対象� ��器の前面を撮影した画像データの特定領域( 例えば、インジケータ部)の画像データを所� �の機能に対応付けた状態データとして学習� �せることができるので、所定の機能を制御� �象機器に実行させる場合には、学習させた� �像データと同一画像が得られたかどうかを� �像認識することにより、正確に制御対象機� �の動作を把握することができる。

 さらに、制御対象機器が正常な動作をし� ��いないときは、復旧のための処理、すなわ� ��、再度、同一のリモコン信号を送信し、再� ��、状態データを取得して、制御対象機器の� ��態を判断するので、例えば、他のユーザに� ��る操作が介在したために所望の動作をしな� ��ような場合であっても、正常な動作をさせ� ��ことができる。

 また、本実施の形態の機器制御システム1 によれば、機器制御サーバ1と機器制御クラ� �アント3に機能を分散して機器を配置し、機� ��制御サーバ1が一元的にリモコンデータ、状 態データ、及びタイムテーブルを管理し、制 御対象機器の動作を総合的に制御して、制御 対象機器の動作確認を行うという負荷の高い 処理を実行するので、各ユーザ宅に設置され る機器制御クライアント3を簡単な構成とす� �ことができる。

 なお、本実施の形態においては、ビデオ� ��メラが撮影した画像データを状態データと� ��、制御対象機器が正常に動作したか否かの� ��断に用いたが、状態データを別の用途に用� ��てもよい。例えば、ユーザの所定の動作の� ��像データに所定の機能を対応付けて事前に� ��習させ(記憶させ)、学習させた動作と同一� �動作をしたときは、当該動作に対応付けら� �た機能を実行させるようにしてもよい。例� �ば、ユーザが手で大きく×印を描くような動 作をしたときは、現在、動作している制御対 象機器すべての動作を停止させるという制御 をさせるようにしてもよい。

(第1の実施の形態の変形例1)
 図17は、本発明の第1の実施の形態に係る機� ��制御システム1の変形例が適用されるAVシス� ��ム20の概略構成図である。本変形例では、� �1の実施の形態の赤外線送受信装置100の赤外� ��送受信機能とカメラ機能を2つの筐体に分け て構成したものであり、その他の機能及び動 作は第1の実施の形態と同一である。すなわ� �、本変形例の機器制御クライアント5は、赤� ��線送受信装置400と、CCDビデオカメラ500と、P C200と、専用コントローラ300と、ルータ120と� �ら構成されている。

 このように、機器制御クライアントの機� ��構成は種々想定されるものであり、第1の実 施の形態に係る機器制御システム1と同一の� �能が担保されるのであれば、機器制御クラ� �アントの具体的な機器構成は機器制御クラ� �アント3又は5に限定されない。

(第2の実施の形態)
<構成>
 図18は、本発明の第2の実施の形態に係る機� ��制御システムが適用されるAVシステム30の概 略構成図である。図18に示すAVシステム30は、 赤外線送受信装置600とPC200とルータ120で構成� ��れる機器制御クライアント6、AVアンプ11、TV 12、CATVのSTB(以下、CATVと略す)13、IPTVのSTB(以� �、IPTVと略す)14、FMチューナ15、及びDVDレコー ダ16により構成されている。なお、第2の実施 の形態に係る機器制御システムの機器制御サ ーバは、第1の実施の形態の構成と略同一で� �るため、機器制御サーバの構成図について� �省略する。また、本実施の形態においては� �第1の実施の形態と異なる構成及び機能のみ� ��明し、その他の構成及び機能については同� ��部分には同一符号を付して説明を省略する� ��

 赤外線送受信装置600は、赤外線送受信機� ��及びAV信号入出力機能を備えている。AV信号 入出力機能は、赤外線送受信装置100のカメラ 機能に代替するものであり、本実施の形態に おいては、ビデオカメラで制御対象機器の状 態データを取得するのではなく、制御対象機 器のAV信号を制御対象機器の状態データとす� ��ものである。従って、赤外線送受信装置600� ��、接続ケーブルを介して、CATV13、IPTV14、FM� �ューナ15及びDVDレコーダ16と接続されており� ��これらAV機器とAV信号のやりとりが可能とな っている。

<制御対象機器の状態の学習>
 本実施の形態における制御対象機器の状態� ��学習について説明する。図19は、制御対象� �器から入力されるビデオ信号の画像データd4 0の一例を示している。この画像データd40は� �第1の実施の形態において制御対象機器の状� ��を学習する際に、画面d20のモニタ画面b20に� ��示された画像データに相当するものである� ��すなわち、ユーザは、画像データd40のうち� ��学習させたい機能が表示される特定領域の� ��像を選択して登録するものである。例えば� ��CATV13のチャンネルを362に設定すると、CATV13� ��OSD機能により画面右上にチャンネル番号(例 えば、362)が所定時間、表示される場合には� �図19に示すような画像データd40が入力される ので、「CATV13のチャンネル番号を362に設定す る」という機能に対しては、画面右上の領域 に表示される「362」の文字を囲む領域a80を指 示して、「362」の文字を含む領域a80の画像デ ータを、選択された領域a80の画面上の位置関 係を示すデータ(2次元座標データ)とともに、 正常な状態を示す状態データとして状態デー タ記憶部202に登録するものである。

 このように本実施の形態の制御対象機器� ��状態の学習は、予め、制御対象機器に所定� ��機能を実行させて、正常な動作を示す画像� ��ータをAV信号から取得して、当該機能と対� �付けて登録しておくものである。

 なお、上記説明では、チャンネル設定の� ��能を具体例として説明したが、これ以外の� ��能に対しても適用されるのは勿論であり、� ��えば、入力信号の切り替え(外部入力、ビデ オ、TVなど)や電源オン・オフなどの機能に適 用可能である。入力信号の切り替えや電源オ ン・オフのときにも、所定の文字(VIDEO、入力 、TVなど)が特定の位置にOSD表示されるので、 この特定の位置の画像データを予め登録して おくものである。また、音量のレベル設定や ミュート設定なども当該機能に対応するOSD表 示(所定の文字やレベルメータなどの表示)が� ��れるので、この特定の位置の画像データを� ��め登録しておくことにより、適用は可能で� ��る。

 また、上記説明では、制御対象機器が出� ��するビデオ信号に基づいて画像データを学� ��する画面であったが、状態学習モードにお� ��て学習する状態データは画像データに限定� ��れず、制御対象機器が出力するオーディオ� ��号に基づいて音声データを学習するように� ��てもよい。

<制御対象機器の動作確認>
 次に、本実施の形態における制御対象機器� ��動作確認について説明する。本実施の形態� ��おいても、第1の実施の形態と同様に、所定 の機能を制御対象機器に実行させたときの状 態データと、上述した制御対象機器の状態の 学習において、予め登録した上記所定の機能 の状態データと、のマッチングにより、機器 制御サーバが制御対象機器の動作を確認する ようになっている。すなわち、両状態データ が一致すると判断したときは、制御対象機器 が正常に動作していると判断するものである 。

 例えば、上述した「CATV13のチャンネル番� ��を362に設定する」という機能に対応するリ� ��コン信号を制御対象機器に送信したときに� ��、当該リモコン信号を送信した後にCATV13か� ��入力されるビデオ信号は、赤外線送受信装� ��600を介して機器制御サーバに送信されるの� ��、機器制御サーバは、特定領域(制御対象機 器の状態の学習の際、登録した領域であり、 具体的には、領域a80)の画像を抽出し、この� �出した特定領域の画像データと、「CATV13の� �ャンネル番号を362に設定する」という機能� �対応させて状態データ記憶部202に予め登録� �た画像データと、のパターンマッチングに� �って判断する。なお、パターンマッチング� �関しては、種々の方法が想定されるが、例� �ば、文字を描く線の中心を検出して、パタ� �ンマッチングの基準としてもよいし、また� �所定の値以上、例えば、マッチングレベル90 %以上であれば一致すると判断するようにし� �もよい。

 以上、本実施の形態の機器制御システム� ��よれば、制御対象機器に対して所定の機能� ��実行させる場合、所定の機能に対応するリ� ��コン信号を送信するだけでなく、当該リモ� ��ン信号を送信した後の制御対象機器から出� ��される状態データを取り込んで、制御対象� ��器が正常に動作したか否かを判断すること� ��できるので、制御対象機器の動作を把握し� ��、確実に制御対象機器を制御することがで� ��る。この結果、無人状態、つまり、タイマ� ��能により制御対象機器を自動操作するよう� ��場合であっても、確実に制御対象機器を制� ��することができる。

 特に本実施の形態においては、制御対象� ��器が出力するビデオ信号の特定領域の画像� ��ータを所定の機能に対応付けた状態データ� ��して学習させることができるので、所定の� ��能を制御対象機器に実行させる場合には、� ��習させた画像データと同一画像が得られた� ��どうかを画像認識することにより、正確に� ��御対象機器の動作を把握することができる� ��

 さらに、制御対象機器が正常な動作をし� ��いないときは、復旧のための処理、すなわ� ��、再度、同一のリモコン信号を送信し、再� ��、状態データを取得して、制御対象機器の� ��態を判断するので、例えば、他のユーザに� ��る操作が介在したために所望の動作をしな� ��ような場合であっても、正常な動作をさせ� ��ことができる。

 また、本実施の形態の機器制御システム� ��よれば、機器制御サーバと機器制御クライ� ��ントに機能を分散して機器を配置し、機器� ��御サーバが一元的にリモコンデータ、状態� ��ータ、及びタイムテーブルを管理し、制御� ��象機器の動作を総合的に制御して、制御対� ��機器の動作確認を行うという負荷の高い処� ��を実行するので、各ユーザ宅に設置される� ��器制御クライアントを簡単な構成とするこ� ��ができる。

(その他実施の形態)
 以上、本発明の実施の形態について説明し� ��きたが、本発明の要旨を逸脱しない範囲に� ��いて、本発明の実施の形態に対して種々の� ��形や変更を施すことができる。

 例えば、上記実施の形態においては、ビ� ��オカメラで撮影した画像、又はAV信号の画� �に基づいて、制御対象機器の状態を判断し� �が、これ以外の要素に基づいて、制御対象� �器の状態を判断するようにしてもよい。一� �としては、各AV機器の前面のインジケータ部 近傍にそれぞれ受光機を設け、受光機の光検 出の状態に基づいて、制御対象機器の状態を 判断するようにしてもよい。図20は、このよ� ��な機器制御システムが適用されるAVシステ� �40の概略構成図である。図20に示すAVシステ� �40は、赤外線送受信装置400とPC200と複数の受� ��機700とルータ120で構成される機器制御クラ� ��アント7、AVアンプ11、TV12、CATVのSTB(以下、CA TVと略す)13、IPTVのSTB(以下、IPTVと略す)14、FM� �ューナ15、及びDVDレコーダ16により構成され� ��いる。この場合の機器制御システムは、イ� ��ジケータ部近傍に設けられた受光機700が検� ��した色の変化に基づいて、制御対象機器の� ��態を判断する。例えば、CATV13の電源をオン� ��すると、CATV13の前面の電源オン・オフを示� ��インジケータ部が赤く点灯する場合には、� ��CATV13の電源をオンする」という機能に対し� ��は、CATV13の電源オン・オフを示すインジケ� ��タ部が赤く点灯しているか否かを、インジ� ��ータ部近傍に設けられた受光機600の光検出� ��有無によって判断するものである。このよ� ��に、インジケータ部の色の変化を伴うよう� ��動作制御を確認する場合には、受光機の光� ��出の状態に基づいて判断するようにしても� ��い。

 また、上記実施の形態の機器制御システ� ��は、機器制御サーバが一元的にタイムテー� ��ルを管理して、制御対象機器を制御できる� ��うになっているので、例えば、制御対象機� ��が使用中、又は故障中で使えない場合など� ��は、同一機能を有する他の制御機器を検索� ��、同一機能を有する他の制御機器を動作さ� ��るようにしてもよい。例えば、制御対象機� ��としてDVDレコーダを2台備える場合などにお いて、一方のDVDレコーダが使用中のときは、 他方のDVDレコーダを代理の制御対象機器とし て動作させるものである。また、このように DVDレコーダを2台備える構成の場合には、各DV Dレコーダの記憶容量(例えば、ハードディス� ��全体の記憶容量、初期設定時の空き記憶容� ��など)を設定して、機器制御サーバに記憶さ せておけば、2台のDVDレコーダを連携させて� �動作させることも可能である。例えば、所� �のコンテンツを記憶容量が足りなくて、1台� ��DVDレコーダに記録させることができないよ� ��な場合であっても、2台のDVDレコーダを連携 させて記録させることが可能である。