以下、本発明の好ましい実施形態を図1~図17 に従って説明する。
 図1は、化粧に関するアドバイスを提供する ための化粧アドバイスシステム10を示す。化� ��アドバイスシステム10は、インターネット� �のネットワーク11を通じて互いに通信可能に 接続されたクライアント端末12と、サーバコ� ��ピュータ20(以下、単にサーバという)とを備 えている。クライアント端末12は、例えばネ� ��トワーク11に有線又は無線接続可能なパー� �ナルコンピュータや、携帯電話回線網13を介 してネットワーク11に接続可能な携帯電話機� ��ような移動局であり得る。ネットワーク11� �は、化粧または美容健康関連機関に設置さ� �たコンピュータ15が接続されている。コンピ ュータ15は、化粧に関する情報や、美容情報� ��び健康情報を、ネットワーク11を通じてサ� �バ20に提供する。化粧情報には、化粧品情報 (化粧品の新製品情報、特徴、使い方、成分� �)、化粧の手順やテクニックに関する情報な� ��が含まれる。ネットワーク11の例は、イン� �ーネット、LAN(Local Area Network)、及びVAN(付加 価値回線網)である。

 クライアント端末12は入力部12a(例えばキ� ��ボードやマウス等のポインティングデバイ� ��)を有する。入力部12aは、ユーザ14が化粧ア� ��バイスを受けたいときに、ユーザ14の顔画� �をクライアント端末12に入力するときに使用 される。クライアント端末12は、ユーザ14の� �顔画像を、ネットワーク11を通じてサーバ20� ��送信する。サーバ20は、クライアント端末12 から受信したユーザ14の素顔画像に画像処理� ��施して、ユーザ14専用の手本化粧顔画像を� �成し、その手本化粧顔画像をユーザ14のクラ イアント端末12に送信する。クライアント端� ��12はその手本化粧顔画像を表示部12bに表示� �る。クライアント端末12には、カメラ16が設� ��られている。カメラ16は、ユーザ14の素顔や 化粧顔を撮影するのに用いられる。カメラ16� ��クライアント端末12に内蔵されるか外部接� �される。

 サーバ20は、手本化粧顔画像をクライア� �ト端末12に提供した後、ユーザ14の素顔を手� ��化粧顔どおりの化粧顔にする化粧の手順を� ��書、音声、画像のうち少なくとも一つで説� ��する化粧手順レシピをユーザ14のクライア� �ト端末12に送信し、表示部12b等の出力装置に 化粧手順レシピを出力させる。化粧手順レシ ピは、少なくとも文章を含んでいる。化粧手 順レシピが例えば音声を含む場合、クライア ント端末12のスピーカから化粧手順を説明す� ��音声が出力される。

 化粧手順は複数のステップからなる。ユ� ��ザ14は化粧手順レシピに従って化粧を順次� �す。各ステップの目標化粧顔すなわち化粧� �中顔が出来上がると、ユーザ14は、その化粧 途中顔を撮影してクライアント端末12からサ� ��バ20に送信する。その化粧途中顔を受信し� �サーバ20は、現在の化粧ステップにおける化 粧途中顔を評価する。そして、サーバ20は、� ��在の化粧途中顔を、そのステップの手本化� ��顔に近づけるための化粧アドバイスを用意� ��、ユーザ14のクライアント端末12に送信する 。ユーザは例えば表示部12bに表示された化粧 アドバイスを参考にして、化粧を修正するこ とができる。

 図1に示すように、サーバ20は、本体21と� �第1~第7記憶部22~28(7種類のデータベース)を備 えている。記憶部22~28は、一つの記憶装置に� ��納されてもよく、複数の記憶装置に別々に� ��納されてもよい。記憶部22~28を格納する記� �装置は本体21に内蔵されていてもよく、外付 けされていてもよい。データベースのうち化 粧に関する化粧品や化粧の手順やテクニック 等の化粧に関する専門知識などが要求される 内容については、コンピュータ15からネット� ��ーク11を通じて取得した情報を用いて作成� �れている。

 サーバ20は記憶手段に格納された各種プ� �グラムコードに従って、ユーザ14専用の手本 化粧顔画像を生成する処理、ユーザ14の実施� ��た化粧を評価する処理、化粧のアドバイス� ��する処理を行なう。サーバ20は記憶手段に� �、図4,図5,図12,図13,図15,図17に示す画面をク� �イアント端末12の表示部12bに表示させるため の画像や、図3の化粧支援処理プログラムが� �納されている。化粧支援処理プログラムは� �化粧顔画像生成処理プログラムと化粧アド� �イス処理プログラムを含む。

 サーバ20は、中央演算処理装置(CPU)、ROM(� �ードオンリメモリ)、RAM(ランダムアクセスメ モリ)を備えている。CPUは、ROMやハードディ� �クドライブに記憶された種々の制御プログ� �ムを実行する。RAMは、演算結果のような各� �データが一時的に記憶する。サーバ20は、イ ンターネット11に接続されたクライアント端� ��12との間でデータの送受信を行う送受信部29 を備えている。例えば、送受信部29はクライ� ��ント端末12からのアクセス要求に応じてウ� �ブ画面データを送信してクライアント端末12 の表示部12bに、図4,図5,図12等に示すウェブ画 面を表示させるウェブサーバ部を含む。

 図2は、サーバ20が、化粧支援処理プログ� ��ム(化粧顔生成処理プログラム及び化粧アド バイス処理プログラム)を実行することで、� �ーバによって構築される化粧支援装置の機� �構成を示すブロック図である。送受信部29は 、前述のようにウェブサーバ部により構成さ れており、クライアント端末12に送信すべき� ��ータは予めウェブデータとして生成して送� ��する。図2に示す化粧支援装置30は、化粧顔� ��像生成処理と、化粧手順画面生成処理と、� ��粧アドバイス処理とを行う化粧顔画像生成� ��置を含むものである。

 化粧支援装置30は、該装置を統括制御す� �制御部31、マッチング処理部32、正味化粧画� ��補正処理部33、合成処理部34、レシピ補正部 35、第1~第7記憶部22~28及び画像等のデータを� �時記憶するバッファとして機能する記憶部36 ~38を備える。

 記憶部22~28について説明する。
 第1記憶部22には、サンプル化粧顔データベ� ��スが構築されている。サンプル化粧顔デー� ��ベースは、多数のサンプル化粧顔(例えば化 粧モデルのような他人の化粧顔)の画像64と、 各サンプル化粧顔の画像64からそのサンプル� ��粧顔の素顔の画像72を除算して得られるサ� �プル化粧顔の正味の化粧画像73とを対応付け て形成されている。

 第2記憶部23には、第1記憶部22に記憶され� ��いる多数のサンプル化粧顔の画像64にそれ� �れ対応するサンプル化粧顔の素顔の画像72か らなるサンプル素顔データベースが構築され ている。

 第3記憶部24には、顔形の差異(例えばユー ザ14の顔の輪郭と、そのユーザ14の選択した� �ンプルの顔の輪郭との差異)を補うために用� ��られる顔の輪郭補正画像が記憶され、顔の� ��郭補正用データベースが構築されている。

 第4記憶部25には、顔のパーツ形状の差異( 例えばユーザ14の鼻と、そのユーザ14の選択� �たサンプルの鼻との差異)を補うために用い� ��れるパーツ形状補正画像が記憶され、パー� ��形状補正用データベースが構築されている� ��

 第5記憶部26には、顔パーツレイアウト(図 11参照)の差異(例えばユーザ14の目の位置と、 そのユーザ14の選択したサンプルの目の位置� ��の差異)を補うために用いられる顔パーツレ イアウト補正画像が記憶され、顔パーツレイ アウト補正用データベースが構築されている 。

 第3~第5記憶部24~26に記憶されている、顔の� �郭補正画像、パーツ形状補正画像、顔パー� �レイアウト補正画像には一画像につき一つ� �識別子が付されている。
 レシピ記憶手段としての第6記憶部27には、� ��ンプルの素顔からサンプル化粧顔に化粧す� ��ための手順を説明する、文書、画像、音声� ��うち少なくとも一つからなる化粧手順レシ� ��(第1化粧手順レシピ)が記憶され、化粧手順� ��シピデータベースが構築されている。化粧� ��順レシピは少なくとも文書を含む。化粧手� ��レシピは、文章と画像(静止画又は動画)の� �合せとすることが好ましいが、文章のみと� �たり、音声のみとしたり、音声と画像との� �合せとしたり、文章と音声と画像との組合� �でもよい。

 第7記憶部28には、第1化粧手順レシピの文 章をユーザ14に応じて補正するための補正用� ��書が記憶され、レシピ補正用データベース� ��構築されている。このレシピ補正用文書は� ��第1化粧手順レシピの文書に挿入されたり一 部(例えば、単語、句、文、段落)を置き替え� ��のに使用される。補正用文書は、第3~第5記� ��部24~26のそれぞれに記憶されている、レシ� �補正用文書は、顔の輪郭を補正するように� �合された輪郭補正用正味化粧画像、パーツ� �状を補正するように適合されたパーツ形状� �正用正味化粧画像、顔パーツレイアウトを� �正するように適合されたレイアウト補正用� �味化粧画像のそれぞれに付された識別子と� �連付けられている。サーバ20は補正用の正味 化粧画像に付された識別子を基に手順補正用 データベースを検索すれば、その識別子と対 応する補正用文書を取得できる。第7記憶部28 には、文書中において補正のために補正用文 書の置き換えの可能性がある文書位置、又は 補正用文書の追加挿入の可能性がある位置を 特定するアドレスと、補正用の正味化粧画像 に付された前記識別子とを関連付けたリンク テーブルが記憶されている。補正用の正味化 粧画像が決まると、それに付された識別子を 基にリンクを参照すれば、その識別子と対応 する補正用文書の置き換えエリアアドレス又 は追加挿入位置アドレスを取得できる。文書 やリンク等の詳細については後述する。

 記憶部36は、ユーザ14の素顔の顔画像を記 憶する。ユーザ14の素顔の画像は、クライア� ��ト端末12から送受信部29に受信され、制御部 31の指示に従って記憶部36に格納される。送� �信部29、制御部31及び記憶部36はユーザ14の素 顔の画像を取得する顔画像取得手段を構成す る。

 記憶部37は、ユーザ14の手本化粧顔画像を 生成するためにユーザ14の素顔画像に合成す� ��き補正後正味化粧画像100を生成する過程で� ��得される画像を記憶する。補正後正味化粧� ��像100は、後述するマッチング処理後の正味� ��粧画像74(図7(b))と、ユーザ14の素顔画像とサ ンプル化粧顔の素顔画像72との間の差異、特� ��、顔の輪郭の差異、パーツ形状の差異、顔� ��ーツレイアウトの差異を補うために正味化� ��画像74に付加される化粧の画像(補正画像)と を含む。

 記憶部38は、ユーザ14の素顔を手本化粧顔 にするための化粧の手順を作成する過程の文 書データが一時的に記憶される。各記憶部36~ 38は、RAM等のメモリの所定の記憶領域から構� ��される。

 以下、第1~第7記憶部22~28に記憶された各� �データを用いて、ユーザ14の手本化粧顔画像 を生成する化粧顔画像生成処理、及びユーザ 14が手本化粧顔を手本として行う化粧につい� ��アドバイスする化粧アドバイス処理を行う� ��部32~35について説明する。各部32~35の動作は 、制御部31により制御される。

 化粧支援装置30は、ユーザ14の素顔画像71� ��、サンプル化粧顔の素顔画像72と、サンプ� �化粧顔の正味化粧画像73とを用いて、この正 味化粧画像をユーザ14の顔の輪郭等に合うよ� ��に加工してユーザ14用の正味化粧画像(補正� ��正味化粧画像100)を生成する。そして、その 補正後正味化粧画像100をユーザ14の素顔画像� ��合成してユーザ14の手本化粧顔画像を生成� �る。この処理は、マッチング処理部32、正味 化粧画像補正処理部33及び合成処理部34によ� �て行われる。生成されたユーザ14の手本化粧 顔画像は、ユーザ14が化粧をするときの手本� ��して使用される。

 マッチング処理手段としてのマッチング� ��理部32は、サンプル化粧顔の正味化粧画像73 (図6を参照)を、ユーザ14の顔サイズや顔の輪� ��等にマッチングさせるように加工するマッ� ��ング処理を行う。すなわち、第1記憶部22か� ��、ユーザ14によって選択されたサンプル化� �顔の正味化粧画像73(図6を参照)を読み出す。 正味化粧画像73は、サンプル化粧顔の画像64� �構成する一部のレイヤ(正味化粧画像レイヤ� ��)として記憶されていたり、サンプル化粧顔 の画像64と関連付けられるとともにサンプル� ��粧顔の画像64とは別個の画像として記憶さ� �たりしている。従来においてユーザ14の手本 化粧顔画像を生成する場合、正味化粧画像73� ��マッチング処理を施すまでは行われていた� ��、好ましい実施形態では、マッチング処理� ��の正味化粧画像74(図7(b)参照)に対し、更に� �味化粧画像補正処理部33による補正が加えら れる。

 補正手段としての正味化粧画像補正処理� ��33は、サンプル化粧顔の素顔とユーザ14の素 顔との差異を抽出して、その差異を少なく見 せるための化粧を表す画像(補正画像)を、マ� ��チング処理後の正味化粧画像74に付加する� �正処理を行う。この補正処理を実現するた� �に、正味化粧画像補正処理部33は、差異抽出 部40と、画像処理部45とを含む。差異抽出部40 は、サンプル化粧顔の素顔とユーザ14の素顔� ��の差異を抽出する差異抽出機能と、その差� ��を少なく見せるための化粧を表す画像(補正 画像)を取得する補正画像取得機能とを有し� �いる。また、画像処理部45は、マッチング処 理後の正味化粧画像74に補正画像を付加して� ��正後正味化粧画像100を生成する画像処理を� ��う。好ましい実施形態では、差異抽出部40� �素顔差異取得手段及び補正画像取得手段と� �て機能する。

 差異抽出部40は、顔の輪郭、パーツ形状� �顔パーツレイアウトを差異の抽出対象とし� �おり、差異の抽出対象別に、顔の輪郭抽出� �41とパーツ形状抽出部42と顔パーツレイアウ� ��抽出部43とを備える。また、画像処理部45が 正味化粧画像74に付加する補正画像には、顔� ��輪郭、パーツ形状、顔パーツレイアウトの� ��差異に応じた三種類ある。画像処理部45は� �正味化粧画像74に付加する補正画像の種類に 応じて、第1画像処理部46と第2画像処理部47と 第3画像処理部48とを備える。

 顔の輪郭抽出部41は、サンプル化粧顔の� �顔画像とユーザ14の素顔画像とからそれぞれ の顔の輪郭を特徴抽出し、特徴抽出したサン プルとユーザ14との顔の輪郭との差異を抽出� ��る。そして、その顔の輪郭の差異を少なく� ��せるための化粧を表す画像(以下、顔の輪郭 補正画像79(図8を参照)という)を取得するため に、顔の輪郭の差異に基づいて、第3記憶部24 の顔の輪郭補正用データベースから、その差 異に応じた補正画像と、該補正画像のプロシ ージャ情報と、レイヤ位置情報とを検索する 。補正画像とは、化粧層又は化粧種に応じて 一つ決まる化粧の色や濃度を表すカラー画像 であり、例えばシャドウやハイライト等の画 像であり、ものによってはグラディエーショ ン等の濃度分布が所定方向に施された画像で ある。プロシージャ情報とは、補正画像を施 す領域を、差異に対応する領域に対する位置 関係で指定する領域指定情報と、グラディエ ーション等の濃度分布がある画像の場合に濃 度分布を付ける方向を指定する濃度指定情報 等を含んでいる。位置指定情報は、補正画像 を施す領域として、差異に対応する領域その ものを指定する場合もあれば、差異に対応す る領域がユーザ14の素顔上に存在しないとき� ��ど、差異に対応する領域に対する位置関係� ��ユーザ14の素顔領域内の特定領域を、補正� �像を施す領域として指定する場合などがあ� �。そして、第1画像処理部46は、顔の輪郭抽� �部41が取得した補正画像を、プロシージャ情 報で位置指定された領域に、指定のプロシー ジャで施すことにより、顔の輪郭補正画像の レイヤを生成するとともに、その顔の輪郭補 正画像のレイヤをマッチング処理後の正味化 粧画像74に付加する顔の輪郭補正処理を行う� ��

 例えば図6における上段に示すように、サ ンプル化粧顔の画像64は、サンプル化粧顔の� ��顔の画像(すなわちサンプル化粧顔の化粧前 の顔の画像)72と、サンプル化粧顔の正味化粧 画像73とに分けることができる。好ましい実� ��形態では、図6に示すサンプル化粧顔の正味 化粧画像73は、同図においてその下側に示す� ��うに、複数枚のレイヤLm1~Lmnから構成されて いる。複数枚のレイヤLm1~Lmnは、例えばファ� �デーション、コンシーラ、チーク(頬紅)、口 紅(リップ)、アイシャドウ、アイライン、マ� ��カラ、アイブロウ等の化粧の種類や化粧の� ��別に分けられた画像である。そして、正味� ��粧画像73をユーザ14の顔の輪郭や顔サイズ等 に合わせてマッチング処理して得られた正味 化粧画像74も、同様に複数枚のレイヤLu1~Lunか ら構成される(図7を参照)。また、顔の輪郭補 正画像79(図8を参照)も一枚ないし複数枚のレ� ��ヤからなる。

 第1画像処理部46は、補正画像とプロシー� ��ャ情報に従って生成した顔の輪郭補正画像7 9のレイヤを、正味化粧画像74を構成する複数 枚のレイヤLu1~Lunの層間のうちレイヤ位置情� �で指定された適切なレイヤ位置に挿入付加� �る処理を行う。正味化粧画像74の各レイヤLu1 ~Lunは、化粧の種類別の所定の順番、かつ少� �くとも複数の化粧層をなす部分については� �の地肌上に化粧の層を積み上げる順番に積� �されており、レイヤの挿入位置は、顔の輪� �補正画像79の化粧の種類及び層(例えばファ� �デーションやチークなど)に応じた層に対応� ��るレイヤ位置に決まる。好ましい実施形態� ��は、記憶部24には、顔の輪郭に係る補正画� �毎に、挿入すべきレイヤ位置を特定するレ� �ヤ位置情報が対応付けられた状態で記憶さ� �ている。顔の輪郭抽出部41は、顔の輪郭の差 異に応じた顔の輪郭に係る補正画像及びプロ シージャ情報を取得したときには、補正画像 に対応するレイヤ位置情報を一緒に記憶部24� ��ら読み出し、顔の輪郭に係る補正画像とプ� ��シージャ情報とレイヤ位置情報とをセット� ��、第1画像処理部46に送る。第1画像処理部46� ��、補正画像をプロシージャ情報に従った位� ��領域に指定の方法で施すことにより生成し� ��顔の輪郭補正画像79のレイヤを、正味化粧� �像74を構成するレイヤLu1~Lunに対して、レイ� �位置情報で特定されたレイヤ位置に付加す� �。

 このような顔の輪郭の差異を補う化粧を� ��加する補正を行う理由は、次のとおりであ� ��。顔の輪郭には、卵形、逆三角形、四角形� ��丸形、三角形などがある。例えばサンプル� ��輪郭が卵形であれば、それに施される化粧� ��卵形に合った化粧が施される。この卵形の� ��と、卵形の顔に合った化粧との合成が、サ� ��プル化粧顔である。例えば四角顔のユーザ1 4の素顔画像にこの正味化粧画像を付与すれ� �、その正味化粧画像がたとえユーザ14の四角 顔に合わせてマッチング処理した後の正味化 粧画像であっても、その手本化粧顔画像は、 ユーザ14の四角顔に原因して、サンプル化粧� ��の画像64よりもエラが張った印象を与える� �このため、得られたユーザ14の手本化粧顔画 像はサンプル化粧顔の画像64から大きくかけ� ��れた印象を与えてしまい、そのサンプル化� ��顔の化粧を、ユーザ14が自分の顔に施して� �似合わない化粧ということになる。

 好ましい実施形態では、顔の輪郭と化粧� ��の合成が化粧顔を決めていることに鑑み、� ��ンプル化粧顔の素顔画像とユーザ14の素顔� �像から特徴抽出して得たサンプルとユーザ14 との間の顔の輪郭との差異を抽出し、その差 異を少なく見せるための化粧を表す化粧(補� �画像)を、マッチング処理後の正味化粧画像7 4に施す画像処理を行う。例えばサンプルの� �郭が「卵形」であり、ユーザ14の顔の輪郭が 「四角形」であるとすると、四角形の顔の輪 郭を卵形の顔の輪郭に見せる化粧を、正味化 粧画像74に追加する顔の輪郭補正処理を施す� ��具体的には、ユーザ14の四角形の顔の輪郭� �サンプルの卵形の顔の輪郭に近づける化粧� �例えば顎から両サイドに向かう部分の顔輪� �形状を角が取り除かれて丸みを帯びた形状� �見せる化粧を付加して、ユーザ14の四角形の 顔の輪郭をサンプルの卵形の顔に近づける化 粧を施した上で、サンプル化粧顔の正味化粧 画像(但し、マッチング処理後の正味化粧画� �74)が施される。このため、ユーザ14の手本化 粧顔画像は、サンプル化粧顔の画像に近い印 象を与える。

 パーツ形状抽出部42は、サンプル化粧顔� �素顔画像とユーザ14の素顔画像とからそれぞ れのパーツ形状を特徴抽出するとともに、特 徴抽出したサンプルのパーツ形状とユーザ14� ��パーツ形状の差異を抽出する。そして、パ� ��ツ形状の差異を少なく見せるための化粧を� ��す画像(パーツ形状補正画像という)を生成� �るために用いられるパーツ形状に係る補正� �像と、該補正画像のプロシージャ情報と、� �イヤ位置情報とを、第4記憶部25のパーツ形� �補正用データベースから検索する。そして� �第2画像処理部47は、パーツ形状抽出部42が取 得した補正画像をプロシージャ情報に従って 指定の位置領域に指定の方法で施すことによ りパーツ形状補正画像のレイヤを生成し、生 成したパーツ形状補正画像をマッチング処理 後の正味化粧画像74に付加するパーツ形状補� ��処理を行う。好ましい実施形態では、パー� ��として、目、眉、鼻、口を採用している。� ��なわち、サンプル化粧顔の素顔とユーザ14� �素顔における目、眉、鼻、口などのパーツ� �状の違いも、ユーザ14の素顔画像に正味化粧 画像74を合成して得られる化粧顔の印象に大� ��く影響する。そこで、好ましい実施形態で� ��、サンプルとユーザ14との間のパーツ形状� �差異を抽出し、その差異を少なく見せるた� �の化粧を表す画像(パーツ形状補正画像)を、 マッチング処理後の正味化粧画像74に施すパ� ��ツ形状補正処理を行うことにより、パーツ� ��状の面から、ユーザ14の手本化粧顔画像を� �ンプル化粧顔の印象に近づけるようにして� �る。

 詳しくは、パーツが目である場合、サン� ��ル化粧顔の素顔画像とユーザ14の素顔画像� �各々から、サンプルの目の形状とユーザ14の 目の形状とを抽出するとともに、特徴抽出し たサンプルとユーザ14との間の目の形状の差� ��を抽出する。そして、その目の形状の差異� ��基づいて第4記憶部25のパーツ形状補正用デ� ��タベースから、その目の形状の差異を少な� ��見せるための化粧を表す画像(補正画像)を� �成するために用いられる補正画像と、該補� �画像のプロシージャ情報と、レイヤ位置情� �とを検索する。そして、その検索た補正画� �をプロシージャデー情報に従って指定の位� �領域に指定の方法で施すことにより目形状� �正画像を生成し、その目形状補正画像を正� �化粧画像74に付加する。また、パーツが眉で ある場合、サンプルとユーザ14の眉形状を抽� ��するとともに、特徴抽出したサンプルとユ� ��ザ14との間の眉形状の差異を抽出する。そ� �て、その差異に基づいて第4記憶部25のパー� �形状補正用データベースから、その眉形状� �差異を少なく見せるための化粧を表す画像(� ��形状補正画像)を生成するために用いられる 補正画像とプロシージャ情報とレイヤ位置情 報とを検索し、その検索した補正画像をプロ シージャ情報に従って指定の領域に指定の方 法で施すことにより眉形状補正画像を生成し 、その眉形状補正画像を正味化粧画像74に付� ��する。パーツが鼻である場合、サンプルと� ��ーザ14の鼻形状を抽出するとともに、特徴� �出したサンプルとユーザ14との間の鼻形状の 差異を抽出する。そして、その差異に基づい て第4記憶部25のパーツ形状補正用データベー スから、その鼻形状の差異を少なく見せるよ うにする化粧の画像(鼻形状補正画像)を生成� ��るために用いられる補正画像とプロシージ� ��情報とレイヤ位置情報とを検索し、その検� ��した補正画像をプロシージャ情報に従って� ��定の領域に指定の方法で施すことにより生� ��された鼻形状補正画像を正味化粧画像74に� �加する。また、パーツが口である場合、サ� �プルとユーザ14の口形状を特徴抽出するとと もに、特徴抽出したサンプルとユーザ14との� ��の口形状の差異を抽出する。そして、口形� ��の差異に基づいて第4記憶部25のパーツ形状� ��正用データベースから、その口形状の差異� ��少なく見せるための化粧を表す画像(口形状 補正画像)を生成するために用いられる補正� �像とプロシージャ情報とレイヤ位置情報と� �検索し、その検索した補正画像をプロシー� �ャ情報に従って指定の領域に指定の方法で� �すことにより口形状補正画像を生成し、そ� �口形状補正画像を正味化粧画像74に付加する 。

 例えば、サンプルの目が目尻のやや上が� ��た「つり目」であるのに対して、ユーザ14� �目が目尻のやや下がった「たれ目」である� �合、サンプル化粧顔の正味化粧画像73は、若 干のつり目に適した化粧(例えば目尻を実際� �り若干下がったように見せる化粧)であるの� ��、たとえマッチング処理後であってもその� ��味化粧画像74をそのままユーザ14に施すと、 ユーザ14のたれ目が一層強調されてしまう。� ��のため、ユーザ14の手本化粧顔画像が、サ� �プル化粧顔とは大きくかけ離れた印象を与� �てしまう。そこで、このパーツ形状補正処� �では、マッチング処理後の正味化粧画像74に 、ユーザ14のたれ目をサンプル化粧顔のつり� ��に近づける化粧の画像(つまり目尻を実際よ り上がったように見せる化粧の画像)を付加� �る補正を行う。このパーツの補正化粧によ� �て、ユーザ14の素顔画像上に補正後の正味化 粧画像を合成して得られるユーザ14の手本化� ��顔画像の印象は、サンプル化粧顔の印象に� ��づく。

 顔パーツレイアウト抽出部43は、サンプ� �化粧顔の素顔画像とユーザ14の素顔画像の各 々から、パーツ位置とパーツ間隔とを表す顔 パーツレイアウトを特徴抽出し、サンプルと ユーザ14との間の顔パーツレイアウトとの差� ��を算出する。顔パーツレイアウト抽出部43� �、その差異を少なく見せるための化粧を表� �画像(顔パーツレイアウト補正画像という)を 生成するために用いられる補正画像とプロシ ージャ情報とレイヤ位置情報とを、第4記憶� �25の顔パーツレイアウト補正用データベース から検索する。そして、第3画像処理部48は、 顔パーツレイアウト抽出部43が取得した補正� ��像をプロシージャ情報に従って指定の領域� ��指定の方法で施すことにより顔パーツレイ� ��ウト補正画像生成し、その顔パーツレイア� ��ト補正画像を、マッチング処理後の正味化� ��画像74に付加する顔パーツレイアウト補正� �理を行う。サンプル化粧顔の素顔とユーザ14 の素顔において、顔全体における目、眉、鼻 、口などのパーツのレイアウトから決まる顔 パーツレイアウトの違いも、ユーザ14の素顔� ��像に正味化粧画像を合成して得られる化粧� ��の印象に大きく影響する。そこで、好まし� ��実施形態では、サンプルとユーザ14との間� �顔パーツレイアウトとの差異を抽出し、そ� �差異を少なく見せるための化粧、すなわち� �ーザ14の顔パーツレイアウトをサンプル化粧 顔の顔パーツレイアウトに近づける化粧の画 像(顔パーツレイアウト補正画像)を、正味化� ��画像74に付加する顔パーツレイアウト補正� �理を行う。この顔パーツレイアウト補正処� �により、顔パーツレイアウトの面から、ユ� �ザ14の手本化粧顔画像の印象をサンプル化粧 顔の印象に近づけるようにしている。

 顔パーツレイアウトとしては、サンプル� ��ユーザ14のそれぞれについて顔の横と縦の� �々における顔パーツレイアウトを求める。� �の顔パーツレイアウトは、例えば目の高さ� �おける顔幅を両目の位置で3分割した各領域� ��の比率として求める。例えば顔の水平すな� ��ち横において、顔幅に対してユーザ14の両� �の間隔がサンプルの両目の間隔に比べて広� �れば、両目の間隔を狭く見せる化粧の画像(� ��正画像)を正味化粧画像74に付加する。縦の� ��パーツレイアウトは、例えば顔の縦におい� ��、頭髪の生え際から目までの間隔と、目か� ��口の口角までの間隔と、口角から顎の先端� ��での間隔との比率として求める。縦方向の� ��パーツレイアウトを、サンプルとユーザ14� �で比較し、ユーザ14の顔パーツレイアウトが サンプル化粧顔の顔パーツレイアウトに近づ いて見えるようにする化粧の画像(補正画像)� ��、マッチング処理後の正味化粧画像74に付� �する画像処理を行う。例えばユーザ14の頭髪 の生え際と目の間隔がサンプルのそれより広 ければ、頭髪の生え際と目の間隔が狭く見え るようにする化粧の画像(補正画像)を、正味� ��粧画像74に付加することにより、顔パーツ� �イアウトの印象をサンプル化粧顔のそれに� �づける。

 顔の輪郭とパーツ形状の抽出処理には、2 次元の画像を用いてもよいが、3次元の画像� �用いるのが好ましい。例えばいくつかの異� �る角度から顔を撮影して得られた複数の画� �を用いて、顔の輪郭とパーツ形状の3次元画� ��を作成することができる。3次元画像から、 例えば鼻の高さがサンプルの鼻より低いとい うような、ユーザ14とサンプルとの間の顔の� ��体的な違いを検出することができるそして� ��例えば鼻を高く見せる化粧の画像(補正画像 )を、正味化粧画像74に付加する。ユーザ14の� ��骨がサンプルのものより出ていれば、頬骨� ��出っ張りを抑える化粧の画像を、正味化粧� ��像74に付加する。好ましい実施形態では、� �粧以外に、ヘアスタイルのアドバイスも行� �。例えばユーザの額がサンプルに比べて広� �場合、前髪を降ろすように勧め、また髪の� �リュームが少ない場合はつけ毛等を勧め、� �ンプル化粧顔の印象に似せる工夫を化粧以� �でもアドバイスする。小物や服の色をアド� �イスして、ユーザの顔の印象がサンプル化� �顔に近づく変化を与える小物、顔色が引き� �つ服の色、小顔に見える服装や服の模様な� �をアドバイスする。

 画像合成手段としての合成処理部34は、� �味化粧画像74を補正して補正後正味化粧画像 100(図7(c)を参照)を生成し、その補正後正味化 粧画像100をユーザ14の素顔画像へ合成する。� ��なわち、ユーザ14の素顔画像を記憶部36から 読み出すとともに、記憶部37から補正後正味� ��粧画像100を読み出して、素顔画像の上に補� ��後正味化粧画像100を重ねる合成処理を行っ� ��ユーザ14の手本化粧顔画像を生成する。

 化粧支援装置30は、合成処理部34で生成し たユーザ14の手本化粧顔画像を見てユーザ14� �自分の素顔に化粧を施すときに参照される� �粧手順レシピ(本例では文書)を作成する。そ して、手本化粧顔画像の化粧に到達するまで の複数の化粧ステップにおいて、各化粧ステ ップで目標とする化粧途中顔画像と、その化 粧途中顔に仕上げるための化粧方法の説明文 とを含む画面(図13,図15を参照)をクライアン� �端末12に表示する。

 化粧手順作成手段としての手順補正部35� �、第6記憶部27のサンプル化粧手順データベ� �スから、選択されたサンプル化粧顔に対応� �る化粧手順レシピを読み出し、そのレシピ� �文書を、正味化粧画像74に付した補正画像に 応じて修正することにより、ユーザ14の手本� ��粧顔画像に合った化粧手順文書を作成する� ��

 手順補正部35は、正味化粧画像74に加えら れた補正の種類(顔の輪郭、パーツ形状、顔� �ーツレイアウト)に応じて化粧手順レシピを� ��正する顔の輪郭手順補正部51、パーツ形状� �順補正部52及び顔パーツレイアウト手順補正 部53を備えている。差異抽出部40で抽出され� �補正画像(顔の輪郭補正画像、パーツ形状補� ��画像、顔パーツレイアウト補正画像)には、 識別子(顔の輪郭画像識別子、パーツ形状画� �識別子、顔パーツレイアウト画像識別子)が� ��されている。手順補正部35は、正味化粧画� �74に加えられた補正画像の識別子を差異抽出 部40から取得する。

 顔の輪郭手順補正部51は顔の輪郭画像識� �子を基に、第7記憶部28の手順補正用データ� �ースを検索して、顔の輪郭画像識別子に応� �た顔の輪郭補正用文書を取得する。この顔� �輪郭補正用文書は、その識別子が付された� �の輪郭補正画像を正味化粧画像74に付加した ために必要になった化粧手順レシピの修正内 容を示す。パーツ形状手順補正部52はパーツ� ��状画像識別子を基に、第7記憶部28の手順補� ��用データベースを検索して、パーツ形状画� ��識別子に応じたパーツ形状補正用文書を取� ��する。このパーツ形状補正用文書は、その� ��別子が付されたパーツ形状補正画像を正味� ��粧画像74に付加したために必要になった化� �手順レシピの修正内容を示す。顔パーツレ� �アウト手順補正部53は顔パーツレイアウト画 像識別子を基に、第7記憶部28の手順補正用デ ータベースを検索して、顔パーツレイアウト 画像識別子に応じた顔パーツレイアウト補正 用文書を取得する。この顔パーツレイアウト 補正用文書は、その識別子が付された顔パー ツレイアウト補正画像を正味化粧画像74に付� ��したために必要になった化粧手順レシピの� ��正内容を示す。手順補正部35は、手順補正� �理を行うときには、まずサンプル化粧顔に� �応する化粧手順レシピを第6記憶部27から読� �出し、記憶部38に格納する。そして、記憶部 38に一時記憶したサンプル化粧手順レシピ(第 1化粧手順レシピ)の一部又は全部を、第7記憶 部28のデータベースを検索して取得した補正� ��文書で置き換えたり、サンプル化粧手順レ� ��ピに補正用文書を追加して、ユーザ14用の� �粧手順レシピ(第2化粧手順レシピ)を作成す� �。

 図14(a)は、第6記憶部27に記憶されたサン� �ル化粧手順レシピを示す。この例では化粧� �順レシピは、「ステップ1」~「ステップn」� �でのn個のレシピD1~Dnからなる。各化粧手順� �シピは、各ステップで目標とすべき化粧途� �顔を完成させるために使用された化粧品や� �粧道具を使った化粧の手順を説明する文章� �含む。各化粧手順レシピD1~Dnには、顔の輪郭 に影響を与える化粧を説明する文章部分(顔� �輪郭関連文書)と、目、眉、鼻、口などのパ� ��ツの形状に影響を与える化粧を説明する文� ��部分(パーツ形状関連文書)と、顔パーツレ� �アウトに影響を与える化粧を説明する文章� �分(顔パーツレイアウト関連文書)とが含まれ る。これらの各文章部分は、一つのステップ の文章のみに含まれる場合もあれば、いくつ かのステップの文書に渡って複数含まれる場 合もある。

 好ましい実施形態では、化粧指示D1~Dnは� �サンプル化粧顔の素顔からサンプル化粧顔� �至るまでの化粧手順を複数のステップに分� �、ステップごとに化粧方法を説明する文書� �らなる。図14(a)に示すように、各化粧指示D1~ Dnの文書内における所定の文書エリア55又は� �置には、アドレス56が付されている。アドレ ス56で特定される文書エリア55は、補正画像� �対応する補正文書の置き換え先の候補であ� �、アドレス56で特定される位置は、補正画像 に対応する補正文書の追加挿入先の候補であ る。図14の例では、アドレス56は5ビットの2値 データで表されているが、適宜なビット数を 採用できる。

 第7記憶部28の所定記憶領域には、補正画� ��の識別子とアドレス56とを関連付けるリン� �テーブルが記憶されている。補正画像の識� �子を基にリンクテーブルを参照すると、そ� �識別子に対応するアドレス56を取得できる。 すなわち、顔の輪郭画像識別子は、その識別 子を基に検索された顔の輪郭に影響を与える 補正文書を、置き換えるべき文書エリア55を� ��定するアドレス56又は追加挿入すべき位置� �特定するアドレス56とリンクされている。目 形状画像識別子は、その識別子を基に検索さ れた目の形状に影響を与える補正文書を、置 き換えるべき文書エリア55を特定するアドレ� ��56又は追加挿入すべき位置を特定するアド� �ス56とリンクされている。以下、同様に、鼻 形状画像識別子は、その識別子を基に検索さ れた鼻形状に影響を与える補正文書の置き換 え先の文書エリア55又は追加挿入先の位置を� ��定するアドレス56と、口形状画像識別子は� �その識別子を基に検索された口形状に影響� �与える補正文章の置き換え先の文書エリア55 又は追加挿入先の位置を特定するアドレス56� ��それぞれリンクされている。顔パーツレイ� ��ウト画像識別子は、その識別子を基に検索� ��れた顔パーツレイアウトに影響を与える補� ��文章の置き換え先の文書エリア55又は追加� �入先の位置を特定するアドレス56とリンクさ れている。

 手順補正部35は、補正画像の識別子を基� �リンクテーブルを参照して取得したアドレ� �56が文書エリア55を特定するものである場合� ��、その識別子を基に第7記憶部28の手順補正� ��データベースから検索した補正文書をその� ��ドレス56の文書エリア55の文書と置き換え、 アドレス56が位置を特定するものである場合� ��、識別子に応じた補正文書をそのアドレス5 6で特定された位置に追加挿入する。詳しく� �、顔の輪郭手順補正部51は、顔の輪郭画像識 別子を基にリンクを参照してアドレス56を取� ��し、その取得されたアドレス56で特定され� �文書エリア55の文書と補正文書を置き換えた り、そのアドレス56で特定される位置に補正� ��書を追加挿入したりする。パーツ形状手順� ��正部52は、パーツ形状画像識別子を基にリ� �クを参照してアドレス56を取得し、その取得 されたアドレス56で特定される文書エリア55� �文書と補正文書を置き換えたり、そのアド� �ス56で特定される位置に補正文書を追加挿入 したりする。顔パーツレイアウト手順補正部 53は、顔パーツレイアウト画像識別子を基に� ��ンクを参照してアドレス56を取得し、その� �得されたアドレス56で特定される文書エリア 55の文書と補正文書を置き換えたり、そのア� ��レス56で特定される位置に補正文書を追加� �入したりする。

 形状に関連する補正文書は、形状に影響� ��与える化粧をする場合にどの部位にシャド� ��やハイライトを入れるか、また必要に応じ� ��その面積や形状、濃度はどのくらいがよい� ��を補正する内容になっている。例えばひな� ��となるサンプル化粧顔用の化粧手順レシピ� ��、「○○色のファンデーションを塗ってく� ��さい。」という文書が含まれ、この文章の� ��書エリア55のアドレス56が顔の輪郭補正画像 の識別子とリンクされているとする。そして 、顔の輪郭手順補正部51が差異抽出部40から� �得したその識別子を基に手順補正用データ� �ースにアクセスして、例えば「顎からサイ� �にかけてシャドウを入れるように化粧下地� �り少し濃いトーンの○○色のファンデーシ� �ンを塗ってください。」という補正文書を� �得するとともに、その識別子からリンクテ� �ブルを参照してアドレス56を取得する。する と、顔の輪郭手順補正部51は、その補正文書� ��、そのアドレス56で特定される文書エリア55 の文書、すなわち「○○色のファンデーショ ンを塗ってください。」と置き換える。同様 にパーツ形状と顔パーツレイアウトについて も補正文書による化粧手順レシピの補正が行 われる。

 例えば顔の輪郭と顔パーツレイアウトに� ��るそれぞれの補正画像が、同じファンデー� ��ョンに係るものである場合、それぞれの識� ��子が異なっても、共にファンデーションの� ��り方に係る文書エリア55又は位置を特定す� �同一のアドレス56が取得されることになる。 手順補正部35は、識別子を基にリンクテーブ� ��を参照して取得されたアドレス56が異なる� �別子間で同じになる場合は、予め決められ� �ルールに従って一方の補正文書を優先して� �いたり、補正文書中の特定エリアの文書内� �を解析して、その解析結果に基づき両補正� �書を組み合わせる処理を行ったりする。

 このように手順補正部35により、ひな形� �書すなわちサンプル化粧顔用の化粧手順レ� �ピの説明文書に補正が加えられることで、� �ーザ14が化粧顔画像を手本として化粧を行う ときの化粧手順レシピの説明文書が作成され る。そして、図14(a)に示すサンプル化粧顔用� ��化粧手順レシピD1~Dnが、上記の補正により� �図14(b)に示すように、補正文書58が置き換え� ��は追加挿入されたユーザ14用の化粧手順レ� �ピX1~Xnが作成される。

 化粧手順レシピの説明が、文章以外に、� ��声又は画像を含む場合、補正用として、例� ��ば音声中の顔の輪郭に影響を与える部分の� ��明部分のアドレスが、顔の輪郭補正画像の� ��別子とリンクされていたり、画像中の顔の� ��郭に影響を与える部分の説明画像部分のア� ��レスが顔の輪郭補正画像の識別子にリンク� ��れたりすればよい。こうすれば、化粧手順� ��シピが音声や画像であっても、サンプル化� ��顔用の化粧手順レシピを補正してユーザ14� �にカスタマイズされた化粧手順レシピを作� �することはできる。

 次にサーバ20のCPUが化粧支援処理プログ� �ムを実行することで、化粧支援装置30におい て行われる化粧顔画像生成処理及び化粧アド バイス処理について、図3に示すフローチャ� �トに従って説明する。CPUはまず化粧顔画像� �成プログラムを実行する。

 まず、ユーザ14は、化粧アドバイスシス� �ム10を利用する場合、ユーザ登録をし、IDと� ��スワードを取得しておき、クライアント端� ��12の表示部12bに表示された初期画面(図示せ� ��)から、入力部12aの操作によりIDとパスワー� ��を入力してサーバ20にアクセスする。サー� �20のCPUは、クライアント端末12からのアクセ� ��があると、化粧支援のメイン画面をクライ� ��ント端末12の表示部12bに表示させる。この� �イン画面で、化粧支援を受けることを選択� �ると、ユーザ14の素顔の画像を取得するため の画像登録ボタンを有する画面が表示される 。

 ステップS1において、ユーザ14の顔画像を 取り込む処理を行う。ユーザ14は、クライア� ��ト端末12に付属のカメラ16により自分の素顔 (化粧が多少施されていてもよい)の写真を撮� ��してクライアント端末12のメモリにその素� �画像を格納しておくか、デジタルカメラで� �影した自分の素顔の顔画像をクライアント� �末12のメモリに予め格納させておく。ユーザ 14は、入力部12aを操作して画像登録ボタンを� ��作すると、画面に画像格納先フォルダ及び� ��像ファイルを順次指定可能な入力欄が表示� ��れるので、その入力欄にユーザ14の素顔画� �の格納アドレス(例えばパス)を指定した後、 登録実行ボタン(図示せず)を操作する。こう� ��てクライアント端末12のメモリに格納され� �いる自分の素顔画像の格納アドレス(パス)が 指定される。画像登録ボタンを操作すると、 カメラ16による撮影を行う撮影画面が表示さ� ��、その撮影画面で入力部12aを操作すると、� ��メラ16による撮影が行われ、その撮影され� �素顔画像が、クライアント端末12に搭載され たプロセッサが管理する所定のフォルダに格 納される構成でもよい。

 ユーザ14がクライアント端末12の入力部12a を操作してユーザ14の素顔画像(顔画像)の登� �実行ボタンを操作すると、その操作に基づ� �アクセス要求を受け付けたサーバ20は、サン プル化粧顔選択画面用の画像データを含むウ ェブデータをクライアント端末12に送信し、� ��ライアント端末12の表示部12bに図4に示すウ� ��ブ画面60を表示させる。このウェブ画面60は コンテンツエリアにサンプル化粧顔選択画面 61を含み、このサンプル化粧顔選択画面61に� �、複数のサンプル化粧顔の画像が例えばマ� �リクス状に配列された一覧表示領域62と、OK� ��タン63とが含まれている。

 次のステップS2では、サンプル化粧顔の� �択を行う。すなわち、ユーザ14は、入力部12a を操作して、一覧表示領域62の中から好みの� ��ンプル化粧顔を選択した後、OKボタン63を操 作する。図4の例では、一覧表示領域62内にお ける上段左から3番目のサンプル化粧顔の画� �64が選択されている。この選択状態でOKボタ� ��63が操作されると、その操作に基づくアク� �ス要求を受け付けたサーバ20は、サンプル化 粧顔の画像64に対応する化粧前のサンプル化� ��顔の素顔画像を第2記憶部23から読み出して� ��択画面用の画像データを含むウェブデータ� ��作成するとともに、そのウェブデータをク� ��イアント端末12に送信する。その結果、ク� �イアント端末12の表示部12bに図5に示すウェ� �画面65が表示される。このウェブ画面65はコ� ��テンツエリアに選択画面66を含み、この選� �画面66には、ユーザ14の素顔画像71が表示さ� �る第1表示領域67と、サンプル化粧顔の素顔� �像72が表示される第2表示領域68と、化粧補正 処理を行うか否かの選択や化粧補正処理を行 う場合に化粧補正の対象を選択可能な項目選 択を行うための項目選択領域69と、実行ボタ� ��70等が含まれている。クライアント端末12は サンプル化粧顔選択画面61でOKボタン63が操作 されたときに実行されるプログラムを、それ 以前のウェブデータと共に受信しており、OK� ��タン63が操作されるとそのプログラムを実� �することで、ユーザ14自身の素顔画像を先に 指定されたパスから読み出して、選択画面66� ��おける第1表示領域67にユーザ14の素顔画像71 を表示する。もちろん、OKボタン63の操作に� �づきユーザ14の素顔画像を指定のパスから読 み出してサーバ20に送信し、サーバ20がユー� �14の素顔画像とサンプル化粧顔の素顔画像の 両方を含むウェブデータを作成して、それを クライアント端末12に送信する構成も採用で� ��る。

 ステップS3では、項目選択を行う。すな� �ち、ユーザ14は入力部12aを操作して、図5に� �す選択画面66において項目選択領域69の項目� ��中から所望の項目を選択する。ユーザ14は� �選択画面66における項目選択領域69に用意さ� ��た項目、すなわち「顔の輪郭」、パーツ形� ��である「眉形状」、「目形状」、「鼻形状� ��、「口形状」、「顔パーツレイアウト」、� ��すべて選択」のうちから、所望の項目を少� ��くとも一つ選択できる。本例では、「すべ� ��選択」が選択されたものとして説明を進め� ��。項目の選択後、ユーザ14は入力部12aを操� �して化粧顔作成処理を実行させるべく実行� �タン70を操作する。すると、サンプル化粧顔 の正味化粧画像73をユーザ14の顔の輪郭等に� �わせてユーザ14の顔画像に合成等するステッ プS4以降の処理が進められる。入力部12aの操� ��により入力された項目選択領域69の選択情� �を受け付けて選択情報に応じた内容の化粧� �正処理を指示する制御部31は選択手段を構成 する。

 ステップS4では、サンプル化粧顔の正味� �粧画像73をユーザ14の顔に合わせるマッチン� ��処理を行う。サンプルとユーザ14では、顔� �イズ(画像サイズに起因するものも含む)や顔 の輪郭、パーツ形状、顔パーツレイアウト(� �ーツ配置)などの違いがあるので、サンプル� ��粧顔の正味化粧画像73をユーザ14の顔サイズ や顔の輪郭、パーツ形状、顔パーツレイアウ トに合わせるようにマッチング処理し、ユー ザ14の顔に合った正味化粧画像74(図7を参照)� �取得する。

 図7(a)は、ユーザ14の素顔画像71と、サン� �ル化粧顔の素顔画像72とを模式的に示したも のである。まず両素顔画像71,72に対して両目� ��特徴抽出する。次に両目の中心点(座標)を� �め、サンプル化粧顔の素顔の両目の中心点� �ユーザ14の両目の中心点に一致するように、 サンプル化粧顔の正味化粧画像73を伸縮処理� ��せて、正味化粧画像73をユーザ14の顔サイズ に合わせる。両素顔画像71,72から、顔輪郭と� ��と鼻をそれぞれ特徴抽出し、両目の位置は� ��致させたままで顔の輪郭と口と鼻の各位置( 例えば図7(a)の各素顔画像71,72中の各ドット)� �、所定の許容範囲内で一致するように、正� �化粧画像73をユーザ14の顔に合わせる。以上� ��マッチング処理を行う。

 こうして正味化粧画像73がユーザ14の顔サ イズ、顔の輪郭、パーツレイアウト等に合う ようにマッチング処理された正味化粧画像74� ��取得する。マッチング処理後の正味化粧画� ��74は、図7(b)に示すように、ユーザ14の顔サ� �ズ、顔の輪郭(顔輪郭)、目、眉、鼻、口の位 置に合うように正味化粧画像73を変形処理し� ��ものなので、この正味化粧画像74をユーザ14 の素顔画像71上に合成すれば、正味化粧画像7 4の化粧はユーザ14の素顔上に位置ずれなく正 しく施される。正味化粧画像74は、ユーザ14� �素顔画像71に対して、例えば口紅は唇に、チ ークは頬に、アイシャドウは瞼に、アイブロ ウは眉に正確に施すことが可能な形態に処理 されている。この正味化粧画像74は、図6に示 す正味化粧画像73を構成するレイヤLm1~Lmnにマ ッチング処理を施したものであるので、正味 化粧画像73のレイヤと同枚数からなる図7(c)に 示す複数枚のレイヤLu1~Lunから構成される。� �レイヤLu1~Lunは、マッチング処理前の図6に示 す各レイヤLm1~Lmnとそれぞれ対応している。� �記のマッチング処理において、両目の中心� �のみを採用したり、両目の中心点及び顔輪� �のみを採用したりする構成でもよい。マッ� �ング処理で位置合わせのために使用される� �(図7の素顔画像71,72中のドット)の位置や数も 適宜設定することができる。

 マッチング処理後の正味化粧画像74は、� �ンプル化粧顔の素顔とユーザ14の素顔の間で 、顔の輪郭、パーツ形状(目、眉、鼻、口の� �状)、顔パーツレイアウトが異なることを無� ��したものとなっている。そのため、正味化� ��画像74をそのままユーザ14の素顔画像71に合� ��しても、合成して得られたユーザの化粧顔� ��、サンプル化粧顔と随分印象の異なるもの� ��なってしまう。これを防ぐために、好まし� ��実施形態では、サンプル化粧顔の素顔とユ� ��ザの素顔の間で、顔の輪郭、パーツ形状、� ��パーツレイアウトに差異があることを考慮� ��て、正味化粧画像74にその差異を補う化粧(� ��正画像)を加える補正を施す。

 ステップS5では、顔の輪郭補正ありか否� �を判断する。顔の輪郭補正ありと判断すれ� �ステップS6へ進み、顔の輪郭補正ありと判断 されなければステップS7進む。図7で実行ボタ ン70が操作されたときに、選択画面66の項目� �択領域69での選択情報がサーバ20に送信され� ��おり、メモリに一時記憶した選択情報に基� ��いて顔の輪郭が選択されているか否かを判� ��する。そして、顔の輪郭が選択されている� ��合は顔の輪郭補正ありと判断し、顔の輪郭� ��選択されていない場合は顔の輪郭補正なし� ��判断する。項目選択で「すべて選択」が選� ��されている例を説明しているので、ステッ� ��S6に進むことになる。

 ステップS6では、まず顔の輪郭補正処理� �行う。すなわち、サンプル化粧顔の素顔画� �とユーザ14の素顔画像とから顔の輪郭を特徴 抽出し、サンプルとユーザ14との間の顔の輪� ��との差異を抽出し、その差異を少なくして� ��ーザ14の顔の輪郭がサンプル化粧顔の輪郭� �近づいて見えるようにする化粧の画像(顔の� ��郭補正画像)を、マッチング処理後の正味化 粧画像74に付加する画像処理を行う。図5,図7( a)に示すように、本例では、サンプル化粧顔� ��輪郭が「卵形」であるのに対して、ユーザ1 4の顔の輪郭が「四角形」であるので、「四� �形」を「卵形」の顔の輪郭に見せる化粧を� �ユーザ14の正味化粧画像74に追加する顔の輪� ��補正処理を施す。この顔の輪郭補正処理は� ��顔の輪郭抽出部41と第1画像処理部46との協� �により行われる。詳細には、記憶部23,36から それぞれサンプル化粧顔の素顔画像とユーザ 14の素顔画像を読み出し、必要に応じて顔サ� ��ズを揃える処理をした後の両素顔画像から� ��れぞれの顔の輪郭を特徴抽出し、サンプル� ��ユーザ14との間の顔の輪郭の差異を抽出す� �。この結果、図8に示すようなユーザ14の顔� �輪郭75と、サンプルの顔の輪郭76とを取得す� ��。図8には、輪郭75,76に加え、目、鼻、口が� ��されているが、実際には目、鼻、口は示さ� ��ない。

 次に、得られた顔の輪郭75,76の差異をと� �処理を行い、サンプルの輪郭76に対してユー ザ14の輪郭75がはみ出した部分又は内側へ窪� �でいる部分を顔の輪郭の差異として取得す� �。例えばサンプルの輪郭が「卵形」であり� �ユーザ14の輪郭が「四角顔」である場合、図 8に示すように、サンプルの輪郭76に対してユ ーザ14の輪郭75がはみ出している顔のエラの� �分の領域がプラスの差異77として得られる。 一方、図8に示すように、ユーザ14の輪郭75に� ��してサンプル化粧顔の輪郭76がはみ出して� �る顔の顎の部分の領域がマイナスの差異78と して得られる。プラスの差異77である場合は� ��その差異77の領域の位置(例えばエラと額の� ��端)と、その差異の正負の符号である正値と を基に第3記憶部24の顔の輪郭データベースに アクセスして、例えば「エラ,プラス」とい� �検索情報に対応する補正画像とその補正用� �像のプロシージャ情報とレイヤ位置情報と� �取得する。そして、その補正画像とプロシ� �ジャ情報とレイヤ位置情報とを第1画像処理� ��46に送る。一方、マイナスの差異78である場 合は、その差異78の領域の属する位置(部位)(� ��えば顎)とその差異の正負の符号である負値 とを基に第3記憶部24の顔の輪郭データベース にアクセスして、例えば「顎,マイナス」と� �う検索情報に対応する補正画像とその補正� �画像のプロシージャ情報とレイヤ位置情報� �を取得する。そして、その補正画像とプロ� �ージャ情報とレイヤ位置情報とを第1画像処� ��部46に送る。

 第1画像処理部46は、差異77、78に対応する 各領域にそれぞれに対応する補正画像をそれ ぞれのプロシージャ情報で指定された条件で 施し、図8に示す顔の輪郭補正画像79を生成す る。差異77に対応する補正画像は、例えばグ� ��ディエーションが施されたシャドウ画像(カ ラー画像)であり、プロシージャ情報は、差� �77の領域に輪郭寄り側ほど濃くなる所定濃度 分布でそのシャドウ画像を施すというプロシ ージャの条件を示す情報である。一方、差異 78に対応する補正画像は、例えばグラディエ� ��ションが施されたハイライト画像(カラー画 像)であり、プロシージャ情報は、差異78の領 域に隣接するユーザ14の顎領域に、指定方向� ��濃度分布がでるようにそのハイライト画像� ��施すというプロシージャの条件を示す情報� ��ある。第1画像処理部46は、プロシージャ情� ��に従って、差異77,78の領域に対応する指定� �領域にシャドウ80あるいはハイライト81を、� ��れぞれ濃度分布が指定方向となるように施� ��ことにより補正画像として、シャドウ80の� �イヤとハイライト81のレイヤとを生成する。 本例では、第1画像処理部46は、差異77に対応� ��る両側のエラ領域及び額の両端領域に、輪� ��寄り(外側)から内側へ向かって濃度が徐々� �薄くなる濃度分布で施されたシャドウ80のレ イヤL1を生成する。また、第1画像処理部46は� ��差異78の領域に対してユーザ14の顔領域側に 隣接する顎領域に指定方向の濃度分布で施さ れたハイライト81のレイヤL2(いずれも図7(c)を 参照)を生成する。顔の輪郭補正画像79は、シ ャドウ80のレイヤL1と、ハイライト81のレイヤ L2との2枚のレイヤで構成される。そして、記 憶部37から読み出した正味化粧画像74を構成� �るレイヤLu1~Lunの層間のうちその補正画像に� ��じたレイヤ位置情報から定まるレイヤ挿入� ��置に顔の輪郭補正画像79の各レイヤL1,L2をそ れぞれ追加する処理を行う。そして、各レイ ヤL1,L2を追加した正味化粧画像を記憶部37に� �憶する。本例では、ユーザ14の顔の輪郭をサ ンプルの輪郭に近づけるために付加される顔 の輪郭補正画像79を構成するシャドウ80のレ� �ヤL1とハイライト81のレイヤL2は、例えばフ� �ンデーション又はコンシーラの補正画像で� �り、ファンデーション又はコンシーラに相� �する化粧層のレイヤ位置に追加される。図8� ��おける顔の輪郭補正画像79では、シャドウ80 とハイライト81における濃度分布の表現は省� ��している。

 ステップS7では、パーツ形状補正ありか� �かを判断する。パーツ形状補正ありと判断� �ればステップS8へ進み、パーツ形状補正あり と判断されなければステップS9へ進む。つま� ��、メモリに一時記憶した選択情報に基づい� ��パーツ形状(目、眉、鼻、口)のうち一つで� �選択されているか否かを判断し、一つでも� �択されている場合はパーツ形状補正ありと� �断し、一つも選択されていない場合はパー� �形状補正なしと判断する。項目選択で「す� �て選択」が選択されている場合を説明して� �るので、ステップS8に進むことになる。

 次のステップS8では、パーツ形状補正処� �を行う。すなわち、サンプルの素顔画像と� �ーザ14の素顔画像とからそれぞれパーツ形状 を特徴抽出し、サンプルとユーザ14との間の� ��ーツ形状の差異を抽出し、その差異を少な� ��してユーザ14のパーツ形状をサンプルのパ� �ツ形状に近づいて見せるようにする化粧(補� ��画像)を、マッチング処理後の正味化粧画像 74に施すパーツ形状補正処理を行う。このパ� ��ツ形状補正処理は、パーツ形状抽出部42と� �2画像処理部47との協働により行われる。詳� �には、先に記憶部23,36からそれぞれ読み出さ れて顔サイズが揃えられたサンプル化粧顔の 素顔とユーザ14の素顔の画像から、補正対象� ��して選択されたパーツ(目、眉、鼻、口のう ち選択された少なくとも一つ)を特徴抽出し� �、ユーザ14とサンプルの各パーツの形状を取 得する。そして、特定のパーツについては、 更にパーツ形状からパーツの角度(例えば目� �傾き)を求めたり、パーツの濃度(濃度分布)(� ��えば眉の濃度、唇の濃度)やパーツの周囲の 高濃度ライン(一重瞼、二重瞼、皺など)など� ��求めたりする。

 次に、得られたユーザ14とサンプルのパ� �ツ形状を用いて同じパーツ同士でパーツ形� �の差異をとる処理を行う。例えばサンプル� �パーツに対してユーザ14のパーツがはみ出た 部分又は凹んだ部分をパーツ形状の差異とし て取得する。

 図9は、パーツとして目が選択されている ときに、ユーザ14とサンプルの目の形状の差� ��を補う化粧(補正画像)を正味化粧画像74に付 加する場合を説明するものである。以下、図 9を用いて、目の形状補正処理について説明� �る。図9に示すように、本例では、サンプル� ��若干「つり目」であるのに対して、ユーザ1 4が「たれ目」であるとする。

 記憶部23,36からそれぞれ読み出したサン� �ル化粧顔の素顔画像とユーザ14の素顔画像を 、必要に応じて顔サイズを揃えた後、ユーザ 14の素顔画像とサンプル化粧顔の素顔画像か� ��それぞれの目を特徴抽出する。図9における 上段は、特徴抽出されたユーザ14の目83とサ� �プルの目84を示す。この目の形状の抽出によ って、目の形状及び大きさを把握できる。目 の形状に関する抽出情報を基に目の角度(つ� �目、たれ目等)を求めたり、目の周囲の高濃� ��ライン(一重瞼や二重瞼等)などを求めたり� �ることもできる。

 目の差異を求める際は、目の中心点(瞳の 中心点)を一致させるようにユーザ14の目83と� ��ンプルの目84を重ね合わせる。ユーザ14の目 83はサンプルの目84に対して下側で目頭側(図9 における右側)ほど内側へのシフト量が大き� �、この内側へシフトした部分でマイナスの� �異85が得られ、一方、目の上側では目尻側(� �9における左側)ほど内側へシフトしており、 この内側へシフトした部分でマイナスの差異 85が得られる。また、ユーザ14の目83がサンプ ルの目84よりも細い場合は、ユーザ14の目の� �囲に目の上側か下側のうち少なくとも一方� �マイナスの差異85が生じる。目の下側におい て差異がマイナスになる領域が目尻側で狭く 目頭側で広い、かつ目の上側において差異が マイナスになる領域が目尻側で広く目頭側で 狭いと、ユーザ14がサンプルに比べ「たれ目� ��であると判定する。この場合、目の目頭側� ��目尻側とで内側へのシフト量の違いが大き� ��ほどたれ目の度合が大きいことになる。本� ��では、目の傾き度合いは9段階で表される。 目の傾き度合いの内訳は、例えばたれ目の度 合は4段階で表され、標準傾き(略水平)は1段� �で表され、つり目の度合は4段階で表される� ��たれ目とその度合を検索条件として第4記憶 部25のパーツ形状データベースにアクセスし� ��、その検索条件に応じたパーツ形状補正画� ��を取得する。この場合、パーツ形状補正画� ��87を構成する一レイヤとして、目尻上側の� �域に追加されるアイシャドウ88の補正画像が 得られる。

 目が一重瞼か二重瞼かも特徴抽出され得� ��。ユーザ14の目83が一重瞼であり、サンプル の目84が二重瞼である場合、二重部分のライ� ��が差異86として得られる。サンプルの二重� �に対してユーザ14が一重瞼であって、ユーザ 14が一重分不足するので、「マイナス一重」� ��評価し、これを検索条件とする。サンプル� ��一重瞼でユーザ14が二重瞼である場合は、� �プラス一重」となる。標準設定では二重を� �重にする補正は行わないが、二重を一重に� �る補正を行ってもよい。マイナス一重を検� �条件として第4記憶部25のパーツ形状データ� �ースにアクセスして、その検索条件に応じ� �補正画像を取得する。この場合、パーツ形� �補正画像87を構成する一レイヤとして、目の 上側に追加して二重瞼とするためのライン89� ��補正画像が得られる。このように図9におけ るパーツ形状補正画像87は、アイシャドウレ� ��ヤと二重瞼レイヤとを合わせた画像となっ� ��おり、例えば図7におけるレイヤL3,L4からな� ��。

 図10は、パーツとして口が選択されてい� �ときに、ユーザ14とサンプルとの間の口の形 状の差異を少なく見せる化粧(補正画像)を正� ��化粧画像74に施す場合を説明するものであ� �。以下、図10を用いて、口の形状補正処理に ついて説明する。記憶部23,36からそれぞれ読� ��出したサンプル化粧顔の素顔画像とユーザ1 4の素顔画像に対し、必要に応じて顔サイズ� �揃え、ユーザ14の素顔画像とサンプルの素顔 画像の各々から口を特徴抽出する。図10にお� ��る上段は、ユーザ14の口91とサンプルの口92� ��示す。この特徴抽出によって、口の形状及� ��大きさを把握できる。図10に示すように、� �例では、ユーザ14の口91は唇が若干薄くかつ� ��平方向の幅が広めであり、サンプルの口92� �唇が若干厚くかつ水平方向の幅が狭めであ� �。

 図10における下段中央に示すように、両� �91,92を重ねて、両者の差異を抽出すると、サ ンプル化粧顔の口92に対してユーザ14の口91が 上側で若干、下側でかなりの量、内側へシフ トしたマイナスの差異93が得られる。また、� ��91の左端と右端でユーザ14の口91がサンプル� ��口92に対してはみ出たプラスの差異94が得ら れる。口の周囲に沿って複数の領域が設定さ れ、図10の例では、口の上側に設定されてい� ��例えば7領域のうち中央部寄りの3領域と、� �の下側に設定されている例えば7領域のうち� ��央部寄りの5領域と、左側の領域と、右側の 領域との各領域位置の情報と、プラスまたは マイナスとを検索条件として取得する。そし て、第4記憶部25のパーツ形状データベースに アクセスして、その検索条件に応じた補正画 像を取得する。この場合、図10における下段� ��側に示すように、ユーザ14の口の上側と下� �の領域位置の情報とマイナスの情報とに基� �き、ユーザ14の唇の上側中央部と下側中央部 に追加される口紅96の補正画像(レイヤ)が得� �れ、ユーザ14の口の左側と右側の領域位置の 情報とプラスの情報とに基づき、ユーザ14の� ��の左端と右端に口紅を消去する画像97の補� �画像(レイヤ)が得られる。図10に示す補正画� ��95は、口紅96のレイヤと、口紅を消去する画 像97のレイヤとから構成される。

 そして、それら補正画像を第2画像処理部 47に送る。第2画像処理部47は、正味化粧画像7 4を構成するレイヤLu1~Lunの層間のうちその補� ��画像に応じた化粧層に応じたレイヤ挿入位� ��を把握し、その把握したレイヤ挿入位置に� ��ーツ形状補正画像87の各レイヤL3,L4等をそれ ぞれ追加する処理を行う。そして、処理後の 正味化粧画像を記憶部37に記憶する。画像97� �替え、正味化粧画像74を構成する口紅のレイ ヤから唇の左端と右端に相当する口紅を消去 する画像処理を施しても構わない。

 ステップS9では、顔パーツレイアウト補� �ありか否かを判断する。顔パーツレイアウ� �補正ありと判断すればステップS10へ進み、� �パーツレイアウト補正ありと判断されなけ� �ばステップS11へ進む。つまり、メモリに一� �記憶した選択情報に基づいて顔パーツレイ� �ウトの項目が選択されているか否かを判断� �、顔パーツレイアウトが選択されている場� �は顔パーツレイアウト補正ありと判断し、� �パーツレイアウトが選択されていない場合� �顔パーツレイアウト補正なしと判断する。� �目選択で「すべて選択」が選択されている� �合を説明しているので、ステップS10に進む� �とになる。

 次のステップS10では、顔パーツレイアウ� ��補正処理を行う。すなわち、記憶部23,36か� �それぞれ読み出したサンプル化粧顔の素顔� �像とユーザ14の素顔画像に対して、必要に応 じて顔サイズを揃え、サンプル化粧顔の素顔 画像とユーザ14の素顔画像の各々から、顔輪� ��と複数のパーツ(両目、口)とを抽出し、顔� �郭と複数のパーツの位置から、サンプルと� �ーザ14の顔パーツレイアウトとを求める。そ して、両者の顔パーツレイアウトの差異を抽 出するとともに、その差異を少なく見せるよ うにする化粧を、正味化粧画像74に施す顔パ� ��ツレイアウト補正処理を行う。例えば図11� �示すように、ユーザ14の素顔画像71とサンプ� ��化粧顔の素顔画像72とから特徴抽出を行っ� �得た顔輪郭と両目と口の各位置を取得する� �そして、顔輪郭と両目の位置とに基づいて� �横方向の顔幅を両目の各位置で分割した三� �の間隔の比率を、横方向のパーツレイアウ� �比率(顔パーツレイアウト横比率)として求め る。また、顔輪郭と両目と口の各位置とに基 づいて、顔の縦方向において頭髪の生え際か ら目の位置までの間隔と、目から口の口角ま での間隔と、口角から顎の先端までの間隔と の比率である縦方向のパーツレイアウト比率 (顔パーツレイアウト縦比率)を求める。

 例えば図11における上段に示すように、� �の横方向において顔幅を両目の位置で三つ� �領域に区画した各領域の比率である顔パー� �レイアウト横比率が、ユーザ14が20:60:20(%)で� ��るのに対して、サンプルが25:50:25(%)である� �する。また、顔の縦方向において、頭髪の� �え際から目までの間隔と、目から口の口角� �での間隔と、口角から顎の先端までの間隔� �の比率である顔パーツレイアウト縦比率が� �ユーザ14が30%:45%:25%であるのに対して、サン� ��ルが45%:35%:20%であるとする。

 顔パーツレイアウト横比率について、サ� ��プルとユーザ14との差異を算出すると、ユ� �ザ14の両目の位置が、サンプルの両目の位置 に対して、顔幅の5%だけ顔の幅中心から外側� ��向かう方向(マイナス方向)へシフトしてい� �ことを意味する「マイナス5%」の差異が得ら れる。ユーザ14の両目の間隔の割合がサンプ� ��の両目の間隔の割合にその差異を補うよう� ��近づけて、両目の間隔を顔幅の5%だけ狭く� �せる化粧(補正画像)を正味化粧画像74に付加� ��る画像処理を行う。

 また、顔パーツレイアウト縦比率につい� ��、サンプルとユーザ14との差異を算出する� �、ユーザ14の頭髪の生え際から目の位置まで の間隔の割合が、サンプルのそれに対して、 顔の縦方向の長さである顔長の15%だけ狭い側 (マイナス方向)へシフトしていることを意味� ��る「マイナス15%」の差異が得られる。但し� ��化粧でパーツを実際よりも所定方向へシフ� ��しているように見せられる割合には限界が� ��り、この限界値(例えば5%)を最大値とするよ うに「プラス5%」の差異は与えられる。

 同様にユーザ14の目の位置から口の位置� �での間隔の割合が、サンプルのそれに対し� �、顔長の10%だけ広い側(プラス方向)へシフト していることを意味する「プラス10%」の差異 が得られる。この場合、先に頭髪の生え際と 目の間隔の割合を広くするマイナス5%が既に� ��えられているので、この場合、「マイナス5 %」が与えられる。同様にユーザ14の口の位置 から顎の先端までの間隔の割合が、サンプル のそれに対して、顔長の5%だけ広い側(マイナ ス方向)へシフトしていることを意味する「� �ラス5%」の差異が得られる。この場合、口か ら顎の先端までの間隔の割合を顔長の5%だけ� ��くする「マイナス5%」の差異として演算さ� �る。顔の縦方向における顔パーツレイアウ� �の差異を補うように、ユーザ14の顔パーツレ イアウトをサンプルの顔パーツレイアウトに 近づける化粧(補正画像)を、正味化粧画像74� �付加する画像処理を行う。

 上記の顔パーツレイアウト以外にも、例� ��ば頭髪の生え際から眉の下端までの間隔と� ��眉と目の間隔と、目と鼻の下端との間隔と� ��鼻の下端から顎の先端までの間隔との比率� ��表される顔パーツレイアウトも求めており� ��サンプルとユーザ14との間の顔パーツレイ� �ウトの差異を算出し、ユーザ14の比率がサン プルの比率に近づく化粧(補正画像)を、正味� ��粧画像74に追加する画像処理を行うことも� �きる。例えばユーザ14の顔は、頭髪の生え際 と眉の下端との間の割合がサンプルのそれよ り小さく、眉の下端と目との間隔の割合がサ ンプルのそれと略等しく、目と鼻の下端との 間の間隔の割合がサンプルのそれと略等しく 、かつ鼻と口との間隔の割合がサンプルのそ れよりも大きい。よって、ユーザ14の眉と目� ��間隔の割合を大きくする化粧(補正画像)と� �鼻と口の間隔の割合を小さくする化粧(補正� ��像)を、正味化粧画像74に施す画像処理を行� ��。

 顔パーツレイアウトの差異を補うために� ��顔パーツレイアウトデータベースから取得� ��れる補正画像は、例えば図11下段に示され� �いる。この例では、ユーザ14の頭髪の生え際 から目までの間隔を広く見せるために、頭髪 の生え際から目までの間隔とプラス5%との検� ��条件に基づいて顔パーツレイアウトデータ� ��ースにアクセスし、ユーザ14の額部分に追� �するハイライト102の補正画像が取得される� �目から口までの間隔を狭く見せるために、� �から口までの間隔とマイナス5%との検索条件 に基づいて顔パーツレイアウトデータベース にアクセスし、鼻に沿って追加されるシャド ウ104の補正画像が取得される。口と顎の先端 との間隔を狭く見せるために、顎の部分に追 加されるシャドウ104の補正画像が取得される 。鼻の下端と口との間隔の割合を狭くするた めに、口の上側部分に追加されるシャドウ104 の補正画像を取得することもできる。顔の横 方向においてユーザ14の両目の間隔を狭くみ� ��るために、目の目尻側に追加されるハイラ� ��ト103の補正画像を取得することもできる。� ��の顔パーツレイアウト補正処理により、図1 1における下段右側に示すように、例えばハ� �ライト102のレイヤL5と、シャドウ104のレイヤ L6と、ハイライト103のレイヤL7が取得される� �

 取得された補正画像を第3画像処理部48に� ��る。第3画像処理部48は、記憶部37から正味� �粧画像74を読み出し、その読み出した正味化 粧画像74に対して顔パーツレイアウトに係る� ��正画像を、顔パーツレイアウト識別子から� ��定されるレイヤ位置に追加し、追加後の正� ��化粧画像74を記憶部37に再び記憶する。こう してマッチング処理後の正味化粧画像74をユ� ��ザ14の顔の輪郭、パーツ形状、顔パーツレ� �アウトをサンプルのそれに近づけるように� �正して得られた図7(c)に示す補正後正味化粧� ��像100が記憶部37に記憶される。顔の輪郭、� �ーツ形状、顔パーツレイアウトに係る各補� �画像が、同じ化粧層で重複する場合や、化� �層が異なる場合でもユーザ14の顔をサンプル 化粧顔に同じ対象において近づける場合は、 重複による過度の補正が加えられることがな いようにしている。

 顔パーツレイアウトの差異を、ユーザ14� �顔パーツレイアウトをサンプルの顔パーツ� �イアウトに近づける方法として、顔パーツ� �イアウトの差異を、眉、目、鼻、口の各位� �のシフト方向、シフト量に換算し、その換� �情報を基に、パーツを実際よりそのシフト� �向、シフト量だけシフトしていように見せ� �補正画像を取得して正味化粧画像74に付与す る方法を採用することもできる。

 ステップS11では、補正後正味化粧画像100� ��素顔画像71との合成処理及び表示を行う。� �なわち、記憶部37から図7(c)に示す補正後正� �化粧画像100を読み出すとともに、記憶部36か らユーザ14の素顔画像71を読み出し、ユーザ14 の素顔画像71上に補正後正味化粧画像100を重� ��る合成処理を行う。この合成処理時の位置� ��わせは、二点を一致させれば足りるので、� ��えば両目の中心位置を合わせることで補正� ��正味化粧画像100の素顔画像71上への貼り付� �処理を行ってもよい。

 制御部31は、合成処理部34で合成された化 粧顔画像を含むウェブデータを作成し、その ウェブデータを送受信部29からネットワーク1 1を通じてクライアント端末12に送信する。そ の結果、クライアント端末12の表示部12bには� ��図12に示すウェブ画面105が表示される。ウ� �ブ画面105は、そのコンテンツエリアに化粧� �表示画面106を含み、化粧顔表示画面106の化� �顔表示領域107にユーザ14の化粧顔画像が表示 される。化粧顔表示画面106には、追加修正を 行う項目を選択するための複数の選択欄(プ� �ダウンメニュー)が設けられている。詳しく� ��、追加修正できる項目として、顔の輪郭、� ��ーツ形状、顔パーツレイアウトの三種類が� ��意されており、パーツ形状としては目、眉� ��鼻、口を選択できる。顔の輪郭のプルダウ� ��メニューでは、希望の顔の輪郭を選択でき� ��例えば卵形、四角形、三角形などの顔の輪� ��を選択できる他、顎を長く、頬を丸く、エ� ��を丸くなどの顔の部分の形状の選択も可能� ��なっている。例えば顔の輪郭の中から例え� ��卵形を選択すると、次画面(詳細設定画面)� �表示され、複数種の卵形の中から所望のも� �を選択できたり、卵形に近づける割合(%)の� �定も可能となっている。パーツ形状の目に� �、プルダウンメニューで、大きく、細く、� �れ長、たれ目、つり目、アーモンド形など� �選択できる他、二重瞼、一重瞼、睫毛を長� �などの選択も可能となっている。そして、� �ずれか一つを選択すると、同様に詳細設定� �面が表示されて詳細設定が可能となってい� �。その他、眉、鼻、口についても種々の形� �や、一部の形状や質感(例えば口であれば唇� ��しっとり感、艶、濡れた感じ、弾力感など) を選択できる。顔パーツレイアウトについて は、黄金比、3:4:2、4:3:3などの所定比率の他� �額を広くまたは狭く、目と口の間隔を広く� �たは狭く、口と顎先の間隔を広くまたは狭� �などの部分的なエリアの広さを変更する選� �が可能になっており、同様にそれぞれにつ� �て詳細設定が可能になっている。そして、� �正実行ボタン111を操作すると、ユーザ14が選 択指定した追加修正の処理が実行される。色 変更ボタン112を操作すると、色変更の詳細設 定画面が表示され、ファンデーションの色、 コンシーラの色、口紅の色、チークの色、ア イシャドウの色などを変更することができる 。

 このように必要に応じて形状や比率、色� ��追加修正する。手本化粧顔が気に入れば、� ��存ボタン113を操作することで化粧顔データ� ��クライアント端末12のメモリに保存するこ� �ができる。例えば、好みの手本化粧顔を保� �し、それらを順番にあるいは一覧として画� �に表示してその中から自分の一番好む手本� �粧顔画像を選択することもできる。

 こうして手本化粧顔画像が生成されると� ��ユーザ14は入力部12aを操作して化粧手順レ� �ピ表示ボタン109を操作する。化粧手順表示� �タン109の操作に基づく要求をサーバ20が受け 付けると、サーバ20のCPUは化粧支援処理プロ� ��ラムのうち化粧アドバイス処理プログラム� ��実行することで、ステップS12以降の化粧ア� ��バイス処理を行う。

 ところで、化粧顔画像生成処理において� ��顔の輪郭抽出部41、パーツ形状抽出部42及び 顔パーツレイアウト抽出部43が取得した識別� ��(顔の輪郭画像識別子、パーツ形状画像識別 子、顔パーツレイアウト画像識別子)は、手� �補正部35へ送られる。そして、手順補正部35� ��において、顔の輪郭画像識別子は顔の輪郭� ��順補正部51へ、パーツ形状画像識別子はパ� �ツ形状手順補正部52へ、顔パーツレイアウト 画像識別子は顔パーツレイアウト手順補正部 53へそれぞれ送られる。

 ステップS12では、手順補正処理を行う。� ��なわち、手順補正部35が、第7記憶部28に格� �されているリンクテーブルを参照して、補� �画像の識別子に応じたアドレスを取得する� �そして、手順補正部35は、第7記憶部28に格納 されている手順補正用データベースにアクセ スして、補正画像の識別子に応じた手順補正 データを取得する。すなわち、顔の輪郭手順 補正部51は、手順補正用データベースにアク� ��スして、顔の輪郭画像識別子に応じた顔の� ��郭手順補正データを取得する。パーツ形状� ��順補正部52は、手順補正用データベースに� �クセスして、パーツ形状画像識別子に応じ� �パーツ形状手順補正データを取得する。顔� �ーツレイアウト手順補正部53は、補正用デー タベースにアクセスして、顔パーツレイアウ ト画像識別子に応じた顔パーツレイアウト手 順補正データを取得する。

 手順補正部35は、手順補正処理を行うに� �たり、まず、サンプル化粧顔の画像64に対応 するサンプル化粧手順レシピD1~Dnを第6記憶部 27から読み出し、記憶部38に一時記憶する。� �順補正処理では、記憶部38に格納されている サンプル化粧手順レシピD1~Dnの文章に補正を� ��える。スピーカからの音声は文章の読み上� ��処理を行う構成では、文章の補正により音� ��も補正される。もちろん、音声を用意して� ��き、音声を補正する構成も採用できる。

 顔の輪郭手順補正データ、パーツ形状手� ��補正データ、顔パーツレイアウト手順補正� ��ータは、それぞれサンプル化粧手順レシピ� ��の文章を補正するための文章データである� ��顔の輪郭手順補正データ、パーツ形状手順� ��正データは、顔の輪郭(卵形顔、四角顔、逆 三角形顔、丸顔、三角形顔等)、パーツ形状(� ��しくは眉形状、目形状、鼻形状、口形状)ご とに、サンプル化粧手順レシピの文章中の特 定の文書エリア55又は特定の位置を特定する� ��ドレス56とリンクされている。各手順補正� �ータは、対応するアドレス56で特定される文 書エリア55に置き替えられたり、対応するア� ��レス56で特定される特定位置に追加挿入さ� �たりする。

 すなわち、顔の輪郭手順補正データは、� ��14中に示すサンプル化粧手順レシピの文章� �において、顔の輪郭画像識別子とリンクさ� �たアドレス56で指定された文書エリア55の文� ��と置き替えられたり、顔の輪郭画像識別子� ��リンクされたアドレス56で指定された位置� �追加挿入されたりする。目形状、鼻形状、� �形状などの各手順補正データは、図14中に示 す文章中において、目形状、鼻形状、口形状 の画像識別子とリンクされたアドレス56で指� ��された文書エリア55の文章と置き替えられ� �。サンプル化粧手順レシピD1~Dに文書以外に� ��像が含まれている場合は、文書の場合と同� ��に識別子に対応する画像が特定され、その� ��像が補正用の画像に置き換えられたり、そ� ��画像に補正用の画像のレイヤが追加された� ��する。

 そして、図13において、化粧の途中のス� �ップでの完成イメージを提供する手本化粧� �画像I1~Inは、補正後正味化粧画像100を構成す るレイヤを用いて作成される。補正後正味化 粧画像100を構成するレイヤは、化粧層別(例� �ば同じコンシーラでも化粧層が異なれば別� �のレイヤ)、及び化粧種別(例えばファンデー ションとチーク)に一枚ずつ分けて構成され� �いる。補正後正味化粧画像100を構成するレ� �ヤは、化粧が施される順番に例えば番号が� �されており、そのレイヤ番号からどの化粧� �テップに属するかが管理されている。手本� �粧顔画像I1~Inを作成するときは、補正後正味 化粧画像100を構成するレイヤの中から、まず 手順1に属するレイヤを記憶部37から読み出し 、その読み出したレイヤをユーザ14の素顔画� ��71上に重ねる合成処理を行うことにより、� �順1の手本化粧顔画像I1を生成する。次に手� �2に属するレイヤを記憶部37から読み出し、� �の読み出したレイヤを手本化粧顔画像I1上に 重ねる合成処理を行うことにより、手順2の� �本化粧顔画像I2を生成する。以下、手順3か� �手順nまで同様の処理を繰り返して、手本化� ��顔画像I3~Inを生成する。補正後正味化粧画� �100のレイヤを用いて手本化粧顔画像を生成� �る制御部31は化粧途中顔画像生成手段を構成 する。

 こうして、全ての化粧ステップにおいて� ��手本化粧顔画像I1~Inと、文章からなるユー� �14の化粧手順レシピX1~Xnとが作成される。そ� ��て、制御部31は、手本化粧顔画像I1~Inと化粧 手順レシピX1~Xnとを用いて、図13に示すよう� �手順別に手本化粧顔画像と化粧方法の説明� �書とが配列された化粧手順レシピ表示画面11 6を表示するためのウェブデータを作成する� �そして、制御部31はそのウェブデータを送受 信部29からネットワーク11を通じてクライア� �ト端末12に送信する。

 クライアント端末12の表示部12bには、図13 に示すウェブ画面115が表示される。ウェブ画 面115中の化粧手順レシピ表示画面116には、ス テップ1からステップnまでのステップごとに� ��手本化粧顔画像と、化粧方法を説明する化� ��手順レシピX1~Xnに基づく文章が表示される� �化粧手順レシピ表示画面116には、やり直し� �タン117と、登録ボタン118が設けられている� �やり直しボタン117を操作すると、ユーザ14の 化粧顔を選択できる画面が表示され、その画 面で選択し直した化粧顔の化粧手順レシピを 表示し直すことができる。その化粧手順レシ ピに従って化粧をしてみて気に入った場合な どに、登録ボタン118を操作すると、その化粧 手順レシピをクライアント端末12又はサーバ2 0に保存することができる。保存(登録)された 化粧手順レシピは、クライアント端末12から� ��ーバ20にアクセスすることによりクライア� �ト端末12の画面に一覧表示させることができ 、ユーザ14が登録した中から気に入った化粧� ��順レシピを選択することにより、化粧顔生� ��処理を経ず直ぐに化粧手順レシピを表示部1 2bに表示させることも可能である。

 図13に示す化粧手順レシピ表示画面116に� �いて最上段の手順番号はリンクされており� �所望の手順番号を選択すると、その選択し� �手順に対応する化粧実行画面が表示される� �例えば「手順1」を選択操作すると、図15に� �すように、手順1の化粧実行画面121を含むウ� ��ブ画面120が表示される。化粧実行画面121に� ��、ユーザ14が化粧を行っている様子をカメ� �16で撮影した動画が表示される中継画面122と 、その手順における手本化粧顔画像I1が表示� ��れる手本画面123とが設けられ、それらの下� ��に化粧方法を説明する化粧手順レシピX1に� �づく文章が表示される。中継画面122は鏡の� �割をし、ユーザ14はこの中継画面122を見なが ら手本画面123内の手本化粧顔を手本にして、 提示された化粧方法の説明文書に従って化粧 を行う。化粧実行画面121でNEXTボタン124を操� �すると、次の手順へ進むことができる。化� �アドバイスボタン125を操作すると、その手� �における実際の化粧顔画像と手本化粧顔画� �との比較に基づく化粧アドバイスを受ける� �とができる。

 化粧ステップごとに化粧アドバイスを作� ��する処理は、引用文献2に記載の処理方法と 同様である。すなわち、ユーザ14は各化粧ス� ��ップの化粧を完成させる度に化粧途中の自� ��の顔をカメラ16で撮影する。その撮影され� �化粧顔画像K1(図16を参照)はクライアント端� �12の所定記憶領域に書込まれる。その後、入 力部12aを操作して図15に示す化粧アドバイス� ��タン125を操作すると、実際の化粧顔画像が� ��ーバ20に送信され、サーバ20内のメモリに記 憶される。

 サーバ20の制御部31は、手順ごとに撮影さ れた実際の化粧顔画像K1(化粧途中顔画像又は 化粧完成顔画像)と、手本化粧顔画像I1(手本� �化粧途中顔画像又は手本の化粧完成顔画像)� ��をメモリから読み出して、図16に示すよう� �化粧顔画像K1と手本化粧顔画像I1との間で化� ��状態の差異を演算する。そして、制御部31� �この差異を基にして、ユーザ14の化粧顔画像 K1を手本化粧顔画像I1に近づけるための化粧� �ドバイスを作成する。サーバ20は化粧アドバ イスをクライアント端末12に送信し、図17に� �す化粧アドバイス表示画面Jj(j=1,2,…,n)を手� �ごとに表示させる。化粧アドバイスは、好� �しい実施形態では、少なくとも文章を含む� �、もちろん化粧アドバイスは、文書、音声� �画像のうち少なくとも1つであれば足りる。� ��メラ16及びクライアント端末12側の送受信部 及び送受信部29は化粧途中顔画像取得手段を� ��成する。また、化粧顔画像と手本化粧顔画� ��との間で化粧状態の差異を演算する制御部3 1は化粧顔差異取得手段を構成する。化粧顔� �差異を基にして化粧アドバイスを作成する� �御部31はアドバイス手段を構成する。化粧ア ドバイスを表示するクライアント端末12の表� ��部12bは出力手段を構成する。

 図17に示す化粧アドバイス表示画面J1~Jnに は、実際の化粧顔画像K1~Knと手本化粧顔画像I 1~Inが表示される他に、手本化粧顔画像I1~Inと 化粧顔画像K1~Knとの差異に基づきサーバ20内� �制御部31が作成した化粧アドバイスR1~Rn(文書 )が表示される。この化粧アドバイスR1~Rnは、 ユーザ14が化粧を行った実際の化粧顔画像Kj(j =1,2,…,n)に対して手本化粧顔画像Ij(j=1,2,…,n)� ��異なる部分の指摘や、その部分の修正方法� ��ど、ユーザ14の化粧顔を手本化粧顔画像Ijに 近づけさせるためのアドバイスが表示される 。ユーザ14はこの操作を各手順ごとに繰り返� ��行い、この化粧アドバイス表示画面J1~Jnは� �手順1~nごとにそれぞれ表示される。

 ユーザ14はこの化粧アドバイス表示画面J1 ~Jnを見ることで、提供された化粧方法に従っ て自分が施した化粧に対して、手本化粧顔画 像の通りに化粧を行ったか否かの適正な判断 を受けることが可能になる。また、手順ごと に化粧アドバイスを受ける構成であるので、 例えば全て化粧が終わった後にその化粧状態 を手本化粧顔画像と比較する場合に比べ、化 粧修正時に大幅な修正を行う必要がなくなる 。

 以上詳述したように、好ましい実施形態に� ��れば、以下の効果を得ることができる。
 (1)ユーザ14とサンプルとの顔の輪郭の差異� �補う化粧(補正画像)が、マッチング処理後の 正味化粧画像74に追加されるので、サンプル� ��粧顔に近いユーザ14の化粧顔画像を提供で� �る。

 (2)ユーザ14とサンプルとの間の目、眉、� �、口などのパーツ形状の差異を補う化粧(補� ��画像)が、マッチング処理後の正味化粧画像 74に追加されるので、サンプル化粧顔画像に� ��り近いユーザ14の化粧顔画像を提供できる� �

 (3)ユーザ14とサンプルとの間の顔パーツ� �イアウトの差異を補う化粧(補正画像)が、マ ッチング処理後の正味化粧画像74に追加され� ��ので、サンプル化粧顔により近い化粧が施� ��れたユーザ14の化粧顔を提供できる。

 (4)サンプル化粧顔用の化粧手順レシピ中� ��文章を補正して、ユーザ14の化粧手順レシ� �の文章を作成するので、ありうる全ての説� �文章をデータベースとして用意する必要が� �く、補正用の文章部分のみをデータベース� �して持てばよいので、化粧手順レシピのデ� �タベースのために必要な記憶容量を少なく� �えられる。

 (5)補正後正味化粧画像100を構成するレイ� ��は、化粧ステップ毎に番号などが付されて� ��類されている。そのため、化粧ステップご� ��のレイヤを、ユーザ14の素顔画像に追加し� �り、前の化粧ステップにおける化粧途中顔� �像に追加する画像処理を行えば、化粧ステ� �プごとに化粧途中顔画像を簡単に作成でき� �。

 (6)ユーザ14が各化粧ステップで化粧途中� �を完成させると、その化粧途中顔の写真画� �を読み込ませることにより、実際に化粧を� �したユーザ14の化粧途中顔と目標とすべき化 粧途中顔との差異を抽出し、その抽出した差 異を補う化粧法を化粧アドバイスとして提供 する。よって、ユーザ14は各化粧ステップに� ��いて目標どおりの化粧途中顔を完成させて� ��次の化粧手順に進むことができ、ユーザ14� �素顔を化粧顔画像どおりの化粧顔に仕上げ� �ことができる。そのため、出来上がった化� �顔が希望の化粧顔からかけ離れてしまう頻� �を少なくできる。

 (7)ユーザ14とサンプルとの間の差異を補� �化粧を追加するかどうか、化粧支援画面に� �いて、顔の輪郭、パーツ形状、顔パーツレ� �アウトなどの項目のうちから少なくとも一� �を選択できる構成とした。このため、この� �の差異を補う化粧を追加する場合と、追加� �ない場合、またある項目のみ差異を補う化� �を追加するなど、色々試して作成されたユ� �ザ14の化粧顔画像を比較して、ユーザ14は所� ��の化粧顔を目標化粧顔として選択できる。� ��のため、ユーザ14は、いろいろ試した化粧� �画像の中から、所望の化粧顔画像を手本と� �て選択できる。また、自分の顔のうち好み� �特徴を残したい場合は、その残したい顔の� �徴部分を、項目から外せば、その特徴を維� �したユーザ14の化粧顔画像を生成することが できる。そのため、自分の気に入った顔の特 徴を残しつつ、顔のその特徴以外の部分につ いてはサンプル化粧顔に近づけた化粧顔画像 を取得できる。

 (8)またパーツ形状を選択した場合は、眉� ��目、鼻、口の各パーツ形状の中から所望の� ��なくとも一つを選択できる構成としたので� ��ユーザ14は、眉、目、鼻、口の各パーツ形� �の中から所望の少なくとも一つを選択しつ� �化粧顔画像をいろいろ試して、そのうち所� �の化粧顔画像を手本として選択することが� �きる。また、自分の顔のうち好みのパーツ� �特徴を残したい場合は、その残したい顔の� �ーツを、項目から外せば、そのパーツの特� �が残るかたちでユーザ14の化粧顔画像を生成 することができる。そのため、自分の気に入 った顔のパーツの特徴を残しつつ、顔のその パーツ以外の部分についてはサンプル化粧顔 に近づけた化粧顔画像を取得できる。

 (9)ユーザ14及びサンプルの画像として2次� ��画像ではなく、3次元画像を使用した場合、 鼻の高さや目の窪み、頬、額、口の突出量な どの立体情報を取得し、ユーザ14とサンプル� ��おける立体情報の差異を補う化粧を、正味� ��粧画像に追加することができる。よって、� ��体的にもサンプル化粧顔に近づけたユーザ1 4の化粧顔を提供できる。

 好ましい実施形態は以下のように変更して� ��よい。
 好ましい実施形態では、補正画像をレイヤ� ��して追加したが、正味化粧画像に補正用の� ��味化粧画像を施す処理方法はレイヤを追加� ��る方法に限定されない。例えば正味化粧画� ��74を構成するレイヤに補正画像を直接追加� �たり、そのレイヤの画像を一部消去するな� �の画像処理を行う構成も採用できる。要す� �に正味化粧画像にユーザ14とサンプル化粧顔 の素顔の輪郭、パーツ形状、顔パーツレイア ウトのうち少なくとも一つの差異を補うよう な化粧の画像を施す構成であれば足りる。ま た、正味化粧画像73,74がレイヤ構造をとるこ� ��も必須ではない。

 好ましい実施形態では、顔の輪郭、パー� ��形状、顔パーツレイアウトについてそれら� ��差異を補う補正後正味化粧画像100を正味化� ��画像に付加する構成としたが、上記の三つ� ��べてを採用することに限定されない。例え� ��顔の輪郭のみ、パーツ形状のみ、顔パーツ� ��イアウトのみを採用したり、顔の輪郭とパ� ��ツ形状、顔の輪郭と顔パーツレイアウト、� ��ーツ形状と顔パーツレイアウトのように二� ��を採用したりしてもよい。また、パーツ形� ��として、目、眉、鼻、口を採用したが、こ� ��らのうち一のみ、二つのみ、三つのみを採� ��してもよい。さらに他の要素の差異を補う� ��粧を付加する構成も採用できる。例えばユ� ��ザ14とサンプルとの地肌の色の差異を補う� �粧を正味化粧画像に付加する構成でもよい� �つまり、ユーザ14の顔地肌色がサンプルの顔 地肌色より濃い場合は、ファンデーションの 色をサンプルのものより薄くし、その逆にユ ーザ14の顔地肌色がサンプルのそれより薄い� ��合は、ファンデーションの色をサンプルの� ��のより濃くする。これとは逆の濃度を選択� ��る構成でもよく、例えばユーザ14の顔地肌� �がサンプルの顔地肌色より濃い場合は、フ� �ンデーションの色をサンプルのものより濃� �し、その逆にユーザ14の顔地肌色がサンプル のそれより薄い場合は、ファンデーションの 色をサンプルのものより薄くする。この構成 によれば、サンプルと同じ色のファンデーシ ョンを用いたことにより、ユーザ14の顔地肌� ��ファンデーションとの色が違い過ぎてユー� ��14が不自然な顔色になることを避けること� �できる。

 サンプル化粧顔の画像は、実際の人物の� ��粧顔の画像に限られず、画像処理した化粧� ��画像であってもよい。例えば、化粧モデル� ��ような他人の化粧顔画像とユーザ14の素顔� �画像とをモーフィング合成した化粧顔を、� �ーザ好みの化粧顔として選択してもよい。� �ーフィング合成する場合に、目、眉、鼻、� �、顔の輪郭のうち少なくとも一つを選択し� �その選択したパーツや顔の部分についての� �ユーザ14の顔画像と化粧モデルの化粧顔画像 とを合成してもよい。化粧モデルの素顔の画 像は、ユーザ14の素顔画像と化粧モデルの素� ��画像とを、ユーザ好みの化粧顔画像を合成� ��たときと同じ条件でモルフィング処理を行� ��て合成することで取得できる。そして、正� ��化粧画像は、モルフィングで生成したユー� ��好みの化粧顔像から、モルフィングで生成� ��た素顔の画像を差し引く処理を行って取得� ��る。

 好ましい実施形態では、サーバ20が化粧� �援処理を行ってその処理結果をクライアン� �端末12に送信する構成であったが、クライア ント端末が、サーバからダウンロードした化 粧支援処理プログラム(化粧顔画像生成処理� �ログラムを含む)を実行することにより、ク� ��イアント端末12を化粧顔画像生成装置とし� �構成することもできる。化粧支援プログラ� �の一部をクライアント端末がサーバからダ� �ンロードし、クライアント端末のCPUがその� �ログラムを実行して化粧支援処理を実行す� �とともに、データベースへのアクセスが必� �な処理についてはサーバに必要なデータを� �信して、サーバがそのデータを基にデータ� �ースにアクセスして必要なデータ(画像又は� ��書)を取得して必要に応じて所定の処理を施 した後にデータをクライアント端末12に送信� ��る構成も採用できる。

 化粧アドバイスシステムは、ネットワー� ��を通じて互いに接続されたサーバとクライ� ��ント端末とにより構成することに限定され� ��い。例えばパーソナルコンピュータやワー� ��ステーション、PDA(Personal Digital Assistants)、 携帯電話機に、例えばCD-ROM等の記憶媒体から 化粧支援処理プログラムをインストールし、 その化粧支援処理プログラムを内蔵のCPUに実 行させることで、化粧支援装置を構成するこ ともできる。この化粧支援装置は、入力した ユーザ14の素顔画像と化粧モデルの素顔の画� ��とを用いて、ユーザ14の素顔画像と化粧モ� �ル等の素顔画像との差を補う補正処理を正� �化粧画像に施して、その補正された正味化� �画像をユーザ14の素顔画像に合成して生成し たユーザ14の化粧顔画像を、モニタに表示す� ��化粧顔画像生成装置として機能する。この� ��合、パーソナルコンピュータ等にカメラ(画 像撮影手段)を接続又は組み付け、ユーザ14の 素顔や化粧アドバイス時の化粧途中顔などを 撮影する画像撮影手段、及びユーザ好みの化 粧顔や化粧アドバイス内容などを表示するモ ニタ等の表示手段を備えた化粧支援装置とし て構成することもできる。

 好ましい実施形態では、化粧アドバイス� ��行ったが、化粧アドバイスをしない構成で� ��よい。例えばユーザ14の化粧顔画像(手本化� ��顔)を表示させるだけの化粧顔画像生成装置 としてもよい。化粧アドバイスを行う場合に ついても、前記実施形態のようにサンプル化 粧手順レシピを修正して化粧手順レシピを作 成する構成に限定されない。例えば、各手順 の化粧顔画像を分析して、その分析結果を基 にコンピュータが化粧手順レシピを作成して もよい。

 好ましい実施形態では、コンピュータに� ��ログラムを実行させることでソフトウェア� ��より実現したが、例えば制御回路(カスタム ICなど)によりハードウェアで実現してもよく 、ハードウェアとソフトウェアとの協働によ り実現してもよい。