(口紅処理)
 シミュレータメインアプリ28に含まれる口� �処理部39は図20に示すように唇8点及び鼻3点� �トラッキングポイント34を参照し、口紅処理 を行う。図20は口紅処理により参照されるト� ��ッキングポイントを示すイメージ図である� ��

 図21は口紅処理を示す一例のフローチャ� �トである。口紅処理は大別するとステップS1 0の前準備処理とステップS20の色塗り処理と� �構成される。前準備処理は、ステップS11の� �出し&回転処理,ステップS12の輪郭抽出用� �像の作成処理,ステップS13の輪郭抽出処理,ス テップS14のスプライン曲線生成処理,ステッ� �S15の回転戻し処理,ステップS16の色塗りマッ� ��生成処理とで構成される。色塗り処理は、� ��テップS21の色塗りマップに基づく色塗り処� ��,ステップS22のデバック&デザイン用描画� ��理とで構成される。

 ステップS11の切出し&回転処理に進み� �口紅処理部39は、顔認識処理用画像からユー ザの顔の唇を含む部分画像500を切り出し、そ の部分画像500を処理用の姿勢に回転させて部 分画像501を得る。

 ステップS12の輪郭抽出用画像の作成処理� ��進み、口紅処理部39は部分画像501から輪郭� �出用画像を作成する。ステップS13の輪郭抽� �処理に進み、口紅処理部39は輪郭抽出用画像 から唇の輪郭を部分画像502に示すようにポイ ントで抽出する。

 図22は輪郭抽出処理を表す一例のイメー� �図である。輪郭抽出用画像600は唇8点及び鼻3 点のトラッキングポイントが重ねて表示され ている。口紅処理部39は、唇8点及び鼻3点の� �ラッキングポイントを元に再探索して輪郭� �出用画像601のポイントを抽出する。

 図23は輪郭抽出用画像600の唇8点及び鼻3点 のトラッキングポイントと、唇8点及び鼻3点� ��トラッキングポイントを元に再探索して抽� ��した輪郭抽出用画像601のポイントとの比較� ��面である。なお、上記再探索が不調な場合� ��輪郭抽出用画像600の唇8点及び鼻3点のトラ� �キングポイントから算出した図24のようなデ フォルトポイントを採用する。

 図24は唇8点及び鼻3点のトラッキングポイ ントからデフォルトポイントを求める処理を 表した一例のイメージ図である。口紅処理部 39は鼻の3点のトラッキングポイントを参照し 、上唇5点に対してデフォルトポイントを求� �る。

 ステップS14のスプライン曲線生成処理に� ��み、口紅処理部39は輪郭抽出用画像601のポ� �ント又は図24のようなデフォルトポイントを 2次スプラインで補間し、図25に示すような輪 郭を完成させる。図25は、ポイント又はデフ� ��ルトポイントから輪郭を完成させる処理を� ��したイメージ図である。部分画像503のよう� ��唇の輪郭が完成すると、口紅処理部39はス� �ップS15に進み、ステップS11の切出し&回転 処理で行った回転を元に戻す回転戻し処理を 行なう。

 ステップS16の色塗りマップ生成処理に進� ��、口紅処理部39は部分画像700の明度および� �度から色塗りの強さを決める色塗りマップ� �生成する。図26は色塗りマップ生成処理を表 した一例のイメージ図である。具体的に、口 紅処理部39は明度および彩度から色塗りの強� ��を表すグレースケール画像701を生成する。� ��紅処理部39は、ステップS14のスプライン曲� �生成処理で完成させた唇の輪郭で囲まれた� �分画像702のみを色塗りマップ504としてグレ� �スケール画像701から切り出す。

 ステップS21の色塗りマップに基づく色塗� ��処理に進み、口紅処理部39はステップS16の� �塗りマップ生成処理で生成した色塗りマッ� �504と、図19のようなメイクアップ処理パラメ ータファイルに設定されているメイクアップ の施し方や指定色に基づいてメイクアップ前 画像に対して着色を行なう。

 図27は色塗りマップに基づく色塗り処理� �表した一例のイメージ図である。口紅処理� �39は図19のようなメイクアップ処理パラメー� ��ファイル801に設定されているメイクアップ� ��施し方や指定色と、ステップS16の色塗りマ� ��プ生成処理で生成した色塗りマップ802とに� ��づいて、メイクアップ前画像803に対して着� ��を行い、メイクアップ後画像804を得る。

 そして、ステップS22のデバック&デザ� �ン用描画処理に進み、口紅処理部39はデバッ ク&デザイン用描画の処理を行ったあと、� ��紅処理を終了する。

 (シャドウ処理)
 シミュレータメインアプリ28に含まれるシ� �ドウ処理部38は図28に示すように左右別に目3 点及び眉1点のトラッキングポイント34を参照 し、シャドウ処理を行う。図28はシャドウ処� ��により参照されるトラッキングポイントを� ��すイメージ図である。

 図29はシャドウ処理を示す一例のフロー� �ャートである。シャドウ処理は大別すると� �テップS30の前準備処理とステップS40の色塗� �処理とで構成される。前準備処理は、ステ� �プS31の基本輪郭の生成処理で構成される。

 色塗り処理は、色塗りパターン分繰り返� ��行なう、ステップS41の色塗り輪郭の生成処� ��,ステップS42の色塗り中心の生成処理,ステ� �プS43の色塗りマップの生成処理,ステップS44� ��色塗りマップに基づく色塗り処理,ステップ S45のデバック&デザイン用描画処理とで構� ��される。

 ステップS31の基本輪郭の生成処理に進み� ��シャドウ処理部38は、顔認識処理用画像か� �ユーザの顔の目の形状を部分画像900のよう� �得る。図30は、基本輪郭の生成処理を表す一 例のイメージ図である。

 シャドウ処理部38は色塗り輪郭の基本と� �る輪郭を生成するため、部分画像1001に示す� ��うに、目の中心から上下方向を探索して目� ��輪郭(上辺境界&下辺境界)を2点認識する� �シャドウ処理部38は、認識した目の輪郭2点,� ��尻及び目頭の4点に、スプライン補間で生成 した4点を追加して、計8点によるポリゴンを� ��分画像1002のように生成する。

 ステップS41の色塗り輪郭の生成処理に進� ��、シャドウ処理部38は色塗り輪郭を部分画� �901のように生成する。図31は色塗り輪郭の生 成処理を表す一例のイメージ図である。シャ ドウ処理部38は色塗り輪郭を生成するため、� ��分画像1101に示すように、目尻及び目頭を基 準に色塗り輪郭を生成する。なお、輪郭の拡 張、頂点のシフト等についてはGUIでパラメー タ指定するようにしてもよい。

 ステップS42の色塗り中心の生成処理に進� ��、シャドウ処理部38は色塗り中心位置を部� �画像902の「●」ように生成する。ステップS4 3の色塗りマップの生成処理に進み、シャド� �処理部38は部分画像903のように、色塗りの強 さを決める色塗りマップを生成する。

 具体的に、色塗りマップ生成処理は色塗� ��中心からポリゴンの辺までの距離に対応し� ��塗りの強さを決定する。例えばシャドウ処� ��部38は辺に近いほど塗りの強さを弱めるよ� �に色塗りマップを決定する。なお、色塗り� �ップ生成処理は色塗り輪郭から基本輪郭を� �いた部分を対象としている。

 シャドウ処理部38は生成した色塗りマッ� �に対し、図32に示すように、ぼかし処理を掛 けることで更に滑らかなグラデーションを生 成する。図32は、ぼかし処理を掛けていない� ��塗りマップと、ぼかし処理を掛けている色� ��りマップとを表した一例のイメージ図であ� ��。

 ステップS44の色塗りマップに基づく色塗� ��処理に進み、シャドウ処理部38はステップS4 3の色塗りマップの生成処理で生成した色塗� �マップ903と、図19のようなメイクアップ処理 パラメータファイルに設定されているメイク アップの施し方や指定色に基づいてメイクア ップ前画像に対して着色を行ない、メイクア ップ後画像を得る。

 そして、ステップS45のデバック&デザ� �ン用描画処理に進み、シャドウ処理部38はデ バック&デザイン用描画の処理を行ったあ� ��、シャドウ処理を終了する。なお、シャド� ��処理部38はステップS41~S45の処理を色塗りパ� ��ーン分だけ繰り返し行なうことで、多色塗� ��を実現することもできる。

 (チーク処理)
 シミュレータメインアプリ28に含まれるチ� �ク処理部40は図33に示すように目尻&口角(� ��右別)、眼間&鼻中心(スタビライズ用)の� �ラッキングポイント34を参照して、チーク処 理を行う。図33はチーク処理により参照され� ��トラッキングポイントを示すイメージ図で� ��る。

 図34はチーク処理を示す一例のフローチ� �ートである。チーク処理は、ステップS50の� �塗り輪郭の生成処理,ステップS51の色塗り処� ��,ステップS52のデバック&デザイン用描画� ��理とで構成される。

 ステップS50の色塗り輪郭の生成処理に進� ��、チーク処理部40は色塗り輪郭を生成する� �め、目尻及び口角を基準に色塗り輪郭とし� �輪郭ポリゴンを生成する。図35は色塗り輪郭 を表した一例のイメージ図である。なお、輪 郭ポリゴンの点数,大きさ,形状または位置等� ��GUIでパラメータ指定するようにしてもよい� ��

 ステップS51の色塗り処理に進み、チーク� ��理部40は色塗り中心から輪郭ポリゴンの辺� �での距離に対応して塗りの強さを決定する� �なお、塗りの強さの決定に処理コストが掛� �りすぎる場合は、解像度(GUIでパラメータ指� ��)を落として(モザイク状に間引きして)塗り� ��強さを決定してもよい。チーク処理部40は� �定した塗りの強さと、図19のようなメイクア ップ処理パラメータファイルに設定されてい るメイクアップの施し方や指定色に基づいて メイクアップ前画像に対して着色を行ない、 メイクアップ後画像を得る。

 そして、ステップS52のデバック&デザ� �ン用描画処理に進み、チーク処理部40はデバ ック&デザイン用描画の処理を行ったあと� ��チーク処理を終了する。

 (眉処理)
 シミュレータメインアプリ28に含まれる眉� �理部37は図36に示すように左右別に目尻,目中 心および眉2点のトラッキングポイント34を参 照し、眉処理を行う。図36は眉処理により参� ��されるトラッキングポイントを示すイメー� ��図である。

 図37は眉処理を示す一例のフローチャー� �である。眉処理は大別するとステップS60の� �輪郭抽出処理,ステップS70の元眉領域の消去� ��理,ステップS80の眉形状の変形処理,ステッ� �S90の変形眉の貼付け処理で構成される。

 元眉領域の消去処理は、ステップS71の領� ��の膨張処理,ステップS72の眉の消去処理で構 成される。眉形状の変形処理は、ステップS81 の変形指定に対応した指示曲線の作成処理,� �テップS82の変形眉の生成処理で構成される� �

 ステップS60の眉輪郭抽出処理に進み、眉� ��理部37は顔認識処理用画像からユーザの顔� �眉の形状を部分画像2001のように得る。図38� �、眉輪郭抽出処理を表す一例のイメージ図� �ある。眉処理部37は眉の輪郭を抽出するため 、部分画像2101に示すように、眉尻(実際には� ��の中心付近)を中心に左右に眉を探索する。 眉処理部37は部分画像2102に示すように、探索 結果から眉の輪郭形状を認識する。

 ステップS71の領域の膨張処理に進み、眉� ��理部37は認識した眉の輪郭形状を表す領域� �膨張させる。ステップS72の眉の消去処理に� �み、眉処理部37は膨張させた領域を付近の肌 色を使って塗りつぶすことで眉を消去する。 また、眉処理部37は膨張させた領域の境界部� ��に、なじませる処理を施す。

 ステップS81の変形指定に対応した指示曲� ��の作成処理に進み、眉処理部37は認識した� �の輪郭形状を表す領域(スケルトン)を指定に 従って変形させる。図39は変形指定に対応し� ��指示曲線の作成処理を表す一例のイメージ� ��である。

 眉処理部37は、部分画像2201に示すように� ��認識した眉の輪郭形状を表す領域を横方向� ��軸線と縦方向の複数のタンザクから成るス� ��ルトン2202に置き換え、軸線の形状とタンザ クの高さを変えることで、例えばスケルトン 2203のように変形処理を施すことができる。

 ステップS82の変形眉の生成処理に進み、� ��処理部37はスケルトン2203から変形眉を生成� ��る。ステップS90の変形眉の貼付け処理に進� ��、眉処理部37は変形眉をメイクアップ前画� �に対して貼付けて、メイクアップ後画像を� �る。

 (ファンデーション処理)
 シミュレータメインアプリ28に含まれるフ� �ンデーション処理部36は図40に示すように左� ��別に目尻,目頭および眉1点、眼間および鼻� �心のトラッキングポイント34を参照し、ファ ンデーション処理を行う。図40はファンデー� ��ョン処理により参照されるトラッキングポ� ��ントを示すイメージ図である。

 図41はファンデーション処理を示す一例� �フローチャートである。ファンデーション� �理は、ステップS101の輪郭の生成処理,ステッ プS102の対象画像へのぼかし処理,ステップS103 の画像の貼り付け処理で構成される。なお、 ステップS101~S103の処理は対象エリア分、繰り 返し行われる。

 ステップS101の輪郭の生成処理に進み、フ ァンデーション処理部36は図42のイメージ画� �に示すように、額,鼻,頬(左右)の3種類(4箇所) の輪郭を生成する。図42は輪郭を表した一例� ��イメージ画像である。なお、各輪郭のサイ� ��,位置等はGUIでパラメータ指定するようにし てもよい。

 ステップS102の対象画像へのぼかし処理に 進み、ファンデーション処理部36は生成した� ��郭に対応する対象画像へのぼかし処理を図4 3のように行なう。図43は、ぼかし処理前の元 画像と、ぼかし処理後の元画像とを表した一 例のイメージ図である。対象画像へのぼかし 処理により、ファンデーション処理部36は肌� ��細かい荒れ等を平滑化することができる。

 ステップS103の画像の貼り付け処理に進み 、ファンデーション処理部36は、ぼかし処理� ��の対象画像をメイクアップ前画像の額,鼻,� �(左右)の3種類(4箇所)の輪郭に貼り付け、メ� �クアップ後画像を得る。

 実施例2では、口紅処理,シャドウ処理,チ� ��ク処理,眉処理,ファンデーション処理の他� �例について説明していく。

 (口紅処理)
 シミュレータメインアプリ28に含まれる口� �処理部39は以下のようにトラッキングポイン ト34を参照し、口紅処理を行う。

 図44及び図45は、口紅処理(リップペン描� �処理)の一実施例のフローチャートである。� ��45において、先ず、ステップS301で口を囲む� ��形領域の顔画像を取得すると共に、口の輪� ��データを取得する。この口の輪郭データは� ��トラッキングポイント(特徴点)34によって得 られたものである。

 次のステップS302ではユーザが選択したメ イクアップパターンに応じて曲線描画区間と 直線描画区間とを設定する。図46は、口を囲� ��矩形領域の顔画像の一例のイメージ図であ� ��。

 この図では、口(上唇)の上端M2,M4、口の左 右端M1,M5、口(下唇)の下端M6、それぞれの特徴 点(トラッキングポイント)の他に、口(下唇)� �下縁における左端M1から口幅(M1,M5間距離)の1/ 3の距離にある点M7と、口(下唇)の下縁におけ� ��右端M5から口幅(M1,M5間距離)の1/3の距離にあ� ��点M8とを示している。

 選択されたメイクアップパターンがフレ� ��シュの場合、口紅処理部39は区間M1~M2、区間 M4~M5それぞれを曲線で描画し、区間M2~M3、区� �M3~M4それぞれを直線で描画する。これによっ て、図47(A)の描画イメージに示すように、上� ��に丸みを持たせるリップペン描画が行われ� ��下唇についてはリップペン描画を行われな� ��。

 選択されたメイクアップパターンがスイ� ��トの場合、口紅処理部39は、区間M1~M2、区間 M4~M5、区間M1~M6~M5それぞれを曲線で描画し、� �間M2~M3、区間M3~M4それぞれを直線で描画する� ��これによって、図47(B)の描画イメージに示� �ように、上唇及び下唇に丸みを持たせるリ� �プペン描画が行われる。

 選択されたメイクアップパターンがキュ� ��トの場合、口紅処理部39は、区間M1~M7、区間 M7~M8、区間M8~M5それぞれを直線で描画する。� �れによって、図47(C)の描画イメージに示すよ うに、下唇を直線的にするリップペン描画が 行われ、上唇についてはリップペン描画を行 われない。

 選択されたメイクアップパターンがクー� ��の場合、口紅処理部39は区間M2~M4を曲線で描 画し、区間M1~M2、区間M4~M5、区間M1~M7、区間M7~ M8、区間M8~M5それぞれを直線で描画する。こ� �によって、図47(D)の描画イメージに示すよう に、上唇及び下唇を直線的にするリップペン 描画が行われる。

 次のステップS303のループ処理で口紅処理 部39は、x座標値を0(口の左端M1位置)から画素� ��位で最大値(口の右端M5位置)まで順次増加さ せる。なお、x座標は図46に示す口を囲む矩形 領域において右側に増加し、y座標は上側に� �加するものとする。このループ内のステッ� �S304で口紅処理部39は曲線描画区間か否かを� �別し、曲線描画区間でなければ、ステップS3 03に戻りx座標値を増加させる。

 曲線描画区間であれば、ステップS305に進 み、口紅処理部39は図48に示すオフセット曲� �をx座標値で参照して、当該x座標に対するオ フセット値を求める。この図48に示すオフセ� ��トは上唇の上縁を上に(鼻側に)持ち上げて� �を大きく見せるために用いられ、下唇の下� �についてはオフセット値=0とされている。

 次に、口紅処理部39はステップS306のルー� ��処理を行う。ここでは、口紅処理部39が、y� ��標値を、口の輪郭データのy座標+オフセッ� �値-βから口の輪郭データのy座標+オフセット 値+βまで、画素単位で順次増加させて、以下 の処理を行う。このβは、リップペンのペン� ��の1/2(例えば数mmに相当)である。

 ステップS306のループ内のステップS307で� �、口紅処理部39が当該xy座標に対応する画素� ��RGB値から所定の演算式を用いて彩度(S),色相 (H),明度(V)それぞれを算出する。

 そして、ステップS308で、口紅処理部39が� ��の輪郭データのy座標と当該y座標との差(最� ��でオフセット値+β)に基づいて、リップペン の色のHSV値を上記差に比例して薄くなるよう に補正してグラデュエーションをつけた後、 ステップS307で得た当該xy座標に対応する画素 のHSV値に加算する。

 この後、口紅処理部39はステップS309で上� ��当該xy座標に対応する画素のHSV値をRGB値に� �換し、ステップS310でこのRGB値を用いて当該x y座標に対応する画素を上書きして更新する� �とによりリップペンの描画を行う。

 なお、このステップS306は図47(A)の描画イ� ��ージでは曲線描画区間が上唇の上縁だけで� ��るため1回しか実行されないが、図47(B)の描� ��イメージでは曲線描画区間が上唇の上縁と� ��唇の下縁とがあるため2回実行される。下唇 の下縁を描画する際には図48のオフセット値� ��負の値として取り扱う。ステップS303のルー プ処理を終了すると、口紅処理部39はステッ� ��S311に進んで各直線描画区間の直線の関数を 求める。次のステップS312のループ処理で口� �処理部39はx座標値を0(口の左端M1位置)から画 素単位で最大値(口の右端M5位置)まで順次増� �させる。

 このループ内のステップS313で口紅処理部 39は直線描画区間か否かを判別し、直線描画� ��間でなければ、ステップS312に戻りx座標値� �増加させる。直線描画区間であれば、ステ� �プS314に進み、口紅処理部39は直線の関数を� �いて、当該x座標に対応する直線のy座標Y(L)� �求める。

 次に、口紅処理部39はステップS315のルー� ��処理を行う。ここでは口紅処理部39がy座標� ��を、Y(L)-βからY(L)+βまで、画素単位で順次� �加させて、以下の処理を行う。このβはリッ プペンのペン幅の1/2(例えば数mmに相当)であ� �。

 ステップS315のループ内のステップS316で� �、口紅処理部39が当該xy座標に対応する画素� ��RGB値から所定の演算式を用いて彩度(S),色相 (H),明度(V)それぞれを算出する。そして、ス� �ップS317で、口紅処理部39はY(L)と当該y座標と の差(最大でβ)に基づいて、リップペンの色� �HSV値を上記差に比例して薄くなるように補� �してグラデュエーションをつけた後、ステ� �プS316で得た当該xy座標に対応する画素のHSV� �に加算する。

 この後、口紅処理部39はステップS318で上� ��当該xy座標に対応する画素のHSV値をRGB値に� �換し、ステップS319でこのRGB値を用いて当該x y座標に対応する画素を上書きして更新する� �とによりリップペンの描画を行う。

 なお、このステップS315は図47(C)の描画イ� ��ージでは曲線描画区間が上唇の上縁だけで� ��るため1回しか実行されないが、図47(D)の描� ��イメージでは曲線描画区間が上唇の上縁と� ��唇の下縁とがあるため2回実行される。ステ ップS312のループ処理を終了すると、口紅処� �部39は口紅処理を終了する。

 このように、口紅処理部39は複数のメイ� �アップパターンから所望のタイプが選択さ� �ると、選択されたメイクアップパターンに� �じてリップペンで描画(色塗り処理)する形状 を設定し、設定された形状でリップペンによ る描画を行うため、所望のタイプを選択する だけで、選択したメイクアップパターンに応 じて口の輪郭近傍をリップペンで描画して表 示することができる。

 また、口紅処理部39は口の輪郭からの縦� �向距離が大なるほどリップペンの色を薄く� �るグラデュエーションをつけるため、描画� �たリップペンの色が顔画像の肌色となじん� �違和感のないリップペンの色を表示できる� �

 シミュレータメインアプリ28に含まれる� �紅処理部39はトラッキングポイント34から以� ��のようなポイントを算出し、そのポイント� ��参照して実施例1又は2の口紅処理を行うよ� �にしてもよい。

 唇の形態的特徴を把握するために予め設� ��した複数のポイントの位置は、トラッキン� ��ポイント34から算出できる。図49は唇の形態 的特徴を把握するために予め設定した複数の ポイントの位置を表した一例のイメージ図で ある。図49は以下の14ポイントを表している� �

 図49に示す14ポイントは、鼻の両側の位置 (2ポイント)、鼻孔の中心位置(2ポイント)、上 唇の山の位置(2ポイント)、上唇の谷の位置、 唇の中心位置、口角の位置(2ポイント)、下唇 の下端中心位置、あごの中心位置、あごの両 側位置(2ポイント)の14ポイントである。尚、� ��のポイントの位置と数は特に限定されるも� ��ではなく、唇の形態的特徴を把握すること� ��出来、且、化粧情報を作成するのに好適で� ��れば、位置や数は適宜変更することが出来� ��。

 口紅処理部39は、14ポイントの位置により 分析された平面的な特徴を次の5項目につい� �判定し、対象者の唇全体のバランスを把握� �る。口紅処理部39は把握された対象者の唇全 体のバランスを、基準とする最適なバランス と対比してその差異を測定し、基準と相違す る部分を修正する。なお、基準とする唇のバ ランスは、美しいと評価される唇のプロポー ションに依拠している。

 唇の形態のバランスを判定する5項目は、 口角の位置、上唇の位置、下唇の位置、上唇 の山の位置、上唇の山と谷の角度である。最 適なバランスにおける5項目の基準は、口角� �位置は黒目の内側を下に下ろした位置、上� �の位置は鼻下から唇の中心位置までの距離� �1/3の位置、下唇の位置はあごの中心位置か� �唇の中心位置までの距離の1/3の位置、上唇� �山の位置は鼻孔の中心を下ろした位置、上� �の山と谷の角度は山から谷に向かって10度下 げる角度を基準とする。

 かかる最適な唇の基準バランスに従って� ��口紅処理部39は化粧対象唇のバランスを対� �して両者の相違を把握し、対象唇を基準バ� �ンスに修正する。ここでは修正の手法を説� �する。先ず、口紅処理部39は唇の中心から水 平線を引き、口角の位置が水平線より上にあ るか下にあるかを測定する。口角の位置が水 平線より上にある場合、口紅処理部39は修正� ��特に行わない。下にある場合、唇に締まり� ��なく、だらしなく見えるので、口紅処理部3 9は2mmを限度として口角の位置を上方に修正� �る様に、補正化粧を施す。

 なお、調整限度を2mmとする理由は、調整� ��結果が不自然となるのを回避するためであ� ��。例えば、美容コンサルタントが店頭等で� ��客に唇のメーキャップについてアドバイス� ��行い、標準の唇に近づけるメーキャップ法� ��提案する場合は、約2mm程度の範囲内で変化� ��せているのが通常である。このように、修� ��範囲が2mmを越えると、修正の幅が大きくな� ��過ぎて、化粧が不自然となるため好ましく� ��い。尚、当初の口角のポイント位置がずれ� ��いる場合、最適バランスのポイントもずれ� ��しまうので、口角のポイントをマニュアル� ��調整する。この修正の範囲2mmは、他の部分� ��ついても同様とする。

 次に、口紅処理部39は上唇の山と谷の形� �を修正する。口紅処理部39は上唇の山の位置 を鼻下から唇の中心位置までの距離の1/3の位 置と鼻孔の中心から下ろした位置の基準に基 づいて割り出して位置を設定し、該割り出さ れた位置に上唇の山が来るように化粧のポイ ントを画面上に設定する。

 次に、口紅処理部39は上唇の谷の位置を� �から谷に向かって10度下げる角度を基準に基 づいて設定する。この角度は、例えば10~15度� ��範囲とするが、例えば10度を予め設定して� �く。しかしながら、この角度は10度に限定さ れるものでなく、10~15度の範囲に任意に設定� ��能である。

 次に、口紅処理部39は唇の中心線からあ� �の中心位置までの距離の1/3の位置に下唇の� �置を設定し、更に下あごのラインを中心位� �とその両側の3点のポイント位置を円弧で連� ��して描き、該下あごの円弧形状と相似形に� ��唇のラインを描く。この下あごのラインの� ��写は、コンピュータの画面上において基本� ��フォルムを下あごのラインに倣って変形さ� ��ることにより、自動的に描くことが可能で� ��る。

 このようにして、口紅処理部39は、対象� �の唇全体のバランスについて、5項目の基準� ��基づいて最適なバランスと対比してその差� ��を把握し、最適なバランスに修正するため� ��ラインを求めることができる。

 (シャドウ処理)
 シミュレータメインアプリ28に含まれるシ� �ドウ処理部38は以下のようにトラッキングポ イント34を参照し、シャドウ処理を行う。な� ��、シャドウ処理は、アイライン検索処理,ア イライン描画処理,アイシャドウ塗布処理の� �番に実行される。

 図50は、アイライン検索処理の一実施例� �フローチャートである。同図中、先ず、ス� �ップS401で目及び眉を囲む矩形領域の顔画像� ��取得し、ステップS402で2値画像を保持する� �域をメモリ装置11等に確保する。次のステッ プS403のループ処理で閾値THを最低値から所定 値の増分で最大値まで順次増加させ、ループ 内のステップS404で閾値THを用いて目及び眉を 囲む矩形領域の顔画像の2値化を行う。この� �うに閾値THを可変して2値化を行うのは、ア� �ラインを正確に検出するためである。

 次のステップS405では2値化で得たエッジ� �像について、メディアンフィルタ処理を行� �てノイズを除去する。これはまつげ等で発� �するノイズを除去するために行っている。� �して、ステップS406でエッジ画像について、� ��幅方向(矩形領域におけるy方向)に連続して� ��在する複数のエッジ画素、即ち輪郭線形成� ��素があるか否かを判別する。上記輪郭線形� ��画素がなければ閾値THを所定値の増分だけ� �加させてステップS404に戻る。上記輪郭線形� ��画素があればステップS407に進む。

 ステップS407では、上記の2値画像から輪� �線を抽出する。次に、シャドウ処理部38は、 ステップS408で抽出した輪郭線における不連� �の箇所を直線補間(または曲線補間)し、更に ステップS409で補間後の輪郭線についてメデ� �アンフィルタ処理を行ってノイズを除去し� �この処理を終了する。

 図51はアイライン描画処理の一実施例の� �ローチャートである。この処理は、目頭EL4,E R4と目尻EL1,ER1を結ぶ上瞼の輪郭線から上側(� �側)の上瞼の領域について行われる。

 同図中、先ず、ステップS410でアイライン 描画パターンを設定する。このアイライン描 画パターンは、メイクアップパターンとして クールが選択された場合、図52に示すように� ��上瞼の目頭から目尻までの幅のアイライン� ��あり、斜線を付した領域Iaでx方向目尻側に� ��イラインのぼかしを行うアイライン描画パ� ��ーンが設定される。

 また、メイクアップパターンとしてフレ� ��シュが選択された場合には、図53に示すよ� �に、上瞼の中央(目頭と目尻との中間点)から 目尻までの幅のアイラインであり、斜線を付 した領域Ibでx方向目尻側にアイラインのぼか しを行うアイライン描画パターンが設定され る。

 また、メイクアップパターンとしてスイ� ��トが選択された場合には、図54に示すよう� �、上瞼の目頭から目尻までの幅のアイライ� �であり、アイラインのぼかしを行わないア� �ライン描画パターンが設定される。

 更に、メイクアップパターンとしてキュ� ��トが選択された場合には、図55に示すよう� �、上瞼の目頭から目尻までの幅のアイライ� �であり、斜線を付した領域Idでy方向眉側に� �イラインのぼかしを行うアイライン描画パ� �ーンが設定される。

 上記のメイクアップパターンに対応した� ��イライン描画パターンは、アイラインの選� ��ボックスにタッチしない場合のデフォルト� ��であり、アイラインの選択ボックスにタッ� ��したとき表示される4つのアイライン描画パ ターンから所望のパターンを選択することも 可能である。

 次に、ステップS411のループ処理でx座標� �を0(目頭位置)から画素単位で最大値(目尻位� ��)まで順次増加させる。このループ内で各x� �標値毎にステップS412のループ処理を行う。� ��こでは、y座標値を0(輪郭線のy座標)から画� �単位で最大値(目の高さ幅:上瞼と下瞼の最大 離間距離)まで順次増加させて、以下の処理� �行う。

 ステップS413では、上記のx座標及びy座標� ��指示される画素の明度を計算し、ステップS 414で、この画素の明度がアイラインの明度と 同一か否かを判別する。ここで同一でない場 合は、y座標値を増加させてステップS413に戻� ��。

 この画素の明度がアイラインの明度と同� ��の場合には、ステップS415に進み、この画素 の明度を現在の明度より所定値だけ低下させ る。これによって、輪郭線上の画素の明度が 低下して濃くなり、結果的にアイラインを目 立たせることができる。この後、ステップS41 6でx座標及びy座標から、図52の領域Iaである� �(スイートの場合)または図53の領域Ibである� �(クールの場合)を判別し、上記の領域Ia,Ibの� ��合にはステップS417でx方向目尻側にアイラ� �ンのぼかしを行う。

 更に、ステップS418でx座標及びy座標から� ��図55の領域Idであるか(フレッシュの場合)を� ��別し、上記の領域Idの場合にはステップS419� ��y方向眉側にアイラインのぼかしを行う。こ の後、上記のステップS411,S412のループ処理が 終了すると、シャドウ処理部38はアイライン� ��索処理を終了する。

 図56はアイシャドウ塗布処理の一実施例� �フローチャートである。同図中、先ず、ス� �ップS430でアイシャドウ塗布領域を設定する� ��ここでは、図57に示す、上瞼の輪郭線から� �の輪郭線までのy方向の最大距離Ymaxを求め、 最大塗布サイズMy=Ymax/αを求める。なお、メ� �クアップパターンがスイートまたはキュー� �の場合はα=2であり、クールの場合はα=3、フ レッシュの場合はα=6である。

 更に、図58(A),(B)に示す曲線を用いて、メ� ��クアップパターン毎にアイシャドウ塗布領� ��の上限(眉側)を求める。この際に、上記の� �大塗布サイズMyを使用する。ここで、スイー トまたはクールまたはキュートの場合は図58( A)に示す目頭から目尻に至る曲線を用い、フ� ��ッシュの場合は図58(B)に示す目頭より所定� �だけ離れた上瞼の輪郭線上の一点から目尻� �至る曲線を用いる。また、アイシャドウ塗� �領域の下限は上瞼の輪郭線とする。

 また、ステップS431で開始点の移動軌跡を 設定し、ステップS432でアイシャドウ塗布の� �始点における塗布サイズを設定する。図59は 、図58(A)に対応するアイシャドウ塗布領域を� ��しているが、アイシャドウ塗布領域の下限( 上瞼の輪郭線)の略中央位置P0をアイシャドウ 塗布の開始点とする。また、開始点を中心と しアイシャドウ塗布領域の上限に接する円の 半径を塗布サイズとし、更に、アイシャドウ 塗布領域の下限に重ねて示す矢印A1及びA2を� �始点の移動軌跡としている。

 次に、ステップS433でユーザの肌色データ と選択されたアイシャドウの色から所定の演 算式を用いて開始点におけるアイシャドウの 濃度を演算し、得られたアイシャドウの色を 開始点に塗布する。そして、ステップS434で� �始点を中心とし、塗布サイズを半径とする� �内で、開始点に塗布されたアイシャドウの� �の濃度を開始点からの距離に比例して薄く� �る(ぼかす)エアブラシ処理を行い、これによ り得られた各画素位置の濃度のアイシャドウ の色を、その位置の画素の肌色に加算するこ とによりアイシャドウを肌に重ねた各画素の 色を求め、これで各画素の色を更新する。

 なお、上記のエアブラシ処理では、アイ� ��ャドウ塗布領域における塗布サイズを半径� ��する円内のみが処理対象であり、アイシャ� ��ウ塗布領域の下限より下の半円部分では処� ��がなされない。また、エアブラシ処理にお� ��る中心からの距離と濃度との関係は、メイ� ��アップパターンがキュート又はフレッシュ� ��場合は図60(A)に示すように中心からの距離� �比例して濃度が薄くなる特性を用い、スイ� �ト又はクールの場合は図60(B)に示すように中 心からの距離が小さいときに濃度の薄くなる 度合いが大きく、中心からの距離が大きいと きに濃度の薄くなる度合いが小さい特性を用 いる。

 この後、ステップS435では、矢印A1,A2で示� ��開始点の移動軌跡に従って、開始点を所定� ��離だけ移動する。なお、開始点は、位置P0� �ら矢印A1方向に所定距離だけ移動することを 繰り返して、移動した開始点がアイシャドウ 塗布の領域外となると、位置P0に戻って矢印A 2方向に所定距離だけ移動する。この移動距� �は例えば塗布サイズの数10パーセントである 。

 更に、ステップS436で新たな塗布サイズを 計算する。新たな塗布サイズは、開始点が位 置P0から矢印A1,A2方向に移動するにつれて、� �パーセントから数10パーセントの割合で減少 する。

 次にステップS437でアイシャドウ塗布の終 点か否かを判別し、終点でない場合は上記の ステップS433からS436を繰り返し、終点であれ� ��シャドウ処理部38はアイシャドウ塗布処理� �終了する。アイシャドウ塗布の終点の判定� �、開始点が矢印A2方向に移動してアイシャド ウ塗布の領域外となったときアイシャドウ塗 布の終点とする。

 このように、複数のメイクアップパター� ��から所望のタイプを選択すると、選択され� ��メイクアップパターンに応じて顔画像の目� ��部分におけるアイシャドウを塗布する領域� ��設定し、アイシャドウを塗布する領域の顔� ��像の色に、アイシャドウの色を重ねること� ��よりアイシャドウを塗布する為、所望のタ� ��プを選択するだけで、選択したメイクアッ� ��パターンに応じて顔画像の目元部分にアイ� ��ャドウを塗布して表示できる。

 また、目の輪郭を検出して検出された目� ��輪郭及びその近傍を、選択されたメイクア� ��プパターンに応じて描画するため、所望の� ��イプを選択するだけで、選択したメイクア� ��プパターンに応じて顔画像の目元部分にア� ��ラインを描画して表示することができる。

 また、アイシャドウを塗布する領域内の� ��布の開始点から離間するほどアイシャドウ� ��濃度を低下させてぼかしているため、塗布� ��たアイシャドウが顔画像の肌色となじんで� ��和感のないアイシャドウを表示でき、アイ� ��ャドウを塗布する領域内で塗布の開始点を� ��次移動させるため、顔画像におけるアイシ� ��ドウを塗布する領域の形状に拘わらず、塗� ��したアイシャドウが顔画像の肌色となじん� ��違和感のないアイシャドウを表示できる。

 シミュレータメインアプリ28に含まれる� �ャドウ処理部38は分類され把握された被化粧 対象者の目の形態を、標準バランスの目の形 態と対比して、標準バランスの目の形態に近 づけて、目を大きく見せるとともに均整を整 えて魅力的に見せるアイメーキャップを行う ようにしてもよい。

 目の形態特徴は、眼裂の形状を示すフレ� ��ム軸、目の凹凸形状を示すフォルム軸、目� ��角度形態を示す角度軸及び標準バランスの� ��の形態の4つの要素を指標として、分類する ことができる。フレーム形態は、まつげの生 え際を目安とする上下まぶたによってできる 眼裂の輪郭形状である。フレーム軸は眼裂の 上下径と左右径の比率に従って軸上に配列し たものである。フレーム軸は例えば垂直軸と して設けられる。後述する標準バランスの目 の形態はフレーム軸の中央に配置される。フ レーム軸の一方、すなわち上側には、眼裂の 上下径と左右径の比率を1:3とする標準バラン スの目よりも、上下径が長く、左右径が短い 目の形態を配置される。軸の他方、すなわち 下側には、上下径が短く、左右径が長い目の 形態を配置される。

 また、目の凹凸形状をしめすフォルム形� ��は、例えば瞼溝と上下まぶたの隆起の凹凸� ��状によって把握する。フォルム軸は前記フ� ��ーム軸と直交する水平方向の軸として構成� ��れる。フォルム軸の中心には標準バランス� ��目の形態が配置される。フォルム軸の一方� ��すなわち左側には、標準バランスの目の形� ��よりも、上まぶたの隆起が平面的(一重や奥 二重に一般的なまぶたの肉付きのよい隆起形 状)で、下まぶたの肉付きは薄く、眼球の曲� �は目立たたない目の形態が配置される。軸� �他方、すなわち右側には、上まぶたの隆起� �立体的(二重や三重に一般的に見られる彫り� ��深い状態。眉弓骨との眼窩の境界に窪みが� ��り、眼球の隆起が顕著に見られる)で、下ま ぶたは、眼球の顕著な曲面が現れ、又は眼窩 脂肪のふくらみにより立体的である目の形態 が配置される。

 また、目の角度形態は、目頭を通る水平� ��と、目頭と目尻を結ぶ対角線のなす角度と� ��るものである。標準バランスの目の角度形� ��は、9度より大きく11度より小さい角度であ� ��、最も好ましくは10度の角度である。シャ� �ウ処理部38は、この標準バランスの目の角度 形態を基準として、角度が9度より大きく11度 より小さければ標準、9度以下であれば目尻� �降、11度以上であれば目尻上昇と判断する。 目の角度形態の上下を示す角度軸は、前記フ レーム軸、フォルム軸を平面に投影したとき 、二つの軸で区切られる4つの象限内に個別� �存在するように表現される。

 標準バランスの目の形態の特徴は図61に� �すように、a.眼裂の上下径(虹彩の中心を通� �垂線)と左右径の比率が1:3のフレーム形態を� ��し、b.顔を側面から見たときの上下まぶた� �形状には顕著な凹凸がなく、眉弓骨(眉の生� ��ている部分の下にあるやや隆起した骨)から 、ほお骨にかけての曲線がなだらかであるフ ォルム形態を有し、c.目頭を通る水平線と、� ��頭と目尻を結ぶ直線がなす角度が10度であ� �、d.瞼溝は二重と奥二重の中間的形状を示し 、目頭側の溝は狭く、目尻側の溝は目頭側よ り広く、e.眼裂の上下径の幅と眼裂の上縁か� ��眉までの幅が、1対1のバランスのフォルム� �態を有している。図61は標準バランスの目の 形態を示す正面図である。

 (チーク処理)
 シミュレータメインアプリ28に含まれるチ� �ク処理部40は以下のようにトラッキングポイ ント34を参照し、チーク処理を行う。

 図62は頬紅塗布処理(チーク処理)の一実施 例のフローチャートである。同図中、先ず、 ステップS501で頬紅塗布の領域及び開始点を� �定し、ステップS502で開始点の移動軌跡を設� ��し、ステップS503で頬紅塗布の開始点におけ る塗布サイズを設定する。上記のステップS50 1~503は、ユーザが選択したメイクアップパタ� ��ンによって処理が異なる。

 メイクアップパターンがスイートの場合� ��図63に示すように、顔領域内で、目尻EL1,ER1� ��特徴点のy座標をy1とし、鼻の左右端N1,N3の� �徴点のy座標をy2とし、口の左右端M1,M5の特徴 点のy座標をy3とし、目頭EL4,ER4の特徴点のx座� ��をx1とし、目尻EL1,ER1の特徴点のx座標をx3と� ��たとき、y座標が(y1+y2)/2から(y2+y3)/2までの範 囲で、かつ、x座標がx1からx3間での範囲を頬� ��塗布の領域とし、この領域の略中心の位置P 0を頬紅塗布の開始点とする。また、この領� �の縦幅の1/2を塗布サイズとし、更に矢印A1及 びA2を開始点の移動軌跡として設定する。

 メイクアップパターンがクールの場合、� ��64に示すように、顔領域内で、目尻EL1,ER1の� ��徴点のy座標をy1とし、口の左右端M1,M5の特� �点のy座標をy3とし、瞳PL,PRの特徴点のx座標� �x2とし、目尻EL1,ER1の特徴点のx座標をx2とし� �目尻EL1,ER1と同一y座標の顔の輪郭上の特徴点 F6,F7のx座標をx4としたとき、点(x2,y3)と点(x4,y1 )とを結ぶ直線と、y=y3の直線と、顔の輪郭で� ��まれる範囲を頬紅塗布の領域とし、この領� ��内の位置P0を頬紅塗布の開始点とする。ま� �、位置P0を中心として頬紅塗布領域に内接す る円の半径を塗布サイズと設定し、矢印A1及� ��A2を開始点の移動軌跡として設定する。

 メイクアップパターンがキュートの場合� ��図65に示すように、顔領域内で、目尻EL1,ER1� ��特徴点のy座標をy1とし、鼻の左右端N1,N3の� �徴点のy座標をy2とし、口の左右端M1,M5の特徴 点のy座標をy3とし、瞳PL,PRの特徴点のx座標を x2とし、目尻EL1,ER1の特徴点のx座標をx2とし、 目尻EL1,ER1と同一y座標の顔の輪郭上の特徴点F 6,F7のx座標をx4とし、口の左右端M1,M5と同一y� �標の顔の輪郭上の特徴点F10,F11のx座標をx5と� ��たとき、点(x2,y2)と点(x4,y1)とを結ぶ直線と� �点(x2,y2)と点(x5,y3)とを結ぶ直線と、顔の輪郭 で囲まれる範囲を頬紅塗布の領域とし、この 領域内の位置P0を頬紅塗布の開始点とする。� ��た、位置P0を中心として頬紅塗布領域に内� �する円の半径を塗布サイズと設定し、矢印A1 及びA2を開始点の移動軌跡として設定する。

 メイクアップパターンがフレッシュの場� ��、図66に示すように、顔領域内で、目尻EL1,E R1の特徴点のy座標をy1とし、口の左右端M1,M5� �特徴点のy座標をy3とし、目頭EL4,ER4の特徴点� ��x座標をx1としたとき、y座標がy3から(y1+y3)/2� ��での範囲で、かつ、x座標がx1から顔の輪郭� ��での範囲を頬紅塗布の領域とし、この領域� ��の位置P0を頬紅塗布の開始点とする。また� �この領域の縦幅の1/2を塗布サイズと設定し� �矢印A1及びA2を開始点の移動軌跡として設定� ��る。

 次に、頬紅の塗布を実行する。ここでは� ��先ず、ステップS504でユーザの肌色データと 選択された頬紅の色から所定の演算式を用い て開始点における頬紅の濃度を演算し、得ら れた頬紅の色を開始点に塗布する。そして、 ステップS505で開始点を中心とし、塗布サイ� �を半径とする円内で、開始点に塗布された� �紅の色の濃度を開始点からの距離に比例し� �薄くする(ぼかす)エアブラシ処理を行い、こ れにより得られた各画素位置の濃度の頬紅の 色を、その位置の画素の肌色に加算すること により頬紅を肌に重ねた各画素の色を求め、 これで各画素の色を更新する。図67に上記の� ��アブラシ処理における、中心からの距離と� ��度との関係を示す。

 この後、ステップS506では、矢印A1,A2で示� ��開始点の移動軌跡に従って、開始点を所定� ��離だけ移動する。なお、開始点は、位置P0� �ら矢印A1方向に所定距離だけ移動することを 繰り返して、移動した開始点が頬紅塗布の領 域外となると、位置P0に戻って矢印A2方向に� �定距離だけ移動する。この移動距離は例え� �塗布サイズの数10パーセントである。更に、 ステップS507で新たな塗布サイズを計算する� �メイクアップパターンがスイートまたはフ� �ッシュの場合、新たな塗布サイズは前回と� �一であるが、メイクアップパターンがクー� �またはキュートの場合は、開始点が位置P0か ら矢印A1,A2方向に移動するにつれて、新たな� ��布サイズは数パーセントから数10パーセン� �の割合で減少する。

 次にステップS508で頬紅塗布の終点か否か を判別し、終点でない場合は上記のステップ S504からS507を繰り返し、終点であれば頬紅塗� ��処理を終了する。頬紅塗布の終点の判定は� ��開始点が矢印A2方向に移動して頬紅塗布の� �域外となったとき頬紅塗布の終点とする。

 このように、複数のメイクアップパター� ��から所望のタイプを選択すると、選択され� ��メイクアップパターンに応じて顔画像にお� ��る頬紅を塗布する領域を設定し、頬紅を塗� ��する領域の顔画像の色に、頬紅の色を重ね� ��ことにより頬紅を塗布するため、所望のタ� ��プを選択するだけで、選択したメイクアッ� ��パターンに応じて顔画像の頬部分に頬紅を� ��布して表示することができる。

 また、頬紅を塗布する領域内の塗布の開� ��点から離間するほど頬紅の濃度を低下させ� ��ぼかしている為、塗布した頬紅が顔画像の� ��色となじんで違和感のない頬紅を表示でき� ��更に、頬紅を塗布する領域内で塗布の開始� ��を順次移動させるため、顔画像における頬� ��を塗布する領域の形状に拘わらず、塗布し� ��頬紅が顔画像の肌色となじんで違和感のな� ��頬紅を表示できる。

 シミュレータメインアプリ28に含まれる� �ャドウ処理部38は分類され把握された被化粧 対象者のほおの形態的特徴に応じたチークメ ーキャップを行うようにしてもよい。一般に チークメーキャップは、演出するイメージに よって施す方法が異なる。そこで、本発明で は、「血色の演出」に絞って検討を行った。

 なお、血色に着目した理由は以下の3点に 基づくものである。まず1つ目は、血色とい� �のは健康な状態である場合、本来は誰でも� �持っている要素であるため、個々に持つ本� �の健康的な美しさを自然に引き出すことに� �じると考えたからである。

 また、血色が良好であるほおの例として� ��、例えば乳児のほおが自明な例であるが「� ��色が良く好ましい」と感じられる例では、� ��色は目、鼻、口、耳を結ぶエリア内に現れ� ��。そこで、血色に着目した理由の2つ目は、 目、鼻、口、耳をガイドラインとして、全て の人に共通した法則で、チークメーキャップ を施す位置を導出せるのではないかと考えた からである。更に、血色に着目した理由の3� �目は、血色の演出は多くの人がチークを使� �する目的としており、かつ、美しいと感じ� �ほおの要素であるため、多くの人の要望に� �致するからである。

 また、チークを使用する目的について、� ��段チークメーキャップを行う20代と30代の女 性68名を対象としてアンケートを行った。そ� ��結果、「血色をよく見せるため」が最も多� ��選択された。また、美しいと思うほおにつ� ��て、普段チークメーキャップを行う20代女� �40名を対象としてアンケートを行った結果、 回答の多い順に、「はりがある」、「ほどよ くふっくら」、「血色が良い」であった。

 また、一般に化粧をする際は、化粧下地� ��ファンデーション等を用い、素肌の色むら� ��整える。この際、素肌では自然にあった血� ��がほとんど消されてしまう。したがって、� ��ークメーキャップで血色を加えることは、� ��来持っている血色の要素を取り戻すという� ��然な演出方法であるといえる。

 美容技術者が施すチークメーキャップは� ��一般の人が自分自身で施すものよりも美し� ��仕上がりとなる。これは、美容技術者は経� ��則と専門知識によって個々の顔の特徴をと� ��え、各々に似合って美しい仕上がりとなる� ��法を身につけているからだと考えられる。� ��こで、美容技術者のチークメーキャップの� ��し方を分析し、法則性を抽出することを試� ��た。

 まず、ほおの特徴が異なるモデル10名の� �写真を使用し、美容技術者27名に「自然な血 色をチークメーキャップで表現するとしたら 、どの辺りを中心にどこまでぼかしますか?� �というアンケートを実施した。また、チー� �メーキャップを施す位置の中心と範囲は、� �顔を印刷した紙に直接、書き込みをしても� �った。

 図68は被化粧対象者のほおの形態的特徴� �応じたチークメーキャップの一例を説明す� �為のイメージ図である。図68では、あるモデ ル(モデルA)に対して、チークメーキャップの 中心を導く線を表している。

 まず、血色を表現するチークメーキャッ� ��の中心の位置は、目、鼻、口、耳を結ぶエ� ��アの中心付近である。更に、その箇所を顔� ��特定し易い要素を基準として導くことを検� ��した結果、図68に示すように鼻先からアリ� �ュラ(耳の前の口を開けると窪む箇所)を線250 0で結び、目の中心から引いた水平線2501が顔� ��輪郭と交わる点から口角に線2502を引くと、 両者の交点が美容技術者の回答と一致するこ とがわかった。

 次に、チークメーキャップをぼかす範囲� ��ついて説明する。メーキャップをぼかす範� ��は、目、鼻、口、耳を結ぶエリアの中にあ� ��。更に、この範囲は先程のチークメーキャ� ��プを施す中心を導く線を利用して描かれる� ��行四辺形の中に入る。

 具体的には、まずチークメーキャップの� ��心を導く際に引いた目の中心を通る水平線2 501が顔の輪郭と交わる点から鼻先に引いた線 (第1の線)2503を平行に口角まで下ろした線(第2 の線)2504を設ける。更に、口角から上に向か� ��て垂直線(第3の線)2505を引き、その垂直線250 5を目の中心を通る水平線2501が顔の輪郭と交� ��るところまで平行に移動させた線(第4の線)2 506を設ける。図68では、これらの線2503~2506に� ��り、平行四辺形を構成することができる。� ��た、美容技術者が書き込んだチークメーキ� ��ップをぼかす範囲は、この平行四辺形の中� ��収まっていることがわかる。

 上述により、全ての顔に対して共通の方� ��でチークを施す起点の位置と、ぼかす範囲� ��目安を顔のスペースを決める三大要素であ� ��目・口・鼻により導出することが可能とな� ��た。なお、以下の説明において、チークメ� ��キャップを施す起点の位置を「ベストポイ� ��ト」と呼ぶこととする。

 つまり、血色演出チークメーキャップの� ��点は、鼻先からアリキュラを結んだ線と、� ��の中心から引いた水平線と顔の輪郭と交わ� ��点から口角に引いた線の交点である。また� ��ぼかしの範囲はベストポイントをガイドラ� ��ンとして描いた平行四辺形である。具体的� ��は、目の中心を通る水平線と顔の輪郭との� ��点から鼻先に線を引き、次にその線を平行� ��口角まで下ろす。更に、口角から上に向か� ��て垂直な線を引き、その垂直線を目の中心� ��通る水平線と交わる地点まで平行に移動し� ��ときにできる平行四辺形である。

 このように、チークを施す起点のベスト� ��イントとぼかしの範囲は、どのタイプにも� ��通の方法で導出することができることがわ� ��った。

 美容技術者の経験則からは、ほおの特徴� ��考慮してチークメーキャップの形を操作す� ��ことがその人に似合って美しい仕上がりと� ��るという予測があった。実際に、導かれた� ��ークを施す起点及びぼかす範囲の条件を満� ��しても、似合わない仕上がりとなることが� ��る。

 そこで、ほおの形態的特徴によって調整� ��方向を考慮し、チークメーキャップの形も� ��の方向性に合わせて変えるという仮説を立� ��た。すなわち、ほおが短い人は長く見える� ��うに、長い人は短く見えるようにする、ま� ��、骨格感の目立つ人はふっくらと、肉付き� ��の目立つ人はすっきりと見えるように調整� ��る。

 ここで、上述の仮説を検証するためアン� ��ートを行った。アンケートでは、ほおの形� ��的特徴の異なるモデル4名に対して、2種類� �チークメーキャップを施した。チークメー� �ャップの一つは、ベストポイントとぼかし� �範囲の目安の法則を使い、更にほおの特徴� �合わせてぼかしの形を変えて入れた「OKチー ク」である。もう一方は、ぼかしの形を考慮 せずに入れた「NGチーク」である。この2種類 について、「OK」と「NG」の情報は隠してお� �、一般女性(20代女性40名)に評価をしてもら� �た。

 具体的には、各写真を1枚ずつ見てもらい 、それぞれのチークメーキャップの仕上がり について両極5段階尺度で評価してもらった� �また、評価項目は、「自然な-不自然な」、� ��合っている-合っていない」等であった。4� �のモデルに対する40名の評価の平均値を算出 し検討した。

 評価について統計的な検定を行ったとこ� ��、「OKチーク」は、「NGチーク」よりも、自 然な仕上がりでほおの立体感が整いほおの肉 付きがややふっくらと見えることがわかった 。この結果は、上述した美しいほおの要素で ある「ハリがあり、ほどよくふっくら」にも 合致する。また、このチークメーキャップを することで、顔全体のバランスまでもが整っ て見えることがわかった。つまり、上述した 「OKチーク」により、ほおが立体的に見え、� ��どよくふっくらとした肌のハリを感じるこ� ��ができ、本来その人が持っている自然で健� ��的な血色の美しさを取り戻すことができる� ��また、血色演出は、個々の美しさを自然に� ��き出しながら、バランスを調整することが� ��きる。上述のアンケートで各モデルに施し� ��チークメーキャップの形は、ほおの長さと� ��格・肉付きの見え方を調整する考えに基づ� ��たものである。

 図68は、ほおの形態的特徴別のチークメ� �キャップの形状と範囲を表している。図68に おいて、標準顔に対応するチーク形状は、目 安となる平行四辺形に内接する内接楕円2507� �なる。

 ここで、図68の内接楕円2507は、長軸Aをぼか しの目安の平行四辺形の縦の辺の中点2508-1,25 08-2を結ぶ直線とし、短軸Bを長軸Aの中点2509� �直交し、平行四辺形の上下の辺に接する直� �とする。更に、各軸A,Bのそれぞれの半分の� �さをa,bとするとき、内接楕円は、(x ² /a ² )+(y ² /b ² )=1で表すことができる。また、平均顔の場合 、a:b=1:0.55±0.02の関係となる。

 なお、チークメーキャップのぼかし方法� ��ついては、基本的には実際には起点がもっ� ��も濃く、ぼかしの形の境界に向かって淡く� ��り、境界部分のぼかしは肌に自然に溶け込� ��ように塗布する。

 (眉処理)
 シミュレータメインアプリ28に含まれる眉� �理部37は実施例1におけるステップS80の眉形� �の変形処理を以下の美容理論に基づいて行� �ことで、あらゆるユーザの顔にあった美し� �眉に変形できる。

 一般的に、形の良い眉というのは、次の� ��素からなることが知られている。1.眉頭は� �頭の真上から始まる。2.眉尻は小鼻と目尻を 結んだ延長線上にある。3.眉山は眉頭から2/3� ��位置にある。このような眉が形の良い眉と� ��われている。更に、詳細に図69に基づいて� �れらの要素を説明する。

 図69は理想的な眉の形を説明する説明図� �ある。図69では目頭3001から垂直に立ち上が� �目頭線3002上に眉頭3003があり、小鼻3004から� �尻3005に向かって傾斜する小鼻眉尻線3006上に 眉尻3007があり、眉頭3003と眉尻3007とを結ぶ眉 基線3008の眉頭3003から眉尻3007に向かう約2/3の 位置(目尻側の白目の端部とほぼ一致する)の� ��直な眉山線3009上には、眉山3010が存在して� �る。

 このような眉が形の良い眉であるが、最� ��の我々の研究から、形の良い眉をいろいろ� ��ユーザに描いても全体的に似合わないケー� ��が多く、更に他の要素が関係していること� ��判明した。そして、その新たな要素を加味� ��ることにより、一人一人の顔立ちにあった� ��しい眉に変形することが可能になった。

 その要素は、4.顔全体における眉の眉山30 10の位置と、5.眉頭3003から眉山3010を形成する 角度とで、これらの新たな要素を追加するこ とで、バランスのとれた美しい眉に変形でき る。

 ここでは、眉頭3003、眉山3010などの部位� �名称を使用していくが、眉処理部37は前述し たトラッキングポイント34のうち、眉頭3003に 対応する特徴点(BR1)、眉山3010に対応する特徴 点(BR2)を利用する。

 次に、顔とのバランスがとれた美しい眉� ��位置について説明する。顔とのバランスが� ��れた眉については、4.顔全体における眉の� �山3010の位置と、5.眉頭3003から眉山3010を形成 する角度とが重要である。これらの点につい て、図70に基づき説明を行う。図67は眉の位� �の状態を説明する説明図である。

 図70の(A)、(B)、(C)は、顔全体に対して眉� �占める位置を表している。図70の(A)、(B)、(C) に書かれている実線で示される仮想の横線イ は、顔を正面から見た場合の顔の最大幅を示 す線で、通常は下瞼に接する線になる。縦線 ロは、顔の最大幅を示す前記横線イを顎の下 部から垂直に立てた場合の仮想の線である。 横線イと縦線ロとは顔のほぼ中心で直角に交 差し、これらの横線イと縦線ロの端をa、b、c 、dからなる4つの点線で表した辺で囲んで仮� ��の正方形を形成している。

 ここで図70の(A)の眉の位置を見ると、眉� �眉山3010が前述した仮想の正方形の辺aに接し ており、顔全体で見ると美しい位置に眉があ り、バランスがとれていることが判る。また 、図70の(B)では、仮想の正方形の辺aから眉の 眉山3010が下方に離れて存在していて、顔全� �から見ると中心に目、鼻、眉が纏まってし� �い、顔が短く見え、バランスがとれていな� �。また、図70の(C)では、仮想の正方形辺aか� �眉の眉山3010が飛び出てしまい、顔全体から� ��ると顔が長く見え、全体的なバランスが良� ��ない。

 一般的に、顔全体が丸い人は、図70の(B)� �ように辺aの下方に眉山3010が位置しやすく、 顔全体が長い人は図70の(C)のように辺aの上方 に眉山3010が飛び出てしまう傾向にあり、眉� �描き方によってこれらの顔の傾向を増長し� �しまうケースが散見される。

 ここで図70の(A)の状態を詳細に観察する� �、眉頭3003から眉山3010を形成する角度は、眉 頭3003から眉尻3007を結ぶ眉基線3008に対して約 10度であり、眉山3010は辺aに接している。ま� �、図70の(B)では、眉頭3003から眉山3010を形成� ��る角度は、眉頭3003から眉尻3007を結ぶ眉基� �3008に対して約5度であり、眉山3010は辺aから� ��方に離れて存在している。

 また、図70の(C)では、眉頭3003から眉山3010 を形成する角度は、眉頭3003から眉尻3007を結� ��眉基線3008に対して約20度であり、眉山3010は 辺aから眉山3010が飛び出ている。図70の(B)又� �(C)のような状態の眉をできるだけ図70の(A)の 状態に近づくように眉を描くことによって顔 とのバランスがとれた美しい眉になることが 判る。

 この眉の描き方の手順について、図69と� �70に基づき更に詳細に説明する。まず、被施 術者の顔正面の最大横幅(通常は下瞼を通る� �線になる)を測定し、その横幅からなる仮想� ��横線イを顔の下瞼に沿って作成する。続い� ��、横線イと同一の長さを顎の最下点から立� ��させて仮想の縦線ロを作り、顔の正面で横� ��イと縦線ロを直交させ、横線イと縦線ロの� ��れぞれの端部を通る仮想の辺a、b、c、dで仮 想の正方形を形成する。こうして作られた辺 aと被施術者の眉山3010の位置を比較し、眉山3 010が正方形の辺aに一致するか、辺aより高い� ��置にあるか、低い位置にあるかを判定する� ��

 図70の(A)のように眉山3010が辺aに一致する 場合、眉の角度が眉基線3008に対して10度にな る場合が多いので、眉頭3003から眉山3010まで� ��目安線を設定する。目安線は、アイブロー� ��眉頭3003と眉山3010の2点をポイントで示して� ��、薄い線を引いても良い。また、目安線は� ��の下側に設定しても、眉の中心、眉の上側� ��設定してもよい。これらのいずれの場合で� ��、眉山3010は眉山線3009上にあり、眉山3010の� ��縁は辺aと接するように眉を描いていく。眉 は目安線に沿って一定の幅で眉山3010まで描� �れるが、眉山3010から眉尻3007までは、被施術 者の好みに応じて自由な曲線を作り、眉を完 成させる。

 次に、図70の(B)のように、眉山3010が辺aに 対して低い位置にくる場合は、眉山3010の位� �を辺aになるべく近づけるように眉を描いて� ��く。この場合に、図70の(B)の眉頭3003から眉� ��3010の角度は5度と低いので、眉山3010を辺aに 近づけるために、15度の角度の描写部を有す� ��眉スケールを用いて、眉頭3003から眉山3010� �での目安線を設定する。しかしながら、目� �線の角度があまり大きくなりすぎ、被施術� �の元々ある眉山3010の位置より大きくずれて� ��まうような場合には、被施術者が違和感を� ��じる場合が多いので、元の眉山3010の位置か ら最大2mmの範囲で眉山線3009上方に新しい眉� �3010を設定するのが好ましい。眉を剃った状� ��で全く新しい眉を描く場合は、このような� ��限を設けなくとも良い。目安線をアイブロ� ��で軽く描き、その後、目安線に沿って眉頭3 003から眉山3010まで描き上げ、眉尻3007を描い� ��理想的な眉を完成させる。眉を剃っていな� ��場合は、もともとある眉の上から前述した� ��うに眉を描き上げ、はみ出た部分について� ��、眉を剃って整えることができる。

 また、図70の(C)のように、眉山3010が辺aに 対して高い位置にくる場合は、眉山3010の位� �を辺aになるべく戻すように眉を描いていく� ��図70の(C)の場合の眉頭3003から眉山3010の角度 は20度と高いので、8度の角度で眉頭3003から� �山3010までの目安線を設定する。この場合に� ��いても、被施術者の元々ある眉山3010の位置 より大きくずれてしまうような場合には、被 施術者が違和感を感じる場合が多いので、元 の眉山3010の位置から最大2mmの範囲で眉山線30 09下方に新しい眉山3010を設定するのが好まし い。前述した方法と同様に眉を描いていくと 顔全体とのバランスがとれた美しい眉ができ あがる。

 眉頭3003と眉山3010を結ぶ眉の描き方で顔� �イメージを調整できる。例えば、眉を太く� �いた場合は「大人っぽく」、眉を細く描い� �場合は「かわいらしく」、眉を直線的に描� �た場合は「すっきり」、眉を曲線的に描い� �場合は「やさしい」などの選択を被施術者� �要望に応じて、使い分けることができる。

 このように、シミュレータメインアプリ2 8に含まれる眉処理部37は実施例1におけるス� �ップS80の眉形状の変形処理を上記の美容理� �に基づいて行うことで、あらゆるユーザの� �にあった美しい眉に変形できる。

 (ファンデーション処理)
 シミュレーションアプリ28に含まれるファ� �デーション処理部36は前処理として以下のよ うな処理を行うこともできる。

 ファンデーション処理の前処理としての� ��色評価処理手順について説明する。図71は� �前処理としての肌色評価処理手順の一例を� �すフローチャートである。

 図71に示す肌色評価処理は、まずカメラ� �の撮像手段により撮影された顔を含む評価� �象画像を入力し(S601)、入力した顔画像を予� �設定された分割手法により所定数に分割す� �(S602)。なお、S601により得られる画像は、例� ��ば、全体が均一に照明された顔をデジタル� ��メラ等の撮影装置で撮影された画像を用い� ��ことができる。

 具体的には、顔画像を同一条件で取り込� ��ための照明ボックスを使用し、照明ボック� ��内で顔面を均一に照明するために、照明ボ� ��クスの前面に複数のハロゲン電球を配置し� ��TVカメラにより顔面を撮影し、撮影した顔� �像を取得する。なお、本発明において用い� �れる画像ついては、特にこれに制限される� �のではなく、例えば蛍光灯等の一般的な照� �環境で撮影された画像を用いることもでき� �。

 次に、所定の領域毎に分割した画像から� ��色分布を生成し(S603)、また予め蓄積されて� ��る各種データ等を用いて、例えば比較用肌� ��分布を生成する(S604)。また、S603の処理で得 られた個人の肌色分布と、S604の処理で得ら� �た比較用肌色分布とを用いて肌色等を比較� �て(S605)、肌色分布プロファイルによる評価� �行う(S606)。また、S606の処理により得られた� ��価結果からユーザ等に表示する画面等を生� ��し(S607)、生成した画面(評価結果内容等)を� �力する(S608)。

 ここで、肌色評価を継続するか否かを判� ��し(S609)、肌色評価を継続する場合(S609にお� �て、YES)、S602の処理に戻り、例えば前回とは 異なる分割手法による分割を行い、後述する 処理を行う。S609の処理において、肌色評価� �継続しない場合(S609において、NO)、処理を終 了する。次に、上述した肌色評価処理の詳細 について説明する。

 <顔分割処理:S602>
 次に、上述した顔分割処理について具体的� ��説明する。顔分割処理は、入力される顔を� ��むデジタル画像に対して所定の分割を行う� ��図72は、特徴点と分割された領域の一例を� �す図である。図72では、一例として顔全体を 93個の領域に分割し、分割した各領域の平均� ��色を求め、93個の肌色データにより顔肌色� �分布を表現し、その分布等から肌色評価を� �う。

 従来手法の長所である一定の部位に対し� ��多くのデータを取得することで、例えばそ� ��部位の日本人女性(なお、外国人(他人種)で� ��よく、また男性でもよい。)の分布範囲や平 均値を算出でき、その結果個人の肌色データ をこれらの指標と比較することで評価するこ とができる。また、例えば同一人物による化 粧料の使用前後の肌色比較や他人との二者間 での肌色の比較等も可能となる。

 ここで、図72に示す分割手法は、一例と� �て109個の特徴点を有している。また、図72に 示す分割領域は、一例として3個又は4個の特� ��点により構成された3角形又は4角形の形状� �有する93個の領域(例えば、図72において番号 1~93で示された領域)である。

 また、図73は、上述した図72に対応した109 個の特徴点の顔内の位置関係の一例を示す図 である。また、図74は、上述した図72に対応� �る各領域を構成する特徴点の組合せの一例� �示す図である。なお、図73に示されている各 特徴点の「No.」、「名称」、図74に示されて� ��る各領域の「領域No.」、「構成点」の名称� ��、上述した図72に示された内容に対応して� �る。

 ここで、分割内容を設定する際には、顔� ��割処理は、例えば図73に示す特徴点のうち� �最初にNo.1~37の特徴点(例えば、図72において� ��●」で示された点)を第1特徴点として設定� �る。なお、この37個の特徴点は、例えば全顔 領域のうち、額部分に5点、左右目付近に10点 、鼻に7点、口に9点、目より下のフェースラ� ��ンに6点設けることが好ましい。

 次に、顔分割処理は、上述した37の特徴� �(第1特徴点)を基準として、例えば図73に示す No.38~109の特徴点(例えば、図72において「△」 で示された点)を第2特徴点として設定する。

 例えば、図73に示すように、No.1~37の予め� ��義される特徴点1~37と、その特徴点のうち少 なくとも2つの特徴点間を通る複数の直線の� �点により求まる点38~49と、2点間の線分を所� �の比率で内分する点50~57,67~109と、2つの特徴� ��間を通る直線上にあり、ある特定の点と同� ��の縦座標又は横座標を持つ点58~66等により� �合計109点が得られる。

 また、第1及び第2特徴点(109点)のうち、図 74に示すように少なくとも3個を構成点として 囲まれる領域に分割する。なお、領域を構成 する点の数は、図74に示すように3点又は4点� �もよく、また5点以上でもよい。

 ここで、図72に示す各領域(領域No.1~93)は� �多くの肌色を観察した経験を元に生理学的� �意味のある分割になるよう設定されている� �つまり、図72に示すような設定を行うことに より、色むらが起こり易い部分は領域が狭く なるように分割し、そうでない部分は領域が 広くなるように分割している。

 具体的には、図72~74に示す分割例におい� �、例えば額の部分は分割される領域を広く� �定し、目の回りや口元、頬等は領域を狭く� �定している。このように、設定される分割� �域は、肌色を評価する上で重要な部分(領域) について、その領域を狭く設定することで、 より詳細に高精度な評価を行うことができる 。

 なお、分割領域は、その領域がそれぞれ� ��のような肌色が出易いかを予め過去のデー� ��等により判断し、その色の度合い等を基準� ��集約(グループ分け)することができる。こ� �により、そのグループ毎に容易に評価する� �とができる。

 ここで、上述した図72~74の例では、予め� �義される特徴点を37個(No.1~37)としているが、 これに限定されるものではなく、例えば少な くとも25個の特徴点(第1特徴点)を設定するこ� ��で、同様の分割を行うことができる。

 <顔の分割と顔肌色分布図の生成>
 次に、分割した顔について顔肌色分布の生� ��について具体的に説明する。なお、顔全体� ��均一に照明する照明装置とデジタルカメラ� ��用いた撮影装置は、例えば、「舛田他、画� ��解析を用いたしみ・そばかす定量化システ� ��の開発、粧技誌、V28、N2、1994.」等を用いて 取得した顔画像に対して肌色分布図を生成す る例について説明するが、本発明において用 いられる撮影されたデジタル画像の撮影方法 については、特にこれに制限されるものでは ない。

 所定の位置にセットされた被験者を撮影� ��、上述したように顔分割処理により例えば3 7個の第1特徴点を指定することで、合計109個� ��特徴点を算出することができる。また、顔� ��割処理は、109個の特徴点から上述した図74� �示すような設定により93個の領域に分割する 。なお、この肌色分布は、領域毎に領域毎に 、L*a*b*表色系におけるL*,a*,b*、Cab*、hab、XYZ表 色系における三刺激値X、Y、Z、RGBの各値、色 相H、明度V、彩度C、メラニン量、及びヘモグ ロビン量のうち、少なくとも1つを用いて平� �値により生成される。なお、この場合には� �例えば、L*a*b*表色系、XYZ表色系、及び色相H, 明度V,彩度Cの3要素を採用して画像を生成す� �。

 全領域の外部及び領域内でも肌色ではな� ��部分は評価対象外となるため、例えば肌色� ��ら大きく離れたシアン色等のある特定の色� ��着色されている。更に、皮膚の細かい情報� ��消えて顔肌色の分布が把握し易くなってお� ��、例えばモデルAの「目まわりの肌色が濃い 」という特徴がわかる。なお、肌色評価処理 において、撮影された顔の周辺部は照明の均 一性が低いことがあるため、肌色分布評価処 理では、周辺部のデータを除外することがで きる。

 また、同様の手法で「平均顔」を領域に� ��割し、得られたモデルAの93個の肌色により� ��領域を着色すると、モデルの顔形状情報を� ��外した純粋な色情報を把握することができ� ��。

 上述した処理を行うことで、分割した領� ��を基準に評価することができるため、人物� ��顔形状情報が除外でき、顔形状が異なる人� ��士の肌色分布の比較を容易に行うことがで� ��る。したがって、この特徴を活かして、例� ��ばモデルAの顔肌色分布を同年代の平均値と 比較を行って評価することもできる。

 <比較用の顔肌色分布の生成例:S604>
 次に、肌色分布評価処理における比較用の� ��肌色分布の生成例について説明する。年代� ��の平均肌色分布として、対応する年代の人� ��が撮影されている顔画像を領域分解し、そ� ��後、例えばL*a*b*表色系におけるL*,a*,b*、Cab*� ��hab、XYZ表色系における三刺激値X、Y、Z、RGB� ��各値、色相H、明度V、彩度C、メラニン量、� ��びヘモグロビン量のうち、少なくとも1つを 用いて平均値による肌色分布を求め、年代毎 に平均値を算出することで平均肌色分布を求 める。

 なお、求めた20代から60代までの各年代日 本人女性の平均肌色分布のデータを用いて平 均顔の各領域を着色する。このように、直色 して表示することで、年代毎の平均肌色分布 を生成することができ、このデータと比較す ることで、評価対象画像の高精度な肌色評価 を行うことができる。

 <肌色分布の比較>
 次に、肌色分布の比較例について具体的に� ��明する。肌色分布評価処理は、差分を取る� ��とによる肌色分布の比較を行う。顔画像を� ��定の各領域に分割することで顔肌色分布が� ��握でき、また平均顔等の標準的な顔にその� ��を置き換えることで、顔の形状を除外した� ��情報のみのわかり易い表現が可能となる。� ��るカテゴリー(年齢別、職業別、性別)に属� �る人々の平均値データや、タレント等の理� �的な人のデータ、個人の過去のデータ、他� �のデータ等の二者間の差分値の取得が可能� �なるため、化粧品販売時のカウンセリング� �に役立たせることができる。

 <肌色分布の集約(グルーピング)と肌色分� ��プロファイル生成例>
 ここで、本実施形態において、肌色分布評� ��処理は、肌色の領域において、色の傾向が� ��似する領域を、過去のデータ等を主成分分� ��し、主成分を求めることで集約(グループ分 け)することができる。これにより、そのグ� �ープ毎に容易に評価することができる。図75 は、各グループの色の特徴と、各グループを 構成する領域番号の一例を示す図である。な お、75に示す領域を構成する特徴点は、上述� ��た図72~74に対応している。

 図75に示す例では、部位(1)ほお下、(2)ほ� �正面、(3)まぶた・くま部位、(4)額、(5)鼻ま� �り、(6)口まわりがグループ分けされている� �また、色の特徴として、「(1)ほお下」は高� �度であり、「(2)ほお正面」は赤みよりでや� �高明度であり、「(3)まぶた・くま部位」は� �みよりでやや低明度であり、「(4)額」は黄� �よりでやや高明度であり、「(5)鼻まわり」� �赤みよりでやや低明度であり、「(6)口まわ� �」は赤みよりで低明度である。

 ここで、一例として20~67歳の59名における 唇の4領域を除いた有効57個の領域について色 相Hの主成分分析を実施した結果、6個の主成� ��で57個のデータの90.1%が説明可能であるとわ かった。

 そこで、上述した主成分を基に57個の領� �を上述した(1)ほお下、(2)ほお正面、(3)まぶ� �・くま部位、(4)額、(5)鼻まわり、(6)口まわ� �の6種に分類する。また、その主成分得点の� ��ランス(肌色プロファイル)で肌色分布を評� �することもできる。

 次に、ファンデーション処理の前処理と� ��ての顔分類処理手順について説明する。こ� ��では、立体感を調整し、美しさを演出する� ��法を抽出するため、どのような立体感が美� ��いと評価されるのかについて検討を行った� ��検討に際しては、(a)素顔、(b)肌の色むらを� ��然に整えた素顔風ベースメーク、(c)顔全体� ��平均顔のバランスに見えるよう立体感を調� ��した卵型ベースメークの各顔を用いる。

 ここでは、上述した(a)~(c)の3タイプのベ� �スメークを、顔の特徴の異なる6名のモデル� ��施し、それらを撮影した顔写真を用い、20� �女性20名を対象としてアンケートを実施した 。

 顔の見え方に関する8項目(ひたいの見え� �、ひたいの立体感、鼻筋のとおり具合、ほ� �の肉付き、ほおの長さ、フェースライン、� �ごの出具合、目鼻立ちのバランス)と、顔全� ��の立体感、美しさ、好ましさの全体的な印� ��に関する3項目(顔全体の立体感、美しさ、� �ましさ)で評価を行った。また、顔の見え方� ��ついては、適度かどうかも合わせて回答し� ��もらった。

 その結果、ベースメークを施すことで、� ��鼻立ちのバランスが整って見え、立体的に� ��えることがわかった。美しさ、好ましさの� ��価も高まった。その評価は、卵型ベースメ� ��クで最も高かった。卵型ベースに立体感を� ��整すると、素顔や素顔風ベースよりも顔の� ��価を高めることが明らかとなった。更に、� ��型ベースメークについて詳細な分析を行っ� ��ところ、平均顔の輪郭形状と相似の楕円が� ��尻を通る顔の内側に浮かび上がるようにベ� ��スメークが施されたことがわかった。

 <標準バランスの顔による検討>
 一般的な美人顔の条件として、卵型のフェ� ��スラインと黄金バランスがある。その黄金� ��ランスでは、例えば目の位置は全頭高の約1 /2、髪の生え際からあご先までのうち、生え� ��から1/3の位置に眉頭が、生え際から2/3の位� ��に小鼻が位置する。

 ここで、従来の画像合成技術等により複� ��名の顔写真の寸法情報と色彩情報を平均化� ��ることで作成される「平均顔」のバランス� ��、この黄金バランスの値に近づくことが知� ��れている。また、平均顔の作成には、10人� �を用いれば、異なる10人分の顔写真から作成 したものとほぼ印象が変わらないことが示さ れている(例えば、西谷美和他、「平均顔の� �徴を探る」、日本心理学会第63回大会発表論 文集、1999年8月発行等)。女性40名分の顔写真� ��用いて作成した「平均顔」は、上述した黄� ��バランスを満たす。後述では、この黄金バ� ��ンスを標準バランスとする。

 また、「平均顔」から(肌色の情報を除去 し)奥行きと骨格肉付き感の情報を除去した� �写真を参照すると、奥行きと骨格肉付き感� �は、顔の印象に大きく影響を与えることが� �かる。また、平均顔について上述した画像� �析(モノクロ化ポスタリゼーション処理)を施 したところ、フェースラインの内側にも、フ ェースラインと相似形の卵型が抽出できるこ とがわかった。

 ここで、図76は、平均顔の画像(又は立体� ��)解析結果の一例を示す図である。図76に示� ��ように、顔のフェースラインに対応する外� ��のフェースライン(アウターフェースライン )4000の内側にもアウターフェースライン4000を 相似縮小させたフェースライン(インナーフ� �ースライン)4001が存在することがわかった。 このことからも、顔の内側の立体感を卵型に 見せることは、新たな美しさの演出法の一つ であることが示された。

 <立体感の調整-ベストオーバル調整法->
 次に、フェースラインの内側の立体感、す� ��わちインナーフェースラインを卵型に整え� ��美容法を作成するため、調整仮説を立てた� ��ここで、平均顔で得られるアウターフェー� ��ラインとインナーフェースラインの形状を� ��ベストオーバル」と定義する。アウターフ� ��ースラインは、横幅対縦幅比がほぼ1:1.4の� �型形状(標準アウターフェースライン)である 。「平均顔」のインナーフェースラインは、 この標準アウターフェースラインと相似し、 所定比率で縮小させた形状であり、横幅対縦 幅比もほぼ1:1.4である。

 アウターフェースライン4000は、上述した ように「顔の横幅:縦幅比=1:1.4」の関係で示� �れる形状である。なお、アウターフェース� �インバランスは、顔全体スペース調整の方� �性を見極めるポイントとなる。また、イン� �ーフェースライン4001を個々の顔に当て嵌め� ��場合には、図76に示すように、まず個々の� �の左右のほお骨の横幅を1とする。次に、そ� ��横幅を基準に縦幅がほぼ1.4の標準インナー� ��ェースライン4001、すなわちベストオーバル を描き、各顔の眉尻(小鼻の横から目尻を通� �延長線上を目安)に接するように位置付ける� ��なお、インナーフェースラインバランスは� ��骨格・肉付きによる立体感とスペースの調� ��ゾーンとなる。

 また、アウターフェースライン4000とイン ナーフェースライン4001の間は、自然な奥行� �感をつけるゾーン(図76の斜線部分)4002とした 。また、このゾーン4002は、奥行きを出すと� �時にアウターフェースライン4000とインナー� ��ェースライン4001の形を整えて見せる奥行き の調整ゾーンである。

 前述したファンデーション処理の前処理� ��、ベースメーキャップの為に利用すること� ��できる。

 以上、本発明によれば、動画像に含まれ� ��ユーザの顔に、少ない処理負担で正確にメ� ��クアップを施すことができる。なお、特許� ��求の範囲に記載した撮影手段はカメラ2に相 当し、制御手段は制御部8に相当し、表示手� �はモニタ7に相当し、顔認識処理手段は顔認� ��処理部33に相当し、メイクアップ処理手段� �メイクアップ処理部35に相当し、操作手段は 操作パネル4に相当し、ハーフミラー手段は� �ーフミラー3に相当し、印刷手段はプリンタ5 に相当する。

 また、本発明は、具体的に開示された実� ��例に限定されるものでなく、特許請求の範� ��から逸脱することなく、種々の変形や変更� ��可能である。

 本発明のメイクアップシミュレーション� ��置1はリアルタイムシミュレーションである 為、静止画によるものや従来のメイクアップ シミュレーション装置1と異なり、瞬時に顔� �トラッキングポイントを認識し、そのトラ� �キングポイントをもとにシミュレーション� �行うことができるので、これまでできなか� �た以下のことも可能にしている。

 本発明のメイクアップシミュレーション� ��置1はリアルタイムなシミュレーションが可 能である。本発明のメイクアップシミュレー ション装置1は、これまでのように正面顔だ� �でなく、横顔からのシミュレーション等も� �能なため、頬紅等のシミュレーション効果� �テクニックの確認が容易である。

 本発明のメイクアップシミュレーション� ��置1は、リアルタイムなシミュレーションに なったことで、これまでの平面的な表現から 、顔を立体としてとらえた分析や、立体感や 質感の表現も可能になった。

 また、本発明のメイクアップシミュレー� ��ョン装置1は、同時に何人もの顔認識が可能 であるため、同時に何人ものリアルタイムな シミュレーションが可能である。本発明のメ イクアップシミュレーション装置1は顔認識� �能が優れていることから、個々の顔立ちに� �わせて、あるいは男性、女性を自動的に分� �し、顔立ちや分類にあわせたメイクアップ� �可能である。例えば本発明のメイクアップ� �ミュレーション装置1は、カップルで同時に� ��それぞれのメイクアップシミュレーション� ��可能である。

 本国際出願は、2007年8月10日に出願した日 本国特許出願2007-208809号、2008年8月5日に出願� ��た日本国特許出願2008-202449号に基づく優先� �を主張するものであり、2007-208809号、2008-2024 49号の全内容を本国際出願に援用する。