JP6264665B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像を認識して画像処理を行う画像処理方法、およびその装置に関するものである。

従来、顔画像にコンピュータ上で画像処理によりメイクアップ処理を行い、仮想の化粧後の顔を実現するメイクアップシミュレーションの技術が知られている。メイクアップシミュレーションは、顔画像に対して認識技術を用いることで、口、目、鼻、および顔輪郭などの特徴点を抽出し、その特徴点に基づいて、口紅などの各化粧アイテムを画像処理により合成することで実現される。特に、動画として撮影したユーザの顔画像に対してリアルタイムにシミュレーション結果を表示すれば、鏡の前で実際に化粧を行っているかのような臨場感の高いメイクアップシミュレーションをユーザに提供できる（例えば、特許文献１および特許文献２参照）。このようなメイクアップシミュレーションでは、ユーザから視認できるモニタと、ユーザの顔を撮影するためのカメラを、モニタの上などに設置したシステムを用いるのが一般的である。

特許第５１９１６６５号公報 特許第３９８４１９１号公報 特開２００７−４９３７１号公報

しかしながら、各化粧アイテムを操作してメイクアップシミュレーションを行うためには、モニタに映ったユーザ自身の顔画像を注視しながら操作パネルを操作する必要がある。そのため、ユーザの顔の向きがカメラの方向からずれてしまい、正面向きの顔と比べて特徴点の検出精度が低下して、シミュレーション結果の品質低下につながる問題がある。また、メイクアップシミュレーションに係る演算処理により、モニタに映るユーザ自身の顔画像は現実のユーザの動きより遅れて映るため、ユーザが動いていると操作が行いづらい問題がある。

本発明は、前記従来の課題を解決するもので、画面操作中の処理画像を適切に選択する画像処理方法を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像処理方法は、入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、前記判定処理の結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。

本発明の画像処理方法によれば、画像処理の対象物が適切に表れている静止画を画面操作中の処理画像として適切に選択することができる。

本発明の実施の形態１におけるメイクアップシミュレータのブロック図。 本発明の実施の形態１におけるメイクアップシミュレータの外観図。 本発明の実施の形態１におけるメイクアップシミュレータの動作モード設定手順を示すフローチャート。 本発明の実施の形態１におけるメイクアップシミュレータのフレームごとの動作を示すフローチャート。 顔特徴点検出手順を示すフローチャート。 目の開閉確認手順を示すフローチャート。 目の特徴点位置を説明する図。 本発明の実施の形態１におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態１の補足（７）におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態２におけるメイクアップシミュレータのフレームごとの動作を示すフローチャート。 本発明の実施の形態２におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態２の補足（２）におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態２における平均顔特徴点位置の再算出手順を示すフローチャート モード切り替えに応じたフェーズを示す図。 （ａ）は、フレーム画像Ｆｘと、フレーム画像Ｆｘ＋ｍとにおいて検出された特徴点群を示す。（ｂ）は、フレーム画像Ｆｘと、フレーム画像Ｆｘ＋ｍとの間の特徴点の変換を規定する変換行列を示す。 （ａ）は、フレーム画像Ｆｘ、フレーム画像Ｆｘ＋ｍに存在する複数の特徴点を示す図。（ｂ）は、変換行列の一例。（ｃ）は、静止画に対して手塗りイメージが描画されている状況を示す図。 動作モードが、確認モードから操作モードに切り替えられた場合において、確認モードのベースとなる静止画が確定するまで経緯を示す図。 操作モードにおけるメイクアップ処理に関する入力受付を示すフローチャート。

≪発明者が得た知見≫
リアルタイム処理を行うメイクアップシミュレータでは、ユーザに向けたカメラで撮像し、撮像したユーザの画像に画像処理を施してモニタに表示する。ここで、ユーザがメイクアップシミュレーションを行うためには、モニタと一体化したタッチパネルや、別途設けられた操作パネルなどを操作し、口紅やチーク、マスカラといった化粧品を選んで顔に塗布操作などを行う必要がある。そのため、操作中は顔の向きや目線が操作パネルやモニタに移ってしまい、カメラに対して正面を向いた画像が取得できなくなる。このような、顔の向きや目線がカメラから外れた画像に対しては、特徴点の検出精度が低下してしまうため、特徴点の誤検出により、化粧アイテムの位置がずれてしまい、メイクアップシミュレーション品質が低下することがある。

さらに、リアルタイム処理においては、ハードウェアの処理能力に依存した遅延が発生することがある。メイクアップ処理は動画像のフレーム単位で行うため、少なくとも１フレーム分の遅延が発生する。さらに、特徴点の検出処理、化粧パーツの変形処理と合成処理が発生するため、０．１秒以上の遅延が発生することがある。このような場合、ユーザがモニタ上の自画像にタッチ操作を行おうとすると、モニタ上の自画像はユーザ自身の動きを遅れて再現するため、ユーザは想定外の動きがあるように感じ、自画像上の意図した位置をタッチするのが難しい。

このような課題を解決する方法としては、化粧に係る操作などを行う際には静止画を表示することが考えられる。動画表示と静止画表示とを切り替える方法としては、特許文献３に開示されているように、撮像操作を機に動画表示から静止画表示に切り替える方法がある。

化粧に係る操作を行うための静止画としては、正面を向き、目線がカメラに向いている画像が適している。上述したように特徴点が検出しやすく、ユーザにとっても操作しやすいためである。しかしながら、ユーザの撮像操作により静止画を撮像した場合、必ずしもこのような画像が得られるとは限らない。撮像操作をするために目線や顔の向きが操作パネルに向かっていたり、操作を行うために姿勢が崩れていたりすることがあり得るからである。

そこで、発明者らは、ユーザが静止画表示に切り替える操作を行った後、動画像を撮像し続け、当該動画像を構成する各フレームの特徴点を検出し、上述した化粧に係る操作を行うための静止画として適した画像が得られれば、そのフレームを静止画としてメイクアップ処理のための処理画像とする、という知見を得た。このようにすることで、ユーザの操作の時点直後に制約されることなく、メイクアップ処理に適した画像をベースとしてシミュレーションを実施することができる。

≪実施の形態≫
以下本発明の実施の形態について、図面を参照しながら説明する。

≪実施の形態１≫
＜構成＞
本実施の形態に係るメイクアップシミュレータのブロック図を図１に示す。メイクアップシミュレータ１は、カメラ２と、特徴点検出部１１と、フレームメモリ１２と、制御部１３と、画像処理部１４と、タッチパネルモニタ３とを備える。

カメラ２は、撮像光学系（図示無し）、撮像素子（図示無し）、Ａ／Ｄ変換回路（図示無し）などで構成される。撮像光学系は、フォーカス制御を行うフォーカスレンズ、シャッタ・絞りによる露出制御部などで構成される。ズーム動作を行うズームレンズを備えても良い。撮像素子は、ＣＣＤセンサまたＣＭＯＳセンサで構成される光電変換素子であり、撮像光学系により形成された被写体像を撮像して映像信号を出力する。Ａ／Ｄ変換回路は、撮像素子より出力されたアナログ信号である映像信号を、デジタル信号に変換する変換器である。Ａ／Ｄ変換回路から出力されるデジタルデータが、カメラ２の出力である撮像画像となる。カメラ２は、特徴点検出部１１に、動画としてのデジタルデータを、構成するフレーム画像単位で出力する。

特徴点検出部１１は、カメラ２から出力された動画としてのデジタルデータを構成するフレーム画像のそれぞれに対して、顔の検出を行い、次いで、目の輪郭、鼻の輪郭、口の輪郭、顔の輪郭などを検出し、その位置情報を特徴点として制御部１３と画像処理部１４に出力する。特徴点検出部１１は、まず、動画としてのデジタルデータを、フレーム単位で、縦Ｍピクセル×横Ｎピクセルの画像に変換する。次に、特許文献１、特許文献２などに開示されている方法で、まず、目、鼻、口、輪郭、髪などから顔の領域を検出し、次に、顔のパーツである目、鼻、口、輪郭などのそれぞれについて、特徴点を検出する。特徴点検出部１１は、検出した特徴点の座標を、制御部１３に出力する。

また、特徴点検出部１１は、制御部１３から画像出力指示を受け付けると、カメラ２から出力されたフレーム画像をフレームメモリに転送する。

フレームメモリ１２は、特徴点検出部１１から出力されたフレーム画像を受け取り、処理画像として保持する。フレームメモリ１２は、保持している処理画像を、画像処理部１４に出力する。フレームメモリ１２は、例えば、ＤＲＡＭ、フラッシュメモリなどの半導体メモリデバイスや、ＨＤＤなどの磁気記憶デバイスなどの記憶デバイスで実現される。

制御部１３は、メイクアップシミュレータ１の動作モードを管理し、また、画像処理の内容をユーザから受け付けて保持する。具体的には、現在の動作モードが確認モードであるか操作モードであるか管理するとともに、ユーザから、動作モードの切り替え指示を受け付ける。また、操作モードである場合、処理画像が確定済みか否かを管理するとともに、確定済みでない場合、特徴点検出部１１が出力する特徴点の座標から、現在処理中のフレーム画像が処理画像として適しているかを判断する。また、操作モードであって操作画像が確定済みの場合、メイクアップ処理に関するユーザの入力を受け付け、以降のフレーム画像に対する画像処理に反映する。

画像処理部１４は、制御部１３が出力する画像処理指示と、特徴点検出部１１が出力する特徴点座標とを用いて、フレームメモリ１２が保持している処理画像に対して画像処理を行い、結果をタッチパネルモニタ３に出力する。

タッチパネルモニタ３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬなどで構成される表示デバイスであるとともに、静電容量方式、赤外線方式などのタッチセンサで位置検出を行う位置入力デバイスでもある。タッチパネルモニタ３は、画像処理部１４が出力する画像を表示デバイスに表示し、また、ユーザがタッチセンサを用いて入力を行った場合にその座標を制御部１３に入力する。

上述した特徴点検出部１１、制御部１３、画像処理部１４はそれぞれ、例えば、プロセッサなどのプログラマブルデバイスとソフトウェア、あるいは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｇｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現される。

＜概要＞
メイクアップシミュレータ１の外観と動作の概要について説明する。

メイクアップシミュレータ１の外観を図２（ａ）に示す。ユーザはメイクアップシミュレータ１の前に位置し、タッチパネルモニタ３の上に位置するカメラ２でユーザ自身の画像を撮影する。

タッチパネルモニタ３に表示される画像を図２（ｂ）に示す。タッチパネルモニタ３に表示される内容は、カメラ２により撮影されたユーザの画像に画像処理を行ったものを表示する画像表示部分と、タッチセンサを介してユーザの操作を受け付けるためのガイドを表示する操作表示部分とに分けられる。

メイクアップシミュレータ１の動作モードには、「確認モード」と「操作モード」とがある。「確認モード」である場合、メイクアップシミュレータ１は、カメラ２により撮影されたユーザの画像に画像処理を行ったものをリアルタイムで動画として画面表示部分に表示する。したがって、画像処理後の画像、すなわち、シミュレート結果がユーザの目の前に表示されるので、メイクアップシミュレータ１はメイクアップ機能を有したデジタルミラーとなり、ユーザは鏡に映る自身の顔を見るように、メイクアップシミュレーション後の自身の顔を確認することが可能である。一方、「操作モード」である場合、メイクアップシミュレータ１は、ユーザの操作をタッチパネルモニタ３のタッチセンサを介して受け付ける。ユーザは、操作表示部分に表示されたメイクのアイテム（口紅、頬紅など）を選択し、色、塗布形状、塗布位置なども操作・選択する。塗布形状や塗布位置は、画面表示部分に表示されているユーザ自身の画像に対して指定してもよい。ユーザの操作・選択情報は、タッチパネルモニタ３を介して制御部１３に入力され、制御部１３はその操作・選択情報に応じて画像処理部１４に画像処理内容の変更を指示する。これにより、画面表示部分に表示されているユーザ自身の画像に行われるメイクアップが、ユーザの操作・選択情報に合わせて即時に変更される。そのため、ユーザはメイクアップの結果を即時に確認することができ、気軽にメイクアップシミュレーションを行うことができる。

＜モードの切り替え＞
図３を用いて、動作モードの設定動作について説明する。

メイクアップシミュレータ１は、動作モードを設定するためのＧＵＩをタッチパネルモニタ３の操作表示部分に表示する（Ｓ１）。表示されるＧＵＩは、例えば、「確認モード」を示す「再生」のアイコンと、「操作モード」を示す「一時停止」のアイコンである。メイクアップシミュレータ１は、ユーザの指示、例えば、ユーザがタッチパネルモニタ３上のモード切替アイコンをタッチすることにより、ステップＳ１の動作を開始する。

次に、メイクアップシミュレータ１は、タッチパネルモニタ３の操作表示部分を介して、動作モードを選択する入力がユーザによってなされたか否かを確認する（Ｓ２）。なお、このとき、ユーザによって選択されたアイコンの色を反転させたり、アイコン枠を強調させたりなどの方法で、ユーザに指示内容の確認を行ってもよい。

タッチパネルからの入力が「確認モード」を選択するものであった場合（Ｓ３で確認モード）、メイクアップシミュレータ１は、動作モードを確認モードに設定する（Ｓ４）。具体的には、制御部１３の動作モードレジスタに、動作モードが「確認モード」であることを示す情報を書き込む。

一方、タッチパネルからの入力が「操作モード」を選択するものであった場合（Ｓ３で操作モード）、メイクアップシミュレータ１は、動作モードを操作モードに設定する（Ｓ５）。具体的には、制御部１３の動作モードレジスタに、動作モードが「操作モード」であることを示す情報を書き込む。

タッチパネルからの入力が「確認モード」または「操作モード」のいずれかを選択するものであった場合、ステップＳ４またはＳ５の後、処理画像決定フラグを初期化する（Ｓ６）。具体的には、制御部１３の処理画像決定レジスタの内容を消去する。これは、フレームメモリに画像が保持されている場合に、フレームメモリに新たに画像を書き込めない事態を防ぐためである。詳細は後述する。

なお、動作モードを選択する入力がユーザによってなされなかった場合は（Ｓ２でＮｏ）、メイクアップシミュレータ１は、動作モード設定を終了する。

＜フレーム単位の動作＞
次に、図４を用いてフレーム単位の動作を説明する。なお、ここでは、画像処理（メイクアップ処理）は行わず、単にデジタルミラーとして動作する場合について説明する。

メイクアップシミュレータ１のカメラ２は、ユーザを撮影した動画の１つのフレーム画像（静止画）を出力する（Ｓ１１）。

次に、メイクアップシミュレータ１の制御部１３は、メイクアップシミュレータ１の動作モードを判定する（Ｓ１２）。具体的には、制御部１３は、動作モードレジスタから設定情報を読み出す。

動作モードが確認モードであった場合、メイクアップシミュレータ１は、フレームメモリ１２を、カメラ２が出力した静止画で上書きする（Ｓ１３）。具体的には、制御部１３は特徴点検出部１１に画像出力指示を送信し続け、フレームメモリ１２は、カメラ２が出力した静止画を特徴点検出部１１を経由して受け取って自身に格納する。このようにすることで、カメラ２が撮像した最新のフレーム画像がそのままフレームメモリに格納されることになる。

一方、動作モードが操作モードであった場合、以下のような処理となる。

まず、メイクアップシミュレータ１の制御部１３は、処理画像が決定済みであるか否かを判定する（Ｓ１４）。具体的には、制御部１３は、処理画像決定レジスタに、処理画像が決定済みであることを示す情報が格納されているか否かを確認する。

処理画像が決定済みであれば（Ｓ１４でＹｅｓ）、メイクアップシミュレータ１はそのフレームに対して処理を終了する。この場合、制御部１３は特徴点検出部１１に画像出力指示を送信せず、フレームメモリには１フレーム以上前のフレーム画像である、決定済みの処理画像がそのまま保持されることになる。

処理画像が決定済みでない場合（Ｓ１４でＮｏ）、メイクアップシミュレータ１の特徴点検出部１１は、フレーム画像から顔の特徴点を検出する（Ｓ１５）。

図５を用いてステップＳ１５の処理について説明する。まず、特徴点検出部１１は、フレーム画像から、顔を検出してその領域を特定し、その座標を特徴点として出力する（Ｓ１５１）。次に、特徴点検出部１３は、顔の領域から、目、鼻、口、眉などの、顔の各パーツを検出し、その輪郭線を特定するための座標を特徴点として出力する（Ｓ１５２）。

図４に戻って説明を続ける。次に、メイクアップシミュレータ１の制御部１３は、検出した特徴点の位置を確認する（Ｓ１６）。具体的には、制御部１３は、当該フレーム画像がメイクアップ処理などの画像処理のベースとなる画像として適正であるか否かの指標として、顔の特徴点位置から、顔の向きや状態を確認する。

図６を用いてステップＳ１６の処理の一例について説明する。ここでは、目が閉じている画像は処理画像として適正でないという観点から、目の開閉状態を確認している。図７に示すように、ステップＳ１５において、目の特徴点として、目頭Ａ（Ｘａ，Ｙａ）、目尻Ｂ（Ｘｂ，Ｙｂ）、目の上端Ｃ（Ｘｃ，Ｙｃ）、目の下端Ｄ（Ｘｄ，Ｙｄ）の４つが取得されているものとする。

まず、目の水平方向の大きさを算出する（Ｓ１６１）。目の水平方向の大きさＬｈは、以下に示すように、目頭Ａと目尻Ｂとの間の距離で算出できる。

次に、目の垂直方向の大きさを算出する（Ｓ１６２）。目の垂直方向の大きさＬｖは、以下に示すように、目の上端Ｃと目の下端Ｄとの間の距離で算出できる。

次に、目の垂直方向の大きさを正規化する（Ｓ１６３）。具体的には、目の垂直方向の大きさＬｖを、目の水平方向の大きさＬｈで除算し、正規化した目の垂直方向の大きさＬｖｎ＝Ｌｖ／Ｌｈを得る。

最後に、正規化した目の垂直方向の大きさＬｖｎが所定のしきい値を超えるか否かにより、目の開閉状態を確認する（Ｓ１６４）。

図４に戻って説明を続ける。メイクアップシミュレータ１の制御部１３は、ステップＳ１６の特徴点位置確認の結果を基に、当該フレーム画像を処理画像として決定するか否かを判定する（Ｓ１７）。ここでは、上述した目の開閉状態が「開いている」状態であれば、当該フレーム画像を処理画像として決定し、そうでなければ当該フレーム画像を処理画像として決定しない。

当該フレーム画像を処理画像として決定する場合（ステップＳ１７でＹｅｓ）、メイクアップシミュレータ１の制御部１３は、処理画像決定フラグをセットする（Ｓ１８）。具体的には、処理画像決定レジスタに、処理画像が決定済みであることを示す情報を格納する。これにより、動作モードが確認モードに切り替わり処理画像決定フラグがクリアされるまで、以降のフレーム画像によりフレームメモリが上書きされることがなくなるため、当該フレーム画像が処理画像としてフレームメモリに格納されたままとなる。

最後に、当該フレーム画像を処理画像として、フレームメモリに格納する（Ｓ１９）。これにより、当該フレーム画像が処理画像となるため、ユーザは操作に適した静止画を用いて、シミュレーション処理の設定変更等を行うことができる。

一方、当該フレーム画像を処理画像として決定しない場合（ステップＳ１７でＮｏ）、メイクアップシミュレータ１は、フレームメモリ１２を、カメラ２が出力した静止画で上書きする（Ｓ１３）。具体的には、制御部１３は特徴点検出部１１に画像出力指示を送信し、フレームメモリ１２は、フレーム画像を格納する。このようにすることで、カメラ２が撮像した最新のフレーム画像がそのままフレームメモリに格納され、改めて次フレーム以降のフレーム画像から処理画像を選択し直すことになる。

＜メイクアップシミュレーション時の動作＞
図８に、メイクアップシミュレーションを行う場合のメイクアップシミュレータ１の動作を示す。なお、図３と同様の動作については、同じステップ番号を付し、説明を省略する。

処理画像がフレームメモリに格納された後、特徴点検出部１３はフレームメモリから処理画像を読み出し、目、鼻、口、眉などの特徴点や、輪郭の特徴点等、メイクアップシミュレーションの対象となる顔の部位の特徴点を検出する（Ｓ２０）。

次に、画像処理部１５がメイクアップ処理を行う（Ｓ２１）。メイクアップ処理の内容は、操作モード中において、タッチパネルモニタ３の操作部分と画像表示部分とを用いてユーザから受け付ける。例えば、操作モード中において、ユーザが画像表示部分に表示されている口紅Ａを選択して唇をなぞった場合、口紅Ａを唇に塗るメイクアップ処理が行われる。この場合、ステップＳ２０で検出した口の特徴点から唇の位置を特定し、口紅Ａのレイヤを作成し、処理画像と合成する。

最後に、タッチパネルモニタ３に、画像処理部１５が生成した処理後の画像を表示する（Ｓ２２）。

＜まとめ＞
かかる構成によれば、ユーザが任意のタイミングで操作モードに設定しても、特徴点位置確認Ｓ１０５を行うことにより、瞬きなどに影響されずにメイクシミュレーションに対して良好な画像を得ることが可能である。そのため、ユーザは気軽にメイクアップシミュレーション結果を確認できるため、実際の化粧品を試す手間を軽減することができる。

＜補足＞
（１）ステップＳ２において、ユーザによって選択されたアイコンの色を反転させたり、アイコン枠を強調させたりなどの方法で、ユーザに指示内容の確認を行うとしたが、特定の音によりその動作モードの変化を通知してもよい。

（２）ステップＳ１およびＳ２において、メイクアップシミュレータ１はＧＵＩをタッチパネルモニタ３に表示し、ユーザの入力を確認するとしたが、ステップＳ２におけるユーザからの指示はタッチパネルモニタ３への入力に限らず、マウスなどの他の入力デバイスからの入力であってもよいし、あるいは、カメラ１が撮像した画像から認識できるジェスチャ動作であってもよい。

または、次のように動作モードを設定してもよい。例えば、タッチパネルモニタ３の画像表示部分へのタッチ操作を、動作モード変更を指示する入力であるとし、画像表示部分へのタッチ操作があれば、操作モードから確認モードに、または、確認モードから操作モードに切り替えを行うとしてもよい。

（３）ステップＳ１において、ユーザがタッチパネルモニタ３の画像表示部分にタッチすることで動作モード設定の処理を開始するとしたが、例えば、特定のシーンを検出して、自動的に動作モード設定を行うとしてもよい。具体的には、ユーザが急に動いたときや、影が出来て急に暗くなったときなど環境変化が発生した場合に、一時的に操作モードに切り替えることで、表示に不適切な画像を表示することを防ぐことが可能である。この場合、環境の安定を確認して自動で確認モードに復帰してもよいし、ユーザ指示により確認モードに戻っても良い。

（４）ステップＳ１６において、目の垂直方向の大きさの正規化に、目の水平方向の大きさを利用したが、他の値、例えば、顔の大きさを用いて目の垂直方向の大きさの正規化を行うとしてもよい。

また、目の水平方向の大きさＬｈについて、単に、Ｌｈ＝Ｘａ−Ｘｂとしてもよいし、同様に、目の垂直方向の大きさＬｖについて、単に、Ｌｖ＝Ｙｄ−Ｙｃとしてもよい。

（５）ステップＳ１６において、正規化した目の垂直方向の大きさを目の開閉確認に用いたが、例えば、次のようにして目の開閉確認を行ってもよい。すなわち、目の特徴点位置から黒目の位置を推定して、黒目位置に相当する箇所付近の明るさもしくは色で確認する。黒目位置は、目頭と目尻を結ぶ直線、目上端と目下端を結ぶ直線の交点位置を黒目位置と推定することが出来る。目の開閉判断としては、交点位置の画素の明度が暗い場合もしくは色が黒い場合は目が開いていると判断し、明度が明るい場合もしくは色が肌色の場合は目が閉じていると判断する。

（６）ステップＳ１６、ステップＳ１７において、フレーム画像がメイクアップ処理などの画像処理のベースとなる画像として適正であるか否かの指標として、目の開閉状態を確認したが、例えば、口付近を確認し、笑顔度を検出して笑顔の状態を指標として用いてもよい。この場合、例えば、口角が上がっているか否か等で判定を行うことができる。また、指標として、複数の特徴を用いてもよい。

（７）ステップＳ２０において、特徴点検出部１１が処理画像の特徴点を検出するとしたが、ステップＳ２０はステップＳ１５と全く同じ処理であってもよいし、あるいは、ステップＳ２１のメイクアップ処理に必要な特徴点のみを検出するとしてもよい。または、ステップＳ１５の特徴点検出の結果を保持しておき、ステップＳ２１のメイクアップ処理で保持された特徴点を用いてもよい。図９にフローチャートを示す。ステップＳ２３において、ステップＳ１５の結果を保持し、ステップＳ２１において、ステップＳ２０の結果に代えて使用する。このようにすることで、フレームメモリに処理画像が保持されている場合に、同一の処理画像に対し、繰り返しステップＳ２０の特徴点検出を実施する必要がなくなり、処理量を削減することができる。

（８）実施の形態１では、タッチパネルモニタ３には画像表示部分と操作部分のみが表示されるとしたが、例えば、お勧めのメイク情報なども合わせて表示してもよい。このようにすることで、ユーザの利便性をより高めることが出来る。

≪実施の形態２≫
実施の形態１では、操作モードで用いる処理画像についてフレーム処理単位で、または１度だけ特徴点位置の確認をする場合について説明したが、本実施の形態では複数のフレーム画像から特徴点位置を補間する場合について説明する。

本実施の形態に係る動作を示すフローチャートを図１０に示す。図１０において、図４と同じ動作については同じステップ番号を付し、説明を省略する。

＜特徴点位置のフィルタ演算＞
ステップＳ３１において、制御部１３は、予め設定された指定時間が経過したか否かを確認する。具体的には、「指定時間×フレームレート」だけのフレーム画像を処理したか否かを確認する。例えば、指定時間が２秒で、フレームレートが秒間６０フレーム（６０ｆｐｓ）の場合、１２０フレームを処理したか否かを確認する。ここで、指定時間のカウントの開始は、直前の指定時間の経過時、または、動作モードが操作モードに切り替わった時のうち、いずれか遅い方である。具体的には、制御部１３はカウンタを備え、カウンタは、ステップＳ３１がＹｅｓの場合、および、ステップＳ６において初期化される。

ステップＳ３１でＮｏの場合、フレーム画像の特徴点位置を保持し（Ｓ３２）、処理画像が決定しなかった場合（Ｓ１７でＮｏ）と同様の処理を行う。一方、ステップＳ３１でＹｅｓの場合、ステップＳ１６で特徴点位置を確認し、ステップＳ１７で処理画像として保持するか否かを判断する。

処理画像が決定した場合（Ｓ１７でＹｅｓ）、ステップＳ１９でフレームメモリに処理画像を保持した後、特徴点位置の平均を算出する（Ｓ３４）。

以下、ステップＳ３４の詳細について説明する。まず、ステップＳ３２で保持した特徴点位置について、特徴点ごとに平均値を算出する。例えば、図７に従って説明すると、保持されている複数の目頭Ａの座標の平均置を算出し、同様に、目尻Ｂの座標の平均値、目の上端Ｃの座標の平均値、目の下端Ｄの座標の平均値を算出する。第ｎフレームの目頭Ａの座標を（Ｘａｎ，Ｙａｎ）とすると、平均値（Ｘａａｖｅ，Ｙａａｖｅ）は、以下の式で算出される。

このようにすることで、特徴点の位置が時間方向に平均化されるため、特徴点の誤検出や、特徴点のずれ等による、ノイズ的な特徴点の影響を抑え、安定した特徴点位置を得ることが可能となる。

＜メイクアップシミュレーション＞
メイクアップシミュレーションを行う場合のフローチャートを図１１に示す。図４、図８、および、図９と同じ処理については同じステップ番号を用い、説明を省略する。

操作モードにおいて、処理画像が決定済みである場合、ステップＳ３４で算出した特徴点位置の平均を用いて、ステップＳ２１のメイクアップ処理を行う。例えば、メイクアップ処理が付けまつ毛の付加の場合、上述した目頭Ａ、目尻Ｂ、目の上端Ｃ、目の下端Ｄのそれぞれの座標の平均値を目の特徴点の座標として瞼および睫の位置を検出し、付けまつ毛を付加する。

かかる処理により、特徴点位置が安定するため、メイクアップシミュレーションも安定化させることが可能となる。

＜補足＞
（１）ステップＳ３４において、座標の時間方向における加算平均を行うものとしたが、フィルタ演算はこの場合に限られず、例えば、メディアンフィルタのように、時間的に前後の特徴点位置について中央値のみを選択してもよい。

（２）ステップＳ３４において、特徴点位置の平均を算出するとしたが、再計算をさらに行うとしてもよい。図１２にフレーム処理のフローチャートを示す。ステップＳ３４において特徴点位置の平均を算出した後、特徴点位置の平均を再算出する（Ｓ３５）。

図１３を用いてステップＳ３５の処理を説明する。保持されている各特徴点について、Ｌｏｏｐ１を実施する。Ｌｏｏｐ１において、指定期間内の各フレーム画像について、Ｌｏｏｐ２を実施する。Ｌｏｏｐ２において、ステップＳ３４で算出した特徴点の平均と、当該特徴点の位置とを比較し、差異が所定以上か否かを判断する（Ｓ３５１）。差異が所定以上であれば、当該特徴点を除外する（Ｓ３５１）。このようにすることで、各特徴点について、平均から外れたものを、フィルタの対象から除外する。そして、Ｌｏｏｐ２、Ｌｏｏｐ１の完了後、除外されていない特徴点位置の平均を算出する（Ｓ３５３）。

これらの処理により、さらに特徴点位置の安定化を図ることができる。

≪実施の形態３≫
本実施の形態では、操作モードと確認モードとについて詳細に説明する。

図１４に、モード切替に応じた３つのフェーズを示す。左側のフェーズｐｈ１は、操作モードに切り替わった直後のフェーズである。第１段目に示すように、このフェーズはユーザがタッチパネルモニタ３に操作モードの開始を示す操作を行うことで開始され、タッチパネルモニタ３には、動画像を構成する個々のフレーム画像がリアルタイムで表示される。上述したように、表示されるフレーム画像が処理画像として適している画像であれば、当該フレーム画像が処理画像として選択され、メイクアップ操作の対象となる静止画が定まる。

真ん中のフェーズｐｈ２は、処理画像としての静止画をベースとしたメイクアップ操作を受け付けるフェーズである。Ｐｈ２の第１段目は、モードが操作モードに設定されていることを示す。第２段目は、メイクアップ操作がなされている状況を示す。この第２段目におけるフレーム画像Ｆｘは、フェーズｐｈ１において選択された静止画としての処理画像である。このフェーズでは、静止画としてキャプチャされた自画像であるフレーム画像Ｆｘがタッチパネルモニタ３の画像表示部分に表示されていて、このタッチパネルモニタ３の表面をユーザが指でなぞる操作を行う。この指なぞり操作により、眉毛の手塗イメージ、頬紅の手塗イメージ、口紅の手塗イメージが静止画に合成されている。

右端のフェーズｐｈ３は、操作モードでの手塗操作の後、確認モードへの切り替えがなされている状況を示す。ここで、フレーム画像Ｆｘ＋ｍは、確認モードで表示される動画像のうち、任意の一枚のフレーム画像を意味する。このフェーズでは、後続するフレームのうち、顔の眉、頬、唇に該当する部位に、フェーズｐｈ２で行われた操作に対応する、眉毛の手塗イメージ、頬紅の手塗イメージ、口紅の手塗イメージがマッピングされている。

上記の手塗イメージのマッピングは、各フレームから各部位の輪郭を規定する特徴点を抽出し、フレーム画像に存在する特徴点の群を、別のフレーム画像の特徴点に変換する変換行列を求めることでなされる。

フレーム画像Ｆｘ、フレーム画像Ｆｘ＋ｍからは、上述したように、ステップＳ２０において、複数の特徴点からなる特徴点群が検出される（ないし、ステップＳ１５において検出された特徴点群がステップＳ２３で保持されている）。これらの特徴点は、対象物における部位の輪郭形状を規定するものである。メイクアップシミュレータ１は、静止画として設定されたフレーム画像Ｆｘと、後続するフレーム画像Ｆｘ＋ｍとで対応点検索を行うことで、特徴点の対応付けを行う。ここで、フレーム画像間の対応点検索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することでなされる。静止画に現される何らかの部位に対して手塗によるメイクアップ操作が行われれば、後続するフレーム画像における部位であって、対応点探索により操作に係る部位との対応付けがなされたものに、操作に係る手塗イメージをマッピングする。

図１５（ａ）は、フレーム画像Ｆｘと、フレーム画像Ｆｘ＋ｍとにおいて検出された特徴点群を示す。

図１５（ａ）における特徴点群ｇｐ１、ｇｐ２、ｇｐ３、ｇｐ４は、フレーム画像Ｆｘにおける顔画像の代表的な部位（眉、唇、頬）を取り囲んで、当該部位の輪郭形状を規定している。図中の特徴点群ｇｐ１１、ｇｐ１２、ｇｐ１３、ｇｐ１４は、フレーム画像Ｆｘ＋ｍにおける顔画像の代表的な部位を取り囲んで、当該部位の輪郭形状を規定している。矢印ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４は、フレーム画像Ｆｘにおける特徴点と、フレーム画像Ｆｘ＋ｍにおける特徴点との間でなされる対応点検索の過程を模式的に示したものである。この対応点検索により、フレーム画像Ｆｘにおける眉を規定する特徴点群と、フレーム画像Ｆｘ＋ｍにおける眉を規定する特徴点群との対応関係が規定される。

図１５（ｂ）は、フレーム画像Ｆｘと、フレーム画像Ｆｘ＋ｍとの間の特徴点の変換を規定する変換行列を示す。図１５（ｂ）におけるＨ１、Ｈ２、Ｈ３、Ｈ４は、対応する部位間の特徴点変換を規定する変換行列を示す。これらの変換行列を利用して、フレーム画像Ｆｘに対する手塗操作で得られた手塗イメージを、フレーム画像Ｆｘ＋ｍにマッピングする。これにより、手塗イメージはフレーム画像Ｆｘ＋ｍにおける特徴点の現れ方に応じて変形されて表示される。

図１６（ａ）の上段左側に存在する複数の特徴点ｉ１、ｉ２、ｉ３、ｉ４、…、ｉ８は、フレームＦｘの顔画像における眉毛の形状を特徴づけるものである。図１６（ａ）の上段右側に存在する複数の特徴点ｊ１、ｊ２、ｊ３、ｊ４、…、ｊ８は、フレームＦｘ＋ｍの顔画像における眉毛の形状を特徴づけるものである。

図１６（ｂ）における変換行列Ｈは、フレーム画像Ｆｘにおける特徴点ｉ１、ｉ２、ｉ３、ｉ４、…、ｉ８を、フレームＦｘ＋ｍの特徴点ｊ１、ｊ２、ｊ３、ｊ４、…、ｊ８に変換する行列であり、８×８の行列成分から構成される。

処理画像となる静止画が確定した際に、この静止画から、顔の各部位の特徴点を抽出するとともに、確認モードにおいて、後続するフレーム画像のそれぞれが処理画像となるたび、新たな処理画像の特徴点を抽出する。そして、静止画の特徴点と、新たな処理画像の特徴点との間で両者の関係を規定する変換行列を求め、この変換行列により、手塗イメージを各フレーム画像にマッピングする。これにより、確認モードにおける後続するフレーム画像に対してメイクアップシミュレーションを実現する。

図１６（ｃ）は、静止画に対して手塗イメージが描画されている状況を示す。図中の軌跡ｔｒｋ１は、タッチパネルモニタ３の画像表示部分に描かれた顔を指でなぞった軌跡であり、この軌跡が手塗イメージとして特定される。真ん中の矢印ｃｖ１は、図１６（ｂ）に示した変換行列Ｈを用いた手塗イメージの変換を模式的に示す。図中の手塗イメージｔｒｋ２は、かかる変換行列Ｈを用いた変換を経て、フレーム画像Ｆｘ＋ｍに合成された手塗イメージである。以上のように変換行列Ｈを用いた変換を行うことで、静止画中の顔画像を指でなぞることで得られた手塗イメージは、フレーム画像Ｆｘ＋ｍにマッピングされることになる。

図１７は、動作モードが、確認モードから操作モードに切り替えられた場合において、確認モードのベースとなる静止画が確定されるまでの経緯を示す。第１段目は動作モードの設定の遷移を示し、第２段目はカメラ２から入力されるフレーム画像、第３段目は特徴点検出に従った顔部品検出、第４段目はフレームメモリ１２に格納される画像を示す。時点ｔ１は、動作モードが確認モードから操作モードに切り替わった時点である。

フレーム画像Ｆｔ１は、時点ｔ１でキャプチャされたフレーム画像である。時点ｔ１はユーザがタッチパネルモニタ３の操作部分を操作した瞬間であるので、係るフレーム画像Ｆｔ１において、顔が正面を向いていない。したがって、ステップＳ１６の特徴点位置確認において、視線方向がおかしいことを検出し、ステップＳ１７において処理画像として決定を行わない。

フレーム画像Ｆｔ５は、ユーザが目を閉じた瞬間をとらえたフレーム画像である。ステップＳ１６の特徴点位置確認において、ユーザの目が閉じていることが検出できるので、ステップＳ１７において処理画像として決定を行わない。

フレーム画像Ｆｔ９は、時点ｔ１以降に初めて、ユーザがカメラ正面を向いたところを捉えたフレーム画像である。ステップＳ１６の特徴点位置確認において、ユーザが正面を向いていて、目が開いていることが検出できるので、ステップＳ１７において、当該フレーム画像を処理画像とすべき静止画であると決定する。したがって、フレーム画像Ｆｔ９がフレームメモリ１２に保持され、タッチパネルモニタ３の画像表示部分がリアルタイム動画表示からフレーム画像Ｆｔ９を表示する静止画表示に切り替わり、操作モードのベースとなってユーザによる手塗操作が受け付けられる。

図１８は、操作モードにおけるメイクアップ処理に関する入力受付を示すフローチャートである。操作モードにおいて処理画像とすべき静止画が確定した後（ステップＳ１７でＹｅｓ）、ステップＳ１０１〜ステップＳ１０３のループに移行する。このループは、化粧アイテムへのタッチが発生したか（Ｓ１０１）、静止画における顔へのタッチが発生したか（Ｓ１０２）、確認モードへの切り替えが発生したか（Ｓ１０３）を判断するものである。ステップＳ１０１がＹｅｓであれば、タッチされた当該化粧アイテムを選択する（Ｓ１０４）。また、顔画像へのタッチが発生すれば、タッチされた部位を特定して（Ｓ１０５）、指塗操作が継続しているか否かを判定する（Ｓ１０６）。継続していれば、操作に追従して手塗イメージに対応した描画を継続する（Ｓ１０７）。操作が終了すると、これまでの操作で描画された手塗イメージを、メイクアップシミュレーションの設定として保持する（Ｓ１０８）。

操作モードから確認モードへの切り替えが発生すれば、後続するフレーム画像のそれぞれについて、ステップＳ２１において、ステップＳ１０８で保持した設定に従ってメイクアップシミュレーションを実行する。具体的には、後続するフレーム画像から顔の特徴点を抽出し（ステップＳ２０）、この特徴点に従い、フレーム画像におけるマッピング部位を特定し、手塗イメージをマッピングする。

＜まとめ＞
かかる構成によれば、ユーザは必要であれば化粧ツールを選択したのち、タッチパネルモニタ上の自身の顔画像に手塗操作を行うという簡易な操作だけで、所望の化粧を行った状態の自身の顔を確認することができる。そのため、実際に化粧を行うことなく、様々なメイクアップを試すことができ、ユーザにとって最適な化粧品を提案することが可能となる。

≪その他変形例≫
（１）実施の形態１〜３では、メイクアップシミュレータ１はカメラ２とタッチパネルモニタ３とを有するとしたが、本発明は必ずしもこの場合に限定されない。例えば、メイクアップシミュレータ１はカメラ２を備えず、外部のカメラ等から画像を取得するとしてもよい。また、例えば、タッチパネルモニタ３に代えて、表示機能のみを有するモニタと、モニタとは別の入力デバイスを備えてもよい。この場合、モニタは、画面表示部分のみを表示してよい。

（２）実施の形態３では、メイクアップに関する指示は手塗指示であるとしたが、本発明は必ずしもこの場合に限定されない。例えば、すでに行ったメイクアップ指示について、化粧品の色を変更する指示を受け付けてもよい。このようにすることで、色のみが異なる同一部位に用いる化粧品同士の比較を容易に行うことができる。

（３）実施の形態１〜３では、顔に対するメイクアップ処理のシミュレーションを行うとしたが、本発明は必ずしもこの場合に限定されない。例えば、上半身や全体像から肩や腕、胸、腰などの特徴点を検出し、ドレスアップシミュレーションを行ってもよい。

また、被写体は人物に限らず、例えば、自動車の外観像から天井、フロントガラス、ミラー等の特徴点を検出し、ホイールやエアロパーツ等の装着シミュレーション、または、塗装変更シミュレーションを行ってもよい。このようにすることで、真正面や側面等を含めて被写体の周囲を回りながら撮影するだけでシミュレーションが可能となる。

（４）本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

なお、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

（補足）
以下に、実施の形態に係る画像処理方法、画像処理装置、画像処理プログラムの構成及び効果について説明する。

（１）実施の形態に係る画像処理方法は、入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、前記判定処理の結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。

また、実施の形態に係る画像処理装置は、動画像入力に対して画像処理を行い、画像処理の結果を表示する画像処理装置であって、前記画像処理装置のモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかを判定する動作モード判定部と、前記動作モード判定部の判定結果に応じたモード別処理を行う画像処理部と、前記画像処理部が画像処理を行った画像を表示する表示部とを含み、前記操作モードにおいて、前記画像処理部は、動画像を構成する複数のフレーム画像の中から、画像処理の対象物が適正に表れている静止画を選んで画像処理の結果として出力し、前記対象物に対する画像処理に係る操作を受け付け、前記確認モードにおいて、前記画像処理部は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に前記操作がなされていれば、後続するフレーム画像に現れる対象物に画像処理を行い、ユーザの確認に供することを特徴とする。

また、実施の形態に係る画像処理プログラムは、動画像入力に対して画像処理を行い、画像処理の結果を表示するシステムにおいて、プロセッサに画像処理を行わせるプログラムであって、前記画像処理は、前記システムのモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定と、判定結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れている静止画を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。

このようにすることで、画像処理の対象物が適切に表れている静止画を画面操作中の処理画像として適切に選択することができる。

（２）また、実施の形態に係る上記（１）の画像処理方法は、前記システムは、動画像を構成する１のフレーム画像をフレームメモリに格納することで、画像処理の対象となる処理画像を保持し、前記フレームメモリに格納されているフレーム画像を前記モード別処理の対象とし、前記システムの動作モード設定が確認モードである場合、動画像を構成するフレーム画像の入力があれば、そのフレーム画像を用いて、前記フレームメモリに格納された処理画像を上書きすることで、処理画像の更新を行い、前記システムの動作モード設定が操作モードである場合、対象物が適正に表れているとして選ばれた静止画を前記フレームメモリに格納し、前記フレームメモリに前記静止画を格納してから前記システムのモード設定が確認モードに切り替わるまでの間、前記フレームメモリに格納されている画像を更新しない、としてもよい。

このようにすることで、処理画像のみをフレームメモリ内に保持することができ、不必要なフレーム画像を保持する必要がなくなる。

（３）また、実施の形態に係る上記（２）の画像処理方法は、前記システムの動作モード設定が操作モードである場合、前記モード別処理は、さらに、入力されたフレーム画像を対象とした特徴点位置の検出と、特徴点位置を確認する特徴点位置の確認とを含み、前記特徴点位置の確認の結果に応じて、現在入力されているフレーム画像に適正に対象物が現れているかどうかを判断する、としてもよい。

このようにすることで、対象物がフレーム画像に適正に表れているか否かを確実に見分けることができる。

（４）また、実施の形態に係る上記（３）の画像処理方法は、前記対象物は、人の顔であって、前記特徴点位置の検出において、顔の目の特徴点を検出し、前記特徴点位置の確認において、検出された前記目の特徴点の位置から目の開閉状態を確認し、前記目の開閉状態が開いている状態の場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、前記目の開閉状態が閉じている状態の場合、後続するフレーム画像を用いて前記フレームメモリを更新する、としてもよい。

このようにすることで、目が閉じている画像を処理画像とすることを防ぐことができる。

（５）また、実施の形態に係る上記（３）の画像処理方法は、前記対象物は、人の顔であって、前記特徴点位置の検出において、顔の向きを検出し、前記特徴点位置の確認において、検出された前記顔の向きから顔が正面向きか否かを確認し、前記顔の向きが正面向きである場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、前記顔の向きが正面向きでない場合、後続するフレーム画像を用いて前記フレームメモリを更新する、としてもよい。

このようにすることで、正面を向いていない画像を処理画像とすることを防ぐことができる。

（６）また、実施の形態に係る上記（１）の画像処理方法は、前記操作モードに対応する前記モード別処理は、前記処理画像から顔の特徴点位置を検出する特徴点位置の検出を含み、前記確認モードに対応する前記モード別処理は、前記処理画像に現れた対象物のうち、検出された前記特徴点位置に存在する部位に対してメイクアップを施すメイクアップ処理と、前記メイクアップ処理が施された画像の表示とを含む、としてもよい。

このようにすることで、処理画像の特徴点を用いてメイクアップ処理を行うことができる。

（７）また、実施の形態に係る上記（６）の画像処理方法は、前記メイクアップ処理は、見本色の選択をユーザから受け付けて、前記処理画像に現された対象物のうち、前記特徴点位置に存在する部位を構成する複数の画素の値を、選択された前記見本色のカラーレンジにマッピングすることである、としてもよい。

このようにすることで、口紅やアイシャドーなどの塗布エリアが特徴点から明白なメイクアップ処理を単純な指示で行うことができる。

（８）また、実施の形態に係る上記（６）の画像処理方法は、前記メイクアップ処理は、見本色の選択と、静止画に現された対象物に対する指塗操作とをユーザから受け付け、指塗操作に係る形状をなす描画パターンであって、選択された前記見本色の画素で構成されるものを、処理対象に現された対象物のうち、前記特徴点位置に存在する部位にマッピングすることである、としてもよい。

このようにすることで、頬紅などの塗布エリアが複雑なメイクアップ処理を行うことができる。

（９）また、実施の形態に係る上記（６）の画像処理方法は、前記特徴点は、対象物における部位の輪郭形状を規定するものであって、前記メイクアップ処理は、前記処理画像として設定されたフレーム画像と、後続するフレーム画像とで対応点検索を行うことで、特徴点の対応付けを行い、前記処理画像に現されるいずれかの部位に対して手塗操作が行われれば、後続するフレーム画像における部位であって、前記特徴点検索により前記手塗操作に係る部位との対応付けがなされたものに、前記手塗操作に係る手塗イメージをマッピングすることである、としてもよい。

このようにすることで、メイクアップ処理と顔のパーツとの対応を確実に取ることができる。

（１０）また、実施の形態に係る上記（６）の画像処理方法は、前記操作モードに対応する前記モード別処理は、前記特徴点位置の保持をさらに含み、前記メイクアップ処理の対象となる部位は、保持されている前記特徴点位置に存在する、としてもよい。

このようにすることで、操作モードにおいて、対象物が適正に表れているか否かの指標として用いた特徴点をそのままメイクアップ処理に用いることができ、演算量の削減に奏功する。

（１１）また、実施の形態に係る上記（３）の画像処理方法は、前記操作モードに対応する前記モード別処理は、あらかじめ指定された期間における特徴点位置の保持と、保持された指定期間の特徴点位置について、特徴点位置に存在する画素ごとにフィルタ処理を行う特徴点位置フィルタ演算とを含み、前記確認モードに対応する前記モード別処理は、前記処理画像を入力として、特徴点位置を検出する特徴点位置検出を含み、前記動作モードが操作モードである場合、前記特徴点位置検出で検出された特徴点位置に代えて、前記特徴点位置フィルタ演算の結果である特徴点位置を用いて特徴点位置の確認を行う、としてもよい。

このようにすることで、対象物が適正に表れているか否かの指標として用いる特徴点について、一時的に検出精度が低下しても適正に特徴点を検出できる。

（１２）また、実施の形態に係る上記（１１）の画像処理方法は、前記特徴点フィルタ演算で行われるフィルタ処理は平均である、としてもよい。

このようにすることで、単純な演算により特徴点のフィルタ処理が可能となる。

（１３）また、実施の形態に係る上記（１１）の画像処理方法は、前記特徴点位置フィルタ演算において、前記フィルタ処理を行った後、前記保持されている特徴点位置と前記フィルタ処理後の特徴点位置とを比較し、差異が閾値より大きい特徴点位置を前記保持されている特徴点位置から除外してから、前記フィルタ処理を再度実行する、としてもよい。

このようにすることで、検出精度の悪い特徴点を除外し、精度の高いフィルタ処理が可能となる。

（１４）また、実施の形態に係る上記（１１）の画像処理方法は、処理画像に現れた対象物のうち、特徴点位置で指定された部位に対するメイクアップ処理と、メイクアップ処理が施された画像の表示と、前記システムのモードの設定とを含み、前記メイクアップ処理は、見本色の選択をユーザから受け付けて、特徴点位置で指定された部位を構成する複数画素の値を、選択された見本色のカラーレンジにマッピングすることでなされる、としてもよい。

このようにすることで、フィルタ処理後の特徴点を用いた位置ずれを起こしにくいメイクアップ処理が可能となる。

（１５）また、実施の形態に係る上記（１）の画像処理方法は、前記システムのモードの設定はユーザによりなされる、としてもよい。

このようにすることで、ユーザの必要に合わせて動作モードを変更できる。

（１６）また、実施の形態に係る上記（１５）の画像処理方法は、前記システムのモードの設定は、前記システムが備えるタッチパネルの特定領域へユーザがタッチ操作することでなされる、としてもよい。

このようにすることで、簡易な構成でユーザの動作モード変更指示を受け付けることができる。

（１７）また、実施の形態に係る上記（１６）の画像処理方法は、前記システムのモードの設定がなされた際に、前記モード設定の変更をユーザに通知する、としてもよい。

このようにすることで、ユーザはシステムの動作モードが変更されたことを確実に知ることができる。

（１８）また、実施の形態に係る上記（１７）の画像処理方法は、前記通知は、動作モードの表示によりなされる、としてもよい。

このようにすることで、ユーザは視覚的にシステムの動作モードを確認することができる。

（１９）また、実施の形態に係る上記（１７）の画像処理方法は、前記通知は、音声出力によりなされる、としてもよい。

このようにすることで、ユーザは画面を注視していなくてもシステムの動作モードを確認することができる。

本発明にかかる画像処理方法は、画面操作中のメイクアップシミュレーション用の処理画像に関して適切な選択方法を有し、メイクアップシミュレータ端末等として有用である。またメイクアップシミュレーション機能を有したデジタルサイネージ等の用途にも応用できる。

また、メイクアップシミュレーションに限らず、ドレスアップシミュレーション等、人物や物体の外観に係るシミュレータとして有用である。

１ メイクアップシミュレータ
２ カメラ
１１ 特徴点検出部
１２ フレームメモリ
１３ 制御部
１４ 画像処理部
３ タッチパネルモニタ

Claims (21)

1. 入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、
   前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、
   前記判定処理の結果に応じたモード別処理とを含み、
   前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、
   前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われ、
   前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像のうち、１つのフレーム画像について前記システムへの入力があった際、前記１つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行うフレーム判定処理を含み、
   前記画像処理の対象物が適正に表れていると判定されると、前記１つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像を、前記フレーム判定処理の対象から除外し、
   前記システムの動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理は、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像に対して行われる
   ことを特徴とする画像処理方法。
2. 前記システムは、動画像を構成する１のフレーム画像をフレームメモリに格納することで、画像処理の対象となる処理画像を保持し、
   前記フレームメモリに格納されているフレーム画像を前記モード別処理の対象とし、
   前記システムの動作モード設定が確認モードである場合、動画像を構成するフレーム画像の入力があれば、そのフレーム画像を用いて、前記フレームメモリに格納された処理画像を上書きすることで、処理画像の更新を行い、
   前記システムの動作モード設定が操作モードである場合、対象物が適正に表れているとして選ばれた静止画を前記フレームメモリに格納し、前記フレームメモリに前記静止画を格納してから前記システムのモード設定が確認モードに切り替わるまでの間、前記フレームメモリに格納されている画像を更新しない
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記フレーム判定処理は、さらに、入力されたフレーム画像を対象とした特徴点位置の検出と、特徴点位置を確認する特徴点位置の確認とを含み、
   前記特徴点位置の確認の結果に応じて、現在入力されているフレーム画像に適正に対象物が現れているかどうかを判断する
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記対象物は、人の顔であって、
   前記特徴点位置の検出において、顔の目の特徴点を検出し、
   前記特徴点位置の確認において、検出された前記目の特徴点の位置から目の開閉状態を確認し、
   前記目の開閉状態が開いている状態の場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、
   前記目の開閉状態が閉じている状態の場合、後続するフレーム画像を用いて前記フレームメモリを更新する
   ことを特徴とする請求項３に記載の画像処理方法。
5. 前記対象物は、人の顔であって、
   前記特徴点位置の検出において、顔の向きを検出し、
   前記特徴点位置の確認において、検出された前記顔の向きから顔が正面向きか否かを確認し、
   前記顔の向きが正面向きである場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、
   前記顔の向きが正面向きでない場合、後続するフレーム画像を用いて前記フレームメモリを更新する
   ことを特徴とする請求項３に記載の画像処理方法。
6. 前記操作モードに対応する前記モード別処理は、前記処理画像から顔の特徴点位置を検出する特徴点位置の検出を含み、
   前記確認モードに対応する前記モード別処理は、前記処理画像に現れた対象物のうち、検出された前記特徴点位置に存在する部位に対してメイクアップを施すメイクアップ処理と、前記メイクアップ処理が施された画像の表示とを含む
   ことを特徴とする請求項１に記載の画像処理方法。
7. 前記メイクアップ処理は、見本色の選択をユーザから受け付けて、前記処理画像に現された対象物のうち、前記特徴点位置に存在する部位を構成する複数の画素の値を、選択された前記見本色のカラーレンジにマッピングすることである
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記メイクアップ処理は、見本色の選択と、静止画に現された対象物に対する指塗操作とをユーザから受け付け、指塗操作に係る形状をなす描画パターンであって、選択された前記見本色の画素で構成されるものを、処理対象に現された対象物のうち、前記特徴点位置に存在する部位にマッピングすることである
   ことを特徴とする請求項６に記載の画像処理方法。
9. 前記特徴点は、対象物における部位の輪郭形状を規定するものであって、
   前記メイクアップ処理は、前記処理画像として設定されたフレーム画像と、後続するフレーム画像とで対応点検索を行うことで、特徴点の対応付けを行い、前記処理画像に現されるいずれかの部位に対して手塗操作が行われれば、後続するフレーム画像における部位であって、前記特徴点検索により前記手塗操作に係る部位との対応付けがなされたものに、前記手塗操作に係る手塗イメージをマッピングすることである
   ことを特徴とする請求項６に記載の画像処理方法。
10. 前記操作モードに対応する前記モード別処理は、前記特徴点位置の保持をさらに含み、
    前記メイクアップ処理の対象となる部位は、保持されている前記特徴点位置に存在する
    ことを特徴とする請求項６に記載の画像処理方法。
11. 前記操作モードに対応する前記モード別処理は、あらかじめ指定された期間における特徴点位置の保持と、保持された指定期間の特徴点位置について、特徴点位置に存在する画素ごとにフィルタ処理を行う特徴点位置フィルタ演算とを含み、
    前記確認モードに対応する前記モード別処理は、前記処理画像を入力として、特徴点位置を検出する特徴点位置検出を含み、
    前記動作モードが操作モードである場合、前記特徴点位置検出で検出された特徴点位置に代えて、前記特徴点位置フィルタ演算の結果である特徴点位置を用いて特徴点位置の確認を行う
    ことを特徴とする請求項３に記載の画像処理方法。
12. 前記特徴点フィルタ演算で行われるフィルタ処理は平均である
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 前記特徴点位置フィルタ演算において、前記フィルタ処理を行った後、前記保持されている特徴点位置と前記フィルタ処理後の特徴点位置とを比較し、差異が閾値より大きい特徴点位置を前記保持されている特徴点位置から除外してから、前記フィルタ処理を再度実行する
    ことを特徴とする請求項１１に記載の画像処理方法。
14. 処理画像に現れた対象物のうち、特徴点位置で指定された部位に対するメイクアップ処理と、
    メイクアップ処理が施された画像の表示と、
    前記システムのモードの設定とを含み、
    前記メイクアップ処理は、見本色の選択をユーザから受け付けて、特徴点位置で指定された部位を構成する複数画素の値を、選択された見本色のカラーレンジにマッピングすることでなされる
    ことを特徴とする請求項１１に記載の画像処理方法。
15. 前記システムのモードの設定はユーザによりなされる
    ことを特徴とする請求項１に記載の画像処理方法。
16. 前記システムのモードの設定は、前記システムが備えるタッチパネルの特定領域へユーザがタッチ操作することでなされる
    ことを特徴とする請求項１５に記載の画像処理方法。
17. 前記システムのモードの設定がなされた際に、前記モード設定の変更をユーザに通知する
    ことを特徴とする請求項１６に記載の画像処理方法。
18. 前記通知は、動作モードの表示によりなされる
    ことを特徴とする請求項１７に記載の画像処理方法。
19. 前記通知は、音声出力によりなされる
    ことを特徴とする請求項１７に記載の画像処理方法。
20. 動画像入力に対して画像処理を行い、画像処理の結果を表示する画像処理装置であって、
    前記画像処理装置のモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかを判定する動作モード判定部と、
    前記動作モード判定部の判定結果に応じたモード別処理を行う画像処理部と、
    前記画像処理部が画像処理を行った画像を表示する表示部とを含み、
    前記操作モードにおいて、前記画像処理部は、動画像を構成する複数のフレーム画像の中から、画像処理の対象物が適正に表れている静止画を選んで画像処理の結果として出力し、前記対象物に対する画像処理に係る操作を受け付け、
    前記確認モードにおいて、前記画像処理部は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に前記操作がなされていれば、後続するフレーム画像に現れる対象物に画像処理を行い、ユーザの確認に供し、
    前記操作モードにおいて、前記画像処理部は、前記動画像を構成する複数のフレーム画像のうち、１つのフレーム画像について前記画像処理装置への入力があった際、前記１つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行い、
    前記画像処理部は、前記画像処理の対象物が適正に表れていると判定すると、前記１つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像を、前記判定の対象から除外し、
    前記画像処理装置の動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理部は、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像に対して前記画像処理を行う
    ことを特徴とする画像処理装置。
21. 動画像入力に対して画像処理を行い、画像処理の結果を表示するシステムにおいて、プロセッサに画像処理を行わせるプログラムであって、前記画像処理は、
    前記システムのモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定と、
    判定結果に応じたモード別処理とを含み、
    前記操作モードにおける前記モード別処理は、動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れている静止画を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、
    前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われ、
    前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像のうち、１つのフレーム画像について前記システムへの入力があった際、前記１つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行うフレーム判定処理を含み、
    前記画像処理の対象物が適正に表れていると判定されると、前記１つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像を、前記フレーム判定処理の対象から除外し、
    前記システムの動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理は、前記動画像を構成する複数のフレーム画像のうち、前記１つのフレーム画像に後続するフレーム画像に対して行われる
    ことを特徴とするプログラム。

Images