JP6326808B2 - 顔画像処理装置、投影システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、顔画像処理装置、投影システム、画像処理方法及びプログラムに関する。

従来、撮像した画像中の被写体の顔領域と表情を表現するための制御点とに基づいて、顔画像を変形させる技術が知られている（例えば、特許文献１参照）。また、顔画像内の口領域の輝度分布から口の開き具合を検出する手法（例えば、特許文献２参照）や、顔画像内の口領域や歯領域の面積から口の開き具合を検出する手法（例えば、特許文献３参照）が知られている。

特開２０１２−１８５６２４号公報 特開２００９−２３１８７９号公報 特開２００５−２３４６８６号公報

ところで、口の開き具合を検出する手法を示している上記特許文献２記載の技術は、化粧や肌の色によって輝度分布が変化するため口の開き具合の検出を適正に行うことができない虞がある。また、上記特許文献３記載の技術は、表情を識別するためのものであるため、顔画像の変形に適した画像であるか否かを判定することが困難となっている。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、口の開閉状態の特定を適正に行うことができる顔画像処理装置、投影システム、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る顔画像処理装置は、
顔画像を取得する取得手段と、前記取得手段により取得された顔画像から口を検出する第一の検出手段と、前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段と、前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段と、を備えたことを特徴としている。

また、本発明に係る投影システムは、
本発明の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、前記顔画像処理装置は、前記特定手段により閉じた状態であると特定された口の画像に対して変形処理を施す変形手段を更に備え、前記投影装置は、前記変形手段により変形処理が施された口の画像を前記スクリーンに投影することを特徴としている。

また、本発明に係る画像処理方法は、
顔画像処理装置を用いた画像処理方法であって、顔画像を取得する処理と、取得された顔画像から口を検出する処理と、検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する処理と、前記色情報どうしの相違度の検出結果に基づいて、口の開閉状態を特定する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
顔画像処理装置のコンピュータを、顔画像を取得する取得手段、前記取得手段により取得された顔画像から口を検出する第一の検出手段、前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段、前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段、として機能させることを特徴としている。

本発明によれば、口の開閉状態の特定を適正に行うことができる。

本発明を適用した一実施形態の投影システムの全体構成を模式的に示す図である。 図１の投影システムによる投影状態を模式的に示す図である。 図１の投影システムを構成する画像処理装置の機能的構成を示すブロック図である。 図１の投影システムによる投影処理に係る動作の一例を示すフローチャートである。 図４の投影処理における顔画像特定処理に係る動作の一例を示すフローチャートである。 図５の顔画像特定処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の投影システム１００の全体構成を模式的に示す図である。また、図２（ａ）は、映像コンテンツの非投影状態を模式的に示す投影システム１００の正面図であり、図２（ｂ）は、映像コンテンツの投影状態を模式的に示す投影システム１００の正面図である。

図１に示すように、本実施形態の投影システム１００は、画像処理装置１と、撮像装置２と、投影装置３と、スピーカ４と、スクリーン５等を備えて構成されている。また、投影システム１００は、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーン５に投影するものであり、図１には、映像コンテンツの聴衆Ｏと当該投影システム１００の各構成要素との位置関係を模式的に表している。
なお、聴衆Ｏは、一人の場合もあるし、複数人の場合もある。

図３は、画像処理装置１の機能的構成を示すブロック図である。
図３に示すように、画像処理装置１は、中央制御部１０１と、操作入力部１０２と、表示部１０３と、記録部１０４と、画像処理部１０５と、撮像制御部１０６と、第１〜第３Ｉ／Ｆ１０７、１０８、１０９等を備えて構成されている。また、中央制御部１０１、表示部１０３、記録部１０４、画像処理部１０５、撮像制御部１０６並びに第１〜第３Ｉ／Ｆ１０７、１０８、１０９は、バスライン１１０を介して接続されている。
なお、画像処理装置１としては、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ、端末装置等が適用可能である。また、画像処理装置１は、スクリーン５に投影される映像コンテンツの投影像が聴衆Ｏ側を向くように、映像コンテンツの各フレームの投影画像（フレーム画像）を補正する構成としても良い。

中央制御部１０１は、図示は省略するが、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。中央制御部１０１のＣＰＵは、記録部１０４の所定の記録領域に記録されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って各種処理を実行する。中央制御部１０１のＲＡＭは、揮発性のメモリであり、ＣＰＵにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。

操作入力部１０２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１０１に出力する。

表示部１０３は、例えば、ＬＣＤ（Liquid Crystal Display）等により構成され、中央制御部１０１からの表示制御信号に従って、各種情報を表示領域に表示する。

記録部１０４は、例えば、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。また、記録部１０４は、中央制御部１０１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等を記録している。プログラムは、例えば、コンピュータ読み取り可能なプログラムコードの形態で所定の記録領域に格納されている。

また、記録部１０４は、投影用の映像コンテンツの映像データ１０４ａを記録している。
映像データ１０４ａは、例えば、三次元モデルの動画データを構成する各フレームの投影画像（例えば、投影対象物が正面方向を向いている画像等）のデータ及び各投影画像に対応する音声データにより構成されている。三次元モデルとは、三次元ポリゴン、三次元曲面、テクスチャ画像等によって構成された立体物の画像である。
また、映像データ１０４ａは、映像コンテンツに含まれる投影対象物（特に、人の顔）の動きを表現するための動き情報（例えば、各顔構成部の動き情報等）を含んでいる。動き情報は、所定空間内における複数の制御点の動きを示す情報であり、例えば、複数の制御点の所定空間での位置座標（x, y）を示す情報や変形ベクトル等が時間軸に沿って並べられている。

画像処理部１０５は、画像取得部１０５ａと、顔検出部１０５ｂと、口検出部１０５ｃと、第１相違度検出部１０５ｄと、第２相違度検出部１０５ｅと、開閉状態特定部１０５ｆと、画像変形部１０５ｇとを具備している。
なお、画像処理部１０５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部（取得手段）１０５ａは、顔を含む画像を取得する。
すなわち、画像取得部１０５ａは、例えば、撮像装置２により撮像された聴衆Ｏの顔を含む画像（例えば、顔のみの画像や胸から上の画像等）の画像データの複製を取得する。具体的には、画像取得部１０５ａは、撮像装置２により撮像された撮像画像の画像データの複製を処理対象画像として取得する。
また、画像取得部１０５ａは、撮像装置２により聴衆Ｏの顔の再度の撮像が行われると、撮像装置２により撮像された聴衆Ｏの顔を含む画像の画像データの複製を新たに取得する。

なお、画像取得部１０５ａは、撮像装置２による聴衆Ｏを撮像後に記録部１０４に記録されている画像を読み出して取得しても良い。また、後述する画像処理部１０５による各処理は、処理対象画像の画像データ自体に対して行われても良いし、必要に応じて画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

顔検出部１０５ｂは、処理対象画像から顔領域Ａ１を検出する。
すなわち、顔検出部１０５ｂは、画像取得部１０５ａにより取得された処理対象画像の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図６（ａ）参照）を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

口検出部（第一の検出手段）１０５ｃは、画像取得部１０５ａにより処理対象画像として取得された顔を含む画像から口Ｐを検出する（図６（ａ）参照）。
すなわち、口検出部１０５ｃは、顔検出処理により検出された処理対象画像内の顔領域Ａ１から、所定の検出処理（例えば、ＡＡＭ（Active Appearance Model）等）を用いて、例えば、左右各々の目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を用意しておき、口検出部１０５ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔領域Ａ１内で、例えば、左右各々の目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。
なお、検出処理としては、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等の各種の処理を用いても良い。また、口検出部１０５ｃは、口Ｐを含む主要な顔構成部を検出するようにしたが、一例であってこれに限られるものではなく、少なくとも口Ｐを検出する構成であれば適宜任意に変更可能である。

第１相違度検出部（第二の検出手段）１０５ｄは、口検出部１０５ｃにより検出された口Ｐの中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する。
すなわち、第１相違度検出部１０５ｄは、例えば、口Ｐと重なるように所定方向（例えば、図６（ｂ）における上下方向等）に並んだ所定形状（例えば、略矩形状等）の中央領域Ｂ１と当該中央領域Ｂ１を所定方向に挟む上唇領域Ｂ２及び下唇領域Ｂ３を設定する。そして、第１相違度検出部１０５ｄは、中央領域Ｂ１並びに上唇領域Ｂ２及び下唇領域Ｂ３内の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、各領域の所定の色空間におけるカラーマップを生成する。そして、第１相違度検出部１０５ｄは、中央領域Ｂ１のカラーマップと上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップとに基づいて所定の演算を行って中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップの分布領域の相違度を第１相違度として検出する。
なお、中央領域Ｂ１、上唇領域Ｂ２及び下唇領域Ｂ３において、口Ｐを示す領域外は無視しても良い。
また、カラーマップどうしの相違度の検出手法としては、例えば、各領域のカラーマップにおける誤差を含めた使用頻度が高い値、つまり代表となる値を任意の数抽出し、各領域における値同士で総当たりで求めた差の合計とし、それをもって相違度とする手法等が挙げられる。

なお、口Ｐの周辺側の領域として、中央領域Ｂ１を所定方向に挟む上唇領域Ｂ２及び下唇領域Ｂ３を例示したが、一例であってこれに限られるものではなく、例えば、口Ｐの中央領域Ｂ１を囲繞する環状領域等に適宜任意に変更可能である。

第２相違度検出部（第三の検出手段）１０５ｅは、口検出部１０５ｃにより検出された口Ｐの中央側の領域及び当該領域と所定方向に隣合う領域のエッジ検出の評価値どうしの相違度を検出する。
すなわち、第２相違度検出部１０５ｅは、例えば、第１相違度検出部１０５ｄにより設定された中央領域Ｂ１並びに上唇領域Ｂ２及び下唇領域Ｂ３内の画像データに対して、所定のエッジ検出処理（例えば、ハフ変換やソーベルフィルタを用いた所定のマトリックス演算等）を行なって各領域のエッジをそれぞれ検出する。そして、第２相違度検出部１０５ｅは、中央領域Ｂ１のエッジの検出結果に基づいて所定の演算を行って上下方向のエッジに係る中央評価値を算出するとともに、上唇領域Ｂ２及び下唇領域Ｂ３のエッジの検出結果に基づいて所定の演算を行って上下方向のエッジに係る唇評価値を算出して、中央評価値と唇評価値との相違度を第２相違度として検出する。
上記したエッジ検出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、ソーベルフィルタの代わりに、例えば、微分フィルタ、プリューウィットフィルタ、ラプラシアンフィルタ等を用いても良いし、これらのうちの何れか二つ以上を用いても良い。

なお、口Ｐの中央領域Ｂ１と所定方向に隣合う領域として、中央領域Ｂ１を上下方向に挟む上唇領域Ｂ２及び下唇領域Ｂ３を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、上唇領域Ｂ２及び下唇領域Ｂ３のうち、何れか一方の領域（例えば、上唇領域Ｂ２等）のみを用いても良い。

開閉状態特定部（特定手段）１０５ｆは、口検出部１０５ｃにより検出された口Ｐの開閉状態を特定する。
すなわち、開閉状態特定部１０５ｆは、第１相違度検出部１０５ｄによる口Ｐの中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップどうしの相違度（第１相違度）の検出結果に基づいて、口Ｐの開閉状態を特定する。具体的には、開閉状態特定部１０５ｆは、第１相違度検出部１０５ｄにより検出された第１相違度が所定値よりも大きいか否かを判定し、当該判定の結果、第１相違度が所定値よりも大きいと判定された場合に口Ｐが開いた状態であると特定する。
口Ｐが開いていると、上唇と下唇の間から歯が覗いた状態となって、中央領域Ｂ１のカラーマップと上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップとの相違度（第１相違度）が大きくなると考えられるためである。

また、開閉状態特定部１０５ｆは、第２相違度検出部１０５ｅによる口Ｐの中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のエッジ検出の評価値どうしの相違度（第２相違度）の検出結果に基づいて、口Ｐの開閉状態を特定する。具体的には、開閉状態特定部１０５ｆは、第２相違度検出部１０５ｅにより検出された第２相違度が所定値よりも大きいか否かを判定し、当該判定の結果、第２相違度が所定値よりも大きいと判定された場合に口Ｐが開いた状態であると特定する。
口Ｐが開いていると、上唇と下唇の間から歯が覗いた状態となって、主として歯に対応する中央領域Ｂ１の上下方向のエッジに係る中央評価値と、上唇領域Ｂ２及び下唇領域Ｂ３の上下方向のエッジに係る唇評価値との相違度（第２相違度）が大きくなると考えられるためである。
ここで、開閉状態特定部１０５ｆは、中央評価値と唇評価値との相違度が所定値よりも大きいか否かの判定に代えて、中央評価値が唇評価値よりも大きいか否かを判定し、中央評価値が唇評価値よりも大きいと判定された場合に口Ｐが開いた状態であると特定しても良い。

画像変形部（変形手段）１０５ｇは、開閉状態特定部１０５ｆにより閉じた状態であると特定された口Ｐの画像に対して変形処理を施す。
すなわち、画像変形部１０５ｇは、口検出部１０５ｃにより検出された口Ｐの所定位置に複数の制御点を設定し、設定された制御点の位置を変位させることで、当該口Ｐを変形させる変形処理を行う。
なお、変形処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像変形部１０５ｇは、投影装置３から投影される映像コンテンツに含まれる投影対象物の顔領域の口に対応する位置に、口検出部１０５ｃにより検出された口Ｐの画像を合成する。例えば、画像変形部１０５ｇは、投影対象物の顔領域の口の所定位置（例えば、重心等）に口検出部１０５ｃにより検出された口Ｐの対応する位置（例えば、重心等）を一致させるようにして口Ｐの画像を差し替えて合成する。そして、画像変形部１０５ｇは、映像コンテンツと対応付けられている口Ｐの動き情報（例えば、変形ベクトル等）に基づいて、口Ｐを変形させる変形処理を行う。
また、画像処理部１０５は、画像変形部１０５ｇによる変形処理が施された口Ｐを含む画像の画像データを映像データ１０４ａとともに投影装置３に出力する。
なお、口Ｐの合成の手法として、補間対象領域とそれ以外の領域との境界部分や複数の置換画像どうしの境界部分の色や勾配をより自然に変化させた画像を生成するポアソン画像合成（Poisson Image Editing）を用いても良いが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

撮像制御部１０６は、撮像装置２による聴衆Ｏの撮像を制御する。具体的には、撮像制御部１０６は、新たな顔画像の取得を要請する再撮像要請部（要請手段）１０６ａを具備している。
再撮像要請部１０６ａは、開閉状態特定部１０５ｇにより口Ｐが開いた状態であると特定されると、撮像装置２により聴衆Ｏの顔の撮像を再度行わせるための制御信号を第１Ｉ／Ｆ１０７を介して撮像装置２に出力する。このとき、再撮像要請部１０６ａは、スピーカ４から所定の内容の音声案内（例えば、聴衆Ｏの口Ｐが開いている旨や、聴衆Ｏの顔の再撮像を促す旨等）を出力させるための制御信号を第３Ｉ／Ｆ１０９を介してスピーカ４に出力する。

第１Ｉ／Ｆ１０７は、撮像装置２と接続され、当該撮像装置２との間でデータ送受信を行うためのインターフェースである。

撮像装置２は、スクリーン５を見ている聴衆Ｏを撮像するための撮像手段である。撮像装置２は、スクリーン５の直上に、その光軸方向がスクリーン５の面に垂直な方向となるように配置され、画像処理装置１からの指示に従って、スクリーン５の前面方向を撮像し、得られた撮像画像を第１Ｉ／Ｆ１０７を介して画像処理装置１に送信する。

第１Ｉ／Ｆ１０８は、投影装置３と接続され、当該投影装置３との間でデータ送受信を行うためのインターフェースである。

投影装置３は、例えば、画像処理装置１から送信された投影画像に基づいてスクリーン５の背面から映像コンテンツを投影する背面投射型の投影装置３である。投影装置３は、例えば、投影画像に基づいて、アレイ状に配列された複数個（例えば、ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影画像における投影対象物の領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、投影対象物のみをスクリーン５に投影することが可能となる。

また、投影装置３は、画像処理部１０５から出力された画像変形部１０５ｇによる変形処理が施された口Ｐを含む画像の画像データ及び映像コンテンツの映像データ１０４ａが第１Ｉ／Ｆ１０８を介して入力されると、映像コンテンツに含まれる投影対象物の顔領域内に合成された口Ｐが当該コンテンツの内容に応じて変形（例えば、リップシンク）するような映像コンテンツを投影する。

スクリーン５は、支持台５１により床面に垂直になるように支持され、投影装置３の出力光照射方向に配置されている。
また、スクリーン５は、図１に示すように、投影対象物の形状に成型された透明アクリル板等の基材５２の前面上側に背面投影用のスクリーンフィルム５３が貼付され、下側に投影対象物の下半身が印刷されたフィルム５４が貼付されて構成されている。
なお、本実施形態においては、投影システム１００は投影対象物の上半身の映像コンテンツをスクリーン５に投影する構成としているが、一例であってこれに限られるものではなく、例えば、スクリーン５の基材５２の全面に背面投影用のスクリーンフィルム５３を貼付した構成とし、投影対象物の全身の映像コンテンツをスクリーン５に投影することとしても良い。

第３Ｉ／Ｆ１０９は、スピーカ４と接続され、当該スピーカ４との間でデータ送受信を行うためのインターフェースである。

スピーカ４は、中央制御部１０１から出力されて第３Ｉ／Ｆ１０９を介して入力された指示に応じて、所定の音声データ（例えば、映像データ１０４ａに含まれる音声データ等）を音声信号に変換して出力する。

＜投影処理＞
次に、投影システム１００による投影処理について、図４〜図６を参照して説明する。
図４は、投影処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、撮像装置２は、聴衆Ｏを撮像して顔を含むライブビュー画像（例えば、顔のみの画像や胸から上の画像等）を生成し、画像処理装置１の画像取得部１０５ａは、生成されたライブビュー画像の画像データの複製を取得する（ステップＳ１）。
次に、顔検出部１０５ｂは、画像取得部１０５ａにより取得されたライブビュー画像の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１を検出する（ステップＳ２）。続けて、画像処理部１０５は、顔検出部１０５ｂにより顔領域Ａ１が検出されたか否かを判定する（ステップＳ３）。

ステップＳ３にて、顔領域Ａ１が検出されていないと判定されると（ステップＳ３；ＮＯ）、画像処理部１０５は、処理をステップＳ２に戻し、所定の時間間隔毎に顔検出処理を行う。
一方、ステップＳ３にて、顔領域Ａ１が検出されたと判定されると（ステップＳ３；ＹＥＳ）、画像処理部１０５は、投影される映像コンテンツに合成される顔画像を特定する顔画像特定処理（図５参照）を行う（ステップＳ４）。
以下に、顔画像特定処理について、図５を参照して詳細に説明する。

＜顔画像特定処理＞
図５は、顔画像特定処理に係る動作の一例を示すフローチャートである。
なお、図６（ａ）及び図６（ｂ）は、顔画像特定処理に係る画像の一例を模式的に示す図であり、これらに限られるものではなく、適宜任意に変更可能である。

図５に示すように、先ず、撮像装置２は、スピーカ４から発せられる音声案内にしたがって所定のタイミングで聴衆Ｏを撮像して顔を含む画像を生成し、画像処理装置１の画像取得部１０５ａは、生成された撮像画像の画像データの複製を処理対象画像として取得する（ステップＳ１１）。
次に、顔検出部１０５ｂは、画像取得部１０５ａにより取得された処理対象画像の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図６（ａ）参照）を検出する（ステップＳ１２）。

続けて、口検出部１０５ｃは、顔検出処理により検出された処理対象画像内の顔領域Ａ１から、所定の検出処理（例えば、ＡＡＭ等）を用いて、口Ｐを検出する（ステップＳ１３）。このとき、口Ｐの検出と併せて、例えば、左右各々の目、鼻、眉、顔輪郭等の主要な顔構成部を検出しても良い。

次に、第１相違度検出部１０５ｄは、口Ｐと重なるように中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３を設定し（図６（ｂ）参照）、中央領域Ｂ１並びに上唇領域Ｂ２及び下唇領域Ｂ３内の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、各領域の所定の色空間におけるカラーマップを生成する（ステップＳ１４）。そして、第１相違度検出部１０５ｄは、所定の演算を行って中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップの分布領域の相違度を第１相違度として検出する（ステップＳ１５）。

続けて、開閉状態特定部１０５ｆは、第１相違度検出部１０５ｄにより検出された口Ｐの中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のカラーマップどうしの相違度（第１相違度）が所定値よりも大きいか否かを判定する（ステップＳ１６）。
ここで、第１相違度が所定値よりも大きいと判定された場合（ステップＳ１６；ＹＥＳ）、聴衆Ｏの口Ｐが開いた状態であると考えられるため、再撮像要請部１０６ａは、スピーカ４から聴衆Ｏの顔の再撮像を促す旨の音声案内を出力させるための制御信号を第１Ｉ／Ｆ１０７を介してスピーカ４に出力する。スピーカ４は、入力された制御信号に応じて、聴衆Ｏの顔の再撮像を促す旨の音声案内を発する（ステップＳ１７）。
その後、ステップＳ１１にて、撮像装置２は、スピーカ４から発せられる音声案内にしたがって所定のタイミングで聴衆Ｏを再度撮像して顔を含む画像を生成し、画像取得部１０５ａは、生成された撮像画像の画像データの複製を処理対象画像として取得する（ステップＳ１１）。

なお、撮像装置２が聴衆Ｏの顔の再度の撮像を行う代わりに、予め聴衆Ｏを連続して撮像して顔を含む画像を複数生成しておき、画像取得部１０５ａは、生成済みの複数の画像から処理対象画像を新たに取得しても良い。

ステップＳ１２以降の各処理は、ステップＳ１６にて、第１相違度が所定値よりも大きくないと判定（ステップＳ１６；ＮＯ）されるまで繰り返し実行される。
ステップＳ１６にて、第１相違度が所定値よりも大きくないと判定された場合（ステップＳ；ＹＥＳ）、第２相違度検出部１０５ｅは、中央領域Ｂ１並びに上唇領域Ｂ２及び下唇領域Ｂ３内の画像データに対して所定のエッジ検出処理を行なった後、中央領域Ｂ１のエッジの検出結果に基づいて所定の演算を行って上下方向のエッジに係る中央評価値を算出するとともに、上唇領域Ｂ２及び下唇領域Ｂ３のエッジの検出結果に基づいて所定の演算を行って上下方向のエッジに係る唇評価値を算出する（ステップＳ１８）。そして、第２相違度検出部１０５ｅは、中央領域Ｂ１のエッジに係る中央評価値と上唇領域Ｂ２及び下唇領域Ｂ３のエッジに係る唇評価値との相違度を第２相違度として検出する（ステップＳ１９）。

続けて、開閉状態特定部１０５ｆは、第２相違度検出部１０５ｅにより検出された中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のエッジ検出の評価値どうしの相違度（第２相違度）が所定値よりも大きいか否かを判定する（ステップＳ２０）。
ここで、第２相違度が所定値よりも大きいと判定された場合（ステップＳ２０；ＹＥＳ）、聴衆Ｏの口Ｐが開いた状態であると考えられるため、処理をステップＳ１７に移行し、再撮像要請部１０６ａは、上記と略同様に、スピーカ４から聴衆Ｏの顔の再撮像を促す旨の音声案内を出力させるための制御信号を第１Ｉ／Ｆ１０７を介してスピーカ４に出力する。スピーカ４は、入力された制御信号に応じて、聴衆Ｏの顔の再撮像を促す旨の音声案内を発する（ステップＳ１７）。

その後、処理をステップＳ１１に戻し、ステップＳ１１以降の各処理は、ステップＳ２０にて、第２相違度が所定値よりも大きくないと判定（ステップＳ２０；ＮＯ）されるまで繰り返し実行される。
ステップＳ２０にて、第２相違度が所定値よりも大きくないと判定されると（ステップＳ２０；ＮＯ）、画像変形部１０５ｇは、検出された口Ｐの所定位置に複数の制御点を設定し、当該複数の制御点を変形処理に用いられる制御点として登録する（ステップＳ２１）。
これにより、顔画像特定処理を終了する。

図４に戻り、画像処理部１０５は、記録部１０４から指定されている映像コンテンツの映像データ１０４ａを読み出して取得する（ステップＳ５）。ここで、映像コンテンツは、ユーザによる操作入力部１０２の所定操作に基づいて所望の映像コンテンツが中央制御部１０１のＣＰＵにより予め指定されるようになっているが、例えば、聴衆Ｏが選択可能な複数の映像コンテンツを用意しておき、聴衆Ｏが所望の映像コンテンツを選択して指定するような構成としても良い。

次に、画像変形部１０５ｇは、変形処理により口Ｐを変形させた画像の画像データを生成し、画像処理部１０５は、画像変形部１０５ｇにより生成された画像データを映像コンテンツの映像データ１０４ａとともに、第１Ｉ／Ｆ１０８を介して投影装置３に出力する（ステップＳ６）。
そして、投影装置３は、第１Ｉ／Ｆ１０８を介して入力された映像コンテンツの映像データ１０４ａ及び画像変形部１０５ｇにより生成された画像データに基づいて、映像コンテンツに含まれる投影対象物の顔領域内に合成された口Ｐを当該コンテンツの内容に応じて変形（リップシンク）させるような映像コンテンツをスクリーン５に投影する（ステップＳ７）。
このとき、画像変形部１０５ｇは、変形処理により口Ｐ以外の顔構成部を変形させた画像の画像データを生成し、投影装置３は、当該画像データに基づいて、映像コンテンツに含まれる投影対象物の顔領域内にて口Ｐ以外の顔構成部を変形させるような映像コンテンツをスクリーン５に投影しても良い。

次に、画像処理装置１にあっては、中央制御部１０１のＣＰＵは、投影装置３による映像コンテンツの投影が終了したか否かを判定する（ステップＳ８）。
ここで、映像コンテンツの投影が終了していないと判定（ステップＳ８；ＮＯ）、中央制御部１０１のＣＰＵは、当該判定処理を所定の時間間隔毎に行う。
一方、映像コンテンツの投影が終了したと判定されると（ステップＳ８；ＹＥＳ）、中央制御部１０１のＣＰＵは、当該投影処理を終了させる。

以上のように、本実施形態の投影システム１００によれば、顔画像から検出された口Ｐの中央側の領域（中央領域Ｂ１）及び周辺側の領域（上唇領域Ｂ２及び下唇領域Ｂ３）の所定の色空間における色情報どうしの相違度を検出し、当該検出結果に基づいて、口Ｐの開閉状態を特定するので、中央側の領域及び周辺側の領域の所定の色空間における色情報を用いて口Ｐの開閉状態の特定を適正に行うことができる。すなわち、口Ｐの中央側の領域及び周辺側の領域とで所定の色空間における色情報が相違している場合、上唇と下唇の間から歯が覗いて口Ｐが開いていると考えられる。そこで、口Ｐの中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度が大きい場合に、口Ｐが開いた状態であると特定するので、口Ｐの開閉状態を適正に特定することができる。
これにより、口Ｐに対する変形処理を、閉じた状態の口Ｐの画像を用いて行うことができることとなって、例えば、変形処理が施された口Ｐの画像をスクリーン５に投影した場合に、リップシンクをより自然なものとすることができる。

また、口Ｐの中央側の領域（中央領域Ｂ１）及び当該領域と所定方向に隣合う領域（上唇領域Ｂ２及び下唇領域Ｂ３）のエッジ検出の評価値どうしの相違度を検出し、当該検出結果に基づいて、口Ｐの開閉状態を特定するので、口Ｐの色情報に加えて中央側の領域及び当該領域と隣合う領域のエッジ検出の評価値を用いて口Ｐの開閉状態の特定をより適正に行うことができる。すなわち、口Ｐの中央側の領域及び当該領域と隣合う領域とでエッジ検出の評価値が相違している場合、上唇と下唇の間から歯が覗いて口Ｐが開いていると考えられる。そこで、中央側の領域及び当該領域と隣合う領域のエッジ検出の評価値どうしの相違度が大きい場合に、口Ｐが開いた状態であると特定するので、口Ｐの開閉状態をより適正に特定することができる。

さらに、口Ｐが開いた状態であると特定されると、新たな顔画像の取得を要請することで、当該要請に応じて、処理対象となる顔画像を新たに取得することができる。これにより、開いた状態の口Ｐの画像を用いて変形処理が行われてしまうことを抑制することができ、結果として、変形処理が施された口Ｐの画像をスクリーン５に投影した場合に、リップシンクが不自然になることを抑制することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、スクリーン５に映像を投影する投影システム１００を例示したが、一例であってこれに限られるものではなく、投影装置３を備えずに画像処理装置１単体から構成されていても良い。

また、上記実施形態では、画像処理装置１は、中央領域Ｂ１と上唇領域Ｂ２及び下唇領域Ｂ３のエッジ検出の評価値どうしの相違度（第２相違度）に応じて、口Ｐの開閉状態を特定するようにしたが、一例であってこれに限られるものではなく、必ずしも第２相違度を検出する第２相違度検出部１０５ｅを具備する必要はない。
さらに、画像処理装置１は、閉じた状態の口Ｐの画像に対して変形処理を施すようにしたが、一例であってこれに限られるものではなく、必ずしも口Ｐの画像を変形する画像変形部１０５ｇを具備する必要はない。

加えて、上記実施形態にあっては、取得手段、第一の検出手段、第二の検出手段、特定手段としての機能を、画像処理装置１の中央制御部１０１の制御下にて、画像取得部１０５ａ、口検出部１０５ｃ、第１相違度検出部１０５ｄ、開閉状態特定部１０５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、第一の検出処理ルーチン、第二の検出処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０１のＣＰＵを、顔画像を取得する手段として機能させるようにしても良い。また、第一の検出処理ルーチンにより中央制御部１０１のＣＰＵを、取得された顔画像から口Ｐを検出する手段として機能させるようにしても良い。また、第二の検出処理ルーチンにより中央制御部１０１のＣＰＵを、検出された口Ｐの中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０１のＣＰＵを、色情報どうしの相違度の検出結果に基づいて、口Ｐの開閉状態を特定する手段として機能させるようにしても良い。

同様に、消去手段、第３の検出手段、要請手段、変形手段についても、中央制御部１０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から口を検出する第一の検出手段と、
前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段と、
前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段と、
を備えたことを特徴とする顔画像処理装置。
＜請求項２＞
前記特定手段は、更に、
前記第二の検出手段により検出された相違度が大きい場合に、口が開いた状態であると特定することを特徴とする請求項１に記載の顔画像処理装置。
＜請求項３＞
前記第一の検出手段により検出された口の中央側の領域及び当該領域と所定方向に隣合う領域のエッジ検出の評価値どうしの相違度を検出する第三の検出手段を更に備え、
前記特定手段は、
前記第三の検出手段の検出結果に基づいて、口の開閉状態を特定することを特徴とする請求項１又は２に記載の顔画像処理装置。
＜請求項４＞
前記特定手段は、更に、
前記第三の検出手段により検出された相違度が大きい場合に、口が開いた状態であると特定することを特徴とする請求項３に記載の顔画像処理装置。
＜請求項５＞
前記特定手段により口が開いた状態であると特定されると、新たな顔画像の取得を要請する要請手段を更に備え、
前記取得手段は、
前記要請手段による要請に応じて、顔画像を新たに取得することを特徴とする請求項１〜４の何れか一項に記載の顔画像処理装置。
＜請求項６＞
請求項１〜５の何れか一項に記載の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、
前記顔画像処理装置は、
前記特定手段により閉じた状態であると特定された口の画像に対して変形処理を施す変形手段を更に備え、
前記投影装置は、
前記変形手段により変形処理が施された口の画像を前記スクリーンに投影することを特徴とする投影システム。
＜請求項７＞
顔画像処理装置を用いた画像処理方法であって、
顔画像を取得する処理と、
取得された顔画像から口を検出する処理と、
検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する処理と、
前記色情報どうしの相違度の検出結果に基づいて、口の開閉状態を特定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項８＞
顔画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から口を検出する第一の検出手段、
前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段、
前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段、
として機能させることを特徴とするプログラム。

１００ 投影システム
１ 画像処理装置
１０１ 中央制御部
１０５ 画像処理部
１０５ａ 画像取得部
１０５ｃ 口検出部
１０５ｄ 第１相違度検出部
１０５ｅ 第２相違度検出部
１０５ｆ 開閉状態特定部
１０５ｇ 画像変形部
１０６ 撮像制御部
１０６ａ 再撮像要請部
２ 撮像装置
３ 投影装置

Claims (9)

1. 顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像から口を検出する第一の検出手段と、
   前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段と、
   前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段と、
   を備えたことを特徴とする顔画像処理装置。
2. 前記特定手段は、更に、
   前記第二の検出手段により検出された相違度が大きい場合に、口が開いた状態であると特定することを特徴とする請求項１に記載の顔画像処理装置。
3. 前記第一の検出手段により検出された口の中央側の領域及び当該領域と所定方向に隣合う領域のエッジ検出の評価値どうしの相違度を検出する第三の検出手段を更に備え、
   前記特定手段は、
   前記第三の検出手段の検出結果に基づいて、口の開閉状態を特定することを特徴とする請求項１又は２に記載の顔画像処理装置。
4. 前記特定手段は、更に、
   前記第三の検出手段により検出された相違度が大きい場合に、口が開いた状態であると特定することを特徴とする請求項３に記載の顔画像処理装置。
5. 前記特定手段により口が開いた状態であると特定されると、新たな顔画像の取得を要請する要請手段を更に備え、
   前記取得手段は、
   前記要請手段による要請に応じて、顔画像を新たに取得することを特徴とする請求項１〜４の何れか一項に記載の顔画像処理装置。
6. 請求項１〜５の何れか一項に記載の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、
   前記顔画像処理装置は、
   前記特定手段により閉じた状態であると特定された口の画像に対して変形処理を施す変形手段を更に備え、
   前記投影装置は、
   前記変形手段により変形処理が施された口の画像を前記スクリーンに投影することを特徴とする投影システム。
7. 顔画像処理装置を用いた画像処理方法であって、
   顔画像を取得する処理と、
   取得された顔画像から口を検出する処理と、
   検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する処理と、
   前記色情報どうしの相違度の検出結果に基づいて、口の開閉状態を特定する処理と、
   を含むことを特徴とする画像処理方法。
8. 顔画像処理装置のコンピュータを、
   顔画像を取得する取得手段、
   前記取得手段により取得された顔画像から口を検出する第一の検出手段、
   前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段、
   前記第二の検出手段による検出結果に基づいて、口の開閉状態を特定する特定手段、
   として機能させることを特徴とするプログラム。
9. 顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像から口を検出する第一の検出手段と、
   前記第一の検出手段により検出された口の中央側の領域及び周辺側の領域の所定の色空間における色情報どうしの相違度を検出する第二の検出手段と、
   前記第二の検出手段により検出された相違度が大きい場合に、口が開いた状態であると特定する特定手段と、
   を備えたことを特徴とする顔画像処理装置。

Images