JP2008027086A - 表情誘導装置および表情誘導方法、表情誘導システム - Google Patents

Abstract

【課題】被撮影者の自然な表情を引き出すユーザインタフェースを実現する。
【解決手段】表情誘導装置１００は、ユーザの顔を撮像するとき、撮像されているユーザが視認可能な画面上にユーザの撮像画像を表示させる。このとき誘導表示部１２２は、ユーザの表情を所望の表情に誘導するための誘導オブジェクトを撮像画像上に表示させる。表情処理部１４０は誘導オブジェクトの表示中において、ユーザの表情を検出する。表示部１２０は、ユーザの表情と所望の表情との適合度を画面上において通知する。
【選択図】図２

Description

本発明は、表情認識に基づくユーザインタフェース技術、に関する。

人物撮影時に「笑って」とか「ハイ、チーズ」のような掛け声をかける光景は一般的である。これは、被写体となる人物（以下、「被撮影者」とよぶ）の表情を好適な表情に導いて撮影するためのテクニックといえる。
特開２００５−２９３５３９号公報

そもそも人間の表情とは、感情の自然な発露として現れるべきものである。本発明者は、被撮影者の表情を自然に誘導する仕組みをカメラに設ければ、より好適な撮影が可能であると想到した。

本発明は、本発明者の上記着目に鑑みてなされたものであり、その主たる目的は、被撮影者の自然な表情を引き出すユーザインタフェースを実現することである。

本発明のある態様は、表情誘導装置である。
この装置は、ユーザの顔を撮像するとき、撮像されているユーザが視認可能な画面上にユーザの撮像画像を表示させると共に、ユーザの表情を所望の表情に誘導するための誘導オブジェクトを撮像画像上に表示させる。誘導オブジェクトの表示中において、ユーザの表情を検出し、ユーザの表情と所望の表情との適合度を画面上において通知する。

ここでいう誘導オブジェクトとは、「笑ってください」というように直接的に表情を誘導するための文字情報ではなく、キャラクタや記号によって間接的に表情を誘導するためのコンピュータグラフィックスである。撮影の楽しさを演出する誘導オブジェクトは、被撮影者の表情を自然に所望の表情に誘導する。所望の表情に誘導されたときをシャッターチャンスとすれば、所望の表情にて被撮影者を撮影できる。

なお、本発明を方法、システム、プログラム、記録媒体により表現したものもまた、本発明の態様として有効である。

本発明によれば、被撮影者の自然な表情を引き出すユーザインタフェースを提供できる。

図１は、表情誘導装置１００のハードウェア構成図である。
表情誘導装置１００には、カメラ１０２とモニタ１０４が接続される。モニタ１０４は、一般的なテレビモニタである。カメラ１０２は、モニタ１０４の上部に設置されユーザ１０６を撮像する。同図においては、ユーザ１０６が撮影者であり被撮影者でもある。表情誘導装置１００は撮像画像をモニタ１０４に表示させる。そのため、被撮影者であるユーザ１０６はモニタ１０４にて自分の撮像画像を視認可能となる。カメラ１０２は、所定の時間間隔、たとえば、３０分の１秒から６０分の１秒間隔でユーザ１０６を定期的に撮像する。このようにしてカメラ１０２は、ユーザ１０６を複数枚の撮像画像として撮像する。いいかえれば、ユーザ１０６を動画像として撮像する。

本実施例においては、所定の撮像期間、たとえば、３０秒間、被撮影者を継続して撮像する。この撮像期間中に取得された複数枚の撮像画像のうち、１枚の撮像画像が選択されてハードディスク等の補助記憶装置に確定的に記録される。このように静止画として記録される撮像画像、いいかえれば、写真として記録される撮像画像のことを以下においては「撮影画像」とよぶ。本実施例においては、撮像画像は表情誘導装置１００の内蔵メモリに一時的に記録される動画像であり、撮影画像は表情誘導装置１００の内蔵ハードディスクに確定的に記録される静止画像である。

表情誘導装置１００は、カメラ１０２を制御してユーザ１０６を撮像しているときに、モニタ１０４に誘導オブジェクト１８０を表示させる。誘導オブジェクト１８０はさまざまな表情と対応づけらる。たとえば、「？（クエスチョンマーク）」を模した誘導オブジェクト１８０は「怪訝な表情」に対応づけられている。ユーザ１０６は誘導オブジェクト１８０に対応して自らの表情を変化させる。表情誘導装置１００は、誘導オブジェクト１８０により示唆された表情（以下、「示唆表情」とよぶ。この例では「怪訝な表情」が示唆表情となる。）とユーザ１０６の実際の表情が適合するかを判定する。表情誘導装置１００はモニタ１０４を介してその適合度（以下、「表情類似度」とよぶ）を通知する。たとえば、表情類似度に応じて誘導オブジェクト１８０の表示態様を変化させる。誘導オブジェクト１８０の表示態様については、図３以降に関連して詳述する。

表情誘導装置１００は、表情類似度が所定の閾値を超えるときの撮像画像を「撮影画像」として選択する。このような処理方法により、ユーザ１０６の表情を示唆表情に導いた上で撮影画像を取得できる。本実施例においては、表情誘導装置１００は家庭内にてモニタ１０４やカメラ１０２を制御することにより、ユーザ１０６の表情を誘導する据え置き型の装置であるとして説明する。別例として、表情誘導装置１００の機能は既存のデジタルカメラに組み込まれてもよい。その場合、デジタルカメラはモニタ１０４を内蔵してもよいし、外部のモニタ１０４に撮像画像や誘導オブジェクト１８０を表示させてもよい。

図２は、表情誘導装置１００の機能ブロック図である。
ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
ここでは、主として各ブロックの発揮すべき機能について、その具体的な作用については、図３以降に関連して説明する。

表情誘導装置１００は、ユーザインタフェース処理部１１０、データ処理部１３０および画像保持部１７０を含む。
ユーザインタフェース処理部１１０は、表情誘導装置１００のユーザからの入力処理やユーザに対する情報表示のようにユーザインタフェース全般に関する処理を担当する。データ処理部１３０は、ユーザインタフェース処理部１１０を介した入力操作を元にして各種のデータ処理を実行する。データ処理部１３０は、ユーザインタフェース処理部１１０および画像保持部１７０の間のインタフェースの役割も果たす。画像保持部１７０は、データ処理部１３０から受け取った撮像画像や撮影画像など、各種画像データを格納する。画像保持部１７０は、メモリのような主記憶装置およびハードディスクのような補助記憶装置の機能により実現される。

ユーザインタフェース処理部１１０は、入力部１１２、撮像部１１４および表示部１２０を含む。入力部１１２はユーザからの操作入力を受け付ける。撮像部１１４は、カメラ１０２を介して撮像画像を定期的に取得する。表示部１２０はモニタ１０４を介してユーザにさまざまな情報を表示する。表示部１２０は、誘導表示部１２２と撮像画像表示部１２４を含む。誘導表示部１２２は後述の誘導オブジェクト１８０をモニタ１０４に表示させる。撮像画像表示部１２４は、撮像画像をモニタ１０４に表示させる。
このほかにもユーザインタフェース処理部１１０は音声入力や音声出力、ボタンインタフェースを介した入力なども表情誘導装置１００のユーザインタフェースの一種として提供する。

データ処理部１３０は、表情処理部１４０、誘導処理部１５０および画像記録部１６０を含む。表情処理部１４０は、被撮影者の表情認識処理を担当する。誘導処理部１５０は、ユーザの表情を示唆表情へ誘導するための処理を担当する。画像記録部１６０は、撮像画像から撮影画像を選択して画像保持部１７０に記録する。

表情処理部１４０は、頭部特定部１４２と表情判定部１４４を含む。頭部特定部１４２は、撮像画像において被撮影者の顔にあたる画像領域を特定する。以下、撮像画像において顔にあたる画像領域のことを単に「顔領域」とよぶことにする。また、撮像画像のうち顔領域に対応する画像データのことを、単に「顔画像」とよぶことにする。顔領域の特定については既存の技術を応用すればよい。たとえば、数十から数百種類の顔画像を合成した基準画像をあらかじめ用意しておく。頭部特定部１４２は撮像画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像としての類似度を数値化する。撮像画像中にさまざまな矩形領域を設定しながら類似度を適宜算出することにより、撮像画像中において「顔らしい」領域を顔領域として特定する。

表情判定部１４４は、被撮影者の表情を検出する。画像保持部１７０は、「怒りの表情」、「悲しみの表情」、「笑いの表情」、「困惑の表情」、「嫌悪の表情」・・・のようにさまざまな人間の表情に対応した画像を保持している。これらの画像のことを「表情パターン」とよぶことにする。表情判定部１４４は、被撮影者の顔領域と示唆表情の表情パターンの「画像としての類似度」を「表情類似度」として計算する。こうして、被撮影者の表情と示唆表情との類似度が表情類似度として指標化されることになる。表情類似度の計算方法については、既存の画像マッチングに関する技術を応用すればよい。以下においては示唆表情に対応する表情パターンのことを「示唆表情パターン」とよぶ。

表情パターンは上述のように各表情について類型化された画像であってもよいが、各表情ごとの特徴を示すデータ（以下、このようなデータのことを「表情特徴情報」とよぶ）であってもよい。たとえば、「怒りの表情」であれば眉間にシワができるという特徴があるかもしれないし、「笑いの表情」であれば目尻が下がるという特徴を見いだせるかもしれない。このように、表情特徴情報は、眉の角度、目尻の角度、口のかたちなどさまざまな項目について指標化した数値情報である。したがって、被撮影者の表情が示唆表情の表情特徴情報にどれだけ適合しているかを表情類似度として数値化してもよい。

誘導処理部１５０は、オブジェクト選択部１５２とオブジェクト調整部１５４を含む。オブジェクト選択部１５２は、複数種類の示唆表情のうちのいずれかに対応する誘導オブジェクト１８０を選択する。誘導表示部１２２は、選択された誘導オブジェクト１８０を撮像画像に重ねてモニタ１０４に表示させる。オブジェクト選択部１５２ではなく、ユーザが表示対象となる誘導オブジェクト１８０を選択してもよい。

オブジェクト選択部１５２は、複数種類の誘導オブジェクト１８０をランダムに選択してもよい。あるいは、撮像条件に応じて誘導オブジェクト１８０を選択してもよい。ここでいう撮像条件とは、被撮影者の数や性別や撮影日時、撮影環境に関する条件である。たとえば、撮像画像から複数の顔画像が検出されたとき、すなわち、被撮影者が複数のときには、被撮影者の数に応じて誘導オブジェクト１８０を選択してもよい。被撮影者が１人のときには「怪訝な表情」、３人以上のときには「笑いの表情」、被撮影者が５人以上のときには「怒りの表情」といった具合に、被撮影者の数に応じて誘導オブジェクト１８０を選択する。また、被撮影者が複数のときには、その男女比に応じて誘導オブジェクト１８０を選択してもよい。あるいは、オブジェクト選択部１５２は、撮像画像の明るさに応じて誘導オブジェクト１８０を選択してもよい。たとえば、撮像画像が明るいときには「笑いの表情」、暗いときには「悲しみの表情」を示唆表情としてもよい。

被撮影者は誘導オブジェクト１８０にあわせて自らの表情を変化させる。表情判定部１４４により被撮影者の表情と示唆表情パターンとの表情類似度が算出される。オブジェクト調整部１５４は、算出された表情類似度に応じて、誘導オブジェクト１８０の表示態様を決定させる。たとえば、表情類似度が大きいとき、すなわち、被撮影者が示唆表情に近い表情をしたときには、誘導オブジェクト１８０が大きく表示される。誘導表示部１２２は、オブジェクト調整部１５４からの指示に応じて、誘導オブジェクト１８０の表示態様を適宜変化させる。具体的な表示態様についても図３以降に関連して詳述する。

画像記録部１６０は、画質制御部１６２と合成部１６４を含む。画質制御部１６２は、撮影画像の画像品質、特に、顔領域の画質を制御する。また、合成部１６４は、被撮影者が複数のときに、各人物の顔画像を合成して１枚の撮影画像を生成する。画質制御については図５（ａ）や図５（ｂ）、顔画像の合成については図８に関連して後に詳述する。

図３は、撮像画像上に誘導オブジェクト１８０が表示されるときの画面図である。
図３（ａ）は、誘導オブジェクト１８０が表示されたときの画面図である。撮像部１１４がカメラ１０２を介して被撮影者の撮像画像を取得すると、撮像画像表示部１２４は撮像画像をモニタ１０４に画面表示させる。このとき、誘導表示部１２２は同図に示す誘導オブジェクト１８０を被撮影者の顔の近くに表示させる。ここでは、オブジェクト選択部１５２がランダムに誘導オブジェクト１８０を選択したとする。同図における誘導オブジェクト１８０は、「？」を模したグラフィックスである。一般的に「？」は、「わからない」とか「なんだろう」といった「とまどい」を連想させる記号である。被撮影者は誘導オブジェクト１８０が内包する意味を汲み取り、自らの表情を変化させる。同図に示す誘導オブジェクト１８０の示唆表情は「怪訝な表情」であり、「怪訝な表情」の示唆表情パターンと対応づけられている。

図３（ｂ）は、誘導オブジェクト１８０にあわせて被撮影者が表情を変化させたときの画面図である。頭部特定部１４２は、誘導オブジェクト１８０が表示されたあとの撮像画像から顔領域を特定する。表情判定部１４４はこの顔領域と示唆表情パターンを比較して表情類似度を算出する。表情類似度が所定の閾値を超えた場合、すなわち、被撮影者の表情と示唆表情が適合しているときには、オブジェクト調整部１５４は誘導オブジェクト１８０の表示色を濃い色に変更するよう誘導表示部１２２に指示する。同図においては、被撮影者は誘導オブジェクト１８０に対応して首をかしげた怪訝な表情をうまく作ることができているので、誘導表示部１２２は誘導オブジェクト１８０の色彩を濃い色に変化させる。これにより被撮影者は自分がうまく表情を作れたことを認識する。

表情作りがうまくいったことを通知するためのそのほかの方法として、誘導オブジェクト１８０の形状や位置を変化させてもよい。形状変化としては誘導オブジェクト１８０をの大きさを変化させたり、位置の変化としては誘導オブジェクト１８０を回転させたりといった方法が考えられる。一方、表情類似度が所定の閾値を超えなければ、誘導オブジェクト１８０の色彩は薄い色に変化する。これにより被撮影者は表情作りに失敗したことを認識する。あるいは、誘導オブジェクト１８０を濃い色に変化させたり、大きく表示させることにより表情作りの失敗を通知してもよい。このように誘導オブジェクト１８０を視認しやすい表示態様に変化させることにより、被撮影者の注意を喚起してもよい。

このように、ちょうどマンガの記号表現のような誘導オブジェクト１８０が撮像画像全体の雰囲気を変化させるので、被撮影者の表情を自然に示唆表情に導くことができる。誘導オブジェクト１８０は、同図に示したような記号に限る必要はなく、マンガのキャラクタ画像であってもよい。写真を撮るとき、撮影者が被撮影者に対して「ハイ、笑って」という風に笑顔を要求することは多々ある。しかし、「笑って」と命令されて作る笑顔は人工的な笑顔にならざるを得ない。また、このような撮影では「ハイ、怒って」とか「ハイ、不思議な顔をして」という指示がされることはまずありえない。実際にこのような指示がなされたとしても、被撮影者が怒った表情や怪訝な表情をうまく作ることは簡単ではない。
これに対し、誘導オブジェクト１８０であれば、さまざまな示唆表情に無理なく誘導できる。特に、子供が被撮影者であるときには、多彩な表情を自然に引き出すことができる。誘導オブジェクト１８０と表情判定いう仕組みが撮影におけるインタラクティブ性を向上させ、遊び感覚を刺激する楽しい撮影が実現される。

変形例として、誘導処理部１５０は誘導オブジェクト１８０の代わりに、または、誘導オブジェクト１８０に加えて、撮像画像の表示態様そのものを変化させてもよい。たとえば、示唆表情が「怒りの表情」であるときには、誘導処理部１５０は撮像画像全体を真っ赤に表示するように誘導表示部１２２に指示してもよい。示唆表情が「笑いの表情」であるときには、誘導処理部１５０は撮像画像全体を黄色などの明るい色により表示させてもよい。また、誘導処理部１５０は撮像画像全体を歪ませるなど被撮影者が予期しない演出を実行することにより、被撮影者の表情を「驚きの表情」に誘導してもよい。表情類似度に応じて、撮像画像の表示態様そのものを変化させてもよい。たとえば、誘導処理部１５０は、表情類似度が大きいほど撮像画像を高い解像度で表示させ、表情類似度が小さいほど撮像画像を低い解像度で表示させてもよい。

図４は、被撮影者の表情を誘導して撮影画像を取得する処理過程を示すフローチャートの一例である。
同図に示す処理は、撮像期間中において撮像画像の取得タイミングごとに定期的に実行されるループ処理である。撮像部１１４は被撮影者の撮像画像をカメラ１０２から取得する（Ｓ１０）。撮像画像表示部１２４は、撮像画像をユーザ１０６に表示させる（Ｓ１２）。

頭部特定部１４２は、撮像画像中から被撮影者の顔領域を特定する（Ｓ１４）。ここでは被撮影者は１名であるとして説明する。誘導表示部１２２は誘導オブジェクト１８０を撮像画像上に表示させる（Ｓ１６）。表示対象となる誘導オブジェクト１８０は、オブジェクト選択部１５２により撮像条件に応じてあらかじめ選択されているとする。このときの表示態様は図３（ａ）に示した通りである。表情判定部１４４は、被撮影者の顔領域と示唆表情パターンを比較し、表情類似度を算出する（Ｓ１８）。表情類似度が所定の閾値以上であり、被撮影者の表情と示唆表情が適合していれば（Ｓ２０のＹ）、画像記録部１６０はＳ１０において取得した撮像画像を撮影画像として画像保持部１７０に確定的に記録する（Ｓ２２）。適合していなければ（Ｓ２０のＮ）、処理はＳ１０に戻る。

撮像期間中、Ｓ１０からＳ２０までの処理は所定の時間間隔にくり返し実行される。撮像期間内に被撮影者の表情が示唆表情と適合すると撮影画像として記録され、処理は終了する。あるいは、撮像期間中に得られる複数の撮像画像のうち、表情類似度が最も大きくなったときの撮像画像を撮影画像として記録してもよい。

画質制御部１６２は、表情類似度の大小に連動させて撮影画像の解像度を増減してもよい。このような処理方法によれば「いい顔をすればいい写真になる」ため、被撮影者がいい表情を作ろうとする動機づけとなる。解像度に限らず、画質制御部１６２は表情類似度に応じて撮像画像における背景画像を変化させたり、さまざまなキャラクタオブジェクトを撮影画像に追加してもよい。このように画質制御部１６２が表情類似度に応じて撮像画像の内容を変化させることにより、いっそう被撮影者の表情を示唆表情に誘導しやすくなる。

画像記録部１６０は、誘導オブジェクト１８０を含めて撮影画像を記録してもよい。たとえば、プリクラ（登録商標）のようなシール写真を撮影するときに、誘導オブジェクト１８０を含めて撮影画像を記録すれば、撮影に対する被撮影者の興趣をいっそう深めることができる。被撮影者が複数のときには、各被撮影者の表情類似度の平均値や最低値が所定の閾値を超えたときの撮像画像を撮影画像として記録すればよい。

図５は、被撮影者が複数の場合における撮像画像上に誘導オブジェクト１８０が表示されるときの画面図の一例である。
図５（ａ）は、誘導オブジェクト１８０が表示されたときの画面図である。同図においては、被撮影者Ａ〜Ｅの５名が撮像対象となっている。頭部特定部１４２は、５名の顔領域を検出する。オブジェクト選択部１５２は、被撮影者Ｅ以外の４名の被撮影者それぞれについて誘導オブジェクト１８０を選択している。誘導表示部１２２は、Ａ〜Ｄの４名の顔領域の近傍に、選択された誘導オブジェクト１８０を表示させる。被撮影者Ａには「がっかりした表情」を示唆する誘導オブジェクト１８０が表示されている。また、被撮影者Ｂには「焦っている表情」を示唆する誘導オブジェクト１８０が表示されている。このように、一般的なマンガ表現に対応した誘導オブジェクト１８０が被撮影者を示唆表情に導く。被撮影者は自分用の誘導オブジェクト１８０にあわせて、自らの表情を変化させる。

図５（ｂ）は、誘導オブジェクト１８０にあわせて被撮影者が表情を変化させたときの画面図である。ここで、被撮影者Ａ、Ｃ、Ｄの表情は示唆表情と適合したが、被撮影者Ｂの表情は示唆表情と適合していない。いいかえれば、被撮影者Ｂの表情と示唆表情パターンとの表情類似度は閾値を超えていない。このように複数の被撮影者のうち、表情類似度が閾値を超えていない被撮影者が１人だけとなると、誘導表示部１２２は該当する被撮影者Ｂに対してプロンプトオブジェクト１８２を表示させる。このような処理方法によれば、集合写真として被撮影者を撮影するときに、被撮影者間で表情を競い合うという遊び感覚を導入することができる。

誘導表示部１２２は、複数の被撮影者のうち、表情類似度が最も高い被撮影者に対して所定のオブジェクト（以下、「適合オブジェクト」とよぶ）を表示させてもよい。あるいは、適合オブジェクトの数や動きによって表情類似度の大きさを通知してもよい。また、表情類似度が低い被撮影者にだけ誘導オブジェクト１８０を表示してもよい。たとえば、図５（ｂ）においては、被撮影者Ｂにだけ誘導オブジェクト１８０を表示してもよい。このような表示方法によれば、表情をうまく作れていない被撮影者を所定表情に導くためのプロンプトとして誘導オブジェクト１８０を活用できる。

撮影に先立って、ユーザは被撮影者の数を登録しておいてもよい。頭部特定部１４２により登録数分の顔領域が検出されたことを条件として、撮像または撮影が開始されるとしてもよい。検出された顔の数が登録数に満たないときには、表示部１２０は集合を促すメッセージを画面表示させてもよい。

図６は、被撮影者が複数の場合における撮像画像上に誘導オブジェクト１８０が表示されるときの画面図の別例である。
図６（ａ）は、誘導オブジェクト１８０が表示されたときの画面図である。同図においては、被撮影者Ａ〜Ｅの５名が撮像対象となっている。頭部特定部１４２は、５名の顔領域を検出する。オブジェクト選択部１５２は、全被撮影者を対象として星のマークを模した誘導オブジェクト１８０を選択している。この星のマークの誘導オブジェクト１８０は「笑った表情」を示唆表情とする。誘導表示部１２２は、この誘導オブジェクト１８０を撮像画像全体に複数個漂わせる。各被撮影者は、星を模した誘導オブジェクト１８０が画面全体に表示されると、自らの表情を笑った表情に変化させることになる。

図６（ｂ）は、誘導オブジェクト１８０にあわせて被撮影者が表情を変化させたときの画面図である。ここで被撮影者Ａ〜Ｅのうち、被撮影者Ｃの表情類似度が最も高く、被撮影者Ｄの表情類似度が最も低いとする。すると、誘導表示部１２２は、誘導オブジェクト１８０を被撮影者Ｃの顔の周辺に多く集まるように移動させる。一方、被撮影者Ｄの周りからは誘導オブジェクト１８０が離れていく。このような処理方法によっても、被撮影者間で表情を競い合うという遊び感覚を導入することができる。

画質制御部１６２は、複数の被撮影者のうち表情類似度が大きい被撮影者の顔を大きく、表情類似度が小さい被撮影者の顔を小さくして撮影画像を記録してもよい。画質制御部１６２は、表情類似度が大きい被撮影者の顔は高い解像度で、表情類似度が小さい被撮影者は低い解像度で撮影画像を記録してもよい。このように画質制御部１６２が表情類似度に応じて撮像画像の内容を変化させることにより、被撮影者間で表情を競い合うという遊び感覚を導入することができる。

図７は、被撮影者の表情を誘導して撮影画像を取得する処理過程を示すフローチャートの別例である。
同図において、Ｓ１０〜Ｓ１６までに示す処理の内容は、図３において同等の符号を付した処理内容と同等である。同図に示す処理も所定の時間間隔でくり返されるループ処理である。まず、被撮影者が１人であるとして説明する。Ｓ１８において、表情判定部１４４は表情類似度を算出したあと、その表情類似度を記録する。また、このときの撮像画像を一時的に画像保持部１７０に記録する。次のループのＳ１０において新たな撮像画像が取得されると、Ｓ１８において再び表情類似度が算出される。このとき、表情判定部１４４は、新たな撮像画像について算出された表情類似度が既に記録されている表情類似度よりも大きいかを判定する（Ｓ３０）。いいかえれば、先に取得された撮像画像よりも新たに取得された撮像画像の方が、被撮影者の表情が示唆表情に近くなっているかを判定する。表情類似度の最高値が更新されていなければ（Ｓ３０のＮ）、処理はＳ１０に戻り、次の撮像画像についての解析が開始される。更新されていれば（Ｓ３０のＹ）、新たに取得された撮像画像が撮影画像として、先に記録されていた撮影画像に対して上書き記録される（Ｓ３２）。このような処理をくり返し、撮像時間を経過すると（Ｓ３４のＹ）、処理は終了する。
以上の処理により、撮像期間中において、表情類似度が最も大きくなったときの撮像画像、すなわち、被撮影者の表情が最も示唆表情に近づいたときの撮像画像を自動的に選択できる。

被撮影者が複数の場合、図７に示した処理が被撮影者ごとに実行してもよい。画像記録部１６０は、全員の表情類似度の平均値が最も大きくなるときの撮像画像を撮影画像として選択する。画像記録部１６０は、被撮影者ごとのベストショットとなる顔画像を合成して、１枚の撮影画像を生成してもよい。最後に、このような画像の合成方法について説明する。

図８は、複数の被撮影者の顔画像から１枚の撮影画像を合成する過程を説明するためのタイムチャートである。
ここでは、被撮影者Ａ〜Ｅを撮影期間ｔ_０〜ｔ_ｎにわたって撮像するとする。具体的には、ｔ_０、ｔ_１、ｔ_２、・・・、ｔ_ｎの計ｎ＋１枚の撮像画像が取得される。すなわち、ｎ＋１回、図７に示した処理が被撮影者ごとに実行される。

ｎ＋１枚の撮像画像のうち、被撮影者Ａの表情が最も示唆表情に近づくのは、時刻ｔ_２において取得された撮像画像である。画像記録部１６０は時刻ｔ_２の撮像画像から被撮影者Ａの顔画像を一時的に記録しておく。被撮影者Ｂについては時刻ｔ_ｉ（３＜ｉ＜ｊ＜ｎ）、被撮影者Ｃについては時刻ｔ_３、被撮影者Ｄについては時刻ｔ_ｎ、被撮影者Ｅについては時刻ｔ_ｊの顔画像が一時記録される。こうして、５名の被撮影者の表情がそれぞれ示唆表情に最も近づくときのベストショットとなる顔画像が取得される。ただし、各顔画像の取得タイミングは厳密には一致しない。

合成部１６４は、撮像期間中の任意の時刻、たとえば、時刻ｔ_ｎにおける撮像画像のうち、各被撮影者の顔領域をベストショットの顔画像と入れ替えることにより、合成画像を生成する。具体的には、時刻ｔ_ｎの撮像画像のうち、被撮影者Ａの顔領域を検出し、この顔領域を時刻ｔ_２の被撮影者Ａの顔画像と差し替える。同様に、被撮影者Ｂ、Ｃ、Ｅの顔領域を検出し、各顔領域を時刻ｔ_ｉ、時刻ｔ_３、時刻ｔ_ｊにおける被撮影者Ｂ、Ｃ、Ｅの顔画像と差し替える。被撮影者Ｅの顔画像は時刻ｔ_ｎにおける撮像画像がベストショットなので差し替えは実行されない。このような処理方法により、被撮影者ごとのベストショットを集合写真に反映させることができる。従来、集合写真の撮影時には、あらかじめ複数枚の写真を撮影し、その中から最も好適な写真を選ぶという方法が一般的であった。これに対し、表情誘導装置１００によればこのような作業を発生させることなく好適な集合写真を撮影できる。

以上、表情誘導装置１００について説明した。
本実施例においては、表情誘導装置１００が被撮影者の表情と示唆表情が適合するときの撮影画像を取得するとして説明した。これに限らず、被撮影者の表情と示唆表情が適合したことを条件として所定の処理、たとえば、コンピュータゲームのコマンドを実行してもよい。そのような例についても付言しておく。

コンピュータゲームＡが実行開始されると、オブジェクト選択部１５２はさまざまな誘導オブジェクト１８０を所定のタイミングにて動的に選択する。ユーザは誘導オブジェクト１８０が切り替わるごとに誘導オブジェクト１８０にあった表情をする必要がある。誘導オブジェクト１８０が切り替わってから所定時間、たとえば、３秒以内に誘導オブジェクト１８０に合った表情であれば適合ポイントとよばれる点数が１点加算され、誘導オブジェクト１８０に合った表情ができなければ適合ポイントが１点減算される。適合ポイントは５０点から開始され、０点になるとゲームオーバーとなる。適合ポイントはそのままゲームのスコアとなってもよい。オブジェクト選択部１５２は、ゲームが進行するについれて誘導オブジェクト１８０の切換頻度を高くしたり、誘導オブジェクト１８０の種類を増やしていくことによって徐々にゲームの難易度が向上するように制御する。このような処理方法により、被撮影者の表情と誘導オブジェクト１８０が示唆する示唆表情との適合度に応じたゲーム性を実現できる。

誘導オブジェクト１８０による表情誘導機能にはさまざまな応用場面が考えられる。たとえば、玄関のインタフォンに誘導オブジェクト１８０を表示し、訪問者が笑顔となったことを条件として鍵を開けることができるように処理してもよい。単なる顔認証ではなく、表情誘導に基づく認証処理により、訪問者の感情をクールダウンさせるという効果を発揮させることができる。誘導オブジェクト１８０に加えて効果音により被撮影者の表情を誘導してもよい。また、表情だけでなく身振り手振りまで誘導の対象としてもよい。たとえば、うつむく、首をかしげる、胸を張る・・・といったジェスチャーにより、誘導オブジェクト１８０が示唆する感情を表現してもよい。

表情誘導の対象は被撮影者全員であってもよいし、その一部であってもよい。本実施例に示したように、被撮影者が自分が表情誘導の対象となっていることを認識できるように誘導オブジェクト１８０を表示させてもよいし、被撮影者には自分が表情誘導の対象となっていることがわからないように誘導オブジェクト１８０を表示させてもよい。たとえば、図５（ａ）において、撮像画面の所定位置、たとえば、右上隅に誘導オブジェクト１８０を表示させる。この誘導オブジェクト１８０は、実際には被撮影者Ａを対象として表示されているが被撮影者Ａ〜Ｅは、自分が表情誘導の対象となっているかどうかはわからない。被撮影者Ａの表情類似度が所定の閾値を超えたときにシャッターが切られることになる。このような処理方法によれば、シャッターを切る権限を持っているのが誰かわからないという遊びの要素を備えた撮影装置を実現できる。

以上、本発明を実施例をもとに説明した。この実施例はあくまで例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

請求項に記載の誘導表示部とユーザインタフェース処理部の機能は、本実施例においては主として誘導表示部１２２によって実現される。
これら請求項に記載の各構成要件が果たすべき機能は、本実施例において示された各機能ブロックの単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。

表情誘導装置のハードウェア構成図である。 表情誘導装置の機能ブロック図である。 図３（ａ）は、誘導オブジェクトが表示されたときの画面図である。図３（ｂ）は、誘導オブジェクトにあわせて被撮影者が表情を変化させたときの画面図である。 被撮影者の表情を誘導して撮影画像を取得する処理過程を示すフローチャートの一例である。 図５（ａ）は、被撮影者が複数の場合において誘導オブジェクトが表示されたときの第１の画面図のである。図５（ｂ）は、誘導オブジェクトにあわせて被撮影者が表情を変化させたときの第１の画面図である。 図６（ａ）は、被撮影者が複数の場合において誘導オブジェクトが表示されたときの第２の画面図である。図６（ｂ）は、誘導オブジェクトにあわせて被撮影者が表情を変化させたときの第２の画面図である。 被撮影者の表情を誘導して撮影画像を取得する処理過程を示すフローチャートの別例である。 複数の被撮影者の顔画像から１枚の撮影画像を合成する過程を説明するためのタイムチャートである。

符号の説明

１００ 表情誘導装置、 １０２ カメラ、 １０４ モニタ、 １０６ ユーザ、 １１０ ユーザインタフェース処理部、 １１２ 入力部、 １１４ 撮像部、 １２０ 表示部、 １２２ 誘導表示部、 １２４ 撮像画像表示部、 １３０ データ処理部、 １４０ 表情処理部、 １４２ 頭部特定部、 １４４ 表情判定部、 １５０ 誘導処理部、 １５２ オブジェクト選択部、 １５４ オブジェクト調整部、 １６０ 画像記録部、 １６２ 画質制御部、 １６４ 合成部、 １７０ 画像保持部、 １８０ 誘導オブジェクト、 １８２ プロンプトオブジェクト。

Claims (13)

1. カメラからユーザの顔の撮像画像を取得する撮像部と、
   撮像中において、撮像されているユーザが視認可能な画面上にユーザの撮像画像を表示させるユーザ表示部と、
   ユーザの表情を所望の表情に誘導するための誘導オブジェクトを前記撮像画像上に表示させる誘導表示部と、
   ユーザの表情を検出する表情検出部と、
   検出されたユーザの表情と前記所望の表情との適合度を画面上において通知するユーザインタフェース処理部と、
   を備えることを特徴とする表情誘導装置。
2. 前記ユーザインタフェース処理部は、前記誘導表示部に指示して前記誘導オブジェクトの表示態様を変化させることにより前記適合度を通知することを特徴とする請求項１に記載の表情誘導装置。
3. 前記誘導表示部は、所定の撮像条件の成否に応じて誘導すべき表情を選択し、前記選択された表情に対応する誘導オブジェクトを前記撮像画像上に表示させることを特徴とする請求項１に記載の表情誘導装置。
4. 複数のユーザを同時に撮像する場合において、
   前記ユーザインタフェース処理部は、前記複数のユーザのうち所定のユーザについて検出された表情と前記所望の表情との適合度を通知することを特徴とする請求項１に記載の表情誘導装置。
5. 複数のユーザを同時に撮像する場合において、
   前記ユーザインタフェース処理部は、前記複数のユーザについて検出された複数種類の表情のそれぞれと前記所望の表情との適合度を通知することを特徴とする請求項１に記載の表情誘導装置。
6. 複数のユーザを同時に撮像する場合において、
   前記ユーザインタフェース処理部は、前記複数のユーザのうちその検出された表情と前記所望の表情との適合度が所定値以下となるユーザを画面上において通知することを特徴とする請求項１に記載の表情誘導装置。
7. 撮影処理として、ユーザの撮像画像を所定の記録媒体に確定的に記録する画像記録部、を更に備え、
   前記ユーザインタフェース処理部は、検出されたユーザの表情と前記所望の表情とが適合するタイミングを前記撮影処理の実行タイミングとして決定することを特徴とする請求項１から６のいずれかに記載の表情誘導装置。
8. 前記画像記録部は、検出されたユーザの表情と前記所望の表情との適合度に応じて、前記撮影処理における撮像画像の画像品質を変化させることを特徴とする請求項７に記載の表情誘導装置。
9. 複数のユーザを同時に撮像する場合において、
   前記ユーザインタフェース処理部は、各ユーザについて検出された表情が前記所望の表情と適合したタイミングを実行タイミングとして、ユーザごとに前記撮影処理の実行タイミングを決定し、
   前記画像記録部は、それぞれの実行タイミングにおける各ユーザの顔画像を単一の撮像画像に合成して記録することを特徴とする請求項７に記載の表情誘導装置。
10. 前記画像記録部は、誘導オブジェクトを含めて撮像画像を記録することを特徴とする請求項７に記載の表情誘導装置。
11. ユーザを撮像するカメラと、
    撮像中において、撮像されているユーザがその画面を視認可能な表示装置と、
    表情誘導装置と、を含み、
    前記表情誘導装置は、
    前記カメラからユーザの顔の撮像画像を取得する撮像部と、
    撮像中にユーザの撮像画像を前記表示装置に表示させるユーザ表示部と、
    ユーザの表情を所望の表情に誘導するための誘導オブジェクトを前記表示装置の撮像画像上に表示させる誘導表示部と、
    ユーザの表情を検出する表情検出部と、
    検出されたユーザの表情と前記所望の表情との適合度を前記表示装置の画面上において通知するユーザインタフェース処理部と、
    を備えることを特徴とする表情誘導システム。
12. 撮像対象となるユーザが視認可能な画面上において、ユーザの撮像画像に重ねてユーザの表情を所望の表情に誘導するための誘導オブジェクトを表示させるステップと、
    ユーザの表情を検出するステップと、
    検出されたユーザの表情と前記所望の表情が適合したタイミングにおける撮像画像を所定の記録媒体に確定的に記録するステップと、
    を実行することを特徴とする表情誘導方法。
13. ユーザが撮像されている期間において、撮像されているユーザが視認可能な画面上にユーザの顔の撮像画像を表示させる機能と、
    ユーザの表情を所望の表情に誘導するための誘導オブジェクトを前記撮像画像上に表示させる機能と、
    ユーザの表情を検出する機能と、
    検出されたユーザの表情と前記所望の表情が適合したことを条件として、所定の処理を実行する機能と、
    をコンピュータに発揮させることを特徴とする表情誘導プログラム。

Images