JP6289107B2 - 画像再生装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像再生装置、その制御方法、および制御プログラムに関し、特に、動画のポイントとなる撮影シーンをユーザに適切に表示する画像再生装置に関する。

一般に、動画の内容を把握する際には、ユーザは動画ファイルを再生する必要がある。一方、動画の任意の撮影シーンに着目して、当該撮影シーンに係るフレームの代表画像を指定間隔毎に表示する所謂タイムライン表示手法が知られている。このタイムライン表示手法を用いれば、ユーザは動画に含まれる撮影シーンの把握および動画の所望の位置（つまり、フレーム）を検索することができる。

ところで、動画から特定の撮影シーンを検出して表示する場合に、撮影の際に、動画において被写体が出現するフレームと当該フレームに出現する被写体が主被写体であるか否かを示す主被写体情報をメモリに記録する。そして、画像再生の際に、主被写体情報に応じて主被写体が出現するフレームをタイムライン表示するようにした画像再生装置がある（特許文献１参照）。

また、１つ以上の動画コンテンツの各々について、そのインデックスを含む第１のＧＵＩ（グラフィックユーザインタフェース）画像を表示制御するようにした情報処理装置が知られている。この情報処理装置では、第１のＧＵＩ画像から１つのインデックスがユーザにより選択されると、当該選択されたインデックスに対応する動画コンテンツで検出された人物の顔を示す顔サムネイル画像を含む第２のＧＵＩ画像を表示している（特許文献２参照）。

特開２０１２−８５０００号公報 特開２００８−１７０４１号公報

ところが、上述の特許文献１および２に記載の手法では、動画において主被写体又は顔が検出されたフレーム（つまり、撮影シーン）が存在しないと、当該動画におけるポイントとなるフレームを把握することができなくなってしまう。

さらに、動画において、常に主被写体が出現すると、いずれのフレームがユーザの所望のポイントとなるフレームであるか分からなくなるという問題点がある。

そこで、本発明の目的は、視聴者データを用いて動画のポイントとなる撮影シーンを特定して、ユーザに当該撮影シーンに係るフレームを表示することのできる画像再生装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像再生装置は、動画を再生する動画再生手段と、再生された動画の視聴者を撮影して視聴者画像を得る撮影手段と、前記動画を再生している際に前記撮影手段で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けて記録する記録手段と、前記動画再生手段によって前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御手段と、を有することを特徴とする。

本発明による制御方法は、動画を再生するための画像再生装置の制御方法であって、動画を再生する動画再生ステップと、再生された動画の視聴者を、撮像部で撮影して視聴者画像を得る撮影ステップと、前記動画を再生している際に前記撮像部で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けてメモリに記録する記録ステップと、前記動画再生ステップで前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、動画を再生するための画像再生装置で用いられる制御プログラムであって、前記画像再生装置が備えるコンピュータに、動画を再生する動画再生ステップと、再生された動画の視聴者を、撮像部で撮影して視聴者画像を得る撮影ステップと、前記動画を再生している際に前記撮像部で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けてメモリに記録する記録ステップと、前記動画再生ステップで前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御ステップと、を実行させることを特徴とする。

本発明によれば、動画のポイントとなる撮影シーンを特定して、ユーザに当該撮影シーンに係るフレームを表示することができる。

本発明の実施の形態による画像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおいて動画再生の際のフレーム情報取得処理を説明するためのフローチャートである。 図２に示す視聴者の表情が特定されたフレームの一例を説明するための図である。 図１に示すカメラで行われる動画関連情報を用いた画像表示をフローチャートである。 図４に示すタイムライン表示の一例を説明するための図である。 図４に示すインデックス表示の一例を説明するための図であり、（ａ）は第１の表情特定フレームにおける画像を示す図、（ｂ）は第２の表情特定フレームにおける画像を示す図、（ｃ）は第３の表情特定フレームにおける画像を示す図である。

以下、本発明の実施の形態による画像再生装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、カメラ１００はメインカメラ部１９０およびサブカメラ部１９１を有している。そして、メインカメラ部１９０は、シャッター１０１、バリア１０２、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３、撮像部１２２、Ａ／Ｄ変換器１２３、および画像処理部１２４を備えている。サブカメラ部１９１の構成はメインカメラ部１９０と同様であり、サブカメラ部１９１はシャッター１０５、バリア１０６、撮影レンズ１０７、撮像部１２５、Ａ／Ｄ変換器１２６、および画像処理部１２７を備えている。なお、サブカメラ部１９１は、視聴者（つまり、ユーザ）を撮影するために用いられる。

メインカメラ部１９０およびサブカメラ部１９１の構成は同一であるので、以下の説明では、メインカメラ部１９０に注目して説明する。

撮影レンズ１０３はフォーカスレンズを有しており、撮影レンズ１０３の後段に配置されたシャッター１０１は絞り機能を備えている。撮影レンズ１０３を介して入射した光学像（被写体像）は撮像部１２２に備えられた撮像素子（例えば、ＣＭＯＳセンサ）に結像する。撮像部１２２は光学像を電気信号（アナログ信号）に変換して、Ａ／Ｄ変換器１２３に与える。そして、Ａ／Ｄ変換器１２３はアナログ信号をデジタル信号（画像データ）に変換する。

なお、バリア１０２は撮影レンズ１０３、シャッター１０１、および撮像部１２２を覆って、撮影レンズ１０３、シャッター１０１、および撮像部１２２の汚れおよび破損を防止するためのものである。 画像処理部１２４はＡ／Ｄ変換器１２３の出力である画像データ、又はメモリ制御部１１５から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理部１２４は撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部１５０は当該演算結果に基づいて露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。

さらに、画像処理部１２４は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器１２３からの出力である画像データは、画像処理部１２４およびメモリ制御回路１１５を介して、或いは直接メモリ制御回路１１５を介して、メモリ１３２に書き込まれる。メモリ１３２は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。

メモリ１３２は画像表示用のメモリ（つまり、ビデオメモリ）を兼ねている。メモリ１３２に格納された画像表示用データは、Ｄ／Ａ変換器１１３によってアナログ画像信号に変換されて表示部１２８に送られる。これによって、表示部１２８には画像表示用データに応じた画像が表示される。なお、表示部１２８は、例えば、ＬＣＤである。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭである。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数およびプログラムなどが記憶される。

システム制御部１５０はカメラ１００全体の制御を司る。そして、システム制御部１５０は不揮発性メモリ１５６に記録されたプログラムを実行して、カメラ１００に関する各種処理を行う。システムメモリ１５２は、例えば、ＲＡＭであり、システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、および不揮発性メモリ１５６から読み出したプログラムなどが展開される。

なお、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、および表示部１２８などを制御して表示制御を行う。

図示のように、システム制御部１５０には、モード切替スイッチ１６０、シャッターボタン１６１、操作部１７０、電源スイッチ１７２、および電源制御部１８０が接続されている。

図示のモード切替スイッチ１６０は、例えば、システム制御回路１５０の動作モードを静止画撮記録モード、動画記録モード、および再生モードなどのいずれかに切り替えるためのスイッチである。

図示のシャッターボタン１６１が操作途中（半押し：撮影準備指示）であると、第１のシャッタースイッチがオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御部１５０に与えられる。これによって、システム制御部１５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの動作を開始する。

シャッターボタン６１が操作完了（全押し）すると、第２のシャッタースイッチがオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御部１５０に与えられる。これによって、システム制御部１５０は撮像部１２２（又は撮像部１２５）の信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部１７０は、表示部１２８に表示される種々の機能アイコンを選択操作することによって、場面毎に適宜機能が割り当てられて、各種機能ボタンとして動作する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。

操作部１７０に備えられたメニューボタンが操作されると、システム制御部１５０は各種設定を行うためのメニュー画面を表示部１２８に表示する。ユーザは表示部１２８に表示されたメニュー画面を見て、４方向キーおよびセットボタンなどを用いて直感的に各種設定を行うことができる。

電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えている。そして、電源制御部１８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。

また、電源制御部１８０は上記の検出結果およびシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、所定の電圧を必要な期間の間記録媒体１０４を含む各部に供給する。

電源部１３０はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。なお、カメラ１００の電源は電源スイッチ１７２によってオン又はオフされる。

インタフェース（Ｉ／Ｆ）１１８は記録媒体１０４とのインタフェースである。記録媒体１０４は、例えば、メモリカードであり、半導体メモリ又は磁気ディスクなどを有している。

上述のカメラ１００は、所謂中央１点ＡＦ又は顔ＡＦを用いて撮影を行うことができる。ここで、中央１点ＡＦとは撮影画面において中央位置１点に対してＡＦを行うＡＦ制御である。また、顔ＡＦとは所謂顔検出機能によって検出された撮影画面における顔領域に対してＡＦを行うＡＦ制御である。

ここで、顔検出機能について説明する。なお、ここでは、システム制御部１５０はメインカメラ部１９０およびサブカメラ部１９０の少なくとも一方を用いて顔検出を行うが、その動作は同様であるので、ここではメインカメラ部１９０に注目して顔検出機能について説明する。つまり、顔検出の際、システム制御部１５０はメインカメラ部１９０で得られた画像データであれば、メインカメラ部１９０を用いて顔検出を行い、サブカメラ部１９１で得られた画像データであれば、サブカメラ部１９１を用いて顔検出を行う。

システム制御部１５０は顔検出対象の画像データを画像処理部１２４に送る。システム制御部１５０の制御下で、画像処理部１２４は当該画像データに水平方向バンドパスフィルタ処理を行う。さらに、画像処理部１２４は、水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタ処理を行う。これら水平および垂直方向バンドパスフィルタ処理を行うと、画像データからエッジ成分を検出することができる。

その後、システム制御部１５０はエッジ成分についてパターンマッチング処理を行って、目、鼻、口、および耳の候補群を抽出する。そして、システム制御部１５０は、抽出された目の候補群の中から、予め設定された条件（例えば、２つの目の距離、傾き）を満たすものを、目の対と判定して、目の対があるもののみ目の候補として絞り込む。

続いて、システム制御部１５０は、絞り込まれた目の候補とそれに対応する顔を形成する他のパーツ（鼻、口、および耳）を対応付けるとともに、予め設定された非顔条件フィルタ処理を行って顔領域を検出する。システム制御部１５０は顔領域の検出結果に応じた顔情報を出力して、顔検出処理を終了する。この際、システム制御部１５０は顔領域の数などの特徴量をシステムメモリ１５２に記憶する。

上述のようにして、ライブビュー表示又は再生表示された画像データについて画像解析を行って、画像データの特徴量を抽出して被写体情報（つまり、顔情報）を得ることができる。ここでは、被写体情報として顔情報を例に挙げて説明したが、所謂赤目判定、目の検出、目つむり検出、および笑顔検出などを行って、当該判定又は検出結果を被写体情報として用いるようにしてもよい。

なお、顔ＡＦととともに、所謂顔ＡＥ，顔ＦＥ、および顔ＷＢを行うようにしてもよい。顔ＡＥとは検出された顔領域の明るさに合わせて、画面全体の露出を制御することである。顔ＦＥとは検出された顔領域を中心にフラッシュ調光を行うことである。そして、顔ＷＢとは、検出された顔領域の色に合わせて画面全体のＷＢを制御することである。

ところで、操作部７０には、表示部２８に対する接触を検知可能なタッチパネルが備えられている。そして、タッチパネルは表示部２８と一体的に構成されている。例えば、タッチパネルをその光の透過率が表示部２８の表示を妨げないようにして、表示部２８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部２８上の表示座標とを対応付ける。これによって、恰もユーザが表示部２８に表示された画面を直接的に操作可能なＧＵＩを構成することができる。

システム制御部５０はタッチパネルに対する次の操作を検出することができる。

タッチパネルを指又はペンで触れること（以下タッチダウンという）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指又はペンで触れた状態で移動すること（以下ムーブという）。タッチパネルに触れていた指又はペンを離すこと（以下タッチアップという）。タッチパネルに何も触れていない状態（以下タッチオフという）。

上記の操作およびタッチパネルに指又はペンが触れている位置座標は内部バス（図示せず）を介してタッチ情報としてシステム制御部５０に送られる。システム制御部５０はタッチ情報に基づいてタッチパネルに対してどのような操作が行なわれたかを判定する。

システム制御部１５０は、ムーブについてはタッチパネル上で移動する指又はペンの移動方向を、その位置座標の変化に基づいてタッチパネル上の垂直成分・水平成分毎に判定することができる。また、タッチダウンから一定のムーブを経てタッチアップをした際にストロークを描いたとする。素早くストロークを描く操作をフリックと呼ぶ。

フリックは、タッチパネルに指を触れたままある程度の距離だけ素早く動かして、そのまま離すという操作であり、言い換えると、タッチパネルを指ではじくように素早くなぞる操作である。システム制御部１５０は所定距離以上を、所定速度以上でムーブしたことを検出し、そのままタッチアップを検出するとフリックが行なわれたと判定する。

また、システム制御部１５０は所定距離以上を、所定速度未満でムーブしたことを検出するとドラッグが行なわれたと判定する。タッチパネルとして、所謂抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、又は光センサ方式などのいずれの方式のものを用いてもよい。

なお、システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２によって、サブカメラ部１９１の撮像部１２５からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。

図２は、図１に示すカメラにおいて動画再生の際のフレーム情報取得処理を説明するためのフローチャートである。なお、図２に示すフローチャートに係る処理は、システム制御部１５０が不揮発性メモリ１５６に記録されたプログラムをシステムメモリ１５２に展開して実行することによって行われる。

時刻情報取得処理を開始すると、システム制御部１５０は、メモリ１３２、Ｄ／Ａ変換器１１３、および表示部１２８を制御して、メインカメラ部１９０で撮像した動画（以下メイン動画と呼ぶ）の再生を開始する（ステップＳ２０１）。つまり、システム制御部１５０は、メモリ１３２に記録されたメイン動画データを読み出してＤ／Ａ変換器１１３に送る。Ｄ／Ａ変換器１１３は、メイン動画データをアナログ動画信号に変換して表示部１２８に与えて、表示部１２８にメイン動画を表示する。

続いて、システム制御部１５０は、メイン動画の再生を行うと、サブカメラ部１９１において撮像部１２５の信号読み出しからメモリ１３２に画像データ（以下視聴者画像又は視聴者画像データと呼ぶ）を書き込むまでの一連の撮影処理の動作を開始する（視聴者撮影：ステップＳ２０２）。次に、システム制御部１５０は、ステップＳ２０２で得られた視聴者画像において、視聴者の表情を検出する検出処理を行う。表情を検出する際の手法は、前述の顔検出機能で説明した手法と同様の手法で行われる。

ここでは、システム制御部１５０は、視聴者画像データを画像処理部１２７に送り、画像処理部１２７は視聴者画像データにおいてエッジ成分を検出する。システム制御部１５０は当該エッジ成分についてパターンマッチング処理を行って顔領域を検出する。

顔領域検出の際には、特徴点として、眉、目、鼻、および唇の各端点と顔の輪郭点などが得られる。システム制御部１５０は、これら特徴点同士の間隔を算出表情評価値として求める。そして、システム制御部１５０は、当該算出表情評価値と予め表情毎に設定された基準表情評価値とを比較して、視聴者の表情を特定する。

なお、予め設定された表情評価値（基準評価値）は表情レベル毎に設定されており、ここで、表情レベルとはその表情の度合いを示す。例えば、笑顔の場合、数値が増加するにつれて、表情レベルの１つである笑顔レベルは微笑程度から大笑いへとそのレベルが高くなる。

システム制御部１５０は、視聴者の表情が特定の表示になったか否かを判定する（ステップＳ２０３）。つまり、システム制御部１５０は視聴者が特定の表示になったか否かを判定することになる。視聴者の表情が特定の表情になった場合（ステップＳ２０３において、ＹＥＳ）、システム制御部１５０は、ステップＳ２０３において視聴者が特定の表情になった時点におけるメイン動画のフレーム（以下、表情特定フレームと記す）を動画関連情報としてメモリ１３２に記録する（ステップＳ２０４）。

図３は、図２に示す視聴者の表情が特定された（視聴者の表情が特定の表情になった）フレームの一例を説明するための図である。

図３において、フレーム４０１、４０２、および４０３の各々は視聴者が笑顔となったフレームである。システム制御部１５０は、フレーム４０１、４０２、および４０３において表情が特定されたときのメイン動画の表情特定フレームＴ１、Ｔ２、およびＴ３をメモリ１３２に動画関連情報として記録する。また、システム制御部１５０は、表情を特定した際の視聴者の画像（サブ動画から取得した画像）およびそのレベル（表情レベル）を表情特定フレームとともに動画関連情報としてメモリ１３２に記録するようにしてもよい。

ここでは、動画関連情報として表情特定フレームを記録しているが、表情特定フレーム自体を記録せずに、表情特定フレームを特定するための情報として、視聴者の表情が特定の表情になった時点の、メイン動画の時刻情報（撮影開始からの時刻等）、または、フレーム番号等を記録してもよい。また、表情特定フレームと、時刻情報の両方を記録してもよい。

再び図２を参照して、システム制御部１５０は、メイン動画の再生が終了したか否かを判定する（ステップＳ２０５）。メイン動画の再生が終了していないと、つまり、メイン動画の再生が途中であれば（ステップＳ２０５において、ＮＯ）、システム制御部１５０は、ステップＳ２０３の処理に戻って再度視聴者の表情特定を行う。なお、視聴者の表情が特定できないと（ステップＳ２０３において、ＮＯ）、システム制御部１５０は、ステップＳ２０５の処理に進む。

このようにして、メイン動画の再生が終了するまで、ステップＳ２０３〜Ｓ２０５の処理が行われて、システム制御部１５０は、メイン動画の全フレームを再生している間において、視聴者の表情特定処理を行う。そして、システム制御部１５０は視聴者の表情を特定する都度、その表情特定フレーム（フレーム時刻）および視聴者画像を動画関連情報としてメモリ１３２に記録することになる。

一方、メイン動画の再生が終了すると（ステップＳ２０５において、ＹＥＳ）、システム制御部１５０は、撮像部１２５の信号読み出しからメモリ１３２に画像データを書き込むまでのサブカメラ部１９１における撮影処理を停止する（ステップＳ２０６）。そして、システム制御部１５０は、メモリ１３２に記録した動画関連情報（表情特定フレームおよび視聴者画像）と再生したメイン動画とを関連付けてメモリ１３２に記録して（ステップＳ２０７）、フレーム情報取得処理を終了する。

なお、図３に示す例では、サブカメラ部１９１で撮影された視聴者は１名のみであるが、複数の視聴者が撮影された場合には、システム制御部１５０は各視聴者に対して表情特定処理を行うようにしてもよい。このようにすれば、複数の視聴者が１つの動画を観賞する場合にも本実施形態を適用することができる。

図４は、図１に示すカメラで行われる動画関連情報（視聴者撮影情報ともいう）を用いた画像表示をフローチャートである。なお、図４に示すフローチャートに係る処理は、システム制御部１５０が不揮発性メモリ１５６に記録されたプログラムをシステムメモリ１５２に展開して実行することによって行われる。

画像表示処理が開始されると、システム制御部１５０は、ユーザによって選択された動画ファイルと当該動画ファイルに関連付けられた動画関連情報とをメモリ１３２から読み出す（ステップＳ３０１）。続いて、システム制御部１５０は、システムメモリ１５２に記録された表示モード（つまり、再生モード）がタイムライン表示であるか又はインデックス表示であるかを判定する（ステップＳ３０２）。

再生モードがタイムライン表示であると（ステップＳ３０２において、ＹＥＳ）、システム制御部１５０は表示部１２８にタイムライン表示に応じた画像を表示する（ステップＳ３０３）。

図５は、図４に示すタイムライン表示の一例を説明するための図である。

図示のように、表示部１２８にはタイムライン表示画面５００が表示されている。タイムライン表示では、前述の動画関連情報において視聴者の表情を特定したフレーム間隔において表情特定フレームにおける画像が表示される。ここで、画像５０１、５０２、および５０３は、それぞれ動画関連情報の表情特定フレームＴ１、Ｔ２、およびＴ３における画像（動画の１フレーム）である。なお、画面の下部には動画全体５０６が順次表示される。

ステップＳ３０３においては、システム制御部１５０は、動画関連情報の表情特定フレームＴ１、Ｔ２、およびＴ３に対応する画像５０１、５０２、および５０３をメモリ１３２から読み出す。そして、システム制御部１５０は、読み出した画像５０１、５０２、および５０３を画像処理部１２４に送る。画像処理部１２４は、システム制御部１５０の制御下で画像５０１、５０２、および５０３を、それぞれ読み込んだ動画ファイルに対応する表示特定フレームＴ１、Ｔ２、およびＴ３に配列した画像列を生成する。そして、システム制御部１５０は当該画像列を表示部１２８に表示する。

図５において、タイムライン表示画面５００には動画関連情報における視聴者画像５０４および５０５が表示される。ここで、視聴者画像５０４は現在ユーザによって選択された視聴者画像である。

図５に示すタイムライン表示画面５００において、画像５０１、５０２、および５０３のうちいずれかの画像がユーザの操作によって選択されたとする。そして、ユーザからの再生指示を受け付けると、システム制御部１５０は選択された画像に対応するフレームから動画の再生を開始する。

一方、再生モードがインデックス表示であると（ステップＳ３０２において、ＮＯ）、システム制御部１５０は表示部１２８にインデックス表示に応じた画像を表示する（ステップＳ３０４）。

図６は、図４に示すインデックス表示の一例を説明するための図である。そして、図６（ａ）は第１の表情特定フレームＴ１における画像を示す図であり、図６（ｂ）は第２の表情特定フレームＴ２における画像を示す図である。また、図６（ｃ）は第３の表情特定フレームＴ３における画像を示す図である。

図６（ａ）〜図６（ｃ）において、インデックス表示の際には、表示部１２８にインデックス表示画面６００が表示される。インデックス表示画面６００には、ユーザが選択した動画ファイルに係る画像６０１が表示される。インデックス表示においては、前述の動画関連情報の表情特定フレームにおける画像が所定の間隔で順次表示部１２８に表示される。

図６（ａ）、図６（ｂ）、および図６（ｃ）に示す画像６０１はそれぞれ表情特定フレームＴ１、Ｔ２、およびＴ３に対応するものであり、インデックス表示の際には、図６（ａ）、図６（ｂ）、および図６（ｃ）の順でインデックス表示画面６００が表示部１２８に表示される。

図６（ａ）〜図６（ｃ）において、インデックス表示画面６００には動画関連情報の視聴者画像６０２および６０３が表示される。ここで、視聴者画像６０２は現在ユーザによって選択された視聴者画像である。

システム制御部１５０は、タイムライン表示画面（図５）又はインデックス表示画面６００で選択された視聴者画像に係る動画関連情報をメモリ１３２から読み出して、表情特定フレームに応じたタイムライン表示又はインデックス表示を行う。ユーザは視聴者画像を選択すれば、どの視聴者が動画のいずれのフレームで盛り上がったかを確認することができる。

なお、図６において、動画関連情報に視聴者画像が記録されている場合には、フレームが切り替わる都度、システム制御部１５０は当該フレームに対応した視聴者画像を表示するようにしてもよい。インデックス表示と視聴者画像とを同時に表示すれば、視聴者が動画のその場面（撮影シーン）を見た際にどのようなリアクションをしたのかが確認することができ、ユーザに臨場感を与えることができる。

図６に示す例では、ユーザが図６（ａ）、図６（ｂ）、又は図６（ｃ）に示すインデックス表示画面６００が表示部１２８に表示されたタイミングで再生指示を受けると、システム制御部１５０は当該表示タイミングに対応したフレームから動画の再生を開始する。

再び図４を参照して、ステップＳ３０３又はＳ３０４に続いて、システム制御部１５０は、操作部１７０によって動画関連情報の切り替え指示の操作が行われたか否かを判定する（ステップＳ３０５）。動画関連情報の切り替え指示があると（ステップＳ３０５において、ＹＥＳ）、システム制御部１５０は、切り替え指示に応じて表示に用いる動画関連情報をメモリ１３２から読み込んで、動画関連情報の切り替えを行う（ステップＳ３０６）。そして、システム制御部１５０は、操作部１７０によって表示モード終了の操作が行われたか否かを判定する（ステップＳ３０７）。

なお、動画関連情報の切り替え指示がないと（ステップＳ３０５において、ＮＯ）、システム制御部１５０は、ステップＳ３０７の処理に進む。

表示モード終了の操作が行われないと、つまり、表示モード継続であれば（ステップＳ３０７において、ＮＯ）、システム制御部１５０は、ステップＳ３０２の処理に戻ってタイムライン表示モードであるか否かを判定する。一方、表示モード終了の操作が行われると（ステップＳ３０７において、ＹＥＳ）、システム制御部１５０は表示処理を終了する。

上述のようにして、タイムライン表示を行えば、ユーザは動画全体のいずれのポイント視聴者がどのような表情であったかを一目で把握することができる。そして、表示画面全体を用いたタイムライン表示を行うことができない場合には、図６に示すインデックス表示をおこなうようにすればよい。前述のように、図６に示すインデックス表示では、視聴者に関してリアクションのあった画像が順次表示されるので、ユーザは動画の内容を容易に把握することができる。

このように、本発明の実施の形態では、動画を再生する際に撮影された視聴者の画像から表情を特定するようにしたので、動画のポイントを押さえた表示を行うことができ、ユーザは動画内容を容易に把握することができる。特に、再生動画において顔領域の検出ができない場合においても、ユーザに対して適切なタイムライン表示又はインデックス表示を行うことができる。

なお、上述の実施の形態においては、画像再生装置を備えるカメラについて説明したが、画像再生装置を備える各種の電子機器に本実施の形態を適用することができる。また、上述の実施の形態では、表示部１２８、メインカメラ部１９０、およびサブカメラ部１９１を有するカメラについて説明したが、画像表示装置と視聴者を撮影する撮影装置とが別々になっていてもよい。

つまり、上述の実施の形態は、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、又は電子ブックリーダーなどの画像を表示する装置と、デジタルカメラ、携帯電話端末のカメラ、タブレット機器のカメラ、又は監視カメラなどの撮影装置とがあれば適用可能である。

なお、図１に示す例では、少なくとも操作部１７０、システム制御部１５０、メモリ１３２、メモリ制御部１１５、Ｄ／Ａ変換器１１３、表示部１２８、およびサブカメラ部１９１が画像再生装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０３，１０７ 撮像レンズ
１１５ メモリ制御部
１２２，１２５ 撮像部
１２４，１２７ 画像処理部
１２８ 表示部
１３２ メモリ
１５０ システム制御部
１７０ 操作部
１９０ メインカメラ部
１９１ サブカメラ部

Claims (8)

1. 動画を再生する動画再生手段と、
   再生された動画の視聴者を撮影して視聴者画像を得る撮影手段と、
   前記動画を再生している際に前記撮影手段で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けて記録する記録手段と、
   前記動画再生手段によって前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御手段と、
   を有することを特徴とする動画再生装置。
2. 前記制御手段は、前記第１の再生モードと異なる第２の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、所定の間隔で順次前記表示部に表示することを特徴とする請求項１に記載の動画再生装置。
3. 前記所定の条件は、前記視聴者画像における前記視聴者の表情が特定の表情を満たす条件であることを特徴とする請求項１又は２に記載の画像再生装置。
4. 前記記録手段は、前記所定の条件を満たした視聴者画像を前記動画関連情報と共に記録することを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
5. 前記制御手段は、前記所定の条件を満たした時点の動画フレームに対応する前記視聴者画像を前記表示部に表示することを特徴とする請求項４に記載の画像再生装置。
6. 前記表示部に表示された前記所定の条件を満たした時点の動画フレームに係る画像のいずれかを選択する選択手段を有し、
   前記制御手段は、前記選択手段によって前記所定の条件を満たした時点の動画フレームに係る画像のいずれかが選択されると、当該選択された画像に係るフレームから前記動画を再生することを特徴とする請求項４又は５に記載の画像再生装置。
7. 動画を再生するための画像再生装置の制御方法であって、
   動画を再生する動画再生ステップと、
   再生された動画の視聴者を、撮像部で撮影して視聴者画像を得る撮影ステップと、
   前記動画を再生している際に前記撮像部で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けてメモリに記録する記録ステップと、
   前記動画再生ステップで前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御ステップと、
   を有することを特徴とする制御方法。
8. 動画を再生するための画像再生装置で用いられる制御プログラムであって、
   前記画像再生装置が備えるコンピュータに、
   動画を再生する動画再生ステップと、
   再生された動画の視聴者を、撮像部で撮影して視聴者画像を得る撮影ステップと、
   前記動画を再生している際に前記撮像部で撮影した前記視聴者画像が所定の条件を満たす場合に、前記所定の条件を満たした時点の前記動画の時刻および前記所定の条件を満たした時点の前記動画のフレームを特定するための情報または前記所定の条件を満たした時点の前記動画のフレームを動画関連情報として前記動画に関連付けてメモリに記録する記録ステップと、
   前記動画再生ステップで前記動画を再生して表示部に表示する際、所定の第１の再生モードが選択されると、前記所定の条件を満たした動画関連情報に応じた動画フレームを、前記所定の条件を満たしたフレーム間隔で１フレームの画像として前記表示部に表示するとともに、前記動画における前記１フレームの画像の位置を特定して表示する制御ステップと、
   を実行させることを特徴とする制御プログラム。

Images