JP2010193026A - 画像再生装置、画像再生方法およびプログラム - Google Patents

Abstract

【課題】 画像およびその記録日時のデータに基づいて、適切に画像を再生することができる画像再生装置を提供する。
【解決手段】 画像再生装置１は、画像とその記録日時を記憶する画像記憶部１２と、画像記憶部１２から複数の画像およびその記録日時のデータを読み出し、記録日時が前後する画像の類似度を求める類似度算出部１４と、類似度に基づいて複数の画像の再生シナリオを生成するシナリオ生成部１６と、再生シナリオに従って複数の画像を再生表示する画像表示部２０とを備える。
【選択図】 図１

Description

本発明は、画像を再生する装置に関し、特に複数の画像を順次切り替えて再生する装置に関する。

従来から、デジタルカメラ等で撮影された複数のコンテンツ（静止画像や動画像）をユーザが楽しむために、画像を順次再生表示する、いわゆるスライドショーの再生を行う装置が提案されている。

特許文献１には、画像に対応づけられた情報に応じて、再生状態を変更制御する装置が開示されている。この装置では、例えば、関連情報に基づいて、対象画像の継続表示時間、エフェクト有無、エフェクト値、画像加工の有無等を制御する。関連情報としては、お気に入りを示す情報、タイトル名、被写体名、撮影日時、画像サイズ、ズーム倍率、被写体までの距離等が用いられている。

特許文献２には、スライドショーの視聴者の反応によって、画像の表示時間を変える装置が開示されている。例えば、視聴者の反応によって生じる音量が大きくなった場合や、視聴者の表情が変化した場合などに、その画像の表示時間を長くする。
特開２００６−１５７３２４号公報 特開２００８−１４１４８４号公報

しかしながら、特許文献１に記載された発明は、画像に関連情報が付されていない場合には使うことができない。画像再生を行えるようにするために、すべての画像にタイトル名等を付すことを要求すると、ユーザにとって非常に面倒である。また、特許文献２に記載された発明は、視聴者の音声や表情をうまく取得できない場合には使うことができない。

本発明は、上記背景に鑑み、画像およびその記録日時のデータに基づいて、適切に画像を再生することができる画像再生装置を提供することを目的とする。

本発明の画像再生装置は、画像とその記録日時を記憶する画像記憶部と、前記画像記憶部から複数の画像およびその記録日時のデータを読み出し、記録日時が前後する画像の類似度を求める類似度算出部と、前記類似度に基づいて前記複数の画像の再生シナリオを生成するシナリオ生成部と、前記再生シナリオに従って前記複数の画像を再生表示する画像表示部とを備える。

このように記録日時が前後する画像の類似度を用いて再生シナリオを生成することにより、画像の関連情報や視聴者の反応などの情報を用いないで画像再生を行うことができる。なお、「記録日時」とは、画像を記録媒体に記録した日時である。例えば、画像をデジタルカメラで撮影した場合には、撮影日時が記録日時に該当する。

本発明の画像再生装置において、前記シナリオ生成部は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも再生時間が短くなるように、各画像の再生時間を決定してもよい。

この構成により、類似する画像は短時間で切り替わり、類似しない画像は長時間かけて再生される。臨場感のある画像再生が可能となる。

本発明の画像再生装置において、前記シナリオ生成部は、前記類似度が所定の閾値より高い複数の画像を同時に表示する再生シナリオを生成してもよい。

この構成により、類似する画像をまとめて見ることができる。なお、所定の閾値は、トータルの再生時間とのバランスにより決定してもよい。すなわち、トータルの再生時間が長くてもよい場合には、所定の閾値を高くして、非常に類似した画像を同時表示するようにし、トータルの再生時間を短くしたい場合には、所定の閾値を低くして、同時表示する画像を多くしてもよい。

本発明の画像再生装置において、前記画像表示部は、同時に表示される複数の画像を画面内でランダムに配置して表示してもよい。

この構成により、再生を行うごとに複数の画像がランダムに配置されるので、視聴者の興味を惹くことができる。

本発明の画像再生装置において、前記シナリオ生成部は、前記類似度が所定の閾値より高い複数の画像のうちの一部の画像の表示を省略する再生シナリオを生成してもよい。この構成により、再生時間を短縮することができる。

本発明の画像再生装置は、再生のトータル時間を入力するトータル時間入力部を備え、前記シナリオ生成部は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも短い時間が割り当てられるように前記トータル時間を案分することによって各画像の再生時間を決定してもよい。この構成により、入力されたトータル時間に合わせて画像再生を行うことができる。

本発明の画像再生装置において、前記シナリオ生成部は、いずれかの画像の再生時間があらかじめ設定された最小再生時間より小さくなる場合には、前記類似度が所定の閾値より高い複数の画像を同時に表示する再生順序を生成し、前記再生順序での再生時間を決定してもよい。また、前記シナリオ生成部は、すべての画像の再生時間があらかじめ設定された最小再生時間以上になるまで、前記所定の閾値を段階的に下げて繰り返し再生時間の決定を行ってもよい。

この構成により、画像の再生時間が最小再生時間より短くならないようにしつつ、トータル時間に合わせて画像再生を行うことができる。

本発明の画像再生装置において、前記画像表示部は、同時に表示される複数の画像を画面内でランダムに配置して表示してもよい。

この構成により、再生を行うごとに複数の画像がランダムに配置されるので、視聴者の興味を惹くことができる。

本発明の画像再生装置において、前記シナリオ生成部は、いずれかの画像の再生時間があらかじめ設定された最小再生時間より小さくなる場合には、前記類似度が所定の閾値より高い複数の画像のうちの一部の画像の表示を省略する再生順序を生成し、前記再生順序での再生時間を決定してもよい。また、前記シナリオ生成部は、すべての画像の再生時間があらかじめ設定された最小再生時間以上になるまで、前記所定の閾値を段階的に下げて繰り返し前記再生時間の決定を行ってもよい。

この構成により、画像の再生時間が最小再生時間より短くならないようにしつつ、トータル時間に合わせて画像再生を行うことができる。

本発明の別の態様の画像再生装置は、画像を記憶する画像記憶部と、前記画像記憶部から複数の画像を読み出し、すべての画像の類似度を求める類似度算出部と、前記類似度が所定の閾値より高い画像が同じグループに含まれるように前記複数の画像をグループ分けし、同じグループに含まれる画像が連続して表示される再生シナリオを生成するシナリオ生成部と、前記再生シナリオに従って前記複数の画像を再生表示する画像表示部とを備える。

この構成により、類似する画像をグループ化して連続表示することにより、類似したシーン（例えば、海、山等）の画像を連続する再生シナリオを生成できる。

本発明の画像再生装置において、前記画像記憶部は、前記画像と共にその画像の撮影場所を示すデータを記憶し、前記類似度算出部は、前記撮影場所の近接度合に基づいて前記類似度を求めてもよい。この構成により、類似度を簡易に求めることができる。

本発明の画像再生装置において、前記画像表示部は、前記画像と共に再生時間の残り時間を表示してもよい。この構成により、表示中の画像の全体の中での位置づけを知ることができる。

本発明の画像再生装置において、前記シナリオ生成部は、前記画像に顔画像が含まれている場合には、その画像の再生時間を長くしてもよい。

顔が写っている画像は、視聴者にとって重要な画像と考えられるので、この構成により、重要な画像を長時間表示する適切な画像再生を行うことができる。

前記シナリオ生成部は、前記類似度に基づいて画像切替時のアニメーションを決定してもよい。

この構成により、次画像が前画像に類似するか否かをアニメーションによって知覚させることができる。

本発明の画像再生方法は、画像とその記録日時を記憶した画像記憶部から複数の画像およびその記録日時のデータを読み出すステップと、前記記録日時が前後する画像の類似度を求めるステップと、前記類似度に基づいて前記複数の画像の再生シナリオを生成するステップと、前記再生シナリオに従って前記複数の画像を再生表示するステップとを備える。

本発明のプログラムは、画像とその記録日時を記憶した画像記憶部に記憶された複数の画像を再生するためのプログラムであって、コンピュータに、前記画像記憶部から複数の画像およびその記録日時のデータを読み出すステップと、前記記録日時が前後する画像の類似度を求めるステップと、前記類似度に基づいて前記複数の画像の再生シナリオを生成するステップと、前記再生シナリオに従って前記複数の画像を再生表示するステップとを実行させる。

この構成により、記録日時が前後する画像の類似度を用いて再生シナリオを生成することにより、画像の関連情報や視聴者の反応などの情報を用いないで画像再生を行うことができる。なお、上記した本発明の画像再生装置の各種の構成を本発明の画像再生方法およびプログラムに適用することが可能である。

本発明は、画像の類似度を用いて再生シナリオを生成することにより、画像およびその記録日時のデータに基づいて適切に画像再生を行うことができる。

以下、本発明の実施の形態の画像再生装置および画像再生方法について、図面を用いて説明する。本発明の画像再生装置は、カーナビゲーション、車後席に設置されたモニタ、自宅に設置されたフォトフレームモニタなどに適用することができる。以下に説明する実施の形態では、画像再生装置をコンピュータによって構成し、デジタルカメラで撮影した複数の写真をスライドショー形式で再生する例について説明する。

（第１の実施の形態）
図１は、本実施の形態の画像再生装置１の構成を示す図である。画像再生装置１は、デジタルカメラ３０から画像を受信する画像受信部１０と、画像を記憶する画像記憶部１２とを有している。画像受信部１０は、デジタルカメラ３０で撮影した画像と、その画像の撮影日時のデータを受信する。なお、画像受信部１０は、撮影日時の他に、撮影場所を示すＧＰＳのデータや、焦点距離等のデータを併せて受信することとしてもよい。

画像受信部１０は、無線ＬＡＮ、有線ＬＡＮ、ＳＤカードをはじめとする記録メディア等を介して、画像および撮影日時のデータを受信する。画像受信部１０は、受信した画像および撮影日時のデータを画像記憶部１２に記憶する。

画像再生装置１は、画像記憶部１２から複数の画像およびその撮影日時のデータを読み出し、撮影日時が前後する画像の類似度を求める類似度算出部１４と、類似度に基づいて複数の画像の再生シナリオを生成するシナリオ生成部１６と、再生シナリオに従って複数の画像を再生表示する画像表示部２０とを有している。

図２（ａ）は、画像記憶部１２から読み出した画像を撮影日時に従って並べて示す図である。図２（ａ）に示す例では、画像Ｐ１、画像Ｐ２、画像Ｐ３、・・・画像Ｐｎ−１、画像Ｐｎの順に撮影されている。類似度算出部１４は、撮影日時が前後する画像の類似度を計算する。図２（ａ）に示す例では、画像Ｐ１と画像Ｐ２の類似度、画像Ｐ２と画像Ｐ３との類似度、・・・画像Ｐｎ−１と画像Ｐｎとの類似度を求める。

類似度算出部１４による類似度の計算は、公知の方法を用いる。例えば、米国特許６７１１２９３や「Distinctive Image Features from Scale-Invariant Keypoints」（David G.Lowe著）に記載されたＳＩＦＴ特徴点のマッチング数、カラーヒストグラム差分、明度ヒストグラム差分、フーリエ変換等で得られる周波数解析結果の差分、エッジ方位の分布の差分などを用いて画像の類似度を求める。エッジ方位については、垂直および水平エッジ抽出フィルタを適用した出力をそれぞれEv、Ehとすると、例えばarctan(Ev/Eh)[rad]で求めることができる。これらのパラメータのうちの一つのパラメータ、あるいは組み合わせを用いて類似度を求めてもよいし、いくつかのパラメータの重み付き和を用いてもよい。

ここで、ＳＩＦＴ特徴点のマッチング数を用いて類似度を計算する例について説明する。まず、比較対象の画像中からＳＩＦＴ特徴量を抽出する。次に、それぞれの画像で得られたＳＩＦＴ特徴量間の距離を計算し、その距離がある閾値以下となる特徴量の個数（マッチング数）を算出する。このマッチング数が画像の類似度を示す。マッチング数が多いほど、類似度が大きいことになる。

複数のパラメータを使う例として、重み付き和の計算について説明する。重み付き和は、例えば、重み付き和＝α１・ＳＩＦＴマッチング数+α２・カラーヒストグラム差分+α３・明度カラーヒストグラム差分+・・・の算式により計算する。重み付き和の値が類似度を示す。

シナリオ生成部１６は、再生シナリオとして各画像の再生時間を決定する。なお、本実施の形態では、撮影日時の古い画像から再生する。シナリオ生成部１６は、類似度に基づいて各画像の再生時間を決定する再生時間決定部１８を有している。再生時間決定部１８は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも再生時間が短くなるように、各画像の再生時間を決定する。

図２（ｂ）は、類似度と再生時間との関係を示す図である。再生時間決定部１８は、図２（ｂ）に示す関係に従って、再生時間を決定する。類似度がＲ１からＲ２の間にあるときには、類似度の値に従って再生時間をＴ１からＴ２に線形に変化させる。この例では、再生時間の上限Ｔ１と下限Ｔ２を設けている。すなわち、類似度がＲ１より小さいときには、再生時間をＴ１で一定とし、類似度がＲ２より大きいときには再生時間をＴ２で一定とする。

なお、類似度と再生時間との関係は図２（ｂ）に示す関係に限定されることなく、類似度が高い画像の方が、類似度が低い画像より再生時間が短くなるような関係であればよい。図２（ｂ）では、類似度Ｒ１と類似度Ｒ２との間において、類似度を再生時間に対して線形に変える例について説明しているが、再生時間は類似度に対して非線形でもよい。

画像表示部２０は、シナリオ生成部１６にて生成されたシナリオ、すなわち各画像の再生時間に従って、画像記憶部１２から読み出した画像の再生を行う。

上記した類似度算出部１４、シナリオ生成部１６、画像表示部２０は、類似度算出用モジュール、シナリオ生成用モジュール、画像表示用モジュールを有するプログラムをコンピュータのＣＰＵにて実行することによって実現してもよい。このプログラムも本発明の範囲に含まれる。

図３は、画像再生装置１の動作を示す図である。画像再生装置１は、デジタルカメラ３０から画像および撮影日時のデータを受信し、受信した画像およびその撮影日時のデータを画像記憶部１２に記憶する（Ｓ１０）。なお、画像記憶部１２にすでに記憶されている画像の再生を行う場合には、デジタルカメラ３０から新たに画像を受信する必要はない。次に、類似度算出部１４は、画像記憶部１２に記憶された画像およびその撮影日時のデータを読み出し、撮影日時が前後する画像の類似度を計算する（Ｓ１２）。類似度算出部１４は、算出した類似度のデータをシナリオ生成部１６に渡す。

続いて、シナリオ生成部１６は、類似度のデータを用いて各画像の再生時間を決定し（Ｓ１４）、決定した再生時間のデータを画像表示部２０に渡す。画像表示部２０は、画像記憶部１２から画像を読み出し、撮影日時の順に表示する。この際、画像表示部２０は、各画像をシナリオ生成部１６から渡された再生時間のデータに従って表示する（Ｓ１６）。以上、第１の実施の形態の画像再生装置１の構成および動作について説明した。

第１の実施の形態の画像再生装置１は、撮影日時が前後する画像の類似度を用いて再生時間を決定するので、画像自体の情報に基づいて再生シナリオを生成することができる。画像の関連情報を用いないので、通常のデジタルカメラ３０で撮影した画像を画像再生装置１にて再生することができる。

また、類似度が高い場合には短時間で画像が切り替わり、類似度が低い場合には長時間再生されるので、臨場感のある画像再生を行える。

（第２の実施の形態）
図４は、第２の実施の形態の画像再生装置２の構成を示す図である。第２の実施の形態の画像再生装置２の基本的な構成は、第１の実施の形態の画像再生装置１と同じである。第２の実施の形態の画像再生装置２は、再生のトータル時間の入力を受け付けるトータル時間入力部２４を有し、入力されたトータル時間内に収まるように画像再生を行う。

画像再生装置２は、再生時間決定部１８は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも短い時間が割り当てられるようにトータル時間を案分することによって各画像の再生時間を決定する。具体的には、類似度算出部１４にて算出した類似度の総和を計算し、次に、ｉ番目の画像ｉの再生時間を以下の式（１）によって求める。
画像ｉの再生時間=トータル時間×（画像ｉと画像ｉ+１の類似度）／類似度の総和
・・・（１）

シナリオ生成部１６は、一つの画面に表示する複数の画像を選択する同時表示画像選択部２２を有している。同時表示画像選択部２２は、再生時間決定部１８にて決定した画像の再生時間のうち、いずれかの再生時間が最小再生時間（例えば、０．５秒）より短い場合に、一つの画面に表示する複数の画像を選択する。表示された画像を認識することが困難にならないように、画像の最小再生時間を確保するためである。最小再生時間は、ユーザの年齢層等に応じて設定できるようにしてもよい。同時表示画像選択部２２は、全ての画像間の類似度のうち、所定の閾値より類似度の高い複数の画像を選択する。

シナリオ生成部１６は、選択された複数の画像を１つの画面に表示する再生順序を生成し、再度、各画像の再生時間を決定する。なお、再生順序は基本的に撮影日時の順序であるが、ここでの再生順序の生成とは、同時表示画像選択部２２において選択された複数の画像を同時に表示するようにした再生順序を生成することを意味する。

複数の画像を同時に表示する再生順序での再生時間を決定した結果、いずれかの画像の再生時間が最小再生時間より短い場合には、再度、同時表示画像選択部２２にて同時表示する画像を選択する。この際に用いる閾値は、前回、複数の画像を選択するために用いた閾値より小さくする。これにより、前回よりも多くの画像が選択されることになり、１回の画像の表示時間を長くできる。全ての画像の再生時間が最小再生時間以上となった場合には、再生シナリオを確定させる。

画像表示部２０は、シナリオ生成部１６にて生成されたシナリオに従って、画像記憶部１２から読み出した画像の再生を行う。

図５（ａ）および図５（ｂ）は、複数の画像を同時表示した画面例を示す図である。画像表示部２０は、複数の画像を同時表示する場合に、図５（ａ）に示すように並べて表示してもよいし、図５（ｂ）に示すように一部を重ねて表示してもよい。また、図５（ａ）および図５（ｂ）では、複数の画像を同じサイズで表示しているが、画像のサイズは異なってもよい。また、画像の形状についても長方形に限るものではなく、楕円、円、多角形等でもよい。また、画像表示部２０は、複数の画像の配置は再生のたびにランダムに変更して表示してもよい。

図６は、画像再生装置２の動作を示す図である。画像再生装置２は、デジタルカメラ３０から画像および撮影日時のデータを受信し、受信した画像およびその撮影日時のデータを画像記憶部１２に記憶する（Ｓ２０）。画像再生装置２は、トータル時間入力部２４にて、再生のトータル時間の入力を受け付ける（Ｓ２２）。なお、トータル時間は、再生時間決定に必要な情報なので、再生時間を決定するステップの前に入力されていればよく、トータル時間の入力は、必ずしも画像受信の直後に行わなければならないものではない。

次に、類似度算出部１４は、画像記憶部１２に記憶された画像およびその撮影日時のデータを読み出し、撮影日時が前後する画像の類似度を計算する（Ｓ２４）。類似度算出部１４は、算出した類似度のデータをシナリオ生成部１６に渡す。

続いて、シナリオ生成部１６は、類似度のデータを用いて各画像の再生時間を決定し（Ｓ２６）、いずれかの画像の再生時間が最小再生時間より短くないか判定する（Ｓ２８）。いずれかの画像の再生時間が最小再生時間より短い場合には（Ｓ２８でＹＥＳ）、同時表示画像選択部２２は、同時表示する画像を選択するための閾値を決定し（Ｓ３０）、閾値を用いて同時表示する複数の画像を選択する（Ｓ３２）。

その後、選択した画像を同時表示する再生順序において、再び、再生時間を決定し（Ｓ２６）、いずれかの画像の再生時間が最小再生時間より短くないか判定する（Ｓ２８）。再度、いずれかの画像の再生時間が最小再生時間より短い場合には（Ｓ２８でＹＥＳ）、同時画像選択部２２は、前回より小さい閾値を決定し（Ｓ３０）、閾値を用いて同時表示する複数の画像を選択する（Ｓ３６）。このように、すべての画像の再生時間が最小再生時間以上になるまで、同時表示する画像の選択を繰り返し行う。

すべての画像の再生時間も最小再生時間以上である場合には（Ｓ２８でＮＯ）、シナリオ生成部１６は、再生順序と再生時間のデータを画像表示部２０に渡す。画像表示部２０は、画像記憶部１２から画像を読み出し、撮影日時の順に表示する。この際、画像表示部２０は、画像を再生順序、再生時間のデータに従って表示する（Ｓ３４）。以上、第２の実施の形態の画像再生装置２の構成および動作について説明した。

第２の実施の形態の画像再生装置２は、入力されたトータル時間に収まるように再生シナリオを生成し、再生シナリオに従って画像を再生するので、ユーザが所望する時間内に再生を終了させることができる。

また、第２の実施の形態の画像再生装置２は、必要に応じて、複数の画像を同時表示することにより、各画像の最小再生時間を確保するので、各画像を適切に認識できる時間で画像を切り替える画像再生を行える。

（第３の実施の形態）
図７は、第３の実施の形態の画像再生装置３の構成を示す図である。第３の実施の形態の画像再生装置３の基本的な構成は、第２の実施の形態の画像再生装置２と同じである。第３の実施の形態の画像再生装置３は、同時表示画像選択部２２に代えて、省略画像選択部２６を有している。

省略画像選択部２６は、再生時間決定部１８にて決定した画像の再生時間のうち、いずれかの再生時間が最小再生時間（例えば、０．５秒）より短い場合に、表示を省略する画像を選択する。表示された画像を認識することが困難にならないように、画像の最小再生時間を確保するためである。省略画像選択部２６は、類似度の高い複数の画像の一部を省略する。

シナリオ生成部１６は、一部の画像を省略する再生順序を生成し、再度、各画像の再生時間を決定する。なお、再生順序は基本的に撮影日時の順序であるが、ここでの再生順序の生成は、省略画像選択部２６において選択された画像を省略した再生順序を生成することを意味する。

一部を省略した再生順序での再生時間を決定した結果、いずれかの画像の再生時間が最小再生時間より短い場合には、省略する画像を選択するための閾値を下げて、再度、省略画像選択部２６にて省略する画像を選択し、全ての画像の再生時間が最小再生時間以上となった場合に、再生シナリオを確定させる。

図８は、第３の実施の形態の画像再生装置３の動作を示す図である。第３の実施の形態の画像再生装置３の基本的な動作は、第２の実施の形態の画像再生装置２の動作と同じである。第３の実施の形態の画像再生装置３は、同時表示する画像を選択するステップに代えて、省略する画像を選択するステップ（Ｓ３６）を行う。すなわち、シナリオ生成部１６にて各画像の再生時間を決定した後（Ｓ２６）、いずれかの画像の再生時間が最小再生時間より短くないか判定し（Ｓ２８）、いずれかの画像の再生時間が最小再生時間より短い場合には（Ｓ２８でＹＥＳ）、省略画像選択部２６にて再生を省略すべき画像を選択（Ｓ３８）。一部の画像を省略した再生順序において、再び、再生時間を決定し（Ｓ２６）、いずれかの画像の再生時間が最小再生時間より短くないか判定する（Ｓ２８）。すべての画像の再生時間が最小再生時間以上になるまで、省略する画像の選択を繰り返し行う。以上、第３の実施の形態の画像再生装置の構成および動作について説明した。

第３の実施の形態の画像再生装置３は、入力されたトータル時間に収まるように再生シナリオを生成し、再生シナリオに従って画像を再生するので、ユーザが所望する時間内に再生を終了させることができる。

また、第３の実施の形態の画像再生装置３は、必要に応じて、類似度の高い複数の画像のうちの一部の画像を省略することにより、各画像の再生時間が最小再生時間を確保するので、各画像を適切に認識できる時間で画像を切り替える画像再生を行える。

（第４の実施の形態）
図９は、第４の実施の形態の画像再生装置４の構成を示す図である。第４の実施の形態の画像再生装置４の基本的な構成は、第１の実施の形態の画像再生装置１と同じである。第４の実施の形態では、シナリオ生成部１６は、画像の再生順序を決定する再生順序決定部２８を有している。

再生順序決定部２８は、類似度が所定の閾値より高い画像が同じグループに含まれるように複数の画像をグループ分けし、同じグループに含まれる画像が連続して表示されるように再生順序を決定する。

図１０（ａ）は、画像記憶部１２から読み出した複数の画像の例を示す図である。図１０（ａ）では、撮影日時の順に従って、画像にＰ１、Ｐ２、・・・Ｐ１５の符号を付している。ここでは、１５枚の画像を例として説明しているが、画像の枚数は１５枚に限定されない。

第４の実施の形態では、類似度算出部１４は、撮影日時の前後する画像間の類似度だけではなく、すべての画像間の類似度を算出する。再生順序決定部２８は、類似度が所定の閾値以下の画像が同じグループに含まれるように、複数の画像をグループ分けする。図１０（ａ）に示す例では、１５枚の画像が、グループＡ〜Ｃの３つのグループに分類されている。再生順序決定部２８は、それぞれのグループに含まれる複数の画像が連続して表示されるように再生順序を決定する。各グループをどのような順序で再生するかは、ランダムに決定してもよいし、撮影日時の早い画像を含むグループからとしてもよい。

図１０（ｂ）および図１０（ｃ）は、再生順序の例を示す図である。図１０（ｂ）に示す例では、グループＡに含まれる画像Ｐ１〜Ｐ５、Ｐ９、Ｐ１０を連続して再生し、次に、グループＢに含まれる画像Ｐ６〜Ｐ８、Ｐ１１、Ｐ１２を再生し、最後にグループＣに含まれる画像Ｐ１３〜Ｐ１５を再生する。

図１０（ｃ）に示す例では、グループＢに含まれる画像Ｐ６〜Ｐ８、Ｐ１１、Ｐ１２を再生し、次に、グループＡに含まれる画像Ｐ１〜Ｐ５、Ｐ９、Ｐ１０を連続して再生し、最後にグループＣに含まれる画像Ｐ１３〜Ｐ１５を再生する。

再生時間決定部１８は、再生順序決定部２８にて決定された再生順序が前後する画像の類似度に基づいて、再生時間を決定する。

図１１は、第４の実施の形態の画像再生装置４の動作を示す図である。画像再生装置４は、デジタルカメラ３０から画像および撮影日時のデータを受信し、受信した画像およびその撮影日時のデータを画像記憶部１２に記憶する（Ｓ４０）。次に、類似度算出部１４は、画像記憶部１２に記憶された画像およびその撮影日時のデータを読み出し、すべての画像間の類似度を求める（Ｓ４２）。類似度算出部１４は、算出した類似度のデータをシナリオ生成部１６に渡す。

続いて、シナリオ生成部１６の再生順序決定部２８は、類似度が所定の閾値以上に大きい画像が同じグループに含まれるように複数の画像をグループ分けする（Ｓ４４）。再生順序決定部２８は、同じグループ内の画像が連続して表示するように再生順序を決定する（Ｓ４６）。

シナリオ生成部１６の再生時間決定部１８は、再生順序が前後する画像の類似度に基づいて各画像の再生時間を決定する（Ｓ４８）。シナリオ生成部１６は、決定した再生順序および再生時間のデータを画像表示部２０に渡す。画像表示部２０は、画像記憶部１２から画像を読み出し、再生順序に従って表示する。この際、画像表示部２０は、各画像を再生時間のデータに従って表示する（Ｓ５０）。以上、第４の実施の形態の画像再生装置４の構成および動作について説明した。

第４の実施の形態の画像再生装置４は、類似度の高い画像を連続して表示する。類似度の高い画像は、シーン（海、山等）が同じ画像である場合が多いので、ユーザは、同じシーンの画像を続けて見ることができる。また、類似度の高い画像、すなわち、前の画像との差分が小さい画像が表示されるので、再生時間を短くしても画像の内容を容易に理解することができる。

以上、本発明の画像再生装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した第２の実施の形態では、いずれかの画像の再生時間が最小再生時間より小さくなった場合に同時表示画像を選択し、第３の実施の形態では、省略画像を選択する例を説明したが、最小再生時間とは関係なく、同時表示画像の選択や省略画像の選択を行ってもよい。例えば、類似度が所定の閾値より高く、似通った画像が連続している場合に、同時表示画像の選択や省略画像の選択を行い、同時表示や一部画像を省略する再生シナリオを生成してもよい。

上記した実施の形態では、類似度算出部は、ＳＩＦＴ特徴量を用いて類似度を求める例について説明したが、画像を撮影した場所のＧＰＳデータが得られている場合には、前後する画像の撮影場所の距離に基づいて類似度を求めてもよい。

上記した実施の形態では、類似度に基づいて各画像の再生時間を決定しているが、類似度に加えて画像の内容に基づいて再生時間を決定してもよい。例えば、画像に顔画像が写っている場合（人物のアップ、または、集合写真等）には、類似度に基づいて決定した再生時間に所定時間をプラスしてもよい。顔画像が写っている画像はユーザにとって重要な画像であると考えられる。顔画像の再生時間を長くすることにより、適切な画像再生を行える。なお、画像中に映っている顔画像の検出については、例えば（参考文献：Henry A. Rowleyほか著「Rotation Invariant Neural Network-Based Face Detection」）などの公知の方法を用いることができる。また、画像中に特定の人物の顔を何回か検出した場合、その人物は重要であるとして、その顔を含む写真の全体あるいは一部（顔領域）に対してアニメーション効果を追加したりしてもよい。

連続する複数画像間で撮影対象の一部が重なっている場合、それらの画像をパノラマ合成し、合成された画像を表示してもよい。対象が重なっているかどうかは、ＳＩＦＴ特徴点の対応関係から判断することができる（例えば、画像中のＳＩＦＴ特徴点が平行移動しているような場合、同じ撮影対象が平行移動していると想定される）。表示の方法は、パン（横に流す）などがある。

また、連続する複数画像間で撮影対象の一部が重なっている場合、それらの画像から撮影対象の３次元形状を推定することができる（一般的なステレオ視の原理）。その場合、復元された３次元形状が分かるような表現方法（例：ポリゴン＋テクスチャマッピング）により表示してもよい。

上記の実施の形態において、画像表示部は、画像と共に再生の残り時間や経過時間を表示してもよい。図１２（ａ）は、再生の経過時間および残り時間を示すバー３２を表示した画面例を示す図、図１２（ｂ）は、再生の残り時間を数字３４で表示した画面例を示す図である。このように再生の残り時間または経過時間を表示することにより、ユーザは、現在表示中の画像の位置づけを知ることができる。すなわち、現在表示中の写真が全体の半分くらいの位置なのか、それとも最後の方なのか等を知ることができる。

上記の実施の形態では、画像の類似度に基づいて再生時間、同時表示の画像選択、省略画像の選択、再生順序等の再生シナリオを変更する例について説明したが、別の要素を変更してもよい。例えば、類似度に基づいて画像切替時のアニメーションを変更してもよい。これにより、次画像が前画像に類似するか否かをアニメーションによって知覚させることができる。例えば、類似する画像の場合には瞬間的に画像を切り替え、類似しない画像の場合にはフェードイン、フェードアウトのアニメーションを表示する。これにより、シーンの切り替わりであることをユーザに印象付けることができる。

本発明は、画像とその記録日時に基づいて画像の再生を行うことができ、複数の画像を順次切り替えて再生表示する装置等として有用である。

第１の実施の形態の画像再生装置の構成を示す図である。 （ａ）画像記憶部から読み出した画像を撮影日時に従って並べて示す図である。（ｂ）類似度と再生時間との関係を示す図である。 第１の実施の形態の画像再生装置の動作を示す図である。 第２の実施の形態の画像再生装置の構成を示す図である。 （ａ）複数の画像が同時表示した画面例を示す図である。（ｂ）複数の画像が同時表示した画面例を示す図である。 第２の実施の形態の画像再生装置の動作を示す図である。 第３の実施の形態の画像再生装置の構成を示す図である。 第３の実施の形態の画像再生装置の動作を示す図である。 第４の実施の形態の画像再生装置の構成を示す図である。 （ａ）画像記憶部から読み出した複数の画像の例を示す図である。（ｂ）再生順序の例を示す図である。（ｃ）再生順序の例を示す図である。 第４の実施の形態の画像再生装置の動作を示す図である。 （ａ）再生の経過時間および残り時間を示すバーを表示した画面例を示す図である。（ｂ）再生の残り時間をデジタル表示した画面例を示す図である。

１〜４ 画像再生装置
１０ 画像受信部
１２ 画像記憶部
１４ 類似度算出部
１６ シナリオ生成部
１８ 再生時間決定部
２０ 画像表示部
２２ 同時表示画像選択部
２４ トータル時間入力部
２６ 省略画像選択部
２８ 再生順序決定部

Claims (18)

1. 画像とその記録日時を記憶する画像記憶部と、
   前記画像記憶部から複数の画像およびその記録日時のデータを読み出し、記録日時が前後する画像の類似度を求める類似度算出部と、
   前記類似度に基づいて前記複数の画像の再生シナリオを生成するシナリオ生成部と、
   前記再生シナリオに従って前記複数の画像を再生表示する画像表示部と、
   を備える画像再生装置。
2. 前記シナリオ生成部は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも再生時間が短くなるように、各画像の再生時間を決定する請求項１に記載の画像再生装置。
3. 前記シナリオ生成部は、前記類似度が所定の閾値より高い複数の画像を同時に表示する再生シナリオを生成する請求項１に記載の画像再生装置。
4. 前記画像表示部は、同時に表示される複数の画像を画面内でランダムに配置して表示する請求項３に記載の画像再生装置。
5. 前記シナリオ生成部は、前記類似度が所定の閾値より高い複数の画像のうちの一部の画像の表示を省略する再生シナリオを生成する請求項１に記載の画像再生装置。
6. 再生のトータル時間を入力するトータル時間入力部を備え、
   前記シナリオ生成部は、前の画像との類似度が高い画像の方が、前の画像との類似度が低い画像よりも短い時間が割り当てられるように前記トータル時間を案分することによって各画像の再生時間を決定する請求項１に記載の画像再生装置。
7. 前記シナリオ生成部は、いずれかの画像の再生時間があらかじめ設定された最小再生時間より小さくなる場合には、前記類似度が所定の閾値より高い複数の画像を同時に表示する再生順序を生成し、前記再生順序での再生時間を決定する請求項６に記載の画像再生装置。
8. 前記シナリオ生成部は、すべての画像の再生時間があらかじめ設定された最小再生時間以上になるまで、前記所定の閾値を段階的に下げて繰り返し再生時間の決定を行う請求項７に記載の画像再生装置。
9. 前記画像表示部は、同時に表示される複数の画像を画面内でランダムに配置して表示する請求項７または８に記載の画像再生装置。
10. 前記シナリオ生成部は、いずれかの画像の再生時間があらかじめ設定された最小再生時間より小さくなる場合には、前記類似度が所定の閾値より高い複数の画像のうちの一部の画像の表示を省略する再生順序を生成し、前記再生順序での再生時間を決定する請求項６に記載の画像再生装置。
11. 前記シナリオ生成部は、すべての画像の再生時間があらかじめ設定された最小再生時間以上になるまで、前記所定の閾値を段階的に下げて繰り返し前記再生時間の決定を行う請求項１０に記載の画像再生装置。
12. 画像を記憶する画像記憶部と、
    前記画像記憶部から複数の画像を読み出し、すべての画像の類似度を求める類似度算出部と、
    前記類似度が所定の閾値より高い画像が同じグループに含まれるように前記複数の画像をグループ分けし、同じグループに含まれる画像が連続して表示される再生シナリオを生成するシナリオ生成部と、
    前記再生シナリオに従って前記複数の画像を再生表示する画像表示部と、
    を備える画像再生装置。
13. 前記画像記憶部は、前記画像と共にその画像の撮影場所を示すデータを記憶し、
    前記類似度算出部は、前記撮影場所の近接度合に基づいて前記類似度を求める請求項１〜１２のいずれかに記載の画像再生装置。
14. 前記画像表示部は、前記画像と共に再生時間の残り時間を表示する請求項１〜１３のいずれかに記載の画像再生装置。
15. 前記シナリオ生成部は、前記画像に顔画像が含まれている場合には、その画像の再生時間を長くする請求項１〜１４のいずれかに記載の画像再生装置。
16. 前記シナリオ生成部は、前記類似度に基づいて画像切替時のアニメーションを決定する請求項１〜１５のいずれかに記載の画像再生装置。
17. 画像とその記録日時を記憶した画像記憶部から複数の画像およびその記録日時のデータを読み出すステップと、
    前記記録日時が前後する画像の類似度を求めるステップと、
    前記類似度に基づいて前記複数の画像の再生シナリオを生成するステップと、
    前記再生シナリオに従って前記複数の画像を再生表示するステップと、
    を備える画像再生方法。
18. 画像とその記録日時を記憶した画像記憶部に記憶された複数の画像を再生するためのプログラムであって、コンピュータに、
    前記画像記憶部から複数の画像およびその記録日時のデータを読み出すステップと、
    前記記録日時が前後する画像の類似度を求めるステップと、
    前記類似度に基づいて前記複数の画像の再生シナリオを生成するステップと、
    前記再生シナリオに従って前記複数の画像を再生表示するステップと、
    を実行させるプログラム。