JP5222718B2

JP5222718B2 - 立体画像再生装置、立体画像再生プログラム、撮像装置

Info

Publication number: JP5222718B2
Application number: JP2008333191A
Authority: JP
Inventors: 一紀田村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2013-06-26
Anticipated expiration: 2028-12-26
Also published as: JP2010154479A

Description

本発明は、複数の画像データで構成される立体画像データを表示手段に出力して立体画像の再生を行う再生手段を有する立体画像再生装置、立体画像再生プログラム、及びこの立体画像再生装置を備える撮像装置に関する。

従来、複数の視点に対応する複数の撮像手段で撮影して得られた複数の画像データを、レンティキュラレンズを貼り付けた表示パネルに合成して表示することで、立体視を可能にしたデジタルカメラが提案されている（特許文献１参照）。

このようなデジタルカメラにおいては、再生中の立体画像を別の立体画像に切り替える際、切り替え前後で主要被写体の視差が変化してしまう。このため、立体画像を閲覧する際に疲労や違和感を伴ってしまう。これは、デジタルカメラに限らず、立体視可能な表示部で立体画像を再生する電子機器全般に言えることである。

特開２００８−１６７０６６号公報

本発明は、上記事情に鑑みてなされたものであり、立体画像を閲覧する際の疲労や違和感を軽減することが可能な立体画像再生装置、立体画像再生プログラム、及びこの立体画像再生装置を備えた撮像装置を提供することを目的とする。

本発明の立体画像再生装置は、立体画像データを表示手段に出力して立体画像の再生を行う再生手段を有する立体画像再生装置であって、
第一の立体画像の再生中に第二の立体画像の再生指示がなされた場合、前記第一の立体画像を再生するのに必要な第一の立体画像データと、前記第二の立体画像を再生するのに必要な第二の立体画像データとに基づいて、第三の立体画像を再生するのに必要な第三の立体画像データを準備する画像データ準備手段と、
前記第一の立体画像及び前記第二の立体画像の主要被写体とは関係のない、視差がそれぞれ異なる画像パターンを含んでいる多数の中間画像データが記録された中間画像データベースと、を備え、
前記画像データ準備手段は、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の視差と前記第二の立体画像データの主要被写体の第二の視差との間の視差となる前記画像パターンを含む中間画像データを、前記中間画像データベースから読み出して、該読み出した中間画像データを前記第三の画像データとして準備し、
前記再生手段は、前記再生指示に応じて、前記第三の立体画像データを前記表示手段に出力して前記第三の立体画像を再生した後、前記第二の立体画像データを前記表示手段に出力して第二の立体画像を再生する。

本発明の立体画像再生プログラムは、コンピュータを、前記立体画像再生装置の各手段として機能させるためのプログラムである。

本発明の撮像装置は、複数の撮像手段と、前記複数の撮像手段の各々から得られた画像データを立体視可能に表示する表示手段と、前記立体画像再生装置とを備える。

本発明によれば、立体画像を閲覧する際の疲労や違和感を軽減することが可能な立体画像再生装置、立体画像再生プログラム、及びこの立体画像再生装置を備えた撮像装置を提供することができる。

図１は、本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。図示するデジタルカメラの撮像系は、右眼撮像系と左眼撮像系とを含む。右眼撮像系には撮影レンズ１Ｒと、固体撮像素子５Ｒと、この両者の間に設けられた絞り２Ｒと、赤外線カットフィルタ３Ｒと、光学ローパスフィルタ４Ｒとが含まれる。左眼撮像系には撮影レンズ１Ｌと、固体撮像素子５Ｌと、この両者の間に設けられた絞り２Ｌと、赤外線カットフィルタ３Ｌと、光学ローパスフィルタ４Ｌとが含まれる。図１に示すデジタルカメラは、このような撮像系を有することにより、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、所定のプログラムによって動作するプロセッサを主体に構成されている。システム制御部１１は、フラッシュ発光部１２を制御し、レンズ駆動部８を制御して撮影レンズ１Ｒ，１Ｌの位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２Ｒ，２Ｌの開口量を制御して露光量調整を行ったりする。

又、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５Ｒ，５Ｌを駆動し、撮影レンズ１Ｒ，１Ｌを通して撮像した被写体画像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５Ｒの出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６Ｒと、このアナログ信号処理部６Ｒから出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７Ｒと、固体撮像素子５Ｌの出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６Ｌと、このアナログ信号処理部６Ｌから出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７Ｌとを備え、これらはシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７Ｒ，７Ｌから出力される撮像信号にそれぞれ所定のデジタル信号処理（補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等）を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、後述する立体画像再生時に用いる中間画像データが登録される中間画像データベース１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、画像データを立体視可能に表示する表示部２３が接続される表示制御部２２とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

以下の説明では、Ａ／Ｄ変換回路７Ｒから出力されてデジタル信号処理を施して得られた画像データを右眼用画像データと言い、Ａ／Ｄ変換回路７Ｌから出力されてデジタル信号処理を施して得られた画像データを左眼用画像データと言う。これら右眼用画像データと左眼用画像データは、互いに関連付けられ、又は、デジタル信号処理部１７により合成されて１つの立体画像データとして記録媒体２１に記録される。また、立体画像データには付属情報が付加されて記録される。付属情報とは、立体画像データに基づく立体画像に含まれる主要被写体の位置（主要被写体の中心点の画面上での座標値）や、その位置によって決まる主要被写体の両眼視差（輻輳角と同義、以下、単に視差という。）等の情報を含む。これらの情報は、撮影時にシステム制御部１１で求めておいても良いし、撮影後に画像処理等によって求めておいても良い。

中間画像データベース１９には、主要被写体は同一のデータであるが、その主要被写体の視差がそれぞれ異なる多数の中間画像データが記録されている。この中間画像データは、表示部２３において立体画像を再生するのに必要な右眼用画像データ及び左眼用画像データと主要被写体の視差情報とで構成されている。中間画像データベース１９には、視差の取り得る値の数だけ中間画像データが記録されている。

表示部２３は、かまぼこ状のレンズ群を有したいわゆるレンティキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。この表示部２３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、固体撮像素子５Ｒ，５Ｌで捉えた画像がスルー表示され、電子ファインダとして利用される。

図２は、表示部２３で立体視表示が可能となる仕組みについて説明するための図である。表示部２３の前面（観者の視点（左眼ＥＬ、右眼ＥＲ）が存在するｚ軸方向）には、レンティキュラレンズ２４ａが配置されている。レンティキュラレンズ２４ａは、複数の円筒状凸レンズを図２中のｘ軸方向に連ねることで構成される。

表示部２３に表示される立体画像の表示領域は、右眼用短冊画像表示領域２４Ｒと左眼用短冊画像表示領域２４Ｌとから構成されている。右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌは、それぞれ画面の図２中ｙ軸方向に細長い短冊形状をしており、図２中ｘ軸方向に交互に配置される。

レンティキュラレンズ２４ａの各凸レンズは、観者の所与の観察点を基準として、それぞれ一組の右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌを含む短冊集合画像表示領域２４ｃに対応した位置に形成される。

図２では、観者の右眼ＥＲには、レンティキュラレンズ２４ａの光屈折作用により、表示部２３の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。また、観者の左眼ＥＬには、レンティキュラレンズ２４ａの光屈折作用により、表示部２３の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。したがって、観者の右眼は右眼用短冊画像のみを、観者の左眼は左眼用短冊画像のみを見ることになり、これら右眼用短冊画像の集合である右眼用画像及び左眼用短冊画像の集合である左眼用画像による左右視差により立体視が可能となる。

図１に示すデジタルカメラでは、システム制御部１１が画像再生プログラムを実行することにより、記録媒体２１に記録されている画像データの再生時に以下に説明するような処理を実施する。

図３は、図１に示すデジタルカメラの画像再生時の動作フローを示す図である。

画像再生モードに設定され、右眼用画像データａＲと左眼用画像データａＬからなる立体画像データａの再生指示が操作部１４からなされると、システム制御部１１は記録媒体２１に記録されている右眼用画像データａＲと左眼用画像データａＬをメインメモリ１６に読み出し、これらを圧縮伸張処理部１８にて伸張する。システム制御部１１は、伸張後の右眼用画像データａＲと左眼用画像データａＬを表示用の形式に変換後、右眼用画像データａＲを右眼用短冊画像表示領域２４Ｒに表示させ、左眼用画像データａＬを左眼用短冊画像表示領域２４Ｌに表示させる。これにより、表示部２３には立体画像データａに基づく立体画像Ａが表示され（ステップＳ１）、立体画像Ａの再生が行われる。なお、立体画像データが右眼用画像データと左眼用画像データを予め合成済みのデータである場合には、そのデータを表示用の形式に変換後、表示部２３に出力するだけで立体画像が再生される。

立体画像Ａの再生中、操作部１４の操作により、右眼用画像データｂＲと左眼用画像データｂＬを含んで構成されている立体画像データｂへの再生切り替え指示があると（ステップＳ２：ＹＥＳ）、システム制御部１１は、立体画像データａの付属情報から立体画像データａの主要被写体の視差情報を読み出し（ステップＳ３）、立体画像データｂの付属情報から立体画像データｂの主要被写体の視差情報を読み出す（ステップＳ４）。

次に、システム制御部１１は、立体画像データａの主要被写体の視差情報と立体画像データｂの主要被写体の視差情報を参照し、中間画像データベース１９から、立体画像データａの主要被写体の視差Ｓａと立体画像データｂの主要被写体の視差Ｓｂとの間の視差となる主要被写体を含む中間画像データを読み出す（ステップＳ５）。

例えば、図４に示すように、立体画像データａの主要被写体の視差Ｓａが４０度であり、立体画像データｂの主要被写体の視差Ｓｂが６０度であった場合、システム制御部１１は、視差が４０度と６０度の間の５０度となる主要被写体を含む中間画像データを読み出す。

次に、システム制御部１１は、読み出した中間画像データを構成する右眼用画像データを右眼用短冊画像表示領域２４Ｒに表示させ、左眼用画像データを左眼用短冊画像表示領域２４Ｌに表示させる。これにより、表示部２３には中間画像データに基づく中間画像が表示され（ステップＳ６）、中間画像が再生される。

中間画像データに基づく中間画像の再生後、画像の切り替え指示が操作部１４によりなされるか、又は、所定時間が経過すると、中間画像の表示期間が終了する。なお、中間画像の表示期間は、画像の切り替え指示があってから、立体画像データｂに基づく立体画像Ｂの再生までに必要な時間以上の時間とすれば良い。中間画像の表示期間が終了すると（ステップＳ７：ＹＥＳ）、システム制御部１１は、記録媒体２１に記録されている右眼用画像データｂＲと左眼用画像データｂＬをメインメモリ１６に読み出し、これらを圧縮伸張処理部１８にて伸張する。システム制御部１１は、伸張後の右眼用画像データｂＲと左眼用画像データｂＬを表示用の形式に変換後、右眼用画像データｂＲを右眼用短冊画像表示領域２４Ｒに表示させ、左眼用画像データｂＬを左眼用短冊画像表示領域２４Ｌに表示させる。これにより、表示部２３には立体画像データｂに基づく立体画像Ｂが表示され（ステップＳ８）、立体画像Ｂが再生される。

以上のように、図１に示すデジタルカメラでは、再生対象となる立体画像をＡからＢに切り替える際、立体画像Ｂが直ぐに再生されるのではなく、立体画像Ａと立体画像Ｂのそれぞれの主要被写体の視差の間の視差となる主要被写体を含む中間画像が一旦表示され、この後に立体画像Ｂが表示される。例えば、図４に示すように、再生される立体画像の主要被写体の視差が４０度→５０度→６０度と段階的に大きくなる。このため、表示が切り替わる際の主要被写体の視差の急峻な変化を防ぐことができ、立体画像を閲覧する際の疲労や違和感を軽減することができる。

なお、以上の説明では、再生画像を切り替える際に中間画像を１つしか再生していないが、複数の中間画像を連続して再生するようにしても良い。この場合、図３のステップＳ５において、システム制御部１１が、主要被写体の視差がそれぞれ異なる複数の中間画像データ（例えば、主要被写体の視差が４５度、５０度、５５度の３つの中間画像データ）を読み出し、これらに基づく中間画像を、その主要被写体の視差が立体画像データａの主要被写体の視差Ｓａに近いものから順（４５度→５０度→５５度の順）に表示部２３に表示させれば良い。このようにすることで、主要被写体の視差の変化をより滑らかにすることができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

また、中間画像で表示される主要被写体は所定の大きさとなっているが、この大きさを、立体画像Ａの主要被写体の大きさと、立体画像Ｂの主要被写体の大きさとの間の大きさとなるようにしても良い。この場合、中間画像データベース１９に記録されている多数の中間画像データ毎に、その主要被写体の大きさを変えたパターンの中間画像データを複数記録しておく。そして、図３のステップＳ５において、システム制御部１１が、立体画像データａと立体画像データｂから画像認識等により主要被写体の大きさを認識し、認識した大きさの間となる大きさの主要被写体を含む中間画像データを読み出すようにすれば良い。このようにすることで、主要被写体の大きさが急激に変化するのを防ぐことができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

また、中間画像で表示される主要被写体は所定の色調となっているが、この色調を、立体画像Ａの主要被写体の色調と、立体画像Ｂの主要被写体の色調とに相関のある色調となるようにしても良い。この場合、中間画像データベース１９に記録されている多数の中間画像データ毎に、その主要被写体の色調を変えたパターンの中間画像データを複数記録しておく。そして、図３のステップＳ５において、システム制御部１１が、立体画像データａと立体画像データｂから画像認識等により主要被写体の大きさを認識し、認識した主要被写体の色調を認識する。そして、認識した色調同士の間となる色調の主要被写体を含む中間画像データを読み出すようにすれば良い。例えば、立体画像Ａの主要被写体が青色を基調としたものであり、立体画像Ｂの主要被写体が緑色を基調としたものであった場合、主要被写体がエメラルド色を基調とした中間画像を表示させれば良い。このようにすることで、主要被写体の色調が急激に変化するのを防ぐことができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

以下、図１に示すデジタルカメラの変形例について説明する。

（第一の変形例）
第一の変形例では、中間画像の主要被写体の視差を立体画像Ａの主要被写体と立体画像Ｂの主要被写体との間の視差とするのではなく、中間画像の主要被写体の位置を立体画像Ａの主要被写体と立体画像Ｂの主要被写体との間の位置にすることで、立体画像を閲覧する際の疲労や違和感を軽減するようにしている。

第一の変形例のデジタルカメラの中間画像データベース１９には、主要被写体は同一のデータであるが、その主要被写体の位置がそれぞれ異なる多数の中間画像データが記録されている。この中間画像データは、表示部２３において立体画像を再生するのに必要な右眼用画像データ及び左眼用画像データと主要被写体の位置情報とで構成されている。位置情報とは、中間画像データに基づく立体画像を表示した際に、主要被写体が画面上のどの位置にあるのかを示した情報であり、例えば主要被写体の中心点を示す座標値がこれに相当する。中間画像データベース１９には、画面上に設定される座標点の数だけ中間画像データが記録されている。なお、第一の変形例のデジタルカメラで記録される立体画像データの付属情報には、主要被写体の位置情報が含まれているものとする。

以下、第一の変形例のデジタルカメラの画像再生時の動作について説明する。

図５は、第一の変形例のデジタルカメラの画像再生時の動作フローを示す図である。図５において図３と同じ処理には同一符号を付して説明を省略する。

立体画像Ａの再生中、操作部１４の操作により、右眼用画像データｂＲと左眼用画像データｂＬを含んで構成される立体画像データｂへの再生切り替え指示があると（ステップＳ２：ＹＥＳ）、システム制御部１１は、立体画像データａの付属情報から立体画像データａの主要被写体の位置情報を読み出し（ステップＳ１１）、立体画像データｂの付属情報から立体画像データｂの主要被写体の位置情報を読み出す（ステップＳ１２）。

次に、システム制御部１１は、立体画像データａの主要被写体の位置情報と立体画像データｂの主要被写体の位置情報を参照し、中間画像データベース１９から、立体画像データａの主要被写体の位置Ｌａと立体画像データｂの主要被写体の位置Ｌｂとの間の位置となる主要被写体を含む中間画像データを読み出す（ステップＳ１３）。

例えば、図６に示すように、立体画像データａの主要被写体の位置Ｌａと立体画像データｂの主要被写体の位置Ｌｂとを結ぶ直線上に中心がくる主要被写体を含む中間画像データを読み出す。

次に、システム制御部１１は、読み出した中間画像データを構成する右眼用画像データを右眼用短冊画像表示領域２４Ｒに表示させ、左眼用画像データを左眼用短冊画像表示領域２４Ｌに表示させる。これにより、表示部２３には中間画像データに基づく中間画像が表示される（ステップＳ６）。以降、ステップＳ７、ステップＳ８の処理が行われる。

以上のように、第一の変形例のデジタルカメラでは、再生対象となる立体画像をＡからＢに切り替える際、立体画像Ｂが直ぐに再生されるのではなく、立体画像Ａと立体画像Ｂのそれぞれの主要被写体の位置の間の位置となる主要被写体を含む中間画像が一旦表示され、この後に立体画像Ｂが表示される。例えば、図６に示すように、再生される立体画像の主要被写体の位置が右から左へと滑らかに移動する。このため、表示が切り替わる際の主要被写体の位置の急峻な変化を防ぐことができ、立体画像を閲覧する際の疲労や違和感を軽減することができる。

なお、以上の説明では、再生画像を切り替える際に中間画像を１つしか再生していないが、複数の中間画像を連続して再生するようにしても良い。この場合、図５のステップＳ１３において、システム制御部１１が、主要被写体の位置がそれぞれ異なる複数の中間画像データを読み出し、これらに基づく中間画像を、その主要被写体の位置が立体画像データａの主要被写体の位置Ｌａに近いものから順に表示部２３に表示させれば良い。このようにすることで、主要被写体の位置の変化をより滑らかにすることができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

また、中間画像で表示される主要被写体は所定の大きさとなっているが、この大きさを、立体画像Ａの主要被写体の大きさと、立体画像Ｂの主要被写体の大きさとの間の大きさとなるようにしても良い。この場合、中間画像データベース１９に記録されている多数の中間画像データ毎に、その主要被写体の大きさを変えたパターンの中間画像データを複数記録しておく。そして、図５のステップＳ１３において、システム制御部１１が、立体画像データａと立体画像データｂから画像認識等により主要被写体の大きさを認識し、認識した大きさの間となる大きさの主要被写体を含む中間画像データを読み出すようにすれば良い。このようにすることで、主要被写体の大きさが急激に変化するのを防ぐことができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

また、中間画像で表示される主要被写体は所定の色調となっているが、この色調を、立体画像Ａの主要被写体の色調と、立体画像Ｂの主要被写体の色調とに相関のある色調となるようにしても良い。この場合、中間画像データベース１９に記録されている多数の中間画像データ毎に、その主要被写体の色調を変えたパターンの中間画像データを複数記録しておく。そして、図５のステップＳ１３において、システム制御部１１が、立体画像データａと立体画像データｂから画像認識等により主要被写体の色調を認識し、認識した主要被写体の色調を認識する。そして、認識した色調同士の間となる色調の主要被写体を含む中間画像データを読み出すようにすれば良い。このようにすることで、主要被写体の色調が急激に変化するのを防ぐことができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

（第二の変形例）
第二の変形例のデジタルカメラでは、中間画像の主要被写体の視差及び位置を立体画像Ａと立体画像Ｂとに基づいて決めるものであり、図１に示したデジタルカメラの機能と第一の変形例のデジタルカメラの機能とを組み合わせたものである。

第二の変形例のデジタルカメラの中間画像データベース１９には、主要被写体は同一のデータであるが、その主要被写体の視差がそれぞれ異なる多数の中間画像データが記録されている。また、この多数の中間画像データ毎に、その主要被写体の位置を変えたパターンの中間画像データが複数記録されている。中間画像データは、表示部２３において立体画像を再生するのに必要な右眼用画像データ及び左眼用画像データと主要被写体の視差情報及び位置情報とで構成されている。

第二の変形例のデジタルカメラで記録される立体画像データの付属情報には、主要被写体の視差情報及び位置情報が含まれているものとする。

以下、第二の変形例のデジタルカメラの画像再生時の動作について説明する。

図７は、第二の変形例のデジタルカメラの画像再生時の動作フローを示す図である。図７において図３と同じ処理には同一符号を付して説明を省略する。

立体画像Ａの再生中、操作部１４の操作により、右眼用画像データｂＲと左眼用画像データｂＬを含んで構成される立体画像データｂへの再生切り替え指示があると（ステップＳ２：ＹＥＳ）、システム制御部１１は、立体画像データａの付属情報から立体画像データａの主要被写体の視差情報及び位置情報を読み出し（ステップＳ３’）、立体画像データｂの付属情報から立体画像データｂの主要被写体の視差情報及び位置情報を読み出す（ステップＳ４’）。

次に、システム制御部１１は、立体画像データａの主要被写体の視差情報及び位置情報と立体画像データｂの主要被写体の視差情報及び位置情報を参照し、中間画像データベース１９から、立体画像データａの主要被写体の視差Ｓａと立体画像データｂの主要被写体の視差Ｓｂとの間の視差となり、且つ、立体画像データａの主要被写体の位置Ｌａと立体画像データｂの主要被写体の位置Ｌｂとの間の位置となる主要被写体を含む中間画像データを読み出す（ステップＳ５’）。

以上のように、図１のデジタルカメラの機能と第一の変形例のデジタルカメラの機能とを組み合わせることで、立体画像の切り替え時に主要被写体の視差や位置の急峻な変化を防ぐことができるため、立体画像を閲覧する際の疲労や違和感をより軽減することができる。第二の変形例においても、中間画像の主要被写体が、立体画像Ａの主要被写体と立体画像Ｂの主要被写体との間の大きさ又は色調となるようにしても良い。

なお、第二の変形例においても、複数の中間画像を連続して再生するようにしても良い。この場合、図７のステップＳ５’において、システム制御部１１が、主要被写体の視差及び位置がそれぞれ異なる複数の中間画像データを読み出し、これらに基づく中間画像を、その主要被写体の視差及び位置が立体画像データａの主要被写体の視差Ｓａ及び位置Ｌａに近いものから順に表示部２３に表示させれば良い。例えば、主要被写体の視差と位置の組み合わせが、（４５度,位置Ｌａよりも位置Ｌｂよりの位置Ｌ１）、（５０度,位置Ｌ１よりも位置Ｌｂよりの位置Ｌ２）、（５５度,位置Ｌ２よりも位置Ｌｂよりの位置Ｌ３）となる３つの中間画像データＸ,Ｙ,Ｚを読み出し、中間画像データＸ、中間画像データＹ、中間画像データＺの順に再生を行うようにすれば良い。このようにすることで、主要被写体の位置の変化をより滑らかにすることができ、立体画像を閲覧する際の疲労や違和感をより軽減することができる。

なお、これまでの説明では、デジタルカメラ内のシステム制御部１１が図３，５，７に示したような処理を行うものとしたが、これに限らない。例えば、画像再生プログラムをコンピュータにインストールし、コンピュータ内のプロセッサがこれを実行することで、図３，５，７に示した処理をコンピュータ上で実施することも可能である。このように、上述した画像再生プログラムは、立体画像データを再生可能な電子機器全てにインストールして用いることができる。

また、これまでの説明では、中間画像データに含まれる主要被写体が、立体画像データａや立体画像データｂの主要被写体とは全く関係のないものとしたが、中間画像データに含まれる主要被写体を、立体画像データａや立体画像データｂの主要被写体と相関性のある主要被写体とすることが好ましい。

この場合、システム制御部１１は、中間画像データを読み出した後、立体画像データａの主要被写体と立体画像データｂの主要被写体とに相関性を持つ主要被写体を表示するための被写体データを、例えばモーフィング技術等を利用して生成する。そして、読み出した中間画像データの主要被写体を、生成した被写体データに置換して、新たな中間画像データを生成し、これに基づく中間画像を表示させるようにする。このようにすることで、全く関係のない主要被写体が表示される場合と比較して、違和感を減らすことができる。

なお、中間画像データベース１９を用いずに、再生切り替え指示が行われる度に中間画像データを生成する方法を採用しても良い。つまり、システム制御部１１が、立体画像データａ及びその付属情報と、立体画像データｂ及びその付属情報とから被写体データを生成し、立体画像データａ及びその付属情報と、立体画像データｂ及びその付属情報と、被写体データとを用いて、中間画像データを生成するようにしても良い。

以上説明したように、本明細書には以下の事項が開示されている。

開示された立体画像再生装置は、立体画像データを表示手段に出力して立体画像の再生を行う再生手段を有する立体画像再生装置であって、第一の立体画像の再生中に第二の立体画像の再生指示がなされた場合、前記第一の立体画像を再生するのに必要な第一の立体画像データと、前記第二の立体画像を再生するのに必要な第二の立体画像データとに基づいて、第三の立体画像を再生するのに必要な第三の立体画像データを準備する画像データ準備手段を備え、前記再生手段は、前記再生指示に応じて、前記第三の立体画像データを前記表示手段に出力して前記第三の立体画像を再生した後、前記第二の立体画像データを前記表示手段に出力して第二の立体画像を再生する。

この構成により、例えば、第三の立体画像を、第一の立体画像の主要被写体の視差と第二の立体画像の主要被写体の視差の間の視差を持つ主要被写体を含む立体画像としたり、第一の立体画像の主要被写体の位置と第二の立体画像の主要被写体の位置の間の位置に主要被写体が存在する立体画像としたりすることで、第一の立体画像から第二の立体画像へ表示が切り替わる際の視差や注視点の急峻な変化を防ぐことができる。この結果、立体画像を閲覧する際の疲労や違和感を軽減することができる。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の視差と前記第二の立体画像データの主要被写体の第二の視差との間の視差となる主要被写体を含む立体画像を再生するのに必要な画像データを準備する。

この構成により、立体画像の切り替え時に主要被写体の視差の急峻な変化を防ぐことができるため、立体画像を閲覧する際の疲労や違和感を軽減することができる。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データを、主要被写体の視差がそれぞれ異なる複数パターン準備し、前記再生手段が、前記再生指示に応じて、前記複数パターンの第三の立体画像データに基づく複数の第三の立体画像を連続して再生する。

開示された立体画像再生装置は、前記再生手段が、前記複数の第三の立体画像を、その主要被写体の視差が前記第一の視差に近いものから順に再生する。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の視差と前記第二の立体画像データの主要被写体の第二の視差との間の視差となり且つ前記第一の立体画像データの主要被写体の第一の位置と前記第二の立体画像データの主要被写体の第二の位置との間の位置となる主要被写体を含む立体画像を再生するのに必要な画像データを準備する。

この構成により、立体画像の切り替え時に主要被写体の視差や位置の急峻な変化を防ぐことができるため、立体画像を閲覧する際の疲労や違和感を軽減することができる。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データを、主要被写体の位置及び視差がそれぞれ異なる複数パターン準備し、前記再生手段が、前記再生指示に応じて、前記複数パターンの第三の立体画像データに基づく複数の第三の立体画像を連続して再生する。

この構成により、立体画像の切り替え時に主要被写体の視差及び位置の急峻な変化を防ぐことができるため、立体画像を閲覧する際の疲労や違和感を軽減することができる。

開示された立体画像再生装置は、前記再生手段が、前記複数の第三の立体画像を、その主要被写体の視差及び位置が前記第一の視差及び前記第一の位置に近いものから順に再生する。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の位置と前記第二の立体画像データの主要被写体の第二の位置との間の位置となる主要被写体を含む立体画像を再生するのに必要な画像データを準備する。

この構成により、立体画像の切り替え時に主要被写体の位置の急峻な変化を防ぐことができるため、立体画像を閲覧する際の疲労や違和感を軽減することができる。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データを、主要被写体の位置がそれぞれ異なる複数パターン準備し、前記再生手段が、前記再生指示に応じて、前記複数パターンの第三の立体画像データに基づく複数の第三の立体画像を連続して再生する。

開示された立体画像再生装置は、前記再生手段が、前記複数の第三の立体画像を、その主要被写体の位置が前記第一の位置に近いものから順に再生する。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の大きさと前記第二の立体画像データの主要被写体の大きさとの間の大きさの主要被写体を含む画像データを準備する。

この構成により、立体画像の切り替え時に主要被写体の大きさの急峻な変化を防ぐことができるため、立体画像を閲覧する際の違和感を軽減することができる。

開示された立体画像再生装置は、前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の色調と前記第二の立体画像データの主要被写体の色調とに相関のある色調の主要被写体を含む画像データを準備する。

この構成により、立体画像の切り替え時に主要被写体の色調の急峻な変化を防ぐことができるため、立体画像を閲覧する際の違和感を軽減することができる。

開示された立体画像再生装置は、前記第一の立体画像データと前記第二の立体画像データから、前記第一の立体画像データの主要被写体と前記第二の立体画像データの主要被写体とに相関性を持つ被写体データを生成する被写体データ生成手段を備え、前記画像データ準備手段は、前記第一の立体画像データと、前記第二の立体画像データと、前記被写体データとに基づいて、前記被写体データを主要被写体として含む前記第三の立体画像データを生成する。

この構成により、立体画像の切り替え時に主要被写体の外観の急峻な変化を防ぐことができるため、立体画像を閲覧する際の違和感を軽減することができる。

開示された立体画像再生プログラムは、コンピュータを、前記立体画像再生装置の各手段として機能させるためのプログラムである。

開示された撮像装置は、複数の撮像手段と、前記複数の撮像手段の各々から得られた画像データを立体視可能に表示する表示手段と、前記立体画像再生装置とを備える。

本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図図１に示す表示部で立体視表示が可能となる仕組みについて説明するための図図１に示すデジタルカメラの画像再生時の動作フローを示す図図１に示すデジタルカメラの画像再生時の画面遷移を説明するための図図１に示すデジタルカメラの第一の変形例の画像再生時の動作フローを示す図図１に示すデジタルカメラの第一の変形例において中間画像データの選択方法を説明するための図図１に示すデジタルカメラの第二の変形例の画像再生時の動作フローを示す図

符号の説明

１１システム制御部
２３表示部

Claims

立体画像データを表示手段に出力して立体画像の再生を行う再生手段を有する立体画像再生装置であって、
第一の立体画像の再生中に第二の立体画像の再生指示がなされた場合、前記第一の立体画像を再生するのに必要な第一の立体画像データと、前記第二の立体画像を再生するのに必要な第二の立体画像データとに基づいて、第三の立体画像を再生するのに必要な第三の立体画像データを準備する画像データ準備手段と、
前記第一の立体画像及び前記第二の立体画像の主要被写体とは関係のない、視差がそれぞれ異なる画像パターンを含んでいる多数の中間画像データが記録された中間画像データベースと、を備え、
前記画像データ準備手段は、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の視差と前記第二の立体画像データの主要被写体の第二の視差との間の視差となる前記画像パターンを含む中間画像データを、前記中間画像データベースから読み出して、該読み出した中間画像データを前記第三の画像データとして準備し、
前記再生手段は、前記再生指示に応じて、前記第三の立体画像データを前記表示手段に出力して前記第三の立体画像を再生した後、前記第二の立体画像データを前記表示手段に出力して第二の立体画像を再生する立体画像再生装置。
請求項１記載の立体画像再生装置であって、
前記画像データ準備手段が、前記第三の立体画像データを、前記画像パターンの視差がそれぞれ異なる複数パターン準備し、
前記再生手段が、前記再生指示に応じて、前記複数パターンの第三の立体画像データに基づく複数の第三の立体画像を連続して再生する立体画像再生装置。
請求項２記載の立体画像再生装置であって、
前記再生手段が、前記複数の第三の立体画像を、前記画像パターンの視差が前記第一の視差に近いものから順に再生する立体画像再生装置。
請求項１記載の立体画像再生装置であって、
前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の第一の視差と前記第二の立体画像データの主要被写体の第二の視差との間の視差となり且つ前記第一の立体画像データの主要被写体の第一の位置と前記第二の立体画像データの主要被写体の第二の位置との間の位置となる立体画像を再生するのに必要な画像データを準備する立体画像再生装置。
請求項４記載の立体画像再生装置であって、
前記画像データ準備手段が、前記第三の立体画像データを、前記画像パターンの位置及び視差がそれぞれ異なる複数パターン準備し、
前記再生手段が、前記再生指示に応じて、前記複数パターンの第三の立体画像データに基づく複数の第三の立体画像を連続して再生する立体画像再生装置。
請求項５記載の立体画像再生装置であって、
前記再生手段が、前記複数の第三の立体画像を、その主要被写体の視差及び位置が前記第一の視差及び前記第一の位置に近いものから順に再生する立体画像再生装置。
請求項１〜６のいずれか１項記載の立体画像再生装置であって、
前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の大きさと前記第二の立体画像データの主要被写体の大きさとの間の大きさの前記画像パターンを含む中間画像データを準備する立体画像再生装置。
請求項１〜６のいずれか１項記載の立体画像再生装置であって、
前記画像データ準備手段が、前記第三の立体画像データとして、前記第一の立体画像データの主要被写体の色調と前記第二の立体画像データの主要被写体の色調との間となる色調の前記画像パターンを含む中間画像データを準備する立体画像再生装置。
コンピュータを、請求項１〜８のいずれか１項記載の立体画像再生装置の各手段として機能させるための立体画像再生プログラム。
複数の撮像手段と、
前記複数の撮像手段の各々から得られた画像データを立体視可能に表示する表示手段と、
請求項１〜８のいずれか１項記載の立体画像再生装置とを備える撮像装置。