JP2012023676A - 立体画像処理装置及び立体画像表示装置 - Google Patents

Abstract

【課題】立体視画像の立体感を可能な限り維持しつつ、立体視画像の違和感及び観察者の疲労度を低減可能にする。
【解決手段】左右の視点画像からなる立体視画像のうちの両端付近の左領域内及び右領域内の視差量がマイナス視差（引っ込み視差）か否かを判別し（ステップＳ１０）、マイナス視差のみの場合には視差量の制御は行わず（ステップＳ１２）、プラス視差の場合には、左領域内又は右領域内に存在するプラス視差の最大値が、左領域内に存在するか否かを判別する（ステップＳ１４）。そして、プラス視差の最大値を視差移動量ｓに設定し（ステップＳ１６、Ｓ１８）、その視差移動量ｓに基づく画像ずらしにより視差制御を行う。
【選択図】 図３

Description

本発明は立体画像処理装置及び立体画像表示装置に係り、特に立体視画像の飛出し量を制御する技術に関する。

図２１（Ａ）及び（Ｂ）に示すように立体画像表示装置に表示された立体視画像を観察する場合、表示画面の表示枠１付近の画像は、表示枠１が目に入るため、錯綜しやすく（立体視しにくく）、疲れるという問題があり、特に図２１（Ａ）に示すように表示面よりも前方に飛び出す画像が左右の表示枠１付近にある場合に顕著である。

従来、立体視画像を構成する左眼用画像と右眼用画像の視差量を検出し、この視差量を調整して立体視画像の飛出し量や引き込み量を制御するようにした立体画像補正装置が提案されている（特許文献１）。

また、特許文献２には、立体表示の際、画像端部に近いほど複数の視点画像がずれて観察されたり、違和感を生みやすいなど、技術上又は生理上の問題点を解決するために、画像の周辺部で視差を低減させる技術が記載されている。即ち、特許文献２に記載の立体画像処理装置には、画像の周辺部で視差を低減させるための視差補正マップ（視差が視点画像内の位置に基づいて補正されるよう記述されている視差補正マップ）が設けられており、視差制御部はその視差補正マップを参照しながら視差補正を行うようにしている。

特開２０１０−４５５８４号公報 特開２００４−２２１７００号公報

特許文献１に記載の発明は、表示画面の表示枠付近の立体視画像に着目した視差量の補正を行っておらず、その結果、視差量が補正された後も、表示画面の表示枠付近において飛出し量の大きな立体視画像が表示されることがあり、疲れるという問題がある。

一方、引用文献２に記載の発明は、視差補正マップを参照して視差補正を行うため、表示枠付近に表示される画像中に飛出し画像が含まれていない立体視画像の場合であっても、一律に視差補正を行ってしまうという問題がある。

本発明はこのような事情に鑑みてなされたもので、立体視画像の立体感を可能な限り維持しつつ、立体視画像の違和感及び観察者の疲労度を低減することができる立体画像処理装置及び立体画像表示装置を提供することを目的とする。

前記目的を達成するために請求項１に係る立体画像処理装置は、左右の視点画像からなる立体視画像を取得する画像取得手段と、前記画像取得手段により取得された立体視画像のうちの両端付近の所定の左領域内及び右領域内の左右の視点画像間の飛出し方向の視差量であって、それぞれ左領域内の視差量の第１の代表視差量及び右領域内の視差量の第２の代表視差量を求める代表視差量取得手段と、前記取得された第１、第２の代表視差量のうちの少なくとも一方の代表視差量に基づいて該代表視差量が低減されるように前記左右の視点画像間の視差量を制御する視差量制御手段と、前記視差量が制御された左右の視点画像からなる立体視画像を出力する出力手段と、を備えたことを特徴としている。

即ち、立体視画像の両端付近に飛出し画像が存在する場合に、その飛出し画像の飛出し量（飛出し方向の視差量）を抑え、これにより立体視画像の立体感を維持しつつ、表示画面の表示枠付近に表示される画像の違和感を無くし（見やすくし）、観察者の疲労度を低減できるようにしている。

請求項２に示すように請求項１に記載の立体画像処理装置において、前記代表視差量取得手段は、前記左領域内の視差量のうちの第１の最大値及び右領域内の視差量のうちの第２の最大値を検出する手段を有し、前記検出された第１、第２の最大値をそれぞれ前記第１、第２の代表視差量として取得することを特徴としている。立体視画像の両端付近の左領域及び右領域における画像の飛出し量は、これらの領域内の視差量のうちの最大値が大きく起因するからである。

請求項３に示すように請求項１に記載の立体画像処理装置において、前記代表視差量取得手段は、前記左領域内の視差量のうちの第１の最大値及び右領域内の視差量のうちの第２の最大値を検出する手段と、前記左領域内の視差量のうちの飛出し方向の視差量を有する画像の第１の面積及び前記右領域内の視差量のうちの飛出し方向の視差量を有する画像の第２の面積を算出する手段と、前記検出した第１、第２の最大値を前記算出した第１、第２の面積に応じてそれぞれ補正する補正手段と、を有し、前記補正した第１、第２の最大値をそれぞれ前記第１、第２の代表視差量として取得することを特徴としている。

立体視画像の両端付近の左領域及び右領域における画像の飛出し部分の面積（画素数）に応じて前記第１、第２の最大値を補正し、これを代表視差量とすることにより飛出し部分の面積が小さい場合には、視差補正を行わない、又は視差補正を抑制することができ、過補正を防止することができる。

請求項４に示すように請求項１から３のいずれかに記載の立体画像処理装置において、前記視差量制御手段は、前記第１、第２の代表視差量のうちの一方の代表視差量が所定値になるように、又は前記第１、第２の代表視差量のそれぞれが所定値になるように前記左右の視点画像間の視差量を制御することを特徴としている。前記所定値としては、例えば視差量ゼロ、又は観察者が任意に設定した視差量とすることができ、前記代表視差量を所定値にする視差量の制御を行うようにしている。尚、立体視画像の両端付近の左領域内及び右領域内のそれぞれの画像に飛出し画像が含まる場合（即ち、第１、第２の代表視差量が存在する場合）には、一方の代表視差量のみが所定値になるように視差量の制御を行うようにしてもよいし、第１、第２の代表視差量がそれぞれ所定値になるように視差量の制御を行うようにしてもよい。

請求項５に示すように請求項４に記載の立体画像処理装置において、前記視差量制御手段は、画像中央で画像ずらし量が最小となる一次又は２次以上の関数で画像ずらし量を連続的に変化させることにより前記左右の視点画像間の視差量を制御することを特徴としている。即ち、画像中央で画像ずらし量を最小にすることにより、画像中央にある被写体の飛出しの状況には影響を与えず、又は影響を最小限にすることができ、一方、両端付近の左領域内又は右領域内のそれぞれの画像は飛び出さないように（視差量が所定値になるように）視差量を制御するようにしている。

請求項６に示すように請求項４に記載の立体画像処理装置において、前記視差量制御手段は、前記右の視点画像の右領域の画像を左右方向のみ拡大し、又は左領域の画像を左右方向のみ縮小し、若しくは前記左の視点画像の右領域の画像を左右方向のみ縮小し、又は左領域の画像を左右方向のみ拡大することにより前記左右の視点画像間の視差量を制御することを特徴としている。

前記左領域内の視差量の第１の代表視差量を所定値になるように視差量を制御する場合には、左の視点画像の左領域の画像を左右方向に拡大し、又は右の視点画像の左領域の画像を左右方向に縮小する。また、前記右領域内の視差量の第２の代表視差量を所定値になるように視差量を制御する場合には、右の視点画像の右領域の画像を左右方向に拡大し、又は左の視点画像の右領域の画像を左右方向に縮小する。

請求項７に示すように請求項６に記載の立体画像処理装置において、前記視差量制御手段は、前記拡大又は縮小時の拡大率を一定にし、又は画像中央の拡大率が１００％になる一次又は２次以上の関数で連続的に変化させることにより前記左右の視点画像間の視差量を制御することを特徴としている。即ち、視点画像の拡大率は、一定でもよいし、画像中央の拡大率を１００％とした一次又は２次以上の関数としてもよい。

請求項８に示すように請求項１から７のいずれかに記載の立体画像処理装置において、前記視差量制御手段は、前記左右の視点画像のうちの右領域又は左領域の画像であって、前記第１、第２の代表視差量のうちの大きい方の代表視差量が存在する右領域又は左領域の画像のみに対して前記左右の視点画像間の視差量を制御することを特徴としている。

請求項９に示すように請求項１から３のいずれかに記載の立体画像処理装置において、前記視差量制御手段は、前記第１、第２の代表視差量のうちの一方の代表視差量が所定値になるように前記左右の視点画像の画像全体を相対的に画像ずらしすることを特徴としている。これにより、立体視画像の両端付近の左領域内及び右領域内のそれぞれの画像が飛び出さないように視差量を制御することができるとともに、立体視画像の画像全体の飛出し方向の視差量を低減することができる。

請求項１０に示すように請求項１から９のいずれかに記載の立体画像処理装置において、前記視差量制御手段により視差量が制御された左右の視点画像の、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング手段を備え、前記出力手段は、前記トリミングされた左右の視点画像からなる立体視画像を出力することを特徴としている。

請求項１１に示すように請求項１から１０のいずれかに記載の立体画像処理装置において、前記画像取得手段は、動画の立体視画像を取得し、前記代表視差量取得手段は、前記取得した動画の立体視画像について連続して第１の代表視差量又は第２の代表視差量を取得し、前記視差量制御手段は、前記動画の立体視画像について前記代表視差量取得手段により連続して前記第１の代表視差量又は第２の代表視差量が取得される期間を計時するタイマ手段を有し、前記タイマ手段により計時された期間が所定の期間を超えたときのみ、その期間経過後に前記左右の視点画像間の視差量を制御し、前記代表視差量取得手段により前記第１の代表視差量又は第２の代表視差量が取得されなくなると、前記タイマ手段をリセットすることを特徴としている。

動画については、その立体視画像の両端付近の短時間（タイマ手段により計時される所定の期間）の飛出し画像は、違和感や観察者の疲労度への影響が少ないため、視差補正を行わないようにしている。これにより、頻繁に補正されなくなり、見やすい立体映像になる。

請求項１２に係る立体画像表示装置は、請求項１から１１のいずれかに記載の立体画像処理装置と、左右の視点画像からなる立体視画像を表示する立体表示手段と、を備え、前記出力手段は、前記視差量が制御された左右の視点画像からなる立体視画像を前記立体表示手段に出力することを特徴としている。

本発明によれば、立体視画像のうちの両端付近の領域に飛出し画像が存在する場合、その飛出し量（飛出し視差）を抑えるようにしたため、表示画面の表示枠付近に表示される画像の違和感を無くし（見やすくし）、観察者の疲労度を低減することができるとともに、立体視画像の中央部にある被写体の立体視には影響しないようにすることができる。

本発明に係る立体画像処理装置を含む立体画像表示装置を示す外観図 図１に示した立体画像表示装置の内部構成を示すブロック図 立体画像表示装置のＣＰＵによる視差量の制御内容を示すフローチャート 立体視画像の両端付近の左領域及び右領域の一例を示す図 立体視画像の飛出し視差及び引っ込み視差を説明するために用いた図 立体視画像の左領域及び右領域から検出された視差量の一例を示すヒストグラム 画像ずらしによる視差制御を説明するために用いた図 視差制御後の立体視画像の左領域及び右領域から検出された視差量の一例を示すヒストグラム 視差制御が行われていない立体視画像の視差量とその視差量に対する補正量（画像ずらし量）を示す図 視差制御前及び視差制御後の立体視画像のイメージ図 画像中央に拡大中心があり、一定の拡大率で右の視点画像の右半分を左右方向のみに拡大する視差制御を説明するために用いた図 図１１に示した視差制御時の拡大率等を説明するために用いた図 右の視点画像の右半分を拡大する際の他の拡大率の例を説明するために用いた図 右の視点画像の左半分を縮小する際の拡大率の例を説明するために用いた図 左右の視点画像の右半分をそれぞれ拡大／縮小する際の拡大率を説明するために用いた図 右の視点画像の右半分よりも狭い領域を拡大／縮小処理する実施形態を説明するために用いた図 立体視画像の左領域又は右領域から検出された視差量の分布の一例を示す図 飛出し視差の面積と補正係数αとの関係を示すグラフ 動画の立体視画像の特定領域における飛出し視差の最大値の時間変化とその飛出し視差の補正内容を示す図 動画での飛出し視差の制御内容を示すフローチャート 従来の立体画像表示装置による表示例を示す図

以下、添付図面に従って本発明に係る立体画像処理装置及び立体画像表示装置の実施の形態について説明する。

［立体画像表示装置］
図１は本発明に係る立体画像処理装置を含む立体画像表示装置を示す外観図である。

図１に示すように、この立体画像表示装置（３Ｄ画像表示装置）１０は、カラーの３次元液晶ディスプレイ（以下、「３Ｄ ＬＣＤ」という）１２を搭載したデジタルフォトフレームであり、前面には電源スイッチ、通常表示・スライドショー等を選択する操作部１４が設けられ、側面にはメモリカードスロット１６が設けられている。

図２は上記３Ｄ画像表示装置１０の内部構成を示すブロック図である。

図２に示すように３Ｄ画像表示装置１０は、上記３Ｄ ＬＣＤ１２、操作部１４の他に、中央処理装置（ＣＰＵ）２０、ワークメモリ２２、カードインターフェース（カードＩ／Ｆ）２４、表示コントローラ２６、バッファメモリ２８、ＥＥＰＲＯＭ３０、及び電源部３２を備えている。

３Ｄ ＬＣＤ１２は、立体視画像を構成する左右の視点画像をレンチキュラレンズやパララックスバリア等によりそれぞれ所定の指向性をもった指向性画像として表示するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左右の視点画像をそれぞれ左右の目で個別に見ることができるものなどが適用できる。

ＣＰＵ２０は、操作部１４からの入力に基づき所定の制御プログラムに従って３Ｄ画像表示装置１０全体の動作を統括制御する制御手段として機能する。尚、ＣＰＵ２０による制御内容については後述する。

ワークメモリ２２は、ＣＰＵ２０の演算作業用領域及び画像データの一時記憶領域を含んでいる。

カードＩ／Ｆ２４は、デジタルカメラの記録メディアであるメモリカード３４がメモリカードスロット１６に装着されると、メモリカード３４と電気的に接続され、メモリカード３４との間でデータ（画像データ）の送受信を行うための装置である。

表示コントローラ２６は、表示用の画像データ専用の一時記憶領域であるバッファメモリ２８から３Ｄ表示用の画像データ（左右の視点画像データ）を繰り返し読み出し、３Ｄ ＬＣＤ１２での３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像を表示させる。

電源部３２は、図示しないバッテリ又は商用電源からの電力を制御して、３Ｄ画像表示装置１０各部に動作電力を供給する。

［３Ｄ画像表示装置１０の３Ｄ画像処理（視差量制御）の実施形態］
＜第１の実施形態＞
図３から図８を参照しながら３Ｄ画像表示装置１０の３Ｄ画像処理（視差量制御）の第１の実施形態について説明する。

操作部１４の電源スイッチがオンされ、再生モードとしてスライドショー再生が設定されている場合には、ＣＰＵ２０は、メモリカードスロット１６に装着されているメモリカード３４からカードＩ／Ｆ２４を介してファイル番号順に画像ファイルを所定のインターバルで読み出す。

ＣＰＵ２０は、読み出した画像ファイルに格納された立体視画像（左右の視点画像）の視差量の制御を、以下のようにして行う。

図３はＣＰＵ２０による視差量の制御内容を示すフローチャートである。

まず、処理対象の立体視画像からその画像の両端付近の左領域４０Ｌ及び右領域４０Ｒ（図４参照）における左右の視点画像の視差量を検出し、左領域及び右領域からそれぞれ検出した視差量がともにマイナス視差か否かを判別する（ステップＳ１０）。

図５に示すように左右の視点画像がそれぞれ表示面に表示される際に、左右の目でそれぞれ観察される同一の被写体像（画素）が表示面上でずれていると、表示面から被写体像の飛び出し、又は表示面よりも引っ込んで見える。

ここで、右目で観察される画像に対し、左目で観察される画像が、図５上で左側に位置する場合には、引っ込んだ画像として観察され、このときの両画像（両画素）の視差量の符号をマイナスとする（図５（Ａ））。一方、右目で観察される画像に対し、左目で観察される画像が、図５上で右側に位置する場合には、飛び出した画像として観察され、このときの両画像（両画素）の視差量の符号をプラスとする。また、視差量の大きさにより、引っ込み量又は飛出し量が変化する。

図４に示した立体視画像の左領域４０Ｌ及び右領域４０Ｒから検出された視差量が、いずれもマイナス視差の場合（即ち、図５（Ａ）に示すような飛出し画像が存在しない場合）には、ＣＰＵ２０は視差量の制御は行わず、その立体視画像に対する視差量の制御を終了させる（ステップＳ１２）。

一方、立体視画像の左領域４０Ｌ及び右領域４０Ｒのいずれかにプラス視差が存在する場合（即ち、図５（Ｂ）に示すような飛出し画像が存在する場合）には、ステップＳ１４に遷移し、ここで、左領域４０Ｌにおける視差量（第１の代表視差量）と右領域４０Ｒにおける視差量（第２の代表視差量）とを比較する。

図６（Ａ）及び（Ｂ）はそれぞれ立体視画像の左領域４０Ｌ及び右領域４０Ｒから検出された視差量の一例を示すヒストグラムである。この実施形態では、左領域４０Ｌ及び右領域４０Ｒのそれぞれの代表視差量として、最大値を採用する。図６に示す例では、右領域４０Ｒから検出された飛出し方向の視差量の最大値（第２の代表視差量）が、左領域４０Ｌから検出された飛出し方向の視差量の最大値（第１の代表視差量）よりも大きくなっている。

ステップＳ１４において、左領域４０Ｌ内の視差量（最大値）が右領域４０Ｒ内の視差量（最大値）よりも大きい場合(「Yes」の場合)には、ステップＳ１６に遷移させ、左領域４０Ｌ内の視差量が右領域４０Ｒ内の視差量よりも小さい場合(「No」の場合)には、ステップＳ１８に遷移させる。

ステップＳ１６では、視差移動量ｓとして、左領域４０Ｌ内の視差量の最大値を設定し、ステップＳ１８では、視差移動量ｓとして、右領域４０Ｒ内の視差量の最大値を設定する。

ステップＳ２０では、ステップＳ１６又はステップＳ１８により設定された視差移動量ｓに基づいて視差量の制御を行う。この実施形態の視差量の制御は、左右の視点画像の画像全体を相対的に視差移動量ｓだけ画像ずらしすることにより行う。

図７（Ａ）に示すように右の視点画像Ｒと左の視点画像Ｌの視差量を制御しない場合には、左右の視点画像の同一の被写体像（図７上の●で示す部分）は、表示面上の異なる位置に表示され、飛出し画像として観察される。

一方、図７（Ｂ）に示すように右の視点画像Ｒと左の視点画像Ｌの画像全体を相対的に視差移動量ｓだけ画像ずらしすることにより（即ち、右の視点画像Ｒを右に視差移動量ｓ／２だけ画像ずらしし、左の視点画像Ｌを左に視差移動量ｓ／２だけ画像ずらしすることにより）、視差補正後の左右の視点画像上の同一の被写体像（図７上の●で示す部分）は、表示面上の同じ位置に表示され、飛出し量（視差量）がゼロになる。

ＣＰＵ２０は、上記のようにして視差量が制御された左右の視点画像の、互いに重複する有効画素を有する領域の画像をそれぞれトリミングし、このトリミングした左右の視点画像からなる立体視画像を表示コントローラ２６を介して３Ｄ ＬＣＤ１２に出力する。

図８（Ａ）及び（Ｂ）はそれぞれ上記のように視差量が制御された立体視画像の左領域４０Ｌ及び右領域４０Ｒから検出された視差量の一例を示すヒストグラムである。

図８（Ａ）及び（Ｂ）に示すように視差移動量ｓだけ画像ずらしされた立体視画像の左領域４０Ｌ及び右領域４０Ｒから検出される視差量は、視差移動量ｓだけ視差が低減する方向にシフトし、飛出し方向の視差量を有する画像がなくなる。

即ち、３Ｄ ＬＣＤ１２に表示される立体視画像は、３Ｄ ＬＣＤ１２の左右の表示枠付近において画像が飛び出すことがなく、立体視がしやすく疲労度の少ない画像になる。

尚、上記第１の実施形態では、飛出し方向の視差量が視差量ゼロになるように画像全体を画像ずらしするため、引っ込み方向の視差量は大きくなる。表示面で引っ込み方向の視差（マイナス視差）が５ｃｍ（子供の両眼幅）を越えると開散方向になるため、マイナス視差が表示面で５ｃｍを越えないように、視差移動量ｓを決定する必要がある。また、上記表示面上の視差は、ディスプレイの画面サイズにも依存するため、出力先のディスプレイの画面サイズを基にそのディスプレイの表示面上のマイナス視差が５ｃｍを越えないように視差移動量ｓを決定する。

また、飛出し方向の視差（プラス視差）の両眼融合限界は、上記マイナス視差と異なり一意に決定されない。両眼融合限界の視差画素数を決定するための要素としては、ディスプレイサイズ、ディスプレイ解像度、観視距離（ディスプレイを見る距離）、及び個人の立体融合限界（個人差が大きい）に基づいて決定することができるが、観察者が自分でプラス視差の両眼融合限界を設定するようにしてもよい。視差量の制御対象の立体視画像を取り込んだ場合、この実施形態の視差量を制御する前に、立体視画像の全画像からプラス視差の最大値を検出し、プラス視差の両眼融合限界を越えないように事前に視差調整（画像ずらし）を行った後、前述した視差量の制御を行うことが好ましい。

＜第２の実施形態＞
次に、３Ｄ画像表示装置１０による視差量制御の第２の実施形態について説明する。

第１の実施形態では、左右の視点画像間の画像全体を画像ずらしを行うことにより視差量を制御したが、第２の実施形態では、画像（画素）の位置に応じて画像（画素）ずらし量を変更する点で相違し、立体視画像の左領域４０Ｌ及び右領域４０Ｒの最大値の取得等の処理は、第１の実施形態と同様に行う。

図９（Ａ）は視差制御が行われていない立体視画像の視差量の一例を示す図であり、同図（Ａ）に示すように、この立体視画像の視差量は、表示面の右端側で飛出し量（プラス視差）が最大となり、表示面の左端側で引っ込み量（マイナス視差）が最大となっている。

図９（Ｂ）に示すように第２の実施形態は、画面中央の視差補正量（画素ずらし量）がゼロとなり、画面右端でプラス視差の最大値と同じ視差補正量となる一次関数を使用し、視差補正量を連続的に変化させる視差制御を行うようにしている。

即ち、右の視点画像の右半分について、図９（Ｂ）に示すように右方向への画像ずらし量を連続的に増加（一次関数で変化）させる。

図１０（Ａ）及び（Ｂ）はそれぞれ視差制御前及び第２の実施形態による視差制御後の立体視画像のイメージ図である。

図１０（Ａ）に示すように視差制御前は、左右の視点画像（文字「ＡＢＣ」）は均等にずれているが、図１０（Ｂ）に示すように右画像の画像中心から右半分を左右方向のみに拡大することにより、右端の文字「Ｃ」の部分では視差がゼロになるように視差制御される。

尚、図９（Ｂ）に示したように画面中央の視差補正量がゼロで、画面右端でプラス視差の最大値と同じ視差補正量となる一次関数を使用して画素ずらしするようにしたが、これに限らず、２次以上の関数を使用して画像ずらしするようにしてもよい。

また、右の視点画像に対する視差補正量を連続的に変化させる視差制御を行うことは、図１１に示すように画面中央に拡大中心があり、一定の拡大率で右の視点画像Ｒを左右方向のみに拡大することと同じ視差制御になり、この場合の一定の拡大率は、以下のようにして算出することができる。

図１２（Ａ）に示すように左右の視点画像の右端部の同一の被写体像（図１２上の●で示す部分）の視差量がｄである場合、画像の横幅をｈとすると、右の視点画像Ｒの右半分を拡大することにより、ｄ分だけ右の視点画像Ｒを大きくする拡大率は、次式により求めるができる。

［数１］
拡大率zoom＝（ｈ／２＋ｄ）／（ｈ／２）*100［％］
そして、上記拡大率により右の視点画像Ｒの右半分を拡大することにより、補正後の左右の視点画像の同一の被写体像は、表示面上の同じ位置に表示され、飛出し量（視差量）がほぼゼロになる。

［第２の実施形態の変形例］
次に、３Ｄ画像表示装置１０による視差量制御の第２の実施形態の変形例について説明する。

第２の実施形態では、図１３（Ａ）に示すように立体視画像の右端部の飛出し視差を補正するために、右の視点画像Ｒの右半分を一定の拡大率で拡大するようにしたが、図１３（Ｂ）に示す第２の実施形態の変形例１では、画面中央の拡大率を１００％にし、画面右端でプラス視差の最大値と同じ視差補正量となる一次関数の拡大率（左右方向のみの拡大率）を使用し、線形補間拡大させるようにしている。

また、図１３（Ｃ）に示す第２の実施形態の変形例２では、画面中央の拡大率を１００％にし、画面右端でプラス視差の最大値と同じ視差補正量となるスプライン補間拡大等の２次以上の関数の拡大率を使用し、拡大率を連続的に変化させるようにしている。

上記図１３（Ｂ）及び（Ｃ）に示す視差制御によれば、画面中央の画像の飛出し量の補正を少なくすることができるとともに、より画面の端部の飛出し視差を抑えることができる。

以上の例では、立体視画像の右端部の飛出し方向の視差量を補正する場合について説明したが、立体視画像の左領域４０Ｌに存在する飛出し方向の視差量を補正する場合も同様に行うことができる。

この場合、右の視点画像Ｒの左半分の拡大率を制御することにより視差量を補正する際の拡大率は、図１４（Ａ）から（Ｃ）に示すように拡大率が１００％よりも小さい拡大率で拡大（即ち、右の視点画像Ｒの左半分の画像を左右方向のみ縮小）させる。

尚、図１４（Ａ）から（Ｃ）に示すように拡大率は、図１３（Ａ）から（Ｃ）に示した拡大率と同様に、一定の拡大率、一次関数の拡大率、又は２次以上の関数の拡大率を使用することができる。

また、図１３及び図１４等に示した例では、右の視点画像Ｒの拡大率を制御することにより視差量を補正するようにしたが、同様に左の視点画像Ｌの拡大率を制御することにより視差量を補正するようにしてもよいし、左右の視点画像Ｌ／Ｒの拡大率をそれぞれ制御することにより視差量を補正するようにしてもよい。

図１５（Ａ）から（Ｃ）は、左右の視点画像Ｌ／Ｒの拡大率をそれぞれ制御することにより視差量を補正する場合の拡大率の例を示している。

図１５（Ａ）から（Ｃ）に示すように、立体視画像の右領域４０Ｒに存在する飛出し方向の視差量を補正する場合、右の視点画像Ｒの右半分の拡大率を１００％よりも大きくし、左の視点画像Ｌの右半分の拡大率を１００％よりも小さくする。

このように左右の視点画像Ｌ／Ｒの拡大率をそれぞれ制御（一方の視点画像を拡大し、他方の視点画像を縮小）することにより、一方の視点画像のみの拡大率を制御する場合に比べて、拡大率を半分に分散させることができる。

尚、上記実施形態では、立体視画像の左領域４０Ｌ及び右領域４０Ｒからそれぞれ検出された視差量の最大値のうちの大きい方の最大値に基づいて視差量を制御しているが、これに限らず、左領域４０Ｌ及び右領域４０Ｒのそれぞれに飛出し視差が存在する場合には、それぞれの飛出し視差の最大値がゼロになるように視差量を制御するようにしてもよい。この場合、画像の右半分の視差制御と左半分の視差制御は、それぞれの最大値に応じて異なる制御が行われることになる。

以上の左右の視点画像の拡大と縮小のケースをまとめると、次表のようになる。

上記［表１］に示したように、拡大と縮小の処理する条件は６種類になる。右半分の画面領域の処理の場合、(1)右の画像のみ拡大、(2)左の画像のみ縮小、(3)右の画像を拡大し、左の画像は縮小の３種類である。同様に左半分の画面領域での処理は(4)〜(6)の３種類になる。

また、上記の実施形態では、視点画像の右半分又は左半分の画像に対して拡大／縮小を行うようにしたが、これに限らず、図１６（Ａ）及び（Ｂ）に示すように、視点画像の右半分又は左半分の領域よりも狭い領域（右領域又は左領域）の画像に対して拡大／縮小を行うようにしてもよい。これによれば、画像中央にある被写体の飛出し量への拡大／縮小処理の影響をより少なくすることができる。

［第３の実施形態］
次に、３Ｄ画像表示装置１０による視差量制御の第３の実施形態について説明する。

第１、２の実施形態では、立体視画像の左領域４０Ｌ又は右領域４０Ｒから検出されたプラス視差の最大値を左領域４０Ｌ又は右領域４０Ｒの代表視差量とし、その代表視差量が視差ゼロになるように視差量を制御するようにしているが、第３の実施形態では、前記プラス視差の最大値を、以下に示す補正係数で補正した値を代表視差量としている。

図１７は、立体視画像の左領域４０Ｌ又は右領域４０Ｒから検出された視差量の分布の一例を示す図である。

第３の実施形態では、まず立体視画像の左領域４０Ｌ又は右領域４０Ｒの飛出し視差の最大値（最大視差量Cmax）を求めるとともに、飛出し視差を有する画像の面積（画素数）を算出する。

次に、前記算出した飛出し視差の面積に基づいて最大視差量Cmaxを補正する補正係数αを求める。図１８は飛出し視差の面積と補正係数αとの関係を示すグラフであり、このグラフに対応する計算式又は補正テーブルに基づいて補正係数αを求める。

尚、補正係数αは、０≦α≦1.0の範囲の係数であり、飛出し視差の面積が小さい場合には０となり、飛出し視差の面積が大きい場合には１となる係数である。

そして、上記最大視差量Cmaxと補正係数αとに基づいて視差補正量ｓを次式により算出する。

［数２］
視差補正量ｓ＝Cmax*α
上記のようにして求めた視差補正量ｓを、最大値（最大視差量Cmax）に代わる代表視差量として使用し、第１、第２の実施形態で示した方法により視差補正量ｓがゼロになるように視差量を制御する。これにより、飛出し視差の面積が小さい場合には、視差補正が行われず、又は視差補正の補正量が小さくなり、過補正を防止することができる。

尚、代表視差量は、上記のように最大視差量Cmaxと飛出し視差の面積から求めた補正係数αとを乗算して求めた視差補正量ｓに限らず、例えば、図１７に示した飛出し視差の分布を示すヒストグラムに基づいて飛出し視差の大きい方から、飛出し視差を有する画素数を累算し、その累算値が所定値に達したときの飛出し視差量を、最大値に代わる代表視差量として使用することができる。

［第４の実施形態］
次に、３Ｄ画像表示装置１０による視差量制御の第４実施形態について説明する。

第４の実施形態は立体視画像が動画の場合の視差量の制御に関する。動画の立体視画像を表示させる場合、シーンが変化するため、画面上の視差も変化する。

図１９（Ａ）は立体視画像の特定の領域（図４に示した立体視画像の左領域４０Ｌ又は右領域４０Ｒ）での飛出し視差の最大値の時間変化の一例を示しており、時間t1,t2からそれぞれ飛出し視差のある映像が表示されることを意味している。

このとき、飛出し視差がある場合に、直ちに飛出し視差を抑える視差補正を行うのではなく、図１９（Ｂ）に示すように不感期間ｉ（例えば、１秒程度）を設け、飛出し視差を有する映像が現れてから不感期間ｉ以上、飛出し視差を有する映像が連続している場合のみ、不感期間ｉを越えて連続する立体視画像（動画）の飛出し視差を補正する。

図２０は上記動画での飛出し視差の制御内容を示すフローチャートである。

図２０に示すようにＣＰＵ２０は、動画の立体視画像を表示させる際に、動画中のあるフレームについて、そのフレームに最大飛出し視差の領域が存在するか否かを判別する（ステップＳ３０）。存在しない場合(「No」の場合)には、不感帯検出タイマをゼロにリセットし（ステップＳ３２）、ステップＳ３０に戻る。存在する場合(「Yes」の場合)には、不感帯検出タイマをカウントアップし（ステップＳ３４）、ステップＳ３６に遷移させる。

ステップＳ３６では、不感帯検出タイマのタイマ値が、所定の上限値（不感期間ｉ）を超えたか否かを判別し、超えた場合(「Yes」の場合)には、ステップＳ３８に遷移させ、超えていない場合(「No」の場合)には、ステップＳ４０に遷移させる。

ステップＳ３８では、飛出し視差を抑える視差補正を行ったのちステップＳ３０に遷移させ、ステップＳ４０では、飛出し視差を抑える視差補正を行わずに、ステップＳ３０に遷移させる。

上記処理は動画の１フレームの周期で繰り返し実行される。

このように飛出し視差の補正開始に不感期間ｉを設けるようにしたため、飛出し視差が頻繁に補正されなくなり、見やすい立体映像になる。

［その他］
この実施形態の３Ｄ画像表示装置１０は、視差補正した立体視画像を表示する３Ｄ ＬＣＤ１２を備えているが、本発明は、立体表示手段を備えていない３Ｄ画像処理装置であって、視差補正した立体視画像を外部の立体表示手段（例えば、大画面の３Ｄディスプレイ等）に出力して表示させるものや、カードＩ／Ｆ２４を介して視差補正した立体視画像をメモリカード３４等の記録媒体に記録させるものでもよい。

また、この実施形態では、飛出し視差の最大値がゼロになるように視差量を制御するようにしたが、これに限らず、視差量ゼロ以外の比較的視差量の小さい所定値（又は観察者が任意に設定した所定値）になるように視差量を制御するようにしてもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体画像表示装置（３Ｄ画像表示装置）、１２…３次元液晶ディスプレイ（３Ｄ ＬＣＤ）、２０…中央処理装置（ＣＰＵ）、２２…ワークメモリ、２４…カードインターフェース、２６…表示コントローラ、２８…バッファメモリ、３０…ＥＥＰＲＯＭ、３４…メモリカード

Claims (12)

1. 左右の視点画像からなる立体視画像を取得する画像取得手段と、
   前記画像取得手段により取得された立体視画像のうちの両端付近の所定の左領域内及び右領域内の左右の視点画像間の飛出し方向の視差量であって、それぞれ左領域内の視差量の第１の代表視差量及び右領域内の視差量の第２の代表視差量を求める代表視差量取得手段と、
   前記取得された第１、第２の代表視差量の少なくとも一方の代表視差量に基づいて該代表視差量が低減されるように前記左右の視点画像間の視差量を制御する視差量制御手段と、
   前記視差量が制御された左右の視点画像からなる立体視画像を出力する出力手段と、
   を備えたことを特徴とする立体画像処理装置。
2. 前記代表視差量取得手段は、前記左領域内の視差量のうちの第１の最大値及び右領域内の視差量のうちの第２の最大値を検出する手段を有し、前記検出された第１、第２の最大値をそれぞれ前記第１、第２の代表視差量として取得することを特徴とする請求項１に記載の立体画像処理装置。
3. 前記代表視差量取得手段は、前記左領域内の視差量のうちの第１の最大値及び右領域内の視差量のうちの第２の最大値を検出する手段と、前記左領域内の視差量のうちの飛出し方向の視差量を有する画像の第１の面積及び前記右領域内の視差量のうちの飛出し方向の視差量を有する画像の第２の面積を算出する手段と、前記検出した第１、第２の最大値を前記算出した第１、第２の面積に応じてそれぞれ補正する補正手段と、を有し、前記補正した第１、第２の最大値をそれぞれ前記第１、第２の代表視差量として取得することを特徴とする請求項１に記載の立体画像処理装置。
4. 前記視差量制御手段は、前記第１、第２の代表視差量のうちの一方の代表視差量が所定値になるように、又は前記第１、第２の代表視差量のそれぞれが所定値になるように前記左右の視点画像間の視差量を制御することを特徴とする請求項１から３のいずれかに記載の立体画像処理装置。
5. 前記視差量制御手段は、画像中央で画像ずらし量が最小となる一次又は２次以上の関数で画像ずらし量を連続的に変化させることにより前記左右の視点画像間の視差量を制御することを特徴とする請求項４に記載の立体画像処理装置。
6. 前記視差量制御手段は、前記右の視点画像の右領域の画像を左右方向のみ拡大し、又は左領域の画像を左右方向のみ縮小し、若しくは前記左の視点画像の右領域の画像を左右方向のみ縮小し、又は左領域の画像を左右方向のみ拡大することにより前記左右の視点画像間の視差量を制御することを特徴とする請求項４に記載の立体画像処理装置。
7. 前記視差量制御手段は、前記拡大又は縮小時の拡大率を一定にし、又は画像中央の拡大率が１００％になる一次又は２次以上の関数で連続的に変化させることにより前記左右の視点画像間の視差量を制御することを特徴とする請求項６に記載の立体画像処理装置。
8. 前記視差量制御手段は、前記左右の視点画像のうちの右領域又は左領域の画像であって、前記第１、第２の代表視差量のうちの大きい方の代表視差量が存在する右領域又は左領域の画像のみに対して前記左右の視点画像間の視差量を制御することを特徴とする請求項１から７のいずれかに記載の立体画像処理装置。
9. 前記視差量制御手段は、前記第１、第２の代表視差量のうちの一方の代表視差量が所定値になるように前記左右の視点画像の画像全体を相対的に画像ずらしすることを特徴とする請求項１から３のいずれかに記載の立体画像処理装置。
10. 前記視差量制御手段により視差量が制御された左右の視点画像の、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング手段を備え、
    前記出力手段は、前記トリミングされた左右の視点画像からなる立体視画像を出力することを特徴とする請求項１から９のいずれかに記載の立体画像処理装置。
11. 前記画像取得手段は、動画の立体視画像を取得し、
    前記代表視差量取得手段は、前記取得した動画の立体視画像について連続して第１の代表視差量又は第２の代表視差量を取得し、
    前記視差量制御手段は、前記動画の立体視画像について前記代表視差量取得手段により連続して前記第１の代表視差量又は第２の代表視差量が取得される期間を計時するタイマ手段を有し、前記タイマ手段により計時された期間が所定の期間を超えたときのみ、その期間経過後に前記左右の視点画像間の視差量を制御し、前記代表視差量取得手段により前記第１の代表視差量又は第２の代表視差量が取得されなくなると、前記タイマ手段をリセットすることを特徴とする請求項１から１０のいずれかに記載の立体画像処理装置。
12. 請求項１から１１のいずれかに記載の立体画像処理装置と、
    左右の視点画像からなる立体視画像を表示する立体表示手段と、を備え、
    前記出力手段は、前記視差量が制御された左右の視点画像からなる立体視画像を前記立体表示手段に出力することを特徴とする立体画像表示装置。

Images