JP6380881B2 - 立体画像表示装置、画像処理装置及び立体画像処理方法 - Google Patents

Description

本発明は、立体画像表示技術、特に観察者が移動した際にも違和感を与えない立体画像に変換する立体画像表示装置等に関する。

近年、立体画像を視聴可能なテレビジョンが一般市場で販売されている。これに伴って立体画像用コンテンツの量も増加しており、立体画像を視聴する環境は整備されつつある。立体画像用テレビジョンは、一般的に観察者が立体画像表示用の眼鏡をかけることにより、左右の眼に視差の異なる画像を投影して観察者へ立体画像を視聴させている。しかし、立体画像表示用の眼鏡をかけることに不快感を持つ観察者は多く、眼鏡が不要である立体画像表示装置が望まれている。また、眼鏡式の立体画像表示装置をモバイル用途として利用する際には、外出先に立体画像表示装置と立体画像表示用の眼鏡とを持ち運ぶ必要があって不便であり、モバイル用途ではなおさら眼鏡が不要な立体画像表示装置が望まれている。

立体画像表示用の眼鏡が不要な立体画像表示装置は、立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する方式が一般的である。立体画像表示装置の立体表示パネルにレンチキュラレンズやパララックスバリアを備えることで、分割した空間領域ごとに視差の異なる画像を投影している。

これらの方式の立体画像表示装置は、立体画像表示用の眼鏡を装着する必要がなく、煩わしさがない点で優れており、特にモバイル用途での利用が期待されている。しかし、これらの方式では視差の異なる画像は空間的に分離して投影されるため、観察者が正常に立体画像を視認できる空間領域は限定される。観察者が正常に立体画像を視認できる空間領域は、観察者の左眼の位置が左眼用画像の投影される空間領域内にあり、観察者の右眼の位置が左眼用画像の投影される空間領域内にある場合となる。観察者の左右の眼の位置がこの空間領域から外れると、左眼用画像と右眼用画像が重なって見えたり（いわゆる二重像）、奥行き感が逆になった映像が見えたり（いわゆる逆視）するという問題がある。

ここで、立体表示パネルによって分割される空間領域について図を参照し説明する。はじめに、立体表示パネルにパララックスバリアを用いたときの空間領域について説明する。

図６４に、パララックスバリア方式の立体画像表示装置において、観察者の左右の眼に視差の異なる画像を投影する光学モデルの一例を示す。図６４は、観察者の頭上から見た断面図であり、観察者の両眼（右眼５５Ｒと左眼５５Ｌ）が表示装置の表示面より最適観察距離ＯＤほど離れた観察面３０に位置し、かつ観察者の両眼中心と表示パネルの中心とが一致する位置関係となっている。

画像表示パネル（図示なし）は、マトリックス状に配列された画素となる光変調素子群から構成されており（例えば液晶パネル）、図６４には、交互に並ぶ右眼用画素４Ｒと左眼用画素４Ｌのうち、画像表示パネル両端と中心との各画素のみを図示している。空間領域を分割して画像を投影する手段として機能するパララックスバリア６は、観察者から見て表示パネルの奥に配置されている。パララックスバリア６は、細い縦縞状の多数のスリット６ａが形成されたバリア（遮光板）であり、画像表示パネルの左眼用画素４Ｌと右眼用画素４Ｒとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。パララックスバリアのさらに奥には光源（図示なし：いわゆるバックライト）が設置され、光源から出た光はスリット６ａを通過し、画像表示パネル内の画素において強度が変調され観察者に向けて投影される。右眼用画素４Ｒの投影方向及び左眼用画素４Ｌの投影方向は、スリット６ａの存在により制限される。

ここで、各々のスリット６ａから出た光のうち最も近い画素を通る光の軌跡を光線２０として図示すると、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒ（右眼用画像の投影される空間領域）と、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌ（左眼用画像の投影される空間領域）とが得られる。右眼領域７０Ｒでは右眼用画素４Ｒからの投影像しか観察できず、また左眼領域７０Ｌでは左眼用画素４Ｌからの投影像しか観察できない。そのため、観察者の右眼５５Ｒが右眼領域７０Ｒ内に位置し、左眼５５Ｌが左眼領域７０Ｌ内に位置しているとき、左右の眼に視差画像を投影すると観察者は立体画像として視認する。逆にいえば、観察者は、右眼５５Ｒが右眼領域７０Ｒ内に位置し、かつ左眼５５Ｌが左眼領域７０Ｌ内に位置しているときに所望の立体画像を観察できる。

図６４の表示装置は、観察面３０において、右眼領域７０Ｒ、左眼領域７０Ｌの幅が最大になるように、各右眼用画素４Ｒと左眼用画素４Ｌ（幅Ｐ）の距離ＯＤにおける投影像（幅Ｐ'）が全て重なるように設計されている。この投影像の幅Ｐ'は、主にスリット６ａと画素との距離ｈ、画素ピッチＰ、最適観察距離ＯＤにより決定できる。幅Ｐ'を広げれば、右眼領域７０Ｒ及び左眼領域７０Ｌの幅は広がるが、観察者の両眼は各々を任意の位置に置くことは不可能であるので、立体画像を視認できる立体視域は必ずしも広がるわけではない。両眼の間隔をｅとすると、幅Ｐ'は両眼間隔ｅと等しくなるように設計することが好ましい。幅Ｐ'が両眼間隔ｅよりも小さな場合には、立体視が行える領域は幅Ｐ'に制限される。また、幅Ｐ'が両眼間隔ｅよりも大きな場合においては、両方の眼が右眼領域７０Ｒ又は左眼領域７０Ｌに位置する領域が増えるだけである。なお、図６４にはスリット幅Ｓが記載されている。

また、図６５に、パララックスバリア６が、観察者から見て表示パネルの手前に配置されている場合の光学モデルを示す。観察者の表示パネルの奥に配置されている例と同様に、観察者は最適観察位置ＯＤに位置し、観察面３０において、左右各画素（幅Ｐ）の投影像（幅Ｐ'）は重なるように設計されている。各々の画素から出た光のうち最も近いスリット６ａを通る光の軌跡を光線２０として図示することで、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒと、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌとが得られる。

次に、パララックスバリアの代わりにレンチキュラレンズを用いたときに分割される空間領域を、図６６に示す。図６６は、図６５においてパララックスバリア６がレンチキュラレンズ３へ代わっただけである。

次に、レンチキュラレンズ方式の光学モデルを用いて、観察者が正常に立体画像を視認できる領域（正視領域）から外れて逆視領域に位置する場合について説明する。図６７は、観察者が右に移動したため、右眼５５Ｒが右眼領域７０Ｒ外に移動して左眼領域７２Ｌ内に位置し、左眼５５Ｌが左眼領域７０Ｌ外に移動して右眼領域７０Ｒ内に位置したときの観察者の頭上から見た断面図である。

このとき、観察者の右眼５５Ｒの位置には、左眼用画素４Ｌ及び右眼用画素４Ｒから出た光の中で、最も近いシリンドリカルレンズ３ａの主点（頂点）を通る光線２０は届かない。しかしながら、左眼用画素４Ｌから出た光の中で２番目に近いシリンドリカルレンズ３ｂの主点（頂点）を通る光に着目し、光線２１として図示すると、第２の左眼領域７２Ｌが得られる。つまり、図６７においては、観察者は右眼５５Ｒで左眼用画素４Ｌからの投影像を観察し、左眼５５Ｌで右眼用画素４Ｒからの投影像を観察することになり、立体画像を観察すると飛び出しと奥行きが反対となり（いわゆる逆視）所望の立体画像を視認できない。ここで、右眼５５Ｒにとっては、右眼領域７０Ｒが正視領域となり、左眼領域７０Ｌ，７２Ｌが逆視領域となる。左眼５５Ｌにとっては、左眼領域７０Ｌ，７２Ｌが正視領域となり、右眼領域７０Ｒが逆視領域となる。

次に、レンチキュラレンズ方式の光学モデルを用いて、観察者が正常に立体画像を視認できる領域（正視領域）から外れて３Ｄクロストーク領域に位置する場合について考察する。図６８は、観察者が右に移動したため、右眼５５Ｒが右眼領域７０Ｒと左眼領域７２Ｌとの境目に位置し、左眼５５Ｌが右眼領域７０Ｒと左眼領域７０Ｌとの境目に位置したときの観察者の頭上から見た断面図である。

このとき、観察者の右眼５５Ｒの位置には、右眼用画素４Ｒから出た光の中で、最も近いシリンドリカルレンズ３ａの主点（頂点）を通る光線２０と、左眼用画素４Ｌから出た光の中で２番目に近いシリンドリカルレンズ３ｂの主点（頂点）を通る光線２１との両方が投影される。つまり、図６８においては、観察者は右眼５５Ｒで右眼用画素４Ｒと左眼用画素４Ｌとの両方からの投影像を観察することになり、立体画像を観察すると右眼用画素４Ｒと左眼用画素４Ｌとが重なって二重像となり（いわゆる３Ｄクロストーク）所望の立体画像を視認できない。ここで、右眼領域７０Ｒと左眼領域７２Ｌとの境目領域並びに右眼領域７０Ｒと左眼領域７０Ｌとの境目領域が、３Ｄクロストーク領域となる。

以上より、立体画像表示用の眼鏡が不要である立体画像表示装置は、観察者の観察位置によっては二重像や逆視の問題が発生するため、観察者へ違和感を与えてしまい、立体画像表示装置の普及を妨げる原因となっていた。

上記の問題を解決するために、観察者の観察位置を検出し、その位置に応じて、視差のある立体画像と視差の無い平面画像とを切り替えて表示する方法が提案されている（特許文献１、２）。

また、観察者の観察位置を検出し、視差の異なる画像同士を全体的にシフトさせる視差調整処理を実施することで、逆視領域における観察者の負担を軽減する立体画像を表示する方法が提案されている（特許文献３）。

また、観察者の観察位置を検出し、パララックスバリアのバリア位置を変動させることで、３Ｄクロストークによる二重像や逆視の問題を対策する方法が提案されている（特許文献４、５、６、７、非特許文献１）。その中でも特許文献７では、視差の異なる画像同士の視差調整処理を実施することで、観察者が移動するのに応じて立体画像内のオブジェクトも連動して移動する動視差を表現する方法が提案されている。

また、観察者の観察位置を検出し、観察位置に応じた視点の画像情報に変換して表示することで、通常の画像表示装置においても運動視差を表現する方法が提案されている（特許文献８）。

また、左眼用画像と右眼用画像との輝度差分値が最小になるように、右眼用画像を全体的にシフトさせて視差量を調整し、立体画像を表示することで、３Ｄクロストークによる二重像の影響を低減させる方法が提案されている（特許文献９）。

また、同じ視差の立体画像コンテンツを表示しても、立体画像表示装置と観察者の観察位置との距離によって、観察者が観察する立体画像コンテンツの視差は変化する。立体画像表示装置と観察者の観察位置との距離が近すぎると、立体画像コンテンツの視差が大きくなり、立体画像を視認できなくなる問題を解決するために、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツの視差を調整して立体画像を表示する方法が提案されている（特許文献１０）。

また、表示部に対する観察者の観察位置・観察角度を検出し、立体画像表示装置の視域角・視域幅・側面湾曲によるクロストーク量を考慮して、観察角度に応じて画像データの視差を調整し、高品質な立体画像を表示する方法が提案されている（特許文献１１）。

国際公開第２０１０／０６１６８９号公報 特開２００３−１０７３９２号公報 特開２０１２−０１００８４号公報 特開２０００−１５２２８５号公報 特開２００７−３１８１８４号公報 特開２０１０−０１４８９１号公報 特開２０１２−０３９４６９号公報 特開２００７−０５２３０４号公報 特開２０１０−２００２１３号公報 特開２０１２−０４４３０８号公報 特開２０１２−０６０６０７号公報

Jung-Min Choi,et al "Autostereoscopic 3D with Wide Viewing Angle using Gyro-Sensor," IDW11 3Dp-7, pp. 291-294

立体画像表示用の眼鏡が不要な裸眼の立体画像表示装置は、観察者の観察位置によっては３Ｄクロストークによる二重像や逆視の問題が発生するため、観察者へ違和感を与えれしまうだけでなく、低画質の立体画像表示装置の場合には映像酔いや眼精疲労など生理的な不安定感を招く１つの要因となり、裸眼の立体画像表示装置の普及を妨げる原因となっていた。

これらの問題を解決する方法として、特許文献１、２が提案されている。しかし、特許文献１、２は、視差のある立体画像と視差の無い平面画像とを切り替える際に、視野角に対する視差値の微分係数がほぼ無限大となるような、視差値の急激な変化により、観察者へ違和感を与えることに課題を有する。

特許文献３では、視差画像を全体的にシフトさせ、視差調整処理を実施することで、観察者が静止していれば、飛び出し量を押さえて安定感のある立体画像を表示できるという技術が提案されている。しかし、特許文献３の視差調整処理方法では、３Ｄクロストークによる二重像の問題を解決できないことや、観察者の観察位置の移動速度を考慮していないために、観察者へ違和感を与えること、という課題を有する。

特許文献４、５、６、７及び非特許文献１では、パララックスバリアのバリア位置を変動させることで、３Ｄクロストークによる二重像や逆視の問題を対策できるという技術が提案されている。しかし、いずれの文献でも、バリア位置を変動させるバリア駆動装置が必要となって装置コストが増大すること、パララックスバリア方式にしか適用できず消費電力が増大すること、という課題を有する。また、特許文献７では、視差調整処理によって動視差を表現する方法が提案されているが、３Ｄクロストークによる二重像の問題は解決できない。

特許文献８では、観察位置に応じた視点の画像情報に変換して表示することで、運動視差を表現するという技術が提案されている。しかし、特許文献８の画像表示方法は、両眼視差による立体画像を表示する方法を考慮していないため、両眼視差がある立体画像コンテンツを表示できないという課題を有する（３Ｄクロストークによる二重像の問題も考慮されていない）。

特許文献９では、右眼用画像を全体的にシフトさせて視差量を調整し、立体画像を表示することで、３Ｄクロストークによる二重像の影響を低減させる方法が提案されている。しかし、右眼用画像を全体的にシフトさせて立体画像を表示すると、一部の画像範囲で本来の立体画像コンテンツとは異なる視差表現がされる、という課題を有する（例えば、飛び出し表示される画像範囲が画像の全体的なシフト処理によって奥行き表示に変更される可能性もある。）。また、特許文献９では、観察者の観測位置を使用しておらず、常に画像シフトによる視差調整処理が実施されてしまうため、観察者の観察位置が正視領域であっても、魅力ある立体画像コンテンツが表示できないという課題を有する。

特許文献１０では、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツを視差調整処理する方法が提案されている。しかし、特許文献１０では、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄクロストークによる二重像の影響を軽減する視差調整量の算出方法が考慮されていないため、３Ｄクロストークによる二重像の問題は解決できないという課題を有する。

特許文献１１では、視域角・視域幅・クロストーク量の変化に応じた視野調整方法が提案されているが、具体的な処理方法として、視域角・視域幅の変化に応じた視野調整方法だけしか記載されておらず、クロストーク量の変化に応じた視差調整方法が記載されていないと同時に、上記した正視領域と逆視領域と３Ｄクロストーク領域に関する点を考慮していない。このため、特許文献１１に記載された視差調整方法では、観察角度θが十分小さく側面湾曲が発生してない領域においても出現する上記３Ｄクロストーク領域における２重像の影響を軽減できないという課題を有する。また、特許文献１１における視差調整処理では、視差値が負の値とならないため、逆視が発生しても対策できないという課題を有する。また、特許文献１１における視差調整処理では、観察位置の移動速度を考慮していないため、観察位置が速く移動すると、視差値が急激に変化し、観察者へ違和感を与える立体画像を表示するという課題を有する。

特許文献１乃至１０及び非特許文献１の全ての文献において、立体画像表示装置の立体表示パネルの視野角に対する表示特性を含むデバイス特性データを参照し、立体画像コンテンツの視差調整処理を実施して、３Ｄクロストークによる二重像や逆視の問題を解決する技術は提案されていない。

そこで、本発明は、上述した課題を解決し、バリア駆動装置が無い立体画像表示装置であっても、視差値の急激な変化による違和感を与えずに、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者の観察位置が移動しても観察者へ違和感を与えない、立体画像表示装置等を提供することを目的とする。

本発明に係る立体画像表示装置は、
少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル部を備えるとともに、
前記観察者の観察位置を計測する観察者位置計測部と、
この観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
この相対位置に対する前記立体表示パネル部の表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
画像データを保存又は受信する画像データ保管部と、
前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出する視差調整量算出部と、
この視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施する視差調整処理部と、
を備えたものである。

本発明に係る画像処理装置は、
少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネルへ画像データを出力する画像処理装置において、
前記観察者の観察位置を計測する観察者位置計測部と、
この観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
画像データを受信する画像データ受信部と、
前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出する視差調整量算出部と、
この視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施する視差調整処理部と、
前記視差調整処理された前記画像データを出力する画像データ送信部と、
を備えたものである。

本発明に係る立体画像処理方法は、
少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル、
を用いた立体画像処理方法において、
前記観察者の観察位置を計測し、
この観察位置に対する前記立体表示パネルの相対位置を算出し、
前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出し、
画像データを取得し、
前記視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施し、
前記視差調整処理をされた前記画像データを前記立体表示パネルへ出力する、
ことを特徴とする。

本発明によれば、観察者の観察位置が移動しても、視差値の急激な変化による違和感を与えずに、３Ｄクロストークによる二重像や逆視の問題を解決して、違和感を与えない立体画像表示装置等を提供できる効果がある。

実施形態１の立体画像表示装置の構成図 立体画像表示装置の外観図 観察者の観測位置と立体表示パネルとの相対位置の座標系を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 ３Ｄクロストーク特性データと光学モデルとの関係図 ３Ｄクロストーク特性データと光学モデルとの関係図 光学モデルの拡大図 正視領域・逆視領域・３Ｄクロストーク領域の領域幅と視野角の関係図 視野角に対する視差許容値を示す図 ３Ｄクロストーク量に対する各種値の関係表を示す図 視野角に対する視差許容値を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 視野角に対する視差許容値を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 視野角に対する視差許容値を示す図 画像データ保管部内に保管される画像データの図 視差画像と視差値の関係図 視差値とＬＲ画像の関係図 画像データ保管部内に保管される画像データの図 視野角に対する視差許容値を示す図 視野角に対するコンテンツの視差最大値を示す図 視野角に対する視差調整処理後の視差最大値を示す図 視差調整量により変更された視差画像データ群の図 画素移動によって生成したＲ'画像の図 立体画像処理方法のフローチャート図 立体画像表示装置の外観図 画像処理装置の構成図 ８視点での光学モデル図 ４視点での光学モデル図

実施形態２の立体画像表示装置の構成図 視差変化量の許容値を示す図 視野角に対する視差許容値を示す図 視野角に対する視差許容値を示す図 実施形態１と実施形態２との視差許容値の比較表を示す図 視野角に対する視差許容値を示す図 視野角に対する視差許容値を示す図 視野角に対するコンテンツの視差最大値を示す図 視野角に対する視差調整処理後の視差最大値を示す図 立体画像処理方法のフローチャート図

実施形態３の立体画像表示装置の構成図 立体画像表示装置の３Ｄクロストーク特性データを示す図 視野角に対する視差許容値を示す図 視野角に対するコンテンツの視差最大値を示す図 視野角に対する視差調整処理後の視差最大値を示す図 立体画像処理方法のフローチャート図

実施形態４の立体画像表示装置の構成図 相対位置における二重像が現れる画像範囲を示す図 視差調整処理の実施判定表を示す図 観察者の右眼・左眼に投影される画像表示状態を示す図 立体画像コンテンツの表示状態を示す図 観察者の右眼・左眼に投影される画像表示状態を示す図 画像表示状態と３Ｄクロストーク特性データの関係図 立体画像処理方法のフローチャート図

実施形態５の立体画像表示装置の構成図 手の指を広げることにより視差を増加させるジェスチャ操作を示す図 入力操作に応じた立体画像コンテンツの視差最大値を示す図 入力操作の通知画面の図 立体表示パネル上に表示された通知画面の図 立体表示パネル上に表示された通知画面の図 立体表示パネル上に表示された通知画面の図 立体画像処理方法のフローチャート図

実施形態６の立体画像表示装置の構成図 温度低下による光学モデルの変化を示す図 温度上昇による光学モデルの変化を示す図 低温時の３Ｄクロストーク特性データを示す図 温度低下による光学モデルの変化を示す図 低温時の光学モデルの拡大図を示す図 低温時の正視領域・逆視領域・３Ｄクロストーク領域の領域幅と視野角の関係図 立体画像処理方法のフローチャート図

パララックスバリアの光学モデル図 パララックスバリアの光学モデル図 レンチキュラレンズの光学モデル図 逆視領域を説明する光学モデル図 ３Ｄクロストーク領域を説明する光学モデル図

実施形態７の立体画像表示装置の構成図 視野角に対する視差許容値を示す図 ３Ｄクロストーク量に対する各種値の関係表を示す図 視野角に対する視差許容値を示す図 視差値の変化の時間経過を示す図 立体画像処理方法のフローチャート図

実施形態８の立体画像表示装置の構成図 視野角に対する仮想的なカメラの視点位置を示す図 立体画像コンテンツと仮想的なカメラの視点位置との概念図 立体画像表示装置と視野角との概念図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する視差許容値を示す図 視野角に対する仮想的なカメラの視点位置の概念図 視野角に対する仮想的なカメラの視点位置の概念図 視野角に対する４視点の仮想的なカメラの視点位置を示す図 視野角に対する４視点の仮想的なカメラの視点位置を示す図 視野角に対する４視点の仮想的なカメラの視点位置を示す図 視野角に対する４視点の仮想的なカメラの視点位置を示す図 立体画像処理方法のフローチャート図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する視差許容値を示す図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する仮想的なカメラの視点位置を示す図

以下、添付図面を参照しながら、本発明を実施するための形態（以下「実施形態」という。）について説明する。

［実施形態１］
実施形態１の立体画像表示装置の構成について下記に説明する。図１は立体画像表示装置１１の構成図である。立体画像表示装置１１は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、を備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４及び視差調整処理部１０６を統合した処理部を、画像処理部１５１とする。

図２に立体画像表示装置１１の外観図を示す。図３に、観察者１０の観測位置と立体表示パネル１０７ａとの相対位置の座標系を示す。図２では、立体表示パネル部１０７の一部としての立体表示パネル１０７ａ、観察者位置計測部１０１の一部としてのカメラ１０１ａを示している。そして、立体画像表示装置１１では、立体表示パネル１０７ａの上部にカメラ１０１ａが設置されており、カメラ１０１ａによって観察者１０を撮影することで観察者１０の観察位置が計測される。また、カメラ１０１ａと立体表示パネル１０７ａとの相対位置は固定されているため、カメラ１０１ａで観察者１０を撮影することで、観察者１０の観察位置と立体表示パネル１０７ａとの相対的な位置を算出できる。

立体表示パネル１０７aは、少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された電気光学手段としての表示パネルと、前記それぞれの画像を所定の異なる方向に分離可能な光線分離手段としてのレンチキュラレンズから構成される。一例として、電気光学手段としての表示パネルは液晶方式、有機ＥＬ方式、プラズマ方式などを用いることができ、光線分離手段としてレンチキュラレンズ、パララックスバリア、液晶レンズなどを用いることができる。本実施形態では表示パネル２とレンチキュラレンズ３との組合せを用いて説明することとする（図５参照）。なお、特許請求の範囲に記載の「第１の方向」の一例が図３におけるＸ軸方向であり、同じく「光学手段」の一例が前述の光線分離手段である。

また、立体表示パネル１０７ａの後方部には、画像処理部１５１、デバイス特性データ保管部１０３及び画像データ保管部１０５の各機能を実現する計算機器１５０が設置されている。以下に、立体画像表示装置１１に含まれる各部の機能を説明する。

観察者位置計測部１０１は、立体表示パネル１０７ａに表示される立体画像を観察している観察者１０の位置を計測する機能を有する。観察者位置の計測にあたっては、立体表示パネル１０７ａの上部に設置されたカメラ１０１ａで観察者１０を撮影することで、観察者１０の右眼と左眼の位置を計測する。

観察者１０の観察位置の計測はカメラ１０１ａの撮像面に水平方向（Ｘ軸，Ｙ軸）の位置だけでなく、カメラ１０１ａに対して奥行き方向（Ｚ軸）の位置も計測する。カメラ１０１ａに対して奥行き方向の距離を計測する方式は、下記のように多数提案されている。

その一つ目は、光パタン投影方式であり、カメラとは異なる視点から観察者へ赤外線等の光パタンを投影して、その変位量から三角測量の原理によって奥行き距離を計測するものである。この光パタン投影方式を採用した機器として、近年、家庭用ゲーム機やＰＣ周辺機器として製品化されている。

その二つ目は、ＴＯＦ（Time of Flight）方式であり、カメラから観察者へ近赤外線の正弦波光を照射し、観察者から反射された正弦波光がカメラまでに到達する光飛行の時間差から、奥行き距離を計測するものである。近年、ＴＯＦセンサの性能向上は目覚しく、小型で安価なカメラにより奥行き距離が計測できるようになりつつある。

その三つ目は、多眼カメラ方式であり、異なる視点にカメラを２台以上設置する。奥行き距離の計測は、任意視点の画像から観察者の特徴点を検出し、異なる視点の画像から特徴点に対応する点を探索して三角測量の原理から奥行き距離を算出する。

その四つ目は、レンズの焦点（Focus）情報を利用した方式であり、被写界深度の異なる光学系レンズを利用して様々な焦点で撮影した多焦点画像群から観察者の奥行き距離を計測する。

以上、奥行き距離の計測方式を四つ挙げたが、本実施形態１はいずれの方式も採用できる。また、これ以外の計測方式でも良く、例えば、観察者の顔のサイズを予め保存しておき、カメラで撮影された観察者の顔画像サイズと比較することで奥行き距離を計測しても良い。

撮影画像から観察者の顔を検出する処理は、予め顔画像の特徴量（目や鼻、口、顎など）からテンプレートデータを生成しておき、撮影画像とテンプレートデータとをマッチングすることで観察者の顔を検出する。テンプレートデータは、観察者の顔画像から、サポートベクターマシン（ＳＶＭ）やベクトル量子化などの機械学習手法を利用して生成する。これらの顔検出機能は汎用のソフトウェアを利用することも可能である。顔検出機能ソフトウェアは、奥行き情報を使用することで、顔の向きを考慮した顔検出処理も実現できるため、検出精度が更に向上する。

以上の処理により、観察者の顔を検出して、右眼・左眼の位置を計測する。その他にカメラを利用せずに、加速度センサやジャイロセンサを利用しても良い。予め立体画像表示装置に各種のセンサを設置しておき、センサから得られる位置情報を参照することで、観察者の観察位置を計測する。

相対位置算出部１０２は、立体表示パネル１０７ａから観察者１０の観察位置までの相対位置を算出する機能を有する。図３に示すように、立体表示パネル１０７ａの中心を原点、立体表示パネル面上の横方向をＸ軸、立体表示パネル面上の縦方向をＹ軸、立体表示パネル面上に垂直な方向をＺ軸とおき、観察者１０の観察位置までの相対位置を算出する。この相対位置は、観察者位置計測部１０１で計測された観察者１０の右眼・左眼の位置から、カメラ１０１ａと立体表示パネル１０７ａまでの距離を引算して算出される。視野角θは相対位置（Ｘ軸、Ｙ軸、Ｚ軸の座標値）から算出する。視野角θとＸ軸、Ｙ軸、Ｚ軸の座標値との関係式は式（１）となるので、視野角θは式（２）より算出される。

ｔａｎθ＝Ｘ／Ｚ 式（１）
θ＝ｔａｎ^−１（Ｘ／Ｚ） 式（２）

デバイス特性データ保管部１０３は、立体表示パネル１０７ａの視野角に対する３Ｄクロストーク特性データを保存する機能を有する。図４に３Ｄクロストーク特性データの一例を示す。３Ｄクロストーク特性データの横軸は視野角θを、縦軸は３Ｄクロストーク量を表す。３Ｄクロストーク量は、右眼用画像（Ｒ画像）に左眼用画像（Ｌ画像）が混合する割合を表す（逆の混合も表す：Ｌ画像にＲ画像が混合する割合）。３Ｄクロストーク特性データは、立体表示パネル１０７ａのデバイス特性によって異なる値をとり、立体表示パネル１０７ａの設計条件及び製造条件に基づき算出することが可能である。また、３Ｄクロストーク用の評価装置で立体表示パネル１０７ａを計測しても、３Ｄクロストーク特性データを得ることができる。この場合、立体表示パネル１０７ａの中心であるＸ軸原点だけでなく（図３の座標系参照）、パネル外側の所定の±Ｘ（後述の図５における距離ＷＰ）のポイントで算出又は測定することが望ましい。本明細書では以降、３Ｄクロストーク特性データの図面を活用して説明するが、便宜上Ｘ軸原点の図面をベースに説明することとする。

立体画像表示装置１１では、３Ｄクロストーク特性データに依存して右眼領域・左眼領域・３Ｄクロストーク領域が決定される。一例として、観察者１０が立体画像を正常に視認できる３Ｄクロストーク量の閾値をβ_２以下と定義すれば、視野角θ_０〜θ_１の領域が右眼領域、視野角θ_２〜θ_４の領域が３Ｄクロストーク領域、視野角θ_５〜θ_６の領域が左眼領域となる。

この場合の立体画像表示装置１１における観察者１０の左右両眼に右眼用画像と左眼用画像を投影する光学モデルを、図５に示す。図５では、視野角θ_２〜θ_４の部分が３Ｄクロストーク領域となるため、図６８と比較すると右眼領域７０Ｒと左眼領域７０Ｌの領域は狭まる。右眼５５Ｒにとっては、右眼領域７０Ｒが正視領域であり、左眼領域７０Ｌ，７２Ｌが逆視領域で、それ以外の領域が３Ｄクロストーク領域となる。なお、図５には、最適観察距離ＯＤ、遠隔観察距離ＦＤ、近接観察距離ＮＤ、シリンドリカルレンズ幅Ｌ、画素の幅Ｐ、立体表示パネルの中心画素の位置から両端画素の位置までの幅ＷＰなどが記載されている。

その他の一例として、上記３Ｄクロストーク量の閾値をβ_１以下と定義すれば、図４より視野角θ_１〜θ_５の領域が３Ｄクロストーク領域となり、それ以外の視野角は右眼領域・左眼領域となる。この場合の立体画像表示装置１１の光学モデルを図６に示す。図６では、視野角θ_１〜θ_５の部分が３Ｄクロストーク領域となるため、図５よりも一段と右眼領域７０Ｒ及び左眼領域７０Ｌは狭まる。右眼５５Ｒにとっては、図５と同様に右眼領域７０Ｒが正視領域であり、左眼領域７０Ｌ，７２Ｌが逆視領域で、それ以外の領域が３Ｄクロストーク領域となる。以上より、３Ｄクロストーク特性データに依存して、正視領域・逆視領域・３Ｄクロストーク領域が決定されることを示した。

なお、３Ｄクロストーク量の閾値については、立体画像表示装置１１の光学測定と主観評価とから決定することができる。３Ｄクロストークを光学的に測定できる装置としては、例えばコノスコープ方式やゴニオメータ方式やフーリエ方式など各種あり、これらの方式を備えた測定装置で視野角度に対する輝度分布を測定し、以下の式（３）より３Ｄクロストークを算出することができる。

３ＤＣＴ（θ）＝（Ｙ（ＬＢＲＷ）−Ｙ（ＬＢＲＢ））／（Ｙ（ＬＷＲＢ）−Ｙ（ＬＢＲＢ）） 式（３）
ここで、Ｙ（ＬＢＲＷ）は左眼画像を黒、右眼画像を白としたときの輝度、Ｙ（ＬＢＲＢ）は左眼画像を黒、右眼画像を黒としたときの輝度、Ｙ（ＬＷＲＢ）は左眼画像を白、右眼画像を黒としたときの輝度、である。

上記したいずれの測定装置で測定しても定性的結果には大きな差は見られないが、定量的な数値については測定方式や装置仕様によって異なる。一般的な測定結果と主観的な立体視域の評価結果とを照合すると、３Ｄクロストークが概ね１０％以下であれば立体視は可能であり、この値を上記３Ｄクロストーク量の閾値として用いることができる。

図７は、図６に示す領域８０の拡大図である。右眼領域７０Ｒ・左眼領域７２Ｌ・３Ｄクロストーク領域の領域幅は、Ｚ軸上の任意の値であるＺ_１とＺ_２とにおいて異なる。正視領域・逆視領域・３Ｄクロストーク領域の領域幅は、Ｚ軸の位置に依存して変化する。

また、図８に、Ｚ軸上の任意の値Ｚ_１における正視領域・逆視領域・３Ｄクロストーク領域の領域幅と視野角の関係図を示す。右眼５５Ｒを基準にすると、視野角θ_０〜θ_１の領域が逆視領域に、θ_１〜θ_５の領域が３Ｄクロストーク領域に、θ_５〜θ_６の領域が正視領域となる。また、図４より、視野角θ_３の位置は最も３Ｄクロストーク量が大きくなり、視野角θ_２〜θ_４の領域は３Ｄクロストーク量がβ_２以上の領域となる。

視差調整量算出部１０４は、前記デバイス特性データに基づき、視野角に対して立体画像表示に最適な視差調整量を算出する機能を有する。本実施形態１の視差調整量算出部１０４は、立体画像が表示可能である視差の限界値（視差許容値ｕ_ｔｈ）を算出する。図９に、立体画像表示装置１１のデバイス特性データ（図４参照）に基づき、観察者１０の観察位置がＺ_１上の位置にある場合の視野角θに対する視差許容値ｕ_ｔｈを算出した結果を示す。ここで、ｕ_ｔｈは視野角θの関数ｕ_ｔｈ（θ）であるが、便宜上ｕ_ｔｈとする。図９は、３Ｄクロストーク量の閾値をβ_１（図４参照）とした場合において、逆視領域θ_０〜θ_１、３Ｄクロストーク領域θ_１〜θ_５及び正視領域θ_５〜θ_６に対して、視差許容値ｕ_ｔｈが異なる値をとることを示している。

図１０は、この３Ｄクロストーク量と、二重像の発生、立体画像への影響、視野角範囲、領域名（逆視領域、３Ｄクロストーク領域、正視領域）、及び、視差許容値の絶対値｜ｕ_ｔｈ｜との関係を示した表である。以下、図９と図１０を用いて正視領域θ_５〜θ_６、逆視領域θ_０〜θ_１、３Ｄクロストーク領域θ_１〜θ_５の各領域に対する視差許容値ｕ_ｔｈについて説明する。

正視領域θ_５〜θ_６における視差許容値ｕ_ｔｈには、右眼領域に投影される右眼用画像（Ｒ画像）が観察者の右眼へ正常に投影され、左眼領域に投影される左眼用画像（Ｌ画像）が観察者の左眼へ正常に投影された場合に、観察者がＬ画像とＲ画像（ＬＲ画像）を融像すること（脳の中で右眼・左眼で観察したＬＲ画像を融合して、一つの立体画像として視認すること）が可能であり、観察者に違和感を与えない安全性を保った視差の最大値γ_１を設定する。この視差の最大値γ_１に関しては、様々な団体から安全基準値が提案されている。一例としては、３Ｄコンソーシアムの３ＤＣ安全ガイドラインに記載されている快適視差範囲の最大値を、視差の最大値γ_１として正視領域の視差許容値ｕ_ｔｈに代入しても良い。

逆視領域θ_０〜θ_１における視差許容値ｕ_ｔｈは、逆視対策用に視差値を反転させるため、正視領域の視差許容値ｕ_ｔｈを反転させた値−γ_１を逆視領域の視差許容値ｕ_ｔｈに代入する。３Ｄクロストーク領域θ_１〜θ_５においては、３Ｄクロストーク量に応じて視差許容値｜ｕ_ｔｈ｜が細分化されている。３Ｄクロストーク量がβ_１〜β_２（視野角範囲θ_１〜θ_２）の範囲では、軽度な二重像が発生し、観察者へ違和感を与えるものの立体画像は視認可能である。これに対して、３Ｄクロストーク量がβ_２以上（視野角範囲θ_２〜θ_３）の範囲では、二重像の影響が増大するため、観察者が立体画像を視認することはほぼ不可能となる。したがって、二重像の影響の大きさに従い、視差許容値の設定を行うことが望ましい。

具体的には、図４のデバイス特性データから３Ｄクロストーク量を参照して、その量に適した視差許容値ｕ_ｔｈを設定する。図９及び図１０の視差許容値ｕ_ｔｈは、３Ｄクロストーク量が閾値β_１以上の場合では視差許容値の絶対値｜ｕ_ｔｈ｜をγ_１（正視領域の視差許容値ｕ_ｔｈ）以下とし、３Ｄクロストーク量が閾値β_２以上の場合では視差許容値の絶対値｜ｕ_ｔｈ｜を任意に定めた視差値γ_２以下とする条件で算出している。なお、視差許容値ｕ_ｔｈの算出条件となる視差値γ_２は、観察者の好みに応じて任意に設定することもでき、また観察者に対する主観評価によって特定することもできる。観察者に対する主観評価の実験結果は、様々な文献に示されており、これらの文献から視差値γ_２を特定しても良い。

なお、視差許容値ｕ_ｔｈの算出条件となる視差値γ_２は、多くの観察者に対する主観評価によって特定することが一般的であるが、観察者の好みに応じて任意に設定することもできる。例えば、観察者が特定されるモバイル機器等の立体画像表示装置では、観察者が初めてモバイル機器を利用する際に、視差値γ_２を観察者の好みに応じて設定できるようにしても良い。視差値γ_２が小さければ、３Ｄクロストークによる二重像の影響は軽減されるが、立体画像コンテンツの立体感は低下する。また反対に、視差値γ_２が大きいと、立体画像コンテンツの立体感は保たれるが、３Ｄクロストークによる二重像の影響は軽減されない。したがって、視差値γ_２を特定する主観評価実験では、評価者へ様々な種類の立体画像コンテンツ（視差値、コントラスト、明るさ、色味の空間周波数の異なる立体画像コンテンツ）を提示して、主観評価によって得られる結果を集計することが望ましい。また、立体画像表示の安全性を高めるために、視差値γ_２を主観評価の集計値よりも若干大きな値に設定しても良い。

また、３Ｄクロストーク領域の視差許容値ｕ_ｔｈは、視野角θ_１における視差値γ_１の点と、視野角θ_２における視差値γ_２の点と、３Ｄクロストーク領域の中心位置となる視野角θ_３における視差値０の点と、視野角θ_４における視差値−γ_２の点と、視野角θ_５における視差値−γ_１の点とを通るように線で補間して繋ぐことで、各々の視野角に対する視差許容値ｕ_ｔｈを算出する。点群同士を補間する線については、図９のように２次補間（多項式補間）を使用しても良いし、図１１のように線形補完を使用しても良い。

図９、図１０及び図１１では、視差許容値ｕ_ｔｈの算出条件として３Ｄクロストーク量の閾値β_１，β_２を設定した例を示したが、３Ｄクロストーク量の閾値は２つだけに限定されずに、より多くの閾値を設定しても良い。図１２及び図１３に、３Ｄクロストーク量の閾値β_１，β_２に新たな閾値β_３を追加した例を示す。図１２は、３Ｄクロストーク特性データを示し、閾値β_１，β_２の間に閾値β_３を追加している。ここで、閾値β_３に対応する３Ｄクロストーク特性データの視野角はθ_７，θ_８となる。図１３は、視野角に対する視差許容値ｕ_ｔｈを示し、視差許容値ｕ_ｔｈの算出条件に視野角θ_７，θ_８における視差値γ_３が追加される。そして、新たに追加された視差値γ_３の点を加えて、点群同士を線で補間して繋ぐことで、各々の視野角に対する視差許容値ｕ_ｔｈを算出する。

その他の例として、図１４及び図１５に、図４で示した３Ｄクロストーク量の閾値をβ_２からβ_４へ変更した例を示す。図１４は、３Ｄクロストーク特性データを示し、閾値β_４に対応する３Ｄクロストーク特性データの視野角はθ_３となる。図１５は、視野角に対する視差許容値ｕ_ｔｈを示し、視差許容値ｕ_ｔｈの算出条件は視野角θ_３における視差値０となる。これにより、視野角θ_１における視差値γ_１の点と、視野角θ_３における視差値０の点と、視野角θ_５における視差値−γ_１の点とを通るように線で補間して繋ぐと、視差許容値ｕ_ｔｈは図１５のように直線となる。

本実施形態１として、視野角に対する視差許容値の例を図９、図１１、図１３及び図１５に示したが、いずれの例の場合においても視野角に対する視差許容値の微分係数は有限の値となる。

また、上記の例では観察者の観察位置がＺ_１上の位置にある場合の視差許容値ｕ_ｔｈの算出方法を示したが、上記の算出方法は観察者の観察位置がＺ_１上の位置にある場合のみに限定されるものではなく、観察者の観察位置がその他の位置（例えばＺ_２）にある場合についても同様の算出方法が使用できる。また、視差調整量算出部１０４は、最適な視差調整量を算出する機能を有する。ここで、最適な視差調整量とは、視差許容値ｕ_ｔｈの条件と立体画像コンテンツが持つ視差最大値ｕ_ｃの条件（後述する視差調整処理部１０６の説明参照）とを満たす視差の最大値に、立体画像コンテンツの視差最大値を一致させる視差調整量である。

画像データ保管部１０５は、画像データを保存又は受信する機能を有する。図１６に、画像データ保管部１０５に保管する画像データの一例を示す。図１６には、立体画像コンテンツの画像データとしてＬ画像、Ｒ画像、視差画像が保管されている。Ｌ画像は左眼領域に投影される左眼用画像であり、Ｒ画像は右眼領域に投影される右眼用画像である。ＬＲ画像の各画素の値には輝度値（ＲＧＢ値）が保持されており、このＬＲ画像が立体表示パネル上に表示される。視差画像は、各画素の値がＬＲ画像間の視差値を表す画像である。

図１７に視差画像と視差値との関係図を示す。図１７の右図は、視差画像（図１７の左図）からＹ軸上の任意値Ｙ_１の画素列を取り出し、その画素列に対する視差値ｕを表した図である。ここで、視差値はＬ画像を基準にとり、Ｌ画像の画素値に対応するＲ画像の画素値の位置ずれ量を示す。なお、図１７において、視差画像の画素は白色が０であり、黒色になるにつれて値が高くなる。

具体例として、図１８に視差値とＬＲ画像との関係図を示す。視差画像の位置（ｘ_１，ｙ_２）の視差値は、Ｌ画像の位置（ｘ_１，ｙ_２）と、これに対応するＲ画像の画素値の位置（ｘ_２，ｙ_２）との差分値となる（式（４））。
視差値ｕ＝ｘ_１−ｘ_２ 式（４）

上記の例では、画像データ保管部１０５にＬ画像、Ｒ画像、視差画像を保管した例を示したが、視差画像の代わりにＤｅｐｔｈ画像を保管しても良い。Ｄｅｐｔｈ画像は各ピクセルの値が立体画像コンテンツの奥行き距離を表す画像となる。また、画像データ保管部１０５にＬ画像、Ｒ画像しか保管されていない場合には、ＬＲ画像から視差値を算出して視差画像を生成する。また、画像データ保管部１０５には、予めに様々な視差値を持つＬＲ画像を複数枚保管しておいても良い。

図１９に、画像データ保管部１０５へ様々な視差値を持つＬＲ画像群を保管した一例を示す。図１９の最上部にあるＬＲ画像は、立体画像コンテンツが元々保持していた視差値を持つＬＲ画像を表す。図１９の最下部にあるＬＲ画像は、視差値が０であるＬＲ画像（Ｌ画像とＲ画像は同じ画像であり、平面画像となる）を表す。図１９の中間部分にあるＬＲ画像群は、任意の視差値に調整されたＬＲ画像群である。画像データ保管部１０５へ予めに様々な視差値を持つＬＲ画像群を保管することで、視差調整処理時に任意の視差値を持つＬＲ画像を生成する処理が省略できる。

視差調整処理部１０６は、視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈに従って画像データの視差調整処理を実施する機能を有する。図２０に、視差調整処理により視野角に対する立体画像コンテンツが持つ視差の最大値ｕ_ｆを算出した結果を示す。視差調整処理では、視差調整処理後に立体画像コンテンツが持つ視差最大値ｕ_ｆを算出するため、視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈの条件（図２０Ａ）と、画像データ保管部に保管された立体画像コンテンツが持つ視差最大値ｕ_ｃの条件（図２０Ｂ）との、両条件（式（５））を満たす視差最大値ｕ_ｆ（図２０Ｃ）を算出する。
（ｕ_ｆ＜＝ｕ_ｔｈ） ＡＮＤ （ｕ_ｆ＜＝ｕ_ｃ） 式（５）

視差調整処理後の視差最大値ｕ_ｆが立体画像コンテンツの視差最大値ｕ_ｃよりも大きい場合には、立体画像コンテンツの視差値を変化させずに、そのままのＬＲ画像を立体表示パネル部１０７に送信する。視差調整処理後の視差最大値ｕ_ｆが立体画像コンテンツの視差最大値ｕ_ｃよりも小さい場合には、式（６）より視差調整量κ（ｕ_ｆとｕ_ｃの比）を算出し、立体画像コンテンツの視差値を変更させてから、ＬＲ画像を立体表示パネル部１０７に送信する。
ｕ_ｆ＝κｕ_ｃ 式（６）

なお、上記の例では、視差調整量の算出処理を視差調整処理部１０６が実施するように記載したが、視差調整量の算出処理は視差調整量算出部１０４が実施しても良い。ただし、視差調整量算出部１０４は、画像データ保管部１０５より立体画像コンテンツの視差最大値ｕ_ｃを取得する必要がある。

算出した視差調整量κより、立体画像コンテンツの視差値を変更する処理の一例を記載する。視差値の変更処理では、初めに立体画像コンテンツの視差画像の視差値に視差調整量κを乗算して視差画像を変更する。図２１に、視差調整量κにより変更された視差画像群を示す。図２１の最上部にある視差画像は立体画像コンテンツが元々保持していた視差値を持つ視差画像を表し、図２１の最下部にある視差画像はすべての視差値が０である視差画像を表す。図２１の中間部分にある視差画像群は、最上部の視差画像の視差値に、視差調整量κを乗算して変更した視差画像である。最上部から２番目の視差画像は視差調整量κを０．７５とし、最上部から３番目の視差画像は視差調整量κを０．５０とし、最上部から４番目の視差画像は視差調整量κを０．２５とし、最下部の視差画像は視差調整量κを０とした際の視差画像である。立体画像コンテンツが元々保持していた視差値をｕ_ｃ（ｘ，ｙ）とおくと、視差調整処理後の立体画像コンテンツの視差値ｕ_ｆ（ｘ，ｙ）は式（７）になる。
ｕ_ｆ（ｘ，ｙ）＝κｕ_ｃ（ｘ，ｙ） 式（７）
ここで、ｕ_ｃ（ｘ，ｙ）は、視差画像の画素位置（ｘ，ｙ）における視差値を示す。

次に、変更した視差画像を参照して立体画像コンテンツのＬＲ画像から視差調整処理後のＬＲ_ｆ画像を生成する。ＬＲ_ｆ画像の生成処理では、Ｌ画像を基準にし、視差画像の視差値に応じてＬ画像の各画素をＸ軸方向に移動してＲ_ｆ画像を生成する。図２２に、画素移動によって生成したＲ_ｆ画像を示す。画素移動では、各画素の位置における視差値の違いによって、Ｒ_ｆ画像には画素の輝度値（ＲＧＢ値）が無い空白部分４１が出現する。この空白部分４１を埋めるために、空白部分４１の近隣にある画素の輝度値から画像補間処理を実施する。

画像補間処理方法としては、線形補間や平均値補間を使用することができる。空白部分の範囲が広い場合には、高品質な画像補間処理を実施するために、各種の画像修復（Inpainting）手法を適用しても良い。画像修復手法としては、空白部分の近隣にある輝度値パタンと類似する輝度値パタンを画像情報内からパタンマッチングにより探索して空白領域の画像修復する手法や、Ｓｈｉｆｔ‐Ｍａｐ法などが挙げられる。また、空白部分の画像補間処理では、Ｌ画像の輝度値だけでなく、Ｒ画像の輝度値を参照しても良い。以上より、視差調整量κを参照して視差調整処理後のＬＲ_ｆ画像を生成することで、立体画像コンテンツの視差値を変更できる。

立体表示パネル部１０７は、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する機能を有する。立体表示パネル部１０７は、視差調整処理部１０６から送信されるＬＲ_ｆ画像を受信して、立体表示パネルによりＬＲ_ｆ画像を投影することで、立体画像コンテンツを表示する。

本実施形態１の立体画像表示装置における立体画像処理方法のフローチャートについて、図２３を参照して説明する。

ステップＳ１０１は、観察者位置計測部１０１を使用して観察者１０の観察位置を計測する。

ステップＳ１０２は、相対位置算出部１０２を使用して、観察者１０の観察位置と立体表示パネル１０７ａとの相対位置を算出する。ステップＳ１０２では、相対位置として、立体表示パネル１０７ａの中心位置を原点とした際の観察者１０の観察位置（Ｚ軸方向の距離Ｚ_１、及び視野角θｐ）を算出する。

ステップＳ１０３は、ステップＳ１０２で算出した距離Ｚ_１及び視野角θｐに対応する３Ｄクロストーク特性データと、３Ｄクロストーク特性データの閾値β_１，β_２とを、デバイス特性データ保管部１０３から取得する（一例として図４参照）。また、３Ｄクロストーク特性データの、閾値β_１に対応する視差の最大値γ_１と、閾値β_２に対応する視差の最大値γ_２と、を取得する（一例として図１０参照）。

ステップＳ１０４は、視差調整量算出部１０４を使用して、ステップＳ１０３で取得した３Ｄクロストーク特性データから、ステップＳ１０２で算出した相対位置となる視野角θｐに対する視差許容値ｕ_ｔｈを算出する。一例として図９を参照して算出方法を記す。最初に、ステップＳ１０３で取得した３Ｄクロストークデータの閾値β_１，β_２から、正視領域の視野角範囲θ_５〜θ_６と逆視領域の視野角範囲θ_０〜θ_１と３Ｄクロストーク領域の視野角範囲θ_１〜θ_５とを特定する。次に、正視領域の視野角範囲θ_５〜θ_６と逆視領域の視野角範囲θ_０〜θ_１とにおける視差許容値ｕ_ｔｈを、閾値β_１の視差最大値γ_１とする。その次に、３Ｄクロストーク領域の視野角範囲θ_１〜θ_５における視差許容値ｕ_ｔｈを決定する。具体的には、視野角θ_１における視差最大値（視差の絶対値が最大）−γ_１の点と視野角θ_２における視差最大値−γ_２の点と視野角θ_４における視差最大値γ_２の点と視野角θ_５における視差最大値γ_１の点とを線で補間して繋ぐことで、視野角範囲θ_１〜θ_５における視差許容値ｕ_ｔｈを決定する。以上のように、視野角範囲θ_０〜θ_６における視差許容値ｕ_ｔｈ（θ）をあらかじめ求めた上で、ステップＳ１０２で算出した相対位置となる視野角θｐに対する視差許容値ｕ_ｔｈを算出する。

ステップＳ１０５は、画像データ保管部１０５から立体画像コンテンツである画像データを取得する。ステップＳ１０５では、画像データから立体画像コンテンツが持つ視差最大値ｕ_ｃを取得する（一例として図２０Ｂ参照）。

ステップＳ１０６は、視差調整量算出部１０４又は視差調整処理部１０６を使用して、ステップＳ１０４で算出した視差許容値ｕ_ｔｈとステップＳ１０５で取得した画像データの視差最大値ｕ_ｃとから視差調整量κを算出する。ステップＳ１０６では、視差許容値ｕ_ｔｈと画像データの視差最大値ｕ_ｃとを比較して、視差許容値ｕ_ｔｈが大きい場合には視差調整量κを１とおき、視差最大値ｕ_ｃが大きい場合には視差調整量κを式（４）から算出する。

ステップＳ１０７は、視差調整処理部１０６を使用して、ステップＳ１０６で算出した視差調整量κを参照して、ステップＳ１０５で取得した画像データの視差調整処理を実施する。ステップＳ１０７では、ステップＳ１０６で算出した視差調整量κが１の場合には、ステップＳ１０５で取得した画像データの視差値ｕ_ｃを視差調整処理後の画像データの視差値ｕ_ｆにする（一例として図２０Ｃ参照）。視差調整量κが１以外の場合には、画像データの視差値ｕ_ｃに視差調整量κを乗算して、視差調整処理後の画像データの視差値ｕ_ｆを算出する。視差調整処理後の画像データの視差値ｕ_ｆを参照して、ステップＳ１０５で取得した画像データから視差調整処理後の画像データを生成する。

ステップＳ１０８は、立体表示パネル部１０７を使用して、ステップＳ１０７で視差調整処理した画像データを立体表示パネル上に立体画像表示する。

ステップＳ１０９は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１１の電源がＯＦＦされたときや、観察者１０によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ１０９で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ１０９で立体画像表示処理が連続的に実行される場合は、ステップＳ１０１の処理に戻り、ステップＳ１０１〜ステップＳ１０９までの処理を繰り返して実行する。

以上より、観察者の観察位置とデバイス特性データとに基づき算出された視差調整量に従って、画像データの視差調整処理を実施することにより、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

また、上記のフローチャートでは、立体画像表示処理時に観察者の観察位置と立体表示パネルの相対位置、すなわち、立体表示パネルの中心位置を原点とした際の観察者の観察位置（Ｚ軸方向の距離Ｚ_１と視野角θｐ）を算出し、視野角θｐに対する画像データの視差調整量κを算出して、画像データの視差調整処理を実施する例を記載した。

しかし、予め視差調整量κによって視差調整処理された画像データ群を用意しておくことで、立体画像表示処理時の計算時間を短縮しても良い。また、複数の視差調整量κを用いて視差調整処理された画像データ群を、予め用意することも可能である。この場合には、立体画像表示処理前に予めステップＳ１０３〜ステップＳ１０７の処理を実施しておき、視差調整処理された視野角範囲θ_０〜θ_６における画像データ群を、画像データ保管部１０５に保存しておく。立体画像表示処理時には、ステップＳ１０２より相対位置となる視野角θｐを算出した後に、画像データ保管部１０５の視野角範囲θ_０〜θ_６における画像データ群の中から相対位置視野角θｐと関連する画像データとを取得する。次に取得した画像データをステップＳ１０８と同様に立体表示パネル１０７ａ上に立体画像表示することで、視差調整量の算出処理と画像データの視差調整処理との計算時間を大幅に短縮することができ、観察者１０の観察位置の変化が頻繁に発生する場合には好適である。ただし、この立体画像表示処理を実現するには、立体画像表示処理前に画像データが取得できること、画像データ保管部１０５の記録容量が大きいことが必要条件となる。したがって、立体画像表示装置１１の使用条件に応じて、立体画像表示の処理方法を選択しても良い。

本実施形態１の外観図（図２）では、画像処理部１５１、観察者位置計測部１０１、デバイス特性データ保管部１０３、画像データ保管部１０５及び立体表示パネル部１０７が一つの立体画像表示装置１１内に存在する例を示したが、これらの部位をアプリケーションに応じて分離し、分離した個々の装置を統合することで立体画像表示装置１１の機能を実現しても良い。

図２４に、立体画像表示装置１１を三つの装置に分離した例を示す。一番目は立体表示パネル部１０７の装置であり、二番目は観察者位置計測部１０１と画像処理部１５１とデバイス特性データ保管部１０３を統合した画像処理装置１６０であり、三番目は画像データ保管部１０５の装置である。三つの装置をＨＤＭＩ（登録商標）やＤＶＩなどの画像入出力ケーブル１６３（又はＵＳＢやＬＡＮなどのデータ通信ケーブル若しくはＷ−ＬＡＮなどの無線通信）で接続し、各種のデータを送受信することで、立体画像表示装置１１の機能を実現できる。

図２５に、画像処理装置１６０の構成図を示す。画像処理装置１６０は、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、視差調整量算出部１０４、視差調整処理部１０６、画像データ受信部１６１及び画像データ送信部１６２を備えるものである。ここで、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、視差調整量算出部１０４及び視差調整処理部１０６は、前述した立体画像表示装置１１の各部と同様の機能を有する。

画像データ受信部１６１は、画像処理装置１６０の外部にある画像データ保管部１０５から送信される画像データを受信して、視差調整処理部１０６に送信する機能を有する。また、画像データ送信部１６２は、視差調整処理部１０６から送信される画像データを立体表示パネル部１０７へ送信する機能を有する。画像データ受信部１６１と画像データ送信部１６２の一例としては、ＨＤＭＩ（登録商標）やＤＶＩケーブル等により画像処理装置１６０へ画像データを送受信するための、接続端子及びデータ転送機器となる。

上記は３つの装置に分離する例を示したが、分離形態はこれに限定されるものではない。本実施形態１は、３Ｄクロストークによる二重像や逆視の影響を軽減する画像処理部１５１に特徴があるため、画像処理部１５１と観察者位置計測部１０１との組み合わせで上述したような単独の画像処理装置１６０として提供することができる。

本実施形態１の立体画像表示装置の光学モデル図（図５）では、立体表示パネルから２つの異なる視点の画像（Ｌ画像、Ｒ画像）を投影する例を示したが、視点数は２つに限定されるものではなく、多視点の画像を立体表示パネルから投影しても良い。多視点の画像を投影する場合には、観察者が両眼で観察している隣接視点画像全てに視差調整処理を実施してもよいし、逆視が発生する画像同士だけを選択して視差調整処理を実施してもよい。また、これらの視差調整処理の選択に際しては、立体画像表示装置の視点数や隣接視点画像の視差量の大きさに応じて選択することができる。

図２６に、多視点の一例として８視点の立体画像表示装置を示す。３Ｄクロストークは、正視領域内における７０Ｖ１画像−７０Ｖ２画像間、７０Ｖ２画像−７０Ｖ３画像間、７０Ｖ３画像−７０Ｖ４画像間、・・・、７０Ｖ７画像−７０Ｖ８画像間の７組、と逆視領域となる７２Ｖ１画像−７０Ｖ８画像、７１Ｖ８画像−７０Ｖ１画像の２組で発生する。一般的に８視点に用いる画像は、ある程度の運動視差を考慮して、隣接視点画像間の視差量は小さいコンテンツが多い。従って、このような場合は正視領域内の７組には視差調整処理を実施せずに、観察者の左眼又は右眼が上記２組の逆視領域にある場合にのみ視差調整処理を施すことが望ましい。

ただし、８視点であっても、正視領域内の隣接視点画像間の視差量が大きいコンテンツを観察する場合や、隣接視点画像間の視差量がさほど大きくない場合でも、観察者の観察距離に応じて隣接視点画像間に視差調整処理を実施することが望ましい。特に、観察者の観察距離によっては、左眼に７０Ｖ４画像、右眼に７０Ｖ５画像といった第１隣接視点画像を観察するのではなくて、左眼に７０Ｖ４画像、右眼に７０Ｖ６画像といった第２隣接視点画像、又は第３隣接点画像若しくは第４隣接視点画像を観察する状況が生じる。この時に、第２隣接、第３隣接、第４隣接と次数が大きくなるについて、両眼間に入力される画像の視差量が大きくなり、３Ｄクロストークに対する影響が変化する。このように、観察者の観察位置を計測することで、どの視点画像が観察者の左眼と右眼に位置するかが検出できるため、対象とする次数の視点画像間に対して視差調整処理を実施すれば良い。

図２７に、多視点の一例として４視点の立体画像表示装置を示す。３Ｄクロストークは、正視領域内における７０Ｖ１画像−７０Ｖ２画像間、７０Ｖ２画像−７０Ｖ３画像間、７０Ｖ３画像−７０Ｖ４画像間の３組、と逆視領域となる７２Ｖ１画像−７０Ｖ４画像間、７１Ｖ４画像−７０Ｖ１画像間の２組で発生する。一般的に４視点の画像は、視点間の視差量が大きいコンテンツも少なくなく、視点間移動時にいわゆるフリッピング効果が発生する。したがって、このような場合には、フリッピング抑制効果も兼ねて、観察者の左眼又は右眼が正視領域内の３組又は逆視領域の２組の３Ｄクロストーク領域内隣接視点画像全てに視差調整処理を実施することが望ましい。ただし、４視点でも視差量が小さいコンテンツではこの限りでは無く、逆視領域のみに視差調整処理をすれば良いのは言うまでもない。

その他の例としては、観察者の左眼が７０Ｖ１画像及び７０Ｖ２画像の３Ｄクロストーク領域にあり、右眼が７０Ｖ３画像の正視領域にある場合は、７０Ｖ１画像及び７０Ｖ２画像だけを視差調整処理して画像間の視差値を低減し、３Ｄクロストークによる二重像の影響を軽減する。この視差調整処理を実施しても、観察者の左眼に投影される視差調整処理後の７０Ｖ１画像及び７０Ｖ２画像と、観察者の右眼に投影される７０Ｖ３画像は、視差値が異なる画像となるため、観察者は立体画像を鑑賞することができる。

なお、図２６及び図２７の両方又は一方には、視点１の領域７０Ｖ１、視点２の領域７０Ｖ２、視点３の領域７０Ｖ３、視点４の領域７０Ｖ４、視点５の領域７０Ｖ５、視点６の領域７０Ｖ６、視点７の領域７０Ｖ７、視点８の領域７０Ｖ８、視点１の領域７２Ｖ１、視点８の領域７１Ｖ８、視点４の領域７１Ｖ４、視点１用画素４Ｖ_１、視点２用画素４Ｖ_２、視点３用画素４Ｖ_３、視点４用画素４Ｖ_４、視点５用画素４Ｖ_５、視点６用画素４Ｖ_６、視点７用画素４Ｖ_７、視点８用画素４Ｖ_８が記載されている。

また、上記した視差調整処理は、多視点方式に限らず、インテグラル方式や超多眼方式など様々な裸眼立体方式に適用できるのは言うまでもない。ここで、理想的なインテグラル方式では、逆視領域が存在しないが、この場合でも隣接視点間の視差量が所定値より大きい場合には、正視領域内の隣接視点画像間で視差調整処理を実施することが有効となる。

換言すると、本実施形態１の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量に従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態１によれば、観察者の観察位置とデバイス特性データとに基づき算出された視差調整量に従って、画像データの視差調整処理を実施することにより、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態２］
本実施形態２では、観察者の観察位置と立体表示パネルとの相対位置が速く移動する場合であっても、観察者へ違和感を与えずになだらかに視差調整処理を実現して、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。

図２８に、立体画像表示装置１２の構成図を示す。立体画像表示装置１２は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、視差変化量許容値データ保管部１０８とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６を統合した処理部を画像処理部１５２とする。

以下に、立体画像表示装置１２に含まれる各部の機能を説明する。観察者位置計測部１０１と、デバイス特性データ保管部１０３と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。

相対位置算出部１０２は、観察者の観察位置と立体表示パネル位置との相対位置だけでなく相対位置の変化速度（相対位置の時間変化量）も算出する機能を有する。移動速度は例えば相対位置を約０．０３秒ごと（３０ｆｐｓのカメラ使用時）に記録しておき、過去の相対位置と現在の相対位置との差分を取ることで算出する。移動速度を視野角θの時間変化量とおくと、移動速度ｖは式（１１）となる（ｔは時間を示す）。
移動速度：ｖ＝ｄθ／ｄｔ 式（１１）

視差変化量許容値データ保管部１０８は、観察者へ違和感を与えない視差変化量の許容値ｄｕ_ａ／ｄｔを保管する。ここで視差変化量は視差値ｕの時間変化量であり、視差変化量はｄｕ／ｄｔとなる。視差変化量の許容値ｄｕ_ａ／ｄｔは、観察者の好みに応じて任意に設定してもよく、また観察者の主観評価などによって決定することができる。主観評価実験では、視差値を徐々に変化させたＬＲ_ｆ画像を観察者へ提示し、観察者に違和感を与えない視差変化量の最大値を評価して視差変化量の許容値ｄｕ_ａ／ｄｔとする。視差変化量が許容値ｄｕ_ａ／ｄｔ以上になると視差値が急激に変化するため、観察者が同一の立体画像コンテンツを鑑賞していても、画像が切り替わったように認知され違和感を覚える。反対に視差変化量が許容値ｄｕ_ａ／ｄｔ以内であれば、視差が変化しても立体画像コンテンツはＺ軸上に移動して見えるが、画像は連続的に繋がって認知されるために違和感は無くなる。図２９に、本発明者らが主観評価実験により特定した視差変化量の許容値ｄｕ_ａ／ｄｔを示す。視差変化量の許容値ｄｕ_ａ／ｄｔは視差値ｕに応じて上昇する傾向にある。

視差調整量算出部１０４は、デバイス特性データと視差変化量の許容値と相対位置の変化速度とに基づき、立体画像が表示可能である視差の限界値（視差許容値ｕ_ｔｈ）を算出する。本実施形態２における視差許容値ｕ_ｔｈの算出処理では、初めに視差変化量の許容値ｄｕ_ａ／ｄｔと相対位置の変化速度ｄθ／ｄｔとから、視野角θに対する視差変化量の許容値ｕ'_ａ（ｄｕ_ａ／ｄθ）を算出する。ここで、視差変化量の許容値ｕ'_ａは、相対位置の変化速度に依存する。そのため、相対位置の変化速度が変わるにつれて、視差変化量の許容値ｕ'_ａを再度算出する。

図３０に、実施形態１と同様に立体画像表示装置のデバイス特性データに基づき、視差許容値ｕ_ｔｈを算出した結果を示す。次に、視差許容値ｕ_ｔｈから視野角θに対する視差許容値ｕ_ｔｈの変化量ｄｕ_ｔｈ／ｄθを算出し、視差変化量の許容値ｕ'_ａと比較して、式（１２）を満たすように視差許容値ｕ_ｔｈを変更する。
ｄｕ_ｔｈ／ｄθ＜＝ｕ'_ａ 式（１２）

図３１に、相対位置の変化速度が速い場合での視野角θに対する視差許容値ｕ_ｔｈを示す。相対位置の変化速度が速い場合は、視差変化量の許容値ｕ'_ａが低下するため、視差許容値の変化量ｄｕ_ｔｈ／ｄθが低下し、視野角θに対する視差許容値ｕ_ｔｈの線の傾きはなだらかになる。

図３２に、実施形態１の視差許容値（図９）と実施形態２の視差許容値（図３１）との比較表を示す。本実施形態２の視差許容値ｕ_ｔｈは、式（１２）の条件を満たす必要があるため、相対位置の変化速度が速い場合には、視差許容値ｕ_ｔｈが視野角θに対して一定値となる視野角範囲が狭まる。図３２より、視野角範囲θ_０〜θ_１が視野角範囲θ_１１〜θ_１２へ狭まる。

また、図３３に、相対位置の変化速度がより一段と速い場合での、視野角θに対する視差許容値ｕ_ｔｈを示す。相対位置の変化速度がより一段と速い場合では、視差許容値ｕ_ｔｈの線の傾きがより一段となだらかになり、視野角θに対して視差許容値ｕ_ｔｈが一定値となる視野角範囲は消失する。ここで、線の傾きがなだらかとは、線の傾き（ｄｕ_ｔｈ／ｄθ）が視差変化量の許容値ｕ'_ａよりも小さな値をとり、視野角の変化量に対する視差の変化量が小さいことを示す。

視差調整処理部１０６は、視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈに従って画像データの視差調整処理を実施する機能を有する。図３４に視差調整処理により視野角に対する立体画像コンテンツが持つ視差の最大値ｕ_ｆを算出した結果を示す。実施形態１と同様に視差調整処理では、視差調整処理後に立体画像コンテンツが持つ視差最大値ｕ_ｆを算出するため、視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈの条件（図３４Ａ）と画像データ保管部１０５に保管された立体画像コンテンツが持つ視差最大値ｕ_ｃの条件（図３４Ｂ）との両条件（式（４））を満たす視差最大値ｕ_ｆ（図３４Ｃ）を算出する。

視差調整処理後の視差最大値ｕ_ｆが立体画像コンテンツの視差最大値ｕ_ｃよりも大きい場合には、立体画像コンテンツの視差値を変化させずに、そのままのＬＲ画像を立体表示パネル部１０７に送信する。視差調整処理後の視差最大値ｕ_ｆが立体画像コンテンツの視差最大値ｕ_ｃよりも小さい場合には、実施形態１の式（５）より視差調整量κ（ｕ_ｆとｕ_ｃの比）を算出し、立体画像コンテンツの視差値を変更させてから、ＬＲ画像を立体表示パネル部１０７に送信する。

以上より、観察者の観察位置とデバイス特性データに加えて、観察者の観察位置（観察者の観察位置と立体表示パネル位置との相対位置）の移動速度と、時間に対する視差変化量の許容値を考慮して視差調整量を算出することにより、観察者の観察位置が速く移動する場合であっても、なだらかに画像データの視差を変化させて、観察者に違和感を与えずに視差調整処理を実施できる。

なお、本実施形態２においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態２の画像処理部１５２を単独の画像処理装置として提供し、立体表示パネル部１０７と組み合わせて立体画像表示装置１２の機能を実現できることは、言うまでもない。

本実施形態２の立体画像表示装置における立体画像処理方法のフローチャートについて、図３５を参照して説明する。

ステップＳ２０１は、観察者位置計測部１０１を使用して観察者の観察位置を計測する。

ステップＳ２０２は、相対位置算出部１０２を使用して観察者の観察位置と立体表示パネルとの相対位置と相対位置の変化速度を算出する。ステップＳ２０２では、相対位置として、立体表示パネルの中心位置を原点とした際の観察者の観察位置（Ｚ軸方向の距離Ｚ_１と視野角θｐ）を算出する。また、相対位置の変化速度は、任意の時間ごとに視野角θｐの変化量を検出して、視野角の変化速度ｄθｐ／ｄｔを算出する。

ステップＳ２０３は、ステップＳ２０２で算出した距離Ｚ_１と視野角θｐに対応する３Ｄクロストーク特性データと３Ｄクロストーク特性データの閾値β_１，β_２とを、デバイス特性データ保管部１０３から取得する（一例として図４を参照）。また、３Ｄクロストーク特性データの閾値β_１に対応する視差の最大値γ_１と、閾値β_２に対応する視差の最大値γ_２と、を取得する（一例として図１０を参照）。

ステップＳ２０４は、視差変化量許容値データ保管部１０８から視差変化量の許容値データｄｕ_ａ／ｄｔを取得する。

ステップＳ２０５は、視差調整量算出部１０４を使用して、ステップＳ２０２で算出した相対位置の変化速度ｄθｐ／ｄｔとステップＳ２０４で取得した視差変化量の許容値データｄｕ_ａ／ｄｔとステップＳ２０３で取得した３Ｄクロストーク特性データとから、観察者と立体表示パネルとの相対位置となる視野角θｐに対する視差許容値ｕ_ｔｈを算出する。一例として、図３０と図３１を参照して算出方法を記す。最初に、ステップＳ２０２で算出した相対位置の変化速度ｄθｐ／ｄｔとステップＳ２０４で取得した視差変化量の許容値データｄｕ_ａ／ｄｔとから、視野角θｐに対する視差変化量の許容値ｕ'_ａ（ｄｕ_ａ／ｄθｐ）を算出する。次に、実施形態１のステップＳ２０４と同様の処理により、ステップＳ２０３で取得した３Ｄクロストークデータの閾値β_１，β_２から視野角範囲θ_０〜θ_６における視差許容値ｕ_ｔｈ（θ）を算出する（一例として図３０を参照）。その次に、視差許容値ｕ_ｔｈから視野角θｐに対する視差許容値の変化量ｄｕ_ｔｈ／ｄθｐを算出し、視差変化量の許容値ｕ'_ａ（ｄｕ_ａ／ｄθｐ）と比較して、式（１２）を満たすように、視野角範囲θ_０〜θ_６における視差許容値ｕ_ｔｈ（θ）を変更する（一例として図３１を参照）。以上のように、視野角範囲θ_０〜θ_６における視差許容値ｕ_ｔｈ（θ）を求めた上で、ステップＳ２０２で算出した相対位置となる視野角θｐに対する視差許容値ｕ_ｔｈを算出する。

ステップＳ２０６は、画像データ保管部１０５から立体画像コンテンツである画像データを取得する。ステップＳ２０６では、画像データから立体画像コンテンツが持つ視差最大値ｕ_ｃを取得する（一例として図３４Ｂを参照）。

ステップＳ２０７は、視差調整量算出部１０４又は視差調整処理部１０６を使用して、ステップＳ２０５で算出した視差許容値ｕ_ｔｈとステップＳ２０６で取得した画像データの視差最大値ｕ_ｃとから視差調整量κを算出する。ステップＳ２０７では、視差許容値ｕ_ｔｈと画像データの視差最大値ｕ_ｃとを比較して、視差許容値ｕ_ｔｈが大きい場合には視差調整量κを１とおき、視差最大値ｕ_ｃが大きい場合には視差調整量κを式（４）から算出する。

ステップＳ２０８は、視差調整処理部１０６を使用して、ステップＳ２０７で算出した視差調整量κを参照して、ステップＳ２０６で取得した画像データの視差調整処理を実施する。ステップＳ２０８では、ステップＳ２０７で算出した視差調整量κが１の場合には、ステップＳ２０６で取得した画像データの視差値ｕ_ｃを視差調整処理後の画像データの視差値ｕ_ｆにする（一例として図３４Ｃを参照）。視差調整量κが１以外の場合には画像データの視差値ｕ_ｃに視差調整量κを乗算して、視差調整処理後の画像データの視差値ｕ_ｆを算出する。視差調整処理後の画像データの視差値ｕ_ｆを参照して、ステップＳ２０６で取得した画像データから視差調整処理後の画像データを生成する。

ステップＳ２０９は、立体表示パネル部１０７を使用して、ステップＳ２０７で視差調整処理した画像データを立体表示パネル上に立体画像表示する。

ステップＳ２１０は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１２の電源がＯＦＦされたときや観察者によって立体画像表示の中断が指示されたときには立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ２１０で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ２１０で立体画像表示処理が連続的に実行される場合は、ステップＳ２０１の処理に戻り、ステップＳ２０１〜ステップＳ２１０までの処理を繰り返して実行する。

以上より、観察者の観察位置と立体表示パネルとの相対位置が速く移動しても、なだらかに視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

なお、本実施形態２の立体画像処理方法においても、実施形態１と同様に、予め視差調整量κによって視差調整処理された画像データ群を画像データ保管部１０５へ保管しておくことで、立体画像表示処理時の計算時間を大幅に短縮できるのは言うまでもない。

換言すると、本実施形態２の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置との相対位置及び相対位置の変化速度（時間に対する相対位置の変化量）を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、時間に対する視差変化量の許容値（観察者へ違和感を与えない視差変化量）を保存する視差変化量許容値保管部と、前記デバイス特性データと前記視差変化量の許容値と前記相対位置の変化量とに基づき、視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量に従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態２によれば、観察者の観察位置とデバイス特性データに加えて、観察者の観察位置（観察者の観察位置と立体表示パネル位置との相対位置）の移動速度と、時間に対する視差変化量の許容値を考慮して視差調整量を算出することにより、観察者の観察位置が速く移動する場合であっても、なだらかに画像データの視差変化が実施されるため、観察者へ違和感を与えずに視差調整処理を実現する。これより、観察者の観察位置が速く移動しても、なだらかに視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態３］
本実施形態３では、観察者の観察位置と立体表示パネルの相対位置がより速く移動しても、正視領域及び逆視領域における任意の領域では視差値が一定であり、かつ、それ以外の領域では、なだらかに視差調整処理を行い、３Ｄクロストークによる二重像や逆視の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。

図３６に立体画像表示装置１３の構成図を示す。立体画像表示装置１３は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、視差変化量許容値データ保管部１０８と、視差一定領域特定部としての視差一定領域特定データ保管部１０９とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６を統合した処理部を、画像処理部１５３とする。以下に、立体画像表示装置１３に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、立体表示パネル部１０７と、視差変化量許容値データ保管部１０８とについては、実施形態２と同様である。

視差一定領域特定データ保管部１０９は、視野角θに対して立体画像コンテンツの視差を変化させずに視差値が一定となる領域を特定するデータを、保管する機能を有する。実施形態２の図３３より、相対位置の移動速度が速いと、正視領域・逆視領域においても立体画像コンテンツの視差値が視野角θに依存して変化してしまう。本実施形態３では、観察者が移動しても安定な立体画像コンテンツを表示するために、正視領域・逆視領域内の任意の領域では、相対位置が移動しても立体画像コンテンツの視差値が変化せずに一定値となる特定領域を設定する。特定領域の設定例としては、正視領域の５０％を特定領域と設定しても良いし、３Ｄクロストーク量の閾値β_５以下を特定領域と設定してもよい。
図３７に、３Ｄクロストーク特性データの一例を示す。図３７から３Ｄクロストーク量の閾値β_５以下となる視野角範囲はθ_２０〜θ_２１とθ_２２〜θ_２３となり、この視野角範囲が特定領域となる。

視差調整処理部１０６は、視差一定領域特定データ保管部１０９から取得した視差一定領域特定データと視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈとに従って、画像データの視差調整処理を実施する機能を有する。ここで視差一定領域特定データは視野角範囲θ_２０〜θ_２１で表す。視差調整処理では、視差調整処理後に立体画像コンテンツが持つ視差最大値ｕ_ｆを算出する。実施形態１，２では、視差許容値ｕ_ｔｈの条件とコンテンツの視差最大値ｕ_ｃの条件とを満たす最大値を視差調整処理後の視差最大値ｕ_ｆとして算出したが、本実施形態３では、視差一定領域特定データの条件も追加して、視差最大値ｕ_ｆを算出する。視差一定領域特定データの条件は、視野角θ_２０における視差許容値ｕ_ｔｈとコンテンツの視差最大値ｕ_ｃを比較して、視差許容値ｕ_ｔｈの方が小さい場合には、視差調整量の最大値κ_ｔｈを式（２１）から算出し、視差調整量を最大値κ_ｔｈ以下とする条件を加える。
ｕ_ｔｈ（θ_２０）＝κ_ｔｈｕ_ｃ（θ_２０） 式（２１）
ここで、ｕ_ｔｈ（θ_２０）は視野角がθ_２０のときの視差許容値ｕ_ｔｈを示し、ｕ_ｃ（θ_２０）は視野角がθ_２０のときのコンテンツの視差最大値ｕ_ｃを示す。

図３８に、視差一定領域特定データの条件を加えて、観察者の観察位置と立体表示パネルの相対位置とがより速く移動した場合における視野角に対する視差調整処理後の視差最大値ｕ_ｆを算出した結果を示す。図３８Ａは視野角に対する視差許容値ｕ_ｔｈを示し、実施形態２の図３３と同様である。図３８Ｂはコンテンツの視差最大値ｕ_ｃを示す。図３８Ｃは視差調整処理後の視差最大値ｕ_ｆを示す。視差調整量κが視差調整量の最大値κ_ｔｈ以下となる条件式（２２）を満たすため、視差調整処理後の視差最大値ｕ_ｆは視野角範囲θ_２０〜θ_２１と視野角範囲θ_２２〜θ_２３とで視差値が一定となる。
κ＜＝κ_ｔｈ 式（２２）

視差調整量κが算出された後は、実施形態２と同様に視差調整量κを参照して立体画像コンテンツのＬＲ画像の視差調整処理を実施する。

以上より、視差調整量κが視差調整量の最大値κ_ｔｈ以下となるために立体画像コンテンツの視差値が全体的に低減され、視差一定領域特定部で特定された特例領域の視差値が一定となるように視差調整処理を実施できる。なお、本実施形態３においても実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できるのは言うまでもない。

本実施形態３の立体画像表示装置における立体画像処理方法のフローチャートについて、図３９を参照して説明する。

ステップＳ３０１〜ステップＳ３０６は実施形態２と同様である。

ステップＳ３０７は、視差一定領域特定データ保管部１０９から視差一定領域特定データを取得する。ステップＳ３０７では、視差一定領域特性データとして、視野角範囲θ_２０〜θ_２１とθ_２２〜θ_２３を視差一定の領域と特定する。

ステップＳ３０８は、視差調整量算出部１０４又は視差調整処理部１０６を使用して、ステップＳ３０５で算出した視差許容値ｕ_ｔｈとステップＳ３０６で取得した画像データの視差最大値ｕ_ｃとステップＳ３０７で取得した視差一定領域特定データ（視野角範囲θ_２０〜θ_２１，θ_２２〜θ_２３）とから視差調整量κを算出する。視差調整量κの算出方法は、最初に、式（２１）により視差一定領域の視野角θ_２０における視差許容値ｕ_ｔｈ（θ_２０）と、画像データの視差最大値ｕ_ｃから視差調整量の最大値κ_ｔｈを算出する。次に、視差許容値ｕ_ｔｈと画像データの視差最大値ｕ_ｃを比較して、視差許容値ｕ_ｔｈが大きい場合には視差調整量κを１とおき、視差最大値ｕ_ｃが大きい場合には視差調整量κを式（４）から算出する。最後に、視差調整量κが視差調整量の最大値κ_ｔｈ以下となるように、視差調整量κを変更する。以上より、視差調整量κを算出する。

ステップＳ３０９は、視差調整処理部１０６を使用して、ステップＳ３０８で算出した視差調整量κを参照して、ステップＳ３０６で取得した画像データの視差調整処理を実施する。ステップＳ３０９では、ステップＳ３０８で算出した視差調整量κが１の場合には、ステップＳ３０６で取得した画像データの視差値ｕ_ｃを視差調整処理後の画像データの視差値ｕ_ｆにする。視差調整量κが１以外の場合には、画像データの視差値ｕ_ｃに視差調整量κを乗算して、視差調整処理後の画像データの視差値ｕ_ｆを算出する（一例として図３８Ｃを参照）。視差調整処理後の画像データの視差値ｕ_ｆを参照して、ステップＳ３０６で取得した画像データから視差調整処理後の画像データを生成する。

ステップＳ３１０は、立体表示パネル部１０７を使用して、ステップＳ３０９で視差調整処理した画像データを立体表示パネル上に立体画像表示する。

ステップＳ３１１は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置の電源がＯＦＦされたときや観察者によって立体画像表示の中断が指示されたときには立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ３１１で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ３１１で立体画像表示処理が連続的に実行される場合は、ステップＳ３０１の処理に戻り、ステップＳ３０１〜ステップＳ３１１までの処理を繰り返して実行する。

以上より、観察者の観察位置と立体表示パネルの相対位置がより速く移動しても、正視領域及び逆視領域における任意の領域では視差変化が無く一定であり、かつ、それ以外の領域では、なだらかに視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

なお、本実施形態３の立体画像処理方法においても実施形態１と同様に、予め視差調整量κによって視差調整処理された画像データ群を画像データ保管部１０５へ保管しておくことで、立体画像表示処理時の計算時間を大幅に短縮できるのは言うまでもない。また、本実施形態３においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態３の画像処理部を単独の画像処理装置として提供し、立体画像パネル部と組み合わせて立体画像表示装置の機能を実現できることは言うまでもない。

換言すると、本実施形態３の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置との相対位置及び相対位置の変化速度（時間に対する相対位置の変化量）を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、時間に対する視差変化量の許容値（観察者へ違和感を与えない視差変化量）を保存する視差変化量許容値保管部と、前記デバイス特性データと前記視差変化量の許容値と前記相対位置の変化量とに基づき、視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、視差値を変化させずに一定値とする空間領域を特定する視差一定領域特定部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量と前記視差一定領域情報に従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

実施形態２により、観察者の観察位置が速く移動する場合には、なだらかに視差調整処理が実施される。このため、観察者の観察位置がより速く移動する場合には、正視領域においても、視差値が一定とならずに、常に視差値が変化するという問題が生じる。本実施形態３では、この問題を解決するために、予め立体画像コンテンツが保持する視差値を全体的に低減することで、視差一定領域特定部で特定された空間領域では、視差値が一定となるように視差調整処理を実施する。これより、観察者の観察位置がより速く移動しても、正視領域では視差値が一定であり、かつ、なだらかに視差調整処理を実施して、３Ｄクロストークによる二重像や逆視の問題を解決し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態４］
本実施形態４では、３Ｄクロストークによる二重像の影響が現れる画像範囲だけに、視差調整処理を適用することで、その他の画像範囲は視差値を保持して立体画像を表示した状態で、３Ｄクロストークによる二重像の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。

図４０に、立体画像表示装置１４の構成図を示す。立体画像表示装置１４は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、３Ｄクロストーク画像範囲算出部１１０とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６、３Ｄクロストーク画像範囲算出部１１０を統合した処理部を、画像処理部１５４とする。以下に、立体画像表示装置１４に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、立体表示パネル部１０７とは、実施形態１と同様である。

３Ｄクロストーク画像範囲算出部１１０は、３Ｄクロストークによる二重像が現れる画像範囲を算出する機能を有する。３Ｄクロストークによる二重像が現れる画像範囲は、観察者の観察位置と立体表示パネルの相対位置とによって変化する。任意の相対位置における二重像が現れる画像範囲は、デバイス特性データ保管部１０３に保管されている３Ｄクロストーク特性データと光学モデルとから決定される。

図４１に、任意の相対位置における二重像が現れる画像範囲の一例を示す。図４１は、３Ｄクロストーク領域内で、Ｘ軸方向（図３を参照）とＺ軸方向に相対位置が移動した場合に、その相対位置へ投影される画像情報を示す。相対位置がＸ軸方向に移動すると、それに応じて二重像が現れる画像範囲もＸ軸方向に移動する。また、相対位置がＺ軸方向に移動すると、それに応じて二重像が現れる画像範囲が広がっていく。

視差調整処理部１０６は、３Ｄクロストーク画像範囲算出部１１０で算出された画像範囲に従って視差調整処理を実施する。相対位置算出部１０２から得られる観察者の右眼と左眼の位置情報と、３Ｄクロストーク画像範囲算出部１１０で算出された画像範囲情報とから、観察者の右眼と左眼に投影される画像情報の任意の画像範囲に、Ｒ画像が投影されるか、Ｌ画像が投影されるか、３Ｄクロストークによる二重像（ＣＴ画像）が投影されるかを判定する。判定した結果、左眼にＬ画像が投影され、右眼にＲ画像が投影されている画像範囲は、視差値をそのままにする。

右眼と左眼のどちらかに一方にでもＣＴ画像が投影される画像範囲は、実施形態１と同様に視差調整処理を実施する。左眼にＲ画像が投影され、右眼にＬ画像が投影される画像範囲は、視差値を反転する。右眼と左眼の両方にＲ画像又はＬ画像が投影される場合は、視差値をそのままにする。

図４２に、観察者の右眼と左眼に投影される画像の種類（Ｌ画像、Ｒ画像、ＣＴ画像）に対応した視差調整処理の実施判定表を示す。立体画像コンテンツの表示状態は、右眼にＲ画像が投影され、左眼にＬ画像が投影されている画像範囲と、右眼にＬ画像が投影され、左眼にＲ画像が投影されている画像範囲では、立体画像として表示される。また、観察者の右眼と左眼に同一の画像が投影されている画像範囲は、平面画像として表示される。その以外の画像範囲では、立体から平面までの中間的な表示状態となり、３Ｄクロストーク量が高い画像範囲になるほど、立体画像コンテンツの視差値は低減されて平面画像の表示状態に近くなる。

図４３に、観察者の右眼・左眼に投影される画像情報の一例を示す。図４３では、観察者の左眼へ画像の左側範囲にＬ画像、中間範囲にＣＴ画像、右側範囲にＲ画像が投影され、観察者の右眼へ画像の右側範囲がＲ画像、中間範囲にＣＴ画像、左側範囲にＬ画像が投影される。

図４４に、図４３で投影される画像を視差調整処理した結果、観察者へ提示される立体画像コンテンツの表示状態を示す。画像の左側範囲（図４４のＡ）は、観察者の左眼にＬ画像、右眼にＲ画像が投影されるため、視差調整処理は実施せずに立体画像が表示される。画像の左側中央範囲（図４４のＢ）は、観察者の左眼にＬ画像、右眼にＣＴ画像が投影されるため、視差調整処理が実施されて立体から平面までの中間的な画像が表示される。画像の中央範囲（図４４のＣ）は、観察者の右眼と左眼にＣＴ画像が投影されるため、視差調整処理が実施されて平面画像が表示される。画像の右側中央範囲（図４４のＤ）の表示状態は、左側中央範囲（図４４のＢ）と同様になり、画像の右側範囲（図４４のＥ）の表示状態は画像の左側範囲（図４４のＡ）は同様になる。

以上より、３Ｄクロストークによる二重像や逆視の影響が現れる画像範囲だけに視差調整処理を実施することで、その他の画像範囲は視差値を保持して立体画像を表示し、かつ、３Ｄクロストークによる二重像や逆視の問題を解決できる。

なお、本実施形態４においても実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態４の画像処理部を単独の画像処理装置として提供し、立体画像パネル部と組み合わせて立体画像表示装置の機能を実現できることは言うまでもない。

また、実際の立体表示パネル１０７ａでは、電気光学手段である表示パネル２と光学分離手段であるレンチキュラレンズ３との位置関係に、所定精度内の位置ズレが発生する（例えば図５参照）。このような場合には、図４５に示すような斜め成分の３Ｄクロストーク画像範囲が発現する。

図４６に、電気光学手段と光線分離手段との間に回転ズレが発生した場合における画像表示状態と３Ｄクロストーク特性データとの関係図を示す。図４６［Ａ］は、斜め成分の３Ｄクロストーク画像範囲が発現した画像表示状態を示す。図４６［Ｂ］は、図４６［Ａ］のｙ₁線上の位置での、Ｘ軸方向の位置に対する３Ｄクロストーク特性データを示す。図４６［Ｃ］は、図４６［Ａ］のｙ₂線上の位置での、Ｘ軸方向の位置に対する３Ｄクロストーク特性データを示す。図４６［Ｂ］と図４６［Ｃ］より、Ｙ軸方向の位置によっても、３Ｄクロストーク特性データは変化する。

視差調整量の算出では、次の第一乃至第三の処理を実行する。第一の処理として、立体表示パネルの上端（図４６［Ａ］のｙ_１線上）、中央（図４６［Ａ］のｙ_３線上）、下端（図４６［Ａ］のｙ_２線上）の３つの線上で３Ｄクロストーク量が最大値となる
Ｘ軸方向の位置を検出し（図４６［Ａ］のｙ_１線上であればｘ₂の位置となり、図４６［Ａ］のｙ₂線上であればｘ₁の位置となる。）、検出したＸ軸方向の位置から斜め成分の３Ｄクロストーク画像範囲の傾きを算出する。

第二の処理として、立体表示パネルの中央（図４６［Ａ］のｙ_３線上）における３Ｄクロストーク特性データから、実施形態１と同様の算出方法により、Ｘ軸方向の位置に対する視差調整量を算出する。ここで、実施形態１では視野角に対する視差調整量を算出したが、この第二の処理では視野角の代わりにＸ軸方向の位置に対する視差調整量を算出する。

第三の処理として、立体表示パネルの中央以外（図４６［Ａ］のｙ_３線上以外）の視差調整量を、第一の処理で算出した３Ｄクロストーク画像範囲の傾きを参照して、第二の処理で算出した視差調整量をＸ軸方向へシフトすることで算出する。以上の処理により、表示パネルとレンチキュラレンズとの位置ズレが発生した場合でも、立体表示パネル面上のすべての位置に対する視差調整量を算出して、３Ｄクロストーク画像範囲に適切な視差調整処理を実施することができる。

本実施形態４の立体画像表示装置における立体画像処理方法のフローチャートについて、図４７を参照して説明する。

ステップＳ４０１〜ステップＳ４０５は実施形態１と同様である。

ステップＳ４０６は、ステップＳ４０３で取得したデバイス特性データからステップＳ４０２で算出した観察者と立体表示パネルの相対位置（距離情報Ｚ_１と視野角情報θｐ）とにより、観察者の右眼と左眼にＣＴ画像が投影される画像範囲を算出する。

ステップＳ４０７は、視差調整量算出部１０４又は視差調整処理部１０６を使用して、ステップＳ４０６で算出した画像範囲の視差調整量κを、実施形態１と同様にステップＳ４０４で算出した視差許容値ｕ_ｔｈとステップＳ４０５で取得した画像データの視差最大値ｕ_ｃとから算出する。ここで、視差調整量κの算出に使用する画像データの視差最大値ｕ_ｃは、ステップＳ４０６で算出した画像範囲内での画像データの視差最大値とする。

ステップＳ４０８は、視差調整処理部１０６を使用して、ステップＳ４０７で算出した視差調整量κを参照して、ステップＳ４０５で取得した画像データの視差調整処理を実施する。ステップＳ４０８では、ステップＳ４０７で算出した視差調整量κが１の場合には、ステップＳ４０５で取得した画像データの視差値ｕ_ｃを視差調整処理後の画像データの視差値ｕ_ｆにする。視差調整量κが１以外の場合には、ステップＳ４０６で算出した画像範囲内になる画像データの視差値ｕ_ｃに視差調整量κを乗算して、視差調整処理後の画像データの視差値ｕ_ｆを算出する。視差調整処理後の画像データの視差値ｕ_ｆを参照して、ステップＳ４０５で取得した画像データから視差調整処理後の画像データを生成する。

ステップＳ４０９は、立体表示パネル部１０７を使用して、ステップＳ４０８で視差調整処理した画像データを立体表示パネル上に立体画像表示する。

ステップＳ４１０は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１４の電源がＯＦＦされたときや観察者によって立体画像表示の中断が指示されたときには立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ４１０で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ４１０で立体画像表示処理が連続的に実行される場合は、ステップＳ４０１の処理に戻り、ステップＳ４０１〜ステップＳ４１０までの処理を繰り返して実行する。

上記の処理を適用することで、３Ｄクロストークによる二重像や逆視の影響が現れる画像範囲だけに視差調整処理を実施することで、その他の画像範囲は視差値を保持して立体画像を表示し、かつ、３Ｄクロストークによる二重像や逆視の問題を解決して観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

なお、本実施形態４の立体画像処理方法においても実施形態１と同様に、予め視差調整量κによって視差調整処理された画像データ群を画像データ保管部１０５へ保管しておくことで、立体画像表示処理時の計算時間を大幅に短縮できるのは言うまでもない。

換言すると、本実施形態４の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置との相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、デバイス特性データから３Ｄクロストークによる二重像が現れる画像範囲を算出する３Ｄクロストーク画像範囲算出部と、前記デバイス特性データに基づき視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量と前記３Ｄクロストークの画像範囲とに従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態４によれば、３Ｄクロストークによる二重像や逆視の影響が現れる画像範囲だけに、視差調整処理を適用することで、その他の画像範囲は視差値を保持し立体画像を表示した状態で、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態５］
本実施形態５では、観察者が視差の調整を手動で指示した場合であっても、観察者へ違和感を与えずに視差調整処理を実現して、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。

図４８に立体画像表示装置１５の構成図を示す。立体画像表示装置１５は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７、視差変化量許容値データ保管部１０８と、入力操作検出部１１１と、入力操作判定部１１２と、入力操作処理部１１３とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６、入力操作検出部１１１、入力操作判定部１１２、入力操作処理部１１３を統合した処理部を、画像処理部１５５とする。

以下に、立体画像表示装置１５に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。

入力操作検出部１１１は、観察者の入力操作を検出する機能を有する。入力操作の一例としては、ボタン操作、タッチパネル操作、ジェスチャ操作等が挙げられる。ボタン操作では、観察者が立体画像表示装置１５に設置されたボタンやダイヤルを操作することで入力指示を行う。タッチパネル操作では、観察者が立体表示パネルの画面上に表示された選択ボタン領域を指でタッチすることで入力指示を行う。

ジェスチャ操作では、観察者位置計測部１０１のカメラの前で観察者が任意の手振り身振りをすることで入力指示を行う。ジェスチャ操作の入力操作検出では、初めにカメラで観察者を撮影した画像から、観察者の輪郭情報を探索する。輪郭情報の探索は、画像の輝度値からエッジ情報を抽出して、エッジ情報の中から輪郭情報を探索する（エッジ情報は、距離値（Ｚ値）から抽出しても良い）。観察者の輪郭情報から手や顔、胴体の部位を検出し、手の移動や、手と顔、胴体の位置関係が任意の条件を満たすときに観察者が入力操作を指示したと検出する。任意の条件としては、例えば立体表示パネルから５０ｃｍ以内の距離で、観察者が手の指を広げる又は狭める動作をしたときには視差調整の入力指示とすることが挙げられる（図４９）。観察者が指を広げた量により立体画像コンテンツに設定する視差最大値ｕ_ｃｊが入力される。

輪郭情報から手や顔、胴体の部位を検出する方法としては、予めに手や顔、胴体の部位となる輪郭形状をテンプレートデータとして保管しておき、画像から探索した輪郭形状とテンプレートデータを比較することで、画像から手や顔、胴体の部位を検出する方法が挙げられる。また、検出した部位同士の位置関係と人体構造を比較して、検出した部位が誤検出であるかを検証しても良い。これらのジェスチャ操作の検出機能は、ＯｐｅｎＮＩ等に代表されるオープンソースのライブラリを使用することで簡易に実装できる。

なお、ジャスチャ操作は観察者位置計測部１０１のカメラを使用して入力検出ができるため、ボタン操作やタッチパネル操作と比較すると追加の部品が不要で低コストの効果がある。

入力操作判定部１１２は、観察者の入力操作を判定する機能を有する。入力操作判定では、入力操作検出部１１１で観察者が入力操作した立体画像コンテンツに設定される視差最大値ｕ_ｃｊが視差調整量算出部１０４で算出した視差許容値ｕ_ｔｈの範囲内であるかを判定する（式（３０））。
ｕ_ｃ＜＝ｕ_ｔｈ 式（３０）

入力操作した視差最大値ｕ_ｃｊが式（３０）を満たす場合には、視差最大値ｕ_ｃｊをそのまま保持し、式（３０）を満たさない場合には、視差最大値ｕ_ｃｊが視差許容値ｕ_ｔｈと等しくなるように設定する（図５０）。

入力操作処理部１１３は、観察者の入力操作を処理する機能を有する。入力操作処理では、画像データ保管部１０５から取得した立体画像コンテンツの視差最大値ｕ_ｃと入力操作判定部１１２で入力操作判定された視差最大値ｕ_ｃｊとが等しくなるように、立体画像コンテンツの視差最大値ｕ_ｃを変更する。変更された立体画像コンテンツの視差最大値ｕ_ｃを視差調整処理部１０６へ送信することで、画像データの視差調整処理を実施する。

入力操作処理部１１３では、ユーザビリティ性を向上させるため、観察者の入力操作が検出されたことを立体表示パネル上に表示しても良い。表示する通知画面の一例を図５１に記載する。図５１［Ａ］は、観察者の入力操作により、視差値が変更されたときに表示する通知画面の一例である。図５１［Ｂ］は、観察者の入力操作により、指示された視差値が視差許容値以上である場合に表示する通知画面の一例である。

一般に立体表示パネル上で通知画面を表示する場合には、通知画面を目立つようにするため、通知画面の視差値を増加させ、立体表示パネルから通知画面が飛び出すように表示する（図５２）。しかし、実施形態４における視差調整処理が施されている場合は、画面範囲によっては視差調整処理によって視差が低減されて、通知画面を飛び出して表示できない画面範囲が現れる。このため、通知画面の表示位置は、視差調整処理によって視差が低減されている画像範囲を避けて表示することが望ましい。通知画面の表示位置の一例を図５３及び図５４に示す。図５３は、図５２と同様に通知画面が中央に表示された例である。図５３では、視差調整処理により視差が低減された画像範囲（立体〜平面画像の表示範囲）に通知画面の右側が表示されるため、通知画面の飛び出し量も低減され、通知画面が目立たなくなってしまう。このため、図５４では、通知画面の表示位置を左側に移動させて、立体画像が表示できる範囲に通知画面を表示することで、通知画面を飛び出すように表示し、目立つようにしている。

以上より、観察者の入力操作に応じて立体画像コンテンツの視差調整が可能であり、かつ視差許容値ｕ_ｃ以上の視差値が入力された場合には、視差値を視差許容値ｕ_ｃ以下とすることで、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法が提供できる。

なお、本実施形態５においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態５の画像処理部を単独の画像処理装置として提供し、立体画像パネル部と組み合わせて立体画像表示装置の機能を実現できることは言うまでもない。

本実施形態５の立体画像表示装置における立体画像処理方法のフローチャートについて、図５５を参照して説明する。

ステップＳ５０１からステップＳ５０５までは、実施形態１と同様の処理を実施する。

ステップＳ５０６は、入力操作検出部１１１を使用して、ステップＳ５０１で撮影した画像より、観察者の手振り身振りを検出して、観察者が指示した視差最大値ｕ_ｃｊを入力する。

ステップＳ５０７は、入力操作判定部１１２を使用して、ステップＳ５０６で入力された視差最大値ｕ_ｃｊがステップＳ５０４で算出した視差許容値ｕ_ｔｈ以下であるかを判定する。ステップＳ５０６で入力された視差最大値ｕ_ｃｊが視差許容値ｕ_ｔｈ以上であれば、視差最大値ｕ_ｃｊを視差許容値ｕ_ｔｈと等しい値に変更する。

ステップＳ５０８は、ステップＳ５０７で判定された視差最大値ｕ_ｃｊを、ステップＳ５０５で取得した画像データの最大視差値ｕ_ｃへ代入する。

ステップＳ５０９は、視差調整量算出部１０４を使用して、ステップＳ５０４で算出した視差許容値とステップＳ５０８で代入した画像データの最大視差値とから、視差調整量を算出する。例えば、ステップＳ５０９は、視差調整量算出部１０４又は視差調整処理部１０６を使用して、ステップＳ５０４で算出した視差許容値ｕ_ｔｈとステップＳ５０８で取得した画像データの視差最大値ｕ_ｃとから視差調整量κを算出する。ステップＳ５０９では、視差許容値ｕ_ｔｈと画像データの視差最大値ｕ_ｃを比較して、視差許容値ｕ_ｔｈが大きい場合には視差調整量κを１とおき、視差最大値ｕ_ｃが大きい場合には視差調整量κを式（４）から算出する。

ステップＳ５１０は、視差調整処理部１０６を使用して、ステップＳ５０９で算出した視差調整量を参照して、ステップＳ５０５で取得した画像データの視差調整処理を実施する。例えば、ステップＳ５１０は、視差調整処理部１０６を使用して、ステップＳ５０９で算出した視差調整量κを参照し、ステップＳ５０５で取得した画像データの視差調整処理を実施する。ステップＳ５１０では、画像データの視差値ｕ_ｃに視差調整量κを乗算して、視差調整処理後の画像データの視差値ｕ_ｆを算出する。視差調整処理後の画像データの視差値ｕ_ｆを参照して、ステップＳ５０５で取得した画像データから視差調整処理後の画像データを生成する。

ステップＳ５１１は、立体表示パネル部１０７を使用して、ステップＳ５１０で視差調整処理された画像データを立体表示パネル上に立体画像表示する。

ステップＳ５１２は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１５の電源がＯＦＦされたときや、観察者によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ５１２で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ５１２で立体画像表示処理が連続的に実行される場合は、ステップＳ５０１の処理に戻り、ステップＳ５０１からステップＳ５１２までの処理を繰り返して実行する。

以上より、観察者が立体画像コンテンツの視差を手動で調整でき、かつ、観察者が視差の調整を手動で指示しても、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法が提供できる。

なお、本実施形態５の立体画像処理方法においても、実施形態１と同様に、予め視差調整量κによって視差調整処理された画像データ群を画像データ保管部１０５へ保管しておくことで、立体画像表示処理時の計算時間を大幅に短縮できるのは言うまでもない。

換言すると、本実施形態５の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置との相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量に従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、観察者の入力操作を検出する入力操作検出部と、観察者の入力操作を判定する入力操作判定部と、観察者の入力操作を処理する入力操作処理部（入力操作処理例としては、立体画像コンテンツの視差調整を手動で設定する等）と、を備えるものである。

本実施形態５によれば、観察者が視差の調整を手動で指示しても、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態６］
本実施形態６では、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。

図５６に立体画像表示装置１６の構成図を示す。立体画像表示装置１６は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、温度計測部１１４とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６を統合した処理部を、画像処理部１５６とする。

以下に、立体画像表示装置１６に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。

温度計測部１１４は、立体画像表示装置１６の温度を計測する機能を有する。レンチキュラレンズは、ガラス等の無機材で作られることも可能であるが、製品コストの関係によりポリメチルメタクリレート（ＰＭＭＡ）、シクロポリオレフィン（ＣＯＰ）、ポリカーボネート（ＰＣ）に代表されるエンジニアリングプラスチック等の有機材で作られることが多い。このため、立体画像表示装置１６を使用する環境温度が変化すると、プラスチック材で作成されたレンチキュラレンズは、一般的にガラス基板を用いる表示パネルとの材料の違い、すなわちプラスチック材料とガラス材料との熱膨張係数差により、レンチキュラレンズと表示パネルとの位置関係が変動する。

図５７に、温度の下降につれてレンチキュラレンズが移動し、立体表示パネルの光学モデルが変化した図を示す。環境温度が下降すると、レンチキュラレンズは表示パネルの中心部へ収縮する。このため、図５７の左眼用画素４Ｌ及び右眼用画素４Ｒからレンチキュラレンズ３（シリンドリカルレンズ３ａ）を通って観察者へ投光される光線２０，２１の傾きは、常温時よりも減少する。図５７の光学モデル図より、環境温度が常温である場合の右眼領域７０Ｒ、左眼領域７０Ｌと、環境温度が下降した場合の右眼領域７０Ｒ_ｃ、左眼領域７０Ｌ_ｃとの空間の位置を比較すると、環境温度が下降するに従って、右眼領域と左眼領域は立体表示パネルへ近づくことが確認できる。

図５８に、温度の上昇につれてレンチキュラレンズが移動し、表示パネルの光学モデルが変化した図を示す。環境温度が上昇すると、レンチキュラレンズは液晶パネルの両端部へ伸長する。このため、図５８の左眼用画素４Ｌ及び右眼用画素４Ｒからレンチキュラレンズ３（シリンドリカルレンズ３ａ）を通って観察者へ投光される光線２０，２１の傾きは、常温時よりも増大する。図５８の光学モデル図より、環境温度が常温である場合の右眼領域７０Ｒ、左眼領域７０Ｌと、環境温度が上昇した場合の右眼領域７０Ｒ_ｈ、左眼領域７０Ｌ_ｈとの空間の位置を比較すると、環境温度が上昇するに従って、右眼領域と左眼領域は立体表示パネルから遠ざかることが確認できる。

本実施形態６では、環境温度の変化に伴って立体表示パネルの光学モデルが変化する影響を考慮して、視差調整処理を実施する。温度計測部１１４は、立体表示パネル付近の温度を計測することで、温度変化による立体表示パネルの光学モデルの状態を把握する。温度計測には、汎用の抵抗温度計などが使用でき、この温度計を立体画像表示装置に設置することで、立体表示パネルの環境温度を計測する。

図５６に示すデバイス特性データ保管部１０３は、立体画像表示装置を使用する環境温度に対応する３Ｄクロストーク特性データを予め保存する。環境温度に対応する特性データに関して以下に述べる。

図５９に、環境温度が低温である場合の３Ｄクロストーク特性データの一例を示す。立体画像表示装置１６では、３Ｄクロストーク特性データに依存して右眼領域・左眼領域・３Ｄクロストーク領域が決定される。一例として、立体視領域を３Ｄクロストーク量のβ_３１以下とすれば、視野角θ_３１〜θ_３５の領域までが３Ｄクロストーク領域となり、それ以外の視野角は右眼領域・左眼領域となる。

この場合の立体画像表示装置１６の光学モデルを図６０に示す。図６０では、視野角θ_３１〜θ_３５の部分が３Ｄクロストーク領域となるため、図５７よりも一段と右眼領域７０Ｒ_ｃと左眼領域７０Ｌ_ｃとの領域は狭まる。右眼５５Ｒにとっては、図５７と同様に右眼領域７０Ｒ_ｃが正視領域であり、左眼領域７０Ｌ_ｃ，７２Ｌ_ｃが逆視領域で、それ以外の領域が３Ｄクロストーク領域となる。

図６１に、図６０に示す領域８１の拡大図を示す。Ｚ軸上の任意の値であるＺ_１，Ｚ_２における右眼領域７０Ｒ・左眼領域７２Ｌ・３Ｄクロストーク領域の領域幅は異なるり、またＺ軸の位置に依存して正視領域・逆視領域・３Ｄクロストーク領域の領域幅は変化することがわかる。

また、図６２に、Ｚ軸上の任意の値Ｚ_１における正視領域・逆視領域・３Ｄクロストーク領域の領域幅と図５９で示した視野角との関係図を示す。右眼５５Ｒを基準にすると、視野角θ_３０〜θ_３１の領域が逆視領域に、θ_３１〜θ_３５の領域が３Ｄクロストーク領域に、θ_３５〜θ_３６の領域が正視領域となる。また視野角θ_３３の位置で最も３Ｄクロストーク量が大きくなり、視野角θ_３２〜θ_３４の領域は図５９より、３Ｄクロストーク量がβ_３２以上の領域となる。

以上、環境温度に対応する特性データに関して述べたが、このデータの一例として、環境温度が−２０℃〜６０℃の範囲で５℃おきの３Ｄクロストーク特性データを用いるといったような、立体画像表示装置１６の仕様に応じて任意の内容が適用可能である。また、３Ｄクロストーク特性データを算出するのに必要なパラメータを保管しておき、環境温度に応じて３Ｄクロストーク特性データを求めるプログラムを備えることも可能である。ここで、パラメータの一例として、表示パネルに具備されたレンチキュラレンズの実効的な線膨張係数、パネルサイズ、パネル解像度などを用いることができる。

図５６に示す視差調整量算出部１０４は、前記温度計測部１１４で計測した温度に対応する３Ｄクロストーク特性データを前述したデバイス特性データ保管部１０３から取得し、その３Ｄクロストーク特性データに基づき視野角に対して立体画像表示に最適な視差調整量を算出する。視差調整量の算出処理及びその後の視差調整処理は、実施形態１と同様に実施する。これより、立体画像表示装置１６を使用する環境温度に適切な視差調整処理が実施できる。

なお、本実施形態６においても実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態６の画像処理部を単独の画像処理装置として提供し、立体画像パネル部と組み合わせて立体画像表示装置の機能を実現できることは言うまでもない。

本実施形態６の立体画像表示装置１６における立体画像処理方法のフローチャートについて、図６３を参照して説明する。

ステップＳ６０１からステップＳ６０２までは、実施形態１と同様の処理を実施する。

ステップＳ６０３は、温度計測部１１４で立体表示パネル付近の温度を計測する。
ステップＳ６０４は、デバイス特性データ保管部１０３から、ステップＳ６０３で計測した温度に対応するデバイス特性データを取得する。

ステップＳ６０５からステップＳ６１０は、実施形態１のステップＳ１０４からステップＳ１０９と同様の処理を実施する。

以上より、立体画像表示装置１６を使用する環境温度が変化しても、その温度に適切な視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

なお、本実施形態６の立体画像処理方法においても、実施形態１と同様に、予め視差調整量κによって視差調整処理された画像データ群を画像データ保管部１０５へ保管しておくことで、立体画像表示処理時の計算時間を大幅に短縮できるのは言うまでもない。

換言すると、本実施形態６の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置との相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に最適な視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整量に従って前記画像データの視差調整処理を実施する視差調整処理部と、視差調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、使用環境温度を計測する温度計測部と、を備えるものである。

本実施形態６によれば、観察者の観察位置とデバイス特性データに加えて、使用環境温度と立体表示パネルの温度特性データを考慮して視差調整量を算出することにより、立体画像表示装置を使用する環境温度に対して、適切な視差調整処理を実現する。これより、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な視差調整処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。

［実施形態７］
本実施形態７では、観察者の立体表示パネルへの観察状況に応じて、視野角に対する視差許容値のモード切替を実施することで、良好な観察状況である場合には、３Ｄコンテンツが保有する視差値を最大限に保持し、臨場感のある立体画像を表示する立体画像表示装置を提供することが目的となる。

図６９に、立体画像表示装置１７の構成図を示す。立体画像表示装置１７は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、視差変化量許容値データ保管部１０８と、視差一定領域特定部としての視差一定領域特定データ保管部１０９と、視差調整モード切替部１７０を備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６、視差調整モード切替部１７０を統合した処理部を、画像処理部１５７とする。

以下に、立体画像表示装置１７に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、視差変化量許容値データ保管部１０８と、視差一定領域特定データ保管部１０９については、実施形態３のそれらと同様である。

視差調整モード切替部１７０は、観察者と立体表示パネルとの位置関係や位置の時間変化などの観察状況に応じて、視野角に対する視差許容値のモード切替を実施する機能を有する。視差調整モードの例としては、観察状況に応じて、３Ｄコンテンツが保有する視差値を最大限に保持する視差調整モードＡと、実施形態３と同様の視差許容値を持つ視差調整モードＢを備える。

視差調整モードの切替判定処理は、観察者と立体表示パネルとの相対位置と、その移動速度から判定する。一例として、移動速度が所定値未満とほぼ静止している状態で、相対位置が正視領域又は逆視領域（３Ｄクロストーク値が低く良好な立体画像が閲覧可能な観察領域）に所定時間以上滞在しているような、静的かつ好適位置での観察状況であると判定された場合に、実施形態３に示された通常の視差調整モードＢから上記した視差調整モードＡに切替える。この状態から、観察者の移動速度が所定値以上になるような、又は相対位置が３Ｄクロストーク領域となる視野角θ_２〜θ_４の範囲内に入るような、動的及び不適切位置での観察状況と判定された場合には、前記の視差調整モードＡから視差調整モードＢに切替わる。

視差調整モードＡにおける相対位置の視野角に対する視差許容値の一例を、図７０に示す。また、３Ｄクロストーク量に対する２重像の発生、立体画像への影響、視野角範囲、領域名、視差許容値の絶対値との関係を、図７１に示す。図７０及び図７１より、視野角に対する視差許容値の絶対値は、３Ｄクロストーク量がβ_２以上となって立体画像が認識困難となる視野角範囲θ_２〜θ_４を除いて、視差の最大値γ_１となる。したがって、高品質な立体画像が視認できる視差角範囲θ_０〜θ_１・θ_５〜θ_６だけでなく、立体画像の認識可能な視野角範囲θ_１〜θ_２・θ_４〜θ_５においても３Ｄコンテンツが保有する視差値は最大限に保持される。

また、視差調整モードの切替時に、視差許容値の大幅変更に伴い画像データの視差値が急激に変化する場合には、視差値の時間変化量に制限をかけるようにしても良い。視差許容値の大きい視差調整モードＡから視差許容値の小さい視差調整モードＢへの切替において、視差許容値が大幅に変更される例を図７２に示す。ここで、図７２の実線は視差調整モードＡの視差許容値を、一点鎖線は視差調整モードＢの視差許容値をそれぞれ表す。なお、視差調整モードＢの視差許容値は、実施形態３に記載した視差許容値と同様である。

視差調整モードの切替により、図７２の実線から一点鎖線へ視差許容値は変更されるが、このとき画像データの視差値の変化量が視野角に大きく依存する。例えば視野角θ_５〜θ_６に位置する場合は視差調整モードＡの視差量γ１から視差調整モードＢの視差量γ３に変化するが、視野角θ_４に位置する場合は視差調整モードＡの視差量γ１から視差調整モードＢのγ２に変化し、この変化量はθ_５〜θ_６と比べて大きい。このような視野角θ４における視差変化量は、観察者へ違和感を与える可能性が高く、視差変化量が任意の閾値を超過する場合には、視差値の時間変化量に制限をかけるようにしても良い。

具体的には、視差許容値の大幅な変更に伴う画像データの視差値の変化量が、実施形態２に記載の視差変化量の許容値ｄｕ_ａ／ｄｔを超過した場合には、視差値の変化量を視差変化量の許容値ｄｕ_ａ／ｄｔ以下に制限する。視差制限処理では、始めに視差調整モード切替時における画像データの視差値の変化量を算出し、視差変化量の許容値ｄｕ_ａ／ｄｔと比較する。観察者が画像データの視差変化を認識できる画像フレームレートを１０ｆｐｓ〜２０ｆｐｓと仮定すると、観察者が視差変化を認識できる時間間隔は０．０５秒〜０．１秒となる。

視差調整モード切替時における画像データの視差値の変化量は、図７３［Ａ］に一例を示すように視差調整モードＡにおける画像データの視差値から視差調整モードＢにおける画像データの視差値を減算した値に、観察者が視差変化を認識可能な時間間隔を除算して算出する。この算出式を式（８０）に示す。
ｄｕ／ｄｔ＝（ｕ_ｆ７−ｕ_ｆ３）／ｄｔ_ｈ 式（８０）

ここで、ｄｕ／ｄｔは視差値の時間変化量を、ｕ_ｆ７（ｘ，ｙ）は視差調整モードＡにおける画像データの視差値を、ｕ_ｆ３（ｘ，ｙ）は視差調整モードＢにおける画像データの視差値を、ｄｔ_ｈは観察者が視差変化を認識できる時間間隔を表す。

次に算出した視差値の時間変化量ｄｕ／ｄｔと視差値時間変化量の許容値ｄｕ_ａ／ｄｔを比較し、ｄｕ／ｄｔがｄｕ_ａ／ｄｔ以下となるように視差調整処理を実施する。ｄｕ／ｄｔがｄｕ_ａ／ｄｔを超過した場合には、視差調整処理による視差値の時間変化を小さくし、徐々に視差調整モードＡの視差許容値から視差調整モードＢの視差許容値へ適合するように画像データの視差値を変更していく。

視差調整モードの切替処理により、観察時間に対する視差値の変化を図７３［Ａ］と図７３［Ｂ］に示す。図７３［Ａ］は視差値の時間変化量に制限を加えない場合、図７３［Ｂ］は視差値の時間変化量に制限を加える場合について、それぞれ視差調整モードの切替時に観察者が視認する視差変化を表す。ここで、図７３［Ｂ］における視差値時間変化量の許容値ｄｕａ／ｄｔは、図７３［Ａ］におけるｄｕ／ｄｔの１／５と設定している。図７３［Ａ］では、観察者は視差値がγ１からγ２へ急激な変化を伴う画像を視認するが、図７３［Ｂ］では、観察者は視差値がγ１からγ２まで５倍の時間で徐々に変化する画像を視認することで観察時の違和感を低減することができる。

また上記では、視差調整モードの切替時に、視差許容値の大幅変更に伴い画像データの視差値が急激に変化する一例を示したが、観察者と立体表示パネルとの相対位置の移動速度が急激に変化しても、同様に視差許容値が大幅変更に伴う画像データ視差値の急激変化が起こることもある。このような状況においても、同様に視差値の時間変化に制限をかけるようにしても良い。

本実施形態７の立体画像表示装置における立体画像処理方法のフローチャートについて、図７４を参照して説明する。

図７４のフローチャートにおけるステップＳ７０１〜ステップＳ７０２は、実施形態３と同様の処理を実施する。

ステップＳ７０３は、視差調整モード切替部１７０の機能により、ステップＳ７０２で算出した観察者と立体表示パネルとの相対位置と相対位置の移動速度とから、静的かつ好適位置での観察状況か否かを判定する。静的かつ好適位置での観察状況であると判定した場合にはステップＳ７０７の処理へ進み、そうで無いと判定した場合にはステップＳ７０４の処理へと進む。

ステップＳ７０４〜ステップＳ７０６は、実施形態３のステップＳ３０３〜ステップＳ３０５と同様の処理を実施する（視差調整モードＢ）。

ステップＳ７０７は、臨場感のある立体画像を表示するために、ステップＳ７０４〜ステップＳ７０６で算出した視差許容値とは異なり、３Ｄコンテンツが保有する視差値を最大限に保持した第２の視差許容値を算出する（視差調整モードＡ）。第２の視差許容値の一例としては、図７０に記載した視差許容値のように、立体画像の認識可能な視差角範囲では、視差許容値を最大限に保持することが挙げられる。

ステップＳ７０８〜ステップＳ７１３は、実施形態３のステップＳ３０６〜ステップＳ３１１と同様の処理を実施する。

以上より、視差調整モードの切替を実施することで、静的かつ好適位置での観察状況である場合には、３Ｄコンテンツが保有する視差値を最大限に保持し、臨場感のある立体画像を表示する立体画像表示装置が提供できる。なお、本実施形態７においても実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できるのは言うまでもない。

［実施形態８］
本実施形態８では、観察者の観察位置と立体表示パネルとの相対位置に応じた任意視点画像生成処理と視差調整処理を組合せることにより、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じて運動視差も提示する立体画像表示装置を提供することが目的となる。

図７５に、立体画像表示装置１８の構成図を示す。立体画像表示装置１８は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７と、任意視点画像生成部１９０とを備えるものである。また、相対位置算出部１０２、視差調整量算出部１０４、視差調整処理部１０６、任意視点画像生成部１９０を統合した処理部を画像処理部１５８とする。

以下に、立体画像表示装置１８に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、視差調整量算出部１０４と、画像データ保管部１０５と、視差調整処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。

任意視点画像生成部１９０は、観察者の観察位置と立体表示パネルとの相対位置と、視差調整量算出部１０４で算出された視差調整量とを参照して、仮想的なカメラの視点位置を算出し、画像データ保管部１０５から取得した立体画像コンテンツに対して、このカメラ視点位置から撮影した画像データを生成する機能を有する。

ここで、まず運動視差と任意視点画像生成との関係について説明する。

運動視差とは、立体物を閲覧している観察者の観察位置が移動した際に、立体物が一定方向へ規則的に変化して視認されることを示す。観察者と立体物が近距離の場合には観察位置の移動に伴う立体物の見え方の変化が増大し、観察者と立体物が遠距離の場合には立体物の見え方の変化が減少する。これより、観察者は観察位置の移動に伴う立体物の見え方の変化から観察者と立体物との距離感を知覚する。

一般に立体画像表示装置では、観察者の左右の眼へ異なる視差の画像データを投影して両眼視差を提示する。多視点方式やインテグラル方式のような複数視点の画像を空間投影する方式では、両眼視差に加えて観察者が移動することで運動視差を認知することができる。一方で、両眼視差が無い場合、言い換えると観察者の左右の眼へ同一視差の画像データを投影する場合においても、観察者の動きに応じた画像データを表示することで運動視差を提示することも可能である。

この場合の仮想的なカメラの視点位置と視野角との関係を、図７６に示す。図７６の縦軸は立体画像コンテンツから画像データを取得する際に設定される仮想的なカメラの視点位置を表し、横軸は観察者の観察位置と立体表示パネルとの相対位置から算出された視野角を表す。縦軸のＶθ_０〜Ｖθ_６、横軸のθ_０〜θ_６については後述する。

仮想的なカメラの視点位置について概念図を図７７に示す。図７７の中心部には立体画像コンテンツ９０が存在し、その周囲に仮想的なカメラ６０，６１，６３，６５，６６が設置されている。仮想的なカメラ６０，６１，６３，６５，６６を設置した視点位置（Ｖθ_０，Ｖθ_１，Ｖθ_３，Ｖθ_５，Ｖθ_６）から立体画像コンテンツ９を撮影することで、任意視点位置における画像データ９０，９１，９３，９５，９６を取得する。この仮想的なカメラ６０，６１，６３，６５，６６の視点位置情報は、それぞれの画像データ９０，９１，９３，９５，９６の属性情報として、画像データ９０，９１，９３，９５，９６へ付加しても良い。

図７７では、立体画像コンテンツの周囲へ円状に仮想的なカメラを設置した例を示したが、仮想的なカメラは球状に設置しても良く、また立体画像コンテンツと仮想的なカメラとの距離を任意に変更しても良い。このように仮想的なカメラを設置することで、立体画像コンテンツを３次元空間上の任意視点位置から撮影した画像データが取得できる。図７７の仮想カメラの視点位置は、Ｘ軸−Ｚ軸平面上の角度Ｖθと、Ｙ軸−Ｚ軸平面上の角度Ｖφと、仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲと表記する。

観察者の観察位置と立体画像表示装置の立体表示パネルとの相対位置の概念図を、図７８に示す。図７８の立体表示パネル１０７ａの面上には、図７７の立体画像コンテンツ９を表示している。ここで相対位置は実施形態１と同様にして、Ｘ軸−Ｚ軸平面上の相対位置の角度を視野角θで表記する。また、Ｙ軸−Ｚ軸平面上の角度を視野角φ、観察者６０ａ，６１ａ，６３ａ，６５ａ，６６ａの観察位置から立体表示パネル１０７ａの中心位置までの長さを距離Ｒと表記する。

立体表示パネル１０７ａの面上に表示した立体画像コンテンツ９と立体表示パネル１０７ａとの位置関係から図７７と図７８との座標軸を一致させて、図７７の仮想カメラ６０，６１，６３，６５，６６の視点位置（Ｖθ_０，Ｖθ_１，Ｖθ_３，Ｖθ_５，Ｖθ_６）と図７８の相対位置（θ_０，θ_１，θ_３，θ_５，θ_６）との位置関係を対応付ける。図７６はこの関係性を示したものである。図７６では、相対位置の視野角θに対してＸ軸−Ｚ軸平面上の角度Ｖθの例を示しているが、相対位置の視野角φに対するＹ軸−Ｚ軸平面上の角度Ｖφ、相対位置の距離Ｒに対する仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲについても同様の関係で示すことができる。

これにより、相対位置が移動した際に、観察者は、実際の立体物の見え方の変化を再現する画像データを視認するため、運動視差を知覚する。Ｙ−Ｚ軸面上の視野角φにおける運動視差の提示方法も、Ｘ−Ｚ軸面上の視野角θと同様である。また、観察者の観察位置から立体表示パネルの中心位置までの距離Ｒの変化に伴って、仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲを変更することで（画像データに表示される立体画像コンテンツの表示倍率を変更しても良い）、相対位置の距離変化に伴う運動視差も提示できる。図７６の関係図から運動視差の提示方法を示したが、図７６の提示方法では、観察者の左右の眼に同一視差の画像データを表示しているため、両眼視差は提示できない。

以上が、運動視差と任意視点画像生成との関係の説明である。

本実施形態８は、観察者へ両眼視差と運動視差を提示する構成を示すものである。立体画像表示装置における両眼視差の提示は実施形態１と同様に視差調整処理して、観察者の左右の眼に異なる視差の画像データを表示する。左右の画像データの視差値は立体画像表示装置のデバイス特性データに従って視差許容値を算出し、その視差許容値以下となるように画像データの視差調整処理を実施する。

具体的には、実施形態１で説明し図８０に示すような、視野角に対する画像データの視差値の関係を、図７６で示した視野角に対する仮想的なカメラの視点位置の関係にマージすると、図７９に示すような両眼視差を考慮した視野角に対する仮想的なカメラ視点位置の関係が得られる。図７９の実線は観察者の左眼用画像データを撮影した際の仮想的なカメラの視点位置を表し、一点鎖線は観察者の右眼用画像データを撮影した際の仮想的なカメラの視点位置を表す。ここで、図７９に示す左眼用と右眼用の仮想的なカメラの視点位置の差（例えば７ａ，７ｂ）は、図８０に示す画像データの視差値（例えば８ａ，８ｂ）と等しくなるように調整する。

実施形態１で説明したとおり、図８０の視野角に対する画像データの視差値の関係は立体表示パネルの逆視を考慮し、逆視領域の視差値が正視領域の視差値を反転したものとなる。したがって、図７６と図８０をマージした図７９では、逆視領域における左眼用と右眼用の仮想的なカメラの視点位置が、正視領域における左眼用と右眼用の仮想的なカメラの視点位置を反転したものとなる。

図８１に、仮想的なカメラの視点位置と視野角との関係の概念図を示す。図８１の灰色のカメラは観察者６０ａ，６１ａ，６３ａ，６５ａ，６６ａの左眼用画像データを撮影した際の仮想的なカメラ６０Ｌ，６１Ｌ，６３Ｌ，６５Ｌ，６６Ｌの視点位置を表し、白色のカメラは観察者６０ａ，６１ａ，６３ａ，６５ａ，６６ａの右眼用画像データを撮影した際の仮想的なカメラ６０Ｒ，６１Ｒ，６３Ｒ，６５Ｒ，６６Ｒの視点位置を表す。ここで、逆視領域となる視野角θ_０と視野角θ_１における左眼用と右眼用との仮想的なカメラの視点位置は、正視領域となる視野角θ_５と視野角θ_６における左眼用と右眼用との仮想的なカメラの視点位置を反転したものとなる。

また、左眼用の仮想的なカメラ６０Ｌ，６１Ｌ，６３Ｌ，６５Ｌ，６６Ｌの視点位置と右眼用の仮想的なカメラ６０Ｒ，６１Ｒ，６３Ｒ，６５Ｒ，６６Ｒの視点位置との差が、画像データの視差値６０ｂ，６１ｂ，６３ｂ，６５ｂ，６６ｂとなる。このように実施形態１で算出した画像データの視差値を参照して、観察者の左右の眼に表示する画像データ間の視点位置を調整する。

図８１では、図７５に示す任意視点画像生成部１９０において、図８０に示す視野角に対する画像データの視差値の関係に基づき、立体表示パネルの逆視領域となる視野角範囲で左眼用と右眼用との仮想的なカメラの視点位置を反転しているが、これに限定されない。例えば、図８２に示すように、左眼用と右眼用との仮想的なカメラの視点位置を反転させずに画像を生成することも可能である。この場合は、図７５に示す視差調整処理部１０６において、立体表示パネルの逆視領域となる視野角範囲では、左眼用画像と右眼用画像を反転させれば良い。

両眼視差を考慮した視野角に対する仮想的なカメラ視点位置の関係を示す図７９では、各視点位置に２台の仮想的なカメラを用いた例を示している。しかし、仮想的なカメラの数はこれに限定されず３台以上の仮想的なカメラでも同様に適用できる。

仮想的なカメラの数は、立体表示パネルの視点領域の数に対応する。一般的に裸眼式の立体画像表示装置は、立体表示パネルにより立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する。この立体表示パネルによって分割された空間領域を視点領域と呼ぶ。実施形態１においては、２視点の立体表示パネルの例として、図５で説明したように右眼領域と左眼領域の、計２つの視点領域を有する。また、４視点の立体表示パネルは図２７で説明したように第１視点と第２視点と第３視点と第４視点用画像を表示する視点領域の、計４つの視点領域を有する。

図８３は、４台の仮想的なカメラを用いた場合における視野角に対する仮想的なカメラ視点位置を示す。図８３において、実線は第１視点画像用の仮想的なカメラの視点位置を示し、一点鎖線は第２視点画像用の仮想的なカメラの視点位置を示し、点線は第２視点画像用の仮想的なカメラの視点位置を示し、破線は第４視点画像用の仮想的なカメラの視点位置を示す（図８４乃至図８６も同様である。）。ここで、説明を分かりやすくするために、まず本カメラ視点位置は、第１隣接視点間の画像（例えば、第１視点と第２視点、第２視点と第３視点）のみが観察者に向けて投影され、第２隣接視点間の画像（例えば、第１視点と第３視点）や第３隣接視点間の画像（例えば、第１視点と第４視点）は観察者へ投影されないように立体表示パネル及び観察位置を設定するものとする。

図８３は、この設定により図７９の２台の仮想的なカメラの概念を４台に拡張した考え方となり、各視野角に対して４台の仮想的なカメラの中から、常に選択された２台の仮想的なカメラで撮影した画像データが観察者へ投影された状態となっている。これにより、視野角に応じて異なる２視点の画像を空間投影した両眼視差と、任意視点画像生成による運動視差とを、観察者に提示することができる。

図７５との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。任意視点画像生成部１９０は、相対位置算出部１０２で算出した相対位置と、視差調整量算出部１０４で算出された視差調整量とを参照して、立体表示パネルが観察者側へ投影するＮ視点分の各視点領域の中から前記相対位置に応じて２つの視点領域を検出し、該視点領域に相当する２視点の仮想的なカメラの視点位置を算出し、該カメラから撮影した画像データを表示する。

次に、図８３で説明した第１隣接視点間画像だけでなく、第１、第２、第３隣接視点間の画像の一部もしくは全部が観察者に向けて投影できるように立体表示パネル及び観察位置を設定した場合についての視野角に対する仮想的なカメラ視点位置を図８４に示す。各視野角に対して常に４台の仮想的なカメラが選択され、これにより、視野角に応じて異なる２以上の複数視点の画像を空間投影した両眼視差と、任意視点画像生成による運動視差とを、観察者に提示することができる。

図７５との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。任意視点画像生成部１９０は、相対位置算出部１０２で算出した相対位置と、視差調整量算出部１０４で算出された視差調整量とを参照して、立体表示パネルが観察者側へ投影するＮ視点分の各視点領域に相当するＮ視点の仮想的なカメラの視点位置を算出し、該カメラから撮影した画像データを表示する。

図８４の例では、第１視点と第２視点と第３視点と第４視点画像用の仮想的なカメラの視点位置が全て異なる例を記載したが、これに限定されるものではない。第１隣接視点間画像だけでなく、第１、第２、第３隣接視点間の画像が投影される場合においても、例えば、任意の視野角範囲に対しては第１視点と第４視点画像用の仮想的なカメラの視点位置を同一にし、第２視点と第３視点画像用の仮想的なカメラの視点位置を同一にしても良い。この例を図８５に示す。図８５は図８３と類似した仮想的なカメラの視点位置となる。

図８６は、隣接視点間の仮想的なカメラの視点位置が近接する場合における仮想的なカメラ視点位置を示す。一般的に仮想的なカメラの視点位置が近接する際には、隣接視点間の画像同士の視差値が小さくなるため、３Ｄクロストーク値が多大となる視野角範囲θ_１からθ_６においても３Ｄクロストークによる２重像の影響は少ない。したがって、３Ｄクロストーク値が大きくなる視野角範囲θ_１からθ_６においても、隣接視点間の画像同士の視差値を低減させること無いので、３Ｄクロストーク値が小さくなる視野角範囲θ_０からθ_１と同様な仮想的なカメラの視点位置にしても良い。

また、観察者と立体表示パネルとの相対位置を示す視野角を参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することで、逆視を防止しても良い。例えば、図８６の視野角θ_１３では、第１視点画像用の仮想的なカメラで撮影した画像は観察者へ投影されないため、視野角θ_１３において第１視点画像用の仮想的なカメラの視点位置を大幅に変更し、非連続的に仮想的なカメラ視点位置を移動している。このように仮想的なカメラの視点位置を非連続的に移動することで、第１視点と第２視点、第２と第３、第３と第４はもちろん、第４視点と第１視点においても、逆視の無い立体画像を表示できる。

図７５との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。任意視点画像生成部１９０は、相対位置算出部１０２で算出した相対位置と、視差調整量算出部１０４で算出された視差調整量とを参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することで、観察者への逆視画像の投影を防止する。

以上より、本実施形態８では、実施形態１と同様に観察者の観察位置と立体表示パネルとの相対位置の視野角に応じて画像データの視差値を調整し、かつ相対位置の視野角に応じて仮想的なカメラの視点位置を変更した画像データを表示することで両眼視差と運動視差を提示できる。

本実施形態８の立体画像表示装置における立体画像処理方法のフローチャートについて、図８７を参照して説明する。図８７のフローチャートにおけるステップＳ８０１〜ステップＳ８０６は実施形態１と同様の処理を実施する。

ステップＳ８０７は、任意視点画像生成部１９０を使用して、ステップ２で算出した相対位置とステップ６で算出した視差調整量とを参照して、運動視差量として立体画像コンテンツから画像データを取得した際の仮想的なカメラの視点位置を算出する。

ステップＳ８０８〜ステップＳ８１０は実施形態１のステップＳ１０７〜ステップＳ１０９と同様の処理を実施する。

図７９では、相対位置の視野角θに対してＸ軸−Ｚ軸平面上の角度Ｖθの例を示したが、相対位置の視野角φに対するＹ軸−Ｚ軸平面上の角度Ｖφについても同様である。水平視差のみの立体表示装置においても、水平垂直視差画像Ｖφを用いることで水平垂直視差の実現が容易となる。

以上より、観察者の観察位置と立体表示パネルとの相対位置に応じて、任意視点位置の画像データを表示することにより、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じた立体画像コンテンツの運動視差と両眼視差を提示する立体画像表示装置を提供できる。

前記の本実施形態８の一例では、立体画像コンテンツの周囲に仮想的なカメラを設置し、立体画像コンテンツを任意視点位置から撮影した画像データを使用する例を示したが、立体画像コンテンツの撮影環境によっては、左眼用画像の１視点と右眼用画像の１視点との計２視点の画像データしか使用できない場合もある。実施形態１の視差調整処理部１０６の機能により、計２視点の画像データを使用して、２視点間の範囲内にある視点位置から撮影した画像データは生成できるが、２視点間の範囲外にある視点位置から撮影した画像データの生成は困難となる。したがって、計２視点の画像データしか使用できない場合には、２視点間の範囲内で撮影した画像データのみを使用して運動視差を提示する必要がある。

全ての任意視点位置の画像データが使用可能な場合における仮想的なカメラの視点位置と視野角の関係を図８８に、画像データの視差値と視野角との関係を図８９に示す。図８８において、実線は左眼に表示する画像データの仮想的なカメラの視点位置を示し、一点鎖線は右眼に表示する画像データの仮想的なカメラの視点位置を示す。図８８と図８９の視野角範囲θ_０からθ_７の関係図は、図７９と図８０の関係図と同様である。図８８の視野角範囲θ_０からθ_７では、仮想的なカメラの視点位置の角度Ｖθ_０からＶθ_７の画像データを、視野角範囲θ_７からθ_１７では視点位置の角度Ｖθ_７からＶθ_１７の画像データを、視野角範囲θ_１７からθ_２７では視点位置の角度Ｖθ_１７からＶθ_２７の画像データを表示する。

次に、計２視点の画像データしか使用できない場合における仮想的なカメラの視点位置と視野角の関係を図９０に示す。図８８において、実線は左眼に表示する画像データの仮想的なカメラの視点位置を示し、一点鎖線は右眼に表示する画像データの仮想的なカメラの視点位置を示し、実線と一点鎖線とが重なった部分は右眼と左眼に表示する画像データの仮想的なカメラの視点位置を示す（図９１も同様である。）。ここで、２視点の画像データにおける仮想的なカメラの視点位置はＶθ_０とＶθ_７とする。２視点の画像データから、仮想的なカメラの視点位置範囲Ｖθ_０からＶθ_７までの画像データは生成できるので、この視点間の範囲内の画像データを使用して運動視差を提示する。

図９０の視野角範囲θ_０からθ_７と視野角範囲θ_１７からθ_２７では、仮想的なカメラの視点位置範囲Ｖθ_０からＶθ_７までの画像データを表示する。視野角範囲θ_７からθ_１７では、仮想的なカメラの視点位置をＶθ_７から視点位置Ｖθ_０へ移動する。視点位置の移動は、視野角範囲θ_７からθ_１７の中央部にある視野角範囲θ_１１からθ_１６のみで実施しても良い。当然ながら、視点位置の移動は実施形態２に記載した視差値の変化許容値以下とするため、視差値の変化許容値を超過する場合には、視点位置の移動を実施する視野角範囲を拡張しても良い。

視点位置の移動を実施する視野角範囲θ_１１からθ_１６では、相対位置の変化に対する運動視差が反対方向となるが、視野角範囲θ_０からθ_７と視野角範囲θ_１７からθ_２７では観察者へ運動視差を提示できる。以上のように、２視点間内にある任意視点画像の画像データを繰返し表示することで、計２視点の画像データしか使用できない場合においても、多くの視野角範囲において観察者へ運動視差を提示できる。

また、図９０では、視野角範囲θ_０からθ_７と視野角範囲θ_１７からθ_２７で画像データを繰返し表示する例を記載したが、繰返し表示する視野角範囲は、任意に変更しても良い。繰返し表示する視野角範囲を変更した際の仮想的なカメラの視点位置と視野角の関係を、図９１に示す。図９１では、立体表示パネル部の正視領域となる視野角範囲θ_３からθ_７と、視野角範囲θ_１３からθ_１７と、視野角範囲θ_２３からθ_２７とで、仮想的なカメラの視点位置範囲Ｖθ_０からＶθ_７の画像データを繰返し表示して運動視差を提示する。

図７５との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。任意視点画像生成部１９０は、画像データ保管部１０５に保管された左眼用画像データと右眼用画像データとを参照して、各々の画像データを撮影した際の仮想的なカメラの視点位置を検出し、その仮想的なカメラの視点位置間の範囲内で撮影される画像データを生成する。次に、相対位置算出部１０２で算出した相対位置と、視差調整量算出部１０４で算出された視差調整量とを参照して、生成した画像データを繰返し表示することで、左眼用画像データと右眼用画像データしか使用できない場合であっても観察者へ運動視差を提示する。

以上より、計２視点の画像データしか使用できない場合においても、２視点間内にある任意視点位置の画像データを繰返し表示することで、多くの視野角範囲において、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じた立体画像コンテンツの運動視差と両眼視差を提示する立体画像表示装置が提供できる。

［他の実施形態］
全ての上記実施形態における視差調整量算出部１０４では、デバイス特性データ保管部１０３に保管されたデバイス特性データを使用して、視差調整量を算出する例について記載したが、デバイス特性データが取得できない状況においても、視差調整処理が実現できるようにデバイス特性データを使用せずに視差調整量を算出しても良い。この場合、デバイス特性データを使用した場合の視差調整処理と比べて視差調整量の精度は低下するものの、３Ｄクロストーク量が小さく正視領域幅が大きい立体表示特性を有する立体表示パネルを用いることで、観察者が移動した場合であっても３Ｄクロストークによる二重像の影響を軽減する視差調整処理が実用可能なレベルで実施できる。

デバイス特性データを使用せずに視差調整量を算出する一例として、観察者自身が主観的に視差調整量を設定する例が挙げられる。観察者は、第一の設定として、立体画像表示装置の立体表示パネルから投影される立体画像を観察しながら、観察位置（観察距離Ｚと視野角θ）に応じて正視領域と３Ｄクロストーク領域と逆視領域を設定する。ここで、本設定における観察位置は、視差調整量の精度向上のために、複数の位置で実施されることが望ましい。また、設定に際しては、立体画像表示装置に具備されたキーボードやタッチパネル等の入力装置を用いることができる。

第二の設定として、３Ｄクロストーク領域の中心位置と最端位置（３Ｄクロストーク領域と正視領域との境界位置）との中間位置近傍において、観察者が立体画像コンテンツを視認できる視差許容値を設定する。視差調整量算出部１０４は、第一及び第二の設定値を用いて、観察者が視差許容値を設定した３Ｄクロストーク領域の中心位置と最端位置との中間位置近傍で視差許容値をなだらかに繋ぐことで、すべての視野角に対する視差許容値を算出する。視差許容値から視差調整量の算出方法は、実施形態１と同様に、画像データの視差最大値と視差許容値を比較して、視差調整量を算出する。

なお、上記した第一の設定のみを用いて正視領域と３Ｄクロストーク領域と逆視領域の視差許容値をなだらかに繋いて、すべての視野角に対する視差許容値を算出することも可能である。さらに、第一の設定値又は第二の設定値は、デバイス特性データ保管部１０３に保管しておくことも可能であるし、デバイス特性データ保管部１０３を無くして、視差調整量算出部１０４に記憶させることも可能である。

その他の視差調整量を算出する一例としては、立体画像コンテンツを表示する立体画像表示装置の立体表示パネル部１０７のデバイス特性データが未知な場合でも、予め立体表示パネルの画面サイズや最適視聴距離等の仕様データと関連させて、複数の立体表示パネルのデバイス特性データをデバイス特性データ保管部１０３に保管しておき、立体画像コンテンツを表示する際に、表示する立体表示パネルの仕様データと類似する仕様データと関連付けされたデバイス特性データをデバイス特性データ保管部１０３から取得して、視差調整量を算出する。

以上より、立体画像表示装置の立体表示パネル部のデバイス特性データが未知な場合であっても、視差調整量を算出し、視差調整処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

以上、上記各実施形態を参照して本発明を説明したが、本発明は上記各実施形態に限定されるものではない。本発明の構成や詳細については、当業者が理解し得るさまざまな変更を加えることができる。また、本発明には、上記各実施形態の構成の一部又は全部を相互に適宜組み合わせたものも含まれる。

上記の実施形態の一部又は全部は以下の付記のようにも記載され得るが、本発明は以下の構成に限定されるものではない。

［付記１］少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル部を備えるとともに、
前記観察者の観察位置を計測する観察者位置計測部と、
前記観察者の観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
この相対位置に応じて立体画像表示に適した視差調整量を算出する視差調整量算出部と、
この視差調整量に従って画像データの視差調整処理を実施する視差調整処理部と、
を備えた立体画像表示装置。

［付記２］前記相対位置に対する前記立体表示パネル部の表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
前記画像データを保存又は受信する画像データ保管部と、
を更に備え、
前記視差調整量算出部は、前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出する、
付記１記載の立体画像表示装置。

［付記３］前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、
付記２記載の立体画像表示装置。

［付記４］前記デバイス特性データは、３Ｄクロストーク特性データであり、
前記視差調整量は、前記３Ｄクロストーク特性データを基準にして算出されるものである、
付記２又は３記載の立体画像表示装置。

［付記５］前記３Ｄクロストーク特性データのうち、３Ｄクロストーク量が所定値を越える領域を３Ｄクロストーク領域とし、３Ｄクロストーク量が前記所定値以下の領域を非３Ｄクロストーク領域としたとき、
前記３Ｄクロストーク領域の前記視差調整量が前記非３Ｄクロストーク領域の前記視差調整量よりも小さい、
付記４記載の立体画像表示装置。

［付記６］前記３Ｄクロストーク量の所定値は１０％である、
付記５記載の立体画像表示装置。

［付記７］前記視差調整量算出部は、
立体画像の視認状況により特定された少なくとも２つ以上の３Ｄクロストーク量の閾値を使用して、前記３Ｄクロストーク領域の視野角範囲を少なくとも２つ以上の視野角範囲に分類し、
分類した視野角範囲ごとに、視野角に対する傾きが異なる視差調整量を算出する、
付記１乃至６のいずれか一つに記載の立体画像表示装置。

［付記８］前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
前記視差調整処理部は、正視領域から逆視領域に変化する３Ｄクロストーク領域にのみ前記視差調整処理を実施することを特徴とする、
付記１乃至７のいずれか一つに記載の立体画像表示装置。

［付記９］前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
前記視差調整処理部は、前記相対位置と画像データが保有する視差値に応じて、正視領域の隣接視点画像間かつ正視領域から逆視領域に変化する３Ｄクロストーク領域に、前記視差調整処理を実施することを特徴とする、
付記１乃至７のいずれか一つに記載の立体画像表示装置。

［付記１０］時間に対する立体画像の視差変化によって違和感を与えない視差変化量の上限値となる視差変化量許容値を保管する視差変化量許容値データ保管部を更に備え、
前記視差調整量算出部は、前記相対位置の時間変化に起因する視野角の変化量と前記視差変化量許容値とに基づき、視野角に対する前記視差調整量を算出する、
ことを特徴とする付記１乃至９のいずれか一つに記載の立体画像表示装置。

［付記１１］前記非３Ｄクロストーク領域内の所定の割合以上の領域を特定する視差一定領域特定部を更に備え、
前記視差調整処理部は、前記視差一定領域特定部で特定された領域において、前記視差調整処理後の画像データの視差値が一定値となるように、当該画像データが保有する視差値を全体的に低減する、
付記１乃至１０のいずれか一つに記載の立体画像表示装置。

［付記１２］前記非３Ｄクロストーク領域内の前記所定の割合は５０％である、
付記１１記載の立体画像表示装置。

［付記１３］前記相対位置と前記デバイス特性データから３Ｄクロストーク画像範囲を算出する３Ｄクロストーク画像範囲算出部を更に備え、
前記視差調整処理部は、前記画像データのうち前記３Ｄクロストーク画像範囲に対して視差調整処理を実施する、
付記２乃至１２のいずれか一つに記載の立体画像表示装置。

［付記１４］前記観察者の入力操作を検出する入力操作検出部と、
検出された前記入力操作を判定する入力操作判定部と、
検出された又は判定された前記入力操作を処理する入力操作処理部と、
を更に備え、
前記入力操作判定部は、前記入力操作によって入力された視差調整量を判定し、
前記視差調整量算出部は、判定された前記視差調整量を使用して、適切な視差調整量を算出する、
付記１乃至１３のいずれか一つに記載の立体画像表示装置。

［付記１５］前記観察者の入力操作を検出する入力操作検出部と、
検出された前記入力操作を判定する入力操作判定部と、
検出された又は判定された前記入力操作を処理する入力操作処理部と、
を更に備え、
前記入力操作処理部は、観察者の入力操作の検出結果を表示する通知画面を、前記３Ｄクロストーク画像範囲外に表示する、
付記１乃至１４のいずれか一つに記載の立体画像表示装置。

［付記１６］環境温度を計測する温度計測部を更に備え、
前記視差調整量算出部は、前記温度計測部で計測した温度に対応する前記デバイス特性データに基づき、視野角に対して立体画像表示に適した視差調整量を算出する、
付記２乃至１５のいずれか一つに記載の立体画像表示装置。

［付記１７］前記視差調整量算出部は、
前記相対位置に応じて、前記左眼に左眼用の立体画像及び前記右眼に右眼用の立体映像が投影される正視領域と、前記左眼に右眼用の立体映像及び前記右眼に左眼用の立体映像が投影される逆視領域と、前記左眼に右眼用及び左眼用の立体映像又は前記右眼に左眼用及び右眼用の立体映像が投影される３Ｄクロストーク領域とに分類し、
前記観察者が前記正視領域から前記逆視領域に移動する際の前記３Ｄクロストーク領域において、前記画像データに対して前記正視領域又は前記逆視領域よりも小さい視差を付与する
付記１乃至１６のいずれか一つに記載の立体画像表示装置。

［付記１８］前記視差調整量算出部は、
前記相対位置の変化に応じて、前記相対位置の視野角成分に対する視差量の微分係数を有限の値として前記視差調整量を算出する、
付記１至１７のいずれか一つに記載の立体画像表示装置。

［付記１９］少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、
観察者の両眼に視点の異なる画像がそれぞれ投影されることで立体画像を表示する正視領域のみが存在する立体表示パネル部を有すると共に、
前記観察者の観察位置を計測する観察者位置計測部と、
前記観察者の観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
この相対位置と画像データが保有する視差値に応じて立体画像表示に適した視差調整量を算出する視差調整量算出部と、
この視差調整量に従って前記画像データの視差調整処理を実施する視差調整処理部と、
を備えた立体画像表示装置。

［付記２０］前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、
付記１９記載の立体画像表示装置。

［付記２１］時間に対する立体画像の視差変化によって違和感を与えない視差変化量の上限値となる視差変化量許容値を保管する視差変化量許容値データ保管部を更に備え、
前記視差調整量算出部は、前記相対位置の時間変化に起因する視野角の変化量と前記視差変化量許容値とに基づき、視野角に対する前記視差調整量を算出する、
ことを特徴とする付記１９又は２０記載の立体画像表示装置。

［付記２２］前記観察者の入力操作を検出する入力操作検出部と、
検出された前記入力操作を判定する入力操作判定部と、
検出された又は判定された前記入力操作を処理する入力操作処理部と、
を更に備え、
前記入力操作判定部は、前記入力操作によって入力された視差調整量を判定し、
前記視差調整量算出部は、判定された前記視差調整量を使用して、適切な視差調整量を算出する、
付記１９乃至２１のいずれか一つに記載の立体画像表示装置。

［付記２３］環境温度を計測する温度計測部を更に備え、
前記視差調整量算出部は、前記温度計測部で計測した温度に対応し、視野角に対して立体画像表示に適した視差調整量を算出する、
付記１９乃至２２のいずれか一つに記載の立体画像表示装置。

［付記２４］前記視差調整量算出部は、
前記相対位置の変化に応じて、前記相対位置の視野角成分に対する視差量の微分係数を有限の値として前記視差調整量を算出する、
付記１９乃至２３のいずれか一つに記載の立体画像表示装置。

[付記２５]前記観察者と前記立体表示パネルとの位置関係と前記位置関係の時間変化とを含む観察状況に応じて視差調整モードを切替え、前記画像データの視差調整処理を変更する視差調整モード切替部を更に備えた、
付記１乃至１８のいずれか一つに記載の立体画像表示装置。

[付記２６]前記視差調整モード切替部は、視差調整モードの切替時に視差値の時間変化量を制限する機能を有する、
付記２５記載の立体画像表示装置。

[付記２７]前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、２台以上の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する任意視点画像生成部を更に備えた、
付記１乃至１８、２５、２６のいずれか一つに記載の立体画像表示装置。

[付記２８]前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記立体表示パネルが前記観察者側へ投影するＮ視点分の各視点領域の中から前記相対位置に応じて２つの視点領域を検出し、該視点領域に相当する２視点の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する、
付記２７記載の立体画像表示装置。

[付記２９]前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記立体表示パネルが前記観察者側へ投影するＮ視点分の各視点領域に相当するＮ視点の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する、
付記２７記載の立体画像表示装置。

[付記３０]前記Ｎ視点の仮想的なカメラの視点位置が全て異なる視点位置である、
付記２９記載の立体画像表示装置。

[付記３１]前記Ｎ視点の仮想的なカメラの視点位置が任意の視野角範囲で同一の視点位置となる、
付記２９記載の立体画像表示装置。

[付記３２]前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記Ｎ視点の仮想的なカメラの中から前記観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動する、
付記２７記載の立体画像表示装置。

[付記３３]前記任意視点画像生成部は、
前記画像データ保管部に保管された複数の画像データから視点位置を参照し、視点位置間内にある任意視点位置を特定し、
前記相対位置算出部で算出した相対位置に応じて、視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する、
付記２７記載の立体画像表示装置。

[付記３４]前記画像データ保管部に保管された画像データが右眼用画像データと左眼用画像データとの計２視点の画像データであり、
前記任意視点画像生成部は、
前記右眼用画像データと前記左眼用画像データとから計２つの視点位置を参照し、２視点位置間内にある任意視点位置を特定し、
前記相対位置算出部で算出した相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する
付記３３記載の立体画像表示装置。

[付記３５]前記任意視点画像生成部は、前記立体表示パネル部の正視領域において、前記相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する、
付記３４記載の立体画像表示装置。

［付記３６］少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネルへ画像データを出力する画像処理装置において、
計測された前記観察者の観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
この相対位置に応じて立体画像表示に適した視差調整量を算出する視差調整量算出部と、
この視差調整量に従って画像データの視差調整処理を実施する視差調整処理部と、
を備えた画像処理装置。

［付記３７］前記観察者の観察位置を計測する観察者位置計測部と、
前記視差調整処理を実施する前の前記画像データを受信する画像データ受信部と、
前記視差調整処理された前記画像データを出力する画像データ送信部と、
を更に備えた付記３６記載の画像処理装置。

［付記３８］前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部を更に備え、
前記視差調整量算出部は、前記相対位置に応じて立体画像表示に適した前記視差調整量を前記デバイス特性データから算出する、
付記３６又は３７記載の画像処理装置。

［付記３９］少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル、
を用いた立体画像処理方法において、
前記観察者の観察位置を計測し、
この観察者の観察位置に対する前記立体表示パネルの相対位置を算出し、
この相対位置に応じて立体画像表示に適した視差調整量を算出し、
この視差調整量に従って画像データの視差調整処理を実施し、
前記視差調整処理をされた前記画像データを前記立体表示パネルへ出力する、
ことを特徴とする立体画像処理方法。

［付記４０］少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル、
を用いた立体画像処理方法において、
前記観察者の観察位置を計測し、
この観察者の観察位置に対する前記立体表示パネルの相対位置を算出し、
この相対位置に応じて立体画像表示に適した視差調整量を算出し、
この視差調整量に従って画像データの視差調整処理を実施し、
前記視差調整処理をされた前記画像データを前記立体表示パネルへ出力する、
ことを特徴とする立体画像処理方法。

［付記４１］前記相対位置と前記デバイス特性データとから３Ｄクロストーク画像範囲を算出し、
前記視差調整量に従って前記画像データの視差調整処理をする際に、前記視差調整量に従って前記画像データのうち前記３Ｄクロストーク画像範囲に対して前記視差調整処理をする、
付記４０記載の立体画像処理方法。

本発明は、立体画像表示装置に立体画像コンテンツを表示する機能を有する立体画像処理システムへも適用される。なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 観察者
１１〜１８ 立体画像表示装置
１０１ 観察者位置計測部
１０１ａ カメラ
１０２ 相対位置算出部
１０３ デバイス特性データ保管部
１０４ 視差調整量算出部
１０５ 画像データ保管部
１０６ 視差調整処理部
１０７ 立体表示パネル部
１０７ａ 立体表示パネル
１０８ 視差変化量許容値データ保管部
１０９ 視差一定領域特定データ保管部（視差一定領域特定部）
１１０ ３Ｄクロストーク画像範囲算出部
１１１ 入力操作検出部
１１２ 入力操作判定部
１１３ 入力操作処理部
１１４ 温度計測部
１５１〜１５８ 画像処理部
１５０ 計算機器
３０ 観察面
４１ 空白部分
８０，８１ 領域
１６０ 画像処理装置
１６１ 画像データ受信部
１６２ 画像データ送信部
１６３ 画像入出力ケーブル
７０Ｒ 右眼領域
７０Ｌ 左眼領域
７２Ｌ 左眼領域
７０Ｖ_１ 視点１の領域
７０Ｖ_２ 視点２の領域
７０Ｖ_３ 視点３の領域
７０Ｖ_４ 視点４の領域
７０Ｖ_５ 視点５の領域
７０Ｖ_６ 視点６の領域
７０Ｖ_７ 視点７の領域
７０Ｖ_８ 視点８の領域
７２Ｖ_１ 視点１の領域
７１Ｖ_８ 視点８の領域
７１Ｖ_４ 視点４の領域
５５Ｌ 左眼
５５Ｒ 右眼
Ｐ 画素の幅
Ｐ' 投影面での画素の幅
ｅ 両眼の間隔
ＯＤ 最適観察距離
ＦＤ 遠隔観察距離
ＮＤ 近接観察距離
ｈ スリット（又はシリンドリカルレンズ）と画素との距離
Ｓ スリット幅
Ｌ シリンドリカルレンズ幅
４Ｒ 右眼用画素
４Ｌ 左眼用画素
４Ｖ_１ 視点１用画素
４Ｖ_２ 視点２用画素
４Ｖ_３ 視点３用画素
４Ｖ_４ 視点４用画素
４Ｖ_５ 視点５用画素
４Ｖ_６ 視点６用画素
４Ｖ_７ 視点７用画素
４Ｖ_８ 視点８用画素
６ パララックスバリア
６ａ スリット
２ 表示パネル
３ レンチキュラレンズ
３ａ，３ｂ シリンドリカルレンズ
２０，２１ 光線
ＷＰ 立体表示パネルの中心画素の位置から両端画素の位置までの幅
６０，６１，６３，６５，６６ 仮想的なカメラ
６０Ｌ，６１Ｌ，６３Ｌ，６５Ｌ，６６Ｌ 左眼用の仮想的なカメラ
６０Ｒ，６１Ｒ，６３Ｒ，６５Ｒ，６６Ｒ 右眼用の仮想的なカメラ
６０ａ，６１ａ，６３ａ，６５ａ，６６ａ 観察者
６０ｂ，６１ｂ，６３ｂ，６５ｂ，６６ｂ 画像データの視差値
７ａ，７ｂ 左眼用と右眼用の仮想的なカメラの視点位置の差
８ａ，８ｂ 画像データの視差値
９ 立体画像コンテンツ
９０，９１，９３，９５，９６ 画像データ

Claims (31)

1. 少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
   観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
   前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
   前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
   が存在する立体表示パネル部を備えるとともに、
   前記観察者の観察位置を計測する観察者位置計測部と、
   この観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
   この相対位置に対する前記立体表示パネル部の表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
   画像データを保存又は受信する画像データ保管部と、
   前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出する視差調整量算出部と、
   この視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施する視差調整処理部と、
   を備えた立体画像表示装置。
2. 前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、
   請求項１記載の立体画像表示装置。
3. 前記デバイス特性データは、３Ｄクロストーク特性データであり、
   前記視差調整量は、前記３Ｄクロストーク特性データを基準にして算出されるものである、
   請求項２記載の立体画像表示装置
4. 前記３Ｄクロストーク特性データのうち、３Ｄクロストーク量が所定値を越える領域を３Ｄクロストーク領域とし、３Ｄクロストーク量が前記所定値以下の領域を非３Ｄクロストーク領域としたとき、
   前記画像データのうち前記３Ｄクロストーク領域に対応する範囲の前記視差調整量が前記非３Ｄクロストーク領域に対応する範囲の前記視差調整量よりも小さい、
   請求項３記載の立体画像表示装置。
5. 前記３Ｄクロストーク量の所定値は１０％である、
   請求項４記載の立体画像表示装置。
6. 前記視差調整量算出部は、
   立体画像の視認状況により特定された少なくとも２つ以上の３Ｄクロストーク量の閾値を使用して、前記３Ｄクロストーク領域の視野角範囲を少なくとも２つ以上の視野角範囲に分類し、
   分類した視野角範囲ごとに、視野角に対する傾きが異なる視差調整量を算出する、
   請求項１乃至５のいずれか一つに記載の立体画像表示装置。
7. 前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
   前記視差調整処理部は、前記画像データのうち正視領域から逆視領域に変化する３Ｄクロストーク領域に対応する範囲にのみ前記視差調整処理を実施することを特徴とする、
   請求項１乃至６のいずれか一つに記載の立体画像表示装置。
8. 前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
   前記視差調整処理部は、前記相対位置と画像データが保有する視差値に応じて、正視領域の隣接視点画像間かつ正視領域から逆視領域に変化する３Ｄクロストーク領域に、前記視差調整処理を実施することを特徴とする、
   請求項１乃至６のいずれか一つに記載の立体画像表示装置。
9. 時間に対する立体画像の視差変化によって違和感を与えない視差変化量の上限値となる視差変化量許容値を保管する視差変化量許容値データ保管部を更に備え、
   前記視差調整量算出部は、前記相対位置の時間変化に起因する視野角の変化量と前記視差変化量許容値とに基づき、視野角に対する前記視差調整量を算出する、
   ことを特徴とする請求項１乃至８のいずれか一つに記載の立体画像表示装置。
10. 前記非３Ｄクロストーク領域内の所定の割合以上の領域を特定する視差一定領域特定部を更に備え、
    前記視差調整処理部は、前記画像データのうち前記視差一定領域特定部で特定された領域に対応する範囲において、前記視差調整処理後の当該画像データの視差値が一定値となるように、当該画像データが保有する視差値を全体的に低減する、
    請求項４又は５記載の立体画像表示装置。
11. 前記非３Ｄクロストーク領域内の前記所定の割合は５０％である、
    請求項１０記載の立体画像表示装置。
12. 前記相対位置と前記デバイス特性データから３Ｄクロストーク画像範囲を算出する３Ｄクロストーク画像範囲算出部を更に備え、
    前記視差調整処理部は、前記画像データのうち前記３Ｄクロストーク画像範囲に対して視差調整処理を実施する、
    請求項１乃至１１のいずれか一つに記載の立体画像表示装置。
13. 前記観察者の入力操作を検出する入力操作検出部と、
    検出された前記入力操作を判定する入力操作判定部と、
    検出された又は判定された前記入力操作を処理する入力操作処理部と、
    を更に備え、
    前記入力操作判定部は、前記入力操作によって入力された視差調整量を判定し、
    前記視差調整量算出部は、判定された前記視差調整量を使用して、適切な視差調整量を算出する、
    請求項１乃至１２のいずれか一つに記載の立体画像表示装置。
14. 前記観察者の入力操作を検出する入力操作検出部と、
    検出された前記入力操作を判定する入力操作判定部と、
    検出された又は判定された前記入力操作を処理する入力操作処理部と、
    を更に備え、
    前記入力操作処理部は、観察者の入力操作の検出結果を表示する通知画面を、前記３Ｄクロストーク画像範囲外に表示する、
    請求項１２記載の立体画像表示装置。
15. 環境温度を計測する温度計測部を更に備え、
    前記視差調整量算出部は、前記温度計測部で計測した温度に対応する前記デバイス特性データに基づき、視野角に対して立体画像表示に適した視差調整量を算出する、
    請求項１乃至１４のいずれか一つに記載の立体画像表示装置。
16. 前記視差調整量算出部は、
    前記相対位置に応じて、前記左眼に左眼用の立体画像及び前記右眼に右眼用の立体映像が投影される正視領域と、前記左眼に右眼用の立体映像及び前記右眼に左眼用の立体映像が投影される逆視領域と、前記左眼に右眼用及び左眼用の立体映像又は前記右眼に左眼用及び右眼用の立体映像が投影される３Ｄクロストーク領域とに分類し、
    前記観察者が前記正視領域から前記逆視領域に移動する際の前記３Ｄクロストーク領域において、前記画像データに対して前記正視領域又は前記逆視領域よりも小さい視差を付与する
    請求項１乃至１５のいずれか一つに記載の立体画像表示装置。
17. 前記視差調整量算出部は、
    前記相対位置の変化に応じて、前記相対位置の視野角成分に対する視差量の微分係数を有限の値として前記視差調整量を算出する、
    請求項１乃至１６のいずれか一つに記載の立体画像表示装置。
18. 前記観察者と前記立体表示パネルとの位置関係と前記位置関係の時間変化とを含む観察状況に応じて視差調整モードを切替え、前記画像データの視差調整処理を変更する視差調整モード切替部を更に備えた、
    請求項１乃至１７のいずれか一つに記載の立体画像表示装置。
19. 前記視差調整モード切替部は、視差調整モードの切替時に視差値の時間変化量を制限する機能を有する、
    請求項１８記載の立体画像表示装置。
20. 前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、２台以上の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する任意視点画像生成部を更に備えた、
    請求項１乃至１７、１８、１９のいずれか一つに記載の立体画像表示装置。
21. 前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
    前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記立体表示パネルが前記観察者側へ投影するＮ視点分の各視点領域の中から前記相対位置に応じて２つの視点領域を検出し、該視点領域に相当する２視点の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する、
    請求項２０記載の立体画像表示装置。
22. 前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
    前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記立体表示パネルが前記観察者側へ投影するＮ視点分の各視点領域に相当するＮ視点の仮想的なカメラの視点位置を算出し、該カメラで撮影した画像データを表示する、
    請求項２０記載の立体画像表示装置。
23. 前記Ｎ視点の仮想的なカメラの視点位置が全て異なる視点位置である、
    請求項２２記載の立体画像表示装置。
24. 前記Ｎ視点の仮想的なカメラの視点位置が任意の視野角範囲で同一の視点位置となる、
    請求項２２記載の立体画像表示装置。
25. 前記立体画像表示装置がＮ視点（Ｎは３以上）であり、
    前記任意視点画像生成部は、前記相対位置算出部で算出された相対位置と、前記視差調整量算出部で算出された視差調整量とを参照して、前記Ｎ視点の仮想的なカメラの中から前記観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動する、
    請求項２０記載の立体画像表示装置。
    
    
26. 前記任意視点画像生成部は、
    前記画像データ保管部に保管された複数の画像データから視点位置を参照し、視点位置間内にある任意視点位置を特定し、
    前記相対位置算出部で算出した相対位置に応じて、視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する、
    請求項２０記載の立体画像表示装置。
27. 前記画像データ保管部に保管された画像データが右眼用画像データと左眼用画像データとの計２視点の画像データであり、
    前記任意視点画像生成部は、
    前記右眼用画像データと前記左眼用画像データとから計２つの視点位置を参照し、２視点位置間内にある任意視点位置を特定し、
    前記相対位置算出部で算出した相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する
    請求項２６記載の立体画像表示装置。
28. 前記任意視点画像生成部は、前記立体表示パネル部の正視領域において、前記相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示する、
    請求項２７記載の立体画像表示装置。
29. 少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネルへ画像データを出力する画像処理装置において、
    前記観察者の観察位置を計測する観察者位置計測部と、
    この観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
    前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
    画像データを受信する画像データ受信部と、
    前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出する視差調整量算出部と、
    この視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施する視差調整処理部と、
    前記視差調整処理された前記画像データを出力する画像データ送信部と、
    を備えた画像処理装置。
30. 少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネル、
    を用いた立体画像処理方法において、
    前記観察者の観察位置を計測し、
    この観察位置に対する前記立体表示パネルの相対位置を算出し、
    前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
    前記相対位置に応じて立体画像表示に適した視差調整量を前記デバイス特性データから算出し、
    画像データを取得し、
    前記視差調整量に従って前記画像データのうち少なくとも前記３Ｄクロストーク領域に対応する範囲に対して視差調整処理を実施し、
    前記視差調整処理をされた前記画像データを前記立体表示パネルへ出力する、
    ことを特徴とする立体画像処理方法。
31. 少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間で前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネル、
    を用いた立体画像表示方法において、
    観察者の観察位置を計測し、
    前記観察者の観察位置と前記立体表示パネルの位置との相対位置を算出し、
    前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
    前記デバイス特性データから前記相対位置に対して立体画像表示に適した視差調整量を算出し、
    前記相対位置と前記デバイス特性データとから３Ｄクロストーク画像範囲を算出し、
    画像データを取得し、
    前記視差調整量に従って前記画像データのうち前記３Ｄクロストーク画像範囲に対して視差調整処理をし、
    前記視差調整処理をされた前記画像データを前記立体表示パネルへ出力する、
    ことを特徴とする立体画像処理方法。

Images