JP5673008B2 - 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法 - Google Patents

Description

本発明は、例えばパララックスバリア方式による立体画像表示を行うための画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法に関する。

立体表示を行う技術は、観察者が眼鏡を用いるものと、観察者が眼鏡を用いずに裸眼での立体視が可能なものとに分けることができる。後者の表示方法を裸眼立体表示方法と呼ぶ。裸眼立体表示方法の代表的なものとしては、パララックスバリア方式とレンチキュラレンズ方式とがある。パララックスバリア方式やンチキュラ方式の場合、２次元表示パネルに立体視用の視差画像（２視点の場合には右眼用画像と左眼用画像）を空間分割して表示し、その視差画像を視差分離手段によって水平方向に視差分離することで立体視が行われる。パララックスバリア方式の場合、視差分離手段としてスリット状の開口が設けられたパララックスバリアを用いる。レンチキュラ方式の場合、視差分離手段として、シリンドリカル状の分割レンズを複数並列配置したレンチキュラレンズが用いられる。

図３１および図３２は、パララックスバリア方式による立体画像表示装置の一般的な構成例を示している。この立体画像表示装置は、２次元表示パネル１０２の前面に、パララックスバリア１０１を対向配置したものである。パララックスバリア１０１の一般的な構造は、２次元表示パネル１０２からの表示画像光を遮蔽する遮蔽部１１１と、表示画像光を透過するストライプ状の開口部（スリット部）１１２とを水平方向に交互に設けたものである。

２次元表示パネル１０２には、３次元画像データに基づく画像を表示する。例えば、互いに視差情報が異なる複数の視差画像を３次元画像データとして用意し、各視差画像から、例えば垂直方向に延在する複数のストライプ状の分割画像を切り出す。そして、その分割画像を、各視差画像ごとに水平方向に交互に配列することにより１画面内にストライプ状の複数の視差画像が含まれる合成画像を生成し、その合成画像を２次元表示パネル１０２に表示する。パララックスバリア方式の場合、２次元表示パネル１０２に表示された合成画像がパララックスバリア１０１を介して観察される。表示する分割画像の幅やパララックスバリア１０１におけるスリット幅などを適切に設定することで、所定の位置、方向から観察者が立体画像表示装置を見た場合に、スリット部１１２を介して観察者の左右の眼１０Ｌ，１０Ｒに異なる視差画像の光を別々に入射させることができる。このようにして、所定の位置および方向から観察者が立体画像表示装置を見た場合に、立体像が知覚される。立体視を実現するためには、左眼１０Ｌと右眼１０Ｒとに異なる視差画像を見せる必要があるため、少なくとも右眼用画像と左眼用画像との２つの視差画像が必要となる。３つ以上の視差画像を用いた場合には、多眼視を実現できる。視差画像の数が多いほど、観察者の視点位置の変化に応じた立体視を実現することができる。すなわち、運動視差が得られる。

図３３は、複数の視差画像から合成画像が生成されるまでの過程を模式的に示している。図３３では、第１ないし第４の４つの視差画像を用いた例を示している。図３３の上段に示したような第１ないし第４の視差画像から、図３３の中段に示したように、それぞれストライプ状の分割画像を切り出す。それら分割画像を、各視差画像ごとに水平方向に交互に配列することで、図３３の下段に示したような合成画像を生成する。結果的に、合成画像は、第１ないし第４の視差画像からそれぞれ切り出されたストライプ状の分割画像が、第１、第２、第３および第４の視差画像の順に水平方向に交互に循環的に配列された合成画像となる。

図３２では、図３３に示した合成画像を２次元表示パネル１０２に表示することで、多眼式の立体表示をしている状態を示している。２次元表示パネル１０２に表示された合成画像を、パララックスバリア１０１を介して観察することで、ある特定の視点位置から見たときに、左眼１０Ｌと右眼１０Ｒとに、ある特定の視差画像のみが見える状況となることで立体像が知覚される。図３２では、左眼１０Ｌには第３の視差画像からの光Ｌ３のみが認識され、右眼１０Ｒには第２の視差画像からの光Ｌ２のみが認識される状況となることで、第３の視差画像と第２の視差画像とに基づく立体像が知覚されている。

図３４および図３５は、レンチキュラ方式による立体画像表示装置の一般的な構成例を示している。この立体画像表示装置は、図３１および図３２に示したパララックスバリア方式による立体画像表示装置に対して、視差分離手段として、パララックスバリア１０１に代えてレンチキュラレンズ１０１Ａを２次元表示パネル１０２の表示面側に対向配置したものである。

レンチキュラレンズ１０１Ａは、例えば垂直方向に延在し、水平方向にのみ屈折力を持つシリンドリカルレンズ（分割レンズ）１１３を、水平方向に多数並列配置したものである。シリンドリカルレンズ１１３のレンズピッチは、表示する視差数に応じて適切に設定されている。例えば４視差での多眼視を行う場合、１つのシリンドリカレンズ１１３に対して視差の異なる４つの分割画像が対応するように設定されている。このように設定することで、２次元表示パネル１０２からの表示画像光を、各視差画像ごとに異なる方向に偏向して出射させる。

図３５では、この立体画像表示装置において、図３３に示した合成画像を２次元表示パネル１０２に表示することで、多眼式の立体表示をしている状態を示している。２次元表示パネル１０２に表示された合成画像を、レンチキュラレンズ１０１Ａを介して観察することで、ある特定の視点位置から見たときに、左眼１０Ｌと右眼１０Ｒとに、ある特定の視差画像のみが見える状況となることで立体像が知覚される。図３５では、左眼１０Ｌには第３の視差画像からの光Ｌ３のみが認識され、右眼１０Ｒには第２の視差画像からの光Ｌ２のみが認識される状況となることで、第３の視差画像と第２の視差画像とに基づく立体像が知覚されている。

特開２００４−１７９８０６号公報 特開平０８−１０１３５９号公報

上記したようなパララックスバリア方式やレンチキュラ方式等の立体画像表示装置においては、観察者の左右の眼に、別々の視差画像からの光を入射させることで、立体視を実現している。このため、良好な立体視を実現するためには、表示パネルの各画素とパララックスバリアのスリット部等との相対位置を設計値に正確に合わせる必要があり、何らかの要因でその位置にずれが生じると、立体視の品質に劣化が発生する問題がある。

特許文献１には、ＣＲＴ（陰極線管）とパララックスバリアとを組み合わせた立体画像表示装置において、パララックスバリアの位置ずれを、ＣＲＴの走査位置等の調整を行うことで補正している。この特許文献１に記載の技術では、ＣＲＴの走査位置の開始位置や走査線の幅の調整を行うことで、パララックスバリアの位置ずれの補正を行っているが、画素単位で位置ずれが発生するような場合には対応できない。

本発明はかかる問題点に鑑みてなされたもので、その目的は、視差ずれを抑えた良好な立体画像表示を行うことができるようにした画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法を提供することにある。

本発明による画像処理装置は、複数の視差画像を合成した視差合成画像を表示する表示部と視差合成画像に含まれる複数の視差画像を分離する視差分離手段とを含む立体画像表示装置に表示される視差合成画像の補正処理を行う視差ずれ補正部を備え、視差ずれ補正部が、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、視差ずれの値が１画素未満の値を含む場合に、他の視差画像の画素値と特定の視差画像の画素値とを合成する補正処理を行い、視差ずれの値が１画素の整数倍に相当する場合には、視差ずれの値に応じて他の視差画像と特定の視差画像とを表示する画素位置の移動を行うものである。

本発明による立体画像表示装置は、複数の視差画像を合成した視差合成画像を表示する表示部と、視差合成画像に含まれる複数の視差画像を分離する視差分離部と、視差合成画像の補正処理を行う視差ずれ補正部とを備え、視差ずれ補正部が、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、視差ずれの値が１画素未満の値を含む場合に、他の視差画像の画素値と特定の視差画像の画素値とを合成する補正処理を行い、視差ずれの値が１画素の整数倍に相当する場合には、視差ずれの値に応じて他の視差画像と特定の視差画像とを表示する画素位置の移動を行うものである。

本発明による立体画像表示システムは、複数の視差画像を合成した視差合成画像を表示する表示部と視差合成画像に含まれる複数の視差画像を分離する視差分離手段とを含む立体画像表示装置と、立体画像表示装置に表示される視差合成画像の補正処理を行う視差ずれ補正部とを備え、視差ずれ補正部が、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、視差ずれの値が１画素未満の値を含む場合に、他の視差画像の画素値と特定の視差画像の画素値とを合成する補正処理を行い、視差ずれの値が１画素の整数倍に相当する場合には、視差ずれの値に応じて他の視差画像と特定の視差画像とを表示する画素位置の移動を行うものである。

本発明の画像処理装置、立体画像表示装置または立体画像表示システムでは、視差ずれ補正部によって視差合成画像が補正される。

視差ずれ補正部は、例えば、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、特定の視点位置から観察される他の視差画像の割合を減少させるように、複数の視差画像のそれぞれを表示する画素位置の移動を行う。

より具体的には、視差ずれ補正部は例えば、視差ずれの値が１画素の整数倍に相当する場合には、視差ずれの値に応じて他の視差画像と特定の視差画像とを表示する画素位置の移動を行い、視差ずれの値が１画素未満の値を含む場合には、視差ずれの値に応じて他の視差画像の画素値と特定の視差画像の画素値とを合成する補正を行う。

本発明による立体画像表示装置の視差ずれ検出方法は、サブピクセル単位で複数の画素が２次元的に配列され、複数の視差画像を合成した視差合成画像を表示する表示部と、視差合成画像に含まれる複数の視差画像を分離する視差分離手段とを含む立体画像表示装置における視差ずれの検出方法であって、特定の視点位置に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、特定の視点位置から立体画像表示装置を撮影するステップと、撮影された特定の計測用パターン画像を解析することで視差ずれを検出するステップとを含むものである。

本発明による立体画像表示装置の製造方法は、サブピクセル単位で複数の画素が２次元的に配列され、複数の視差画像を合成した視差合成画像を表示する表示部と、視差合成画像に含まれる複数の視差画像を分離する視差分離手段と、視差ずれに関する視差ずれデータを記憶する記憶部と、視差ずれデータに基づいて視差合成画像を補正する視差ずれ補正部とを含む立体画像表示装置の製造方法であって、特定の視点位置に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、特定の視点位置から立体画像表示装置を撮影する撮影工程と、撮影された特定の計測用パターン画像を解析することで視差ずれを検出する工程と、検出された視差ずれに関する視差ずれデータを記憶部に記憶させる記憶工程とを有するものである。

本発明の画像処理装置、立体画像表示装置または立体画像表示システムによれば、視差合成画像を補正するようにしたので、画面全体に亘って視差ずれを抑えた良好な立体画像表示を行うことができる。

本発明の立体画像表示装置の視差ずれ検出方法または立体画像表示装置の製造方法によれば、特定の視点位置に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、特定の視点位置から立体画像表示装置を撮影し、その撮影された特定の計測用パターン画像を解析することで視差ずれを検出するようにしたので、視差ずれに関する視差ずれデータをサブピクセルごとに求めることができる。これに基づいて、画面全体に亘って視差ずれを抑えた良好な立体画像表示を行うことができる。

本発明の第１の実施の形態に係る立体画像表示システムの一構成例を示すブロック図である。 表示パネルの画素配列の一例を示す平面図である。 図１に示した立体画像表示システムにおいて、視差ずれ検出時のカメラによる撮影についての説明図である。 （Ａ）は図１に示した立体画像表示システムにおける視差ずれ検出処理を示す流れ図である。（Ｂ）は図１に示した立体画像表示システムにおける視差ずれデータを用いた立体画像表示の処理を示す流れ図である。 視差ずれ検出処理の概要を示す説明図である。 視差ずれ計測用の計測用パターン画像の一例を示す説明図である。 パララックスバリアのバリアパターンの一例を示す平面図である。 図６に示した計測用パターン画像と図７に示したパララックスバリアとの組み合わせを模式的に示す説明図である。 図６に示した計測用パターン画像を図７に示したパララックスバリアを介して観察した状態の一例を模式的に示す説明図である。 パララックスバリアに位置ずれがある場合のバリアパターンの一例を示す説明図である。 図６に示した計測用パターン画像と図１０に示したパララックスバリアとの組み合わせを模式的に示す説明図である。 図６に示した計測用パターン画像を図１０に示したパララックスバリアを介して観察した状態の一例を模式的に示す説明図である。 データの間引きについての説明図である。 視点数が５つである場合のパララックスバリアのバリアパターンの一例を示す平面図である。 ５視点での立体表示を行う場合において、図６に示した計測用パターン画像を図１４のパララックスバリアを介して第２視点位置から観察した状態の一例を模式的に示す断面図である。 ５視点での立体表示を行う場合において、図６に示した計測用パターン画像を図１４のパララックスバリアを介して第２視点位置から観察した状態の一例を模式的に示す平面図である。 視点数が５つである場合に適した計測用パターン画像の一例を示す説明図である。 図１７に示した計測用パターン画像を図１４のパララックスバリアを介して第３視点位置から観察した状態の一例を模式的に示す説明図である。 視点数が５つである場合の各サブピクセルと各視点位置との対応関係を示す説明図である。 視差ずれが少ない状態において、時分割で視点ごとの計測用パターン画像を表示した場合に第２視点位置で観測される輝度分布の一例を示す説明図である。 視差ずれが大きい状態において、時分割で視点ごとの計測用パターン画像を表示した場合に第２視点位置で観測される輝度分布の一例を示す説明図である。 視差合成画像の補正についての説明図である。 （Ａ）は視差ずれが無い状態を示す説明図であり、（Ｂ）は視差ずれがある状態を示す説明図である。 視差ずれ量の算出方法の一例を示す説明図である。 視差ずれがない状態におけるサブピクセルとスリット部との関係を示す説明図である。 （Ａ）は図２５に対して１サブピクセルに相当する視差ずれがある状態を模式的に示す説明図である。（Ｂ）は図２６（Ａ）の視差ずれに対応した画像補正の手法の一例を示す説明図である。（Ｃ）は図２６（Ａ）に対して画像補正を行った後の状態を示す説明図である。 （Ａ）は図２５に対してサブピクセルの整数倍でない視差ずれがある状態を模式的に示す説明図である。（Ｂ）は図２７（Ａ）の視差ずれに対応した画像補正の手法の一例を示す説明図である。（Ｃ）は図２７（Ａ）に対して画像補正を行った後の状態を示す説明図である。 本発明の第４の実施の形態に係る立体画像表示システムの一構成例を示すブロック図である。 パララックスバリアのバリアパターンの第１の変形例を示す説明図である。 パララックスバリアのバリアパターンの第２の変形例を示す説明図である。 一般的なパララックスバリア方式による立体表示の概念を示す説明図である。 一般的なパララックスバリア方式による立体表示の概念を示す説明図である。 視差画像の合成についての説明図である。 一般的なレンチキュラ方式による立体表示の概念を示す説明図である。 一般的なレンチキュラ方式による立体表示の概念を示す説明図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
［立体画像表示システムの構成］
図１は、本発明の第１の実施の形態に係る立体画像表示システムの一構成例を示している。この立体画像表示システムは、カメラ４と、視差ずれ解析装置５と、立体画像表示装置１０とを備えている。視差ずれ解析装置５は、計測用画像出力部５１と、視差ずれ検出部５２と、データ圧縮部５３とを有している。立体画像表示装置１０は、パララックスバリア１および表示パネル２と、画像処理部３とを有している。画像処理部３は、データ保存メモリ３１と、データ解凍部３２と、視差ずれ補正部３３とを有している。パララックスバリア１は、例えば図３および図７に示したように、遮蔽部１１と、スリット部１２とを有している。

パララックスバリア１は、本発明における「視差分離手段」の一具体例に対応している。表示パネル２は、本発明における「表示部」の一具体例に対応している。データ保存メモリ３１は、本発明における「記憶部」の一具体例に対応している。視差ずれ補正部３３は、本発明における「視差ずれ補正部」の一具体例に対応している。カメラ４と視差ずれ解析装置５は、本発明における「視差ずれ解析手段」の一具体例に対応している。カメラ４は、本発明における「撮影手段」の一具体例に対応している。

表示パネル２は、液晶表示パネル、エレクトリックルミナンス方式の表示パネル、またはプラズマディスプレイ等の２次元表示ディスプレイで構成されている。表示パネル２の表示画面には、複数の画素が２次元的に配列されている。表示パネル２の表示画面には、例えば図２に示したように、複数の画素として、複数色のサブピクセルが周期的に２次元的に配列されている。図２では、水平方向にＲ（赤色）のサブピクセルと、Ｇ（緑色）のサブピクセルと、Ｂ（青色）のサブピクセルとが交互に配列され、垂直方向には同一色のサブピクセルが配列された例を示している。表示パネル２には、複数の視差画像を合成した視差合成画像が表示されるようになっている。

パララックスバリア１は、表示パネル２に表示された視差合成画像に含まれる複数の視差画像を立体視が可能となるように分離するものであり、立体視を可能にするように表示パネル２に対して所定の位置関係で対向配置されている。パララックスバリア１は、例えば図３および図７に示したように、光を遮蔽する遮蔽部１１と、光を透過し、表示パネル２の画素に対して立体視が可能となるように対応付けられた視差分離部としてのスリット部１２とを有している。パララックスバリア１は、例えば透明な平面板の上に、遮蔽部１１として、光を通さない黒色の物質や、光を反射する薄膜状の金属などを設置することで形成されている。

パララックスバリア１は、理想状態では、特定の視点位置から表示パネル２を観測したときに特定の視差画像のみが観察されるように、表示パネル２の画面上の視差合成画像に含まれる複数の視差画像を分離するようになっている。パララックスバリア１のスリット部１２と、表示パネル２の各画素との位置関係から、表示パネル２の各画素より発せられた光の出射角度が制限される。表示パネル２における各画素は、スリット部１２との位置関係によって、表示される方向が異なることとなる。観察者は、左右の眼において異なる映像を観察する状態となることで立体映像として知覚できる。各画素は表示される方向が異なるため、表示パネル２において、表示される角度に対応した視差画像を表示することで立体視が可能となる。

なお、この立体画像表示装置１０における立体表示（立体視）の基本原理は、従来の一般的なパララックスバリア方式による立体画像表示装置（図３１および図３２）と同様である。図３１のパララックスバリア１０１では垂直方向に延在するスリット部１１２を設けた例を示し、図７では斜め方向にステップ状（段差状）にスリット部１２を設けた例を示しているが、スリット部１２の設置パターン（バリアパターン）が異なるのみで、視差分離を行う機能自体はバリアパターンの違いに関わらず同様である。表示パネル２に表示される視差合成画像は、バリアパターンに応じたパターンで複数の視差画像が合成されたものとなる。図３３に示した合成画像は、垂直方向に延在するバリアパターンに対応した例である。図７に示したようなステップ状のバリアパターンである場合には、複数の視差画像を、そのバリアパターンに応じて斜め方向に段差状に分割して合成する。

ここでは、表示パネル２の画面に表示された視差画像、パララックスバリア１のスリット部１２等、および両眼の相対的な位置関係が、良好な立体視を実現するために重要になる。特に横方向の位置ずれは、立体視を実現している視差画像に対して影響が大きいので、重要である。しかしながら、実際の立体画像表示装置１０では、表示パネル２の画面が局所的に面内で伸びたり縮んだりする。また、面と垂直の方向にたわんだり（変形）する。またパララックスバリア１に関しても、同様に、局所的に面内で伸びたり縮んだり、また面と垂直の方向にたわんだり（変形）する。さらに、表示パネル２の画面とパララックスバリア１との距離に関しても、正確な設計位置に調整しきれない場合がある。さらに、実際の立体画像表示装置の製造時には様々なばらつきが生じる。

このような場合に、表示パネル２の各画素とパララックスバリア１のスリット部１２との相対的な位置関係が、正確な設計値に一致しなくなる問題が生ずる。その結果として、特に横方向の位置関係にずれがある場合には、観察者の眼に対して視差画像が正常に入射されずに、立体視の品質に劣化が発生する問題がある。このため、本実施の形態では、例えば、立体画像表示装置１０の製造時の装置組み立てに当たって、表示パネル２の画面のサブピクセルとパララックスバリア１のスリット部１２との相対的な位置関係に、組み立て誤差、ばらつき等によってずれが発生した場合に視差ずれの補償を行うようになっている。本実施の形態によれば、例えば液晶ディスプレイ等の最近の高精細な表示パネル２とパララックスバリア１とを組み合わせた立体画像表示装置１０において、画素単位での細かい位置ずれ補正をすることが可能である。

カメラ４は、例えば図３に示したように、特定の計測用パターン画像を表示パネル２に表示した状態で、特定の視点位置から立体画像表示装置１０（パララックスバリア１および表示パネル２）を撮影するものである。計測用画像出力部５１は、例えば後述する図６に示すような、複数の視差画像がサブピクセル単位で周期的に表示されるような特定の計測用パターン画像を表示パネル２に表示するものである。なお、図３において、表示パネル２の部分に付した番号１，２，３，４，５，６は、第１〜第６の視点位置に対応する視差画像の番号（視点番号）を示している。すなわち、図３では、６視差分の視差画像を、図６に示すようなＲ，Ｇ，Ｂのサブピクセル単位で周期的に表示している。また、図３では、パララックスバリア１を介して、２番目の視差画像が特定の視点画像として観察されるような特定の視点位置（ここでは第２視点位置）から立体画像表示装置１０を撮影している例を示している。パララックスバリア１は、理想状態では、特定の視点位置から観測したときに特定の視差画像のみが観察されるように視差合成画像に含まれる複数の視差画像を分離する。従って、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察される場合には、それが視差ずれとして観測される。図３の例では、２番目の視差画像以外の他の視差画像が観測された場合には、視差ずれが生じていることになる。

視差ずれ解析装置５は、ＰＣ（パーソナルコンピュータ）等のコンピュータ装置で構成することができる。視差ずれ検出部５２は、カメラ４によって撮影された画像を解析することで視差ずれを検出するものである。視差ずれは、表示パネル２の各画素（サブピクセル）とパララックスバリア１の各スリット部１２との相対的な位置関係のずれによって生じる。視差ずれ検出部５２は、後述するような手法で、特定の計測用パターン画像の色の変化等を解析することで、その視差ずれを検出するようになっている。視差ずれ検出部５２は、解析した視差ずれに関する視差ずれデータをデータ圧縮部５３に出力する。データ圧縮部５３は、視差ずれ検出部５２から出力された視差ずれデータを圧縮処理して出力する。なお、視差ずれ検出部５２が、例えば後述する図１３に示すようにして、複数の画素の中からサンプリングされた一部の画素についての視差ずれデータを出力するようにしても良い。

データ保存メモリ３１は、データ圧縮部５３で圧縮された後の視差ずれデータを記憶するものである。データ解凍部３２は、データ保存メモリ３１に記憶された視差ずれデータを解凍処理して視差ずれ補正部３３に出力するものである。

視差ずれ補正部３３は、立体画像表示装置１０において、視差ずれを抑制するような立体画像表示を行わせるためのものである。視差ずれ補正部３３は、データ解凍部３２から出力された視差ずれデータに基づいて、表示パネル２の画素ごと（サブピクセルごと）に視差ずれが補償されるように表示パネル２に表示する視差合成画像を補正するようになっている。視差ずれ補正部３３は、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、特定の視点位置から観察される他の視差画像の割合を減少させるように、複数の視差画像のそれぞれを表示する画素位置の移動を行う。

視差ずれ補正部３３は、例えば後述する図２６（Ａ）に示すように視差ずれの値が１画素（サブピクセル）の整数倍に相当する場合には、後述する図２６（Ｂ），（Ｃ）に示すように視差ずれの値に応じて他の視差画像と特定の視差画像とを表示する画素位置の移動を行う。また例えば後述する図２７（Ａ）に示すように視差ずれの値が１画素未満の値を含む場合には、後述する図２７（Ｂ），（Ｃ）に示すように視差ずれの値に応じて他の視差画像の画素値と特定の視差画像の画素値とを合成する補正を行うようになっている。なお、視差ずれ検出部５２が、複数の画素の中からサンプリングされた一部の画素についての視差ずれデータを出力している場合には、視差ずれ補正部３３は、データ解凍部３２から出力された視差ずれデータに基づいて、一部の画素以外の他の画素についての視差ずれデータを補間演算して求め、補間演算後の全画素分の視差ずれデータに基づいて視差合成画像を補正するようになっている。

［立体画像表示システムの動作］
この立体画像表示システムでは、パララックスバリア方式の立体画像表示装置１０において、表示パネル２の各画素（サブピクセル）とパララックスバリア１の各スリット部１２との相対的な位置関係のずれが発生した場合に、立体視を実現する上で問題となる視差のずれを算出し、そのずれ量からずれの補償を行う。視差ずれの補償は、視差ずれ量に応じて、表示パネル２に表示する視差合成画像を画素ごとに補正することで行う。各画素（サブピクセル）と各スリット部１２との相対的な位置関係のずれが発生する要因は、面内方向における画素とスリット部１２との相対的な位置ずれや、画面に垂直な方向における画素とスリット部１２との相対的な位置ずれ（表示パネル２の画面とパララックスバリア１との距離のばらつき）がある。また、表示パネル２の画面とパララックスバリア１の物理的な伸縮、および歪等が存在する。この立体画像表示システムでは、そのような多様な視差ずれ要因に対して、総合的に視差ずれ補償を行うことができる。
概略、図４（Ａ），（Ｂ）に示す手順で以下で説明するように視差ずれを補償する。

（視差ずれ検出処理の概略）
図４（Ａ）は、この立体画像表示システムにおける視差ずれ検出処理の概略を示している。視差ずれ解析装置５では、視差ずれを立体画像表示装置１０の表示画面全体で計測し、概略、以下の手順で視差ずれデータを作成する。視差ずれデータの取得は、立体画像表示装置１０の使用の始めに１回行えばよい。また、経時変化などで視差ずれ量が変わったときに、再度行っても良い。
１．計測用画像出力部５１によって、特定の計測用パターン画像を表示パネル２に表示する（ステップＳ１）。
２．特定の視点位置から立体画像表示装置１０の画面をカメラ４で撮影する（ステップＳ２）。
３．カメラ４によって撮影された画像を視差ずれ検出部５２において解析することで視差ずれを検出する（ステップＳ３）。

例えば図５に示したように、表示パネル２の各色のサブピクセルが、水平方向に第ｋ−２，第ｋ−１，第ｋ，第ｋ＋１，第ｋ＋２，第ｋ＋３の視点位置に対応し、各サブピクセルに各視点位置に対応する視差画像が表示されるものとする。視差ずれのない理想的な状態では、第ｋの視点位置からカメラ４で立体画像表示装置１０を撮影すると、第ｋの視点位置に対応するサブピクセルのみが観察される。視差ずれがある状態では、第ｋ以外の視点位置に対応するサブピクセルが観察される。そこで、特定の視点位置（例えば第ｋの視点位置）に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、特定の視点位置から立体画像表示装置１０を撮影する。そして、撮影された特定の計測用パターン画像を解析することで視差ずれを検出する。この計測用パターン画像の解析方法としては、後述するように例えば、計測用パターン画像の色の変化を解析する方法と、輝度の変化を解析する方法とがある。

例えば、特定の視点位置に対応する特定の色のサブピクセルと、他の視点位置に対応する他の色のサブピクセルとが同時に発光するような特定の計測用パターン画像を表示パネル２に表示した状態で、特定の視点位置から立体画像表示装置１０を撮影する。そして、特定の視点位置から撮影された特定の計測用パターン画像の色の変化を解析することで視差ずれを検出する（後述の具体例その１、その２）。または、特定の視点位置に対応するサブピクセルと、他の視点位置に対応するサブピクセルとが時分割で発光するような特定の計測用パターン画像を表示パネル２に表示した状態で、特定の視点位置から立体画像表示装置１０を撮影する。そして、特定の視点位置から撮影された特定の計測用パターン画像の輝度の変化を解析することで視差ずれを検出する（後述の具体例その３）。

４．視差ずれ検出部５２では、必要に応じてサンプリングしてデータを間引いた視差ずれデータを生成する。さらに、データ圧縮部５３において既存のデータ圧縮処理等でデータを圧縮した視差ずれデータを生成する（ステップＳ４）。これにより、データ保存メモリ３１で保存するためのメモリ量を減らす。
５．圧縮処理等された視差ずれデータをデータ圧縮部５３から立体画像表示装置１０のデータ保存メモリ３１に書き込み、視差ずれデータを保存する（ステップＳ５）。

（立体画像の表示処理の概略）
図４（Ｂ）は、この立体画像表示システムにおける視差ずれデータを用いた立体画像表示の処理の概略を示している。立体画像表示装置１０では、立体表示用の視差合成画像を表示パネル２に表示する場合に、概略、以下の手順で視差ずれデータに従って画像の補正をした後に表示する。
１．データ保存メモリ３１に保存されている圧縮された視差ずれデータを読み出す（ステップＳ１１）。
２．読み出した視差ずれデータをデータ解凍部３２で解凍して視差ずれ補正部３３に出力する。サンプリングされた視差ずれデータである場合には、視差ずれ補正部３３は、画素についての視差ずれデータを補間演算して求める（ステップＳ１２）。
３．視差ずれ補正部３３は、視差ずれデータに基づいて、表示パネル２の画素ごと（サブピクセルごと）に視差ずれが補償されるように、画素位置の移動等を行い、表示パネル２に表示する視差合成画像を補正する（ステップＳ１３）。
４．補正後の視差合成画像を表示パネル２の画面に表示する（ステップＳ１４）。

（視差ずれ検出処理の具体例・その１）
上記した視差ずれ検出処理の詳細な具体例を以下に説明する。

１．計測用画像出力部５１によって、特定の計測用パターン画像を表示パネル２に表示する。計測用のパターンは、表示パネル２の画面に表示する画像データとして、視差順にＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・のように、Ｒ，Ｇ，Ｂを順に視差ごとに繰り返した画像を用意する。さらに、画面のピクセル画素（サブピクセル）とパララックスバリア１のスリット部１２との相対的な位置関係で、垂直方向の視差ずれの計測データへの影響を軽減するために、この画像の垂直方向を間引く。こうすることで、立体表示の視差に直接強い影響のある水平方向では、画面のサブピクセルとスリット部１２との相対的な位置関係のずれが、視差ずれとなり、その視差ずれが直接色の変化として現れる。一方、垂直方向では、ずれが発生した場合でも、パターンを間引いているので（ずれたとしても垂直方向の隣は間引いてあるので）、他の色にならずに無色の黒になるだけで、色の変化として現れない。この方法による、計測用パターン画像の例を、図６に示す。図６のパターン例では、６視差の場合を示している。視差の順に、画像の左からＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・のカラーで配色してある。また、垂直方向の画素は２／３に間引いている。この図６では、Ｒ，Ｇ，Ｂの長方形パターンのそれぞれがサブピクセルである。そして、隣接するＲ，Ｇ，Ｂの長方形をまとめたものが、通常の２次元表示を行う場合の１画素に相当する。Ｒ，Ｇ，Ｂの３色の合成で白が表示される。図６において、黒くなっている部分は画素の発光が無く、黒く表示されている部分である。つまり、水平方向に白の線が表示され、垂直方向では２本おきの白線表示になっている。このパターンを画面上に表示する。図６に示した例に限らず、計測用パターン画像としては、視差ずれの大小や偏り等に応じて、後のデータ解析が行い易い適切なパターンを適宜用いれば良い。

２．図６に示したような計測用パターン画像を表示した状態において、視点の１つから見える画面のＲ，Ｇ，Ｂのカラー縞模様をカメラ４で撮影する。撮影される画像は、サブピクセルが判別できる解像度は必要なく、Ｒ，Ｇ，Ｂの色が徐々に変化する縞模様のパターンが得られれば良い。図３では、２番目の視差画像（第２視点画像）のＧ色が特定の視点画像として観察されるような特定の視点位置から立体画像表示装置１０を撮影している例を示している。図８は、図３の特定の視点位置から観察する場合における、図６に示した計測用パターン画像と図７に示したパララックスバリアとの組み合わせを模式的に示している。図９ではさらに、計測用パターン画像で黒く表示されている部分に対応するスリット部１２を黒くした状態を示している。図９に示した状態を、カメラ撮影の画像で見ると、各サブピクセル間が分離して見えずに、全体が一様の色に見える。この図９の例では、理想的には、全体が一様の緑色に見えている。この場合の理想的とは、表示パネル２の各画素（サブピクセル）と各スリット部１２との相対的な位置関係のずれが無い（視差ずれが無い）場合である。

３．画面のサブピクセルとスリット部１２との相対的な位置関係のずれがある場合には、撮影画像の分析から視差ずれを検出する。相対的な位置関係のずれがある場合の例として、図１０に示すようにパララックスバリア１のスリット部１２の位置が、図７の理想的なバリアパターンに対してずれている場合で説明する。図１０では、右下側のスリット部１２の位置が１サブピクセル、あるいは０．５サブピクセル、左にずれている状況を示している。この状況下で、図６に示した計測用パターン画像を表示してカメラ４で撮影した状態を示した図が、図１１である。さらに、パララックスバリア１のスリット部１２に光が来ない部分を黒で表示した状態を示したものが、図１２である。図１２では、右下側のスリット部１２の位置が１サブピクセル、あるいは０．５サブピクセル、左にずれている部分では、Ｇの左隣のＲが１サブピクセル、あるいは０．５サブピクセル見える状況を示している。これを、カメラ撮影の画像で見ると、各サブピクセル間が分離して見えずに、全体が色を帯びて見える。ただし、全体が一様の緑色に見えずに、この図では緑色が赤く変化している様子が見える。視差ずれ検出部５２では、この色の変化を解析し、視差ずれ量を算出する。具体的なずれ量の算出方法は後述する。

４．立体画像表示装置１０内のデータ保存メモリ３１に書き込み保存するために、サンプリングしてデータを間引く。また、データ圧縮部５３において既存のデータ圧縮処理等でデータを圧縮する。サンプリングしてデータを間引く方法を、図１３に示す。視差ずれ補償のための視差ずれデータは各サブピクセル数必要となり、図１３のようなフルＨＤの画面では、全サプピクセル数＝６２２０８００（１９２０×３×１０８０）となり、膨大なデータになる。しかし、実際の視差ずれ値はなだらかな変化をするので、図１３のサンプリング点のような間引きを行うことが可能である。この場合には、視差ずれデータ数は、サンプリング点の数＝２３１（３３サンプル×７サンプル）となる。また間引きを行っても、視差ずれ補正部３３において視差ずれデータを使用する時に容易に補間ができるので、サンプリング点のデータのみを抜き出して、視差ずれデータとする。また、サンプリングした視差ずれデータに、既存の圧縮技術などを使ってさらに、視差ずれデータを圧縮する。

５．圧縮処理等された視差ずれデータをデータ圧縮部５３から立体画像表示装置１０のデータ保存メモリ３１に書き込み、視差ずれデータを保存する。

（カメラ４による撮影画像から視差ずれを算出する方法の具体例・その１）
カメラ４による撮影画像を解析して、視差ずれ値を算出する方法に関して、さらなる具体例を以下に説明する。基本的には、撮影画像のＲ，Ｇ，Ｂの色の縞模様の状況から、視差ずれ値を算出する。

１．測定系の、Ｒ，Ｇ，Ｂの信号レベルの調整を行う。表示パネル２の画面やカメラ４のホワイトバランス等が合っていないと、撮影画像を解析して視差ずれ値を算出際に誤差を生じるので、始めにホワイトバランス等の調整を行い、Ｒ，Ｇ，Ｂの信号レベルを合わせておく。合わせ方は、全ての視差にＲの信号のみ，Ｇの信号のみ，あるいはＢの信号のみを入力し、カメラ４で撮影したときの、Ｒの信号のみ，Ｇの信号のみ，あるいは、Ｂの信号のみの撮影画像の、Ｒ，Ｇ，Ｂの各々のカラーの値が同じになるように調整する。

２．表示パネル２の画面に計測用パターン画像を表示し、それを視点の一つからカメラ４で撮影する。
３．撮影した撮影画像から、画面部分を切り抜き、解析を開始する。
４．画面部分の撮影画像を、Ｒ，Ｇ，Ｂの各々の色に分解する。
５．サブピクセルごとに、分解されたＲ，Ｇ，Ｂの各々のカラーの値を求める。
６．求めた、Ｒ，Ｇ，Ｂの各々のカラーの値の中で、最大カラーと次のカラーからその比率を求める。比率５０％でそのサブピクセルは、隣り合うサブピクセルが５０％ずつ見えていることになり、視差ずれ値は−０．５または＋０．５となる（図２２参照）。

７．また、Ｒ，Ｇ，Ｂの各々のカラーの値の中で、最大カラーの信号の値が、項目１．でＲ，Ｇ，Ｂの信号レベルを合わせているが、この調整して同じにしたＲ，Ｇ，Ｂの各々のカラーの値と同じ値が出ているサブピクセルは、視差ずれが無く、視差ずれ値は０となる。
８．視差ずれがなく、パララックスバリア１のスリット部１２と、表示パネル２のサブピクセルとの関係が図２３（Ａ）のようになっている場合は、単色となる。この場合の仮視差ずれ量は０となる。スリット部１２と表示パネル２のサブピクセルの関係が図２３（Ｂ）のようになって、視差ずれが生じた場合（図２３（Ｂ）の場合は視差ずれ量が０．５）は、緑色からずれた色として観測される。図２３（Ｂ）では、隣のサブピクセルからの光が入射しており、緑＋赤＝黄色として観測される。この場合、測定された色から、緑と赤の割合が何％であるかを計算することができる。具体的には、ｘｙもしくはｕｖ色度座標における緑１００％と赤１００％の２つの色度点に対して、混色した測定色度点がどの座標にいるかを計算し、緑１００％と赤１００％の色度点までの距離によって按分すればよい。緑と青色の画素の混合や、赤と青色の画素との混合においても同様の手法を用いることができる。これにより、各画素の仮視差ずれの値を０より大きく、１．０未満の値に仮に設定できる。

９．次に最終的な視差ずれ量の算出を行う。そのために各々のサブピクセルにおける視差ずれ値は、連続性が保たれているとする。すなわち、隣り合うサブピクセルの視差ずれの値はおおむね同じ値になり、滑らかに変化し、急峻には変化しないとする。この条件下で、各々のサブピクセルの、項目８．で算出した仮視差ずれ値から、最終的な視差ずれ値を求める。このとき、連続性と共に、各々のサブピクセルにおけるＲ，Ｇ，Ｂの各々のカラーの値の中での最大カラーの色を考慮する。計測用パターン画像は、各々の視差に、表示パネル２の画面に表示する画像データで、視差順にＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・のように、Ｒ，Ｇ，Ｂを順に視差ごとに繰り返した画像にしているので、その色の遷移で視差ずれがどちらの方向にずれているのか分かる。一方向に徐々にずれている場合は、視差順にセットしたＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・順に最大カラーの信号値の色が変わる。また、逆方向に徐々にずれている場合は、視差順にセットしたＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・の順とは逆に、Ｂ，Ｇ，Ｒ，Ｂ，Ｇ，Ｒ，・・・の順に最大カラーの信号値の色が変わる。この色の遷移を基にどちらの方向にずれているかが分かる。よって、連続性と色の変化を追うことで、全体の各々のサブピクセルの±の値を決めることができる。連続して、視差ずれ量が変わることにより、最終的に視差ずれ量を決定できる。図２４に示すように、上記８．で仮に設定した視差ずれ量と、カラーの変化量から最終的な視差ずれ量が計算できる。

１０．以上から、視差ずれ補正に使用する各々のサブピクセルごとの視差ずれ値を算出することができる。

（視差ずれ検出処理、視差ずれ算出方法の具体例・その２）
上記した具体例・その１による視差ずれ検出処理では、３視点、６視点、または９視点などの、３の倍数の視差数で立体表示を行うことが前提となっている。５視点などの視差数が３の倍数でない場合には、図６に示した計測用パターン画像を表示すると、視差ずれが無い場合であっても、以下で説明するように、パララックスバリア１を通して同色の表示が観測されない状態となる。

以下では、視点数５の場合のパララックスバリア１を用いる場合を例に説明を行う。図１４は、パララックスバリア１が、視点数５のステップバリア方式である場合の構成例を示している。水平方向には、表示パネル２の５個のサブピクセルごとにスリット部１２が設置されている。また、サブピクセルの大きさが水平１：垂直３の比率であるものとすると、水平１：垂直３の角度で、斜め方向に連続してスリット部１２が設置されている。

図１５および図１６は、立体画像表示装置１０において５視点での立体表示を行う場合に、図６に示した計測用パターン画像を図１４のパララックスバリアを介して第２視点位置から観察した状態を模式的に示している。図１６のＡ−Ａ線部分の断面が図１５に対応している。表示パネル２のサブピクセル部分に付した番号１，２，３，４，５は、第１〜第５の視点位置に対応する視差画像の番号（視点番号）を示している。視差ずれのない理想的な状態では、カメラ４には画面全体で、第２の視点位置に対応する視差画像（第２視点画像）のみが撮影される。上記した具体例・その１では、撮影画像は、図９に示したように全体に同一色（Ｇ）のサブピクセルのみが観測される状態となる。しかしながら、図１５および図１６の場合には、同じ第２の視点位置であっても、Ｒ，Ｇ，Ｂの３色が測定されてしまい、単色で表示されない。このため、上記した具体例・その１の方法では、視差ずれ量を測定することができない。

そこで、視差ずれのない場合にパララックスバリア１を通してカメラ４で観測される画像が単色となるように、図６とは異なる計測用パターン画像を決定する必要がある。５視点の場合には、計測用パターン画像を図１７のようにすればよい。５視点の場合には、第１〜第５までの任意のある視点（例えば第３視点とする）を特定の視点位置と決めて、かつ、その特定の視点位置に対応するサブピクセルに表示する色をＲ，Ｇ，Ｂのうち任意の１色に決める（この場合はＧ）。そして、特定の視点位置である第３視点に対応するサブピクセルのうち、Ｇに対応するサブピクセルと、その左右に存在する他の視点位置（第１視点，第２視点，第４視点、および第５視点）のサブピクセルのみを発光させるような画像を計測用パターン画像（図１７）とする。これにより、視差ずれのない理想的な状態では、カメラ４で特定の第３視点位置から撮影すると、例えば図１８に示したように、単色の色（Ｇ）が画面全体で観測される。視差ずれがある場合は、１色でなく、複数の色が測定されることとなるので、上記した具体例・その１と同様の原理で撮影画像の色の変化を解析することで視差ずれを検出できる。これにより、３の倍数以外の視点数での立体表示を行う場合であっても、視差ずれ量を算出できる。

（視差ずれ検出処理、視差ずれ算出方法の具体例・その３）
上記具体例・その１、その２では、計測用パターン画像の色の変化を解析することで視差ずれを検出するようにしたが、具体例・その３として、色の変化を利用せずに視差ずれを検出する手法を説明する。カメラ４は、図３や図１５の場合と同様に、視差ずれがない理想的な状態では、ある特定の視点位置（図３、図１５では第２視点位置）に対応するサブピクセルからの光のみが入射し、他の視点位置に対応するサブピクセルからの光は入射しない位置近傍に設置する。

以下では、上記具体例・その２と同様に、視点数５の場合のパララックスバリア１（図２５）を用いる場合を例に説明を行う。図１９は、視点数が５つである場合の表示パネル２の各サブピクセルと各視点位置との対応関係を示している。図１９において、表示パネル２のサブピクセル部分に付した番号１，２，３，４，５は、第１〜第５の視点位置に対応する視差画像の番号（視点番号）を示している。本具体例では、特定の視点位置（例えば第２視点位置）から立体画像表示装置１０を撮影するが、表示パネル２には特定の視点位置に対応するサブピクセルと、他の視点位置に対応するサブピクセルとが時分割で発光するような特定の計測用パターン画像を表示パネル２に表示する。他の視点位置に対応するサブピクセルについては、少なくとも特定の視点位置（例えば第２視点位置）に対して隣り合う視点位置（例えば第１視点位置および第３視点位置）に対応するサブピクセルについて時分割で発光させる。ここでは、すべての視点位置に対応するサブピクセルを順次、時分割で発光させるものとする。例えば、まず、第１の視点位置に対応するサブピクセルのみを点灯（発光）させ、その他のサブピクセルを消灯する。このとき、第１視点位置に対応するＲ，Ｇ，Ｂの全ての色のサブピクセルを点灯し、この第１視点画像を特定の視点位置（例えば第２視点位置）からカメラ４で撮影し、記録する。そして、次に第２視点位置に対応するＲ，Ｇ，Ｂの全ての色のサブピクセルを点灯し、その第２視点画像を特定の視点位置（例えば第２視点位置）からカメラ４で撮影し、記録する。以下、同様にして順次、第５視点まで撮影し、記録を行う。なお、１つの視点画像についてＲ，Ｇ，Ｂのすべてのサブピクセルを点灯させても、サブピクセルの大きさは十分小さいため、画面全体としては白黒の濃淡として観察される。

そして、画面上のある画素の輝度について、点灯させた視点毎の分布を評価する。図２０、図２１に示すグラフは、画面上のある位置において、各視点ごとの撮影画像の輝度を示している。

カメラ４を第２視点位置に設置した場合、視差ずれのない理想的な状態では５種類の視点画像のうち、第２視点画像の輝度が一番高く、隣接する第１視点画像、第３視点画像の輝度は少量であり、ほとんど等価となる（図２０）。これに対して、視差ずれがある場合には、例えば図２１のようになる。視差ずれがあることで、例えば、第２視点画像からだけでなく、第３視点画像からの光もカメラ４に入射する場合は、第１視点画像の輝度が減り、第３視点画像の輝度が増加する。

この視差ずれ量は、例えば、以下のように求めることができる。時分割で各視点画像を表示するので、画面の任意のポイントでの、各視点画像毎の輝度の重心位置を計算できる。立体画像表示装置１０の画面の中央での、各視点画像毎の重心位置を引くことにより、画面内の重心位置の変化量を求めることができる。

例えば画面をある領域に分割（例えば３２×３２個の領域に分割）し、それぞれの分割領域において、図２０，図２１に示すような視点画像毎の輝度分布を求める。画面中心の視点輝度の重心位置が２．５であるとする。視差ずれがない場合は、第２視点位置にカメラ４を設置した場合は、画面中心の視差ずれ量は、２．５−２＝＋０．５と求めることができる。そして、画面の右端の、重心視点位置が３．５であった場合は、３．５と２．０の差である＋１．５の視差ずれ値として求めることができる。

この具体例・その３の手法を用いることで、色の変化量によらず、輝度量によって視差ずれ量を求めることができる。色の変化量を求めることは、輝度の変化量を求めることよりも計算量が多いので、輝度量によって視差ずれ量を求める手法の方が視差ずれ検出部５２の構成を単純なものにできる利点がある。また、上記説明では、視点数が５である場合を例にしたが、本手法は立体表示の視点数にかかわらず利用できるという利点がある。

（立体画像の表示処理の詳細な具体例）
上記した立体画像の表示処理の詳細な具体例を以下に説明する。

１．データ保存メモリ３１に保存されている圧縮された視差ずれデータを読み出す
２．読み出した視差ずれデータをデータ解凍部３２で解凍して視差ずれ補正部３３に出力する。サンプリングされた視差ずれデータである場合には、視差ずれ補正部３３は、画素についての視差ずれデータを補間演算して求める。このときに、最も容易なのは線形補間である。各々のサンプリング点の間の視差ずれ値を、線形補間で求めることで、画面全体のサブピクセルの、視差ずれデータを得る。サンプリング補間方法は、直線補間だけではなく、適宜曲線補間、あるいは他の方法を使用してもよい。

３．視差ずれ補正部３３は、得られた画面全体のサブピクセルの視差ずれデータに基づいて、表示パネル２の画素ごと（サブピクセルごと）に視差ずれが補償されるように、画素位置の移動等を行い、表示パネル２に表示する視差合成画像を補正する。補正方法に関しては、その基本を図２２に示す。図２２（Ａ）は視差ずれの値の例を示している。図２２（Ｂ）は、図２２（Ａ）の視差ずれの値に基づいて図２２（Ｃ）のサブピクセルの画像を補正した例を示している。図２２（Ｂ）では、例えば、視差ずれ値が＋０．１である場合には、左側の画素値を９０％とし、右側の画素値を１０％として合成している。

また、図２５〜図２７には視差合成画像の補正の具体例を示している。図２５は、視差ずれがない状態におけるサブピクセルとスリット部１２との関係を示している。図２５〜図２７において、Ｒ１，Ｇ１，Ｂ１は図３における番号１（第１視点）の視差画像に対応し、Ｒ２，Ｇ２，Ｂ２は図３における番号２（第２視点）の視差画像に対応し、Ｒ３，Ｇ３，Ｂ３は図３における番号３（第３視点）の視差画像に対応している。視差ずれが無いため、図２５において、スリット部１２は画素Ｇ２、Ｒ２、Ｂ２の上に位置している。図２６は、視差ずれの値が−１．０の場合である。スリット部１２は図２５の理想状態に対して１サブピクセル左にシフトしている。視差ずれ補正部３３は、図２６（Ａ）に示すように視差ずれの値が１サブピクセル（または２サブピクセル、３サブピクセル等、サブピクセルの整数倍）に相当する場合には、図２６（Ｂ），（Ｃ）に示すように視差ずれの値に応じて他の視差画像（ここではＲ１，Ｒ３等）と特定の視差画像（ここではＲ２等）とを表示する画素位置の移動を行う。これにより、スリット部１２の直下にあるサブピクセルが、Ｒ２、Ｇ２、Ｂ２の値を表示することとなって補正が実施される。

図２７は、視差ずれの値が−０．７である場合である。視差ずれの値が１画素未満の値を含む場合には、図２７（Ｂ），（Ｃ）に示すように視差ずれの値に応じて他の視差画像の画素値（ここではＲ１，Ｒ３等）と特定の視差画像（ここではＲ２等）の画素値とを合成する補正を行う。図２７（Ａ）において、スリット部１２の直下は、Ｒ１，Ｂ１，Ｇ１が７割、Ｒ２，Ｂ２，Ｇ２が３割の割合で位置している。スリット部１２がサブピクセルの画素間にまたがって位置しているため、視差ずれ量に従って、各サブピクセルで表示する画像を決定する。具体的には、スリット部１２の直下に７割存在する、元のＲ１，Ｂ１，Ｇ１のサブピクセルには、７割を第２視点に対応するＲ２，Ｂ２，Ｇ２とし、残りの３割を、第１視点に対応するＲ１，Ｂ１，Ｇ１として混合する。元のＲ２，Ｂ２，Ｇ２のサブピクセルには、７割を第３視点に対応するＲ３，Ｂ３，Ｇ３とし、残りの３割を、第２視点に対応するＲ２，Ｂ２、Ｇ２として混合する。

以上のようにして、画像を表示パネル２の画面に表示する場合に、表示画像のサブピクセルを、表示パネル２の画面のサブピクセルに１対１で対応させる。視差ずれがある場合は、視差ずれ分ずらして表示されるように補正するが、このとき、視差ずれ値が整数の場合は、その数分、相当のサブピクセルをシフトする（図２５、図２６）。しかし、視差ずれ値が整数で無い場合には単純にずらせないので、図２７に示した方法で、画像の合成を行う。サブピクセルの視差ずれ値の整数分を除いた、小数点以下の数値割合に従って、サブピクセル値を算出した補正画像を作成する。

４．補正後の視差合成画像を表示パネル２の画面に表示する

［効果］
本実施の形態に係る立体画像表示システムによれば、以下の効果が得られる。

視差ずれデータをデータ保存メモリ３１に記憶し、そのデータ保存メモリ３１に記憶された視差ずれデータに基づいて、画素（サブピクセル）ごとに視差ずれが補償されるように視差合成画像を補正するようにしたので、画面全体に亘って画素ごとに視差ずれを抑えた良好な立体画像表示を行うことができる。特に、カメラ４で１視点から撮影した画像のみから画面全体の視差ずれ値を画像処理で算出するので、ＰＣなどを使用して解析ができ、数秒から数十秒で容易に解析が可能である。これにより、量産時のラインのスピードにも対応できる速度での解析が行える。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記第１の実施の形態では、特定の計測用パターン画像を表示パネル２に表示し、画面をカメラ４で撮影して画像解析することで、画面全体の視差ずれデータを得るようにした。これに代えて、視差ずれの検出を例えば、顕微鏡による計測や、レーザー計測器による従来から知られている計測手法で行っても良い。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記第１の実施の形態は、例えば、立体画像表示装置１０の製造時の装置組み立てに当たって、表示パネル２の画面のサブピクセルとパララックスバリア１のスリット部１２との相対的な位置関係に、組み立て誤差、ばらつき等によってずれが発生した場合の視差ずれの補償である。

本実施の形態は、立体画像表示装置１０の生産時ではなく、立体画像表示装置１０の使用時に関する。立体画像表示装置１０を使い続けた場合に、経時変化で画面のサブピクセルとパララックスバリア１のスリット部１２との相対的な位置関係にずれが生じてきた場合に、上記第１の実施の形態と同様の視差ずれ検出処理を行い、新たな視差ずれ値を作成して、立体画像表示装置１０内のデータ保存メモリ３１に書き込み、古い視差ずれ値をその時点の新しく作成した視差ずれ値に置き換える。立体画像表示装置１０の使用時に、視差ずれに対して、立体画像表示装置１０の生産時の視差ずれの無い状態に戻すことができる。本実施の形態は例えば、立体画像表示装置１０のメンテナンスとして行うことができる。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記第３の実施の形態では、立体画像表示装置１０の使用時の視差ずれの計測には、装置メーカのサービスや、装置の観測者のカメラ４を想定している。本実施の形態では、カメラ付きの立体画像表示装置に関する。本実施の形態では、図２８に示したように、図１の視差ずれ解析装置５に相当する視差ずれ解析部５Ａを立体画像表示装置１０Ａが内蔵している。カメラ４としては、省エネ用の人感センサーカメラ、部屋の明るさや色合いでの、テレビの自動色調節を行うためのカメラ等の立体画像表示装置１０Ａに付属したカメラを視差ずれ計測用のカメラとして共用する。立体画像表示装置１０Ａとカメラ４は取り外し可能とし、視差ずれ計測時は取り外して、計測位置に持ってきて使用する。カメラ４は取り外し式のコネクター方式、ケーブル引き伸ばし方式、光または電波による無線方式等でよい。この場合、視差ずれ計測用のカメラ４を特別に用意しなくとも、視差ずれデータの更新を行える。あるいは、計測専用のカメラ４を立体画像表示装置１０に付属しても良い。

＜第５の実施の形態＞
次に、本発明の第５の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記第１の実施の形態では、立体画像表示装置１０の立体表示のための設計視点が、生産時にずれが発生した場合の補償である。すなわち、立体画像表示装置１０の生産時の装置組み立てに当たって、表示パネル２の画面のサブピクセルとパララックスバリア１のスリット部１２との相対的な位置関係に、組み立て誤差、ばらつき等によってずれが発生した場合の、立体画像表示装置１０の設計視点における、視差ずれの補償である。本実施の形態では、立体画像表示装置１０の設計視点ではなく、観察者が見る位置での視差ずれの補償を行う。すなわち、観察者がソファーに座ってみる場合等の設計視点ではない場合の補正である。例えばソファーに座った観測者の眼の位置から撮影した撮影画像を基に視差ずれ計測を行い、データ解析して視差ずれ値を算出し、その値で視差ずれ補償を行う。

本実施の形態によれば、立体画像表示装置１０の設計視点ではなく、観察者が見たい位置での調整が可能になる。結果として、観測者の位置に合わせて、立体画像表示装置１０の３Ｄを観察する場合の、眼の位置に対する立体表示の視点の最適化が行える。

＜第６の実施の形態＞
次に、本発明の第６の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記各実施の形態では、パララックスバリア方式の立体画像表示システムについて説明したが、レンチキュラ方式による立体画像表示システムにおいても、観察者の眼に対して視差画像が正常に入射されずに、立体視の品質に劣化が発生する問題があるため、同様の視差ずれ補償を行うことが効果的である。この場合、立体画像表示装置の表示部の基本構成、および立体表示（立体視）の基本原理は、従来の一般的なレンチキュラ方式による立体画像表示装置（図３４および図３５）と同様である。すなわち、例えば図１の立体画像表示装置１０におけるパララックスバリア１に代えて、視差分離手段として、複数の視差分離部として機能する複数のシリンドリカルレンズ（分割レンズ）１１３を有するレンチキュラレンズ１０１Ａを用いる。この場合、視差ずれは、表示パネル２の複数の画素（サブピクセル）と複数の分割レンズ１１３の焦点位置との相対的な位置関係のずれによって生じたものを計測すれば良い。

＜第７の実施の形態＞
次に、本発明の第７の実施の形態に係る立体画像表示システムについて説明する。なお、上記第１の実施の形態に係る立体画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

上記第１の実施の形態では、立体画像表示装置１０の１台１台の視差ずれ値の計測を行って得られた視差ずれデータを、データ保存メモリ３１に書き込み保存するようにした。これに対して、量産時などで、表示パネル２の画面のサブピクセルとパララックスバリア１のスリット部１２との相対的な位置関係のずれが、製造ロットで安定していて、立体画像表示装置間で差が少ないときには、１台の視差ずれ値を、あるいは、複数台の視差ずれ値の平均を使用して、安定したロットの視差ずれ値として用いて、１台１台の視差ずれ値の計測を省くようにしても良い。これにより、工数の削減が行える。

＜その他の実施の形態＞
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。
例えばパララックスバリア１のバリアパターンは、図７や図２５に示したようなものには限定されず、他のバリアパターンを用いても良い。図２９は、パララックスバリア１のバリアパターンの第１の変形例を示している。図３０は、パララックスバリア１のバリアパターンの第２の変形例を示している。図２９の例では、例えば第１の視差画像についての１画素分の各色のサブピクセルＲ１，Ｇ１，Ｂ１を、連続する水平方向の３つのサブピクセルで構成している。パララックスバリア１のスリット幅はサブピクセル３つ分の大きさに対応している。図３０の例では、図３１のパララックスバリア１０１と同様に、スリット部１２を垂直方向に延在するように設けた例を示している。

１…パララックスバリア、２…表示パネル、３…画像処理部、４…カメラ、５…視差ずれ解析装置、５Ａ…視差ずれ解析部、１０，１０Ａ…立体画像表示装置、１０Ｌ…左眼、１０Ｒ…右眼、１１…遮蔽部、１２…スリット部、３１…データ保存メモリ、３２…データ解凍部、３３…視差ずれ補正部、５１…計測用画像出力部、５２…視差ずれ検出部、５３…データ圧縮部、１０１…パララックスバリア、１０１Ａ…レンチキュラレンズ、１０２…表示パネル、１１１…遮蔽部、１１２…スリット部、１１３…シリンドリカルレンズ（分割レンズ）。

Claims (11)

1. 複数の視差画像を合成した視差合成画像を表示する表示部と前記視差合成画像に含まれる前記複数の視差画像を分離する視差分離手段とを含む立体画像表示装置に表示される前記視差合成画像の補正処理を行う視差ずれ補正部を備え、
   前記視差ずれ補正部は、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、前記視差ずれの値が１画素未満の値を含む場合に、前記他の視差画像の画素値と前記特定の視差画像の画素値とを合成する補正処理を行い、前記視差ずれの値が１画素の整数倍に相当する場合には、前記視差ずれの値に応じて前記他の視差画像と前記特定の視差画像とを表示する画素位置の移動を行う
   画像処理装置。
2. 前記視差分離手段は、パララックスバリアまたはレンチキュラレンズである
   請求項１に記載の画像処理装置。
3. 前記表示部には、複数の画素として、複数色のサブピクセルが周期的に２次元的に配列され、
   前記視差ずれ補正部は、前記サブピクセルごとに前記視差ずれが補償されるように前記視差合成画像を補正する
   請求項１または２に記載の画像処理装置。
4. 複数の視差画像を合成した視差合成画像を表示する表示部と、
   前記視差合成画像に含まれる前記複数の視差画像を分離する視差分離部と、
   前記視差合成画像の補正処理を行う視差ずれ補正部と
   を備え、
   前記視差ずれ補正部は、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、前記視差ずれの値が１画素未満の値を含む場合に、前記他の視差画像の画素値と前記特定の視差画像の画素値とを合成する補正処理を行い、前記視差ずれの値が１画素の整数倍に相当する場合には、前記視差ずれの値に応じて前記他の視差画像と前記特定の視差画像とを表示する画素位置の移動を行う
   立体画像表示装置。
5. 複数の視差画像を合成した視差合成画像を表示する表示部と前記視差合成画像に含まれる前記複数の視差画像を分離する視差分離手段とを含む立体画像表示装置と、
   前記立体画像表示装置に表示される前記視差合成画像の補正処理を行う視差ずれ補正部と
   を備え、
   前記視差ずれ補正部は、特定の視点位置から観測したときに特定の視差画像以外の他の視差画像が観察されるような視差ずれが生ずる状態となった場合に、視差ずれの値に応じて、前記視差ずれの値が１画素未満の値を含む場合に、前記他の視差画像の画素値と前記特定の視差画像の画素値とを合成する補正処理を行い、前記視差ずれの値が１画素の整数倍に相当する場合には、前記視差ずれの値に応じて前記他の視差画像と前記特定の視差画像とを表示する画素位置の移動を行う
   立体画像表示システム。
6. 前記立体画像表示装置で生じた視差ずれを検出し、前記視差ずれに関する視差ずれデータを生成する視差ずれ解析手段をさらに備え、
   前記視差ずれ解析手段は、
   特定の視点位置から前記立体画像表示装置を撮影する撮影手段と、
   前記撮影手段によって撮影された画像を解析することで前記視差ずれを検出する視差ずれ検出部とを有する
   請求項５に記載の立体画像表示システム。
7. 前記表示部には、複数の画素として、複数色のサブピクセルが周期的に２次元的に配列され、
   前記撮影手段は、前記特定の視点位置に対応するサブピクセルと前記他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させた状態で、前記特定の視点位置から前記立体画像表示装置を撮影し、
   前記視差ずれ検出部は、前記特定の計測用パターン画像を解析することで前記視差ずれを検出する
   請求項６に記載の立体画像表示システム。
8. サブピクセル単位で複数の画素が２次元的に配列され、複数の視差画像を合成した視差合成画像を表示する表示部と、前記視差合成画像に含まれる前記複数の視差画像を分離する視差分離手段とを含む立体画像表示装置における視差ずれの検出方法であって、
   特定の視点位置に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、前記特定の視点位置から前記立体画像表示装置を撮影するステップと、
   撮影された前記特定の計測用パターン画像を解析することで前記視差ずれを検出するステップと
   を含む立体画像表示装置の視差ずれ検出方法。
9. 前記表示部には、複数色のサブピクセルが周期的に２次元的に配列され、
   前記立体画像表示装置を撮影するステップでは、特定の視点位置に対応する特定の色のサブピクセルと、他の視点位置に対応する他の色のサブピクセルとが同時に発光するような特定の計測用パターン画像を前記表示部に表示した状態で、前記特定の視点位置から前記立体画像表示装置を撮影し、
   前記視差ずれを検出するステップでは、前記特定の視点位置から撮影された前記特定の計測用パターン画像の色の変化を解析することで前記視差ずれを検出する
   請求項８に記載の立体画像表示装置の視差ずれ検出方法。
10. 前記立体画像表示装置を撮影するステップでは、特定の視点位置に対応するサブピクセルと、他の視点位置に対応するサブピクセルとが時分割で発光するような特定の計測用パターン画像を前記表示部に表示した状態で、前記特定の視点位置から前記立体画像表示装置を撮影し、
    前記視差ずれを検出するステップでは、前記特定の視点位置から撮影された前記特定の計測用パターン画像の輝度の変化を解析することで前記視差ずれを検出する
    請求項８に記載の立体画像表示装置の視差ずれ検出方法。
11. サブピクセル単位で複数の画素が２次元的に配列され、複数の視差画像を合成した視差合成画像を表示する表示部と、前記視差合成画像に含まれる前記複数の視差画像を分離する視差分離手段と、視差ずれに関する視差ずれデータを記憶する記憶部と、前記視差ずれデータに基づいて前記視差合成画像を補正する視差ずれ補正部とを含む立体画像表示装置の製造方法であって、
    特定の視点位置に対応するサブピクセルと他の視点位置に対応する他のサブピクセルとを特定の計測用パターン画像に従って発光させ、前記特定の視点位置から前記立体画像表示装置を撮影する撮影工程と、
    撮影された前記特定の計測用パターン画像を解析することで前記視差ずれを検出する工程と、
    検出された視差ずれに関する視差ずれデータを前記記憶部に記憶させる記憶工程と
    を有する立体画像表示装置の製造方法。

Images