JP5342796B2 - 三次元画像表示方法および装置 - Google Patents
三次元画像表示方法および装置 Download PDFInfo
- Publication number
- JP5342796B2 JP5342796B2 JP2008083723A JP2008083723A JP5342796B2 JP 5342796 B2 JP5342796 B2 JP 5342796B2 JP 2008083723 A JP2008083723 A JP 2008083723A JP 2008083723 A JP2008083723 A JP 2008083723A JP 5342796 B2 JP5342796 B2 JP 5342796B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- image display
- pixel group
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、多視点画像を用いた三次元画像表示方法および装置に関する。
めがね無しで三次元画像を観察できる三次元画像表示装置(裸眼式三次元画像表示装置)として、多眼式、稠密多眼式、インテグラルイメージング方式(II方式)、一次元II方式(1D−II方式:水平方向にのみ視差情報表示)等が知られている。これらは、液晶表示装置(LCD)に代表されるフラットパネルディスプレイ(FPD)の前面に、レンズアレイに代表される射出瞳を配するという共通の構造を持つ。射出瞳は一定間隔で設けられ、射出瞳ひとつに対して、複数のFPDの画素が割り当てられるが、本明細書中では、このひとつの射出瞳に割り当てられた画素群を画素グループと称する。射出瞳は三次元画像表示装置の画素に相当し、観察位置に応じて射出瞳を経由して見える画素が切り替わる。すなわち、観察位置によって画素情報が変わる三次元画像表示用画素として振舞う。
このような構成の三次元画像表示装置においてはFPDの画素が有限なため、画素グループを構成する画素数にも制限がある(例えば、一方向について2〜64画素:2画素の場合、特に二眼式と呼ぶ)。このため、三次元画像が観察できる範囲(視域)が制限されることが避けられないとともに、視域を左右に逸脱すると、隣接した射出瞳に対応した画素グループを観察することが避けられない。このとき観察者が観察する光線は、対応した射出瞳に隣接した射出瞳を経由した光線による三次元画像であることから、光線方向と視差情報が一致せず、歪を含む。しかしながら、観察位置の移動に応じて視差画像が切り替わることから、これも三次元画像として見える。このため、この歪を含んだ三次元映像が見える領域をサイドローブと呼ぶ場合もある。ただし、正しい視域からサイドローブに移行する領域では、画素グループの両端の視差画像を左右逆転して見ることになるために、偽像(凹凸が逆転した像)が見えることが知られている。
偽像を防止する方法はこれまでもいくつか提案されている。まず、画素グループ境界に物理的に壁を設け、隣接した画素グループを見えなくする方法が知られている(例えば、特許文献1参照)。また、観察者の位置を検出して、観察者の位置が視域の中に入るように射出瞳に対応した画素グループを再設定する方法が知られている(例えば、特許文献2参照)。
また、視域からサイドローブに遷移する領域でなんらかの警告画像を知覚できるように表示することで、違和感を減らすことはできなくても、サイドローブが正しい画像でないことを観察者に伝えるというケアを行う手法も知られている(例えば、特許文献3参照)。
一方、射出瞳に割り当てられた画素グループを構成する画素数を調整することで、裸眼式三次元画像表示装置の視域を制御する方法が知られている(例えば、特許文献4参照)。
特開2001−215444号公報
特開2002−344998号公報
特許第3788974号公報
特許第3892808号公報
この特許文献4に記載の技術は、nを2以上の自然数としたときに画素グループを構成する画素数をnと(n+1)との2値とし、(n+1)画素を有する画素グループの出現頻度を制御する。この特許文献4に記載の技術を用いた場合には、偽像以外に、帯状の妨害画像が発生することが明らかになった。
本発明は、上記事情を考慮してなされたものであって、帯状の妨害画像の見え方を緩和し、自然にサイドローブに移行できる三次元画像表示方法および表示装置を提供することを目的とする。
本発明の一態様による三次元画像表示方法は、画素がマトリクス状に配列された平面画像表示部と、前記平面画像表示部に対向して配置され、前記画素からの光線を制御する射出瞳が少なくとも一の方向に配列された光線制御素子と、を備えた表示装置に三次元画像を表示する三次元画像表示方法であって、前記射出瞳ひとつに対して、前記平面画像表示部の複数の画素が画素グループとして対応付けられた三次元画像表示用画像を生成し、nを2以上の自然数とすると、前記画素グループのそれぞれを、この画素グループの一の方向の画素数がnとなる第1画素グループと、画素数が(n+1)となる第2画素グループのいずれかに設定するステップと、前記第2の画素グループを、前記第1画素グループの間に、離散的かつ略一定間隔に配置するステップと、前記第2画素グループの両端の画素の視差情報をお互いに混入させる補間処理を行うステップと、を備えていることを特徴とする。
また、本発明の他の態様による三次元画像表示装置は、画素がマトリクス状に配列された平面画像表示部と、前記平面画像表示部に対向して配置され、前記画素からの光線を制御する射出瞳が少なくとも一の方向に配列された光線制御素子と、を備えた三次元画像表示装置であって、前記射出瞳は、前記射出瞳ひとつに対して、前記平面画像表示部の複数の画素が画素グループとして対応付けられ、nを2以上の自然数とすると、前記画素グループのそれぞれを、この画素グループの一の方向の画素数がnとなる第1画素グループと、画素数が(n+1)となる第2画素グループのいずれかに設定する設定部と、前記第2の画素グループを、前記第1画素グループの間に、離散的かつ略一定間隔に配置する配置部と、前記第2画素グループの両端の画素の視差情報をお互いに混入させる補間処理を行う補間処理部と、を備えていることを特徴とする。
本発明によれば、帯状の妨害画像の見え方を緩和し、自然にサイドローブに移行できる三次元画像表示方法および表示装置を提供することができる。
本発明の実施形態を説明する前に、II方式と多眼式との差および視域最適化について説明する。説明が容易なため、主に一次元について主に説明するが、本発明は二次元に適用が可能である。なお、以下の説明における上下左右縦横等の方向の説明は、下記の射出瞳のピッチ方向を横方向とした場合の相対的な方向を指す。従って、実空間における重力方向を下とした場合の、絶対的な上下左右縦横等とは必ずしも一致しない。
裸眼三次元画像表示装置の水平断面図を図1(a)に示す。三次元画像表示装置は、平面画像表示部10と、射出瞳20とを備えている。平面画像表示部10は、例えば、液晶表示パネルのように、画素が縦方向および横方向にマトリクス状に配列された画素を有している。射出瞳20は、例えば、レンズまたはスリットを用いて構成され、上記画素からの光線を制御する光線制御素子とも呼ばれる。図1(a)は、射出瞳20と、平面画像表示部10内における画素グループ15との位置関係を示す水平断面図である。射出瞳20から有限の距離Lで全射出瞳20からの光線群が重畳するためには、Aを射出瞳のピッチ、Bを射出瞳ひとつに対応した画素グループの平均幅ピッチとし、射出瞳20と、平面表示装置10との間の距離(ギャップ)をgとしたときに、
A=B×L/(L+g) ・・・(1)
を満たせばよい。
A=B×L/(L+g) ・・・(1)
を満たせばよい。
二眼式の延長である多眼式や稠密多眼式は、射出瞳から有限の距離Lの位置で全ての射出瞳から射出した光線群が同一の領域に入射するように設計される。具体的には、全画素グループが一定数(n個)の画素から構成され、射出瞳のピッチをこれより若干狭くする。画素ピッチをPpとすると、
B=n×Pp ・・・(2)
(1)、(2)式より
A=B×L/(L+g)=(n×Pp)×L/(L+g) ・・・(3)
と設計される。このLを本明細書では視域最適化距離と称する。また、(3)式の設計を採用している方式を多眼式と称する。ところが、この多眼式では、距離Lで集光点が発生することが避けられず、自然な物体からの光線を再生できない。これは、多眼式は集光点に両眼を位置させ、両眼視差により立体視させるからである。また、三次元画像が見える範囲が広くなる距離Lが固定になる。
B=n×Pp ・・・(2)
(1)、(2)式より
A=B×L/(L+g)=(n×Pp)×L/(L+g) ・・・(3)
と設計される。このLを本明細書では視域最適化距離と称する。また、(3)式の設計を採用している方式を多眼式と称する。ところが、この多眼式では、距離Lで集光点が発生することが避けられず、自然な物体からの光線を再生できない。これは、多眼式は集光点に両眼を位置させ、両眼視差により立体視させるからである。また、三次元画像が見える範囲が広くなる距離Lが固定になる。
より実際の物体からの光線に近い光線を再現することを目的に、観察距離で集光点を発生させずに、かつ、観察距離を任意に制御する方法として、射出瞳のピッチを、
A=n×Pp ・・・(4)
と設計する方法がある。
A=n×Pp ・・・(4)
と設計する方法がある。
一方、有限の距離Lで画素グループを構成する画素数を、nと(n+1)の2値とし、(n+1)個の画素を有する画素グループの発生頻度m(0≦m<1)を調節することで、(1)式を満たすことが可能である。すなわち(1)、(4)式より、
B=(L+g)/L×(n×Pp)=(n×Pp×(1−m)+(n+1)×Pp×m)
すなわち
(L+g)/L=(1−m)+(n+1)/n×m ・・・(5)
を満たすようにmを決めればよい。(3)、(4)式より、観察距離Lより集光点を後方にするためには、射出瞳ピッチAを
(n×Pp)×L/(L+g)<A≦n×Pp ・・・(6)
となるように設計すればよい。このように観察距離Lで集光点が発生することを防いだ方式を、本明細書中ではII方式と総称する。その最たる構成が、集光点を無限遠に設定した(4)式である。観察距離Lより後方で集光点が発生するII方式では、画素グループを構成する画素数をnだけにすると、視域最適化距離が視距離Lより後方になる。このため、II方式では、画素グループを構成する画素数をnと(n+1)の2値にし、その画素グループ幅の平均値Bが(1)式を満たすように構成することで、有限の観察距離Lで視域を最大に確保することができる。以下、本明細書では、有限の観察距離Lで視域を最大に確保することを視域最適化を適用すると云う。
B=(L+g)/L×(n×Pp)=(n×Pp×(1−m)+(n+1)×Pp×m)
すなわち
(L+g)/L=(1−m)+(n+1)/n×m ・・・(5)
を満たすようにmを決めればよい。(3)、(4)式より、観察距離Lより集光点を後方にするためには、射出瞳ピッチAを
(n×Pp)×L/(L+g)<A≦n×Pp ・・・(6)
となるように設計すればよい。このように観察距離Lで集光点が発生することを防いだ方式を、本明細書中ではII方式と総称する。その最たる構成が、集光点を無限遠に設定した(4)式である。観察距離Lより後方で集光点が発生するII方式では、画素グループを構成する画素数をnだけにすると、視域最適化距離が視距離Lより後方になる。このため、II方式では、画素グループを構成する画素数をnと(n+1)の2値にし、その画素グループ幅の平均値Bが(1)式を満たすように構成することで、有限の観察距離Lで視域を最大に確保することができる。以下、本明細書では、有限の観察距離Lで視域を最大に確保することを視域最適化を適用すると云う。
図1(b)、1(c)、1(d)に、視距離Lにおける各観察位置での三次元画像の見え方の水平断面図を模式的に示している。図1(b)は観察距離Lの右端の領域から見える画像、図1(c)は観察距離Lの中央の領域から見える画像、図1(d)は観察距離Lの左端の領域から見える画像を示す。以下、観察位置という表現がしばしば出てくるが、現象を簡単に記述するために、位置を一点として記載する。この点は単眼での観察や単カメラで撮影した状態に相当する。人が両眼で観察した場合については、両眼間隔に設定された二点から間隔位置の相違に相当した視差のある画像を観察していると理解すればよい。
多眼式とII方式では、視差画像の見え方が異なる。これについて以下に説明する。
(多眼式)
比較のためにまず多眼式について説明する。これまで説明したように、多眼式では、視域最適化距離Lで集光点が発生する。図2(a)、2(b)に、9視差の場合の多眼式三次元画像表示装置の水平断面を示す。図2(a)は視差画像番号が付けられた画素グループを示し、図2(b)は観察距離Lの位置から各射出瞳に引かれた直線の画素グループにおける入射位置を示している。図2(a)に示すように、射出瞳20のひとつに対応する画素グループ(G_0)に対応させられた画素は9個であり、−4から4まで番号付けされた視差画像が表示される。右端の視差画像番号4の画素から射出瞳20を経由した光線は、距離Lで集光する。裏を返せば、視域最適化距離Lから観察すると、画素グループ(G_0)を構成する画素のうち同一視差画像番号を表示した画素が射出瞳20で拡大されて見える。
比較のためにまず多眼式について説明する。これまで説明したように、多眼式では、視域最適化距離Lで集光点が発生する。図2(a)、2(b)に、9視差の場合の多眼式三次元画像表示装置の水平断面を示す。図2(a)は視差画像番号が付けられた画素グループを示し、図2(b)は観察距離Lの位置から各射出瞳に引かれた直線の画素グループにおける入射位置を示している。図2(a)に示すように、射出瞳20のひとつに対応する画素グループ(G_0)に対応させられた画素は9個であり、−4から4まで番号付けされた視差画像が表示される。右端の視差画像番号4の画素から射出瞳20を経由した光線は、距離Lで集光する。裏を返せば、視域最適化距離Lから観察すると、画素グループ(G_0)を構成する画素のうち同一視差画像番号を表示した画素が射出瞳20で拡大されて見える。
図3に、観察距離L’が視域最適化距離Lより短くなった場合(L’<L)の多眼式三次元画像表示装置の水平断面を示す。観察距離L’が視域最適化距離Lより短いと、観察位置から射出瞳20を経由して延びる直線の傾きの変化が大きくなり、結果的に射出瞳20で拡大される視差画像番号が画面内で連続的に変化する。図3において、最左側の画素グループ150に関しては、経由した射出瞳200に対応する画素グループ150の右端の画素が見えている。しかし、上記最左側の画素グループ150より右の画素グループ151に関しては、経由した射出瞳201にとってのG_0に対応する画素グループ151の右端の画素と、隣接した射出瞳201にとってのG_1に対応し、射出瞳202にとってのG_0に対応する画素グループ152の左端の画素との境界が見えている。152、153、154に関しては、それぞれ経由した射出瞳202、203、204にとってのG_0に対応する画素グループ152、153、154に隣接した画素グループ(G_1)の左端の画素が観察される様子を示している。例えば、画素グループ152の右側に隣接した画素グループ153は、画素グループ152が経由した射出瞳202の右側に隣接した射出瞳203にとってはG_0に相当する。
図4(a)乃至4(j)に、観察位置と、その位置から観察した三次元画像表示装置の表示面を構成する視差情報を示す。図4(a)は視差画像番号が付けられた画素グループを示す図、図4(b)は画素グループ平均ピッチ(A)と、射出瞳ピッチ(B)の関係を示す図、図4(c)〜図4(g)は観察距離Lから観察したときに観察される視差画像番号を示す図、図4(h)〜図4(j)は観察距離Lからはずれて観察したときに観察される視差画像番号を示す図である。距離Lの視域幅の中心から観察すると、全射出瞳20越しに観察される画素は、対応した画素グループ(G_0)の中心の画素になることから、観察される視差画像番号は0となる(図4(c))。視域の右端から観察すると、全射出瞳20越しに観察される画素は、対応した画素グループ(G_0)の左端の画素になることから、観察される視差画像番号は−4になる(図4(d))。視域幅の左端から観察すると、全射出瞳20越しに観察される画素は、対応した画素グループ(G_0)の右端の画素になることから、観察される視差画像番号は4になる(図4(e))。このように9つの視差画像が観察位置に応じて切り替わって見え、両眼でこれらの視差画像を観察することで、図1(b)乃至図1(c)に示した8個の三次元画像が7回切り替わって見える。さらに、右の視域境界を超えて観察した場合は、全射出瞳20越しに観察される画素は、対応した画素グループ(G_0)ではなく、その左に隣接する画素グループ(G_−1)の右端の画素になることから、観察される視差画像番号はG_−1に属する4になる(図4(f))。右目にG_−1の視差画像番号4、左目にG_0の視差画像番号−4を観察すると、逆視、すなわち、凹凸の反転した偽像を観察する。さらに右に移動すると、視差画像は再び、視差画像番号が3、2、1、・・・となる視差画像に切り替わり、立体視も可能になるが、射出瞳ひとつだけ表示位置がシフトするとともに、観察位置から見たときの画面幅が視域内の正しい観察位置から見たときに比較して画面の横幅が狭く見える。このことから、縦長の三次元画像になる。画面幅の変化に応じて縦長になった画像は2次元画像では頻繁に見られる状態であることから、観察者は歪を意識しにくい。よって、これらの歪を含んだ三次元画像の観察範囲を一般的にサイドローブと呼ぶが、これを観察範囲に含む場合もある。左に移動した場合も対称的に変化するが、ここでは割愛する。
一方、観察距離Lより前または後ろに移動して観察した場合は、画面を構成する視差画像番号が、同一画素グループ(G_0)の範囲で切り替わり、例えば、視差画像番号−4〜4になったり(図4(h))、視差画像番号2〜―2になったり(図4(i))する。さらに、著しく観察距離が短かったり、遠かったりすると、同一画素グループ内では対応できず、隣接した画素グループの画素を観察することもある(図4(j))。
以上、観察距離の変更に応じて、画面内で視差画像番号や画素グループが切り替わることを述べた。多眼式では、これまでも述べたように、観察距離Lにおいて両眼視差によって立体画像を知覚することから、両目のそれぞれに単一の視差画像が見えることが望ましい。射出瞳を経由して見える視差情報を単一にするためには、射出瞳を構成する例えばレンズのフォーカスを著しく絞ったり、射出瞳を構成するスリットやピンホールの開口幅を著しく狭くしたりする。
また、当然ながら、集光点の距離は眼間距離に略一致させられる。このような設計においては、観察距離より少しでも前後にシフトして、前述したように、観察される視差画像番号、すなわち観察される画素が画面内で切り替わる部分で、画素間の境界にある非画素領域が観察され、輝度が低下する。また、隣接した視差番号への切り替わりも不連続に見える。すなわち、視域最適化距離L近傍以外で三次元画像を観察することはできない。
(II方式)
次に、本実施形態の立体画像表示装置に関係するII方式について説明する。典型的なII方式では、(4)式に従って射出瞳の間隔を画素幅のn倍に設定する。図5に、全ての画素グループがn画素から構成された場合のII方式三次元画像表示装置の水平断面図(部分)と、観察距離Lから各射出瞳に引かれた線の画素グループにおける入射位置を示す。図5では、II方式の構成において、全ての画素グループをn個の画素で構成している((5)式でm=0にした場合に相当する)。射出瞳に対応する画素グループ(G_0)のうち、最も左の画素グループ150の右端の画素から射出瞳200を経由して引いた線は、観察距離Lの視域の左端に入射している。すなわち, 画素グループ(G_0)の右端の画素が観察される。
次に、本実施形態の立体画像表示装置に関係するII方式について説明する。典型的なII方式では、(4)式に従って射出瞳の間隔を画素幅のn倍に設定する。図5に、全ての画素グループがn画素から構成された場合のII方式三次元画像表示装置の水平断面図(部分)と、観察距離Lから各射出瞳に引かれた線の画素グループにおける入射位置を示す。図5では、II方式の構成において、全ての画素グループをn個の画素で構成している((5)式でm=0にした場合に相当する)。射出瞳に対応する画素グループ(G_0)のうち、最も左の画素グループ150の右端の画素から射出瞳200を経由して引いた線は、観察距離Lの視域の左端に入射している。すなわち, 画素グループ(G_0)の右端の画素が観察される。
この入射位置から透視投影的に、さらに右の射出瞳201を経由した線を引いたところ、射出瞳201を経由して見える情報は、経由した射出瞳201にとってのG_0に対応する画素グループ151の右端の画素と、隣接した射出瞳201にとってのG_1に対応し、射出瞳202にとってのG_0に対応する152の左端の画素との境界になる。さらに右の射出瞳202からは,射出瞳202にとってのG_1に対応するとともに射出瞳203にとってのG_0に対応する153の左端の画素になってしまう(図5)。
図6(a)、6(b)に視域最適化が適用された場合のII方式三次元画像表示装置の水平断面図を示す。図6(a)は視差画像番号が付された画素グループを示す図、図6(b)は観察距離Lから各射出瞳に引かれた線の画素グループにおける入射位置を示す図である。
図6(a)、6(b)では、ハードウェアはそのままに、離散的に(n+1)個の画素を有する画素グループを配した。これによって、有限の距離Lの左側の視域端から観察したときに、全て射出瞳200〜204にとってのG_0に対応した画素グループ150〜154の右端の画素に表示された視差情報を観察できるようになった。すなわち、三次元画像を観察できる幅を最大化した。II方式における視差画像番号は、射出瞳と画素との相対位置で定められ、同じ視差画像番号の視差画像を表示した画素から、射出瞳を経由して射出した光線同士は平行の関係になる。このため、(n+1)個の画素を有する画素グループ152を設けることで、射出瞳と画素グループの相対位置が1画素分だけシフトされるとともに、画素グループを構成する視差画像番号も、−4〜4から−3〜5に変化し、射出瞳から射出する光線群の傾きが変化する(図6)。
II方式は、距離Lで視域幅が最大化しうる点は多眼式と同じだが、射出瞳を経由して観察される視差情報については異なる。この様子を、図7(a)乃至7(j)を参照して説明する。図7(a)は視差画像番号が付された画素グループを示す図、図7(b)は画素グループ平均ピッチ(A)と、射出瞳ピッチ(B)の関係を示す図、図7(c)〜図7(g)は観察距離Lから観察したときに観察される視差画像番号を示す図、図7(h)〜図7(j)は観察距離Lからはずれて観察したときに観察される視差画像番号を示す図である。
多眼式では視域最適化距離Lから観察したときに、射出瞳を経由して観察される視差画像番号は全画素グループで単一だったが、II方式では画面内で視差画像番号が変動する。図6でも、(n+1)画素を有する画素グループの左側では、視差画像番号4が観察されるのに対し、(n+1)画素有する画素グループの右側では、視差画像番号5が観察されている。図7(a)乃至図7(j)では、視域最適化距離Lの中央では、画面内で−3〜3の(図7(c))、視域最適化距離Lの視域最適化距離Lの右よりでは、画面内で−4〜2の(図7(d))、左よりでは、画面内で―2〜4の(図7(e))、視差画像番号が観察される様子を示した。このように、観察される視差画像番号の組が観察位置に応じて変化し、それが両眼に入射することで、図1(b)〜図1(c)の見え方の変化を連続的に実現できる。
このように、II方式の場合は、有限の観察距離から観察するときには必ず画面内で視差画像番号が切り替わることから、射出瞳を経由して画素部が見えたり画素境界部分が見えたりすることによる輝度変化は許されない。また、視差画像の切り替わりを連続的に見せる必要がある。よって、視差情報を混在させること(単一位置から複数の視差情報が見えるようにすること)、すなわちクロストークが積極的に行われる。クロストークは、同一の画素グループ(例えばG_0)に所属する視差画像番号の中で切り替わりが生じる場合に、射出瞳経由で観察される位置の変動に応じて、隣接した二つの視差情報の比率が連続的に変化し、画像処理でいう線形補間のような効果をもたらす。またこのクロストークの存在により、観察距離が前後した場合の視差画像番号の入れ替わりも連続的に行われる。なお、極端に観察距離が短いときまたは遠いときには、画素グループの入れ替わりも連続的に行われる。表示面に近づくと、観察位置から射出瞳20に向けて引かれる線の傾きの変化が大きくなり、結果的に視差画像番号の切り替わりの入れ替わりの頻度が増加する(図7(h))。表示面から離れると、逆に視差画像番号の切り替わりの頻度が減少する(図7(i)。すなわち、クロストークがあることにより、観察者は、視域最適化距離Lより近くから観察すれば、より透視度が高い三次元画像を見ることができ(図7(h))、視域最適化距離より遠くから観察すれば、より透視度の低い三次元画像を連続的に違和感なく見ることができる。(図7(i))。すなわち、観察距離の変動に伴う透視投影度の変化を再生できており、これは、II方式が実物体からの光線を再生できているからに他ならない。この結果、図7(b)において斜線で示す領域では三次元映像は連続的に切り替わる視域であるといえる。
II方式において視域境界を超えて観察した場合は、全レンズ越しに観察される画素は、対応した画素グループがG_−1だったり(図7(f)、G_1であったりするが(図7(g))、すなわち射出瞳ひとつだけシフトして表示されるが、三次元画像が観察される。像の歪み方は多眼式と等しいので割愛する。
図8に、多眼式とII方式における観察距離と視差画像番号切り替わりの頻度を示した。本明細書中での多眼式とII方式の差は、両方式ともクロストークがあるとして、視域最適化距離Lの1点から観察したときに画面内が同一番号の視差画像で構成されるのが多眼式、視域最適化距離Lから観察したときに、画面内で視差画像番号が切り替わるのがII方式である。
以上、多眼式とII方式における、観察位置と視差画像番号の切り替わりについて述べた。ところが、II方式の視域境界では、逆視、またはクロストークによって逆視の由来である視差画像が二重像として見えることに加えて、さらに帯状の妨害画像が発生する。この現象について図6を参照して説明する。
(II特有の帯状の妨害画像の説明)
II方式ではクロストークがあることを既に述べた。図6(a)、6(b)を参照して、視域境界で観察される妨害画像を、クロストークを考慮して説明する。一番左端の画素グループ150は、視差画像番号4の情報を表示した画素の中心が観察されるが、その右の画素グループ151では、視差画像番4の情報を表示した画素のかなり右の部分が観察される。すなわち、さらに右の画素グループ152の視差画像番号−4の情報を表示した画像も同時に見えてくる。図5に示す構成では、画素グループが右にずれるにつれて、徐々に視差画像番号4が見える割合が減少、視差画像番号−4が見える割合が増加し、二重像の第一像(例えば、視差画像番号4)と第二の像(例えば、視差画像番号−4)の濃度が連続的に切り替わる。視域最適化処理を施した図6に示す構成では、中央の(n+1)画素を有する画素グループ152が設けられることで、従来、視差画像番号―4だった情報が、視差画像番号5に切り替わる。すなわち、第一の像の濃度が低下し第二の像の濃度が増加していたところが、不連続的に第一の像の濃度が増加する。この不連続な濃度変化は、(n+1)個の画素を有する画素グループ152の形成位置に生じることから、等しい間隔で画面内に発生し、不自然な印象が強い。一次元II方式なら、この濃度変化は垂直な線として、二次元IIなら格子状に発生する。
II方式ではクロストークがあることを既に述べた。図6(a)、6(b)を参照して、視域境界で観察される妨害画像を、クロストークを考慮して説明する。一番左端の画素グループ150は、視差画像番号4の情報を表示した画素の中心が観察されるが、その右の画素グループ151では、視差画像番4の情報を表示した画素のかなり右の部分が観察される。すなわち、さらに右の画素グループ152の視差画像番号−4の情報を表示した画像も同時に見えてくる。図5に示す構成では、画素グループが右にずれるにつれて、徐々に視差画像番号4が見える割合が減少、視差画像番号−4が見える割合が増加し、二重像の第一像(例えば、視差画像番号4)と第二の像(例えば、視差画像番号−4)の濃度が連続的に切り替わる。視域最適化処理を施した図6に示す構成では、中央の(n+1)画素を有する画素グループ152が設けられることで、従来、視差画像番号―4だった情報が、視差画像番号5に切り替わる。すなわち、第一の像の濃度が低下し第二の像の濃度が増加していたところが、不連続的に第一の像の濃度が増加する。この不連続な濃度変化は、(n+1)個の画素を有する画素グループ152の形成位置に生じることから、等しい間隔で画面内に発生し、不自然な印象が強い。一次元II方式なら、この濃度変化は垂直な線として、二次元IIなら格子状に発生する。
これらの問題は、本発明に一実施形態による三次元画像表示装置によって解決される。以下に、本実施形態の三次元画像表示装置を説明する。
(一実施形態)
本実施形態の三次元画像表示装置は、II方式における、視域境界で観察される妨害画像の違和感低減を実現する画像処理を行う。この画像処理について図6を参照して説明する。(n+1)画素を有する画素グループが発生することで、従来、視差画像番号−4の画像を表示していた画素に、視差画像番号5の画像を表示される。この変化が不連続なために、妨害画像として視認される。そこで、(n+1)個の画素を有する画素グループ152の両側の視差画像情報(図6では視差画像番号−4と5、いずれも斜線で図示)を一定割合お互いに混入させることで、妨害画像の原因である不連続な変化が緩和される。さらに、図6では、視差画像番号―4を表示している画素を、(n+1)個の画素を有する画素グループ152に属する画素から順に左側に、L1、L2、・・・と番号付けを行い、視差画像番号5を表示している画素を、(n+1)個の画素を有する画素グループ152に属する画素から順に右側に、R1、R2、・・・と番号付けを行った。xを、本実施形態に係る画像処理を施す画素数(一方向)とすると、この処理においては、処理が施される画素数xは1である必要はない。これについて説明する。
本実施形態の三次元画像表示装置は、II方式における、視域境界で観察される妨害画像の違和感低減を実現する画像処理を行う。この画像処理について図6を参照して説明する。(n+1)画素を有する画素グループが発生することで、従来、視差画像番号−4の画像を表示していた画素に、視差画像番号5の画像を表示される。この変化が不連続なために、妨害画像として視認される。そこで、(n+1)個の画素を有する画素グループ152の両側の視差画像情報(図6では視差画像番号−4と5、いずれも斜線で図示)を一定割合お互いに混入させることで、妨害画像の原因である不連続な変化が緩和される。さらに、図6では、視差画像番号―4を表示している画素を、(n+1)個の画素を有する画素グループ152に属する画素から順に左側に、L1、L2、・・・と番号付けを行い、視差画像番号5を表示している画素を、(n+1)個の画素を有する画素グループ152に属する画素から順に右側に、R1、R2、・・・と番号付けを行った。xを、本実施形態に係る画像処理を施す画素数(一方向)とすると、この処理においては、処理が施される画素数xは1である必要はない。これについて説明する。
多眼式では観察距離において、全ての射出瞳の視域が完全に重畳し、例えば視差数が9なら9視差分の視域が実現される。一方、II方式の場合は、射出瞳に対対する画素位置が周期的(理想的には一定)である。よって、隣接した射出瞳の視域は射出瞳ピッチだけずれる。このずれ量が観察距離における視域の幅の1視差分に相当したとき、(n+1)個の画素の画素グループに起因する(n+1)視差の視域が発生し、視域のずれが是正される。このために、視差数が9の場合は、1視差分の視域は元々妨害画像が視認される領域となる。裏を返せば、図6に示す斜線の画素に処理を施しても、元々の視域を犠牲にしない。とはいえ、n個の画素を有する画素グループから見れば、(n+1)個の画素を有する画素グループが左右のどちらにもに存在することから、左右の(n+1)個の画素の画素グループから本処理を施されると、2視差分が本実施形態に係る画像処理に消費される(図9)。よって、(n+1)個の画素を有する画素グループの発生頻度が(5)式より求められ、(n+1)個の画素を有する画素グループの間にあるn個の画素を有する画素グループの数をyとしたときに、
1≦ x ≦ 1+y/2 ・・・(6)
を満たすことで、本画像処理を施す領域を1視差以下に抑え、視域を犠牲にしない。このように定めた画素領域において補間処理を行うが、他の視差情報を混入させる割合は、R1やL1で高く、(n+1)個の画素の画素グループから離れるにつれて、他の視差情報の混入する割合が減少することが望ましい。なぜなら、(n+1)個の画素を有する画素グループから離れるにつれてより視域の内側で観察されることから、視域内で観察される三次元画像に影響を及ぼすからである。混入の割合、すなわち、補間の方法は、バイリニア法やバイキュービック法といった従来からあるフィルターの適用方法を応用すればよい。
1≦ x ≦ 1+y/2 ・・・(6)
を満たすことで、本画像処理を施す領域を1視差以下に抑え、視域を犠牲にしない。このように定めた画素領域において補間処理を行うが、他の視差情報を混入させる割合は、R1やL1で高く、(n+1)個の画素の画素グループから離れるにつれて、他の視差情報の混入する割合が減少することが望ましい。なぜなら、(n+1)個の画素を有する画素グループから離れるにつれてより視域の内側で観察されることから、視域内で観察される三次元画像に影響を及ぼすからである。混入の割合、すなわち、補間の方法は、バイリニア法やバイキュービック法といった従来からあるフィルターの適用方法を応用すればよい。
(タイル画像での処理)
以上、三次元画像表示時の画像(画素グループのアレイ)を用いて本実施形態に係る画像処理の概要を説明したが、この三次元画像表示用の画像には圧縮に向かない。なぜなら、三次元画像表示用の画像は一画素ごとに視差情報を並べたものであり、隣接画素情報の類似点を利用して圧縮すると、視差情報が失われるからである。そこで、一般的には圧縮用画像に同一視差情報をまとめたフォーマットを利用する。このフォーマットは、視差情報がタイル状に並べられた形態になることから、これをタイル画像と呼ぶ。タイル画像の状態で本実施形態の画像処理を施す場合について以下に説明する。
以上、三次元画像表示時の画像(画素グループのアレイ)を用いて本実施形態に係る画像処理の概要を説明したが、この三次元画像表示用の画像には圧縮に向かない。なぜなら、三次元画像表示用の画像は一画素ごとに視差情報を並べたものであり、隣接画素情報の類似点を利用して圧縮すると、視差情報が失われるからである。そこで、一般的には圧縮用画像に同一視差情報をまとめたフォーマットを利用する。このフォーマットは、視差情報がタイル状に並べられた形態になることから、これをタイル画像と呼ぶ。タイル画像の状態で本実施形態の画像処理を施す場合について以下に説明する。
図10に、比較のために9視差多眼式、または本実施形態の画像処理を施さないII方式のタイル画像の一例を示した。多眼式における9視差の三次元画像とは、図4(a)乃至図4(j)に示したように、観察位置が水平に異動するのに応じて9枚の二次元画像が切り替わって見えることであり、各視差画像のアスペクトと表示面のアスペクトは等しく、タイル画像の構成画素数と、三次元画像表示用の画像の画素数は等しい。各視差画像は、図1における距離Lに発生した集光点の位置から、表示面を投影面として撮影した多視点画像に相当する。タイル画像の状態で圧縮または展開処理を施しても、画像劣化はタイル境界に生じることから、三次元画像表示時の画像劣化は画面の端に集中し、画面中央の三次元画像は劣化しない。本実施形態の画像処理を施さないII方式の場合は図5で説明したように、二重像が観察される(二重像が観察されない視域が狭い)。
図11に、本実施形態の画像処理を施した9視差一次元II方式のタイル画像を図示した。II方式のタイル画像の生成方法については特開2006−098779号公報に詳しく述べられている。II方式は、多眼式の場合とは異なり、同一視差画像番号を振られたタイルのサイズ(幅)が異なっている。また、構成する視差画像番号の数も多い(多眼式では−4〜4だったのに対して、本実施形態では−8〜8)。
まず、このタイルのサイズ(幅)が一定でないことを説明する。タイル画像とは、同一視差画像番号の画素情報をまとめた形態で、各視差画像は各視点画像であることは多眼式のタイル画像の説明で述べた。II方式では、同一視差画像情報を割り当てられた光線は平行の関係にあることから、平行投影画像が用いられる。そして、視域最適化処理によって(n+1)画素を有する画素グループが離散的に生じることによって、画素グループを構成する視差画像番号が変化する。タイル画像は、視差数番号間隔で画素に表示された視差画像を引き抜くことで生成できる。例えば、図2(a)、2(b)に示す多眼式では、全ての画素グループが9画素から構成されていることから、9画素ごとに視差画像番号を選択すると、全て同一の視差画像番号になる。しかし、本実施形態に係るII方式の場合は、(n+1)個の画素を有する画素グループが形成された時点で9視差ごとに選択した視差画像番号が、元の視差画像番号に対して+nまたは−nだけ変化する。例えば、図6(a)、6(b)では、視域最適化前には視差画像番号−4の画像が表示されていた画素に、視差画像番号5(=−4+9)の画像が表示される。このことから、タイル画像もこれを反映して、視差番号だけ離れた視点画像が組み合わされた図11に示すような形態になる。
II方式のタイル画像には、本実施形態に係る画像処理を施しやすい。図11には破線で示す補助線が描画されているが、補助線間の画素yは、三次元画像表示時の、(n+1)個の画素を有する画素グループが発生する間隔の画素グループの数yに等しい。タイル画像では画素単位であるのに対し、三次元画像表示用の画像では、画素グループ単位で数えられる。そして、本実施の形態に係る補間処理を施す場合は、視差画像番号が切り替わった箇所を中心に処理を行えば良いことから、図11に示す画素境界を中心に太枠で示した、幅y(片方の視差画像にとっては、y/2)の領域に、隣接した視差画像情報を一定割合でお互いに混入させる補間処理を施せば良いことになる。処理を施す幅yは(7)式に従う。y=2のときは、3次元画像表示用画像における(n+1)画素の画素グループの両端の画素に補間処理を施すことを意味する。
(最適化)
最後に、(7)式において、x=y/2とすると1視差分視域を犠牲にしてしまうが、x=y/3に設定すると、帯状の阻害画像を防ぎつつ、0.66視差分しか視域を犠牲にしない。つまり、従来の場合より視域が広がった印象を与える。一方、xが小さすぎると画像によって、帯状の妨害画像を緩和することはできない場合がある。すなわち、より効果的な処理適用範囲は、
y/4 ≦ x ≦ y/3 ・・・(7)
である。
最後に、(7)式において、x=y/2とすると1視差分視域を犠牲にしてしまうが、x=y/3に設定すると、帯状の阻害画像を防ぎつつ、0.66視差分しか視域を犠牲にしない。つまり、従来の場合より視域が広がった印象を与える。一方、xが小さすぎると画像によって、帯状の妨害画像を緩和することはできない場合がある。すなわち、より効果的な処理適用範囲は、
y/4 ≦ x ≦ y/3 ・・・(7)
である。
また、本実施の形態に係る補間処理については、一次元II方式の場合、一方向(水平方向)でも効果があるが、直行方向にも補間処理を施すと、より帯状の妨害画像を緩和できる。また既に述べているが、境界線を中心に、その混入の割合を連続的に変更することはより広い視域を実現するためにも好ましい。
以上の説明で画素と表現した内容は、サブ画素と解釈してもよい。なぜなら画素がRGBのトリプレットにて構成可能なことから、サブ画素ピッチで視差画像情報を表示したほうが再生できる光線の方向を増やせる、すなわち、より高品位な三次元画像が表示できるからである。また、説明および図面はともに水平方向についてのみ説明したが、これに直交する垂直方向にも視差情報を提示する場合(マイクロレンズアレイを用いた二次元II方式など)には、本実施形態で説明した方法をそのまま垂直方向に適用可能である。
以下に、実施例として、本実施形態に係る画像処理を説明する。
まず、II方式の立体画像表示装置の画像データ処理の一般的な構成を図12に示し、画像処理手順を図13に示す。II方式の立体画像表示装置は、既に説明したように、平面表示装置と、射出瞳とを備えている(例えば、図7(a)参照)。平面表示装置は、例えば液晶表示装置であって、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部を備えている。射出瞳は光線制御素子とも呼ばれ、上記平面画像表示部に対向して配置され、前記画素からの光線を制御する。また、立体画像表示装置は、画像データを処理するために、図12に示すように、画像データ処理部30と、画像データ提示部40とを更に備えている。
まず、II方式の立体画像表示装置の画像データ処理の一般的な構成を図12に示し、画像処理手順を図13に示す。II方式の立体画像表示装置は、既に説明したように、平面表示装置と、射出瞳とを備えている(例えば、図7(a)参照)。平面表示装置は、例えば液晶表示装置であって、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部を備えている。射出瞳は光線制御素子とも呼ばれ、上記平面画像表示部に対向して配置され、前記画素からの光線を制御する。また、立体画像表示装置は、画像データを処理するために、図12に示すように、画像データ処理部30と、画像データ提示部40とを更に備えている。
画像データ処理部30は、各視点画像記憶部32と、提示情報入力部34と、タイル画像生成部36と、タイル画像記憶部38とを備えている。また、画像データ提示部40は三次元画像変換部44と、三次元画像提示部46とを備えている。この三次元画像提示部46は上記平面表示装置の平面画像表示部と射出瞳である。
例えば、RAMを用いた各視点画像記憶部32には、取得したまたは与えられた各視点画像が記憶される。一方、提示情報入力部34には、立体画像表示装置のスペック(射出瞳のピッチA、サブ画素ピッチのPp、平面画像表示部の画素数、射出瞳と平面画像表示部用画素の空気換算焦点距離など)が記憶されている。タイル画像生成部36によって、各視点画像記憶部32から各視点画像が読み込まれるとともに提示情報入力部34の情報の情報が読み込まれる(図13のステップS1、S2)。すると、タイル画像生成部36によって、タイル画像が生成され、この生成されたタイル画像は、例えば、VRAMを用いたタイル画像記憶部38に記憶される(図13のステップS3)。ここまでが画像データ処理部30の処理になる。このタイル画像記憶部38から読み出されたタイル画像が画像データ提示部40の三次元画像変換部44において並び替えられて三次元画像表示用の画像が生成される(図13のステップS4)。この生成された三次元画像表示用の画像を三次元画像提示部46において表示する(図13のステップS5)。典型的には、画像データ処理部30は例えばPC(Personal Computer)から構成され、画像データ提示部40は、平面表示装置の平面画像表示部および射出瞳である。三次元画像変換部44での処理は、レンズごとに各視点画像の構成要素である各視点画像情報を並べ替えることに加え、各視点画像が3個のサブ画素から構成されている画素を単位にしているのに対し、三次元画像表示用の画像では視差画像をサブ画素ピッチで配置されることから、画素単位の情報をサブ画素単位で並び替える処理である。サブ画素単位の並び替えを三次元画像変換部44で実行することで、処理速度低下を防ぐことが可能である。
(実施例1)
次に、本発明の実施例1による立体画像表示装置の画像処理を図14および図15を参照して説明する。図14は実施例1の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図15はその画像処理手順を示すフローチャートである。
次に、本発明の実施例1による立体画像表示装置の画像処理を図14および図15を参照して説明する。図14は実施例1の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図15はその画像処理手順を示すフローチャートである。
本実施例の立体画像表示装置は、図14に示すように、画像データ処理部30と、画像データ提示部40とを備えている。画像データ処理部30は、各視点画像記憶部32と、提示情報入力部34と、タイル画像生成部36と、タイル画像記憶部38とを備えている。また、画像データ提示部40は、補間処理部42と、三次元画像変換部44と、三次元画像提示部46とを備えている。すなわち、本実施例は、図12に示す画像データ処理において補間処理部42を新たに設けた構成、すなわち図13に示すフローチャートにおいて補間処理を行うステップS4Aを新たに設けた構成となっている(図14、図15)。この補間処理部42は、タイル画像記憶部から読み出されたタイル画像に、例えば図11に示した境界部分に補間処理を施す。その後、三次元画像変換部44において、画素配列の並び替え処理が施される。
補間処理部42の動作をより具体的に説明する。サブ画素単位に画像情報を並び替える三次元画像変換部44の前に、タイル境界における補間処理を行う補間処理部42の構成を、図16に示す。補間処理部42は、バイリニア法やバイキュービック法などを行う処理手段42aと、補間処理部42で参照する画像データ数よりも1つ少ない画像データ数以上を保存する手段(メモリなど)を備えている。図16には、4種類の画像データを参照して処理部42aによって補間処理を行う構成を示した。
画像データを保存する手段は、3個のD型フリップフロップDFF0、DFF1、DFF2を直列に接続して用いる。3個のフリップフロップDFF0、DFF1、DFF2を直列に接続することにより、画像データは、クロックに同期して、DFF0→DFF1→DFF2へとシフトしていく。このため、入力された画像データ(4番目のデータD3)、DFF0の出力データ(3番目のデータD2)、DFF1の出力データ(2番目のデータD1)、DFF2の出力データ(1番目のデータD0)の4種類を参照することができる。例えば、新たな2番目のデータ(D1’)を生成する際に、1つ前のデータ(D0)、そのデータ(D1)、1つ後のデータ(D2)、2つ後のデータ(D3)を参照する必要がある場合、この構成を用いれば、過不足なく生成できる。もちろん、新たなデータを生成するのに参照するデータの必要数が8であれば、同様の構成で、直列に接続するフリップフロップDFFの数を7個にすれば良い。さらに、フリップフロップDFFの数が、参照データ数より1個少ないことは、最低個数であるので、参照データ数と同数以上であっても構わない。これらのデータを用いて、処理部42aにおいて補間処理が行われ、その後、三次元画像変換部44によって、並べ替え処理が行われる。
なお、図11に示したように、全ての画像データに対し、同様の補間処理を行うわけでなく、全く補間処理を行わない画像データもある。つまり、入力された画像データの順番(位置)により、補間処理の内容が異なる。その異なる処理内容を正しい位置の画像データに行うために、入力されたデータの位置を参照する手段も必要となる。図16に示す構成では、入力されたデータの位置を参照する手段としてアップカウンタ42bを用いる。このアップカウンタ42bを水平同期信号に同期させて動作させれば、データの位置の参照は簡単に行える。
なお、補間処理をサブ画素単位に画像情報を並び替えた後に実施する場合、すなわち図14に示す三次元画像変換部44の後に補間処理部42が設けられる場合(図15に示すフローチャートでは、タイル画像の画素配列を並び替えた後に補間処理を行うステップがくる場合)は、参照するデータが時系列的に並んでいない。そのため、参照するデータを保持するための手段、例えばDFFの個数が、サブ画素単位に画像情報を並び替える前に実施する場合に比べ、多くなる。
三次元画像表示装置の特性により、利用する補間処理の内容が異なることがある。そのため、どの処理内容を利用するかを決める手段を有する必要がある。プログラマブル・ロジック・デバイス(PLD)などを使用していれば、パネル毎に処理内容を書き換えることで対応できるが、ASIC(Application Specific Integrated Circuits)などの書き換え不可のデバイスを用いた場合、このような対応はできない。そのため、利用する予定の処理内容を予め用意し、例えば、提示情報入力部34に記録されたパネルの特性ごとに処理内容を選択する方法がある。この選択方法は種々あり、スイッチや抵抗などを利用するのは広く知られた手段である。それらの方法と異なり、画像出力装置(PCなど)から選択する方法もある。図17に、液晶パネルの信号入力手段として広く用いられているLVDSのコネクタのピンアサインを示す(The Standard Panels Working Group (SPWG)発行:SPWG Notebook Panel Specification Version 3。0)。この30ピンの中で、ピン番号4(EDID V)、ピン番号5(TP)、ピン番号6(EDID CLOCK)、ピン番号7(EDID DATA)は、画像データや制御信号(垂直同期信号、水平同期信号、データイネーブル)に関係ない信号であり、使用されていないことも多い。そのため、この計4ピンを利用すれば、最大16種類の処理内容を、提示情報入力部の情報に応じて選択することが可能となる。
(実施例2)
次に、本発明の実施例2による立体画像表示装置の画像処理を図18および図19を参照して説明する。図18は実施例2の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図19はその画像処理手順を示すフローチャートである。
次に、本発明の実施例2による立体画像表示装置の画像処理を図18および図19を参照して説明する。図18は実施例2の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図19はその画像処理手順を示すフローチャートである。
本実施例の立体画像表示装置は、図18に示すように、補間処理を画像データ処理部30のタイル画像生成部36で行う構成となっている。すなわち、図15に示すフローチャートにおいて、ステップS3とステップS4Aを合併し、各視点画像に基づいて、各視点画像間で補間処理を施しながらタイル画像を生成してタイル画像記憶部38に書き込むような構成を有している。
画像データ処理部30のタイル画像生成部36の中に、補間処理部36aが設けられる。これによって、各視点画像記憶部32から読み出された各視点画像と、液晶パネルのプロファイルとに基づいて、図11に示した境界部分に補間処理を施したタイル画像を直接的に生成し、タイル画像記憶部38に書き込むことができる。このタイル画像記憶部38から読み出されたタイル画像が画像データ提示部40の三次元画像変換部44において並び替えられて三次元画像表示用の画像が生成される(図19のステップS4)。この生成された三次元画像表示用の画像を三次元画像提示部46において表示する(図19のステップS5)。
(実施例3)
次に、本発明の実施例3による立体画像表示装置の画像処理を図20および図21を参照して説明する。図20は実施例3の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図21はその画像処理手順を示すフローチャートである。
次に、本発明の実施例3による立体画像表示装置の画像処理を図20および図21を参照して説明する。図20は実施例3の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図21はその画像処理手順を示すフローチャートである。
本実施例の立体画像表示装置は、コンピュータグラフィックス(以下、CGとも云う)を用いて、リアルタイム描画時における画像データ処理を行うものであって、図20に示すように、画像データ処理部30と、画像データ提示部40とを備えている。画像データ処理部30は、CGデータ記憶部31と、提示情報入力部34と、タイル画像描画部35と、タイル画像記憶部38とを備えている。また、画像データ提示部40は、補間処理部42と、三次元画像変換部44と、三次元画像提示部46とを備えている。
次に、処理手順を説明する。まず、CGによって生成されたCGデータは、例えばRAMを用いたCGデータ記憶部31に記憶される(図21のステップS11)。ここでCGデータとは、ポリゴンやテクスチャなど、CGを描画するために必要な各種データである。そして、このCGデータ記憶部31から読み出されたCGデータと、提示情報入力部34から入力された液晶パネルのプロファイルに基づいて、タイル画像描画部35においてタイル画像が生成される(図21のステップS12,S13)。この生成されたタイル画像は例えば、タイル画像記憶部38に書き込まれる(ステップS13)。タイル画像記憶部38から読み出されたタイル画像は、画像データ提示部40内に設けられた補間処理部42において補間処理が施される(ステップS14)。補間処理された画像データは、三次元画像変換部44において並び替えられて三次元画像表示用の画像が生成される(ステップS15)。この生成された三次元画像表示用の画像を三次元画像提示部46において表示する(ステップS16)。
このように構成された本実施例によれば、画像データ処理部の処理負荷を低減し、リフレッシュレートを改善することができる。
(実施例4)
次に、本発明の実施例4による立体画像表示装置の画像処理を図22および図23を参照して説明する。図22は実施例4の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図23はその画像処理手順を示すフローチャートである。
次に、本発明の実施例4による立体画像表示装置の画像処理を図22および図23を参照して説明する。図22は実施例4の立体画像表示装置に係る画像データ処理の構成を示すブロック図、図23はその画像処理手順を示すフローチャートである。
本実施例の立体画像表示装置による画像データ処理は、実施例3とは異なる、リアルタイム描画時の処理である。
本実施例の立体画像表示装置における画像データ処理は、図22に示すように、補間処理を画像データ処理部30のタイル画像描画部35の処理後に行う構成となっている。すなわち、図21に示すフローチャートにおいて、ステップS14をステップS14Aに置き換えた構成となっており、タイル画像描画部35からタイル画像を読み出し、補間処理を行った後、タイル画像記憶部38に書き込む。タイル画像記憶部38から読み出されたタイル画像は、三次元画像変換部44において並び替えられて三次元画像表示用の画像が生成される(ステップS15)。この生成された三次元画像表示用の画像を三次元画像提示部46において表示する(ステップS16)。
補間処理が全て画像データ処理部40にて行われる本実施例は、画像データ提示部40の変更に対応できる汎用性を確保できる。
(実施例5)
実施例1乃至実施例4で説明した補間方法は、バイリニア法やバイキュービック法などがあるが、よく知られている面積階調処理を用いても良い。この場合は、補間処理を行うことなく、同様の効果を得ることができる。すなわち、図14、18、20、22に示す補間処理部を面積階調処理部に置き換えることで、補間を行うために必要だったメモリー領域を削減することができる。例えば、図14に示す第1実施異例においては、補間処理部42を面積階調処理部43に置き換えればよい(図24参照)。
実施例1乃至実施例4で説明した補間方法は、バイリニア法やバイキュービック法などがあるが、よく知られている面積階調処理を用いても良い。この場合は、補間処理を行うことなく、同様の効果を得ることができる。すなわち、図14、18、20、22に示す補間処理部を面積階調処理部に置き換えることで、補間を行うために必要だったメモリー領域を削減することができる。例えば、図14に示す第1実施異例においては、補間処理部42を面積階調処理部43に置き換えればよい(図24参照)。
以上説明したように、本発明の一実施形態によれば、帯状の妨害画像の見え方を緩和し、自然にサイドローブに移行することができる。このため、三次元画像の表示品位を大幅に改善することが可能となる。
10 平面表示装置
15 画素グループ
20 射出瞳(光線制御素子)
30 画像データ処理部
31 CGデータ記憶部
32 各視点画像記憶部
34 提示情報入力部
35 タイル画像描画部
36 タイル画像生成部
37 補間処理部
38 タイル画像記憶部
40 画像データ提示部
42 補間処理部
43 面積階調処理部
44 三次元画像変換部
46 三次元画像提示部
15 画素グループ
20 射出瞳(光線制御素子)
30 画像データ処理部
31 CGデータ記憶部
32 各視点画像記憶部
34 提示情報入力部
35 タイル画像描画部
36 タイル画像生成部
37 補間処理部
38 タイル画像記憶部
40 画像データ提示部
42 補間処理部
43 面積階調処理部
44 三次元画像変換部
46 三次元画像提示部
Claims (8)
- 画素がマトリクス状に配列された平面画像表示部と、前記平面画像表示部に対向して配置され、前記画素からの光線を制御する射出瞳が少なくとも一の方向に配列された光線制御素子と、を備えた表示装置に三次元画像を表示する三次元画像表示方法であって、
前記射出瞳ひとつに対して、前記平面画像表示部の複数の画素が画素グループとして対応付けられた三次元画像表示用画像を生成し、
nを2以上の自然数とすると、前記画素グループのそれぞれを、この画素グループの一の方向の画素数がnとなる第1画素グループと、画素数が(n+1)となる第2画素グループのいずれかに設定するステップと、
前記第2の画素グループを、前記第1画素グループの間に、離散的かつ略一定間隔に配置するステップと、
前記第2画素グループの両端の画素の視差情報をお互いに混入させる補間処理を行うステップと、
を備えていることを特徴とする三次元画像表示方法。 - 前記第2画素グループに隣接した二つの前記第1画素グループにおける前記第2画素グループから最も遠い画素の視差画像と、前記画素に隣接する、前記第1画素グループと異なる画素グループの画素の視差画像とを混入させる補間処理を行うステップを更に備え、
前記第2画素グループの両端の画素において視差情報が混入される割合を最も高くし、
前記第2画素グループから離れるにしたがって、前記第1画素グループの前記第2画素グループから最も遠い画素における視差画像の混入の割合を減少させることを特徴とする請求項1記載の三次元画像表示方法。 - 視差情報を混入させる処理が行われる前記第1画素グループの数は、前記第2画素グループの間にある前記第1画素グループの総数の1/2以下であることを特徴とする請求項2記載の三次元画像表示方法。
- 前記三次元画像表示用画像を、同一の視差画像番号毎にまとめてタイル状のタイル画像を生成するステップと、
視差画像番号が異なる隣接したタイル画像の境界を中心に、前記補間処理を行うことを特徴とする請求項1乃至3のいずれかに記載の三次元画像表示方法。 - 前記補間処理が、前記タイル画像の生成時にソフトウェア的に実施されることを特徴とする請求項4記載の三次元画像表示方法。
- 前記補間処理が、前記三次元画像表示用画像の生成時にソフトウェア的に、または回路的に行われることを特徴とする請求項1乃至4のいずれかに記載の三次元画像表示方法。
- 前記補間処理は面積階調的に行われることを特徴とする請求項5または6記載の三次元画像表示方法。
- 画素がマトリクス状に配列された平面画像表示部と、前記平面画像表示部に対向して配置され、前記画素からの光線を制御する射出瞳が少なくとも一の方向に配列された光線制御素子と、を備えた三次元画像表示装置であって、
前記射出瞳は、前記射出瞳ひとつに対して、前記平面画像表示部の複数の画素が画素グループとして対応付けられ、
nを2以上の自然数とすると、前記画素グループのそれぞれを、この画素グループの一の方向の画素数がnとなる第1画素グループと、画素数が(n+1)となる第2画素グループのいずれかに設定する設定部と、
前記第2の画素グループを、前記第1画素グループの間に、離散的かつ略一定間隔に配置する配置部と、
前記第2画素グループの両端の画素の視差情報をお互いに混入させる補間処理を行う補間処理部と、
を備えていることを特徴とする三次元画像表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008083723A JP5342796B2 (ja) | 2008-03-27 | 2008-03-27 | 三次元画像表示方法および装置 |
PCT/JP2009/054226 WO2009119279A1 (en) | 2008-03-27 | 2009-02-27 | Three-dimensional image display method and apparatus |
US12/811,057 US20110032339A1 (en) | 2008-03-27 | 2009-02-27 | Three-dimensional image display method and apparatus |
TW098108763A TW201001331A (en) | 2008-03-27 | 2009-03-18 | Three-dimensional image display method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008083723A JP5342796B2 (ja) | 2008-03-27 | 2008-03-27 | 三次元画像表示方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009239665A JP2009239665A (ja) | 2009-10-15 |
JP5342796B2 true JP5342796B2 (ja) | 2013-11-13 |
Family
ID=40750834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008083723A Expired - Fee Related JP5342796B2 (ja) | 2008-03-27 | 2008-03-27 | 三次元画像表示方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110032339A1 (ja) |
JP (1) | JP5342796B2 (ja) |
TW (1) | TW201001331A (ja) |
WO (1) | WO2009119279A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053165A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、プログラムおよび情報処理方法 |
JP5269027B2 (ja) * | 2010-09-30 | 2013-08-21 | 株式会社東芝 | 三次元画像表示装置および画像処理装置 |
JP2015039064A (ja) | 2010-12-21 | 2015-02-26 | 株式会社東芝 | 画像処理装置 |
JP5617647B2 (ja) | 2011-01-14 | 2014-11-05 | ソニー株式会社 | 立体画像表示装置 |
EP2495978A1 (de) * | 2011-03-04 | 2012-09-05 | 3D Impact Media | Bildwiedergabeverfahren für ein autostereoskopisches Display |
WO2012131887A1 (ja) * | 2011-03-29 | 2012-10-04 | 株式会社 東芝 | 三次元映像表示装置 |
JP6050941B2 (ja) * | 2011-05-26 | 2016-12-21 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 表示装置および方法、並びにプログラム |
CN102860836B (zh) * | 2011-07-04 | 2015-01-07 | 株式会社东芝 | 图像处理装置、图像处理方法以及医用图像诊断装置 |
JP5921102B2 (ja) * | 2011-07-19 | 2016-05-24 | 株式会社東芝 | 画像処理システム、装置、方法及びプログラム |
TW201326902A (zh) * | 2011-12-29 | 2013-07-01 | Ind Tech Res Inst | 立體顯示系統及其影像顯示方法 |
WO2013102500A1 (en) * | 2012-01-06 | 2013-07-11 | Ultra-D Coöperatief U.A. | Display processor for 3d display |
KR101911250B1 (ko) * | 2012-03-19 | 2018-10-24 | 엘지전자 주식회사 | 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 |
JP2012213188A (ja) * | 2012-05-29 | 2012-11-01 | Toshiba Corp | 映像信号処理装置および処理方法ならびに映像表示装置 |
JP5343157B2 (ja) * | 2012-07-13 | 2013-11-13 | 株式会社東芝 | 立体画像表示装置、表示方法、およびテストパターン |
WO2014013805A1 (ja) * | 2012-07-18 | 2014-01-23 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
KR102135686B1 (ko) * | 2014-05-16 | 2020-07-21 | 삼성디스플레이 주식회사 | 입체영상 표시장치 및 이의 구동 방법 |
KR102463170B1 (ko) | 2015-10-07 | 2022-11-04 | 삼성전자주식회사 | 3차원 영상을 표시하는 장치 및 방법 |
US10511831B2 (en) | 2017-01-04 | 2019-12-17 | Innolux Corporation | Display device and method for displaying |
JP7169225B2 (ja) * | 2019-02-26 | 2022-11-10 | 株式会社平和 | 遊技機 |
JP7141975B2 (ja) * | 2019-03-26 | 2022-09-26 | 京セラ株式会社 | 画像表示モジュール、画像表示システム、移動体、画像表示方法及び画像表示プログラム |
CN112859374B (zh) * | 2021-04-01 | 2022-11-08 | 成都航空职业技术学院 | 基于渐变孔径狭缝光栅的3d显示方法 |
CN112859375B (zh) * | 2021-04-01 | 2022-11-08 | 成都航空职业技术学院 | 宽视角集成成像3d显示方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940003639B1 (ko) * | 1992-05-07 | 1994-04-25 | 주식회사 금성사 | 열전사 감열기록기기의 면적계조 제어장치와 방법 |
JPH08146348A (ja) * | 1994-11-22 | 1996-06-07 | Hitachi Ltd | 単眼観視距離感調節式ディスプレイ装置 |
US6064424A (en) * | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
JP3851384B2 (ja) * | 1996-09-18 | 2006-11-29 | シャープ株式会社 | 画像合成装置および方法 |
US6501481B1 (en) * | 1998-07-28 | 2002-12-31 | Koninklijke Philips Electronics N.V. | Attribute interpolation in 3D graphics |
TW384454B (en) * | 1998-09-25 | 2000-03-11 | Ulead Systems Inc | Processing method for versatile 3D graphic articles |
US7224382B2 (en) * | 2002-04-12 | 2007-05-29 | Image Masters, Inc. | Immersive imaging system |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
US7425951B2 (en) * | 2002-12-27 | 2008-09-16 | Kabushiki Kaisha Toshiba | Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus |
JP3942569B2 (ja) * | 2003-09-04 | 2007-07-11 | オリンパス株式会社 | 撮像装置および画像データの変換方法 |
JP4002875B2 (ja) * | 2003-09-16 | 2007-11-07 | 株式会社東芝 | 立体画像表示装置 |
JP4271155B2 (ja) * | 2004-02-10 | 2009-06-03 | 株式会社東芝 | 三次元画像表示装置 |
JP4015124B2 (ja) * | 2004-03-03 | 2007-11-28 | 株式会社東芝 | 三次元画像表示装置 |
JP3944188B2 (ja) * | 2004-05-21 | 2007-07-11 | 株式会社東芝 | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 |
JP4440067B2 (ja) * | 2004-10-15 | 2010-03-24 | キヤノン株式会社 | 立体表示のための画像処理プログラム、画像処理装置および立体表示システム |
EP1708010A1 (en) * | 2005-03-28 | 2006-10-04 | Kabushiki Kaisha Toshiba | Image display apparatus |
JP4844142B2 (ja) * | 2006-02-06 | 2011-12-28 | セイコーエプソン株式会社 | プリンタ |
JP4714116B2 (ja) * | 2006-09-07 | 2011-06-29 | 株式会社東芝 | 立体映像表示装置および立体映像表示方法 |
-
2008
- 2008-03-27 JP JP2008083723A patent/JP5342796B2/ja not_active Expired - Fee Related
-
2009
- 2009-02-27 US US12/811,057 patent/US20110032339A1/en not_active Abandoned
- 2009-02-27 WO PCT/JP2009/054226 patent/WO2009119279A1/en active Application Filing
- 2009-03-18 TW TW098108763A patent/TW201001331A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2009119279A1 (en) | 2009-10-01 |
JP2009239665A (ja) | 2009-10-15 |
US20110032339A1 (en) | 2011-02-10 |
TW201001331A (en) | 2010-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5342796B2 (ja) | 三次元画像表示方法および装置 | |
JP4714115B2 (ja) | 立体映像表示装置および立体映像表示方法 | |
JP5269027B2 (ja) | 三次元画像表示装置および画像処理装置 | |
US7742046B2 (en) | Method, device, and program for producing elemental image array for three-dimensional image display | |
JP4301565B2 (ja) | マルチプルビューディスプレイ | |
EP1971159A2 (en) | Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data | |
TWI446007B (zh) | Three - dimensional image display device and three - dimensional image display method | |
JP4714116B2 (ja) | 立体映像表示装置および立体映像表示方法 | |
EP2242280A2 (en) | Display controller, display device, image processing method, and image processing program | |
KR101574917B1 (ko) | 3d 디스플레이 방법 | |
KR101188429B1 (ko) | 색분리 현상을 제거한 고해상도 표시 패널 및 이를 이용한입체 영상 표시 장치 | |
JP5772688B2 (ja) | 裸眼立体ディスプレイ装置 | |
JP2010524309A (ja) | 三次元表示する方法および構成 | |
JP2012249060A (ja) | 裸眼立体ディスプレイ装置 | |
KR20160079556A (ko) | 무안경 입체영상표시장치 | |
CN113302549B (zh) | 自动立体显示器 | |
CN102413352A (zh) | 基于rgbw正方形子像素的跟踪式自由立体显示屏 | |
JPWO2011058967A1 (ja) | パララックスバリアフィルタ | |
CN102457744A (zh) | 三维图像显示设备 | |
JP5621500B2 (ja) | 立体表示装置および立体表示方法 | |
KR101239058B1 (ko) | 원거리용 무안경방식 입체영상 디스플레이 장치 | |
KR102081111B1 (ko) | 입체 영상 디스플레이 장치의 구동방법 | |
KR100662429B1 (ko) | 입체 영상 표시 장치 | |
JP4393496B2 (ja) | 立体映像表示装置 | |
JP2024527209A (ja) | 表示パネルの表示方法及びその表示制御装置、表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
LAPS | Cancellation because of no payment of annual fees |