JP4807499B2

JP4807499B2 - 画像処理システム、表示装置、プログラムおよび情報記憶媒体

Info

Publication number: JP4807499B2
Application number: JP2006047091A
Authority: JP
Inventors: 英司中谷
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-02-23
Filing date: 2006-02-23
Publication date: 2011-11-02
Anticipated expiration: 2026-02-23
Also published as: CN100541595C; JP2007228266A; US20070195161A1; CN101025901A

Description

本発明は、視差バリア方式の立体視用の画像処理システム、表示装置、プログラムおよび情報記憶媒体に関する。

例えば、特許文献１には、副画素単位で視差バリアが設けられた視差バリア方式の立体視用の立体画像処理方法が記載されている。
特開２００４−３３４５５０号公報

特許文献１等の従来の手法では、視点毎に全画素数分の画像データのレンダリング等を行う必要があった。

しかし、視差バリア方式の立体視の場合、実際に立体として見えるのは全画素数よりも少ない実効画素数の画像である。例えば、４視点の階段状の視差バリア方式の立体視の場合、全画素が、横が８００画素で縦が６００画素であるならば、実効画素は、横が６００画素で縦が２００画素となる。

つまり、従来の手法では、視点毎に全画素数分の画像データのレンダリング等を行っているため、画像処理に無駄があった。

本発明の目的は、視差バリア方式の立体視の画像処理において、より効率的に画像処理を実行することが可能な画像処理システム、表示装置、プログラムおよび情報記憶媒体を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、視差バリア方式の立体視用の画像処理システムであって、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
前記第１〜第ｎの各視点に対応した固有領域として区分されたスクリーンバッファと、
前記画像情報を前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報に基づいて液晶パネルに画像信号を出力する出力部と、
を含むことを特徴とする。

また、本発明に係るプログラムは、視差バリア方式の立体視用の液晶パネルと、第１〜第ｎ（ｎは２以上の整数）の各視点に対応した固有領域として区分されたスクリーンバッファとを有する表示装置のコンピュータを、
前記第１〜第ｎの視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
前記画像情報を前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報に基づいて液晶パネルに画像信号を出力する出力部として機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。

本発明によれば、画像処理システム等は、視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成してスクリーンバッファに転送し、スクリーンバッファに転送された画像情報に基づいて画像信号を液晶パネルに出力することにより、従来のように実際の画素数分のレンダリング等を行う場合と比べ、レンダリング等の処理負荷が軽減される。これにより、画像処理システム等は、視差バリア方式の立体視の画像処理において、より効率的に画像処理を実行することができる。

また、前記低解像度の画素数は、前記視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数であってもよい。

また、前記画像情報生成部は、レンダリングによって前記画像情報を生成してもよい。

これによれば、画像処理システム等は、低解像度でレンダリングを行うことにより、実際の解像度でレンダリングを行う場合と比べ、処理負荷を軽減できる。

また、前記出力部は、各視点に対応付けたマスクパターンに基づき、前記スクリーンバッファの各固有領域を同時に参照して、立体視画像が観察されるように、副画素の成分を合成して前記画像信号を液晶パネルに出力してもよい。

これによれば、画像処理システム等は、マスクパターンに基づいてどの視点用のどの画素データをスクリーンバッファに転送すればよいかを適切に判定できる。

また、前記画像処理システムおよび前記コンピュータは、前記スクリーンバッファより高速な読み書きが可能なラインバッファを前記視点ごとに複数含み、
前記出力部は、前記スクリーンバッファの各固有領域に記憶された画像情報に含まれる１〜数ラインに相当する部分情報を、各視点に割当てられた前記ラインバッファに転送しつつ、当該部分情報を各視点に対応付けられたマスクパターンに基づいて副画素の成分を合成した画像信号として液晶パネルに出力してもよい。

これによれば、画像処理システム等は、ラインバッファ単位で画像情報を管理できるため、より効率的に画像処理を実行することができる。

また、本発明に係る表示装置は、上記画像処理システムを有する表示装置であって、
視差バリアが副画素単位で設けられた液晶パネルを含み、
前記マスクパターンは、前記視差バリアの位置に基づいて設定されたものであることを特徴とする。

本発明によれば、表示装置は、視差バリアの位置に基づいて設定されたマスクパターンを用いることにより、副画素単位で画像処理を実行することができる。

以下、本発明を表示装置に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

図１は、本実施例における表示装置１００の機能ブロック図である。

表示装置１００は、第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成してスクリーンバッファ１４０に転送する画像情報生成部１１０と、第１〜第ｎの各視点に対応した固有領域として区分されたスクリーンバッファ１４０と、画像情報をスクリーンバッファ１４０に転送する転送部１３０と、スクリーンバッファ１４０に転送された画像情報に基づいて液晶パネルに画像信号を出力する出力部１５０と、液晶パネルを含む表示部１６０とを含んで構成されている。

なお、画像情報生成部１１０、転送部１３０、スクリーンバッファ１４０および出力部１５０は、視差バリア方式の立体視用の画像処理システムとしても機能する。

また、表示装置１００は、情報記憶媒体２００からプログラムを読み取ることにより、これらの各部の機能を実装してもよい。

なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。また、表示装置１００は、ネットワークを介してプログラムをダウンロードすることにより、これらの各部の機能を実装してもよい。

また、これらの各部を実装するためのハードウェアとしては以下のものを採用可能である。

図２は、本実施例における表示装置のハードウェアブロック図である。

例えば、表示装置１００は、ＣＰＵ３０１と、ＣＰＵ用ワークＲＡＭ３０２と、プログラムＲＯＭ３０３と、ＧＰＵ３０４と、ＶＲＡＭ３０５と、画像ＲＯＭ３０６と、液晶パネル３０７とを含んで構成されている。

例えば、画像情報生成部１１０、転送部１３０、出力部１５０の機能はＧＰＵ３０４によって実装可能であり、スクリーンバッファ１４０の機能はＶＲＡＭ３０５によって実装可能であり、表示部１６０の機能は液晶パネル３０７によって実装可能である。また、画像情報生成部１１０の機能の一部をＣＰＵ３０１によって実装してもよいし、転送部１３０の機能の一部をＣＰＵ用ワークＲＡＭ３０２、プログラムＲＯＭ３０３によって実装してもよい。

また、液晶パネル３０７は、視差バリアが設けられた立体視用の液晶パネルである。なお、想定する視点の数は２以上の任意の整数（例えば、２、４、７等）を採用可能である。

また、液晶パネル３０７は、副画素単位で視差バリアが設けられた立体視用の液晶パネルである。ここで、２視点の場合と４視点の場合の立体視について説明する。

図１１は、２視点の視差バリア方式の立体視の模式図である。また、図１２は、４視点の視差バリア方式の立体視の模式図である。

２視点の場合、ＬＣＤ６３０の前に不透明の視差バリア６２０が設けられ、観察者が、レンズフィルター６１０を介して右目用の視点１（ＰＲ）で右目用の画素Ｒを観察し、左目用の視点２（ＰＬ）で左目用の画素Ｌを観察することにより、立体視が実現される。なお、視差バリア６２０は、ＬＣＤ６２０の後ろに設けられてもよい。

また、４視点の場合も２視点の場合と同様に、ＬＣＤ７３０の前に不透明の視差バリア７２０が設けられ、観察者が、レンズフィルター７１０を介して視点１（Ｐ１）、視点２（Ｐ２）、視点３（Ｐ３）、視点４（Ｐ４）のいずれかの隣接する２つの視点で画素１〜画素４のいずれかを観察することにより、立体視が実現される。なお、視差バリア７２０は、ＬＣＤ７２０の後ろに設けられてもよい。

以下、４視点の場合の３Ｄ画像処理を例に採り説明する。

まず、３Ｄモデルのセットアップから画像の表示までの従来の画像処理手順について説明する。

図３は、従来の画像処理手順を示すフローチャートである。

従来の表示装置は、画像の更新時に、３Ｄモデルのセットアップ（頂点演算、頂点データおよびテクスチャデータの転送）を行う（ステップＳ１）。

そして、表示装置は、カメラのセットアップを行い（ステップＳ２）、全画素数（例えば、液晶パネルの実際の解像度が８００×６００画素であれば、４８００００個）分のレンダリングを行う（ステップＳ３）。

さらに、表示装置は、ステップＳ２、Ｓ３の処理を全視点終了するまで（ステップＳ５）、視点ごとに実行する。すなわち、４視点であれば、上記例では、１９２００００個分のレンダリングが行われる。

そして、全視点分のレンダリング終了後、表示装置は、レンダリング後の全視点分の画像情報をスクリーンバッファで合成し（ステップＳ６）、当該画像情報を液晶パネルに転送して画像を表示する（ステップＳ７）。

これに対し、本実施例の表示装置１００は、実効画素数分のレンダリングを行うことにより、従来と比べてレンダリングにかかる時間を短縮している。

図４は、本実施例の画像処理手順を示すフローチャートである。

ＣＰＵ３０１は、画像の更新時に、３Ｄモデルのセットアップ（頂点演算、頂点データおよびテクスチャデータの転送）を行う（ステップＳ１）。

そして、画像情報生成部１１０（ＧＰＵ３０４）は、カメラのセットアップを行い（ステップＳ２）、実効画素数（視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数、例えば、液晶パネルが８００×６００画素であれば、実効画素数または実効解像度は６００×２００＝１２００００個）分のレンダリングを行う（ステップＳ３ａ）。

図５は、視点１用の画素群を示す模式図である。また、図６は、視点２用の画素群を示す模式図である。また、図７は、視点３用の画素群を示す模式図である。また、図８は、視点４用の画素群を示す模式図である。なお、図５〜図８に示す画素群は画像の一部のみを示す。

本実施例では、階段状の視差バリア方式を採用している。例えば、図５に示すように、Ｒ画素（右が上がっている斜線のハッチング部分）、Ｇ画素（クロスのハッチング部分）、Ｂ画素（左が上がっている斜線のハッチング部分）が斜めに配置され、これらの３つの副画素によって視点１の画素が表される。また、破線で囲んだ部分は実効解像度の座標（０，０）の視点１用の画素である。

また、図５〜図８を比較すればわかるように、視点２用の画素としては視点１用の画素の右隣の画素が使用され、視点３用の画素としては視点２用の画素の右隣の画素が使用され、視点４用の画素としては視点３用の画素の右隣の画素が使用される。

また、４視点の階段状の視差バリア方式の場合、実効解像度（実効画素数）は、水平方向の解像度が３／４で、垂直方向の解像度が１／３になる。このため、液晶パネル３０７の全画素が８００×６００画素の場合、実効画素数は６００×２００画素となる。

また、画像情報生成部１１０は、視点ごとの画像情報をスクリーンバッファ１４０の各視点用の固有領域に転送する（ステップＳ４）。

図９は、視点１用の固有領域における画素配置の一例を示す模式図である。

視点１用の固有領域では、例えば、実効解像度の座標（０，０）におけるＲ画素、Ｇ画素、Ｂ画素、座標（０，１）におけるＲ画素、Ｇ画素、Ｂ画素、座標（０，２）におけるＲ画素、Ｇ画素、Ｂ画素といった順番で副画素ごとの画像情報が配置される。なお、視点２、視点３、視点４用の固有領域も同様である。

さらに、表示装置１００は、ステップＳ２〜Ｓ４の処理を全視点終了するまで（ステップＳ５）、視点ごとに実行する。すなわち、４視点であれば、上記例では、６００×２００×４＝４８００００個分のレンダリングが行われる。

そして、全視点分のレンダリング終了後、出力部１５０は、各視点に対応付けたマスクパターンに基づき、スクリーンバッファ１４０の各固有領域を同時に参照して、立体視画像が観察されるように、各固有領域における副画素の成分を合成した画像信号を液晶パネルに出力することにより、合成しながら画像を表示する（ステップＳ７ａ）。なお、マスクパターン（より具体的には、例えば、ピクセルマスク、カラーマスク等）を示すデータは、視差バリアに応じて生成され、画像ＲＯＭ３０６等に記憶されている。

図１０は、液晶パネル３０７における画素配置の一例を示す模式図である。なお、図１０に示す画素配置は画像の一部のみを示す。

図１０において、「１−Ｒ（０，０）」は、実効解像度の座標（０，０）における視点１用のＲ画素を示す。例えば、液晶パネル３０７の左上から「１−Ｒ（０，０）」、「２−Ｇ（０，０）」、「３−Ｂ（０，０）」、「４−Ｒ（０，０）」、「１−Ｇ（０，１）」、「２−Ｂ（０，１）」といった順番で副画素が配置される。

すなわち、レンダリング時の解像度は従来と異なるが、表示時の解像度（液晶パネル３０７の画素配置）は従来と同様であるため、表示装置１００は、適切な解像度で画像を表示することができる。

また、このように、液晶パネル３０７における副画素の配置位置は固定であり、スクリーンバッファ１４０の固有領域における副画素の配置も固定であるため、出力部１５０による出力処理をハードウェアロジックで実行できるため、ソフトウェア的に実行する場合と比べ、出力処理をより高速に実行できる。

また、本実施例によれば、表示装置１００は、視点ごとに実際の解像度よりも低い実効解像度の画素数で構成される画像情報を生成してスクリーンバッファ１４０に転送し、スクリーンバッファ１４０に転送された画像情報に基づいて画像信号を出力することにより、従来のように実際の画素数分のレンダリング等を行う場合と比べ、レンダリング等の処理負荷が軽減される。より具体的には、上述した実施例では、レンダリング回数は、従来の手法では１９２万回であるが、本実施例の手法では４８万回であり、４分の１になっている。

これにより、表示装置１００は、視差バリア方式の立体視の画像処理において、レンダリング等の画像処理負荷を軽減し、より効率的に画像処理を実行することができる。また、画像処理負荷の軽減により、表示装置１００の消費電力が抑制され、省エネにも寄与する。

また、本実施例によれば、表示装置１００は、視差バリアの位置に基づいて設定されたマスクパターンを用いることにより、副画素単位で画像処理を実行することができる。

なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。

例えば、上述した実施例では、表示装置１００は、スクリーンバッファ１４０のみを用いているが、ラインバッファ１２０を併用してもよい。

例えば、表示装置１００にスクリーンバッファ１４０より高速な読み書きが可能なラインバッファを視点ごとに設けてもよい。

そして、出力部１５０が、スクリーンバッファ１４０の固有領域に記憶された画像情報に含まれる１〜数ラインに相当する部分情報を、各視点に割当てられたラインバッファに転送しつつ、当該部分情報を各視点に対応付けられたマスクパターンに基づいて副画素の成分を合成した画像信号として液晶パネルに出力してもよい。

これによれば、表示装置１００は、ラインバッファを用いることにより、ラインバッファ単位で画像情報を管理できる上、ラインバッファをキャッシュメモリまたはＦＩＦＯメモリとして用いることができ、出力部１５０による出力処理をより効率化できる。

また、上述した実施例では、画像情報生成部１１０は、実効解像度の画素数で構成される画像情報を生成したが、実際の解像度よりも低い低解像度であればよく、実効解像度には限定されない。

また、液晶パネル３０７の視差バリアは階段状（斜め）のものに限定されず、一定間隔で一方向に配置される視差バリアであってもよい。すなわち、副画素の配置は図６〜図８に示す例に限定されない。

なお、上述した表示装置１００としては、具体的には、例えば、パチンコ機、スロット機等の遊技機、ゲーム装置、液晶ディスプレイ、液晶ディスプレイ一体型ＰＣ等の種々の装置が該当する。また、表示装置１００の機能を複数の装置（例えば、ＰＣと液晶ディスプレイ等）に分散して実装してもよい。

本実施例における表示装置の機能ブロック図である。本実施例における表示装置のハードウェアブロック図である。従来の画像処理手順を示すフローチャートである。本実施例の画像処理手順を示すフローチャートである。視点１用の画素群を示す模式図である。視点２用の画素群を示す模式図である。視点３用の画素群を示す模式図である。視点４用の画素群を示す模式図である。視点１用の固有領域における画素配置の一例を示す模式図である。液晶パネルにおける画素配置の一例を示す模式図である。２視点の視差バリア方式の立体視の模式図である。４視点の視差バリア方式の立体視の模式図である。

符号の説明

１００表示装置、１１０画像情報生成部、１３０転送部、１４０スクリーンバッファ、１５０出力部、１６０表示部、２００情報記憶媒体、３０７液晶パネル

Claims

視差バリア方式の立体視用の画像処理システムであって、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
前記第１〜第ｎの各視点に対応した固有領域として区分されたスクリーンバッファと、
前記画像情報を、前記低解像度の座標の順番で副画素ごとに配置するように前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報に基づいて液晶パネルに画像信号を出力する出力部と、
を含むことを特徴とする画像処理システム。
請求項１に記載の画像処理システムにおいて、
前記低解像度の画素数は、前記視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数であることを特徴とする画像処理システム。
請求項１、２のいずれかに記載の画像処理システムにおいて、
前記画像情報生成部は、レンダリングによって前記画像情報を生成することを特徴とする画像処理システム。
請求項１〜３のいずれかに記載の画像処理システムにおいて、
前記出力部は、各視点に対応付けたマスクパターンに基づき、前記スクリーンバッファの各固有領域を同時に参照して、立体視画像が観察されるように、副画素の成分を合成して前記画像信号を液晶パネルに出力することを特徴とする画像処理システム。
請求項１〜４のいずれかに記載の画像処理システムは、
前記スクリーンバッファより高速な読み書きが可能なラインバッファを前記視点ごとに複数含み、
前記出力部は、前記スクリーンバッファの各固有領域に記憶された画像情報に含まれる１〜数ラインに相当する部分情報を、各視点に割当てられた前記ラインバッファに転送しつつ、当該部分情報を各視点に対応付けられたマスクパターンに基づいて副画素の成分を合成した画像信号として液晶パネルに出力することを特徴とする画像処理システム。
請求項４、請求項４に従属する請求項５のいずれかに記載の画像処理システムを有する表示装置であって、
視差バリアが副画素単位で設けられた液晶パネルを含み、
前記マスクパターンは、前記視差バリアの位置に基づいて設定されたものであることを特徴とする表示装置。
視差バリア方式の立体視用の液晶パネルと、第１〜第ｎ（ｎは２以上の整数）の各視点に対応した固有領域として区分されたスクリーンバッファとを有する表示装置のコンピュータを、
前記第１〜第ｎの視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
前記画像情報を、前記低解像度の座標の順番で副画素ごとに配置するように前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報に基づいて液晶パネルに画像信号を出力する出力部として機能させることを特徴とするプログラム。
請求項７に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。