[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020048115A - 投影装置、投影方法およびプログラム - Google Patents

投影装置、投影方法およびプログラム Download PDF

Info

Publication number
JP2020048115A
JP2020048115A JP2018176148A JP2018176148A JP2020048115A JP 2020048115 A JP2020048115 A JP 2020048115A JP 2018176148 A JP2018176148 A JP 2018176148A JP 2018176148 A JP2018176148 A JP 2018176148A JP 2020048115 A JP2020048115 A JP 2020048115A
Authority
JP
Japan
Prior art keywords
image
projection
black
sub
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018176148A
Other languages
English (en)
Inventor
梓 岡
Azusa Oka
梓 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018176148A priority Critical patent/JP2020048115A/ja
Publication of JP2020048115A publication Critical patent/JP2020048115A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】画素ずらしによる高解像度化と黒画像の挿入による動画の視認性改善を両立させる。【解決手段】投影装置は、1フレーム期間を分割した複数のサブフレーム期間と同期して投影画像の投影位置を複数の位置の間で移動させる移動部と、複数のサブフレーム期間と同期して前記投影画像を出力する投影部と、投影画像を生成するために入力画像を処理する画像処理部と、を備える。画像処理部は、1フレームの入力画像から複数のサブフレームを生成し、複数の位置のうちの所定の位置に投影位置が制御されるサブフレーム期間に複数のサブフレームのうち投影位置に対応するサブフレームを投影画像として出力し、他のサブフレーム期間に黒画像を投影画像として出力する。【選択図】 図1

Description

本発明は、画素ずらし技術および、黒挿入による動画視認性改善技術を用いた投影装置に関するものである。
近年、画素ずらし技術によってパネル解像度以上の高解像度を実現する投影システムが提案されている。画素ずらし技術とは、投影位置を変えずに投影した画像光と、1画素以下の精度で投影位置をずらした画像光とを切り替えて表示する技術である。投影面上のこれらの画像光は画素がずれた状態で重畳され、疑似的に解像度を向上させることが出来る。特許文献1では1枚のフレームを4枚のサブフレームに分割し、それぞれの投影位置を画素ずらしデバイスを用いて時分割に水平方向、垂直方向、水平垂直方向に1/2画素ずらして表示することで、高解像度化を実現している。以下、特許文献1における画素ずらし方向と量の組み合わせを、本明細書では水平垂直4方向画素ずらしと呼ぶ。水平垂直4方向画素ずらしは、1フレームを4枚に分割することによって、1フレームが持つ情報量が非画素ずらし時と比較し4倍になる。
また、動画内のオブジェクトを目で追従することで現フレームより前のオブジェクトの残像が脳内で積分され、尾引きとして視認されることで、解像感が低下してしまうことがある。これに対し、特許文献2では、1フレームの画像を複数のサブフレームに分割し、複数サブフレーム画像の一部フレームを黒画像に置き換えることによってオブジェクトの残像情報を減らし、動画の解像感低下を抑制することを実現している。以下、特許文献2における動画視認性改善技術を、本明細書では黒挿入と呼ぶ。
特開2017−027024号公報 特開2011−221500号公報
前述の水平垂直4方向画素ずらしを実現するためには、1フレーム期間に4回画像を表示する必要がある。すなわち、パネルの駆動速度も非画素ずらし時と比較すると4倍速で駆動させる必要がある。また、黒挿入による動画視認性改善を実現するためには、1フレーム期間に2回画像を表示する必要がある。すなわち、パネルの駆動速度も黒画像の非挿入時と比較すると2倍速で駆動させる必要がある。よって、水平垂直4方向画素ずらしによる高解像度化と、黒挿入による動画視認性改善を両立しようとすると、パネル速度を4×2倍の8倍速にする必要がある。しかし、パネル駆動速度を8倍速にすることは、帯域に大きな負荷がかかり、またその分高コストなパネルが必要となってしまう。特に近年、高速な駆動を要求するSHV(Super High Vision)およびHFR(High Frame Rate)などが登場している。SHVでは、8K解像度(7680×4320)で60フレーム/秒のプログレッシブ走査が必要され、HFRでは120フレーム/秒のプログレッシブ走査が要求される。高速なフレームレートが要求されるSHV、HFR対応の投影装置に、上述の様な8倍速の駆動を適用するのは困難である。
本発明は、画素ずらしによる高解像度化と黒挿入による動画視認性の改善を両立させる投影装置を提供することを目的とする。
本発明の一態様による投影装置は以下の構成を備える。すなわち、
1フレーム期間を分割した複数のサブフレーム期間と同期して投影画像の投影位置を複数の位置の間で移動させる移動手段と、
前記複数のサブフレーム期間と同期して前記投影画像を出力する投影手段と、
前記投影画像を生成するために入力画像を処理する画像処理手段と、を備え、
前記画像処理手段は、
1フレームの前記入力画像から複数のサブフレームを生成し、
前記複数の位置のうちの所定の位置に前記投影位置が制御されるサブフレーム期間に前記複数のサブフレームのうち前記投影位置に対応するサブフレームを前記投影画像として出力し、他のサブフレーム期間に黒画像を前記投影画像として出力する。
本発明によれば、画素ずらしによる高解像度化と黒挿入による動画視認性の改善を両立させる投影装置を提供することができる。
第1実施形態の投影装置の構成例を示すブロック図。 第1実施形態の画像処理部の構成例を示すブロック図。 第1実施形態の画像処理部の他の構成例を示すブロック図。 第1実施形態による投影処理を示すフローチャート。 第1実施形態による投影処理を示すフローチャート。 第1実施形態による他の投影処理を示すフローチャート。 第1実施形態による他の投影処理を示すフローチャート。 第1実施形態のタイミング信号と画処理部の各部の出力画像を示す図。 水平垂直4方向画素ずらしの投影位置を示した図。 水平垂直4方向画素ずらしの各間引き画像のサンプリング位置を示した図。 対角方向画素ずらしの高解像度化メカニズムを説明する図。 第1実施形態の黒挿入による動画視認性改善メカニズムを説明する図。 第2実施形態の画像処理部の構成例を示すブロック図。 第2実施形態による投影処理を示すフローチャート。 第3実施形態による投影処理を示すフローチャート。 第3実施形態のタイミング信号と画処理部の各部の出力画像を示す図。 第3実施形態の黒挿入による動画視認性改善メカニズムを説明する図。
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックは、CPUがメモリ上に展開したコンピュータプログラムにより実行されても良い。
<第1実施形態>
以下、本発明の第1実施形態による、水平垂直4方向画素ずらしによる高解像度化と、黒挿入による動画視認性改善の両立を行う方法を説明する。
図1は、第1実施形態における投影装置200の構成例を示すブロック図である。投影装置200において、CPU210、RAM211、ROM212、操作部213、通信部214、画像入力部220、光源制御部230、画像処理部240、光変調素子制御部250はバス199で接続されている。また、画素ずらしデバイス制御部284、投影光学系制御部286、タイミング信号生成部287もバス199に接続されている。
CPU210は、投影装置200の各動作ブロックを制御する。ROM212は、CPU210の処理手順を記述した制御プログラムを記憶する。RAM211は、CPU210のワークメモリとして機能し、一時的に制御プログラムやデータを格納する。また、CPU210は、通信部214より受信した静止画データや動画データをRAM211に一時的に記憶し、ROM212に記憶されたプログラムを用いて、それぞれの画像や映像を再生することができる。
操作部213は、例えば、スイッチやダイヤルなどで構成され、ユーザの指示を受け付けてCPU210に指示信号を送信する。また、操作部213は、例えば、リモコンからの信号を受信する信号受信部(赤外線受信部など)で受信した信号に基づいて所定の指示信号をCPU210に送信するものであってもよい。CPU210は、操作部213から受信した指示信号や通信部214を介して入力された制御信号を受信して、投影装置200の各動作ブロックを制御する。
画像入力部220は、外部装置から送信される画像を受信する。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。また、画像入力部220は、USBフラッシュメモリやSDカードのようなメディアに記録された画像を読み込むことができる。画像処理部240は、例えば画像処理用のマイクロプロセッサを備え、画像入力部220から受信した画像信号に所定の画像処理を施して、光変調素子制御部250に送信する。画像処理部240の詳細については後述する。
光源制御部230は、制御用のマイクロプロセッサを備え、光源260のオン/オフの制御、光量の制御などを行う。なお、光源制御部230は、専用のマイクロプロセッサである必要はなく、例えば、ROM212に記憶されたプログラムの実行によって、CPU210が光源制御部230と同様の処理を実行するようにしても良い。光源260は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。色分離部261は、例えば、ダイクロイックミラーやプリズムなどを備え、光源260から出力された光を、赤色(R)、緑色(G)、青色(B)に分離する。なお、光源260として、各色に対応するLED等を使用する場合には、色分離部261は不要である。
光変調素子制御部250は、画像処理部240から出力される画像信号に基づいて、光変調素子群270R、270G、270Bの各光変調素子(画素)に印可する電圧を制御する。これにより、光変調素子制御部250は、光変調素子群270R、270G、270Bの各光変調素子の光変調率を調整する。光変調素子群270Rは、赤色に対応する光変調素子の集合であって、光源260から出力され、色分離部261で分離された光のうち、赤色の光の光変調率を調整する。光変調素子群270Gは、緑色に対応する光変調素子であって、光源260から出力され、色分離部261で分離された光のうち、緑色の光の光変調率を調整する。光変調素子群270Bは、青色に対応する光変調素子であって、光源260から出力され、色分離部261で分離された光のうち、青色の光の光変調率を調整する。
色合成部280は、例えば、ダイクロイックミラーやプリズムなどを備え、光変調素子群270R、270G、270Bを透過した赤色(R)、緑色(G)、青色(B)の光を合成する。色合成部280の合成により得られた光は画素ずらしデバイス283に送られる。このとき、光変調素子群270R、G、Bは、画像処理部240から入力された画像に対応する光の変調率となるように、光変調素子制御部250により制御されている。そのため、投影光は投影光学系285よりスクリーン上に投影されると、画像処理部240により入力された画像に対応する画像がスクリーン上に表示されることになる。
画素ずらしデバイス283は、入射される画像光を所望の位置に投影できるように投影位置をずらすことの出来るデバイスである。例えば、画素ずらしデバイス283は平行平板ガラスと、4つのアクチュエータを備える。画素ずらしデバイス283は、4つのアクチュエータでガラスの上下左右4箇所を支持し、支持点を変位させて傾斜をコントロールすることによって、ガラスの姿勢を変える。色合成部280を透過した画像光はこのガラスを透過する。この時、アクチュエータでガラスの姿勢を変えることによって、投影時の画素位置を水平方向と垂直方向にずらすことが出来る。
画素ずらしデバイス制御部284は、画素ずらしデバイス283の姿勢を制御する。画素ずらしデバイス制御部284は、前述の平行平板ガラスを支持するアクチュエータの支持点の変位を制御することで、画素ずらし量を調整する。なお、画素ずらしデバイス283はこの構成に限定されるものでなく、例えば、複屈折光学系でも良い。複屈折光学系に与える電圧を変えることによって複屈折光学系を透過する画像光の投影位置を変え画素ずらしを行うことが出来る。この構成の場合、画素ずらしデバイス制御部284は複屈折光学系に与える電圧を制御することになる。
投影光学系制御部286は、制御用のマイクロプロセッサを有し、投影光学系285を制御する。但し、投影光学系制御部286は、専用のマイクロプロセッサである必要はなく、例えば、ROM212に記憶された所定のプログラムをCPU210が実行することによって投影光学系制御部286と同様の機能が実現されてもよい。投影光学系285は、複数のレンズとレンズ駆動用のアクチュエータを有し、画素ずらしデバイス283から出力された光をスクリーンに投影する。投影光学系285は、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
タイミング信号生成部287は、画像処理部240、光変調素子制御部250、及び画素ずらしデバイス制御部284に与えるタイミング信号SIGを生成する。タイミング信号SIGとは、投影装置200を4倍速駆動した際に生成されるサブフレームが1st〜4thサブフレームのどの信号なのかを示す信号である。タイミング信号SIGの生成方法の詳細については後述する。
通信部214は、外部機器からのタイミング信号SIG、静止画データ、動画データなどを受信する。通信部214の通信方式は、特に限定されるものではなく、例えば、無線LAN、有線LAN、USB、Bluetooth(登録商標)、赤外光などを用いた通信方式を用いることができる。また、通信部214は、外部機器へ、タイミング信号SIG、静止画データ、動画データなどを送信する。また、画像入力部220の端子が例えばHDMI(登録商標)端子の場合、通信部214は、その端子を介してCEC通信を行うものであってもよい。ここで、外部装置は、投影装置200と通信を行うことができる装置であればどのような装置でもよく、例えば、メガネ、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなどがあげられる。
なお、本実施形態の光変調素子制御部250、光源制御部230、画素ずらしデバイス制御部284、投影光学系制御部286は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ROM212に記憶された所定のプログラムをCPU210が実行することにより、上記各ブロックと同様の処理を実行するようにしても良い。
次に、図2Aを用いて画像処理部240の内部構成について説明する。画像処理部240は、メモリ制御部241、画像メモリ242、間引き部243、選択部244、黒挿入部245を備える。また、これら各部は、バス199を介してCPU210などと接続されている。
メモリ制御部241は、各フレームの入力画像を画像メモリ242に書き込み、1つのフレームの入力画像に対して複数のサブフレームを生成するために、1フレーム期間中に入力画像を複数回読み出す。本実施形態では、1つのフレームの入力画像に対して4つのサブフレームを生成するため、1フレーム期間中に入力画像を4回読み出す。従って、メモリ制御部241は、入力画像を書き込み周波数の4倍の周波数で画像メモリ242から読み出すように制御する。画像メモリ242からのデータの読み出しは、タイミング信号生成部287から入力されるタイミング信号SIGに応じて行われる。本実施形態におけるメモリ制御部241は、入力フレーム画像の垂直同期信号の周波数が60Hzである場合に、240Hzに相当する周期で画像メモリ242からデータを読み出す。こうして、メモリ制御部241は、入力画像の1フレームの期間に、画像メモリ242から入力画像IMGを4回読み出して間引き部243に供給する。
間引き部243は、メモリ制御部241から入力された画像(入力画像IMG)の出力画像に対し、決められたサンプリング位置で画像をサンプリングした間引き画像DIV_A〜DIV_Dを生成する。間引き画像の生成方法の詳細に関しては後述する。こうして、メモリ制御部241と間引き部243により、4つのサブフレーム(間引き画像DIV_A〜DIV_D)が生成される。選択部244は、間引き部243で生成された間引き画像DIV_A〜DIV_Dの内のいずれかを、タイミング信号SIGに基づいて選択し、画像IMG_Cとして出力する。タイミング信号SIGと、選択部244が出力する画像の関係に関しては後述する。なお、選択部244へ黒挿入信号K_SIGが入力されることを示す破線は第3実施形態で用いられる構成である。
黒挿入部245は、黒挿入制御信号K_SIGとタイミング信号SIGに基づいて、選択部244から出力された画像IMG_C(間引き画像DIV_A〜Dの内いずれかの画像)を黒画像に置き換える。黒挿入制御信号K_SIGとはユーザが操作部213や通信部214を介して設定した黒挿入機能のON/OFFを示す信号であり、例えば1ビットの信号で0の時は機能OFFを、1の時は機能ONを示すように設計されている。黒挿入部245は、黒挿入制御信号K_SIGがONであり、且つタイミング信号SIGが予め定めた黒挿入タイミングを示す場合、画像IMG_Cを黒画像に置き換えて、画像IMG_Oとして出力する。また、黒挿入部245は、黒挿入制御信号K_SIGがOFFを示す場合、画像IMG_Cをそのまま画像IMG_Oとして出力する。また、黒挿入部245は、黒挿入制御信号K_SIGがONであっても、タイミング信号SIGが黒画像を挿入しないタイミングを示す場合は、画像IMG_Cをそのまま画像IMG_Oとして出力する。
以上、第1実施形態における投影装置200及び画像処理部240の内部構成について説明した。
次に、第1実施形態の投影処理について図3A、Bのフローチャートを用いて説明する。なお、本例では、入力画像の縦横各々の解像度が各投影装置の縦横各々の表示解像度の2倍である前提で説明する。つまり、投影装置の解像度がFHD(Full High Definition:1920×1080)である場合、入力画像の解像度は4K(3840×2160)となる。投影装置200を構成する各部は、操作部213を介して投影装置200の使用者から投影を開始する指示がCPU210に送信されると、CPU210、画像処理部240は、投影画像を生成する為に図3A,3Bのフローチャートにしたがって動作する。
まず、図3AのS301において、CPU210は、操作部213を介して画素ずらしモードが設定されたか否かを判定する。画素ずらしモードが設定されていない場合、CPU210は、S328において通常の投影処理(画素ずらしを行わない投影処理)を実行する。S301において画素ずらしモードが設定されている場合、処理はS302に進む。S302において、CPU210はタイミング信号生成部287に指示を出し、タイミング信号SIGの生成を開始させる。
図4に第1実施形態におけるタイミング信号SIGと各画像処理部で生成される画像との対応図を示す。図4(a)は第1実施形態におけるタイミング信号SIGを表している。図4(a)に示されるように、タイミング信号SIGは入力画像の1フレームに対し1/4フレーム毎に値を持つ信号である。この時、1フレームを4分割した際の0〜1/4フレーム間のことを1stサブフレームと呼ぶ。同様に、1/4〜1/2フレーム間のことを2ndサブフレーム、1/2〜3/4フレーム間のことを3rdサブフレーム、3/4〜1フレーム期間を4thサブフレームと呼ぶ。
次にタイミング信号SIGの生成方法の詳細を説明する。まず、タイミング信号生成部287は入力画像の再生周波数を取得する。そして、取得した再生周波数の4倍の周波数で値を持つ信号を生成する。生成した信号がタイミング信号SIGとなる。例えば、60Hzの入力画像に対しては、240Hzのタイミング信号SIGが生成される。タイミング信号SIGは、例えばタイミング信号パルスと、2ビットの信号線で構成される。2ビットの信号線は、タイミング信号の発生ごとに0〜3の値を繰り返し表すように制御される(SIG(0)は値0、SIG(1)は値1、SIG(2)は値2、SIG(3)は値3)。例えば、タイミング信号SIGの値が0であることは、1stフレームを出力するタイミングであることを示す。
S303において、CPU210は、黒画像の挿入を実行するか否かを判断する。本実施形態では、操作部213により黒挿入モードが設定されているか否かを判断する。S303で黒挿入モードが設定されている(黒画像の挿入を実行する))と判断された場合、処理はS304に進み、黒画像の挿入を伴う画素ずらし投影を行う。他方、S303で黒挿入モードが設定されていない(黒画像の挿入を実行しない)と判断された場合、処理はS316に進み、黒画像を挿入せずに画素ずらし投影を行う。
S304以降の処理は、黒挿入モードにおける処理である。S304において、CPU210は、黒挿入制御信号K_SIGをONに設定し、変数iを0に初期化する。S305において、画像処理部240内のメモリ制御部241は、タイミング信号SIG(i)の受信を待つ。メモリ制御部241は、タイミング信号SIG(i)を受信すると(S305でYES)、S306で、メモリ制御部241は画像メモリ242から入力画像IMGを読み出し、間引き部243に提供する。なお、メモリ制御部241は入力画像IMGに対し4倍速駆動処理を行う。具体的には、メモリ制御部241はまず入力画像IMGを画像メモリ242に書き込む。次にメモリ制御部241はタイミング信号SIGに合わせて、画像メモリ242に書き込まれた入力画像IMGを読みだす。タイミング信号SIGは入力画像の再生周波数の4倍の速度の信号であるため、結果、1フレーム期間において、4度同じ画像が画像メモリ242から読みだされることになる。図4(b)にメモリ制御部241がタイミング信号SIGに合わせて入力画像IMGを4度出力する状態を示す。
S307において、間引き部243は、メモリ制御部241から供給された入力画像IMGから間引き画像DIV_A〜DIV_Dを生成する。本実施形態では、間引き画像DIV_A〜DIV_Dの各々を投影する際の光路を画素ずらしデバイス283によって微小に異ならせることで画素ずらしによる高精細化を実現する。図5に間引き画像DIV_B〜Dの間引き画像DIV_Aに対する投影面上での投影位置の関係を示す。図5において白い四角形が間引き画像DIV_Aの投影面上での画素位置を示しており、これを基準位置としている。
本実施形態では、投影画像の投影位置を水平方向および/または垂直方向に所定距離(例えば、0.5画素)だけずらした4つの位置の間で順に移動させる。図5(a)は間引き画像DIV_Aの投影位置(基準位置)に対する間引き画像DIV_Bの投影位置を示している。図5(a)に示すように、間引き画像DIV_BはDIV_Aに対し、水平方向に0.5画素シフトした位置に投影される。図5(b)は間引き画像DIV_Aの投影位置に対する間引き画像DIV_Cの投影位置を示している。図5(b)に示すように、間引き画像DIV_CはDIV_Aに対し、水平垂直方向にそれぞれ0.5画素シフトした位置に投影される。図5(c)は間引き画像DIV_Aの投影位置に対する間引き画像DIV_Dの投影位置を示している。図5(c)に示すように、間引き画像DIV_DはDIV_Aに対し、垂直方向に0.5画素シフトした位置に投影される。
以上のように水平垂直4方向画素ずらしでは、各間引き画像を投影面上で微小にシフトさせて投影する。画素ずらしによる高精細化を実現するためには各間引き画像は各投影位置に応じて入力画像IMGに対する間引き位置を変えて生成する必要がある。次に、図6を用いて各間引き画像DIV_A〜Dの生成方法を示す。図6(a)〜(d)は各間引き画像DIV_A〜DIV_Dの入力画像IMGに対するサンプリング位置を示している。
図6(a)は間引き画像DIV_Aのサンプリング位置を示しており、図に示すように間引き画像DIV_Aは入力画像IMGに対し、水平垂直方向ともに偶数番目の画素をサンプリングすることにより得られる。図6(b)は間引き画像DIV_Bのサンプリング位置を示しており、図に示すように間引き画像DIV_Bは入力画像IMGに対し、水平方向は奇数番目、垂直方向は偶数番目の画素をサンプリングすることにより得られる。これは、図5(a)で説明したように間引き画像DIV_BがDIV_Aに対し水平方向に0.5画素ずれた位置に投影することに由来しており、サンプリング位置も間引き画像DIV_Aに対し水平方向にずれた位置でサンプリングする必要がある。
図6(c)は間引き画像DIV_Cのサンプリング位置を示しており、図に示すように間引き画像DIV_Cは入力画像IMGに対し、水平垂直方向ともに奇数番目の画素をサンプリングすることにより得られる。これは、図5(b)で説明したように間引き画像DIV_CがDIV_Aに対し水平垂直方向に0.5画素ずれた位置に投影することに由来しており、サンプリング位置も間引き画像DIV_Aに対し水平垂直方向にずれた位置でサンプリングする必要がある。図6(d)は間引き画像DIV_Dのサンプリング位置を示しており、図に示すように間引き画像DIV_Dは入力画像IMGに対し、水平方向は偶数番目、垂直方向は奇数番目の画素をサンプリングすることにより得られる。これは、図5(c)で説明したように間引き画像DIV_DがDIV_Aに対し垂直方向に0.5画素ずれた位置に投影することに由来しており、サンプリング位置も間引き画像DIV_Aに対し垂直方向にずれた位置でサンプリングする必要がある。
以上の処理を経て、間引き部243は入力画像IMGから4種の間引き画像DIV_A〜Dを4つのサブフレームとして生成する。これらの間引き画像を用いた画素ずらしによる高精細化の効果に関しては後述する。
図3Aに戻り、S308において、選択部244は、間引き部243が出力する間引き画像DIV_A〜Dのうち、受信したタイミング信号SIGの値に対応する間引き画像を選択し、IMG_Cとして後段の黒挿入部245に出力する。本例では、SIG(0)に対してDIV_Aが、SIG(1)に対してDIV_Bが、SIG(2)に対してDIV_Cが、SIG(3)に対してDIV_Dがそれぞれ選択される。
以下、受信したタイミング信号SIGがどのサブフレーム期間の信号なのかを確認する方法の一例を説明する。以下では1stサブフレーム期間を示すタイミング信号をSIG(0)とする。同様に、2ndサブフレーム期間のタイミング信号はSIG(1)、3rdサブフレーム期間のタイミング信号はSIG(2)、4thサブフレーム期間のタイミング信号はSIG(3)とする。選択部244に入力された最初のタイミング信号SIGは入力画像の1フレーム目の1stサブフレームを示すタイミング信号SIG(0)である。上述の様にタイミング信号SIGの2本の信号線により2ビットで0〜3を表すことで、SIG(0)〜SIG(3)(1stサブフレーム〜4thサブフレーム)を識別することができる。なお、SIG(0)〜SIG(3)(1stサブフレーム〜4thサブフレーム)を識別するための構成はこれに限られるものではない。例えば、タイミング信号SIGを用いる各部で、受信したタイミング信号をカウントし、そのカウント値を4で割ったときの余りによりSIG(0)〜SIG(3)を識別してもよい。例えば、タイミング信号SIGの受信回数をカウントし、カウントの数を4で割った余りの数が0であれば1stサブフレーム、1であれば2ndサブフレーム、2であれば3rdサブフレーム、3であれば4thサブフレームであると判断するようにしてもよい。
以上でタイミング信号SIGから現在の表示タイミングがどのサブフレームの信号であるかを判断することができる。また、前述の確認方法は一例であり、他の方法で判別するようにしてもよい。
次に各サブフレーム期間と該当する期間に選択部244が出力する間引き画像との関係について図4(c)を用いて説明する。図4(c)に示すように、選択部244は1stサブフレームでは間引き画像DIV_Aを、2ndサブフレームでは間引き画像DIV_Bを選択し、出力する。同様に、選択部244は3rdサブフレームでは間引き画像DIV_Cを、4thサブフレームでは間引き画像DIV_Dを選択し、出力する。よって、1フレームの中で選択部244は間引き画像DIV_A、DIV_B、DIV_C、DIV_Dを順次に出力する結果となる。また、各間引き画像の投影順はこの限りではない。1フレームの中にこの4種の間引き画像が1回ずつ出力されること、各間引き画像が正しい位置に投影されるように画素ずらしデバイス283で設定する投影光の光路を切り替えることが守られれば、いかなる投影順であってもよい。
S309において、黒挿入部245は、タイミング信号SIGがSIG(1)またはSIG(3)であるかを判定する。タイミング信号SIGがSIG(1)またはSIG(3)であると判定された場合、S310において黒挿入部245は、当該サブフレーム期間の画像を黒画像に置き換えて画像IMG_Oとして出力することにより黒挿入を行う。他方、S309においてタイミング信号SIGがSIG(0)またはSIG(2)である場合(S309でNO)、S311において黒挿入部245は、選択部244が出力した画像IMG_Cを画像IMG_Oとして出力し、黒挿入は行わない。以上の処理により、黒挿入部245は、タイミング信号SIG(0)とSIG(2)ではそれぞれ間引き画像DIV_A、DIV_CをIMG_Oとして出力し、タイミング信号SIG(1)とSIG(3)では黒画像を画像IMG_Oとして出力する。
以上の処理によれば、投影画像の投影位置が水平方向および/または垂直方向に所定距離だけずらした4つの位置の間で順に移動する。そして、これら4つの位置のうち斜め方向(対角方向)に並ぶ2つの投影位置において複数のサブフレームのうちのいずれかが投影画像として出力される。なお、対角方向に投影位置をずらす間引き画像DIV_AとDIV_Cの組を投影し、それ以外の画像を黒画像に置き換えるのは、黒挿入を行っても画素ずらしによる高解像度化の効果を十分活かすためである。なお、対角方向に投影位置をずらす間引き画像の組としてDIV_AとDIV_Cを用いたが、間引き画像DIV_BとDIV_Dの組を投影し、それ以外の画像を黒画像に置き換えるようにしてもよい。どちらの組を投影画像として選択しても対角方向に間引き画像をずらして投影することができるためである。このように対角方向に投影位置がずれた間引き画像を用いて行う画素ずらしのことを以下では対角方向画素ずらしと呼ぶ。第1実施形態における対角方向画素ずらしによる高解像度化メカニズムおよび、黒挿入による動画視認性改善メカニズムは後述する。
図4(d)の中段に表示画像として間引き画像DIV_AとDIV_Cを選択して黒挿入をした場合、下段に表示画像として間引き画像DIV_BとDIV_Dを選択して黒挿入をした場合における黒挿入部245の出力画像IMG_Oを示す。なお、間引き画像DIV_BとDIV_Dの組を投影画像として用いる場合は、S309において、i=0またはi=2の場合にS310へ分岐するようにすればよい。
S312において、CPU210の指示により、画素ずらしデバイス制御部284はタイミング信号SIGに基づいて画素ずらしデバイス283を制御し、投影画像の光路を変更し、投影位置がP(i)となるようにする。タイミング信号SIGからどのサブフレーム間の信号なのかを判断する方法は前述しているため割愛する。なお、画素ずらしデバイス制御部284は、タイミング信号SIGから導いたサブフレーム識別情報に基づいて、光路を変更する。
具体的には、1stサブフレームでは間引き画像DIV_Aが図5で示す基準位置P(0)に投影されるように画素ずらしデバイス283の姿勢を制御し、光路を変更する。2ndサブフレームでは間引き画像DIV_Bが図5(a)で示す基準位置から水平方向に0.5画素シフトした位置P(1)に投影されるように画素ずらしデバイス283の姿勢を制御し、光路を変更する。3rdサブフレームでは間引き画像DIV_Cが図5(b)で示す基準位置から水平垂直方向に0.5画素シフトした位置P(2)に投影されるように画素ずらしデバイス283の姿勢を制御し、光路を変更する。4thサブフレームでは間引き画像DIV_Cが図5(c)で示す基準位置から垂直方向に0.5画素シフトした位置P(3)に投影されるように画素ずらしデバイス283の姿勢を制御し、光路を変更する。
S313において、CPU210は各画像処理ブロックに、黒挿入部245による出力画像IMG_Oを投影画像として投影光学系285から投影するよう指示を出す。具体的には、光変調素子制御部250は画像IMG_Oに基づいて光変調素子群270R、G、Bの変調率を変えて投影画像光を生成する。以上のS305〜S313の処理がi=0〜3について繰り返される(S314、S315)。そして、S314でi=3と判定されると、入力画像の1フレームの処理を終えたと判断され、処理はS326へ進む。S301〜S315の処理は、投影終了が指示されるまで繰り返される(S326、S327)。
他方、S303で黒画像の挿入を実行しない(黒挿入モードではない)と判断された場合、処理は図3BのS316へ進む。この場合、複数のサブフレーム期間のすべてにおいて複数のサブフレームのいずれかが投影画像として出力される。S316において、CPU210は、黒挿入制御信号K_SIGをOFFに設定し、変数iを0に初期化する。S317〜S320の処理は、S305〜S308と同様である。黒挿入が行われないので、iの値に関わらず、S321において、黒挿入部245は選択部244から供給されたIMG_CをIMG_Oとしてそのまま出力する。S322〜S325は、S311〜S315と同様である。S324でi=3と判定されると、処理はS326へ進む。
S326において、CPU210は、操作部213を介してユーザにより投影終了が指示されたか否かを判定する。投影終了が指示されていなければ、処理はS327へ進み、CPU210は処理の対象を次のフレームへ移し、処理をS301へ戻す。他方、S326において投影終了の指示がなされたと判定された場合、CPU210は本処理を終了する。
以上のように、第1実施形態によれば、投影位置が複数の位置のうちの第1位置と第1位置に対して水平および垂直方向に所定距離だけ離れた第2位置とに制御されるサブフレーム期間に複数のサブフレームのいずれかが投影画像として出力される。そして、それら複数の位置のうち第1位置および第2位置以外の位置に投影位置が制御されるサブフレーム期間には黒画像が投影画像として出力される。これにより、画素ずらしによる高精細化と、黒挿入による動画視認性改善が両立される。
次に、本投影システムを用いて本件で採用している対角方向画素ずらしによる高画質化メカニズムを説明する。図7に対角方向画素ずらしの高精細化メカニズムの概略図を示す。説明のために、一例として図7(a)のような左上から右下にかけて2画素幅の矩形で構成された斜線が引かれた元画像を使用する。図7(a)で示される四角形の1つ1つは元画像における1画素を表しており、黒の四角形は画像の階調値が二値だった場合における0の画素を、白の四角形は階調値が1の画素を表している。
また、図7(b)〜(e)は元画像から生成された間引き画像DIV_A〜Dを表している。各間引き画像の元画像からのサンプリング位置は図6で説明した通りであり、前述の位置で間引いた結果が図7(b)〜(e)に示されている。本例では間引き画像DIV_A〜Dは同じ画像になる。図7(b)〜(e)に示すように、間引き画像の1画素の大きさは元画像の4倍である。
図7(f)〜(h)では前述の間引き画像を用いて行った水平方向画素ずらし、垂直方向画素ずらし、対角方向画素ずらしの結果を示す。図7(f)は間引き画像DIV_AとDIV_Bを合成して生成された水平方向画素ずらしの結果である。図7(f)で示したように水平方向画素ずらしでは、水平方向の解像感は増すが、垂直方向の解像感の向上は得られない。図7(g)は間引き画像DIV_AとDIV_Dを合成して生成された垂直方向画素ずらしの結果である。図7(g)で示したように垂直方向画素ずらしでは、垂直方向の解像感は増すが、水平方向の解像感の向上は得られない。図7(h)は本件で黒挿入時に適応している対角方向画素ずらしの結果であり、間引き画像DIV_AとDIV_Cを合成して生成される。図7(h)で示したように対角方向画素ずらしでは、垂直および水平方向の解像感が向上し、高精細化ができていることがわかる。
以上、図7を用いて説明したように、画素ずらしによる高精細化を垂直および水平方向の両方に対して実現するためには基準位置で間引いた画像と、基準位置から対角方向に間引いた画像を組み合わせた対角方向画素ずらしを行う必要がある。以上が、対角画素ずらしによる高精細化のメカニズムである。
次に、本投影システムを用いて第1実施形態における黒挿入による動画視認性改善メカニズムについて図8を用いて説明する。以下では説明を易しくするために非画素ずらしの投影画像4度出しを前提として説明をしている。
図8(a)は、黒画像の非挿入時にてユーザにより観察される画像を示している。図の水平方向は投影画像の画素水平位置を、垂直方向は時間軸を表している。図中の四角形は1画素を表しており、明画素は白を、暗画素は黒を示している。また、本実施形態では1フレームの期間に4つの投影画像を出力しているため、垂直方向4画素で1フレーム期間を表している。このことから、図8では白黒1画素ストライプ画像が水平方向に4画素/フレームで移動するような動画を4度出しで投影していることがわかる。また、右下斜めに描画された複数の線はユーザが動画中のある画素の動きを目で追った際の視点の動きを表しており、左の斜線から視点1、視点2、視点3、視点4、...としている。ユーザにはこの視点1の斜線が通過する画素を時間積分した結果が視認される。
図8(a)のように、黒挿入をしない場合、視点1の斜線が通過する画素を時間積分すると白画素と黒画素の平均となるため、視点1では局所的にユーザにグレーレベルとして視認される。同様に、視点2、視点3、視点4の斜線が通過する画素を時間積分すると、グレーレベルとなる。よって、視点1〜4の範囲すべてでグレーレベルとして視認されてしまうため、ユーザには広視野で投影画像を見ても一定なグレーレベルの画像として視認されてしまう。このように入力画像に含まれていた高周波情報は鈍ってしまい、この現象を自然画像などに適応して同様に考えるとエッジがぼけたような見えとなってしまうことがわかる。
一方、図8(b)では、第1実施形態のように、隔サブフレーム画像を黒画像に置き換えることによって黒挿入をした場合のユーザに観察される画像を示している。入力画像は図8(a)と同様である。図8(b)で示す点線画素は黒挿入によって黒に置き換えた画素を示しており、第2サブフレームと第4サブフレームを黒画像に置き換えている。図8(a)の説明時と同様に、視点1の斜線が通過する画素を積分すると、視点1では白黒画素の平均となりグレーレベルとなる。一方、視点2では黒画素のみとなり、階調は黒となる。同様に、視点3ではグレーレベル、視点4では黒となり、ユーザにはグレーレベルと黒の1画素ストライプとして視認される。ユーザに観察される画像と、入力画像を比較すると、コントラストは低下しているものの、高周波成分を表現することが出来ていることがわかる。纏めると、図8(a)に示される黒画像の非挿入時よりも、図8(b)の第1実施形態における隔サブフレームに黒挿入した時の方が、高周波成分が残りやすくなっていることがわかる。結果、黒挿入を行うと動画におけるエッジ部分の鈍りが緩和され、シャープな見えを実現することができるようになる。
以上が、第1実施形態における黒挿入による動画視認性改善メカニズムの説明である。
第1実施形態では黒挿入によって動画視認性改善を行ったが、投影画像の一部を黒画像に置き換えるとユーザからは1フレームにおける投影輝度が半分に低下して見えてしまう。このような輝度低下を抑制するために、黒挿入時、光源制御部230は光源260の出力光量を黒画像の非挿入時よりも高くするよう制御しても良い。例えば、投影画像を投影するための光源260の明るさを制御する光源制御部230が、黒画像の挿入の実行時における光源260の明るさが、黒画像の挿入の非実行時における光源260の明るさよりも明るくなるように制御する。このように黒挿入時に光源の光量を黒画像の非挿入時よりも高めに設定することによって、ユーザが黒挿入機能のON/OFF切り替え時に投影面輝度の変動を知覚することで生じる違和感を抑制することができる。
また、黒挿入を行うと、入力画像が明るく、且つ周波数が低い場合、明るい画像と暗い画像が交互に投影されることになり、ユーザにフリッカとして知覚されてしまうことがある。このフリッカを抑制するために、黒挿入で差し替える黒画像に対し、黒挿入部245は黒画像にオフセットをかけ、輝度を持ち上げる処理を行っても良い。このようにすることで、入力画像から生成された間引き画像が投影されるときの投影面輝度と、オフセット処理を行った黒画像が投影されるときの投影面輝度との輝度差が小さくなり、フリッカを抑制することができる。この時、黒画像にかけるオフセット値はROM212に予め記録された設定値を用いても良いし、オフセット情報を黒挿入制御信号K_SIGに含ませることによって、操作部213を介し、ユーザが調整できるようにしても良い。
また、第1実施形態では間引き部243で入力画像IMGから間引き画像DIV_A〜Dを生成する際、入力画像IMG内の所定の位置の画素をサンプリングして生成していた。前述のように4枚の間引き画像は入力画像IMGのすべての画素を1度ずつ参照して生成されるため、水平垂直画素ずらしの場合、画素ずらし後の観察画像は入力画像IMGに対し情報欠落が無い。一方、黒挿入時に行う対角方向画素ずらしでは画素ずらしのために使用する間引き画像が2枚(例:DIV_AとC)であるため前述の方法で間引き画像を作ると観察画像は入力画像IMGに対し情報量が1/2になってしまう。入力画像情報が欠落すると、観察画像に対し画質劣化としてジャギーや偽像が発生しやすくなってしまう。これを抑制するために、間引き部243で間引き画像DIV_A〜Dを生成する前にフィルタ処理を行って、入力画像をぼかす処理を行っても良い。フィルタ処理でぼかす際に注目画素の周辺の画素情報を用いてフィルタ処理を行っているため、結果としてフィルタ処理後の画像から間引き画像を生成すると入力画像からの情報欠落を少なくすることができる。
以上のように、第1実施形態によれば、対角方向にずらして投影する間引き画像以外を黒画像に置き換えることによって、画素ずらしによる高解像度化の効果を極力低下させることなく、黒挿入による動画視認性の改善を実現できる。よって、画像処理部240やパネル駆動速度は4倍速のままで画素ずらしと黒挿入を両立することが可能な投影装置を提供することができる。
<変形例>
以上、画像処理部240の構成及び動作について、図2A、図3A〜3Bを参照して説明したが、画像処理部240の構成及び動作はこれに限られるものではない。例えば、図2Bに示されるような構成を有し、図3C〜3Dのように動作してもよい。
図2Bにおいて、間引き部243は、メモリ制御部241が読み出した画像データIMGから、タイミング信号SIG(i)に応じた間引き画像を生成し、IMG_Cとして選択部244に提供する。黒挿入部245は黒画像を生成し、選択部244に提供する。なお、黒挿入部245は、タイミング信号SIG、黒挿入信号K_SIGに関わらず黒画像を選択部244に提供するようにしてもよい。選択部244は、タイミング信号SIG(i)と黒挿入制御信号K_SIGに応じて、IMG_Cと黒画像のいずれかを選択し、IMG_Oとして出力する。以下、図3C〜3Dを参照して、変形例による投影処理を説明する。なお、図3C〜3Dにおいて、図3A〜3Bと同様の処理には同一のステップ番号を付してある。
画素ずらし駆動制御モードが設定され、かつ、黒挿入モードが設定されていると、S301〜S306の処理が実行される。S351において、間引き部243はSIG(i)に応じた間引き画像DIV_iを生成し(SIG(0)でDIV_Aを、SIG(1)でDIV_Bを、SIG(2)でDIV_Cを、SIG(3)でDIV_Dを、生成する)、選択部244へ供給する。黒挿入部245は、タイミング信号SIG(1)とSIG(3)のタイミングで、または常に、黒画像を選択部244に供給する。S352、S353において、選択部244は、i=1またはi=3の場合に、黒挿入部245から供給されている黒画像を選択し、これをIMG_Oとして出力する。また、S352、S354において、選択部244は、DIV_AまたはDIV_Cを選択し、IMG_Oとして出力する。S312〜S315は上述したとおりである。なお、黒挿入モードが設定されている場合、タイミング信号SIG(1)、SIG(3)のタイミングで、間引き部243はDIV_B,DIV_Dを生成しないように制御してもよい。
画素ずらし駆動制御モードが設定され、かつ、黒挿入モードが設定されていない場合、処理はS301〜S303、S316〜S318を実行する。S361において間引き部243はSIG(i)に応じた間引き画像DIV_iを生成し、選択部244に供給する。黒挿入モードが設定されていない場合、黒挿入部245は、黒画像の供給を停止してもよい。S362において選択部244は間引き部243から供給されている間引き画像DIV_iを選択し、IMG_Oとして出力する。S322〜S325は上述したとおりである。
<第2実施形態>
第1実施形態では、ユーザから黒挿入の指示がある場合に黒挿入を行う前提で説明した。第2実施形態では入力画像が動画か否かの判別を行い、入力画像が動画であると判別された場合に黒挿入を行う。このように入力画像が動画である時のみに黒挿入を行うことによって、ユーザが動画画質を特に意識することなく、最適な画質設定で投影画像を観察することができるようになる。以下、第2実施形態による投影装置200について説明する。なお、投影装置200の基本的な構成は第1実施形態(図1)と同様である。
図9は、第2実施形態における画像処理部240の内部構成例を示すブロック図である。第2実施形態では投影装置200内部の画像処理部240に、画像判別部941と、画像判別部941に接続された画像メモリ942が設けられている。また、黒挿入制御信号K_SIGの代わりに、画像判別部941で生成される画像判別信号SIG_MOVIEが用いられる。尚、画像メモリ242と画像メモリ942は、同じものが用いられても良い。
画像判別部941は、入力画像が静止画か動画かを判別し、判別した結果を画像判別信号SIG_MOVIEとして黒挿入部245に出力する。画像判別部941による画像判別方法の一例について説明する。まず、画像判別部941は、現フレームの入力画像を画像メモリ942に書きこみ、更に前フレームの入力画像を画像メモリ942から読み出す。そして、画像判別部941は、現フレームの入力画像と前フレームの入力画像との差分を取り、差分値が特定の値よりも大きい領域は前フレームからの動きがあったとみなす。そして、例えば、画像判別部941は、差分の大きい領域の面積が一定面積よりも広い場合に入力画像は動画であると判別し、差分の大きい領域の面積が一定面積よりも狭い場合に入力画像は静止画であると判別する。尚、画像判別方法はこの限りではない。例えば、画像入力部220で入力された画像のフォーマットが動画フォーマットの場合は動画、静止画フォーマットの場合は静止画であると判別し、その判別結果を入力画像IMGに付与し、画像判別部941が付与された判別結果を参照するようにしても良い。画像のフォーマットは、例えば、ファイルのヘッダを参照することにより認識され得る。
次に、第2実施形態による投影処理について、図10のフローチャートを用いて説明する。図10のフローチャートは、第1実施形態の投影処理(図3A)のS301〜S303に置き換わる処理を示している。図10において、図3A、3Bと同じ処理には、同一のステップ番号を付してある。
S1001において、画像処理部240内の画像判別部941は、入力画像IMGが静止画であるか動画であるかを判別する。画像判別部941は画像判別結果を画像判別信号SIG_MOVIEとして黒挿入部245へ出力する。画像判別信号SIG_MOVIEは例えば二値の信号であり、0の場合は入力画像IMGが静止画であることを示し、1の場合は動画であることを示す。S1002において、画像判別結果が動画を示す(SIG_MOVIE=1)と判定されると、処理はS304に進み、黒挿入を伴う画素ずらし投影が実施される。黒挿入を伴う画素ずらし投影は、図3AのS304〜S315で示したとおりである。他方、画像判別結果が静止画の場合(SIG_MOVIE=0)、処理はS316に進み、黒挿入を伴わない画素ずらし投影が実施される。黒挿入を伴わない画素ずらし投影は、図3BのS316〜S325で示したとおりである。
以上、第2実施形態における、画素ずらしによる高精細化と、黒挿入による動画視認性改善を両立する処理を説明した。なお、第1実施形態の変形例として説明した構成(図2B)及び処理(図3C,3D)を適用することもできる。その場合、図10に示した処理は、図3CのS301〜S303を置き換えたものとなる。
以上のように、第2実施形態によれば、画像処理部240やパネル駆動速度は4倍速のまま画素ずらしと黒挿入を両立することができる投影装置を提供することができる。更に、第2実施形態では入力画像の画像判別を行い、動画が入力されたと判別した場合に黒挿入を行うことによって、ユーザが動画画質を特に意識することなく、最適な画質設定で視聴することができるようになる。
<第3実施形態>
第1実施形態および第2実施形態では、対角方向に投影位置がずれた2枚の間引き画像からなる2つの組のうちの一方の組を黒画像に置き換えることによって画素ずらしと黒挿入を両立し、間引き画像と黒画像は交互に投影される。第3実施形態では、選択部244にて対角方向にずれた2枚の間引き画像を連続して出力するよう間引き画像の出力順を入れ替える。これによって黒画像を表示する時間が第1実施形態の2倍となり、動画視認性の改善効果をより高めることができる。以下、第2実施形態による投影装置200について説明する。なお、投影装置200の基本的な構成は第1実施形態(図1)と同様である。
また、第3実施形態による投影装置200における画像処理部240の内部構成も、第1実施形態(図2)と同様である。第3実施形態では、選択部244に黒挿入機能のON/OFF状態を示す黒挿入制御信号K_SIGが入力される。選択部244は、タイミング信号SIGと黒挿入制御信号K_SIGの双方に基づいて、各サブフレーム期間における出力画像を決定する。詳細に関しては後述する。
また、黒挿入制御信号K_SIGはバス199を介して画素ずらしデバイス制御部284にも入力する。画素ずらしデバイス制御部284も選択部244と同様に、タイミング信号SIGと黒挿入制御信号K_SIGに基づいて画素ずらしデバイス283の姿勢を決定する。各サブフレーム期間における画素ずらしデバイス283の姿勢および投影位置に関する詳細は後述する。
次に、第3実施形態による投影処理について、図11のフローチャートを用いて説明する。図11のフローチャートは、図3AのS305〜S315で示される処理に置き換わる処理を示している。
黒挿入を行うと判定された場合(S303でYES)、黒挿入制御信号K_SIGがONし、i=0に初期化される(S304)。メモリ制御部241は、タイミング信号SIG(i)を受信すると(S305でYES)、画像メモリ242から入力画像IMGを読み出し、間引き部243に提供する(S306)。間引き部243は、メモリ制御部241から供給された入力画像IMGから間引き画像DIV_A〜DIV_Dを生成する(S307)。S1101において、選択部244は、タイミング信号SIG(i)に基づいて対角方向にずれた位置関係にある1組の間引き画像が連続して出力されるように間引き画像を選択する。本実施形態では、選択部244は、i=0の場合には間引き画像DIV_Aを、i=1の場合には間引き画像DIV_Cを、i=2の場合には間引き画像DIV_Bを、i=3の場合には間引き画像DIV_Dを選択し、IMG_Cとして出力する。
図12は、第3実施形態におけるタイミング信号SIGと画像処理部240で生成される画像との対応を示す図である。図12(a)のタイミング信号SIGと、図12(b)のメモリ制御部241の出力画像は、第1実施形態(図4(a)、図4(b))と同様である。図12(c)の下段に黒挿入をする場合の選択部244による間引き画像の選択順を示す。図12(c)で示すように、黒挿入を実行する際には、対角方向に位置する間引き画像DIV_AとDIV_C、またはDIV_BとDIV_Dが連続して出力される。
次に、S1102において、黒挿入部はiが2または3であるかを判定する。iが2または3である場合、処理はS310に進み、黒挿入部245は黒画像をIMG_Oとして出力する。他方、iが2または3以外の場合(iが0または1の場合)、処理はS311に進み、黒挿入部245は選択部244が出力した間引き画像をIMG_Oとして出力する。こうして、黒挿入部245は、対角方向にずれた位置関係にある1組の間引き画像以外の画像を黒画像に置き換え、間引き画像と黒画像をそれぞれ連続して出力する。第3実施形態では、黒挿入部245は、出力画像IMG_Oとして、間引き画像DIV_A、間引き画像DIV_C、黒画像、黒画像の順に出力する。
図12(d)の中段に間引き画像DIV_A、DIV_Cを投影する場合の黒画像の挿入状態を示す。また、図12(d)の下段に間引き画像DIV_B、DIV_Dを投影した場合の黒画像の挿入状態を示す。なお、図12(d)の下段の投影制御は、例えば、図11のS1102において、YES分岐とNO分岐を入れ替えることで実現できる。図12(d)に示すように、間引き画像および黒画像が連続するサブフレーム期間で投影されている。このように選択部244で出力画像順を入れ替えることで黒画像投影期間を第1実施形態よりも長く設定することができる。
S1103において、CPU210は画素ずらしデバイス制御部284に指示を出し、画素ずらしデバイス制御部284は黒挿入制御信号K_SIGとタイミング信号SIGに基づいて画素ずらしデバイス283を制御する。黒挿入制御信号K_SIGは黒挿入機能ONを示す制御信号である。画素ずらしデバイス制御部284はタイミング制御信号SIGに基づいて、図12(d)の「黒挿入をする場合」で示した各サブフレーム期間の間引き画像に対し、図5で示した投影位置に正しく投影されるように画素ずらしデバイス283の姿勢を制御する。より具体的には、図12(d)中段のように黒挿入をする場合、第1サブフレームは間引き画像DIV_Aなので基準位置に投影されるように画素ずらしデバイス283を制御する(図5(a))。第2サブフレームでは間引き画像DIV_Cを投影するため、基準位置から水平垂直方向に0.5画素ずれた位置に投影されるように画素ずらしデバイス283の姿勢を制御する(図5(b))。第3、第4サブフレームでは黒画像を投影するため、特に画素ずらしデバイスの283の姿勢に指定は無い。図12(d)下段のように黒挿入をした場合においても同様の考え方で各サブフレームにおける投影位置が決まる。
一方、黒挿入を行わない場合は、図3Bで説明した処理が実行される。すなわち、選択部244aはタイミング信号SIGに基づいて間引き画像DIV_A、B、C、Dの順(画素ずらしの移動量が最小となる順)で画像を出力し、黒挿入部245はこれをそのまま出力画像IMG_Oとして出力する。図12(d)の上段に黒挿入をしない場合における選択部244aの出力画像を示す。図3BのS322による投影位置P(i)の制御処理は、第1実施形態と同様である。すなわち、画素ずらしデバイス制御部284は、タイミング制御信号SIGに基づいて、図12(d)の上段で示した各サブフレーム期間の間引き画像が図5(a)〜(c)で示した投影位置に正しく投影されるよう画素ずらしデバイス283の姿勢を制御する。
以上のように、第3実施形態では、黒画像の挿入の実行時と非実行時とで、複数の位置の間における投影位置の移動の順番を異ならせる。上記例では、黒画像の挿入の実行時には、サブフレームが投影画像として用いられる投影位置と、黒画像が投影画像として用いられる投影位置とが、それぞれ連続するように投影位置の移動が制御されている。他方、黒画像の挿入の非実行時では、投影位置の移動量が最小となるように投影位置の移動が制御される。以上が、第3実施形態による画素ずらしによる高精細化と、黒挿入による動画視認性改善を両立するまでのシーケンスの説明である。
次に、図13を参照して、第1実施形態での黒挿入による動画視認性の改善効果よりも、第3実施形態における動画視認性の改善効果の方が高くなるメカニズムを説明する。
図13(a)は、黒画像の非挿入時のユーザに観察される画像を示している。図中の各軸および図形の定義は第1実施形態(図8)と同様である。入力画像の明画素は8ビット表現で255階調、暗画素は0階調、中間階調画素は128階調として説明する。動画速度は第1実施形態と同様で4画素/フレームである。この時、視点1の斜線に対し、斜線を通過する画素を時間積分すると、128階調となる。同様に、視点2、視点3、視点4の斜線を通過する画素を時間積分すると、128階調となる。結果、ユーザに観察される画像としては一定のグレーレベルとなってしまい、入力画像に含まれていた周波数成分は動画ボケによって失われてしまうことがわかる。
次に、図13(b)を用いて、図13(a)の入力画像に第1実施形態で示した隔サブフレームに黒挿入した場合のユーザに観察される画像について説明する。第1実施形態のように隔サブフレームに黒挿入をすると、図13(a)と同様の考え方から、一定のグレーレベルの画像がユーザに視認されてしまう。結果、黒挿入をしているにも関わらず、黒挿入をしていない時と同様に、入力画像に含まれていた周波数成分は動画ボケによって失われてしまうことがわかる。
図13(c)を用いて、前述の入力画像の後半サブフレームに黒挿入した場合のユーザに観察される画像について説明する。視点1の斜線を通過する画素は128階調、255階調、0階調、0階調の順で続き、時間積分されてユーザには約96階調値として視認される。また、視点2の斜線を通過する画素も同様に時間積分され、約96階調値として視認される。一方、視点3の斜線を通過する画素は128階調、0階調、0階調、0階調の順で続き、時間積分されて約32階調値としてユーザに視認される。また、視点4も同様に約32階調値として視認される。結果、ユーザに観察される画像は、入力画像に対しコントラストは低いが、周波数成分を残した画像として視認される。この現象を自然画像に適応して考えると、より低周波成分を持つ動画に対しても、エッジ部分の鮮鋭感が残りやすくなり、動画ボケが視認されにくくなることがわかる。
以上、図13を用いて説明した通り、黒画像に置き換えるサブフレームを連続させることにより、さらに黒挿入による動画視認性改善効果をより高めることができる。
また、第3実施形態では黒挿入をしない場合は間引き画像DIV_A、B、C、Dの順で画像を投影し、黒挿入する場合は間引き画像の出力順を入れ替えてDIV_A、C、B、Dとしている。以下では黒挿入をする場合としない場合で出力画像の順序を入れ替える理由を説明する。黒挿入をしない場合、間引き画像DIV_A、B、C、Dのように動かすとサブフレーム間での画素の移動量は常に1/2画素となり最少移動量を保つことができる。結果、サブフレーム期間中で所望の投影位置に投影されている時間をできる限り長く確保することができるようになり、画素ずらし時の画質を向上させることができる。よって、黒挿入をしない場合は極力投影位置をずらす遷移時間を短くするために、各サブフレーム間の投影位置の遷移方向は垂直または水平方向のいずれか一方であることが望ましい。
一方、黒挿入をする場合は前述の説明の通り、非黒画像は対角方向にずれた投影位置関係にある画像であることが画素ずらしによる高精細化という観点において望ましい。また、これも前述した通り、黒挿入による黒画像表示は連続するサブフレーム期間で実施する方が動画視認性改善の観点から望ましい。以上のように、黒画像の非挿入時および挿入時における高画質化の条件をすべて満たすためには、黒画像の非挿入時と挿入時において各間引き画像の表示順を変えるのが好ましい。
以上のように、第3実施形態によれば、画像処理部240やパネル駆動速度は4倍速のまま画素ずらしと黒挿入を両立することができる投影装置を提供することができる。更に、第3実施形態では黒挿入時に対角方向にずれる間引き画像を連続して出力し、残り半フレームを黒画像に置き換えることによって、第1実施形態よりも黒画像表示期間を長くし、黒挿入による動画視認性改善効果をより高めることができる。
以上、第3実施形態における、画素ずらしによる高精細化と、黒挿入による動画視認性改善を両立する処理を説明した。なお、第1実施形態の変形例として説明した構成(図2B)及び処理(図3C,3D)を、第3実施形態に適用することもできる。その場合、図3CのS351において、図11のSS1101と同様に、間引き部243はiが0から3へ増加するのに対しDIV_A、DIV_C、DIV_B、DIV_Dの順に間引き画像を生成する。DIV_BとDIV_Dの生成は省略されてもよい。また、図3CのS352において、S1102と同様に、i=2または3の場合にYES分岐し、他の場合にNO分岐するようにすればよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
200:投影装置、210:CPU、211:RAM、212:ROM、213:操作部、220:画像入力部、230:光源制御部、240:画像処理部、260:光源、250:光変調素子制御部、270:光変調素子、283:画素ずらしデバイス、284:画素ずらしデバイス制御部、285:投影光学系、286:投影光学系制御部、287:タイミング信号生成部

Claims (20)

  1. 1フレーム期間を分割した複数のサブフレーム期間と同期して投影画像の投影位置を複数の位置の間で移動させる移動手段と、
    前記複数のサブフレーム期間と同期して前記投影画像を出力する投影手段と、
    前記投影画像を生成するために入力画像を処理する画像処理手段と、を備え、
    前記画像処理手段は、
    1フレームの前記入力画像から複数のサブフレームを生成し、
    前記複数の位置のうちの所定の位置に前記投影位置が制御されるサブフレーム期間に前記複数のサブフレームのうち前記投影位置に対応するサブフレームを前記投影画像として出力し、他のサブフレーム期間に黒画像を前記投影画像として出力することを特徴とする投影装置。
  2. 前記画像処理手段は、前記投影位置が前記複数の位置のうちの第1位置と前記第1位置に対して水平および垂直方向に所定距離だけ離れた第2位置とに制御されるサブフレーム期間に前記複数のサブフレームのいずれかを投影画像として出力し、前記複数の位置のうち前記第1位置および前記第2位置以外の位置に前記投影位置が制御されるサブフレーム期間には黒画像を投影画像として出力することを特徴とする請求項1に記載の投影装置。
  3. 前記移動手段は、投影画像の投影位置を水平方向および/または垂直方向に所定距離だけずらした4つの位置の間で順に移動させ、
    前記画像処理手段は、前記4つの位置のうち斜め方向に並ぶ2つの投影位置において前記複数のサブフレームのうちのいずれかを投影画像として出力し、他の2つの投影位置において黒画像を投影画像として出力することを特徴とする請求項1に記載の投影装置。
  4. 前記画像処理手段は、前記黒画像にオフセットをかけることにより前記黒画像の輝度を上げて前記投影画像として用いることを特徴とする請求項1乃至3のいずれか1項に記載の投影装置。
  5. 前記画像処理手段は、前記入力画像から異なる位置を間引いて前記複数のサブフレームを生成することを特徴とする請求項1乃至4のいずれか1項に記載の投影装置。
  6. 前記画像処理手段は前記入力画像にフィルタ処理をしてから前記複数のサブフレームを生成することを特徴とする請求項5に記載の投影装置。
  7. 前記黒画像の挿入を実行するか否かを判断する判断手段をさらに備え、
    前記画像処理手段は、前記黒画像の挿入を実行しないと判断された場合に、前記複数のサブフレーム期間のすべてにおいて前記複数のサブフレームのいずれかを投影画像として出力することを特徴とする請求項1乃至6のいずれか1項に記載の投影装置。
  8. 投影画像を投影するための光源の明るさを制御する光源制御手段をさらに備え、
    前記光源制御手段は、黒画像の挿入の実行時における前記光源の明るさが、黒画像の挿入の非実行時における前記光源の明るさよりも明るくなるように前記光源を制御することを特徴とする請求項7に記載の投影装置。
  9. 前記判断手段は、ユーザによる黒画像の挿入の指示を受信した場合に黒画像の挿入を実行すると判断することを特徴とする請求項7または8に記載の投影装置。
  10. 前記入力画像が動画であるか否かを判別する画像判別手段を備え、
    前記判断手段は、前記画像判別手段により前記入力画像が動画であると判別された場合に黒画像の挿入を実行すると判断し、前記画像判別手段により前記入力画像が動画ではないと判別された場合に黒画像の挿入を実行しないと判断することを特徴とする請求項7または8に記載の投影装置。
  11. 前記画像判別手段は、前記入力画像の連続する複数のフレームの差分の大きさに基づいて前記入力画像が動画か否かを判別することを特徴とする請求項10に記載の投影装置。
  12. 前記移動手段は、黒画像の挿入の実行時と非実行時とで前記複数の位置の間の移動の順番を異ならせることを特徴とする請求項6乃至11のいずれか1項に記載の投影装置。
  13. 前記移動手段は、黒画像の挿入の実行時に、サブフレームが投影画像として用いられる投影位置と、黒画像が投影画像として用いられる投影位置とが、それぞれ連続するように前記複数の位置の間の投影位置を制御することを特徴とする請求項12に記載の投影装置。
  14. 前記移動手段は、黒画像の挿入の非実行時には、投影位置の移動量が最小となるように前記複数の位置の間で投影位置を移動することを特徴とする請求項12または13に記載の投影装置。
  15. 1フレーム期間を分割した複数のサブフレーム期間と同期して投影画像の投影位置を複数の位置の間で移動させる移動工程と、
    前記複数のサブフレーム期間と同期して前記投影画像を出力する投影工程と、
    前記投影画像を生成するために入力画像を処理する画像処理工程と、を備え、
    前記画像処理工程では、
    1フレームの前記入力画像から複数のサブフレームを生成し、
    前記複数の位置のうちの所定の位置に前記投影位置が制御されるサブフレーム期間に前記複数のサブフレームのうち前記投影位置に対応するサブフレームを前記投影画像として出力し、他のサブフレーム期間に黒画像を前記投影画像として出力することを特徴とする投影方法。
  16. 前記画像処理工程では、前記投影位置が前記複数の位置のうちの第1位置と前記第1位置に対して水平および垂直方向に所定距離だけ離れた第2位置とに制御されるサブフレーム期間に前記複数のサブフレームのいずれかを投影画像として出力し、前記複数の位置のうち前記第1位置および前記第2位置以外の位置に前記投影位置が制御されるサブフレーム期間には黒画像を投影画像として出力することを特徴とする請求項15に記載の投影方法。
  17. 前記移動工程では、投影画像の投影位置を水平方向および/または垂直方向に所定距離だけずらした4つの位置の間で順に移動させ、
    前記画像処理工程では、前記4つの位置のうち斜め方向に並ぶ2つの投影位置において前記複数のサブフレームのうちのいずれかを投影画像として出力し、他の2つの投影位置において黒画像を投影画像として出力することを特徴とする請求項15に記載の投影方法。
  18. 前記入力画像が動画であるか否かを判別する画像判別工程と、
    前記画像判別工程により前記入力画像が動画であると判別された場合に黒画像の挿入を実行すると判断し、前記画像判別工程により前記入力画像が動画ではないと判別された場合に黒画像の挿入を実行しないと判断する判断工程と、を備えることを特徴とする請求項15に記載の投影方法。
  19. 前記移動工程は、黒画像の挿入の実行時と非実行時とで前記複数の位置の間の移動の順番を異ならせることを特徴とする請求項15に記載の投影方法。
  20. コンピュータに、請求項15乃至19のいずれか1項に記載された投影方法の各工程を実行させるためのプログラム。
JP2018176148A 2018-09-20 2018-09-20 投影装置、投影方法およびプログラム Pending JP2020048115A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018176148A JP2020048115A (ja) 2018-09-20 2018-09-20 投影装置、投影方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018176148A JP2020048115A (ja) 2018-09-20 2018-09-20 投影装置、投影方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2020048115A true JP2020048115A (ja) 2020-03-26

Family

ID=69901859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018176148A Pending JP2020048115A (ja) 2018-09-20 2018-09-20 投影装置、投影方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2020048115A (ja)

Similar Documents

Publication Publication Date Title
US8310528B2 (en) Image display apparatus and method
CN108364623B (zh) 信息处理设备、信息处理方法和计算机可读介质
US20080151040A1 (en) Three-dimensional image display apparatus and method and system for processing three-dimensional image signal
US7903173B2 (en) Moving image display device and method for moving image display
US20090051759A1 (en) Equipment and methods for the synchronization of stereoscopic projection displays
JP5740885B2 (ja) 表示装置、及び、表示方法
CN110312109B (zh) 投影显示设备及控制方法
KR101382058B1 (ko) 크로스토크 보정량 평가 장치 및 크로스토크 보정량 평가 방법
JP2013012980A (ja) 表示制御回路及びプロジェクタ装置
JP2011082615A (ja) 映像信号処理装置及び映像信号処理方法
JP6635748B2 (ja) 表示装置、表示装置の制御方法及びプログラム
JP2020048115A (ja) 投影装置、投影方法およびプログラム
JP4129786B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5367031B2 (ja) 情報処理方法、および情報処理装置
JP6200658B2 (ja) 表示制御装置
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
JP2012049662A (ja) 画像処理装置、画像処理方法及び画像表示装置
JP5777920B2 (ja) 画像処理装置および画像処理方法
JP2019201272A (ja) 投影装置、投影システム、投影方法およびプログラム
JP2013026871A (ja) 画像処理装置および方法、並びにプログラム
JP2019197942A (ja) 投影システム及び投影システムの制御方法
CN113747139A (zh) 基于移动平台的高清3d实现方法、装置、设备及存储介质
JP2012084955A (ja) 画像表示装置
JP2020060654A (ja) 投影装置、その制御方法、プログラム、記憶媒体
CN111316204A (zh) 显示器系统

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113