JP2014003533A - 映像処理装置、映像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】フレーム周波数の変換処理に要する回路規模を削減することが可能な映像処理装置を提供する。
【解決手段】１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理部と、前記周波数変換処理部が周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離部と、を備える、映像処理装置が提供される。
【選択図】図１

Description

本開示は、映像処理装置、映像処理方法及びコンピュータプログラムに関する。

液晶ディスプレイに映像を表示させる際に、映像の残像感を残さないように、フレーム周波数を上げて動画応答速度を速くし、動きをなめらかに見せる技術が一般的に用いられている（例えば特許文献１等参照）。例えば、日本や北米などで採用されているＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ；全米テレビジョン放送方式標準化委員会）が策定した規格では、垂直走査周波数は６０Ｈｚである。６０Ｈｚで液晶ディスプレイに映像を表示させると残像が生じやすくなるので、フレーム周波数を１２０Ｈｚや２４０Ｈｚに上げることで、液晶ディスプレイに映像を表示させた際に残像を生じさせないようにすることができる。

特開２００７−１４８０５４号公報

近年は、二次元の映像だけでなく、視聴者に映像を立体的に知覚させることができる三次元の映像を表示することができる液晶ディスプレイも普及しつつある。二次元の映像だけでなく、三次元の映像の場合にも、上述したフレーム周波数を上げる処理は、残像を生じさせなくするために有効である。

ここで、二次元の映像の場合と三次元の映像の場合とでフレーム周波数を上げる処理を分けると、回路規模が増大する。三次元の映像は、１つのフレームに右目用の画像と左目用の画像とが存在する映像フォーマットで伝送され、右目用の画像と左目用の画像とに分離され、右目用の画像と左目用の画像とを液晶ディスプレイに交互に表示することで、視聴者に映像を立体的に知覚させる。ここで、右目用の画像と左目用の画像とに分離することで、画像のサイズが二次元の映像の半分になり、フレーム周波数を上げる処理に際し、二次元の映像と同じ処理を適用することは出来ない。

そこで、本開示は、フレーム周波数の変換処理に要する回路規模を削減することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供する。

本開示によれば、１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理部と、前記周波数変換処理部が周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離部と、を備える、映像処理装置が提供される。

また本開示によれば、１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、を備える、映像処理方法が提供される。

また本開示によれば、コンピュータに、１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、フレーム周波数の変換処理に要する回路規模を削減することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供することができる。

本開示の一実施形態にかかる映像表示装置１００の機能構成を示す説明図である。 本開示の一実施形態にかかる映像表示装置１００の機能構成について示す説明図である。 本開示の一実施形態にかかる映像信号制御部１２０の機能構成例を示す説明図である。 本開示の一実施形態にかかるフレーム周波数変換処理部１２２の構成を示す説明図である。 本開示の一実施形態にかかる映像信号制御部１２０の動作例を示す流れ図である。 映像信号の変化について示す説明図である。 映像信号の変化について示す説明図である。 映像信号の変化について示す説明図である。 本開示の一実施形態にかかる映像信号制御部１２０の変形例である映像信号制御部１２０’の機能構成を示す説明図である。 映像信号制御部１２０’の動作例を示す流れ図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の位置実施形態＞
［映像表示装置の機能構成例］
［映像信号制御部の機能構成例］
［映像信号制御部の動作例］
［映像信号制御部の変形例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［映像表示装置の機能構成例］
まず、図面を参照しながら本開示の一実施形態にかかる映像表示装置の機能構成例について説明する。図１は、本開示の一実施形態にかかる映像表示装置１００の機能構成を示す説明図である。以下、図１を用いて本開示の一実施形態にかかる映像表示装置１００の機能構成について説明する。

以下において、本開示の一実施形態にかかる映像表示装置の構成について説明する。まず、本開示の一実施形態にかかる表示装置の外観について説明する。図１は、本開示の一実施形態にかかる映像表示装置１００の外観を示す説明図である。また、図１には、映像表示装置１００が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡２００も併せて示している。

図１に示した映像表示装置１００は、画像の表示が行われる画像表示部１１０を備えている。映像表示装置１００は、通常の二次元画像を画像表示部１１０に表示するだけではなく、観察者に立体的な画像として知覚させる三次元画像を画像表示部１１０に表示することが可能な装置である。

画像表示部１１０の構成については詳述するが、ここで簡単に説明すると、画像表示部１１０は、光源、液晶パネル、及び液晶パネルを挟んで設けられる一対の偏光板を含んで構成される。光源からの光は液晶パネル及び偏光板を透過することで所定の方向に偏光された光となる。なお、本開示の適用範囲は液晶パネルに限定されるものでは無く、その他の表示装置、例えばプラズマディスプレイパネルを用いた表示装置、有機ＥＬ表示装置、プロジェクタ等に適用してもよい。

シャッタ眼鏡２００は、例えば液晶シャッタからなる右目用画像透過部２１２及び左目用画像透過部２１４を含んで構成されている。シャッタ眼鏡２００は、映像表示装置１００から送出される信号に応じて、右目用画像透過部２１２及び左目用画像透過部２１４の開閉動作を実行する。観察者は、シャッタ眼鏡２００の右目用画像透過部２１２及び左目用画像透過部２１４を通して、画像表示部１１０から発する光を見ることで、画像表示部１１０に表示される画像を立体的な画像として知覚することが出来る。

一方、通常の画像が画像表示部１１０に表示されている場合は、観察者はそのまま画像表示部１１０から出射される光を見ることで、通常の画像として知覚することができる。

なお、図１では、映像表示装置１００をテレビ受像機として図示していたが、本開示においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本開示の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。

以上、本開示の一実施形態にかかる映像表示装置１００の外観について説明した。次に、本開示の一実施形態にかかる映像表示装置１００の機能構成について説明する。

図２は、本開示の一実施形態にかかる映像表示装置１００の機能構成について示す説明図である。以下、図２を用いて本開示の一実施形態にかかる映像表示装置１００の機能構成について説明する。

図２に示したように、本開示の一実施形態にかかる映像表示装置１００は、画像表示部１１０と、映像信号制御部１２０と、シャッタ制御部１３０と、タイミング制御部１４０と、フレームメモリ１５０と、バックライト制御部１５５と、を含んで構成される。

画像表示部１１０は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部１１０は、表示パネル１１２と、ゲートドライバ１１３と、データドライバ１１４と、バックライト１１５と、を含んで構成される。

表示パネル１１２は、外部からの信号の印加に応じて画像を表示するものである。表示パネル１１２は、複数の走査線に対する順次走査により画像を表示する。表示パネル１１２は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル１１２の駆動方式は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）方式であってもよく、ＶＡ（Ｖｉｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式であってもよく、ＩＰＳ（Ｉｎ−Ｐｌａｃｅ−Ｓｗｉｔｃｈｉｎｇ）方式であってもよい。以下の説明では、表示パネル１１２の駆動方式は、特に断りが無ければＶＡ方式であるとして説明するが、本開示においてはかかる例に限られないことはいうまでも無い。なお、本実施形態にかかる表示パネル１１２は、高速なフレームレート（例えば１２０Ｈｚや２４０Ｈｚ）で画面の書き換えが可能な表示パネルである。そして、本実施形態では、右目用の画像と左目用の画像を、表示パネル１１２に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。

ゲートドライバ１１３は、表示パネル１１２のゲートバスライン（図示せず）を駆動するためのドライバである。ゲートドライバ１１３にはタイミング制御部１４０から信号が伝送され、ゲートドライバ１１３はタイミング制御部１４０から伝送された信号に応じてゲートバスラインへ信号を出力する。

データドライバ１１４は、表示パネル１１２のデータ線（図示せず）に印加するための信号を生成するためのドライバである。データドライバ１１４にはタイミング制御部１４０から信号が伝送され、データドライバ１１４はタイミング制御部１４０から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。

バックライト１１５は、観察者側から見て画像表示部１１０の一番奥に設けられるものである。画像表示部１１０に画像を表示する際には、バックライト１１５からは偏光されていない（無偏光の）白色光が観察者側に位置する表示パネル１１２に出射される。バックライト１１５としては、例えば発光ダイオードを用いても良く、冷陰極管を用いてもよい。なお、図２では、バックライト１１５として面光源を示しているが、本開示においては光源の形態はかかる例に限定されない。例えば、表示パネル１１２の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル１１２に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。

映像信号制御部１２０は、映像信号制御部１２０の外部からの映像信号の伝送を受けると、受け取った映像信号を、画像表示部１１０における三次元画像の表示に適したものとなるように各種信号処理を実行して出力するものである。映像信号制御部１２０で信号処理が施された映像信号はタイミング制御部１４０に伝送される。また、映像信号制御部１２０で信号処理が実行されると、信号処理に応じてシャッタ制御部１３０に所定の信号を伝送する。映像信号制御部１２０における信号処理としては、例えば以下のようなものがある。

映像信号制御部１２０は、映像表示装置１００に供給される映像信号のフレーム周波数を変換する処理を実行する。例えば映像信号制御部１２０は、映像表示装置１００に供給される映像信号のフレーム周波数が６０Ｈｚであれば、フレーム周波数を１２０Ｈｚまたは２４０Ｈｚに変換する。

また映像信号制御部１２０は、三次元の映像を表示するための映像フォーマットで映像信号が映像表示装置１００に伝送されてくると、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）とから三次元画像のための映像信号を生成する。本実施形態においては、映像信号制御部１２０は、入力される右目用映像信号及び左目用映像信号から、表示パネル１１２に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部１２０は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。映像表示装置１００は、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させて、またシャッタ制御部１３０によって後半のフレームの期間でシャッタ眼鏡２００を開かせることで、明るく、またクロストーク（光の漏れ）の無い画像を視聴者に見せることができる。

シャッタ制御部１３０は、映像信号制御部１２０における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡２００のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡２００では、シャッタ制御部１３０で生成され、赤外線エミッタ（図示せず）から発せされるシャッタ制御信号に基づいて、右目用画像透過部２１２及び左目用画像透過部２１４の開閉動作が実行される。なお、本開示においては、シャッタ眼鏡２００と映像表示装置１００との間の通信手段は赤外線に限られない。例えば、高周波電磁波を用いてシャッタ眼鏡２００と映像表示装置１００との間の通信を行ってもよい。バックライト制御部１５５は、映像信号制御部１２０における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてバックライトの点灯動作を制御するバックライト制御信号を生成するものである。

タイミング制御部１４０は、映像信号制御部１２０から伝送される信号に応じて、ゲートドライバ１１３およびデータドライバ１１４の動作に用いられるパルス信号を生成するものである。タイミング制御部１４０でパルス信号を生成して、ゲートドライバ１１３およびデータドライバ１１４がタイミング制御部１４０で生成されたパルス信号を受けることで、映像信号制御部１２０から伝送される信号に応じた画像が表示パネル１１２に画像が表示される。

フレームメモリ１５０は、映像信号制御部１２０における信号処理に基づいて生成される映像信号を一時的に記憶するものである。

以上、図２を用いて本開示の一実施形態にかかる映像表示装置１００の機能構成について説明した。次に、本開示の一実施形態にかかる映像信号制御部１２０の機能構成例について説明する。

［映像信号制御部の機能構成］
図３は、本開示の一実施形態にかかる映像信号制御部１２０の機能構成例を示す説明図である。以下、図３を用いて本開示の一実施形態にかかる映像信号制御部１２０の機能構成例について説明する。

図３に示したように、本開示の一実施形態にかかる映像信号制御部１２０は、映像信号受信部１２１と、フレーム周波数変換処理部１２２と、映像分離部１２４と、を含んで構成される。

映像信号受信部１２１は、映像表示装置１００に伝送されてくる映像信号を受信する。映像信号受信部１２１が受信する映像信号には、二次元の映像を画像表示部１１０に表示する二次元映像信号と、三次元の映像を画像表示部１１０に表示する三次元映像信号がある。映像信号受信部１２１は、受信した映像信号をフレーム周波数変換処理部１２２に供給する。映像信号受信部１２１が受信する映像信号のフレーム周波数は、例えば４８Ｈｚ、５０Ｈｚ、６０Ｈｚ等である。本実施形態では、映像信号受信部１２１が受信する映像信号のフレーム周波数は６０Ｈｚであるとする。

フレーム周波数変換処理部１２２は、映像信号受信部１２１から供給される映像信号のフレーム周波数を変換する処理を実行する。具体的には、フレーム周波数変換処理部１２２は、映像信号受信部１２１から供給される映像信号のフレーム周波数を６０Ｈｚから１２０Ｈｚまたは２４０Ｈｚに変換する処理を実行する。フレーム周波数変換処理部１２２は、フレーム周波数を６０Ｈｚから１２０Ｈｚまたは２４０Ｈｚに変換するために、フレームとフレームとの間の画像を補間する処理を実行する。フレーム周波数変換処理部１２２の具体的な構成については後に詳述する。フレーム周波数変換処理部１２２は、映像信号受信部１２１から供給される映像信号のフレーム周波数を変換すると、変換後の映像信号を映像分離部１２４に供給する。

映像分離部１２４は、フレーム周波数変換処理部１２２でフレーム周波数が変換された映像信号に対し、映像信号が三次元映像信号であれば、右目用映像信号と左目用映像信号とに分離して、右目用画像と左目用画像が交互に画像表示部１１０に表示されるように並び替える。また映像分離部１２４は、右目用映像信号と左目用映像信号とに分離すると、右目用画像及び左目用画像の表示サイズが画像表示部１１０の表示サイズに合うように拡大処理を行なう。なお映像分離部１２４は、映像信号が二次元映像信号であれば何もせずにフレーム周波数変換処理部１２２でフレーム周波数が変換された映像信号を出力する。

映像信号制御部１２０は、図３に示したような構成を有することで、二次元映像信号と三次元映像信号のいずれに対しても同じ処理によってフレーム周波数を変換することができる。

続いて、図３に示したフレーム周波数変換処理部１２２の構成例について説明する。図４は、本開示の一実施形態にかかるフレーム周波数変換処理部１２２の構成を示す説明図である。

図４に示したように、本開示の一実施形態にかかるフレーム周波数変換処理部１２２は、縮小画像生成部１２５と、動きベクトル計算部１２６と、ベクトル信頼度計算部１２７と、補間フレーム作成部１２８と、を含んで構成される。

縮小画像生成部１２５は、動きベクトル計算部１２６での動きベクトルの計算を簡略化するために、元の画像を縮小した縮小画像を生成する。縮小画像生成部１２５は、例えば元の画像の面積を１／４や１／１６などに縮小した縮小画像を生成する。縮小画像生成部１２５は、生成した縮小画像を動きベクトル計算部１２６に供給する。

動きベクトル計算部１２６は、隣接する２つのフレーム間の物体の動きベクトルを計算する。動きベクトル計算部１２６は、動きベクトルの計算に際して、例えばブロックマッチング処理を実行する。ブロックマッチング処理は、２枚の画像間で対応する位置を検索する処理であり、検索の結果、対応する位置が同座標であれば動きがなく、異なる座標であれば動きがあるものと判定される処理である。動きベクトル計算部１２６は、ブロックマッチング処理によって画像中の物体の移動の有無を判定し、移動している物体について、２つのフレーム間のその物体の動きベクトルを計算する。動きベクトル計算部１２６は計算した動きベクトルの情報をベクトル信頼度計算部１２７及び補間フレーム作成部１２８に送る。

なお、動きが複雑なシーンや、映像がフェーディングしているシーン等では、ブロックマッチング処理がうまくいかず、結果として動きベクトルがうまく求められない場合がある。そのようなシーンでは、動きベクトル計算部１２６は、ブロックマッチング処理での差分の総和を求める。そして動きベクトル計算部１２６は、ブロックマッチング処理での差分の総和が閾値以下であれば動きベクトルの計算をやめることで補間処理を停止してもよい。ブロックマッチング処理での差分の総和が閾値以下であれば動きベクトルの計算をやめることで、フレーム周波数変換処理部１２２は、滑らかさを犠牲にしても、崩れた映像が表示されてしまうことを防ぐことができる。

ベクトル信頼度計算部１２７は、動きベクトル計算部１２６が計算した動きベクトルに対してそれぞれ信頼度を計算する。ベクトル信頼度計算部１２７は、信頼度を算出する指標として、例えば動きベクトルのサイズ、差分絶対値和、ブロック構成画素値の分散値、または動きベクトルの算出の対象となる２つのフレームにおける対応ブロックの構成画素値から算出する共分散値、もしくはこれらの組み合わせが用いられる。ベクトル信頼度計算部１２７が算出した信頼度が高い動きベクトルは補間フレーム作成部１２８における補間処理に用いられ、信頼度が所定の閾値より低い動きベクトルは、補間フレーム作成部１２８における補間処理から除外される。ベクトル信頼度計算部１２７は、各動きベクトルに対して計算した信頼度の情報を補間フレーム作成部１２８に供給する。

補間フレーム作成部１２８は、隣接する２つのフレームの画像（面積が縮小されていない原画像）、動きベクトル計算部１２６が計算した動きベクトル、及びベクトル信頼度計算部１２７が計算した信頼度を用いて、隣接する２つのフレームの間を補間する画像を作成する。フレーム周波数変換処理部１２２がフレーム周波数を６０Ｈｚから１２０Ｈｚに変換する場合は、補間フレーム作成部１２８は１枚の画像を作成し、フレーム周波数を６０Ｈｚから２４０Ｈｚに変換する場合は、補間フレーム作成部１２８は３枚の画像を作成する。

フレーム周波数変換処理部１２２は、図４に示したような構成を有することで、隣接する２つのフレーム間を補間する１枚以上の画像を生成することができる。なお、本開示では、フレーム周波数変換処理部１２２の構成は係る例に限定されるものではない。

本実施形態に係る映像信号制御部１２０は、二次元映像信号であるか三次元映像信号であるかに関係なく、フレーム周波数変換処理部１２２に映像信号を通して隣接する２つのフレーム間を補間する１枚以上の画像を生成する。二次元映像信号であるか三次元映像信号であるかに関係なく、フレーム周波数変換処理部１２２に映像信号を通すことで、本実施形態に係る映像信号制御部１２０は回路規模の増大を防ぐことが出来る。

本実施形態に係る映像信号制御部１２０の回路規模の増大が防がれる理由は以下の通りである。フレーム周波数の変換処理を、二次元映像の場合と三次元映像の場合とで分けるには、フレーム周波数変換処理の前に、三次元映像信号を右目用映像信号と左目用映像信号に分ける処理が必要となる。そして、図４のフレーム周波数変換処理部１２２の構成で示した縮小画像生成部１２５では、二次元映像の場合と、分離された三次元映像の場合とで画像サイズの違いによる切り分けが必要となる。さらに、動きベクトル計算部１２６では、画像サイズの違いによる信号処理上の切り分けが、ベクトル信頼度計算部１２７では、画像サイズの違いによる閾値の変更が必要となる。そして補間フレーム作成部１２８でも、画像サイズの違いによる信号処理上の切り分けが必要となる。

しかし、本実施形態に係る映像信号制御部１２０は、フレーム周波数の変換処理を、二次元映像信号であるか三次元映像信号であるかに関係なく統一することで、画像サイズの違いによる切り分けの必要がなくなり、回路規模の増大を防ぐことが出来る。

以上、本開示の一実施形態にかかる映像信号制御部１２０の機能構成例について説明した。次に、本開示の一実施形態にかかる映像信号制御部１２０の動作例について説明する。

［映像信号制御部の動作例］
図５は、本開示の一実施形態にかかる映像信号制御部１２０の動作例を示す流れ図である。図５に示した流れ図は、映像信号制御部１２０が、三次元映像信号において隣接する２つのフレームを補間する画像を生成する際の動作を示したものである。以下、図５を用いて本開示の一実施形態にかかる映像信号制御部１２０の動作について説明する。

映像信号制御部１２０は、三次元映像信号が供給されると、まず三次元映像信号からそのまま、元の画像の面積を１／４や１／１６などに縮小した縮小画像を生成する（ステップＳ１０１）。ステップＳ１０１の縮小画像の生成処理は、例えば縮小画像生成部１２５が実行する。

映像信号制御部１２０は、上記ステップＳ１０１で縮小画像を生成すると、続いて、２つのフレームの画像を用いて物体の動きベクトルを計算する（ステップＳ１０２）。ステップＳ１０２の動きベクトルの計算処理は、例えば動きベクトル計算部１２６が実行する。映像信号制御部１２０は、ステップＳ１０２で物体の動きベクトルを計算すると、続いて、ステップＳ１０２で計算した動きベクトルの信頼度を計算する（ステップＳ１０３）。ステップＳ１０２のベクトル信頼度の計算処理は、例えばベクトル信頼度計算部１２７が実行する。

映像信号制御部１２０は、上記ステップＳ１０３で動きベクトルの信頼度を計算すると、続いて、供給された三次元映像信号、上記ステップＳ１０２で計算された物体の動きベクトル、及び上記ステップＳ１０３で計算された動きベクトルの信頼度を用いて、三次元映像信号２つのフレームの間の画像を補間する補間フレームを作成する（ステップＳ１０４）。ステップＳ１０４の補間フレームの作成処理は、例えば補間フレーム作成部１２８が実行する。

映像信号制御部１２０は、上記ステップＳ１０４で補間フレームを作成すると、作成した補間フレームを含めて、三次元映像信号を右目用映像信号と左目用映像信号とに分離する（ステップＳ１０５）。ステップＳ１０４の分離処理は、例えば映像分離部１２４が実行する。右目用映像信号と左目用映像信号との分離は、例えば、右目用の映像と左目用の映像とが１つの画面の左右に分かれて伝送されるサイドバイサイド方式であれば１枚の画像を左右半分に分割することで可能であり、また例えば、右目用の映像と左目用の映像とが１つの画面の上下に分かれて伝送されるトップアンドボトム方式であれば１枚の画像を上下半分に分割することで可能である。なお、右目用の映像と左目用の映像とが１つのフレーム期間の前半部分と後半部分とに分かれて伝送されるフレームパッキング方式であれば、１つのフレーム期間を２つのサブフレームに分割することで、右目用映像信号と左目用映像信号とに分離することが可能である。

映像信号制御部１２０は、上記ステップＳ１０５で三次元映像信号を右目用映像信号と左目用映像信号とに分離すると、続いて画像表示部１１０の表示サイズに合わせるために各映像信号により表示される画像を拡大する（ステップＳ１０６）。ステップＳ１０６の拡大処理は、例えば映像分離部１２４が実行する。

映像信号制御部１２０は、上記ステップＳ１０６で画像の拡大処理を実行すると、続いて右目用画像と左目用画像とが交互に画像表示部１１０に表示されるように、画像を並び替える（ステップＳ１０７）。ステップＳ１０７の並び替え処理は、例えば映像分離部１２４が実行する。

映像信号制御部１２０は、図５に示した処理を実行することで、右目用画像と左目用画像とが１フレーム中に存在する状態で三次元映像信号に対する補間処理を実行することができる。なお、映像信号制御部１２０は、二次元映像信号に対する補間処理を実行する際には、図５のステップＳ１０１からステップＳ１０４までの処理を実行すれば良い。

ここで、映像信号制御部１２０による二次元映像信号及び三次元映像信号の補間処理について図面を参照しながらより詳細に説明する。

図６は、二次元映像信号に対して映像信号制御部１２０で補間処理を行なった場合の映像信号の変化について示す説明図である。図６では、画像のサイズが１９２０ピクセル×１０８０ラインで、フレーム周波数が６０Ｈｚの二次元映像信号を、フレーム周波数が１２０Ｈｚの二次元映像信号に変換する場合が示されている。図６の符号３０１は映像信号制御部１２０に供給される映像信号の状態を示し、符号３０２は映像信号制御部１２０から出力される映像信号の状態を示している。また各画像に付した数字はフレーム番号を表している。

図６に示したように、映像信号制御部１２０は、二次元映像信号に対しては、例えば０番目のフレームの画像と１番目のフレームの画像とから補間フレーム（０．５番目のフレーム）を１枚生成する。映像信号制御部１２０は、このように補間フレームを１枚生成することで、フレーム周波数が６０Ｈｚの二次元映像信号を、フレーム周波数が１２０Ｈｚの二次元映像信号に変換する。

図７は、三次元映像信号に対して映像信号制御部１２０で補間処理を行なった場合の映像信号の変化について示す説明図である。図７では、画像のサイズが１９２０ピクセル×１０８０ラインで、フレーム周波数が６０Ｈｚであるサイドバイサイド方式の三次元映像信号を、フレーム周波数が２４０Ｈｚの三次元映像信号に変換して、さらに右目用画像と左目用画像に分離して並び替える場合が示されている。各画像に付した「Ｌ」「Ｒ」の文字は、それぞれ左目用画像、右目用画像を表し、数字はフレーム番号を表している。図７の符号３１１は映像信号制御部１２０に供給される映像信号の状態を示し、符号３１２は映像信号制御部１２０で周波数変換された後の映像信号の状態を示し、符号３１３は映像信号制御部１２０で周波数変換された後にさらに左目用画像と右目用画像とに分離された映像信号の状態を示している。

図７に示したように、映像信号制御部１２０は、三次元映像信号に対しては、例えば０番目のフレームの画像と１番目のフレームの画像とから補間フレーム（０．５番目のフレーム）を１枚生成する。また映像信号制御部１２０は、０番目のフレームと、０．５番目のフレームとをコピーする。従って、映像信号制御部１２０は、三次元映像信号に対しては、例えば０番目のフレームと１番目のフレームとの間に３つの新たなフレームを生成する。

そして映像信号制御部１２０は、周波数変換処理後の映像信号から、右目用画像及び左目用画像を生成し、画像表示部１１０の表示サイズに合わせて各画像を拡大し、右目用画像と左目用画像とが交互に画像表示部１１０に表示されるように並び替える。映像表示装置１００は、左目用画像と右目用画像をそれぞれ２フレームずつ繰り返して表示させて、またシャッタ制御部１３０によって後半のフレームの期間でシャッタ眼鏡２００を開かせることで、明るく、またクロストーク（光の漏れ）の無い画像を視聴者に見せることができる。

ここで、補間処理後に右目用画像及び左目用画像を生成する場合と、補間処理前に右目用画像及び左目用画像を生成する場合の違いを説明する。図８は、右目用画像及び左目用画像を生成してから、補間処理を行なった場合の映像信号の変化について示す説明図である。図８の符号３２１は元の映像信号の状態を示し、符号３２２は左目用画像と右目用画像とに分離された映像信号の状態を示し、符号３２３は分離後の信号が周波数変換された状態を示し、符号３２４は周波数変換後に拡大された後の映像信号の状態を示している。

補間処理前に右目用画像及び左目用画像を生成すると、映像信号制御部１２０は、図８に示したように、９６０ピクセル×１０８０ラインの画像に対してそれぞれ周波数変換処理を施す必要がある。画像のサイズが二次元映像の場合とは異なるので、画像の縮小処理、動きベクトルの計算処理、動きベクトルの信頼度の計算処理、補間フレームの作成処理については、二次元映像の場合と同じものを使うことが出来ない。従って、補間処理前に右目用画像及び左目用画像を生成すると、二次元映像の場合と別の処理を実行するための構成が必要となり、補間処理のための回路規模が増大してしまう。

これに対し、補間処理後に右目用画像及び左目用画像を生成すると、二次元映像信号の場合と三次元映像信号の場合とで構成を別にする必要がないので、本実施形態にかかる映像信号制御部１２０は、回路規模の増大の防止に寄与する。

［映像信号制御部の変形例］
続いて、本開示の一実施形態にかかる映像信号制御部１２０の変形例について説明する。図９は、本開示の一実施形態にかかる映像信号制御部１２０の変形例である映像信号制御部１２０’の機能構成を示す説明図である。以下、図９を用いて本開示の一実施形態にかかる映像信号制御部１２０’について説明する。

図９に示した映像信号制御部１２０’は、図３に示した映像信号制御部１２０に映像フォーマット判定部１２３が追加された構成を有する。図９に示したように、映像信号制御部１２０’は、フレーム周波数変換処理部１２２と映像分離部１２４との間に映像フォーマット判定部１２３が挿入された構成を有する。

映像フォーマット判定部１２３は、映像信号制御部１２０に供給される映像信号の映像フォーマットを判定する。具体的には、映像フォーマット判定部１２３は映像信号制御部１２０に供給される映像信号が二次元映像信号なのか三次元映像信号なのか、また三次元映像信号であった場合には、サイドバイサイド方式なのかトップアンドボトム方式なのかを判定する。

映像フォーマット判定部１２３は、映像信号が二次元映像信号なのか三次元映像信号なのかを、例えば各フレームの画像を左右又は上下に二等分する部分の境界越しに隣接する画素の画素値を比較することで判定する。映像フォーマット判定部１２３は、境界越しの画素の画素値が似たような内容であれば映像信号は二次元映像信号であり、境界越しの画素の画素値が大きく異なる内容であれば映像信号は三次元映像信号であると判定する。また、映像フォーマット判定部１２３は、三次元映像信号であると判定した場合に、どの境界で画素値が大きく異なっているかによって、サイドバイサイド方式なのかトップアンドボトム方式なのかを判定する。

映像フォーマット判定部１２３は、映像フォーマットの判定の結果、映像信号が二次元映像信号であれば、映像信号を映像分離部１２４に供給しない経路で出力する。一方、映像フォーマット判定部１２３は、映像フォーマットの判定の結果、映像信号が三次元映像信号であれば、映像信号を映像分離部１２４に供給する経路で出力する。

続いて映像信号制御部１２０’の動作例について説明する。図１０は、映像信号制御部１２０’の動作例を示す流れ図である。

図１０に示した流れ図の内、ステップＳ１１１〜ステップＳ１１４及びステップＳ１１７〜ステップＳ１１９は、それぞれ、図５に示した流れ図のステップＳ１０１〜ステップＳ１０４及びステップＳ１０５〜ステップＳ１０７に相当するので、ここでは詳細な説明は省略し、図５には無い処理であるステップＳ１１５及びステップＳ１１６の処理について説明する。

映像信号制御部１２０’は、ステップＳ１１４で補間フレームを作成すると、映像信号制御部１２０’に供給された映像信号の映像フォーマットを判定する（ステップＳ１１５）。映像信号制御部１２０’は、供給された映像信号が二次元映像信号なのか三次元映像信号なのか、また三次元映像信号であった場合には、映像フォーマットがサイドバイサイド方式なのかトップアンドボトム方式なのかを判定する。映像フォーマットの判定処理は、例えば映像フォーマット判定部１２３が実行する。

映像信号制御部１２０’は、上記ステップＳ１１５で映像フォーマットを判定すると、映像信号制御部１２０’に供給された映像信号が三次元映像信号かどうかを判断する（ステップＳ１１６）。三次元映像信号かどうかの判断処理は、例えば映像フォーマット判定部１２３が実行する。

映像信号制御部１２０’は、上記ステップＳ１１６により、映像信号制御部１２０’に供給された映像信号が三次元映像信号であると判断すれば、三次元映像信号を右目用映像信号と左目用映像信号とに分離する（ステップＳ１１７）。ステップＳ１０４の分離処理は、例えば映像分離部１２４が実行する。以降は、映像信号制御部１２０’は、図５に示した流れ図のステップＳ１０５〜ステップＳ１０７の処理を実行する。一方、映像信号制御部１２０’は、上記ステップＳ１１６により、映像信号制御部１２０’に供給された映像信号が三次元映像信号でないと判断すれば、以降のステップＳ１１７〜ステップＳ１１９の処理はスキップする。

映像信号制御部１２０’は、図１０に示した処理を実行することで、右目用画像と左目用画像とが１フレーム中に存在する状態で三次元映像信号に対する補間処理を、二次元映像信号と同様に実行することができるとともに、映像信号制御部１２０’が受信した映像信号の映像フォーマットを自動的に判定し、映像フォーマットに応じた処理を実行することができる。具体的には、映像信号制御部１２０’は、映像信号が三次元映像信号であると判定した場合に、右目用画像と左目用画像とに分離し、分離した画像を拡大して、右目用画像と左目用画像とが交互に表示されるように並び替えを行なうことができる。一方、映像信号制御部１２０’は、映像信号が二次元映像信号であると判定した場合に、補間処理後の映像信号をそのまま出力することができる。

＜２．まとめ＞
以上説明したように本開示の一実施形態にかかる映像表示装置１００は、右目用画像と左目用画像とが１フレーム中に存在する状態で、三次元映像信号に対し、二次元映像信号に対する場合と同じ補間処理を実行する。そして映像表示装置１００は、三次元映像信号の補間処理後に右目用画像及び左目用画像を生成する。本開示の一実施形態にかかる映像表示装置１００は、二次元映像信号の場合と三次元映像信号の場合とで構成を別にする必要がないので、回路規模の増大の防止に寄与する。

なお、上記実施形態では、画像を表示する画像表示部１１０を含んだ映像表示装置１００に、補間処理を実行する映像信号制御部１２０が含まれている場合を示したが、本開示は係る例に限定されるものではない。つまり、補間処理を実行する映像信号制御部１２０と、画像を表示する画像表示部１１０とが、それぞれ別の装置に含まれていても良い。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理部と、
前記周波数変換処理部が周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離部と、
を備える、映像処理装置。
（２）
前記映像信号の映像フォーマットが、１フレーム中に前記第１の画像と前記第２の画像とが含まれる映像フォーマットであるかどうかを判定する映像フォーマット判定部をさらに備える、前記（１）に記載の映像処理装置。
（３）
前記映像信号の映像フォーマットは、前記第１の画像と前記第２の画像とが左右に並ぶサイドバイサイド方式である、前記（１）または（２）に記載の映像処理装置。
（４）
前記映像信号の映像フォーマットは、前記第１の画像と前記第２の画像とが上下に並ぶトップアンドボトム方式である、前記（１）または（２）に記載の映像処理装置。
（５）
１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、
前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、
を備える、映像処理方法。
（６）
コンピュータに、
１フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、
前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、
を実行させる、コンピュータプログラム。

１００ 映像表示装置
１１０ 画像表示部
１２０ 映像信号制御部
１２１ 映像信号受信部
１２２ フレーム周波数変換処理部
１２３ 映像フォーマット判定部
１２４ 映像分離部
１２５ 縮小画像生成部
１２６ 動きベクトル計算部
１２７ ベクトル信頼度計算部
１２８ 補間フレーム作成部
１３０ シャッタ制御部
１４０ タイミング制御部
１５０ フレームメモリ
１５５ バックライト制御部
２００ シャッタ眼鏡
２１２ 右目用画像透過部
２１４ 左目用画像透過部

Claims (6)

1. １フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理部と、
   前記周波数変換処理部が周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離部と、
   を備える、映像処理装置。
2. 前記映像信号の映像フォーマットが、１フレーム中に前記第１の画像と前記第２の画像とが含まれる映像フォーマットであるかどうかを判定する映像フォーマット判定部をさらに備える、請求項１に記載の映像処理装置。
3. 前記映像信号の映像フォーマットは、前記第１の画像と前記第２の画像とが左右に並ぶサイドバイサイド方式である、請求項１に記載の映像処理装置。
4. 前記映像信号の映像フォーマットは、前記第１の画像と前記第２の画像とが上下に並ぶトップアンドボトム方式である、請求項１に記載の映像処理装置。
5. １フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、
   前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、
   を備える、映像処理方法。
6. コンピュータに、
   １フレーム中に第１の画像と第２の画像とが含まれる映像フォーマットの映像信号の周波数を、前記第１の画像及び前記第２の画像が存在する状態で上昇させる周波数変換処理ステップと、
   前記周波数変換処理ステップで周波数を上昇させた前記映像信号を、前記第１の画像を表示させる第１の映像信号と前記第２の画像を表示させる第２の映像信号とに分離する映像分離ステップと、
   を実行させる、コンピュータプログラム。
   

Images