動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許文献1、非特許文献1参照)。
電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法がある(例えば、非特許文献2参照)。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償(以下、動き補正ともいう)処理を行ったフレーム内挿技術が提案されている。この動き補正処理によれば、動画像そのものをとらえて画像の動きを補正するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
図17は、従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補正処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するFRC部100と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル103と、FRC部100によりフレームレート変換された画像信号に基づいて液晶表示パネル103の走査電極及びデータ電極を駆動するための電極駆動部104と、を備えて構成される。
FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部102とを備える。
上記構成において、動きベクトル検出部101は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、MPEG方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
図18は、図17に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。FRC部100は、動きベクトル検出部101より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム(図中グレーに色付けされた画像)を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒60フレーム(60Hz)から毎秒120フレーム(120Hz)に変換する処理を行う。
図19は、動きベクトル検出部101及び内挿フレーム生成部102による内挿フレーム生成処理について説明するための図である。動きベクトル検出部101は、図18に示した例えばフレーム#1とフレーム#2から勾配法等により動きベクトル105を検出する。すなわち、動きベクトル検出部101は、フレーム#1とフレーム#2の1/60秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル105を求める。次に、内挿フレーム生成部102は、求めた動きベクトル105を用いて、フレーム#1とフレーム#2間に内挿ベクトル106を割り付ける。この内挿ベクトル106に基づいてフレーム#1の位置から1/120秒後の位置まで対象(ここでは自動車)を動かすことにより、内挿フレーム107を生成する。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。
ここで、上記動き補償フレーム内挿処理においては、動き補正のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。これらの手法においては、連続した2つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、この動きベクトルを用いて2つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、2つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つため、あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。
このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームにおける動きベクトルの検出をより容易に、あるいはより正確に行うことが可能である。例えば、勾配法を改良した反復勾配法においては、被検出ブロックに対して、前フレームあるいは現フレームで既に検出された近傍のブロックの動きベクトルを初期偏位ベクトルとし、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。
また、ブロックマッチング法においても、前フレームでの動きベクトル検出結果を参照して探索順序を変えるなどして、効率的な動きベクトル検出を行うことが考えられる。このように、動きベクトルを検出する際に、既検出の動きベクトルを利用することによって、例えばフレームレート変換のリアルタイム処理が可能になる。
特許第3295437号明細書
石黒秀一、栗田泰市郎、「8倍速CRTによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、EID96−4(1996−06)、p.19−26
山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Vol.45、No.12、pp.1534−1543(1991)
以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について詳細に説明する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
図1は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図で、図中、10はフレームレート変換部(以下、FRC部)で、該FRC部10は、本発明のレート変換手段に相当し、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式(ブロックマッチング法など)と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。
図1において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部11fと、を備えて構成される。
なお、FRC部10は、本発明のレート変換手段に相当し、動きベクトル検出部11eは、本発明の動きベクトル検出部に相当し、内挿ベクトル評価部11fは、本発明の内挿ベクトル割付部に相当する。
上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ11dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。
動きベクトル検出部11eは、初期ベクトルメモリ11dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(初期ベクトル候補)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。
フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入して出力画像信号(RGB信号)を生成するタイムベース変換部12dと、を備えて構成される。
なお、内挿フレーム生成部12bは、本発明の内挿画像生成部に相当し、タイムベース変換部12dは、本発明の画像内挿部に相当する。
図2は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。
上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換することができ、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。尚、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒(2倍)の出力画像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒(1.5倍)、180フレーム/秒(3倍)の出力画像信号を得る場合に適用しても良いことは言うまでもない。
本発明の画像表示装置は、図1に示したFRC部10を備え、入力画像信号が2−3プルダウン処理や2−2プルダウン処理された画像信号のように複数枚の同一画像が連続する可能性がある場合、FRC部10における動き補正処理を無効化して、FRC処理に起因する画質劣化を防止することを主たる目的とする。なお、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の各実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。
(第1の実施形態)
本発明の第1の実施形態は、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、FRC部10の動き補正処理を無効化するために、動きベクトル検出部11eの出力を強制的に0ベクトルにするものである。
図3は、本発明の第1の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、及び液晶表示パネル19を備えて構成されている。切替部16は、FRC部10内の動きベクトル検出部11eと内挿ベクトル評価部11fの間に設けられ、制御部15からの指示に従って、動きベクトル検出部11eからの動きベクトルを0ベクトル17へ切り替える。
プルダウン検出部14は、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるか否かを検出する。プルダウン変換されたビデオ信号(テレシネ信号)を検出(テレシネ検出などとも呼ばれる)する手法としては、従来から数々の提案がなされており、各種の公知技術を用いることができる。例えば、フレーム(フィールド)間差分を求め、この差分が大きいことを示す信号が出力される周期に基づき、例えば2−3プルダウン変換や2−2プルダウン変換された画像信号を検出することが可能である。
また、プルダウン映像であることを識別可能な識別信号が画像信号に付加されて伝送される場合、この識別信号を利用することによって、入力画像信号がプルダウン変換処理により生成された画像信号であるかどうかを検出するようにしてもよい。
液晶表示パネル19は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。電極駆動部18は、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル19の走査電極及びデータ電極を駆動するための表示ドライバである。制御部15は、上記各部を制御するためのCPUを備え、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であると検出された場合、FRC部10における動き補正処理を無効化するように制御する。
液晶表示パネル19の駆動周波数は、FRC部10により変換されたフレーム周波数となる。従って、60Hzのフレーム周波数で入力された画像信号が、FRC部10で120Hzのフレーム周波数に変換された場合、液晶表示パネル19の駆動周波数は、120Hzとなる。但し、FRC処理によるフレーム周波数変換を行わない場合で、入力画像信号をそのまま表示出力する場合は、液晶表示パネル19の駆動周波数は、入力画像信号のフレーム周波数となる。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を0ベクトル17側に切り替えて、動きベクトル検出部11eで検出された動きベクトルを強制的に0ベクトルに置き換える。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されないた場合、切替部16を動きベクトル検出部11e側に切り替えて、動きベクトル検出部11eで検出された動きベクトルを内挿ベクトル評価部11fに入力する。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、動きベクトルを0ベクトルにして動き補正処理を無効化することにより、画像の動きの不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第2の実施形態)
本発明の第2の実施形態は、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、FRC部10の動き補正処理を無効化するために、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトルにして、異なる位置の画素間での内挿が生じないようにするものである。
図4は、本発明の第2の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、及び液晶表示パネル19を備えて構成されている。切替部16は、FRC部10内の内挿ベクトル評価部11fと内挿フレーム生成部12bの間に設けられ、制御部15からの指示に従って、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトル17へ切り替える。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を0ベクトル17側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを0ベクトルにする。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されない場合、切替部16を内挿ベクトル評価部11f側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを内挿フレーム生成部12bに入力する。
このように、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、強制的に内挿ベクトルを0ベクトルにして動き補正処理を無効化することにより、上記第1の実施形態と同様、画像の動きの不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第3の実施形態)
本発明の第3の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、このプルダウン変換された入力画像信号を迂回経路側へ入力し、該入力画像信号のフレーム周波数に合わせて液晶表示パネル19の駆動周波数を変更するものである。すなわち、プルダウン変換された画像信号が入力された場合には、フレームレート変換を行わず、プルダウン変換された入力画像信号をそのまま液晶表示パネル19に表示出力するように切り替えるものである。
図5は、本発明の第3の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20を備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させる。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されない場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設け、FRC部10の出力信号と経路20の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、制御部15は、液晶表示パネル19の駆動周波数を変更可能とし、プルダウン変換された画像信号(テレシネ信号)が入力された場合、入力画像信号を経路20側へ入力し、該入力画像信号のフレーム周波数に合わせて液晶表示パネル19の駆動周波数を変更する。
図6は、本発明の第3の実施形態に係る入力データと出力データの関係を示す図である。図6(A)は、経路20への入力データを示し、図6(B)は、経路20からの出力データを示す。図6(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。制御部15は、表示ドライバである電極駆動部18を制御して、液晶表示パネル19の駆動周波数を120Hzから60Hzに変更し、上記入力データを、図6(B)に示すように、60Hzのままフレームレート変換せずに経路20から出力させる。
液晶表示パネル19は、フレーム数変換されずに経路20から出力されたフレームを、駆動周波数60Hzで表示するため、このときの1フレーム当りの表示時間は約16.7msのままとなる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、FRC処理を迂回させて、フレームレート変換自体を禁止することにより、画像の動きの不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第4の実施形態)
本発明の第4の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、このプルダウン変換された入力画像信号を迂回経路側へ入力し、該入力画像信号を経路上のメモリに蓄積し、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出して、フレームレート変換するものである。すなわち、プルダウン変換された画像信号が入力された場合には、動き補償型のフレームレート変換を行わず、入力画像信号を高速連続出力することによりフレームレート変換して、液晶表示パネル19へ表示出力するように切り替えるものである。
図7は、本発明の第4の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上にメモリ21とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を経路20側に切り替えて、FRC部10の処理を迂回させ、入力画像信号をメモリ21に蓄積する。その後、メモリ21から同一フレームを複数回繰り返し読み出してフレーム挿入処理を行う。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されない場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号とメモリ21の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。制御部15及びメモリ21は、プルダウン変換された画像信号(テレシネ信号)が入力された場合、入力画像信号のフレーム間に、その前或いは後フレームの画像信号を挿入することにより、該入力画像信号のフレーム数を変換する手段を構成する。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。
図8は、本発明の第4の実施形態に係る入力データと出力データの関係を示す図である。図8(A)は、経路20への入力データを示し、図8(B)は、経路20からの出力データを示す。図8(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データはメモリ21に一旦蓄積され、図8(B)に示すように、メモリ21から2倍の速度で繰り返し読み出されたフレームの画像信号(図中、フレームA)が出力される。
液晶表示パネル19は、同一フレームの画像信号が挿入された出力データを駆動周波数120Hzで表示する。なお、同一フレームの2回繰り返し読み出しによりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、画像の不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、同じフレームを繰り返し読み出してフレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。
(第5の実施形態)
本発明の第5の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、このプルダウン変換された入力画像信号を迂回経路側へ入力し、該入力画像信号を経路上の線形補間内挿処理部に入力し、線形補間を施した画像信号を内挿するものである。すなわち、プルダウン変換された画像信号が入力された場合には、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図9は、本発明の第5の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上に線形補間内挿処理部22とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させ、入力画像信号を線形補間内挿処理部22に入力する。線形補間内挿処理部22は、フレーム間において線形補間処理を施した内挿フレームを挿入する。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されない場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号と線形補間内挿処理部22の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。線形補間内挿処理部22は、プルダウン変換された画像信号(テレシネ信号)が入力された場合、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿することにより、該入力画像信号のフレーム数を変換する手段を構成する。なお、線形補間処理とは、前述の非特許文献2に記載されているように、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間により内挿フレームを得るものである。
図10は、本発明の第5の実施形態に係る入力データと出力データの関係を示す図である。図10(A)は、経路20への入力データを示し、図10(B)は、経路20からの出力データを示す。図10(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データは線形補間内挿処理部22に入力され、図10(B)に示すように、フレーム間(ここではフレームA、フレームB間)において線形補間処理が施された画像信号(図中、フレームA+B)が内挿されて出力される。
液晶表示パネル19は、線形補間処理を施した画像信号が内挿された出力データを駆動周波数120Hzで表示する。なお、線形補間処理を施した画像信号の内挿によりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、画像の不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、線形補間処理を施した画像信号を内挿して、フレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。
(第6の実施形態)
本発明の第6の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、このプルダウン変換された入力画像信号を迂回経路側へ入力し、該入力画像信号を経路上の黒レベル信号挿入処理部に入力し、黒レベル信号などの予め決められた単色画像信号を挿入するものである。すなわち、プルダウン変換された画像信号が入力された場合には、動き補償による内挿処理を行うのではなく、単色画像挿入処理を行うことで、フレームレート変換するように切り替えるものである。
図11は、本発明の第6の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、プルダウン検出部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上に黒レベル信号挿入処理部23とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
制御部15は、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させ、入力画像信号を黒レベル信号挿入処理部23に入力する。黒レベル信号挿入処理部23は、例えば、メモリを用いて入力画像信号を時間軸圧縮(フレームレート変換)し、入力フレーム間に黒レベル信号などの予め決められた単色画像信号を挿入する。また、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出されない場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号と黒レベル信号挿入処理部23の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。黒レベル信号挿入処理部23は、プルダウン変換された画像信号(テレシネ信号)が入力された場合、入力画像信号のフレーム間に、黒レベル信号などの予め決められた単色画像信号を挿入することにより、該入力画像信号のフレーム数を変換する手段を構成する。また、黒ベル信号挿入処理の別の実施形態として、電極駆動部18により、所定期間(本例の場合、1/120秒)黒書き込み電圧を液晶表示パネル19に印加するように構成してもよい。
図12は、本発明の第6の実施形態に係る入力データと出力データの関係を示す図である。図12(A)は、経路20への入力データを示し、図12(B)は、経路20からの出力データを示す。図12(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データは黒レベル信号挿入処理部23に入力され、図12(B)に示すように、フレーム間(ここではフレームA、フレームB間)において黒レベル信号(図中、黒に色付けされたフレーム)が挿入されて出力される。
このように、入力画像信号の各フレーム間に黒画像信号を挿入することで、動きぼけによる画質劣化が改善され、さらに動き補正のエラーによる画質劣化も発生しないが、この場合、画像表示期間の短縮による表示輝度の低下を補償するために、液晶表示パネル19の背面に設けられるバックライト(図示せず)の発光輝度を上げる必要がある。
液晶表示パネル19は、黒レベル信号が挿入された出力データを駆動周波数120Hzで表示する。なお、黒レベル信号の挿入によりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、画像の不連続性による動きベクトルの検出エラー、動き補正のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、単色画像信号を挿入して、フレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。そしてまた、この場合、動画質改善効果も維持することが可能となる。
尚、上記実施形態の他にも、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号である場合には、入力フレームの原画像を所定の輝度比で複数のフレーム画像に分割して、フレームレート変換することにより、動き補償型のFRC処理に起因する画質劣化を防止しつつ、動画質改善効果を維持するようにしてもよい。
(第7の実施形態)
本発明の第7の実施形態は、入力画像信号が例えば2−3プルダウン変換や2−2プルダウン変換された画像信号であるときに、内挿フレーム生成部における動き補正処理の補正強度を可変するように構成される。具体的には、動き補正処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿フレーム生成部を備え、プルダウン変換された画像信号が入力されたときに、加重加算比率を可変する。
図13は、本発明の第7の実施形態に係るFRC部10の要部構成例を示すブロック図で、FRC部10のフレーム生成部12は、内挿用フレームメモリ12a、内挿フレーム生成部12b、さらに、FRC部10における動き補正処理の補正強度を可変する補正強度可変部12e、を備えて構成される。図中、Vは内挿ベクトル、αはフレーム内挿比、βは補正強度(加重加算比率)を示す。
一般に、フレーム内挿処理の方法として、例えば、2フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿(動き補正内挿)が知られている。前者は、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間により内挿フレームを得るものである。従って、この線形補間内挿を用いれば、FRC処理の動き補正のエラーによる画質劣化を防止できる。
一方、後者は、前フレームと現フレームから内挿フレームを得るために、前フレームの画像と現フレームの画像間の動きベクトルから内挿ベクトルVを検出し、その値(内挿ベクトルV)をフレーム内挿比αで分割したαVの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を(α―1)Vだけずらした信号との加重加算により内挿フレームを得る。この動き補正内挿を用いれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、良好な画質を得ることができるが、この処理に起因してプルダウン映像の画質が劣化してしまうことがある。
そこで、本実施形態では、フレーム生成部12に補正強度可変部12eを設けている。この補正強度可変部12eは、プルダウン検出部14により入力画像信号がプルダウン変換された画像信号であることが検出された場合、加重加算比率βを可変する。この加重加算比率βは、動き補正処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿フレーム生成部12bは、この加重加算比率βに従って、線形補間内挿と動き補正内挿を加重加算して内挿フレームを生成する。
例えば、補正強度可変部12eは、入力画像信号がプルダウン変換された画像信号である場合、加重加算比率β=0とし、線形補間処理を施した画像信号を内挿フレームにして動き補正のエラーによる画質劣化を防止する。一方、入力画像信号がプルダウン変換された画像信号でない場合、加重加算比率β=1とし、動き補正処理を施した画像信号を内挿フレームにして動画像の画質をより良好にする。
また、加重加算比率βは任意に可変設定できるため、0〜1の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補正も行いつつ、動き補正のエラーによる画質の劣化を抑制するように制御することができ、動きぼけによる画質劣化と、動き補正のエラーによる画質劣化との双方を適切に改善することが可能となる。
このようにして、プルダウン処理された動画像、すなわち、複数枚の同一画像が連続する可能性がある動画像が入力された場合には、FRCにおける動き補正処理の補正強度を可変できる(弱くすることができる)ため、画像の不連続性による動きベクトルの検出エラー、動き補正のエラー等の影響を低減し、動き補償型のFRC処理に起因する画質劣化を効果的に抑制することができる。
図14は、本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。ここでは、前述の第1の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号がプルダウン変換された画像信号(テレシネ信号)であるかどうかを判定し(ステップS1)、プルダウン変換された画像信号と判定された場合(YESの場合)、動きベクトルあるいは内挿ベクトルを0ベクトルにすることにより、FRC部10の動き補正処理を無効化する(ステップS2)。また、ステップS1において、入力画像信号がプルダウン変換された画像信号ではないと判定された場合(NOの場合)、FRC部10の動き補正処理を通常通りに実行する(ステップS3)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS4)。
図15は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第2乃至第6の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号がプルダウン変換された画像信号(テレシネ信号)かどうかを判定し(ステップS11)、プルダウン変換された画像信号と判定された場合(YESの場合)、FRC部10の動き補償フレーム内挿処理を迂回させて、入力画像信号を別の経路20に入力する(ステップS12)。ここで、迂回させた経路20において、線形補間処理を施した画像信号のフレーム間内挿、同一フレームの画像信号のフレーム間挿入、黒レベル信号などの予め決められた単色画像信号のフレーム間挿入のいずれかの処理を施してフレームレート変換を行った画像信号を出力するか、或いは、そのまま入力画像信号を出力して、液晶表示パネル19の駆動周波数を変更するなどの処理を行う。
また、ステップS11において、入力画像信号がプルダウン変換された画像信号ではないと判定された場合(NOの場合)、FRC部10にて動き補償による内挿処理を施した画像信号を出力する(ステップS13)。最後に、画像を液晶表示パネル19から表示出力する(ステップS14)。
図16は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第7の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号がプルダウン変換された画像信号(テレシネ信号)かどうかを判定し(ステップS21)、プルダウン変換された画像信号と判定された場合(YESの場合)、FRC部10における動き補正処理の補正強度を可変(弱く)する(ステップS22)。また、ステップS21において、入力画像信号がプルダウン変換された画像信号ではないと判定された場合(NOの場合)、FRC部10における動き補正処理の補正強度を通常通り強くする(ステップS23)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS24)。
以上説明したように、本発明によれば、2−3プルダウン映像や2−2プルダウン映像などのような複数枚の同一画像が連続する可能性がある動画像信号が入力された場合、フレームレート変換(FRC)部における動き補正処理を無効化して表示出力することができるため、動き補正のエラーによる画質劣化を効果的に防止することができる。尚、入力画像信号としては、テレビジョン放送信号に限らず、外部メディアから再生された画像信号などであってもよいことは言うまでもない。