JP5558766B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像データのフレームレートをより高いレートに変換する画像変換技術に関するものである。

従来、映像を表示装置に表示した際に発生する動きぼけやフリッカを抑制する技術として、画像データから周波数成分の異なるサブフレームを生成する周波数分離方式と動き補償を利用した映像表示方法が知られている。（特許文献１参照）
この映像表示方法は、入力された画像データから高周波数成分を強調した高周波強調画像データと、動き補償処理が施され高周波数成分を抑制した低周波成分からなる低周波補間画像データとを生成し、この画像データを交互に表示するものである。この技術により、フリッカを抑制し、更に、動きぼけを低減することが可能になる。

特開２００９−０４２４８２号公報 特開２００９−０３８６２０号公報

しかしながら、特許文献１に記載されているような映像表示方法においては、動き補償処理において動きベクトルが誤検出されてしまうことがある。この場合、誤検出された動きベクトルによって画像の動きを反映しない低周波補間画像データが生成されることになり、映像の破たんとして視認されてしまうという課題があった。
本発明は上述した課題を解決するためになされたものであり、動きベクトルを誤検出した場合に発生する映像の破たんを低減することを可能とする画像処理装置およびその制御方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。

フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと動き補償を利用した低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置であって、前記動き補償において検出される動きベクトルの評価値を算出する評価値算出手段と、前記フレームごとに入力された画像データのフレーム間の輝度差を算出する差分算出手段と、前記算出手段によって算出された評価値と前記差分算出手段によって算出されたフレーム間の輝度差に基づいて、前記低周波補間画像データの輝度を前記高周波強調画像データに対して相対的に下げるように制御する制御手段とを備え、前記制御手段は、前記評価値算出手段によって算出された評価値が低いほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差を大きくし、前記差分算出手段によって算出されたフレーム間の輝度差が小さいほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差が小さくなるように制御することを特徴とする。

以上の構成からなる本発明によれば、動きベクトルを誤検出した場合に発生する映像の破たんを低減することができる。

画像処理装置１０１の主要部の構成を示すブロック図 画像処理装置１０１における処理を示すフローチャート 動き補償部２０３の処理の詳細を示したフローチャート 評価値Ｔ_ＭＥと設定輝度ｒ_Ｓｕｂ２の関係を示す図 画像処理装置５０１の主要部の構成を示すブロック図 画像処理装置５０１における処理を示すフローチャート 輝度差分値Ｄと設定輝度値ｒ_Ｓｕｂ２の関係を示す図 画像処理装置８０１の主要部の構成を示すブロック図 画像処理装置８０１における処理を示すフローチャート 本発明の各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図 （ａ） 動きベクトルを誤検出した場合の出力とその視認画像を表した図（輝度制御なし）、（ｂ） 動きベクトルを誤検出した場合の出力とその視認画像を表した図（輝度制御あり） 低コントラストなエッジにおいて動きベクトルを誤検出した場合の出力とその視認画像を表した図 輝度制御部１０６の異なる構成を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は本実施形態に係る画像処理装置１０１の主要部の構成を示すブロック図である。フレームメモリ１０２は、入力された画像データ（入力画像データ）を少なくとも１フレーム分蓄積する。後述する動き補償部において、複数のフレーム間の動きベクトルを検出するためである。本実施形態においては、連続する２つのフレームから動きベクトルを検出する例を示すが、複数のフレームから動きベクトルを検出してもよい。動き補償部１０３は、入力画像データと、フレームメモリ１０２に蓄積された過去の画像データ（本実施形態においては入力画像データの一つ前のフレームの画像データ）とから動きベクトルを検出する。更に、動き補償を行ってフレーム間での画像の動きを時間的に補間した補間画像データを生成する。評価部１０４は、動き補償部１０３によって検出された動きベクトルの信頼度を推定し、評価値を輝度制御部１０６に出力する。フィルタ部１０５は、入力画像データと補間画像データの高周波成分を抑制する処理を行う。本実施形態においてはローパスフィルタ（ＬＰＦ）を用いることにより、入力画像データの高周波成分が抑制された低周波画像データと、補間画像データの高周波成分が抑制された低周波補間画像データが出力される。輝度制御部１０６は、評価部１０４から出力された評価値に基づいて、フィルタ部１０５によって高周波成分が抑制された低周波画像データと低周波補間画像データの輝度を制御する。減算器１０７は入力画像データと輝度制御部１０６によって輝度が変調された低周波画像データとの差分を算出する。この処理によって、入力画像データの高周波成分が算出される。加算器１０８は、入力画像データと減算器１０７によって算出された高周波成分とを加算することにより高周波成分が強調された高周波強調画像データを生成する。また、減算器１０７は補間画像データと輝度制御部１０６によって輝度が変調された低周波補間画像データとの差分を算出する。この処理によって、補間画像データの高周波成分が算出される。加算器１０８は、補間画像データと減算器１０７によって算出された高周波成分とを加算することにより高周波成分が強調された高周波強調補間画像データを生成する。以上の構成において、２つの切替器１０９がサブフレーム毎に切り替わることによって、入力画像データの高周波数成分が強調された高周波強調画像データ（第１のサブフレーム）と補間画像データの高周波数成分が抑制された低周波補間画像データ（第２のサブフレーム）が倍速駆動で出力表示される。

図２は本実施形態における処理を示すフローチャートである。ステップＳ２０１において、フレームメモリ１０２と動き補償部１０３に１フレーム分の画像データが入力される。ステップＳ２０２において、フレームメモリ１０２は入力画像データを１フレーム分蓄積し、動き補償部１０３に出力する。これにより、動き補償部１０３には、入力画像データと一つ前のフレームの画像データが入力される。ステップＳ２０３において、動き補償部１０３は、入力画像データと一つ前のフレームの画像データから補間画像データを生成する。

図３は、動き補償部１０３における、補間画像データを生成する処理の詳細を示したフローチャートである。ステップＳ３０１において、動き補償部１０３には、入力画像データと一つ前のフレームの画像データが入力される。ステップＳ３０２において、動き補償部１０３は、入力画像データを処理ブロック単位に分割する。ここで処理ブロック単位は任意に設定可能である。また、画素単位で動きベクトルを算出する場合には本ステップは必要ない。ステップＳ３０３において、動き補償部１０３は、動きベクトルを検出する際の探索範囲を設定する。この探索範囲に関しても任意に設定可能であり、探索範囲はフレーム全体を設定してもよいし、処理対象ブロックよりも大きい任意のサイズを設定してもよい。ステップＳ３０４において、動き補償部１０３は、処理対象ブロックとステップＳ３０３で設定された探索範囲内の参照ブロックとの差分絶対値和を算出する。ステップＳ３０５において、設定した探索範囲内の参照ブロックとの差分絶対値和の算出が終了したかを判別する。差分絶対値和の算出が終了していない場合（Ｓ３０５ ＮＯ）、設定した探索範囲内の参照ブロックとの差分絶対値和の算出が終了するまでＳ３０３〜Ｓ３０４を繰り返す。ステップＳ３０５において、探索範囲内の全ての参照ブロックに対する差分絶対値和の算出が終了した場合（Ｓ３０５ ＹＥＳ）、ステップＳ３０６において、算出された差分絶対値和のソートを行う。ステップＳ３０７において、動き補償部１０３は、ステップＳ３０６においてソートされた差分絶対値和の最小値に対応する参照ブロックを、検出した動きベクトルＶ_ＭＥとする。ステップＳ３０８において、動き補償部１０３は、ステップＳ３０７で算出された動きベクトルＶ_ＭＥから補間ベクトルＶ_ＭＣを算出する。補間画像データとして、画像データ間の時間的に中央に位置する画像を生成するので、補間ベクトルＶ_ＭＣは動きベクトルＶ_ＭＥの半分とする。なお、Ｖ_ＭＥをＶ_ＭＣとして算出する場合や、動きベクトルＶ_ＭＥが大きい場合は補間ベクトルＶ_ＭＣ＝０とする、もしくは再生環境が早送りや巻き戻しなどの特殊再生である場合にＶ_ＭＣ＝０とすることも考えられる。

ステップＳ３０９において、動き補償部１０３は、ステップＳ３０８で算出された補間ベクトルＶ_ＭＣから補間画像データを生成する。

以上のように、図２のステップＳ２０３の動き補償処理は入力画像データから補間画像データを生成する。なお、この動き補償部１０３による補間画像データの生成処理は、例えば特許文献１若しくは特許文献２に開示されているような従来技術を用いてでも実現可能である。

図２のステップＳ２０４において、評価部１０４は、動き補償部１０３によって検出された動きベクトルＶ_ＭＥの信頼度を算出する。この処理によって、評価部１０４は、検出された動きベクトルＶ_ＭＥが正しく検出されているか誤検出されているかを推定し、評価値Ｔ_ＭＥとして出力する。

評価値Ｔ_ＭＥの第１の算出方法として、動きベクトルの検出時に算出した差分絶対値和の最小値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、検出された動きベクトルに対応する差分絶対値和の最小値が大きいほど評価値が低くなる。つまり、探索範囲内で検出された動きベクトルの始点と終点の処理対象ブロックが類似していない場合に、動きベクトルが誤検出されている可能性が高いとして評価値が低くなる。

評価値Ｔ_ＭＥの第２の算出方法として、差分絶対値和の最小値と２番目に小さい値との差分値を算出し、該差分値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、探索範囲中に検出されたベクトルに対応したブロックと類似ブロックがある場合に評価値Ｔ_ＭＥが低くなる。つまり画像中に類似した柄がある場合には、動きベクトルが誤検出されている可能性が高いとして評価値Ｔ_ＭＥは低く設定される。

評価値Ｔ_ＭＥの第３の算出方法として、動きベクトルＶ_ＭＥと補間ベクトルＶ_ＭＣの差分値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、検出された動きベクトルＶ_ＭＥと補間ベクトルＶ_ＭＣの値が異なると評価値が低くなる。また、画像データの端部のブロックなどは、動きベクトルを検出しない場合がある。こういった場合には評価値は低く設定される。

ステップＳ２０４の評価値Ｔ_ＭＥの算出方法について３つの算出方法を述べたが、これらのいずれかを用いて評価値Ｔ_ＭＥを算出してもよいし、これらを組み合わせて評価値Ｔ_ＭＥを算出してもよい。その結果、動き補償の特性に合わせた評価値Ｔ_ＭＥを得ることが出来る。なお、評価値Ｔ_ＭＥからのとり得る値として０〜１で設定してもよいし、若しくは０〜２５５で設定してもよい。

ステップＳ２０５において、フィルタ部１０５は、切替器１０９がフレームメモリ１０２からの出力と接続されている場合には、フレームメモリ１０２から出力された画像データに対し、ローパスフィルタ処理を行う。一方、切替器１０９が動き補償部１０３からの出力と接続されている場合には、動き補償部１０３によって生成された補間画像データに対し、ローパスフィルタ処理を行う。この処理により、入力画像データの高周波成分が抑制された低周波画像データと補間画像データの高周波成分が抑制された低周波補間画像データが生成される。

ステップＳ２０６において、輝度制御部１０６は、評価部１０４から出力された評価値Ｔ_ＭＥに基づいて、フィルタ部１０５から出力された低周波画像データと低周波補間画像データの出力輝度ｒ_Ｓｕｂ２を算出し、輝度を変調する。出力輝度ｒ_Ｓｕｂ２は、例えば図４に示されるような単調増加の曲線を用いて算出される。図４に示される曲線を用いると、評価値Ｔ_ＭＥが大きければ大きいほど、出力輝度ｒ_Ｓｕｂ２は高くなる。逆に、評価値Ｔ_ＭＥが小さいと出力輝度ｒ_Ｓｕｂ２は曲線に従って低くなり、高周波強調画像データとの輝度差が大きくなる。なお、評価値Ｔ_ＭＥが最大である場合（動きベクトルが正しく検出されている場合）、低周波補間画像データの出力輝度ｒ_Ｓｕｂ２は、第１のサブフレームとなる高周波強調画像データと同じ輝度になり、低周波補間画像データの出力輝度ｒ_Ｓｕｂ２が高周波強調画像データの輝度を上回ることはない。つまり、評価値Ｔ_ＭＥに基づいて、低周波補間画像データの出力輝度ｒ_Ｓｕｂ２は、高周波強調画像データの輝度に対して相対的に下がることになる。これにより、動きベクトルの誤検出により発生する映像の破たんを抑制することができる。次に、輝度制御部１０６は、算出された出力輝度ｒ_Ｓｕｂ２から以下の式１に基づいて低周波補間画像データの輝度を変調する。
Ｌ_ＯＵＴ＝Ｌ_ＩＮ×ｒ_Ｓｕｂ２ ・・・式１
（Ｌ_ＩＮ：入力輝度、Ｌ_ＯＵＴ：出力輝度）
この処理により、輝度が変調された低周波補間画像データが出力される。

ステップＳ２０７において、減算器１０７は、切替器１０９がフレームメモリ１０２からの出力と接続されている場合には、フレームメモリ１０２から出力された入力画像データと輝度制御部１０６によって出力された低周波画像データとの差分を算出する。この処理により、入力画像データの高周波成分が算出される。次に、加算器１０８は、算出された高周波成分と、入力画像データを加算する。この処理により、高周波強調画像データが生成される。なお、ステップＳ２０７において、切替器１０９が動き補償部１０３からの出力と接続されている場合には、上述した処理と同様にして、高周波強調補間画像データが生成されることになるが、切替器１１０により出力されることはない。

ステップＳ２０８において、切替器１１０は、切替器１０９と連動して出力を切り替えることにより、高周波強調画像データ（第１のサブフレーム）と、低周波補間画像データ（第２のサブフレーム）とを入力周波数の倍の周波数で交互に出力する。

図１１は動き補償部１０３によって検出された動きベクトルＶ_ＭＥが、正しく検出されるべき動きベクトルとｂ画素分ずれた場合に出力される高周波強調画像データ（１１０１、１１０３、１１０５、１１０７）と低周波補間画像データ（１１０２、１１０６）を表したものである。また、１１０４、１１０８は実際の視認画像を表したものである。図１１（ａ）は輝度制御部１０６による輝度制御を行わない場合の出力であり、この場合、視認画像１１０４の部分１１０９が動きぼけとして視認される。一方、図１１（ｂ）は輝度制御部１０６によって輝度制御を行う本実施形態の場合の出力である。図１１（ｂ）においては、動きベクトルがずれた場合に評価値Ｔ_ＭＥが下がり、低周波補間画像データ１１０６の輝度が下がることによって、破たん若しくは動きぼけとして視認される部分１１１０の出力値が低減されている。

以上の処理により、本実施形態においては、動き補償部１０３による動きベクトルの検出の信頼度が低い場合（誤検出の可能性が高い場合）は第１のサブフレームと第２のサブフレームに輝度差をつけて表示することによって、映像の破たんを低減することが可能となる。

＜実施形態２＞
本実施形態においては、動きベクトルの検出の信頼度が低い場合において第１のサブフレームと第２のサブフレームに輝度差をつけて表示する。更に、破たんの見えが大きいと推定される場合に第１のサブフレームと第２のサブフレームに輝度差を持たせることを特徴とする。

図５は本実施形態に係る画像処理装置５０１の主要部の構成を示すブロック図である。なお、ここで実施形態１と共通する画像処理装置の部位についての説明は省き、本実施形態に特徴的な構成について説明する。

差分算出部５０２は、入力画像データと、フレームメモリ１０２に蓄積された過去の画像データ（本実施形態においては入力画像データの一つ前のフレームの画像データ）との輝度差Ｄを算出して輝度制御部５０３に出力する。輝度制御部５０３は、評価部１０４から出力された評価値Ｔ_ＭＥと、差分算出部５０２から出力された輝度差Ｄとに基づいて、フィルタ部１０５によって高周波成分が抑制された低周波画像データの輝度を制御する。

図６は本実施形態における処理を示すフローチャートである。なお、実施形態１と重複する処理については、説明を省略する。ステップＳ６０１において、差分算出部５０１は、入力画像データと、フレームメモリ１０２に蓄積された過去の画像データの輝度差Ｄを算出する。輝度差Ｄは入力画像データの対象ブロックと過去の画像データで対象ブロックに対応するブロックとの差分である。

ステップＳ６０２において、輝度制御部１０６は、評価部１０４から出力された評価値Ｔ_ＭＥと差分算出部５０２から出力された輝度差Ｄとに基づいて、フィルタ部１０５から出力された低周波画像データの出力輝度ｒ_Ｓｕｂ２を算出し、低周波画像データの輝度を変調する。ここで、低周波画像データの出力輝度ｒ_Ｓｕｂ２は、まず、実施形態１と同様に、図４に示される曲線を用いて評価値Ｔ_ＭＥが大きければ大きいほど出力輝度ｒ_Ｓｕｂ２は高くなるように出力輝度ｒ_Ｓｕｂ２（Ｔ_ＭＥ）を算出する。次に、図７に示される単調減少の関数を用いて輝度差Ｄが小さければ小さいほど出力輝度ｒ_Ｓｕｂ２が高くなるように、出力輝度ｒ_Ｓｕｂ２（Ｄ）を算出する。最後に、出力輝度ｒ_Ｓｕｂ２は、ｒ_Ｓｕｂ２（Ｔ_ＭＥ）とｒ_Ｓｕｂ２（Ｄ）との積で算出される。輝度差Ｄが小さければ小さいほど出力輝度ｒ_Ｓｕｂ２を高くする理由として、フレーム間の輝度差が小さいと、動きベクトルの誤検出によって発生する動きぼけが視認され難いことによる。これにより、例え動きベクトルの評価値が小さかったとしても、フレーム間の輝度差が小さい場合には動きぼけが視認され難いのでサブフレーム間の輝度差は小さくても動きぼけが視認され難い。

図１２は、本実施形態において動きベクトルＶ_ＭＥが、正しく検出されるべき動きベクトルとｂ画素分ずれた場合に出力される高周波強調画像データ（１２０１、１２０３）と低周波補間画像データ（１１０２）を表したものである。また、１２０４は実際の視認画像を表したものである。図１２の画像データは図１１に示した画像データに比べて、エッジのコントラストが小さい。動き補償部１０３によって検出された動きベクトルＶ_ＭＥが、正しく検出されるべき動きベクトルとｂ画素分ずれた場合であっても、エッジのコントラストが小さいため輝度差Ｄが小さくなり、結果として低周波画像データの輝度は低減されずに出力されることになる。実際の見えを示した１２０４はエッジのコントラストが低いため、動きベクトルの誤検出による破たんは視認されにくい。

以上の処理により、動き補償部１０３による動きベクトルの検出の信頼度が低い場合（誤検出の可能性が高い場合）であっても、フレーム間の輝度差が低い場合には、第１のサブフレームと第２のサブフレームとの過剰な輝度制御を抑えることができる。

＜実施形態２の変形例＞
実施形態２においては、輝度制御部５０３が評価部１０４から出力された評価値Ｔ_ＭＥと差分算出部５０２から出力された輝度差Ｄを用いて出力輝度ｒ_Ｓｕｂ２を算出する構成を示した。これに対し、本変形例においては、輝度制御部５０３が評価値Ｔ_ＭＥだけでなく検出ベクトルＶ_ＭＥ、入力フレームの輝度Ｌ_ＩＮを用いて出力輝度ｒ_Ｓｕｂ２を算出する構成を説明する。この場合、輝度制御部５０３は、まず、実施形態１と同様に、図４に示される曲線を用いて評価値Ｔ_ＭＥが大きければ大きいほど出力輝度ｒ_Ｓｕｂ２は高くなるように出力輝度ｒ_Ｓｕｂ２（Ｔ_ＭＥ）を算出する。次に、図７に示される単調減少の関数を用いて検出ベクトルＶ_ＭＥが小さければ小さいほど出力輝度ｒ_Ｓｕｂ２が高くなるように、出力輝度ｒ_Ｓｕｂ２（Ｖ_ＭＥ）を算出する。また、出力輝度ｒ_Ｓｕｂ２（Ｖ_ＭＥ）同様に図７に示される単調減少の関数を用いて入力フレームの輝度Ｌ_ＩＮが低ければ低いほど出力輝度ｒ_Ｓｕｂ２が高くなるように、出力輝度ｒ_Ｓｕｂ２（Ｌ_ＩＮ）を算出する。最後に、出力輝度ｒ_Ｓｕｂ２は、ｒ_Ｓｕｂ２（Ｔ_ＭＥ）とｒ_Ｓｕｂ２（Ｖ_ＭＥ）とｒ_Ｓｕｂ２（Ｌ_ＩＮ）の積で算出される。

以上の処理により、本変形例においては、実施形態２同様の効果を得ることができる。

＜実施形態３＞
実施形態１及び実施形態２において、動き補償部１０３は、入力画像データと、フレームメモリ１０２に蓄積された過去の画像データとから補間フレームを作成した。またフィルタ部１０５は、作成された補間画像データの高周波成分を抑制して低周波画像データを作成し輝度制御部１０６へ出力した。これに対し本実施形態は、入力画像データの高周波成分を抑制した低周波画像データと過去の画像データの低周波画像データとから第２のサブフレームを作成し、輝度制御部１０６へ出力することを特徴とする。

図８は本実施形態に係る画像処理装置８０１の主要部の構成を示すブロック図である。なお、ここで実施形態１と共通する画像処理装置の部位についての説明は省き、本実施形態に特徴的な構成について説明する。

フィルタ部８０２は、入力された画像データに対して高周波成分を抑制する処理を行い、低周波画像データを生成する。フレームメモリ８０３は、低周波画像データを少なくとも１フレーム分蓄積する。動き補償部８０４は、フィルタ部８０２によって生成された低周波画像データと、フレームメモリ８０３に蓄積された過去の画像データの低周波画像データとから動きベクトルを検出する。更に動き補償を行って画像データ間の動きを時間的に補間した低周波補間画像データを生成する。評価部８０５は、動き補償部８０４によって検出された動きベクトルの信頼度を推定し、評価値を輝度制御部１０６に出力する。評価値の算出方法は実施形態１と同様である。輝度制御部１０６は、評価部８０５から出力された評価値に基づいて、動き補償部８０４によって生成された低周波補間画像データの輝度を制御する。その後、減算器１０７、加算器１０８により高周波成分が強調された高周波強調画像データが生成される。フレームメモリ８０６は減算器１０７、加算器１０８により生成された高周波強調画像データを少なくとも１フレーム分蓄積し出力する。以上の構成において、切替器１１０がサブフレーム毎に切り替わることによって、高周波強調画像データと低周波補間画像データが倍速駆動で出力表示される。

図９は、本実施形態における処理を示すフローチャートである。ステップＳ９０１において、フィルタ部８０２に１フレーム分の画像データが入力される。ステップＳ９０２において、フィルタ部８０２は、入力された画像データに対しローパスフィルタ処理を行い、低周波画像データを生成する。ステップＳ９０３において、フレームメモリ８０３はフィルタ部８０２によってフィルタ処理された低周波画像データを１フレーム分蓄積し、動き補償部８０４に出力する。ステップＳ９０４において、動き補償部８０４は、入力された低周波画像データとフレームメモリ８０３に蓄積された過去の低周波画像データから低周波補間画像データを生成する。ここで動き補償部８０４と実施形態１の動き補償部１０３とは、入力される画像データが異なるが（フィルタ処理されていない画像データかフィルタ処理された画像データ）、処理は同一である。つまり、動き補償部８０４は低周波画像データ間の動きベクトルを検出し、動き補償することにより低周波補間画像データを生成する。次に、ステップＳ９０５において、評価部８０５は、動き補償部８０４によって検出された動きベクトルの信頼度を算出する。ステップＳ９０６において、輝度制御部１０６は、評価部８０５から出力された評価値Ｔ_ＭＥに基づいて、動き補償部８０４によって生成された低周波補間画像データの出力輝度ｒ_Ｓｕｂ２を算出し、低周波補間画像データの輝度を変調する。そしてステップＳ９０７において、高周波強調画像データが生成され、ステップＳ９０８において、切替器１１０によって高周波強調画像データと低周波補間画像データとが入力周波数の倍の周波数で交互に出力される。

以上の構成により、本実施形態は、実施形態１と同様の効果をなすことができる。

＜実施形態４＞
図１、図５、図８に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図５、図８のフレームメモリ以外の各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。

図１０は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１００１は、図１の１０３〜１１０、若しくは図５の５０２、５０３として機能することになる。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。表示部１００５は、ＣＰＵ１００１による処理結果を表示する。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、ＯＳ（オペレーティングシステム）や、図２、３、６に示したフローをＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１００６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。１００８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１００１が中心となって行う。

＜その他の実施形態＞
実施形態１〜４におけるサブフレームの生成に至る構成は、輝度制御部１０６によって出力された低周波補間画像データに対し、減算器１０７、加算器１０８を用いることにより高周波強調画像データを生成する構成である。これに対し、図１３に示されるように輝度補正部を切替部１１０の前段に配し、高周波強調画像データと低周波補間画像データの輝度を設定しても良い。なお、本願発明は、低周波補間画像データの輝度を高周波強調画像データの輝度よりも相対的に下げるように制御してサブフレーム間に輝度差を生じさせることにより映像の破たんを低減することが可能となる。よって、図１３に示した構成においては、輝度制御部１０６は、評価値Ｔ_ＭＥに基づいて、高周波強調画像データの輝度を上げる制御を行ってもよい。この制御によってもサブフレーム間に輝度差を生じさせることが可能になる。

また、フィルタ部１０５のフィルタ処理にハイパスフィルタを用いて高周波強調画像データと低周波画像データを生成しても同様の効果をなし得る。

また、実施形態１〜４は入力フレームレートに対して２倍速でサブフレームを出力表示する構成を示したが、Ｎ倍速（Ｎ＞２）でも対応可能である。この際、動き補償部１０３、８０４において生成する補間フレームを１からＮ−１枚に変更すれば実現できる。この場合、動きぼけに対してより低減効果が向上できる。

また、実施形態１〜４において、輝度制御部１０６よる輝度制御は１フレーム内の画素単位制御として説明を行ったが、評価値Ｔ_ＭＥ、動きベクトルＶ_ＭＥ、入力輝度Ｌ_ＩＮ、輝度差Ｄの平均値や中央値を代表値に使用し、フレーム単位で輝度ｒ_Ｓｕｂ２を設定することも可能である。その場合、設定輝度の時間単位の変化量を予め設定した閾値以下にすることにより、空間的にも時間的にも処理境界特有の画質劣化を抑えることが出来る。

以上、本発明の実施形態を詳述したが、本発明の装置の制御方法も本発明の一つである。また本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

Claims (4)

1. フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと動き補償を利用した低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置であって、
   前記動き補償において検出される動きベクトルの評価値を算出する評価値算出手段と、
   前記フレームごとに入力された画像データのフレーム間の輝度差を算出する差分算出手段と、
   前記評価値算出手段によって算出された評価値と前記差分算出手段によって算出されたフレーム間の輝度差に基づいて、前記低周波補間画像データの輝度を前記高周波強調画像データに対して相対的に下げるように制御する制御手段とを備え、
   前記制御手段は、前記評価値算出手段によって算出された評価値が低いほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差を大きくし、前記差分算出手段によって算出されたフレーム間の輝度差が小さいほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差が小さくなるように制御することを特徴とする画像処理装置。
2. 前記評価値算出手段は、動きベクトルの検出対象ブロックと、動きベクトルの参照先のブロックとの差分絶対値和の最小値に基づいて評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと動き補償を利用した低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置の制御方法であって、
   前記動き補償において検出される動きベクトルの評価値を算出する評価値算出工程と、
   前記フレームごとに入力された画像データのフレーム間の輝度差を算出する差分算出工程と、
   前記評価値算出工程によって算出された評価値と前記差分算出工程によって算出されたフレーム間の輝度差に基づいて、前記低周波補間画像データの輝度を前記高周波強調画像データに対して相対的に下げるように制御する制御工程とを備え、
   前記制御工程は、前記評価値算出工程によって算出された評価値が低いほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差を大きくし、前記差分算出工程によって算出されたフレーム間の輝度差が小さいほど、前記低周波補間画像データの輝度と前記高周波強調画像データとの輝度差が小さくなるように制御することを特徴とする画像処理装置の制御方法。
4. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。

Images