JP2010147538A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より確実に静止帯領域を検出できるようにする。
【解決手段】画像処理装置１１には、コンテンツが表示される有効領域と、その有効領域を囲む、継続してコンテンツとは異なる所定の画像が表示される静止帯領域とからなる入力画像が供給される。静止帯座標検出部３１は、現フレームの入力画像と、現フレームよりも時間的に前の過去フレームの入力画像との各画素の差分絶対値を求め、その差分絶対値と閾値とを用いた閾値処理により、画素の動きの有無を示す動きフラグを生成する。そして、静止帯座標検出部３１は、入力画像におけるｘ方向に隣接する２つの画素の動きフラグを比較して、入力画像における静止帯領域と有効領域とのｘ方向の境界の位置を検出する。本発明は、画像処理装置に適用することができる。
【選択図】図２

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、フレームレート変換を行う場合に用いて好適な画像処理装置および方法、並びにプログラムに関する。

従来、画像信号の連続するフレームの間の補間フレームを生成することで、画像信号のフレームレートを変換するフレームレート変換処理が知られている。フレームレート変換処理では、表示時刻の異なる２つのフレームから動きベクトルが検出され、その動きベクトルを用いた動き補償により補間フレームが生成される。

ところで、コンテンツ等の動画像信号では、画像上に、コンテンツ自体が表示される領域と、その領域を囲む帯状の領域（以下、静止帯領域と称する）とが設けられていることがある。このような画像の端に設けられた帯状の静止帯領域には、継続して同じ画像、例えば黒い画像や所定のパターンの絵柄の画像が表示され、この静止帯領域は、一般的に黒帯、サイドパネル、レーターボックスなどと呼ばれている。

このような静止帯領域を含む画像の動画像信号に対してフレームレート変換を行う場合に、静止帯領域を考慮せずに補間フレームを生成すると、静止帯領域の画素が用いられて動きベクトルの検出や動き補償が行われ、補間フレームの画像の画質が劣化してしまう。そのため、フレームレート変換処理では、画像上の静止帯領域を確実に検出し、画像上の適切な領域、つまり静止帯領域を除く領域を対象として、動きベクトルの検出や動き補償を行う必要がある。

例えば、静止帯領域を検出する方法として、画像上の輝度値の低い領域を静止帯領域として検出する方法（例えば、特許文献１および特許文献２参照）や、輝度値の相関および周波数を利用して静止帯領域を検出する方法（例えば、特許文献３および特許文献４参照）が提案されている。

また、画像の中央付近の画素と、画像の端付近の画素の輝度値を比較することで静止帯領域を検出する方法（例えば、特許文献５参照）や、画像信号のデコード時に付加的な画像の有無を判別することで静止帯領域を検出する方法（例えば、特許文献６参照）も知られている。

特開２００５−２０３９３３号公報 特開２００６−２２９７８１号公報 特開平７−２９８２０号公報 特開平１１−８７９９号公報 特開２００７−１５０３７９号公報 特開２００６−３３９７３７号公報

しかしながら、上述した技術では、画像から静止帯領域を確実に検出することは困難であった。

例えば、画像上の輝度値の低い領域を静止帯領域とする方法では、静止帯領域が黒い領域、つまり輝度値の低い領域である場合には、静止帯領域を正しく検出することはできるが、静止帯領域の輝度値が高い場合には、検出できなくなってしまう。また、輝度値の相関および周波数を利用する方法では、画像上における所定方向への輝度値の変化が不規則である場合には、静止帯領域を検出することができなくなってしまう。

さらに、画像中央付近の画素と、端付近の画素の輝度値を比較する方法では、サンプルとして選択された画素が静止帯領域の画素でなくても、それらの画素の輝度値の差分が小さい場合には、誤検出が生じてしまう。また、付加的な画像の有無を判別する方法では、デコード後のベースバンド信号については、静止帯領域を検出することができなかった。

本発明は、このような状況に鑑みてなされたものであり、より確実に画像から静止帯領域を検出することができるようにするものである。

本発明の一側面の画像処理装置は、入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理装置であって、前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分を算出する差分算出手段と、前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報を生成する画素動き情報生成手段と、前記入力画像における、第１の方向に並ぶ複数の前記画素の前記画素動き情報を比較して、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記第１の方向の境界の位置を検出する第１の検出手段とを備える。

画像処理装置には、前記画素動き情報に基づいて、前記入力画像における前記第１の方向に並ぶ画素からなるラインを構成する画素の画素値の変化の有無を示すライン動き情報を生成するライン動き情報生成手段と、前記入力画像における、前記第１の方向と垂直な第２の方向に並ぶ複数の前記ラインの前記ライン動き情報を比較して、前記入力画像における前記静止帯領域と前記有効領域との前記第２の方向の境界の位置を検出する第２の検出手段とをさらに設けることができる。

前記第１の検出手段には、前記第１の方向に隣接する２つの画素の前記画素動き情報のそれぞれにより示される前記画素値の変化の有無が互いに異なる場合、前記２つの画素の位置を前記第１の方向の境界の位置として検出させることができる。

画像処理装置には、前記第１の検出手段により検出された複数の位置に基づいて、前記複数の位置のうち、前記入力画像における前記第１の方向の端に最も近い位置を、前記第１の方向の境界の位置として出力する第１の出力手段をさらに設けることができる。

前記第２の検出手段には、前記第２の方向に隣接する２つのラインの前記ライン動き情報のそれぞれにより示される前記画素値の変化の有無が互いに異なる場合、前記２つのラインの位置を前記第２の方向の境界の位置として検出させることができる。

画像処理装置には、前記第２の検出手段により検出された複数の位置に基づいて、前記複数の位置のうち、前記入力画像における前記第２の方向の端に最も近い位置を、前記第２の方向の境界の位置として出力する第２の出力手段をさらに設けることができる。

画像処理装置には、前記第１の方向の境界の位置および前記第２の方向の境界の位置に基づいて、前記入力画像の前記有効領域を対象として動きベクトルを検出する動きベクトル検出手段と、前記第１の方向の境界の位置および前記第２の方向の境界の位置と、前記動きベクトルとに基づいて、前記入力画像の前記有効領域を対象として動き補償を行い、前記入力画像のフレームレートを変換する動き補償手段とをさらに設けることができる。

画像処理装置には、各フレームの前記入力画像について求めた複数の前記第１の方向の境界の位置および前記第２の方向の境界の位置にフィルタ処理を施して、前記第１の方向の境界の位置および前記第２の方向の境界の位置の時間的な変動を抑制するフィルタ処理手段をさらに設けることができる。

本発明の一側面の画像処理方法またはプログラムは、入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理方法またはプログラムであって、前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分を算出し、前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報を生成し、前記入力画像における、所定の方向に並ぶ複数の前記画素の前記画素動き情報を比較して、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記所定の方向の境界の位置を検出するステップを含む。

本発明の一側面においては、入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理において、前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分が算出され、前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報が生成され、前記入力画像における、第１の方向に並ぶ複数の前記画素の前記画素動き情報が比較されて、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記第１の方向の境界の位置が検出される。

本発明の一側面によれば、より確実に画像から静止帯領域を検出することができる。

［画像処理装置の構成］
以下、図面を参照して、本発明を適用した実施の形態について説明する。

本発明を適用した画像処理装置では、入力された入力画像の画像信号から、静止帯領域が検出されるとともに、その検出結果が用いられて画像信号のフレームレート変換が行われる。

入力画像上の静止帯領域は、例えば、図１に示すように、画像信号により再生されるコンテンツの画像が表示される領域Ｒ１１を囲む帯状の領域Ｒ１２とされる。すなわち、領域Ｒ１２は入力画像の端の部分の領域であり、領域Ｒ１２には、動画像等のコンテンツ自体の画像は表示されず、例えば輝度値の低い黒い画像や、所定のパターンの絵柄の画像が継続して表示される。換言すれば、各フレームにおける入力画像の領域Ｒ１２に表示される画像は、同じ画像とされる。

画像処理装置は、時間的に異なるフレームの入力画像から、入力画像上の静止帯領域である領域Ｒ１２を検出するとともに、入力画像上の静止帯領域を除く領域Ｒ１１を対象として動きベクトルの検出および動き補償を行い、補間フレームを生成する。なお、以下、入力画像上における、コンテンツ自体の画像の表示される領域Ｒ１１を、有効領域とも称する。

静止帯領域の検出は、例えば図中、右方向をｘ方向とし、下方向をｙ方向として、入力画像の左上の端を基準とするｘｙ座標系における、領域Ｒ１１と領域Ｒ１２との境界の位置のｘ座標およびｙ座標を求めることにより行われる。

具体的には、矢印Ｐ１１により示される位置、つまり領域Ｒ１１と領域Ｒ１２の図中、左端の境界部分のｘ座標が左座標として求められ、矢印Ｐ１２により示される位置、つまり領域Ｒ１１と領域Ｒ１２の図中、右端の境界部分のｘ座標が右座標として求められる。換言すれば、左座標および右座標は、入力画像における静止帯領域と有効領域とのｘ方向の境界の位置を特定する情報である。

また、矢印Ｐ１３により示される位置、つまり領域Ｒ１１と領域Ｒ１２の図中、上端の境界部分のｙ座標が上座標として求められ、矢印Ｐ１４により示される位置、つまり領域Ｒ１１と領域Ｒ１２の図中、下端の境界部分のｙ座標が下座標として求められる。換言すれば、上座標および下座標は、入力画像における静止帯領域と有効領域とのｙ方向の境界の位置を特定する情報である。

そして、これらの左座標、右座標、上座標、および下座標が、静止帯領域を特定するための静止帯座標とされる。

なお、ｘｙ座標系におけるｘ座標は、入力画像の図中、左端の位置が「０」とされ、図中、右側の位置ほどｘ座標の値が大きくなるものとする。同様に、ｘｙ座標系におけるｙ座標は、入力画像の図中、上端の位置が「０」とされ、図中、下側の位置ほどｙ座標の値が大きくなるものとする。

次に、図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、フレームメモリ２１、静止帯領域検出部２２、動きベクトル検出部２３、および動き補償部２４から構成される。

画像処理装置１１のフレームメモリ２１乃至動き補償部２４には、入力画像の画像信号が１フレーム分ずつ供給され、画像信号は、例えば輝度成分（Ｙ成分）と、色差成分（Ｃｒ成分およびＣｂ成分）とからなるベースバンドの動画像信号とされる。

フレームメモリ２１は、供給された１フレーム分の入力画像、より詳細には入力画像の画像信号を、予め定められた所定の時間だけ遅延させて静止帯領域検出部２２、動きベクトル検出部２３、および動き補償部２４に供給する。例えば、入力画像が遅延される時間は、１フレーム分の時間とされる。この場合、フレームメモリ２１からは、画像処理装置１１に入力された処理対象のフレームの時間的に１フレーム前の入力画像が出力されることになる。

なお、以下、画像処理装置１１に供給された、処理対象のフレームを現フレームとも称し、フレームメモリ２１から出力された、現フレームよりも時間的に前のフレームを過去フレームとも称する。また、過去フレームは、現フレームより時間的に前のフレームであれば、現フレームの直前のフレームでなくてもよい。

静止帯領域検出部２２は、供給された現フレームの入力画像と、フレームメモリ２１から供給された過去フレームの入力画像とから入力画像上の静止帯領域を検出し、その検出結果として静止帯座標を動きベクトル検出部２３および動き補償部２４に供給する。

静止帯領域検出部２２は、静止帯座標検出部３１、遅延部３２、およびフィルタ処理部３３から構成される。

静止帯座標検出部３１は、供給された現フレームの入力画像と、フレームメモリ２１から供給された過去フレームの入力画像とを用いて、現フレームの入力画像上の静止帯領域の静止帯座標を検出し、遅延部３２に供給する。すなわち、静止帯座標として、静止帯領域の左座標、右座標、上座標、および下座標が検出される。

遅延部３２は、静止帯座標検出部３１から供給された静止帯座標を予め定められた時間だけ保持するとともに、供給された現フレームの静止帯座標と、保持している過去４フレーム分の静止帯座標とをフィルタ処理部３３に供給する。

フィルタ処理部３３は、遅延部３２から供給された５フレーム分の静止帯座標に対して、５タップのメディアンフィルタを用いたフィルタ処理を施し、その結果得られた静止帯座標を、現フレームの最終的な静止帯座標として動きベクトル検出部２３および動き補償部２４に供給する。

なお、遅延部３２からフィルタ処理部３３に供給される静止帯座標は、必ずしも連続するフレームの静止帯座標である必要はなく、１フレーム間隔とされてもよい。また、静止帯座標は、複数フレーム分であればよく、遅延部３２に保持される静止帯座標の数は、フィルタ処理部３３によるフィルタ処理で用いられるメディアンフィルタのタップ数に応じて定められる。さらに、フィルタ処理に用いるフィルタは、静止帯座標の時間的な変動を抑制するためのフィルタであれば、メディアンフィルタに限らず、平均値を求めるフィルタなどであってもよい。

動きベクトル検出部２３は、フィルタ処理部３３から供給された静止帯座標を用いて、供給された現フレームの入力画像およびフレームメモリ２１からの過去フレームの入力画像における、有効領域を対象として動きベクトルを検出する。動きベクトル検出部２３は、検出された動きベクトルを動き補償部２４に供給する。

動き補償部２４は、フィルタ処理部３３からの静止帯座標と、動きベクトル検出部２３からの動きベクトルとを用いて、供給された現フレームの入力画像およびフレームメモリ２１からの過去フレームの入力画像における、有効領域を対象として動き補償を行う。そして、動き補償部２４は、動き補償により得られた補間フレームと、供給されたフレームとからなる入力画像の画像信号を、フレームレート変換により得られた出力画像の画像信号として出力する。

また、図２の静止帯座標検出部３１は、より詳細には、図３に示すように構成される。

すなわち、静止帯座標検出部３１は、左右座標検出部６１、上下座標検出部６２、および検査部６３から構成される。

左右座標検出部６１は、入力画像の画素単位で動作し、供給された現フレームの入力画像と、フレームメモリ２１からの過去フレームの入力画像とから、現フレームの入力画像の左座標および右座標を検出し、検査部６３に供給する。すなわち、左右座標検出部６１では、入力画像の画素が順次、処理対象の画素とされて左座標および右座標が求められ、左座標および右座標は、新たな画素が処理対象とされるごとに更新されて、左右座標検出部６１から検査部６３に供給される。

また、左右座標検出部６１は、供給された現フレームの入力画像および過去フレームの入力画像から、現フレームの入力画像のラインごとの動きを検出し、その検出結果としてライン単位の動きフラグV-curを上下座標検出部６２に供給する。

ここで、入力画像のラインとは、図１におけるｘ方向に並ぶ入力画像上の画素からなるラインをいい、ラインごとの動きとは、入力画像上のラインの画素の画素値の変化をいう。

すなわち、現フレームの入力画像上の注目するラインである注目ラインを構成する各画素の画素値と、注目ラインと同じ位置の過去フレームの入力画像のラインを構成する各画素の画素値とが異なる場合、注目ラインに動きがあったとされる。また、注目ラインを構成する各画素の画素値と、注目ラインと同じ位置の過去フレームの入力画像のラインを構成する各画素の画素値とが同じである場合、注目ラインには動きがなかったとされる。さらに、ライン単位の動きフラグV-curの値は、そのラインが動きのあるラインである場合には「１」とされ、ラインが動きのない静止したラインである場合には「０」とされる。

上下座標検出部６２は、入力画像の画素からなるライン単位で動作し、左右座標検出部６１から供給された動きフラグV-curに基づいて、入力画像の上座標および下座標を検出し、検査部６３に供給する。上座標および下座標は、ライン単位で更新されて、上下座標検出部６２から検査部６３に供給される。

検査部６３は、フレームを単位として動作し、左右座標検出部６１から供給される左座標および右座標を保持するとともに、それらの左座標および右座標が供給されるたびに、保持している左座標および右座標を更新する。また、検査部６３は、上下座標検出部６２から供給される上座標および下座標を保持するとともに、それらの上座標および下座標が供給されるたびに、保持している上座標および下座標を更新する。

検査部６３は、入力画像のフレームごとに、保持している静止帯座標、つまり左座標、右座標、上座標、および下座標を検査する。すなわち、検査部６３は、静止帯座標の誤検出を検出し、その検出結果に応じて、適宜静止帯座標を訂正して、図２の遅延部３２に出力する。

また、図３の左右座標検出部６１および上下座標検出部６２は、より詳細には図４および図５に示すように構成される。

図４は、左右座標検出部６１のより詳細な構成例を示す図である。

すなわち、左右座標検出部６１は、差分算出部９１、閾値処理部９２、遅延部９３、判定部９４、左右座標更新部９５、およびフラグ生成部９６から構成される。

差分算出部９１は、供給された色差パラメータを用いて、入力画像の画素ごとに、供給された現フレームの入力画像と、フレームメモリ２１からの過去フレームの入力画像との画素の画素値の差分絶対値を求め、その差分絶対値を閾値処理部９２に供給する。

例えば、色差パラメータは、差分絶対値の算出時に、入力画像の画素の輝度成分および色差成分の差分絶対値を求めるか、または輝度成分のみの差分絶対値を求めるかを示しており、「１」または「０」の何れかの値とされる。色差パラメータが「１」である場合には、輝度成分および色差成分の差分絶対値が求められ、色差パラメータが「０」である場合には、輝度成分のみの差分絶対値が求められる。

閾値処理部９２は、差分算出部９１から供給された画素ごとの差分絶対値と、供給された閾値とを用いて、閾値処理を行い、画素単位の動きフラグH-curを生成する。

この動きフラグ動きフラグH-curは、現フレームの入力画像上の画素に動きがあったか否かを示す情報である。ここで、現フレームの入力画像上の注目する画素である注目画素の動きの有無は、注目画素と、その注目画素と同じ位置にある過去フレームの入力画像の画素との画素値、つまり輝度成分または色差成分の変化の有無とされる。

例えば、注目画素が動きのある画素である場合、つまり注目画素の差分絶対値が閾値以上である場合、動きフラグH-curの値は「１」とされる。また、注目画素が動きのない、静止した画素である場合、つまり注目画素の差分絶対値が閾値未満である場合、動きフラグH-curの値は「０」とされる。

閾値処理部９２は、生成した画素単位の動きフラグH-curを遅延部９３、判定部９４、およびフラグ生成部９６に供給する。

遅延部９３は、閾値処理部９２からの動きフラグH-curを、１画素分の処理時間だけ遅延させて判定部９４に供給する。なお、以下、１画素分の処理時間だけ遅延された画素単位の動きフラグを、動きフラグH-preと称する。すなわち、この動きフラグH-preは、現在処理対象となっている画素の時間的に直前に処理された画素の動きフラグH-curである。

判定部９４は、閾値処理部９２からの動きフラグH-curと、遅延部９３からの動きフラグH-preとを比較して、現フレームの左座標および右座標を求めて左右座標更新部９５に供給する。左右座標更新部９５は、判定部９４からの左座標および右座標を保持するとともに、供給された左座標および右座標に基づいて、保持している左座標および右座標を更新して検査部６３に供給する。

フラグ生成部９６は、閾値処理部９２から供給された動きフラグH-curに基づいて、ライン単位の動きフラグV-curを生成し、上下座標検出部６２に供給する。

また、図５は、図３の上下座標検出部６２のより詳細な構成例を示す図である。

上下座標検出部６２は、遅延部１２１、判定部１２２、および上下座標更新部１２３から構成され、図４のフラグ生成部９６からの動きフラグV-curは、遅延部１２１および判定部１２２に供給される。

遅延部１２１は、フラグ生成部９６からの動きフラグV-curを、１ライン分の処理時間だけ遅延させて判定部１２２に供給する。なお、以下、１ライン分の処理時間だけ遅延されたライン単位の動きフラグを、動きフラグV-preと称する。すなわち、この動きフラグV-preは、現在処理対象となっている入力画像のラインの時間的に直前に処理されたラインの動きフラグV-curである。

判定部１２２は、フラグ生成部９６からの動きフラグV-curと、遅延部１２１からの動きフラグV-preとを比較して、現フレームの上座標および下座標を求めて上下座標更新部１２３に供給する。上下座標更新部１２３は、判定部１２２からの上座標および下座標を保持するとともに、供給された上座標および下座標に基づいて、保持している上座標および下座標を更新して検査部６３に供給する。

［画像処理装置の動作］
ところで、画像処理装置１１に入力画像の画像信号が供給されると、画像処理装置１１は、入力画像から静止帯領域を検出し、その検出結果を用いて補間フレームを生成して画像信号のフレームレートを変換する処理であるフレームレート変換処理を開始する。

以下、図６のフローチャートを参照して、画像処理装置１１によるフレームレート変換処理について説明する。

ステップＳ１１において、静止帯領域検出部２２は、供給された現フレームの入力画像と、フレームメモリ２１から供給された過去フレームの入力画像とを用いて静止帯領域検出処理を行って、現フレームの入力画像の静止帯座標を検出する。そして、静止帯領域検出部２２は、検出した静止帯座標を動きベクトル検出部２３および動き補償部２４に供給する。なお、静止帯領域検出処理の詳細は後述する。

ステップＳ１２において、動きベクトル検出部２３は、静止帯領域検出部２２のフィルタ処理部３３から供給された静止帯座標を用いて、供給された入力画像およびフレームメモリ２１からの入力画像における有効領域を対象として、動きベクトルを検出する。

例えば、動きベクトル検出部２３は、ブロックマッチングや勾配法などにより、過去フレームの入力画像の有効領域内の各画素の動きベクトルを検出し、その検出結果を動き補償部２４に供給する。つまり、現フレームおよび過去フレームの入力画像の有効領域内の画素のみが用いられて、動きベクトルが検出される。

ステップＳ１３において、動き補償部２４は、フィルタ処理部３３からの静止帯座標と、動きベクトル検出部２３からの動きベクトルとを用いて、供給された入力画像およびフレームメモリ２１からの入力画像における有効領域を対象として動き補償を行う。

すなわち、動き補償部２４は、現フレームおよび過去フレームの入力画像の有効領域内の画素のみを用いた動き補償を行うことで、現フレームと過去フレームとの間の時刻の補間フレームの出力画像を生成する。例えば、補間フレームの出力画像における有効領域の画像は、動き補償により得られた画像とされ、補間フレームの出力画像における静止帯領域の画像は、現フレームの入力画像における静止帯領域の部分の画像とされる。

これにより、例えば、図７に示すように、フレームレートが６０Ｈｚである入力画像が、フレームレートが１２０Ｈｚである出力画像に変換される。なお、図７において、縦軸は入力画像または出力画像上の位置を示しており、横軸は時間、すなわち各フレームの表示時刻を示している。また、図中、横軸における数値は時刻を示している。

さらに、斜線の施されていない円は、入力画像上の移動物体を表しており、斜線の施されている円は、出力画像上の移動物体を表している。

図７の例では、連続する２つのフレームの入力画像が用いられて、それらのフレームの間の補間フレームが生成されている。例えば、時刻２／１２０が現フレームの表示時刻であるとすると、現フレームの入力画像と、時刻０／１２０の過去フレームの入力画像とが用いられて、時刻１／１２０の補間フレームが生成されている。つまり、時刻１／１２０における移動物体が、時刻０／１２０における移動物体と、時刻２／１２０における移動物体とを結ぶ直線上に位置するような補間フレームの出力画像が生成される。

図６のフローチャートの説明に戻り、動き補償部２４は、補間フレームを生成すると、生成した補間フレームの出力画像を後段に出力するとともに、補間フレームに続いて、現フレームの入力画像を、現フレームの出力画像として後段に出力する。このようにして出力された補間フレームおよび現フレームの出力画像は、例えば、動き補償部２４に接続された表示装置に表示される。これにより表示装置には、出力画像が表示されることになる。

ステップＳ１４において、画像処理装置１１は、入力画像の画像信号のフレームレート変換を終了するか否かを判定する。例えば、入力画像の供給が停止され、フレームレート変換処理の終了が指示された場合、終了すると判定される。

ステップＳ１４において、終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次の入力画像が現フレームの入力画像とされて、現フレームと過去フレームとの間の補間フレームが生成される。

これに対して、ステップＳ１４において、処理を終了すると判定された場合、画像処理装置１１の各部は行っている処理を終了し、フレームレート変換処理は終了する。

このようにして、画像処理装置１１は、入力画像の静止帯領域を検出し、その検出結果を用いて、入力画像の有効領域のみを処理対象として、動きベクトルの検出および動き補償を行う。

このように、静止帯領域の検出結果を用いて、有効領域のみを処理対象とした動きベクトルの検出および動き補償を行うことにより、フレームレート変換により得られる出力画像の画質の劣化を抑制することができる。

すなわち、入力画像のフレームレート変換時に静止帯領域を考慮せず、入力画像の全体を処理対象とした場合には、動きベクトルの誤検出により静止帯領域の画素が用いられて有効領域の画素の画素値が算出され、出力画像の画質が劣化してしまうことがある。

これに対して、画像処理装置１１では、静止帯領域を検出し、入力画像の有効領域のみを対象として、つまり有効領域の画素のみを用いて動きベクトルの検出および動き補償を行うため、出力画像の画質が劣化することはない。

次に、図８のフローチャートを参照して、図６のステップＳ１１の処理に対応する静止帯領域検出処理について説明する。

ステップＳ４１において、差分算出部９１は、供給された現フレームの入力画像、およびフレームメモリ２１からの過去フレームの入力画像と、供給された色差パラメータとを用いて、それらの入力画像上の同じ位置にある画素の画素値の差分絶対値を求める。

例えば、差分算出部９１は、図１の入力画像の図中、上端のラインから下端のラインまで下方向に順番に、各ラインを処理対象とする。また、差分算出部９１は、処理対象のラインを構成する画素を、図中、左端の画素から右端の画素まで右方向に順番に、処理対象の画素として、各画素の差分絶対値を求める。

すなわち、現フレームの入力画像において、まだ処理対象とされていない画素を含むラインのうち、最もｙ座標が小さいラインが選択され、そのラインを構成する、処理対象とされてない画素のうちの最もｘ座標の小さい画素が、今回処理対象とされる画素として選択される。

差分算出部９１は、処理対象とした現フレームの入力画像の画素と、その画素と同じ位置にある過去フレームの入力画像上の画素との差分の絶対値を求める。例えば、供給された色差パラメータが「１」である場合、差分算出部９１は、それらの画素の輝度成分の値（画素値）の差分絶対値と、それらの画素の色差成分の値（画素値）の差分絶対値とを求める。

また、供給された色差パラメータが「０」である場合、差分算出部９１は、それらの画素の輝度成分の値（画素値）の差分絶対値のみを求め、色差成分の差分絶対値を「０」とする。この場合、閾値処理部９２では、実質的に画素の輝度成分のみが用いられて、各画素の動きの有無が判定されることになる。なお、より詳細には、色差成分の差分絶対値として、Ｃｒ成分の差分絶対値と、Ｃｂ成分の差分絶対値とが求められる。

差分算出部９１は、輝度成分の差分絶対値と、色差成分の差分絶対値とを求めると、それらの差分絶対値を閾値処理部９２に供給する。

ステップＳ４２において、閾値処理部９２は、差分算出部９１から供給された差分絶対値と、供給された閾値とを用いた閾値処理を行って、画素単位の動きフラグH-curを出力する。

具体的には、閾値処理部９２には、輝度の閾値と、色差、つまりＣｒ成分の閾値およびＣｂ成分の閾値とが供給される。閾値処理部９２は、輝度成分および色差成分の差分絶対値と閾値とを比較し、それらの比較結果の論理和を求めることで、処理対象の画素の動きの有無を判定する。

すなわち、輝度成分、Ｃｒ成分、およびＣｂ成分のうち、１つでも差分絶対値が閾値以上である成分があった場合には、その処理対象の画素に動きがあった、つまり画素値に変化があったとされる。この場合、閾値処理部９２は、処理対象の画素が動きのある画素であることを示す、値が「１」である動きフラグH-curを生成する。

また、全ての成分の差分絶対値が閾値以下である場合、処理対象の画素には動きがなかった、つまり画素値に変化がなかったとされる。この場合、閾値処理部９２は、処理対象の画素が静止した画素であることを示す、値が「０」である動きフラグH-curを生成する。

このように、閾値処理部９２では、画素の輝度成分、または輝度成分および色差成分の変化の有無、つまり画素の画素値の変化の有無が閾値判定により求められ、その変化の有無を示す画素単位の動きフラグH-curが生成される。

閾値処理部９２は、動きフラグH-curを生成すると、生成した動きフラグH-curを遅延部９３、判定部９４、およびフラグ生成部９６に供給する。また、遅延部９３は、新たに閾値処理部９２から供給された動きフラグH-curを保持するとともに、これまで保持していた動きフラグH-curを、動きフラグH-preとして判定部９４に供給する。

ステップＳ４３において、判定部９４は、閾値処理部９２からの動きフラグH-curと、遅延部９３からの動きフラグH-preとを比較して、現フレームの入力画像の左座標および右座標を左右座標更新部９５に出力する。

例えば、判定部９４は、図９に示すように、動きフラグH-curおよび動きフラグH-preの状態、つまり処理対象の画素の動きの変化に応じて、左座標および右座標を出力する。なお、図９では、「H-pre」および「H-cur」の欄には、動きフラグH-curの値、および動きフラグH-preの値が示されており、それらの欄の右側には、各動きフラグの状態により定まる左座標または右座標が示されている。

具体的には、判定部９４は、前回出力した左座標および右座標を保持している。なお、まだ左座標および右座標を出力していない場合には、例えば、左座標の初期値として入力画像におけるｘ座標の最大値が設定され、右座標の初期値として入力画像におけるｘ座標の最小値が設定される。つまり、左座標および右座標の初期値は、入力画像における図１中、右端および左端のｘ座標とされる。

判定部９４は、供給された動きフラグH-curおよび動きフラグH-preの値が「０」である場合、保持している左座標および右座標を更新せずに、保持しているそれらの座標の値を、そのまま左座標および右座標として出力する。

また、判定部９４は、動きフラグH-preの値が「０」であり、動きフラグH-curの値が「１」である場合、処理対象の画素のｘ座標を左座標として保持するとともに出力し、保持している右座標の値をそのまま右座標として出力する。この場合、判定部９４に保持されている左座標および右座標のうち、左座標だけが更新されることになる。

さらに、判定部９４は、動きフラグH-preの値が「１」であり、動きフラグH-curの値が「０」である場合、保持している左座標の値をそのまま左座標として出力し、処理対象の画素のｘ座標から１を減算して得られる値を右座標として保持するとともに出力する。この場合、判定部９４に保持されている左座標および右座標のうち、右座標だけが更新されることになる。

さらに、また、判定部９４は、動きフラグH-curおよび動きフラグH-preの値が「１」である場合、左座標および右座標を更新せずに、保持しているそれらの座標の値を、そのまま左座標および右座標として出力する。

したがって、例えば、図１０に示すように、入力画像のｘ方向に並ぶラインごとに、ラインにおける静止帯領域と有効領域とのｘ方向の境界のｘ座標が左座標および右座標として出力されることになる。なお、図１０において右方向はｘ方向を示しており、１つの四角形はラインを構成する１つの画素を表している。また、各画素内の数値は、画素のｘ座標を示しており、画素の下側の数値は、画素の動きフラグH-curの値、つまり動きの有無を示している。

図１０において、ｘ座標が「０」から「２」の領域と、ｘ座標が「１３」から「１５」の領域とが静止帯領域であり、ｘ座標が「３」から「１２」の領域が有効領域であるとする。

静止帯領域には継続して、つまり連続するフレームで同じ画像が表示されるため、静止帯領域の画素は静止した画素であり、その画素の動きフラグH-curは「０」となるはずである。これに対して、有効領域には、コンテンツ自体の画像が表示されるため、基本的には有効領域の画素は動きのある画素であり、その画素の動きフラグH-curは「１」となるはずである。

したがって、動きフラグH-curが「０」である画素と、その画素の図中、右側に隣接する、動きフラグH-curが「１」である画素との間の位置が、図中、左側にある静止帯領域と有効領域との境界の位置となる。図１０の例では、ｘ座標が「２」である画素とｘ座標が「３」である画素との間が、静止帯領域と有効領域との境界の位置となる。

同様に、動きフラグH-curが「１」である画素と、その画素の図中、右側に隣接する、動きフラグH-curが「０」である画素との間の位置が、図中、右側にある静止帯領域と有効領域との境界の位置となる。図１０の例では、ｘ座標が「１２」である画素とｘ座標が「１３」である画素との間が、静止帯領域と有効領域との境界の位置となる。

また、入力画像では、ライン上のｘ座標が小さい画素から順番に処理対象の画素とされるので、図中、左端から右端の画素まで右方向に順番に、処理対象の画素の動きフラグH-curと、その画素の左に隣接する画素の動きフラグH-preとが判定部９４に供給される。

そこで、判定部９４は、動きフラグH-preの値が「０」であり、動きフラグH-curの値が「１」である場合、処理対象の画素の位置が境界の位置であるとして、その処理対象の画素のｘ座標を左座標として出力する。つまり、動きフラグが「０」から「１」に変化したときに、図中、左側の静止帯領域の境界が検出されたとされる。図１０の例では、ｘ＝３が左座標として出力されることになる。

また、判定部９４は、動きフラグH-preの値が「１」であり、動きフラグH-curの値が「０」である場合、処理対象の画素の位置が境界の位置であるとして、その処理対象の画素のｘ座標から１を減算した値を右座標として出力する。つまり、動きフラグが「１」から「０」に変化したときに、図中、右側の静止帯領域の境界が検出されたとされる。

図１０の例では、ｘ座標が「１３」である画素が処理対象である場合に、静止帯領域の図中、右側の境界が検出されるので、処理対象の画素のｘ座標から１を減算した値、つまり処理対象の画素の左側に隣接する画素のｘ座標「１２」が右座標として出力される。

このように、判定部９４では、ｘ方向に隣接する２つの画素の動きフラグが比較されて、それらの動きフラグにより示される動きの有無が互いに異なる場合、２つの画素の位置が、入力画像のラインにおける静止帯領域と有効領域とのｘ方向の境界の位置とされる。そして、その境界の位置を示す左座標および右座標が、入力画像全体における、左座標および右座標の候補として左右座標更新部９５に出力される。

なお、有効領域内に動きのない画素がある場合もあるので、そのような画素の位置も左座標または右座標の候補として出力されることになる。つまり、１つのラインから、左座標および右座標の複数の候補が検出されることもある。

また、より詳細には、判定部９４は、処理対象の画素のｘ座標が「０」である場合、つまり新たなラインの画素を処理対象とする場合には、動きフラグの比較を行わずに、保持している左座標および右座標を、そのまま左右座標更新部９５に出力する。さらに、判定部９４が保持する左座標および右座標は１フレームごとにリセットされ、初期値とされる。

図８のフローチャートの説明に戻り、ステップＳ４４において、左右座標更新部９５は、判定部９４から供給された左座標および右座標に基づいて、保持している左座標および右座標を更新し、更新後の左座標および右座標を検査部６３に供給する。

例えば、左右座標更新部９５は、前回までの左座標および右座標を保持しており、保持している左座標および右座標と、今回、新たに判定部９４から供給された左座標および右座標とを比較して、保持している左座標および右座標を更新する。

具体的には、左右座標更新部９５は、図１１に示すように、保持している左座標と、供給された左座標との大小関係に応じて左座標を更新する。なお、図１１において、「left-cur」は、新たに供給された左座標を示しており、「left-pre」は左右座標更新部９５が保持している左座標を示している。また、図１１では、「left-cur」および「left-pre」の関係に対して出力される左座標が示されている。

すなわち、左右座標更新部９５は、新たに供給された左座標「left-cur」が、保持している左座標「left-pre」よりも大きい場合、保持している左座標「left-pre」を検査部６３に出力するとともに、その左座標「left-pre」を継続して保持する。

また、左右座標更新部９５は、新たに供給された左座標「left-cur」が、保持している左座標「left-pre」以下である場合、新たに供給された左座標「left-cur」を検査部６３に出力するとともに、左座標を「left-cur」に更新して、その左座標「left-cur」を保持する。つまり、左座標「left-cur」が次回の左座標「left-pre」として保持される。

したがって、例えば図１２に示すように、左右座標更新部９５は、保持している左座標よりも、より小さい座標が新たな左座標として供給された場合に、左座標を更新する。なお、図１２において右方向はｘ方向を示しており、図中の長方形は入力画像を表している。

例えば、左右座標更新部９５が、矢印Ｑ１１に示される位置のｘ座標を左座標として保持していたとする。この場合、左右座標更新部９５は、矢印Ｑ１２に示す位置のｘ座標が左座標として供給されると、そのｘ座標は、左座標として保持しているｘ座標よりも小さいので、左座標を更新する。

静止帯領域の画素はどのフレームにおいても動きのない画素であるので、静止帯領域内の互いに隣接する画素の一方が、動きのある画素となるようなことはない。したがって、左座標の候補として左右座標更新部９５に供給されたｘ座標のうち、入力画像の図中、最も左側の端に近いｘ座標が、静止帯領域の境界の位置を示す左座標である可能性が高い。そこで、図中、最も小さいｘ座標を示す左座標の候補を左座標として出力することで、より正確に左座標を検出することができる。つまり、より確実に静止帯領域の左座標を検出することができる。

さらに、左座標と同様に、左右座標更新部９５は、図１３に示すように、保持している右座標と、供給された右座標との大小関係に応じて右座標を更新する。なお、図１３において、「right-cur」は、新たに供給された右座標を示しており、「right-pre」は左右座標更新部９５が保持している右座標を示している。また、図１３では、「right-cur」および「right-pre」の関係に対して出力される右座標が示されている。

すなわち、左右座標更新部９５は、新たに供給された右座標「right-cur」が、保持している右座標「right-pre」よりも大きい場合、新たに供給された右座標「right-cur」を検査部６３に出力する。そして左右座標更新部９５は、右座標を「right-cur」に更新し、その右座標「right-cur」を保持する。つまり、右座標「right-cur」が次回の右座標「right-pre」として保持される。

また、左右座標更新部９５は、新たに供給された右座標「right-cur」が、保持している右座標「right-pre」以下である場合、保持している右座標「right-pre」を検査部６３に出力するとともに、その右座標「right-pre」を継続して保持する。

このように、左右座標更新部９５は、左座標の場合と同様に、右座標の候補として左右座標更新部９５に供給されたｘ座標のうち、入力画像の最もｘ方向側の端に近いｘ座標を右座標として出力する。これにより、より正確に右座標を検出することができる。つまり、より確実に静止帯領域の右座標を検出することができる。

なお、左右座標更新部９５において保持される左座標「left-pre」および右座標「right-pre」は、１フレームごとにリセットされる。すなわち、１フレームの入力画像の全ての画素が処理されると、左右座標更新部９５は、保持している左座標「left-pre」および右座標「right-pre」を破棄する。そして、左右座標更新部９５は、新たに供給された次のフレームの入力画像の画素の左座標「left-cur」および右座標「right-cur」を出力するとともに、左座標「left-cur」および右座標「right-cur」を左座標「left-pre」および右座標「right-pre」として保持する。

したがって、１フレームの入力画像の全ての画素が処理対象とされて、最終的に（最後に）左右座標更新部９５から出力される左座標および右座標は、そのフレームの入力画像上で最もｘ方向の端に近い位置にある、静止帯領域の境界の候補とされた座標である。

また、検査部６３は、左右座標更新部９５から左座標および右座標が供給されると、新たに供給された左座標および右座標を保持し、左座標および右座標を更新する。

図８のフローチャートに戻り、ステップＳ４５において、左右座標検出部６１は、現フレームの入力画像の１ライン分の処理が終了したか否かを判定する。例えば、入力画像の処理対象となっているラインを構成する全ての画素が処理対象の画素とされ、左座標および右座標が出力された場合、１ライン分の処理が終了したと判定される。

ステップＳ４５において、１ライン分の処理が終了していないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返される。

これに対して、ステップＳ４５において、１ライン分の処理が終了したと判定された場合、ステップＳ４６において、フラグ生成部９６は、閾値処理部９２から供給された動きフラグH-curに基づいて、ライン単位の動きフラグV-curを生成する。

例えば、フラグ生成部９６は、処理対象となっている１つのラインを構成する全ての画素の動きフラグH-curが「０」である場合、そのラインが動きのないラインであることを示す、値が「０」である動きフラグV-curを生成する。また、フラグ生成部９６は、処理対象のラインを構成する画素に、１つでも動きのある画素がある場合、つまり１つでも値が「１」である動きフラグH-curの画素がある場合、動きのあるラインであることを示す、値が「１」である動きフラグV-curを生成する。

このように、フラグ生成部９６では、ラインを構成する全ての画素の画素値の変化の有無、つまりライン全体の輝度成分や色差成分の変化の有無が、各画素の動きフラグH-curにより求められ、その変化の有無を示すライン単位の動きフラグV-curが生成される。

フラグ生成部９６は、動きフラグV-curを生成すると、生成した動きフラグV-curを上下座標検出部６２の遅延部１２１および判定部１２２に供給する。また、遅延部１２１は、フラグ生成部９６から動きフラグV-curが供給されると、新たに供給された動きフラグV-curを保持するとともに、これまで保持していた動きフラグV-curを、動きフラグV-preとして判定部１２２に供給する。

ステップＳ４７において、判定部１２２は、フラグ生成部９６からの動きフラグV-curと、遅延部１２１からの動きフラグV-preとを比較して、現フレームの入力画像の上座標および下座標を上下座標更新部１２３に出力する。

例えば、判定部１２２は、図１４に示すように、動きフラグV-curおよび動きフラグV-preの状態、つまり処理対象のラインの動きの変化に応じて、上座標および下座標を出力する。なお、図１４では、「V-pre」および「V-cur」の欄には、動きフラグV-preの値、および動きフラグV-curの値が示されており、それらの欄の右側には、各動きフラグの状態により定まる上座標または下座標が示されている。

具体的には、判定部１２２は、前回出力した上座標および下座標を保持している。なお、まだ上座標および下座標を出力していない場合には、例えば、上座標の初期値として入力画像におけるｙ座標の最大値が設定され、下座標の初期値として入力画像におけるｙ座標の最小値が設定される。つまり、上座標および下座標の初期値は、入力画像における図１中、下端および上端のｙ座標とされる。

判定部１２２は、供給された動きフラグV-curおよび動きフラグV-preの値が「０」である場合、上座標および下座標を更新せずに、保持している上座標および下座標の値を、そのまま上座標および下座標として出力する。

また、判定部１２２は、動きフラグV-preの値が「０」であり、動きフラグV-curの値が「１」である場合、処理対象のラインのｙ座標を上座標として保持するとともに出力し、保持している下座標の値をそのまま下座標として出力する。この場合、判定部１２２に保持されている上座標および下座標のうち、上座標だけが更新されることになる。

さらに、判定部１２２は動きフラグV-preの値が「１」であり、動きフラグV-curの値が「０」である場合、保持している上座標の値をそのまま上座標として出力し、処理対象のラインのｙ座標から１を減算して得られる値を下座標として保持するとともに出力する。この場合、判定部１２２に保持されている上座標および下座標のうち、下座標だけが更新されることになる。

さらに、また、判定部１２２は、動きフラグV-curおよび動きフラグV-preの値が「１」である場合、上座標および下座標を更新せずに、保持しているそれらの座標の値を、そのまま上座標および下座標として出力する。

したがって、例えば、図１５に示すように、入力画像のフレームごとに、入力画像における静止帯領域と有効領域との境界のｙ座標が上座標および下座標として出力されることになる。なお、図１５において下方向はｙ方向を示しており、１つの長方形は１つのラインを表している。また、各ライン内の数値は、ラインのｙ座標を示しており、ラインの右側の数値は、ラインの動きフラグV-curの値、つまりラインの動きの有無を示している。

図１５において、ｙ座標が「０」および「１」のラインと、ｙ座標が「８」および「９」のラインとが静止帯領域のみからなるラインであり、ｙ座標が「２」から「７」のラインが有効領域を含むラインであるとする。

静止帯領域には継続して、つまり連続するフレームで同じ画像が表示されるため、静止帯領域のみからなるラインは静止したラインであり、そのラインの動きフラグV-curは「０」となるはずである。これに対して、有効領域には、コンテンツ自体の画像が表示されるため、基本的には有効領域を含むラインは動きのあるラインであり、そのラインの動きフラグV-curは「１」となるはずである。

したがって、動きフラグV-curが「０」であるラインと、そのラインの図中、下側に隣接する、動きフラグV-curが「１」であるラインとの間の位置が、図中、上側にある静止帯領域と有効領域とのｙ方向の境界の位置となる。図１５の例では、ｙ座標が「１」であるラインとｙ座標が「２」であるラインとの間が、静止帯領域と有効領域との境界の位置となる。

同様に動きフラグV-curが「１」であるラインと、そのラインの図中、下側に隣接する、動きフラグV-curが「０」であるラインとの間の位置が、図中、下側にある静止帯領域と有効領域とのｙ方向の境界の位置となる。図１５の例では、ｙ座標が「７」であるラインとｙ座標が「８」であるラインとの間が、静止帯領域と有効領域との境界の位置となる。

また、入力画像では、ｙ座標が小さいラインから順番に処理対象のラインとされるので、図中、上端から下端のラインまで下方向に順番に、処理対象のラインの動きフラグV-curと、そのラインの上に隣接するラインの動きフラグV-preとが判定部１２２に供給される。

そこで、判定部１２２は、動きフラグV-preの値が「０」であり、動きフラグV-curの値が「１」である場合、処理対象のラインの位置がｙ方向の境界の位置であるとして、その処理対象のラインのｙ座標を上座標として出力する。つまり、動きフラグが「０」から「１」に変化したときに、図中、上側の静止帯領域の境界が検出されたとされる。図１５の例では、ｙ＝２が上座標として出力されることになる。

また、判定部１２２は、動きフラグV-preの値が「１」であり、動きフラグV-curの値が「０」である場合、処理対象のラインの位置がｙ方向の境界の位置であるとして、その処理対象のラインのｙ座標から１を減算した値を下座標として出力する。つまり、動きフラグが「１」から「０」に変化したときに、図中、下側の静止帯領域の境界が検出されたとされる。

図１５の例では、ｙ座標が「８」であるラインが処理対象である場合に、静止帯領域の図中、下側の境界が検出されるので、処理対象のラインのｙ座標から１を減算した値、つまり処理対象のラインの上側に隣接するラインのｙ座標「７」が下座標として出力される。

このように、判定部１２２では、ｙ方向に隣接する２つのラインの動きフラグが比較されて、それらの動きフラグにより示される動きの有無が互いに異なる場合、２つのラインの位置が、入力画像における静止帯領域と有効領域とのｙ方向の境界の位置とされる。そして、その境界の位置を示す上座標および下座標が、入力画像全体における、上座標および下座標の候補として上下座標更新部１２３に出力される。

なお、有効領域内には、動きのない画素がある場合もあるので、そのような動きのない画素からなるラインの位置も上座標または下座標の候補として出力されることになる。つまり、１つのフレームの入力画像から、上座標および下座標の複数の候補が検出されることもある。

また、より詳細には、判定部１２２は、処理対象のラインのｙ座標が「０」である場合、つまり新たなフレームのラインを処理対象とする場合には、動きフラグの比較を行わずに、保持している上座標および下座標を、そのまま上下座標更新部１２３に出力する。また、判定部１２２が保持する上座標および下座標は１フレームごとにリセットされ、初期値とされる。

図８のフローチャートの説明に戻り、ステップＳ４８において、上下座標更新部１２３は、判定部１２２から供給された上座標および下座標に基づいて、保持している上座標および下座標を更新し、更新後の上座標および下座標を検査部６３に供給する。

例えば、上下座標更新部１２３は、前回までの上座標および下座標を保持しており、保持している上座標および下座標と、今回、新たに判定部１２２から供給された上座標および下座標とを比較して、それらの座標を更新する。

具体的には、上下座標更新部１２３は、図１６に示すように、保持している上座標と、供給された上座標との大小関係に応じて上座標を更新する。なお、図１６において、「up-cur」は、新たに供給された上座標を示しており、「up-pre」は上下座標更新部１２３が保持している上座標を示している。また、図１６では、「up-cur」および「up-pre」の関係に対して出力される上座標が示されている。

すなわち、上下座標更新部１２３は、新たに供給された上座標「up-cur」が、保持している上座標「up-pre」よりも大きい場合、保持している上座標「up-pre」を検査部６３に出力するとともに、その上座標「up-pre」を継続して保持する。

また、上下座標更新部１２３は、新たに供給された上座標「up-cur」が、保持している上座標「up-pre」以下である場合、新たに供給された上座標「up-cur」を検査部６３に出力するとともに、上座標を「up-cur」に更新して、その上座標「up-cur」を保持する。

したがって、例えば、上下座標更新部１２３は、保持している上座標よりも、より小さい座標が新たな上座標として供給された場合に、上座標を更新する。

静止帯領域のみからなるラインはどのフレームにおいても動きのないラインであるので、静止帯領域のみからなる互いに隣接するラインの一方が、動きのあるラインとなるようなことはない。したがって、上座標の候補として上下座標更新部１２３に供給されたｙ座標のうち、入力画像のｙ座標が「０」である側の端に最も近いｙ座標が、静止帯領域の境界の位置を示す上座標である可能性が高い。そこで、上座標の候補として上下座標更新部１２３に供給されたｙ座標のうち、ｙ座標が最小であるｙ座標を上座標として出力することで、より正確に上座標を検出することができる。つまり、より確実に静止帯領域の上座標を検出することができる。

さらに、上座標と同様に、上下座標更新部１２３は、図１７に示すように、保持している下座標と、供給された下座標との大小関係に応じて下座標を更新する。なお、図１７において、「down-cur」は、新たに供給された下座標を示しており、「down-pre」は上下座標更新部１２３が保持している下座標を示している。また、図１７では、「down-cur」および「down-pre」の関係に対して出力される下座標が示されている。

すなわち、上下座標更新部１２３は、新たに供給された下座標「down-cur」が、保持している下座標「down-pre」よりも大きい場合、新たに供給された下座標「down-cur」を検査部６３に出力する。そして上下座標更新部１２３は、下座標を「down-cur」に更新し、その下座標「down-cur」を保持する。

また、上下座標更新部１２３は、新たに供給された下座標「down-cur」が、保持している下座標「down-pre」以下である場合、保持している下座標「down-pre」を検査部６３に出力するとともに、その下座標「down-pre」を継続して保持する。

このように、上下座標更新部１２３は、上座標の場合と同様に、下座標の候補として上下座標更新部１２３に供給されたｙ座標のうち、入力画像の最もｙ方向側の端に近いｙ座標を下座標として出力する。これにより、より正確に下座標を検出することができる。つまり、より確実に静止帯領域の下座標を検出することができる。

また、上座標および下座標の検出時には、既に入力画像の全ての画素の動きの有無が求められているため、上下座標検出部６２は、入力画像のラインを単位として上座標および下座標を検出する。これにより、画素ごとに静止帯領域および有効領域の境界の位置を検出する場合よりも、より少ない処理量で、かつより迅速に境界の位置を検出することができる。

なお、上下座標更新部１２３において保持される上座標「up-pre」および下座標「down-pre」は、１フレームごとにリセットされる。すなわち、１フレームの入力画像の全てのラインが処理されると、上下座標更新部１２３は、保持している上座標「up-pre」および下座標「down-pre」を破棄する。そして、上下座標更新部１２３は、新たに供給された次のフレームの入力画像のラインの上座標「up-cur」および下座標「down-cur」を出力するとともに、上座標「up-cur」および下座標「down-cur」を上座標「up-pre」および下座標「down-pre」として保持する。

したがって、１フレームの入力画像の全てのラインが処理対象とされて、最終的に（最後に）上下座標更新部１２３から出力される上座標および下座標は、そのフレームの入力画像上で最もｙ方向の端に近い位置にある、静止帯領域の境界の候補とされた座標である。

また、検査部６３は、上下座標更新部１２３から上座標および下座標が供給されると、新たに供給された上座標および下座標を保持し、上座標および下座標を更新する。

図８のフローチャートに戻り、ステップＳ４９において、上下座標検出部６２は、入力画像の１フレーム分の処理が終了したか否かを判定する。例えば、入力画像を構成する全てのラインが処理対象のラインとされ、上座標および下座標が出力された場合、１フレーム分の処理が終了したと判定される。

ステップＳ４９において、１フレーム分の処理が終了していないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返される。

これに対して、ステップＳ４９において、１フレーム分の処理が終了したと判定された場合、ステップＳ５０において、検査部６３は、左右座標更新部９５および上下座標更新部１２３から供給され、保持している静止帯座標を検査する。

すなわち、検査部６３は、保持している静止帯座標としての左座標、右座標、上座標、および下座標が、初期値のままである場合、静止帯座標を正しく検出することができなかったとして、予め定められた座標を静止帯座標とする。左座標、右座標、上座標、および下座標の初期値は、上述したように、例えばｘ座標の最大値、ｘ座標の最小値、ｙ座標の最大値、およびｙ座標の最小値とされる。

検査の結果、正しく静止帯座標を検出できなかったとされた場合、例えば、入力画像の画素のｘ座標の最小値および最大値が、入力画像の左座標および右座標とされる。具体的には、図１における入力画像の左側の端および右側の端のｘ座標が、左座標および右座標とされる。また、例えば、入力画像の画素のｙ座標の最小値および最大値が、入力画像の上座標および下座標とされる。具体的には、図１における入力画像の上側の端および下側の端のｙ座標が、上座標および下座標とされる。そして、このようにして得られた静止帯座標が現フレームの静止帯座標とされて、遅延部３２に出力される。

また、検査部６３は、保持している静止帯座標としての左座標、右座標、上座標、および下座標が、初期値のままでない場合、静止帯座標が正しく検出されたとして、保持している静止帯座標を、現フレームの静止帯座標として遅延部３２に出力する。

遅延部３２は、検査部６３から供給された静止帯座標を予め定められた時間だけ保持するとともに、供給された現フレームの静止帯座標と、保持している過去４フレーム分の静止帯座標とをフィルタ処理部３３に供給する。

ステップＳ５１において、フィルタ処理部３３は、遅延部３２から供給された５フレーム分の静止帯座標に基づいて、最終的な現フレームの静止帯座標を出力する。すなわち、フィルタ処理部３３は、供給された静止帯座標にメディアンフィルタを用いたフィルタ処理を施して、５つの左座標、右座標、上座標、および下座標のそれぞれの中央値を、最終的な左座標、右座標、上座標、および下座標とする。これにより、出力される静止帯座標の時間的な変動を抑制することができる。つまり、フレームごとに静止帯領域が大きく変動したりするようなことはない。

フィルタ処理部３３は、静止帯座標にフィルタ処理を施すと、その結果得られた静止帯座標を、現フレームの最終的な静止帯座標として動きベクトル検出部２３および動き補償部２４に供給し、静止帯領域検出処理は終了する。そして、その後、処理は図６のステップＳ１２に進む。

このようにして、静止帯領域検出部２２は、各画素の動きの変化に基づいて、左座標および右座標を検出するとともに、各ラインの動きの変化に基づいて、上座標および下座標を検出することで、入力画像から静止帯領域を検出する。

このように、静止帯領域に継続して同じ画像が表示されるという特徴を利用し、画素やラインの動きの変化に基づいて静止帯領域を検出することで、静止帯領域にどのような画像が表示されるかによらず、より確実に入力画像から静止帯領域を検出することができる。

すなわち、静止帯領域に黒い画像や特定の絵柄の画像など、どのような絵柄の画像が表示されていても、静止帯領域の画素やラインに動きはない。したがって、このような特徴を利用して、互いに隣接する画素やラインの動きの有無を比較すれば、より確実に静止帯領域を特定することができる。

しかも、静止帯領域検出部２２では、供給された入力画像を遅延させて、現フレームと過去フレームとの各画素の差分絶対値を用いた簡単な処理で、より迅速に静止帯領域を検出することができる。つまり、静止帯領域を検出するのに、処理量の多いステートマシンなどを必要とせず、入力画像の画素を順番に処理対象として各処理を実行していくことで、より簡単かつ迅速に静止帯領域を検出することができる。

なお、以上においては入力画像から静止帯領域を検出し、有効領域のみを対象としてフレームレート変換を行う例について説明したが、以上において説明した静止帯領域を検出する技術は、入力画像から有効領域のみを抽出して表示させる場合などにも適用できる。

また静止帯領域を検出する技術は、その他、有効領域のみをスケーリングする場合、録画装置において有効領域のみを録画する場合、携帯機器において有効領域のみ画質補正する場合、圧縮系で静止帯領域の縁を圧縮ブロックに合わせる場合などにも適用可能である。特に、携帯機器において有効領域のみ画質補正する場合には、携帯機器における消費電力を大幅に抑えることが可能となる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

入力画像における有効領域と静止帯領域について説明する図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 静止帯座標検出部のより詳細な構成例を示す図である。 左右座標検出部のより詳細な構成例を示す図である。 上下座標検出部のより詳細な構成例を示す図である。 フレームレート変換処理を説明するフローチャートである。 フレームレート変換の例を説明する図である。 静止帯領域検出処理を説明するフローチャートである。 左右座標の検出について説明するための図である。 左右座標の検出について説明するための図である。 左座標の更新について説明する図である。 左座標の更新について説明する図である。 右座標の更新について説明する図である。 上下座標の検出について説明する図である。 上下座標の検出について説明する図である。 上座標の更新について説明する図である。 下座標の更新について説明する図である。 コンピュータの構成例を示す図である。

符号の説明

１１ 画像処理装置， ２２ 静止帯領域検出部， ２３ 動きベクトル検出部， ２４ 動き補償部， ３１ 静止帯座標検出部， ３３ フィルタ処理部， ６１ 左右座標検出部， ６２ 上下座標検出部， ６３ 検査部， ９１ 差分算出部， ９２ 閾値処理部， ９４ 判定部， ９５ 左右座標更新部， ９６ フラグ生成部， １２２ 判定部， １２３ 上下座標更新部

Claims (10)

1. 入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理装置であって、
   前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分を算出する差分算出手段と、
   前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報を生成する画素動き情報生成手段と、
   前記入力画像における、第１の方向に並ぶ複数の前記画素の前記画素動き情報を比較して、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記第１の方向の境界の位置を検出する第１の検出手段と
   を備える画像処理装置。
2. 前記画素動き情報に基づいて、前記入力画像における前記第１の方向に並ぶ画素からなるラインを構成する画素の画素値の変化の有無を示すライン動き情報を生成するライン動き情報生成手段と、
   前記入力画像における、前記第１の方向と垂直な第２の方向に並ぶ複数の前記ラインの前記ライン動き情報を比較して、前記入力画像における前記静止帯領域と前記有効領域との前記第２の方向の境界の位置を検出する第２の検出手段と
   をさらに備える請求項１に記載の画像処理装置。
3. 前記第１の検出手段は、前記第１の方向に隣接する２つの画素の前記画素動き情報のそれぞれにより示される前記画素値の変化の有無が互いに異なる場合、前記２つの画素の位置を前記第１の方向の境界の位置として検出する
   請求項２に記載の画像処理装置。
4. 前記第１の検出手段により検出された複数の位置に基づいて、前記複数の位置のうち、前記入力画像における前記第１の方向の端に最も近い位置を、前記第１の方向の境界の位置として出力する第１の出力手段をさらに備える
   請求項３に記載の画像処理装置。
5. 前記第２の検出手段は、前記第２の方向に隣接する２つのラインの前記ライン動き情報のそれぞれにより示される前記画素値の変化の有無が互いに異なる場合、前記２つのラインの位置を前記第２の方向の境界の位置として検出する
   請求項４に記載の画像処理装置。
6. 前記第２の検出手段により検出された複数の位置に基づいて、前記複数の位置のうち、前記入力画像における前記第２の方向の端に最も近い位置を、前記第２の方向の境界の位置として出力する第２の出力手段をさらに備える
   請求項５に記載の画像処理装置。
7. 前記第１の方向の境界の位置および前記第２の方向の境界の位置に基づいて、前記入力画像の前記有効領域を対象として動きベクトルを検出する動きベクトル検出手段と、
   前記第１の方向の境界の位置および前記第２の方向の境界の位置と、前記動きベクトルとに基づいて、前記入力画像の前記有効領域を対象として動き補償を行い、前記入力画像のフレームレートを変換する動き補償手段と
   をさらに備える請求項２に記載の画像処理装置。
8. 各フレームの前記入力画像について求めた複数の前記第１の方向の境界の位置および前記第２の方向の境界の位置にフィルタ処理を施して、前記第１の方向の境界の位置および前記第２の方向の境界の位置の時間的な変動を抑制するフィルタ処理手段をさらに備える
   請求項２に記載の画像処理装置。
9. 入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理装置であり、
   前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分を算出する差分算出手段と、
   前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報を生成する画素動き情報生成手段と、
   前記入力画像における、所定の方向に並ぶ複数の前記画素の前記画素動き情報を比較して、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記所定の方向の境界の位置を検出する検出手段と
   を備える画像処理装置の画像処理方法であって、
   前記差分算出手段が、前記入力画像の前記画素の画素値の差分を算出し、
   前記画素動き情報生成手段が、前記差分に基づいて前記画素動き情報を生成し、
   前記検出手段が、前記複数の前記画素の前記画素動き情報を比較して、前記所定の方向の境界の位置を検出する
   ステップを含む画像処理方法。
10. 入力画像から、前記入力画像の端に設けられた、継続して同じ画像が表示される静止帯領域を検出する画像処理用のプログラムであって、
    前記入力画像の各画素について、互いに異なるフレームの同じ位置にある前記入力画像の画素の画素値の差分を算出し、
    前記差分に基づいて、前記入力画像の前記画素の画素値の変化の有無を示す画素動き情報を生成し、
    前記入力画像における、所定の方向に並ぶ複数の前記画素の前記画素動き情報を比較して、前記静止帯領域と、前記入力画像における前記静止帯領域を除く領域である有効領域との前記所定の方向の境界の位置を検出する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images