JP4686388B2 - 画像拡大装置及び画像拡大方法 - Google Patents

Description

本発明は、画像拡大装置及び画像拡大方法に関する。

近年、テレビ、パーソナルコンピュータ用ディスプレイ、プリンタといった映像や画像を出力する機器について画素密度が増加しており、これらの機器用に低解像度画像を鮮鋭な高解像度画像に変換して出力させるための画像拡大装置が提案されている。

このような画像拡大装置として、非特許文献１は、先ず被写体に変形の生じた複数の低解像度画像を入力し、これらの低解像度画像のうち拡大する対象となる画像を基準画像とし残りの画像を参照画像とする。続いて基準画像と参照画像との間の変形値を算出する。次に、基準画像から仮に推定した高解像度画像を生成して、これと参照画像との差分画像を算出する。そして差分画像を逆変形して仮に推定した高解像度画像に加算する処理を繰り返すことで、高解像度画像の画素値を決定し高解像度画像を生成するものが記載されている。
Ｍｉｃｈａｌ Ｉｒａｎｉ ａｎｄ Ｓｈｍｕｅｌ Ｐｅｌｅｇ， "Ｍｏｔｉｏｎ Ａａｎａｌｙｓｉｓ ｆｏｒ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ： ｒｅｓｏｌｕｔｉｏｎ， ｏｃｃｌｕｓｉｏｎ， ａｎｄ ｔｒａｎｓｐａｒｅｎｃｙ，" Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， Ｖｏｌ．４， Ｎｏ．４， ｐｐ．３２４−３３５，１９９３．

上述した従来の画像拡大装置は、被写体の変形モデルが、可逆なＡｆｆｉｎｅ変形で表現できないような、複雑な変形である場合や連続する画像の中でオクルージョン領域が存在する場合、高解像度化ができないという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、被写体の変形モデルが、可逆なＡｆｆｉｎｅ変形のような変形でない場合やオクルージョン領域が存在する場合でも、高解像度化を可能とする画像拡大装置及び画像拡大方法を提供することを目的とする。

上記目的を達成するために、本発明の画像拡大装置は、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置を提供する。

このとき、前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。

また、前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとしてもよい。

また、前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成するようにしてもよい。

また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
前記第１の位置ずれ量と前記第２の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第１のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第２のオクルージョン領域を算出するオクルージョン領域算出手段と、
前記第１及び第２のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第１及び第２のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置を提供する。

このとき、前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。

また、前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとしてもよい。

また、前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成するようにしてもよい。

また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
第１の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第２の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
差分フレーム算出手段にて、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法を提供する。

また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
第１の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第２の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
オクルージョン領域算出手段にて、前記第１の位置ずれ量と前記第２の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第１のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第２のオクルージョン領域を算出するステップと、
差分フレーム算出手段にて、前記第１及び第２のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第１及び第２のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大装置を提供する。

本発明によれば、基準フレームの各画素から参照フレームへの第1の位置ずれ量を、画素値を比較して算出し、さらに参照フレームの各画素から基準フレームへの第2の位置ずれ量を、画素値を比較して算出しているので、可逆なＡｆｆｉｎｅ変形のような変形ではないような複雑な場合でも高画質な高解像度化を実現できる。また、予めオクルージョンが生じるような領域を算出して、オクルージョンが生じない領域を対象として処理するので、オクルージョンが生じるような、可逆でない変形をする被写体でも、高画質な高解像度化を実現できる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像拡大装置を示すブロック図である。

この第１の実施形態に係わる画像拡大装置は、複数のフレームを入力するフレーム入力部１０１と、高解像度化の基準となる基準フレームの各画素から参照フレームへの第１の位置ずれ量を算出する第１の位置ずれ量算出部１０２と、参照フレームの各画素から基準フレームへの第２の位置ずれ量を算出する第２の位置ずれ量算出部１０３と、基準フレームから仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成部１０８と、この仮の推定高解像度フレームから第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレームと推定参照フレームとの複数の差分フレームを算出する差分フレーム算出部１０４と、第１の位置ずれ量を用いて前記差分フレームを拡大・変形して仮の推定高解像度フレームに加算する差分加算部１０５とを備えている。

フレーム入力部１０１は、複数の低解像度画像のフレームを入力する手段である。ここで低解像度画像としたのは、この後高解像度化されるためである。参照フレーム入力部１０１からは、複数のフレームが入力され、これら複数のフレームのうち一つを高解像度化するための基準となる基準参照フレームとし、残りのフレームを高解像度化に用いられる参照フレームとして入力される。

例えば、参照フレームは、現行テレビコンテンツのＮＴＳＣサイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の時系列画像であったり、ＰＣで再生できるＳＤサイズの画像データであったり、また、デジタルビデオカメラ、デジタルカメラ、カメラ付き携帯電話といったＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子等によって撮影された画像列であったり、デジタルズーム時の拡大したい映像領域の一部分であったりする。

第１の位置ずれ量算出部１０２は、フレーム入力部１０１で入力された、高解像度化の基準となる基準フレームの各画素から、残りの参照フレームへの位置ずれ量（第１の位置ずれ量）を、画素値を比較してどれだけ位置ずれしているかを小数精度、つまりサブピクセル精度まで算出する。

第２の位置ずれ量算出部１０３は、フレーム入力部１０１で入力された、参照フレームの各画素から、高解像度化の基準となる基準参照フレームへの位置ずれ量(第２の位置ずれ量)を、画素値を比較してどれだけ位置ずれしているかを、同じく少数制度、つまりサブピクセル精度まで算出する。

これら第１の位置ずれ量算出部１０２と第２の位置ずれ量算出部１０３とで、変形推定部１０６を構成している。

仮の推定高解像度フレーム生成部１０８は、フレーム入力部１０１から入力された基準フレームをとりあえず拡大して、仮の推定高解像度フレームを生成する。この仮の推定高解像度フレームは、高解像度化するための初期値として用いられ、双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）、双３次内挿法（Ｂｉ−ｃｕｂｉｃ補間法）、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ補間法）といった一般的な従来の画像補間方法で生成できる。

差分フレーム算出部１０４は、仮の推定高解像度フレーム生成部１０８で生成された仮の推定高解像度フレームを、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部１０１で入力された参照フレームとこの推定参照フレームとの複数の差分フレームを算出する。ここで変形・縮小とは、第２の位置ずれ量を用いて仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して推定参照フレームを生成することを言う。ただし、この代わりに、推定高解像度フレームを縮小した後に、第２の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。

差分加算部１０５は、第１の位置ずれ量算出部１０３で算出された第１の位置ずれ量を用いて、差分フレーム算出部１０４で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する。ここで拡大・変形とは、第１の位置ずれ量を用いて差分フレームから動き補償フレームを生成しこれを拡大して仮の推定高解像度フレームに加算して推定高解像度フレームを生成することを言う。ただし、この代わりに、差分フレームを拡大した後に、第１の位置ずれ量を用いて差分フレームから動き補償フレームを生成してこれを推定高解像度フレームとしてもよい。

これら差分フレーム算出部１０４と差分加算部１０５により高解像度化部１０７が構成されている。

なお、高解像度化部１０７では、推定高解像度フレームを差分フレーム算出部１０４に入力し、第2の位置ずれ量を用いて推定高解像度フレームから動き補償フレームを生成しこれを縮小して参照フレームに対応する推定参照フレームを生成し、参照フレームと推定参照フレームとの間の差分フレームを算出し、差分か三部１０５にて、この差分フレームと第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して推定高解像度フレームに加算してさらに推定高解像度フレームを生成するということを繰り返し行って、解像度化を行っている。

図２は、本発明の第１の実施形態に係わる画像拡大装置の動作を説明するフローチャートである。図１及び図２を用いて、本発明の第１の実施形態に係わる画像拡大装置の動作について説明する。

先ず、図１、図２に示すように、フレーム入力部１０１から複数の低解像度画像であるフレームが入力される。この複数のフレームのうち一つが高解像度化するための基準となる基準フレームであり、残りは、基準フレームの参照として用いる参照フレームである。

次に、第１の位置ずれ量算出部１０２が、フレーム入力部１０１から入力された基準フレームの各画素から、残りの参照フレームへどれだけ位置ずれしているかを小数精度、つまりサブピクセル精度まで算出する（ステップＳ２０１）。

この様子を、図３を用いて説明する。図３は、４枚のフレーム１、２、３、４のうち、１枚を基準フレーム３とし、残りを参照フレーム１、２、４としている図である。

図３に示すように、基準フレーム３の格子状に整数画素単位で配列されている各画素が、参照フレーム１、参照フレーム２、参照フレーム４のそれぞれに、どれだけ位置ずれしているかを、画措置を比較することによってサブピクセル精度まで算出する。

具体的には、基準フレーム３の各画素を中心として、７×７画素といったブロックを配置する。続いて、画素精度、つまり、整数精度で、基準フレーム３内のブロックと、対象としている参照フレーム１、２、４内の候補ブロックとの間の類似度を算出する。

フレーム間の類似度として、ここでは、ブロック内の画素値の差の２乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）を用いる。参照フレーム１、２、４内の候補ブロックの整数精度での位置をずらしながら類似度を算出し、整数精度の類似度マップを算出する。最も類似している（類似度がＳＳＤの場合、ＳＳＤが最小の）整数精度の位置ずれ量の周りで、対称な連続関数、例えば放物線を当てはめる。

図４は、この様子を示したグラフである。縦軸が類似度、横軸が整数制度位置ずれ量を示している。

図４に示すように、白矢印で示す推定されたサブピクセル精度の位置ずれ量の位置から最も類似するブロックは、サブピクセル精度での位置ずれ量が、整数精度の離散的な類似度マップに当てはめた放物線の頂点の位置として表される。画像は２次元であるので、縦方向、横方向、独立に前記位置ずれ量算出処理を施したり、放物面を当てはめたりすることで、２次元の位置ずれ量が算出できる。

図４では、白矢印で示す位置から最も類似するブロックはｎである。

基準参照フレーム内のすべての画素について、全ての参照フレームとの間での位置ずれ算出処理を行うことで、高解像度化の基準となる基準参照フレームと参照フレーム間でのサブピクセル精度での位置ずれ量を算出できる。

ここでは、位置ずれ量の算出単位として、全画素が独立に位置ずれ成分を持つデンスオプティカルフロー（最も密度が大きい）によって位置ずれ量を表現したが、フレーム内の全画素が同じ位置ずれ量である全画面動きを持つ全画面動きとして表現しても良く、ブロック単位や被写体オブジェクト単位でも良い。

また、ここでは、サブピクセル精度の位置ずれ量の算出方法として、整数精度での類似度を位置ずれ量の算出単位内での画素値の差の２乗和によって求め、整数精度の類似度に放物線を当てはめることでサブピクセル精度の位置ずれ量を算出する方法を説明したが、整数精度での類似度は、輝度差の２乗和だけでなく、輝度差の絶対値和や正規化相互相関といった従来の画像間の類似度を用いても良い。

また、類似度の補間方法は、放物線当てはめだけでなく、等角直線当てはめや他の対称な関数を用いても良い。

また、サブピクセル精度の位置ずれ量の算出は、整数精度での類似度に対称な関数を当てはめて補間する方法だけでなく、濃度勾配法や、画像自体を補間拡大して類似度を算出する方法、ＦＦＴを利用する方法、特徴点を抽出する方法など、既存のサブピクセル精度の位置ずれ算出法を用いても良い。

また、ここでは、複数の低解像度画像である参照フレーム間での位置ずれ量を算出したため、算出されたデンスオプティカルフローは、低解像度画像の画素単位に算出された。画像の高解像度化処理のためには、高解像度画像の画素単位でのデンスオプティカルフローが必要であり、予め、それぞれの参照フレームを、双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）、双３次内挿法（Ｂｉ−ｃｕｂｉｃ補間法）、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ補間法）といった一般的な従来の画像補間方法で高解像度画像のサイズまで拡大して位置ずれ量を算出したり、低解像後画像の画素単位で算出された位置ずれ量を補間したりすることで、高解像度画像の画素単位でのデンスオプティカルフローを得ることができる。

次に、図１、図２に示すように、第２の位置ずれ量算出部１０３が、参照フレームの各画素から、高解像度化の基準となる基準参照フレームへどれだけ位置ずれしているかをサブピクセル精度で算出する（ステップＳ２０２）。

図５は、図３で説明したもとのとは逆に、低解像度の３枚の参照フレーム１、参照フレーム２、参照フレーム４から基準フレーム３への位置ずれ量を、画素値を比較することによって算出する例を説明した図である。

参照フレーム１、参照フレーム２、参照フレーム４のそれぞれに格子状に整数画素単位で配列されている各画素が、どれだけ基準フレーム３へ位置ずれしているかを、画素値を比較してサブピクセル精度まで算出する。具体的な算出方法は、第１の位置ずれ量算出部１０２と同様の方法で算出することができる。

ここで、第２の位置ずれ量を算出するときにその探索範囲の初期値として第１の位置ずれ量算出部１０２で算出された第１の位置ずれ量を用いたり、この第１の位置ずれ量を利用して第２の位置ずれ量を算出するときの探索範囲を制限したりすることで、第２の位置ずれ量の算出を高速に行うことが可能になる。

次に図１、２に示すように、フレーム入力部１０１から入力された基準フレームから、仮の推定高解像度フレーム生成部１０８にて、仮の推定高解像度フレームを生成する。次に、差分フレーム算出部１０４が、第２の位置ずれ量を用いて仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前期参照フレームに対応する推定参照フレームを生成し、参照フレームと推定参照フレームとの間の差分フレームを算出する。

図６は、この様子を説明するための図である。

図６に示すように、仮の推定高解像度フレーム生成部１０８が仮の推定高解像度フレームを生成し、差分フレーム算出部１０４が、この仮の推定高解像度フレームを、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部１０１で入力された参照フレーム１、２、３（ここでは基準フレーム３も参照フレームとして用いる）４と推定参照フレームとの複数の差分フレーム１、２、３、４を算出する（ステップＳ２０３）。

推定高解像度フレームは、高解像度化処理の初めには、仮の推定高解像度フレーム（初期値）として、基準フレーム３を、従来の内挿方法である双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）、双３次内挿法（Ｂｉ−ｃｕｂｉｃ補間法）、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ補間法）といった一般的な画像補間方法によって拡大して生成する。

この仮の推定高解像度フレームが差分フレーム算出部１０４と差分加算部１０５との繰り返し処理によって更新されることで、最終的な出力高解像度フレームが生成される。

推定高解像度フレームは、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小される。変形処理は、第２の位置ずれ量により、高解像度な参照フレームの各画素から基準フレーム３へのサブピクセル精度の位置ずれ量が分かるので、基準フレーム３内の位置ずれ量の行き先の周りの画素値を双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）で補間することにより、各参照フレームでの高解像度な画素値を決定する。縮小処理は、平均処理をすることで低解像度の各推定参照フレームが生成される。

それぞれの参照フレームに対応する差分フレームは、フレーム入力部１０１で入力された参照フレームと推定参照フレームとの各画素を差分することで生成される。この差分フレームは、推定高解像度フレームから生成される推定参照フレームと、実際に観測・撮影された参照フレームとの誤差を示しており、誤差が小さいほど、推定高解像度フレームが高精度に推定されていることを示す。

次に、図１、図２に示すように、差分加算部１０５は、第１の位置ずれ量算出部１０２で算出された第１の位置ずれ量を用いて、差分フレーム算出部１０４で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する（ステップＳ２０４）。

差分フレームの拡大処理は、従来の内挿方法である双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）、双３次内挿法（Ｂｉ−ｃｕｂｉｃ補間法）、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ補間法）といった一般的な画像補間方法を用いる。変形処理は、第１の位置ずれ量により、高解像度な基準フレームの各画素から参照フレームへのサブピクセル精度の位置ずれ量が分かるので、差分フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）で補間することにより算出される。つまり高解像度な基準フレームの推定高解像度フレームでの更新量（誤差のマイナス）が算出される。この更新量の平均値を、現段階での推定高解像度フレームに加算することで、より高精度な推定高解像度フレームに更新される。

次に、図１、図２に示すように、高解像度処理が完了していない場合（ステップＳ２０５：Ｎｏ）は、差分フレーム算出部１０４に戻り、差分加算部１０５で更新された推定高解像度フレームをもとに、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部１０１で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する処理を繰り返す。

高解像度化の処理が完了したか否かの判断は、差分フレーム算出部１０４と差分加算部１０５の繰り返し処理による高解像度化更新回数が一定数以上実施されたかどうかで判断したり、差分フレームが十分小さくなったかどうかで判断したり、推定高解像度フレームの高周波成分が一定以上になったかどうかで判断することができる。ここでは高解像度化更新回数が２０から３０回繰り返されたことで終了と判断した。

高解像度化の処理が完了した場合（ステップＳ２０５：Ｙｅｓ）は、差分加算部１０５で更新された推定高解像度フレームを、基準参照フレームの拡大フレームとして出力して処理を終了する。

このように、第１の実施形態に係わる画像拡大装置によれば、第２の位置ずれ量を、画素値を比較することで算出することにより、可逆なＡｆｆｉｎｅ変形でない変形の場合でも、高画質な高解像度化が可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態に係わる画像拡大装置を説明する。この画像拡大装置は、第１の位置ずれ量と第２の位置ずれ量を用いてフレーム間での対応点のないオクルージョン領域を算出することで、より、高精度に基準参照フレームの高解像度化を行うものである。

図７は、本発明の第２の実施形態に係わる画像拡大装置を示すブロック図である。

図７に示すように、この画像拡大装置は、オクルージョン領域算出部７０６を追加したこと、差分フレーム算出部７０４と、差分加算部７０５の機能が変更されたことが第１の実施形態と異なっている。その他の構成、および、機能は、第１の実施形態に係わる構成を示すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

オクルージョン領域算出部７０６は、第１の位置ずれ量算出部１０２で画素値を比較して算出された第１の位置ずれ量と、第２の位置ずれ量算出部１０３で同様に画素値を比較して算出された第２の位置ずれ量を用いて、基準参照フレームから参照フレームへの対応点がないオクルージョン領域と、参照フレームから基準フレームへの対応点がないオクルージョン領域を算出するオクルージョン領域算出手段である。第１の位置ずれ量及び第２の位置ずれ量は第１の実施形態で説明したものと同様に算出される。

差分フレーム算出部７０４は、オクルージョン領域算出部７０６で算出されたオクルージョン領域でない領域において、基準フレームから生成された仮の推定高解像度フレームを、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレーム入力部１０１で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する。オクルージョン領域でない領域で差分フレームを算出する点が第１の実施形態とは相違するが、差分フレームの算出の方法は第１の実施形態と同様である。

差分加算部７０５は、オクルージョン領域算出部７０６で算出されたオクルージョン領域でない領域において、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて、差分フレーム算出部７０４で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する。オクルージョン領域でない領域で差分フレームを拡大・変形を算出する点が第１の実施形態と異なるが、差分フレームを拡大・変形を算出する方法は、第１の実施形態と同様である。

次に、図７及び図８を用いて、本発明の第２の実施形態に係わる画像拡大装置の動作について説明する。なお、図８は、本発明の第２の実施形態に係わる画像拡大装置の動作を示すフローチャートである。

先ず、図７及び図８に示すように、フレーム入力部１０１が複数のフレームが入力され、そのうちの１つを基準フレーム、残りを参照フレームとする。

次に、第１の位置ずれ量算出部１０２は、フレーム入力部１０１で入力された高解像度化の基準となる基準フレームの各画素から、残りの参照フレームへどれだけ位置ずれしているかを、画素値を比較して小数精度、つまりサブピクセル精度まで算出する（ステップＳ８０１）。

次に、第２の位置ずれ量算出部１０３は、フレーム入力部１０１で入力された参照フレームの各画素から、高解像度化の基準となる基準フレームへどれだけ位置ずれしているかを、画素値を比較してサブピクセル精度で算出する（ステップＳ８０２）。

次に、オクルージョン領域算出部７０６は、第１の位置ずれ量算出部１０２で算出された第１の位置ずれ量と、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて、基準フレームから参照フレームへの対応点がないオクルージョン領域と、参照フレームから基準参照フレームへの対応点がないオクルージョン領域を算出する（ステップＳ８０３）。

図９に示すように、オクルージョン領域とは、ある２つのフレーム間において、ある１つのフレームには撮影されているが、残りのフレームには撮影されていない領域のことである。フレームＡにおける木の周りの領域（フレームＢにおいて車で隠されている領域）であったり、フレームＢにおける家の周りの領域（フレームＡにおいて車で隠されている領域）であったりする。フレームＡからフレームＢへの各画素の位置ずれ量（デンスオプティカルフロー）を考えた場合、フレームＡのオクルージョン領域（木の周りの領域）における各画素は、フレームＢ内に対応する点が存在しないため、本来、位置ずれ量は定義できず不定になるべきである。また、同様に、フレームＢからフレームＡへの各画素の位置ずれ量（デンスオプティカルフロー）を考えた場合、フレームＢのオクルージョン領域（家の周りの領域）における各画素は、フレームＡ内に対応する点が存在しないため、位置ずれ量は不定になるべきである。

しかし、第１の位置ずれ量算出部１０２と第２の位置ずれ量算出部１０３が、第１の位置ずれ量と第２の位置ずれ量を算出する際には、どこがオクルージョン領域であるかという情報は与えられておらず、不定のはずのオクルージョン領域においても、不確かな何らかの位置ずれ量が算出されてしまっている。

そこで、オクルージョン領域算出部７０６は、フレームＡからフレームＢへの対応点がないオクルージョン領域を算出するために、以下の処理をフレームＡの全画素について行う。

先ず、フレームＡからフレームＢへの位置ずれ量をもとに、フレームＡのある画素PaがフレームＢ内のどの画素の近くに位置ずれしたかの対応画素Pbを求める。

次に、このフレームＢ内の対応画素Pbが、第２の位置ずれ量をもとに、フレームＡ内のどの画素の近くに位置ずれしたかの対応画素Pa’を求める。第１の位置ずれ量、および、第２の位置ずれ量が正しい場合は、PaとPa’は等しいか、近い点になる。どちらかが正しくない場合は、PaとPa’は異なる位置になる。

よって、PaとPa’が等しいか、近い点の場合、フレームＡ内の画素Paは、オクルージョン領域でないと判定し、PaとPa’が異なる位置の場合、フレームＡ内の画素Paはオクルージョン領域であると判定する。

この処理をフレームＡ内の全画素に行うことにより、フレームＡからフレームＢへの対応点がないオクルージョン領域を算出できる。また、同様に、フレームＢからフレームＡへの対応点がないオクルージョン領域も、フレームＢからフレームＡへの第２の位置ずれ量をもとに、フレームＢのある画素PbがフレームＡ内のどの画素の近くに位置ずれしたかの対応画素Paを求め、このフレームＡ内の対応画素Paが、第１の位置ずれ量をもとに、フレームＢ内のどの画素の近くに位置ずれしたかの対応画素Pb’を求めることで、オクルージョン領域であるかないかを判定できる。

次に、差分フレーム算出部７０４は、オクルージョン領域算出部７０６で算出されたオクルージョン領域でない領域において、基準フレームから生成された仮の推定高解像度フレームを、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレーム入力部１０１で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する（ステップＳ８０４）。

先ず、推定高解像度フレームが、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小される。変形処理は、第２の位置ずれ量により、高解像度な参照フレームの各画素から基準参照フレームへのサブピクセル精度の位置ずれ量が分かるので、基準参照フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）で補間することにより、各参照フレームでの高解像度な画素値を決定する。

しかし、オクルージョン領域と判定された画素での第２の位置ずれ量は信頼性が低いために、第２の位置ずれ量を用いた補間は行わず、参照フレーム内の画素をそのままコピーする。

縮小処理は、平均処理をすることで低解像度の各推定参照フレームが生成される。それぞれの参照フレームに対応する差分フレームは、フレーム入力部１０１で入力された参照フレームと推定参照フレームとの各画素を差分することで生成される。この差分フレームは、推定高解像度フレームから生成される推定参照フレームと、実際に観測・撮影された参照フレームとの誤差を示しており、誤差が小さいほど、推定高解像度フレームが高精度に推定されていることを示す。

次に、差分加算部７０５は、オクルージョン領域算出部７０６で算出されたオクルージョン領域でない領域において、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて、差分フレーム算出部７０４で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する（ステップＳ８０５）。

差分フレームの拡大処理は、従来の内挿方法である双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）、双３次内挿法（Ｂｉ−ｃｕｂｉｃ補間法）、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ補間法）といった一般的な画像補間方法を用いる。

差分フレームの変形処理は、第１の位置ずれ量により、高解像度な基準フレームの各画素から参照フレームへのサブピクセル精度の位置ずれ量が分かるので、差分フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法（Ｂｉ−ｌｉｎｅａｒ補間法）で補間することにより算出できる。

つまり、高解像度な基準フレームの推定高解像度フレームでの更新量（誤差のマイナス）が算出される。しかし、オクルージョン領域と判定された画素での位置ずれ量は信頼性が低いために、第１の位置ずれ量を用いた補間は行わず、更新量を０に設定する。この更新量の平均値を、現段階での推定高解像度フレームに加算することで、より高精度な推定高解像度フレームに更新される。

次に、ステップＳ２０５と同様に、高解像度処理が完了していない場合（ステップＳ８０６：Ｎｏ）は、差分フレーム算出部７０４に戻り、差分加算部７０５で更新された推定高解像度フレームをもとに、第２の位置ずれ量算出部１０３で算出された第２の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部１０１で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する処理を繰り返す。

高解像度化の処理が完了した場合（ステップＳ８０６：Ｙｅｓ）は、差分加算部７０５で更新された推定高解像度フレームを、基準フレームの拡大フレームとして出力して処理を終了する。

このように、第２の実施形態に係わる画像拡大装置によれば、第１の位置ずれ量と第２の位置ずれ量を用いてフレーム間での対応点のないオクルージョン領域を算出することにより、オクルージョンが生じるような、可逆でない変形をする被写体でも、より、高精度に基準参照フレームを高解像度化することが可能となる。

なお、この画像拡大装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、第１の位置ずれ量算出部１０２、第２の位置ずれ量算出部１０３、差分フレーム算出部１０４、７０４、差分加算部１０５、７０５、および、オクルージョン領域算出部７０６は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像拡大装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる画像拡大装置の構成を示すブロック図。 本発明の第１の実施形態の動作を示すフローチャート。 第１の位置ずれ量算出の対応関係を示す図。 サブピクセル精度の位置ずれ量の算出方法を示す図 第２の位置ずれ量算出の対応関係を示す図。 差分フレームを算出する工程を示す図。 本発明の第２の実施形態に係わる画像拡大装置の構成を示すブロック図。 本発明の第２の実施形態の動作を示すフローチャート。 オクルージョン領域の例を示す図。

符号の説明

１０１・・・フレーム入力部
１０２・・・第１の位置ずれ量算出部
１０３・・・第２の位置ずれ量算出部
１０４、７０４・・・差分フレーム算出部
１０５、７０５・・・差分加算部
７０６・・・オクルージョン領域算出部

Claims (10)

1. 複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
   複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
   前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
   前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
   前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置。
2. 前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとすることを特徴とする請求項１記載の画像拡大装置。
3. 前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとすることを特徴とする請求項１或いは請求項２に記載の画像拡大装置。
4. 前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成することを特徴とする請求項１乃至請求項３のいずれかに記載の画像拡大装置。
5. 複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
   複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
   前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度生成手段と、
   前記第１の位置ずれ量と前記第２の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第１のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第２のオクルージョン領域を算出するオクルージョン領域算出手段と、
   前記第１及び第２のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
   前記第１及び第２のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置。
6. 前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとすることを特徴とする請求項５記載の画像拡大装置。
7. 前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとすることを特徴とする請求項５或いは請求項６に記載の画像拡大装置。
8. 前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成することを特徴とする請求項５乃至請求項７のいずれかに記載の画像拡大装置。
9. 複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
   第１の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
   第２の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
   仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
   差分フレーム算出手段にて、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
   差分加算手段にて、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法。
10. 複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
    第１の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
    第２の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
    仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
    オクルージョン領域算出手段にて、前記第１の位置ずれ量と前記第２の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第１のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第２のオクルージョン領域を算出するステップと、
    差分フレーム算出手段にて、前記第１及び第２のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
    差分加算手段にて、前記第１及び第２のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法。

Images