JP4157567B2 - 動画像の高解像度化方法及び装置 - Google Patents

Description

本発明は、動画像を縦方向、横方向及び時間方向の少なくとも一つの方向に拡大するための高解像度化方法及び装置に関する。

低解像度の静止画を高解像度化する手法の一例は、特許文献１に開示されている。特許文献１の手法は、訓練段階と高解像度化段階からなる。訓練段階では訓練画像を縮小した縮小画像を生成すると共に、訓練画像の高周波成分画像を生成する。縮小画像中のブロック（縮小ブロック）の特徴ベクトルと、縮小ブロックと同一位置（同じ被写体が写っている部分）の高周波成分画像中のブロック（高周波ブロック）との複数の対をルックアップテーブルとして記憶する。縮小ブロックの位置を移動させて同様の処理を繰り返し、また訓練画像を適宜追加して上述の処理を繰り返すことにより訓練段階を終了する。

一方、高解像度化段階では、高解像度化すべき入力画像を拡大した仮拡大画像を生成すると共に、入力画像中のブロック（入力ブロック）の特徴ベクトルを算出する。ここで、入力ブロックは先の縮小ブロックと同じサイズであり、入力ブロックの特徴ベクトルは訓練段階と同じ方法で計算される。

次に、入力ブロックの特徴ベクトルと類似した、縮小ブロックの特徴ベクトルを先のルックアップテーブルから検索し、検索した特徴ベクトルと対をなす高周波ブロックを入力ブロックと同一位置の仮拡大画像中のブロック（仮拡大ブロック）に加算することにより、出力ブロックを生成する。ここで、仮拡大ブロックは加算される高周波ブロックと同じサイズであり、出力ブロックは出力画像の一部分である。出力ブロックが出力画像の全体を覆っていない場合は、覆うように入力ブロックの位置を移動させて同様の処理を繰り返し、覆っていれば高解像度化段階を終了する。

このような特許文献１の手法によれば、仮拡大画像にブロック毎に高周波成分を加算することによりテクスチャが鮮鋭になるため、鮮鋭な高解像度化画像が得られる。
特開２００３−１８３９８号公報

特許文献１の手法を動画像の各フレームに対して適用して得られた複数枚の高解像度化画像を動画像として再生すると、空間方向において同一位置の色が時間変化する場合がある。例えば、入力動画像の第ｔフレームが高解像度化された第１出力画像の出力ブロックと、第ｔ＋１フレームが高解像度化された第２出力画像の出力ブロックが空間方向には同一位置にあっても、これらの出力ブロックは訓練段階においては異なる２つの高周波成分画像の中の高周波ブロックであり、空間的に全く異なる位置から生成される場合がある。これら２つの高周波ブロックは、時間方向に連続しない高周波成分を要素に持つため、これらを仮拡大ブロックに加算して得られる出力ブロックをそれぞれ含む第１及び第２出力画像を動画像として再生すると、不自然な時間変化が起こる。

このように高解像度化段階において時間方向に連続して空間方向で同一位置に加算されたブロック同士が訓練段階において全く異なる位置から生成されるという状況は、第ｔフレームの入力画像中のブロックと同一位置のブロックと、第ｔ＋１フレームの入力画像中のブロックと同一位置のブロックの特徴ベクトルが全く同じでない限り、高い頻度で起こる。従って、特許文献１の手法を動画像の各フレームに対して適用して得られた複数枚の高解像度化画像を動画像として再生すると、高い頻度でちらつきが発生してしまう。

本発明の第１の態様によると、縮小動画像を生成するために少なくとも一つの訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小するステップと；高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出するステップと；前記縮小動画像中の少なくとも一つの第１時空間ボックスの特徴量を要素に含む少なくとも一つの第１特徴ベクトルを算出するステップと；前記第１特徴ベクトルと前記第１時空間ボックスと同一位置の前記高周波成分動画像中の第２時空間ボックスとの複数の対をルックアップテーブルとして記憶するステップと；仮拡大動画像を生成するために入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大するステップと；前記入力動画像の処理対象の第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；高解像度化された出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の第４時空間ボックスに加算するステップと；を具備する動画像の高解像度化方法が提供される。

ここで、前記縮小するステップは前記訓練動画像を時間方向にも縮小し、前記拡大するステップは前記入力動画像を時間方向にも拡大してもよい。

一つの訓練動画像をフレーム毎に縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの訓練動画像を縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することにより複数の訓練動画像を生成し、該複数の訓練動画像を前記縮小するステップに渡してもよい。

一つの第１時空間ボックスの各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの第１時空間ボックスを縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することによって複数の第１時空間ボックスを生成し、該複数の第１時空間ボックスを前記第１特徴ベクトルの算出ステップに渡してもよい。

一つの第３時空間ボックスの各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすことによって複数の第３時空間ボックスを生成し、該複数の第３時空間ボックスを前記検索するステップに渡してもよい。

前記加算するステップにおいては、前記第４時空間ブロック同士に重なりがある場合に、該重なり部分に対しては当該重なり部分に対応する複数の第２時空間ボックスの平均値あるいは当該複数の第２時空間ボックスのうち最後に加算される第２時空間ボックスの値を加算してもよい。また、前記加算するステップは、被写体の動きが相対的に大きい部分を除いて前記加算を行ってもよい。前記入力動画像を前記訓練動画像として用いることも可能である。

本発明の他の態様によると、縮小動画像を生成するために訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小する縮小部と；高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出する抽出部と；前記縮小動画像中の第１時空間ボックスの特徴量を要素に含む第１特徴ベクトルと、前記第１時空間ボックスと同一位置の前記高周波成分動画像中の第２時空間ボックスとの複数の対をルックアップテーブルとして記憶する記憶部と；仮拡大動画像を生成するために入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大する拡大部と；前記入力動画像の処理対象の第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；高解像度化された出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の第４時空間ボックスに加算する加算部；とを具備する動画像の高解像度化装置が提供される。

さらに、本発明の第３の態様によると、縮小動画像を生成するために少なくとも一つの訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小する処理と；高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出する処理と；前記縮小動画像中の少なくとも一つの第１時空間ボックスの特徴量を要素に含む少なくとも一つの第１特徴ベクトルを算出する処理と；前記第１特徴ベクトルと前記第１時空間ボックスと同一位置の前記高周波成分動画像中の第２時空間ボックスとの複数の対をルックアップテーブルとして記憶する処理と；仮拡大動画像を生成するために入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大する処理と；前記入力動画像の処理対象の第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；前記出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の第４時空間ボックスに加算する処理と；を含む動画像の高解像度化処理をコンピュータに行わせるプログラムを提供することもできる。

本発明によれば、画像のブロック単位での処理ではなく、時間方向に連続性を持たせた時空間ボックス単位での処理によって高解像度化を行うことにより、ブロック単位の処理では空間方向において同一位置の色が時間変化を起こしてちらつきとして知覚されるという問題が解決され、ちらつきのない高品質な高解像度化を実現できる。

以下、図面を参照しながら本発明の実施の形態を説明する。ここでは、複数フレームからなる入力動画像を空間方向に縦横それぞれの方向に２倍に拡大した出力動画像を生成する場合を例にとって説明する。拡大倍率は整数でなくともよい。また、入力動画像を時間方向に拡大し、すなわち出力動画像のフレーム数を入力動画像のフレーム数よりも多くすることもできる。さらに、拡大倍率は縦方向、横方向及び時間方向で異なっていても構わない。以下の説明においては、画像信号あるいは画像データを単に「画像」と呼ぶことにする。

本実施形態に係る動画像の高解像度化装置は、訓練ユニットと高解像度化ユニットとからなる。図１に示されるように、訓練ユニット２００は訓練動画像２０１を一時記憶するフレームメモリ２０２、動画像縮小部２０３、高周波成分抽出部２０４、特徴ベクトル抽出部２０６、高周波ボックス生成部２１２、及びルックアップテーブルを記憶する記憶部２１０を有する。

一方、図２に示されるように高解像度化ユニット３００は、ルックアップテーブルが記憶された記憶部２１０、高解像度化すべき対象の入力動画像３０１を一時記憶するフレームメモリ３０２、動画像拡大部３０４、特徴ベクトル算出部３０５、及び加算部３０７を有する。記憶部２１０は、訓練ユニット２００と高解像度化ユニット３００とで共有される。訓練ユニット２００では記憶部２１０へのルックアップテーブルの記憶が行われ、高解像度化ユニット３００では記憶装置２１０に記憶されているルックアップテーブルが参照される。

まず、図３を参照して図１の訓練ユニット２００の詳細について説明する。外部から入力される訓練動画像２０１は、フレームメモリ２０２を介してフレーム単位で動画像縮小部２０３と高周波成分抽出部２０４に入力される。動画像縮小部２０３では、入力された訓練動画像２０１の各フレームが例えばバイリニア法により空間方向に縦横それぞれ２分の１に縮小されることにより、縮小動画像２０５が生成される。

動画像縮小部２０３における訓練動画像２０１の縮小法として、バイリニア法以外の方法を利用しても構わない。例えば、ニアレストネイバー法やバイキュービック法、キュービックコンボリューション法、キュービックスプライン法、面積平均法などの方法でもよい。あるいはローパスフィルタにより訓練動画像２０１をぼかしてからサブサンプリングすることにより縮小を行っても構わない。高速な縮小方法を利用すれば、画像高解像度化処理の高速化が可能になる。高品質な縮小方法を利用すれば、画像高解像度化自体も高品質になる。

動画像縮小部２０３においては、入力された訓練動画像２０１を空間方向のみでなく時間方向にも縮小してもよい。これにより、訓練動画像２０１として被写体が素早く動くような画像を用いることなく、被写体が素早く動く入力動画像３０１を高品質に高解像度化することができる。

すなわち、動画像縮小部２０３は訓練動画像２０１を縦方向にα分の１倍（α≧１）、横方向にβ分の１倍（β≧１）、時間方向にγ分の１倍（γ≧１）に縮小して縮小動画像２０５を生成する。こうして動画像縮小部２０３により生成される縮小動画像２０５は、特徴量ベクトル算出部２０６に入力される。

特徴ベクトル算出部２０６では、入力された縮小動画像２０５から、図示しない制御部により指定される縮小動画像２０５中の第１時空間ボックス４０１の特徴量を要素に持つ第１特徴ベクトル２０９が算出される。ここで、時空間ボックスとは例えば動画像における時間方向にＴ画素（Ｔフレーム）、縦方向にＹ画素及び横方向にＸ画素の画素集合である。この場合、時空間ボックスの形状は方形状となるが、画素集合の選び方を変えることによって他の形状としても構わない。

特徴量とは、例えば第１時空間ボックス４０１内の画素の値そのものである。あるいは、縮小動画像２０５中の各フレームを例えばバイリニア法により縦横それぞれ２分の１に縮小した後に２倍に拡大した縮小拡大画像を生成し、その縮小拡大画像を対応する元のフレームの画像から減算して得られる画像からなる動画像中の第１時空間ボックス４０１と同一位置の時空間ボックス内の画素の値であってもよい。特徴ベクトル算出部２０６により算出された第１特徴ベクトル２０９は、記憶部２１０に入力される。

高周波成分抽出部２０４では、入力された訓練動画像２０１中の高周波成分が抽出されることにより、高周波成分画像２１１が生成される。より具体的には、高周波成分抽出部２０４は具体的には例えば訓練動画像２０１中の各フレームを縦横それぞれ２分の１に縮小した後に２倍に拡大した縮小拡大画像を生成し、その縮小拡大画像を元のフレームの画像から減算することにより高周波成分を抽出する。あるいは、訓練動画像２０１の各フレームに対してハイパスフィルタを適用することにより、高周波成分を抽出しても構わない。高周波成分抽出部２０４から出力される高周波成分動画像２１１は、高周波ボックス生成部２１２に入力される。

高周波ボックス生成部２１２では、入力された高周波成分動画像２１１から図示しない制御部により指定される位置の第２時空間ボックス（高周波ボックス）２１３が抽出され、記憶部２１０に入力される。制御部により指定される第２時空間ボックス２１３の位置は、縮小動画像２０５中の第１時空間ボックス４０１と同一位置である。ここで、同一位置とは同じ被写体が写っている部分という意味であり、時空間ボックス２１３と４０１の大きさが同じである必要はない。

記憶部２１０では、入力された第１特徴ベクトル２０９と第２時空間ボックス２１３との対がルックアップテーブルの要素として記憶される。高解像度化ユニット３００では、上記のようにして訓練ユニット２００により記憶部２１０に記憶されたルックアップテーブルを用いて入力動画像３０１に対して高解像度化の処理が行われる。

次に、図４を参照して図２の高解像度化ユニット３００について詳細に説明する。高解像度化ユニット３００では、外部からの入力動画像３０１が入力され、高解像度化された出力動画像３１３が出力される。入力動画像３０１はフレームメモリ３０２を介してフレーム単位で動画像拡大部３０４と特徴量ベクトル算出部３０５に入力される。動画像拡大部３０４では、入力動画像３０１の各フレームが例えばバイリニア法により空間方向に縦横それぞれ２倍に拡大され、仮拡大動画像３０６が生成される。仮拡大動画像３０６の「仮」とは、仮拡大画像３０６が動画像高解像度化装置により最終的に得られる高解像度化された出力画像３１３（拡大画像）を生成する前の段階の仮の拡大画像であることを意味している。

動画像拡大部３０４における入力動画像３０１の拡大法として、バイリニア法以外の方法を利用しても構わない。例えば、ニアレストネイバー法やバイキュービック法、キュービックコンボリューション法、キュービックスプライン法などの内挿法でもよい。高速な内挿法を利用すれば、画像高解像度化処理の高速化が可能になる。高品質な内挿法を利用すれば、画像高解像度化自体も高品質になる。

動画像縮小部２０３において、訓練動画像２０１を空間方向のみでなく時間方向にも縮小している場合には、動画像拡大部３０４は入力動画像３０１を時間方向にも拡大する。すなわち、動画像拡大部３０４は画像縮小部２０３における訓練動画像２０１に対する縮小率（α分の１、β分の１、γ分の１）の逆数の拡大率（縦方向にα倍（α≧１）、横方向にβ倍（β≧１）、時間方向にγ倍（γ≧１））で入力動画像３０１を拡大して仮拡大動画像３０６を生成する。こうして動画像拡大部３０４により生成される仮拡大動画像３０６は、加算部３０７に入力される。

一方、特徴量ベクトル算出部３０５では入力動画像３０１から図示しない制御部により指定される、入力動画像３０１中の処理対象の第３時空間ボックス５０１の特徴量を要素に持つ第２特徴ベクトル３１０が算出され、記憶部２１０にルックアップテーブルを参照するために入力される。

第３時空間ボックス５０１は、当該時空間ボックス５０１が入力動画像３０１を覆うように制御部によって順次指定され、縮小動画像２０５中の第１時空間ボックス４０１と同じサイズを持つ。第３時空間ボックス５０１同士は重なりがあっても構わない。特徴量とは、例えば第３時空間ボックス５０１内の画素の値そのものである。あるいは、入力動画像３０１中の各フレームを例えばバイリニア法により縦横それぞれ２分の１に縮小した後に２倍に拡大した縮小拡大画像を生成し、その縮小拡大画像を対応する元のフレームから減算して得られる画像からなる動画像中の第３時空間ボックス５０１と同一位置の時空間ボックス内の画素の値であってもよい。特徴ベクトル算出部３０５における特徴量の計算方法は、図１に示した訓練ユニット２００内の特徴ベクトル算出部２０６のそれと同じであることが望ましい。

こうして算出された第２特徴ベクトル３１０によって、記憶部２１０に記憶されているルックアップテーブルが参照される。この結果、ルックアップテーブル内の第１特徴ベクトル２０９の中から第２特徴ベクトル３１０と最も類似したベクトルが検索されると共に、ルックアップテーブル内の第２時空間ボックス（高周波ボックス）２１３のうち、検索された特徴ベクトルと対をなす時空間ボックスが加算用ボックス３１２として出力され、加算部３０７に送られる。

ここで、第２特徴ベクトル３１０と最も類似したベクトルとしては、当該特徴ベクトル３１０との距離が最小である第１特徴ベクトルが選ばれる。ルックアップテーブルからの検索に用いるベクトル間の距離としては、Ｌ１距離（マンハッタン距離）が好適に用いられるが、これに限られるものではなく、Ｌ２距離（ユークリッド距離）、Ｌ∞距離、あるいは、Ｌ１距離、Ｌ２距離またはＬ∞距離に重みを付けたもの、その他の距離でもよい。

また、ここではルックアップテーブルから検索される、第２特徴ベクトル３１０に最も類似したベクトルと対になっている高周波ボックス（第２時空間ボックス）を加算用ボックス３１２としたが、必ずしもそうする必要はない。例えば、ｋ番目（ｋ≧２）に類似したベクトルと対になっている高周波ボックス（第２時空間ボックス）を加算用ボックス３１２としてもよい。また、ルックアップテーブルから第２特徴ベクトル３１０に類似した複数のベクトルを検索し、それらと対になっている複数の高周波ボックスの平均を加算用ボックス３１２としてもよい。また、当該複数の高周波ボックスをルックアップテーブルから検索した複数のベクトル間の距離に応じて重み付けして平均化することで加算用ボックス３１２を生成してもよい。ベクトル間の距離が閾値を超えた場合は、加算用ボックス３１２を生成せず、後で説明する仮拡大画像３０６への加算をしないようにしてもよく、それによりルックアップテーブル内に第２特徴ベクトル３１０に類似したベクトルが存在しなかったときの出力動画像３１３に発生するノイズを抑制できる。

加算部３０７では、図示しない制御部により指定される仮拡大動画像３０６中の、第３ボックス５０１と同一位置の第４時空間ボックス５０２に加算用ボックス３１２が加算されることにより、出力動画像３１３が生成される。ここで、同一位置とは同じ被写体が写っている部分という意味である。第４時空間ボックス５０２は、加算用ボックス３１２と同じサイズであるが、第３ボックス５０１と同じサイズである必要はない。第４時空間ボックス５０２同士に重なりがあっても構わない。第４時空間ボックス５０２同士に重なりがある場合、重なり部分においては、平均値を加算するか、後に処理したボックスの値を加算する。

加算部３０７においては、被写体の動きが激しい部分（被写体の動きが相対的に大きい部分）では加算用ボックスの加算を行わないようにしてもよい。人間の目は動きの素早い部分を鮮鋭に感じる特性があるので、その部分の処理を省略することにより計算量を削減できる。あるいは、被写体の動きの激しい部分では、特許文献１の手法を利用してもよく、それによれ動きの激しい部分がより鮮鋭に見える場合がある。

次に、図５に示すフローチャートを参照して本実施形態における動画像の高解像度化の処理の流れを説明する。

＜ステップＳ１００１＞ 訓練動画像２０１を例えばバイリニア法により縦横それぞれ２分の１倍に縮小し、縮小動画像２０５を生成する。前述したように、縮小を縦横方向及び時間方向に行ってもよい。

＜ステップＳ１００２＞ 訓練動画像２０１の各フレームから高周波成分を抽出し、高周波成分動画像２１１を生成する。

＜ステップＳ１００３＞ 縮小動画像２０５中の第１時空間ボックス４０１の特徴量を要素に持つ第１特徴ベクトル２０９を算出する。

＜ステップＳ１００４＞ 高周波成分動画像２１１からステップＳ１００３で得られた第１時空間ボックス４０１と同一位置の第２時空間ボックス（高周波ボックス）２１３を抽出し、第１特徴ベクトル２０９と高周波ボックス２１３との対を記憶部２１０にルックアップテーブル（図中ではＬＵＴと表記）の要素として記憶する。

＜ステップＳ１００５＞ 縮小動画像信号中の第１時空間ボックス４０１の位置を移動させてステップＳ１００３に戻るか、ステップＳ１００６に進む。ステップＳ１００３に戻るかステップＳ１００６に進むかどうかは、例えば記憶部２１０に記憶するルックアップテーブルの容量に基づいて決定されるか、あるいは訓練動画像２０１中の全ての第１時空間ボックスが処理されたかどうかにより決定される。

＜ステップＳ１００６＞ 訓練動画像を追加する場合はステップＳ１００１に戻り、追加しない場合はステップＳ１００７に進む。

＜ステップＳ１００７＞ 入力動画像３０１をバイリニア法により縦横それぞれ２倍に拡大し、仮拡大動画像３０６を生成する。ステップＳ１００１で縮小を縦横方向及び時間方向に行う場合は、拡大も縦横方向及び時間方向に行う。

＜ステップＳ１００８＞ 入力動画像３０１中の処理対象である第３時空間ボックス５０１の特徴量を要素とする第２特徴ベクトル３１０を算出する。

＜ステップＳ１００９＞ 記憶部２１０に記憶されたルックアップテーブル中の第１特徴ベクトル２０９の中から、第２特徴ベクトル３１０に最も類似した一つの特徴ベクトルあるいは第２特徴ベクトル３１０にルウ辞した複数の特徴ベクトルを検索する。

＜ステップＳ１０１０＞ ステップＳ１００９で検索された特徴ベクトルと対をなす第２時空間ボックス（高周波ボックス）２１３を加算用ボックス３１２として、加算用ボックス３１２を処理対象である第３時空間ボックス５０１と同一位置の仮拡大動画像３０６中の第４時空間ボックス５０２に加算する。

＜ステップＳ１０１１＞ 第３時空間ボックス５０１が入力動画像３０１を覆いつくしたときに、仮拡大画像３０６と全ての加算用ボックス３１２との加算結果が高解像度化された出力動画像３１３として出力されて終了する。第３時空間ボックス５０１が入力動画像３０１を覆いつくしていないときは、第３時空間ボックス５０１の位置を移動してステップＳ１００９に戻る。

上述した本発明の一実施形態の手法に従って動画像を高解像度化すると、特許文献１の手法により発生するちらつきを抑制できる。この効果を図６及び図７により説明する。図６は、特許文献１に記載されたような従来の手法で動画像を高解像度化する様子を示している。入力動画像の第ｔフレームが高解像度化された出力画像６０５中の出力ブロック６０７と、第ｔ＋１フレームが高解像度化された第２出力画像６０６の出力ブロック６０８は空間方向には同一位置にある。しかし、出力ブロック６０７及び６０８は訓練段階においては異なる２つの高周波成分画像６０１及び６０２中の高周波ブロック６０３及び６０４であり、空間的に全く異なる位置から生成される。これら２つの高周波ブロック６０３及び６０４は、時間方向に連続しない高周波成分を要素に持つ。従って、高周波ブロック６０３及び６０４をそれぞれ仮拡大ブロックに加算して得られる出力ブロック６０７及び６０８をそれぞれ含む出力画像６０５及び６０６を動画像として再生すると、不自然な時間変化が起こる。

一方、図７は上述した本発明の一実施形態に従って動画像を解像度化する様子を示している。入力動画像が高解像度化された出力動画像の第ｔフレーム７０３及び第ｔ＋１フレーム７０４の時空間ボックス７０５の第ｔフレームにおける断面と第ｔ＋１フレームにおける断面とは、空間方向において同一位置にある。時空間ボックス７０５の第ｔフレームにおける断面と第ｔ＋１フレームにおける断面は、訓練段階においてはそれぞれ高周波成分動画像７０１の時空間ボックス７０２であり、時間方向に連続し、かつ空間方向において同一位置から生成される。従って、時間方向に連続しない高周波成分は加算されず、時間方向に不自然な時間変化が起こらないため、ちらつきを抑制できる。

なお、本発明は前記した実施形態そのままに限定されるものではない。実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。前記の複数の構成要素を適宜組み合わせたり、全構成要素から幾つかの構成要素を削除したりしても構わない。

例えば、ルックアップテーブルの要素として記憶する第１特徴ベクトル−第２時空間ボックス対を以下のように水増ししてもよい。

（１）一つの訓練動画像をフレーム毎に縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの訓練動画像を縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することにより複数の訓練動画像を生成し、該複数の訓練動画像を図１中の動画像縮小部２０３あるいは図５中のステップＳ１００１に渡す。これにより、被写体が多様な動きをする訓練動画像を数多く集めなくても、多くの第１特徴ベクトル−第２時空間ボックス対を生成できるので、より高品質な高解像度化を実現できるようになる。なお、実際に新たな訓練動画像を生成せず、以下のような手法で第１特徴ベクトル−第２時空間ボックス対を水増しすることもできる。

（２）入力される訓練動画像をそのまま利用せずに、時間方向に逆転させてから利用してもよい。これにより、入力される訓練動画像とは逆の動きをする被写体に好適な第１特徴ベクトル２０９−第２時空間ボックス２１３対がルックアップテーブルの要素として記憶される。入力された元の訓練動画像と、時間方向に逆転させた訓練画像の両方を利用すれば、１つの動画像から２つ分の対をルックアップテーブルに記憶できる。

（３）一つの第１時空間ボックス４０１の各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの第１時空間ボックス４０１を縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することによって複数の第１時空間ボックスを生成し、該複数の第１時空間ボックスを図１中の特徴ベクトル算出部２０６あるいは図５中のステップＳ１００３に渡す。

（４）一つの第３時空間ボックス（高周波ボックス）２１３の各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすことによって複数の第３時空間ボックスを生成し、該複数の第３時空間ボックスを図１中の記憶部２１０あるいは図５中の検索ステップＳ１００６に渡す。

一方、第１特徴ベクトル−第２時空間ボックス対を水増しする以外に、以下のような方法を用いてもよい。第１特徴ベクトル２０９−第２時空間ボックス２１３対の各要素をベクトル２０９のノルムに小数を加算した値で割ってから記憶し、第２特徴ベクトル３１０のノルムに小数を加算したベクトルをベクトル３１０として類似したものをルックアップテーブル２１０から検索し、加算用ボックス３１２にベクトル３１０のノルムに小数を加算した値をかけてから仮拡大動画像３０６に加算するように変更してもよい。

あるいは、第１特徴ベクトル２０９を各要素の平均が０、分散が１になるように正規化したベクトルとしてから第２時空間ボックス２１３との対を記憶し、第２特徴ベクトル３１０を各要素の平均が０、分散が１になるように正規化してから第２特徴ベクトルに類似した第１特徴ベクトル２０９をルックアップテーブル２１０から検索してもよい。

これにより、第１特徴ベクトル−第２時空間ボック対をルックアップテーブル２１０により少ない数だけしか記憶しなくても、高品質な高解像度化画像を得られるようになる。

ルックアップテーブルからの検索時に、入力動画像３０１の処理対象である第３時空間ボックス５０１の各時刻における断面であるブロックの位置を縦方向や横方向にずらしたボックスを新たな第３時空間ボックス５０１としてもよい。これにより、被写体が多様に動く訓練動画像から生成された第１特徴ベクトル−第２時空間ボックス対がルックアップテーブルに記憶されていなくても、高品質な高解像度化を実現できる。

これまでの説明では、入力動画像５０１は訓練動画像３０１と別の画像であるかのように説明したが、入力動画像５０１を訓練動画像３０１として利用しても構わない。これにより、入力動画像と似た種類（顔、建物、植物など）の訓練動画像を収集する手間を省くことができる。

さらに、入力動画像を縦方向、横方向及び時間方向に２分の１倍に縮小することで縮小動画像を生成し、縦方向、横方向及び時間方向に２倍に拡大することで仮拡大動画像を生成してもよい。これにより、被写体が入力動画像と似た動きをする訓練動画像を収集しなくても、高品質な高解像度化が実現できる。

本発明は、デジタルカメラ、ビデオカメラ、テレビジョン受像機、ビデオデッキ、ＨＤＤレコーダ、ＤＶＤプレーヤ、パーソナルコンピュータ、電話機、携帯情報端末などの画像を閲覧する機能を有する電子機器に好適である。

本発明の一実施形態に従う動画像の高解像度化装置における訓練ユニットの構成を示すブロック図 本発明の一実施形態に従う動画像の高解像度化装置における高解像度化ユニットの構成を示すブロック図 本発明の一実施形態における訓練段階の処理を説明するための模式図 本発明の一実施形態における高解像度化段階の処理を説明するための模式図 本発明の一実施形態に従う動画像の高解像度処理の流れを説明するためのフローチャート 比較例の問題点を説明するための模式図 本発明の一実施形態による効果を説明するための模式図

符号の説明

２００・・・訓練ユニット
２０１・・・訓練動画像
２０３・・・動画像縮小部
２０４・・・高周波成分抽出部
２０５・・・縮小画像
２０６・・・特徴ベクトル算出部
２０９・・・第１特徴ベクトル
２１０・・・記憶部
２１１・・・高周波成分画像
２１２・・・高周波ボックス生成部
２１３・・・第２時空間ボックス
３００・・・高解像度化ユニット
３０１・・・入力動画像
３０４・・・動画像拡大部
３０５・・・特徴ベクトル算出部
３０６・・・仮拡大画像
３０７・・・加算部
３１０・・・第２特徴ベクトル
３１２・・・第２時空間ボックス
３１３・・・出力動画像
４０１・・・第１時空間ボックス
５０１・・・第３時空間ボックス
５０２・・・第４時空間ボックス

Claims (10)

1. 入力動画像を空間方向に高解像度化した出力動画像を生成する動画像の高解像度化方法において、
   縮小動画像を生成するために少なくとも一つの訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小するステップと；
   高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出するステップと；
   前記縮小動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である少なくとも一つの第１時空間ボックスの特徴量を要素に含む少なくとも一つの第１特徴ベクトルを算出するステップと；
   前記第１特徴ベクトルと前記第１時空間ボックスと同一位置の前記高周波成分動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第２時空間ボックスとの複数の対をルックアップテーブルに記憶するステップと；
   仮拡大動画像を生成するために前記入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大するステップと；
   前記入力動画像の処理対象の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；
   前記出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第４時空間ボックスに加算するステップと； を具備する動画像の高解像度化方法。
2. 入力動画像を空間方向と時間方向に高解像度化した出力動画像を生成する動画像の高解像度化方法において、
   縮小動画像を生成するために前記入力動画像を含む一つ以上の訓練動画像を縦方向及び横方向の少なくとも一方と時間方向に特定の縮小率で縮小するステップと；
   高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出するステップ
   と；
   前記縮小動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である一つ以上の第１時空間ボックスの特徴量を要素に含む一つ以上の第１特徴ベクトルを算出するステップと；
   前記第１特徴ベクトルと前記第１時空間ボックスと同一位置の前記高周波成分動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第２時空間ボックスとの複数の対をルックアップテーブルに記憶するステップと；
   仮拡大動画像を生成するために前記入力動画像を縦方向及び横方向の少なくとも一方と時間方向に前記縮小率の逆数の拡大率で拡大するステップと；
   前記入力動画像の処理対象の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；
   前記出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第４時空間ボックスに加算するステップと； を具備する動画像の高解像度化方法。
3. 一つの訓練動画像をフレーム毎に縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの訓練動画像を縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することにより複数の訓練動画像を生成するステップをさらに具備し、該複数の訓練動画像は前記縮小するステップに渡される請求項１または２に記載の動画像の高解像度化方法。
4. 一つの第１時空間ボックスの各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすか、あるいは当該一つの第１時空間ボックスを縦方向、横方向及び時間方向の少なくとも一方の方向に縮小することによって複数の第１時空間ボックスを生成するステップをさらに具備し、該複数の第１時空間ボックスは前記第１特徴ベクトルを算出するステップに渡される請求項１または２に記載の動画像の高解像度化方法。
5. 一つの第３時空間ボックスの各時刻における断面の位置を縦方向及び横方向の少なくとも一方の方向にずらすことによって複数の第３時空間ボックスを生成するステップをさらに具備し、該複数の第３時空間ボックスは前記検索するステップに渡される請求項１または２に記載の動画像の高解像度化方法。
6. 前記加算するステップは、前記第４時空間ブロック同士に重なりがある場合に、該重なり部分に対しては当該重なり部分に対応する複数の第２時空間ボックスの平均値あるいは当該複数の第２時空間ボックスのうち最後に加算される第２時空間ボックスの値を加算する請求項１または２に記載の動画像の高解像度化方法。
7. 前記加算するステップは、被写体の動きが相対的に大きい部分を除いて前記加算を行う請求項１または２に記載の動画像の高解像度化方法。
8. 前記入力動画像を前記訓練動画像として用いる請求項１に記載の動画像の高解像度化方法。
9. 入力動画像を空間方向に高解像度化した出力動画像を生成する動画像の高解像度化装置において、
   縮小動画像を生成するために訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小する縮小部と；
   高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出する抽出部と；
   前記縮小動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第１時空間ボックスの特徴量を要素に含む第１特徴ベクトルと、前記第１時空間ボックスと同一位置の前記高周波成分動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第２時空間ボックスとの複数の対をルックアップテーブルに記憶する記憶部と；
   仮拡大動画像を生成するために前記入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大する拡大部と；
   前記入力動画像の処理対象の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；
   前記出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の時間方向に複数フレーム、縦方向及び横方向にそれぞれ複数画素の画素集合である第４時空間ボックスに加算する加算部； とを具備する動画像の高解像度化装置。
10. 入力動画像を空間方向に高解像度化した出力動画像を生成する動画像の高解像度化処理をコンピュータに行わせるプログラムにおいて、
    縮小動画像を生成するために少なくとも一つの訓練動画像を縦方向及び横方向の少なくとも一方に特定の縮小率で縮小する処理と；
    高周波成分動画像を生成するために前記訓練動画像から高周波成分を抽出する処理と；
    前記縮小動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である一つ以上の第１時空間ボックスの特徴量を要素に含む一つ以上の第１特徴ベクトルを算出する処理と；
    前記第１特徴ベクトルと前記第１時空間ボックスと同一位置の前記高周波成分動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第２時空間ボックスとの複数の対をルックアップテーブルに記憶する処理と；
    仮拡大動画像を生成するために前記入力動画像を縦方向及び横方向の少なくとも一方に前記縮小率の逆数の拡大率で拡大する処理と；
    前記入力動画像の処理対象の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第３時空間ボックスの特徴量を要素に含む第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；
    前記出力動画像を生成するために、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２時空間ボックスを前記第３時空間ボックスと同一位置の前記仮拡大動画像中の時間方向に複数フレーム、縦方向及び横方向の少なくとも一方に複数画素の画素集合である第４時空間ボックスに加算する処理と； を含む動画像の高解像度化処理をコンピュータに行わせるプログラム。

Images