JP5511628B2 - フレームレート変換装置及びプログラム - Google Patents

Description

本発明は、動画像のフレームレートを変換する装置及びプログラムに関し、特に、フレームを時間方向に内挿補間する技術に関する。

従来、動画像のフレームレートを変換する技術として、様々な手法が提案されている。例えば、同一フレームを複数回繰り返して用いることにより、元の動画像を高フレームレートの動画像に変換する手法がある。また、所定の間隔でフレームを間引くことにより、低フレームレートの動画像に変換する手法もある。

また、入力画像に対し、時間または時空間の線形フィルタ処理を行うことにより内挿フレームを生成し、高フレームレートの動画像に変換する手法が提案されている（特許文献１を参照）。具体的には、この手法は、生成する内挿フレームと、この内挿フレームを基準にした前後の時点に存在する２つの入力画像のフレームとの間の時間距離に応じて、２つの入力画像のフレームにおける画素値を按分することにより、内挿フレームを生成するものである。

また、動画像中の被写体の動きに着目し、この動き情報を用いることで画質の向上を実現する手法が提案されている（特許文献２を参照）。具体的には、この手法は、動画像中の被写体の動きをフレーム間で追跡し、動き情報を用いたブロックマッチングによって内挿フレームを生成するものである。

さらに、動画像のフレームレートを変換する際の計算リソースを低減する手法も提案されている（特許文献３を参照）。具体的には、この手法は、動画像フレームの符号化データを差分符号化データに復号し、差分符号化データの動きベクトルに基づいて、差分符号化データのフレーム間に挿入される補間データを生成し、この補間データに基づいて差分符号化データのフレームレートを変換し、変換後の差分符号化データを復号することにより動画像を復元するものである。

特開２００９−１００４３３号公報 特開昭６１−２６３８２号公報 特開２００９−２１９６３号公報

しかしながら、同一フレームを複数回繰り返して用いる手法、及び所定の間隔でフレームを間引く手法では、動画像において一定速度で動いている被写体が不均一になったり、時間折り返し歪みの影響が生じたりする。このため、これらの手法では、被写体の動きがぎこちなくなるという問題があった。

また、特許文献１による、時間または時空間方向のフレームに対して線形フィルタ処理を行う手法では、生成した内挿フレームにおける動領域の空間解像度が低下する。このため、この手法では、不鮮明感が生じてしまうという問題があった。また、入力画像のフレームと内挿フレームとを混在して出力する場合、または入力画像のフレームに対して内挿フレームの時間位相が変化する場合には、時間的な画質変動が生じる。このため、この手法では、入力画像のフレーム及び内挿フレームによる動画像が、フリッカとして知覚されてしまうという問題があった。

また、特許文献２，３による、動き情報を用いたブロックマッチング手法では、よりスムーズでフリッカの少ない動画像を出力することができる。しかしながら、被写体の動きの追跡を失敗した場合には、動静の境界において画像劣化を生じる。このような画像劣化は、物体輪郭、激しい動きまたは照明変動時に顕著に表れ、歪みが時間的または空間的に偏在して生じるため、不自然な映像になってしまうという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、動きぶれの少ない滑らかに変化する動画像を得ることができ、時間方向の高画質化を実現可能なフレームレート変換装置及びプログラムを提供することにある。

前記目的を達成するために、請求項１の発明は、動画像のフレームレートを変換するフレームレート変換装置において、複数時点のフレームにより構成される動画像が格納された動画像記憶手段と、前記動画像記憶手段に格納された動画像における所定の時間範囲に含まれるフレームから、予め指定された画素位置の画素値を、指定画素時系列データとして読み出す画素時系列読出手段と、前記動画像記憶手段に格納された動画像における所定の時間範囲に含まれるフレームから、前記指定された画素位置を基準にした所定範囲内の周辺位置に存在する画素値を、周辺画素時系列データとして読み出す周辺画素時系列読出手段と、前記画素時系列読出手段により読み出された指定画素時系列データと、前記周辺画素時系列読出手段により読み出された周辺画素時系列データとが最も類似する時間位置を求め、前記時間位置を時間移動量として出力する時間位置合わせ手段と、前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を、前記時間位置合わせ手段により出力された時間移動量だけ移動させ、前記移動させた後の時系列データ及び前記移動させていない時系列データに基づいて、所望時間における画素値を内挿値として求める内挿手段と、を備えることを特徴とする。

請求項１の発明によれば、指定画素の画素値の時間変化に加えて周辺画素の画素値の時間変化を利用するようにしたから、動きぶれの少ない滑らかに変化する動画像を得ることが可能なフレームレート変換を実現することができる。また、従来のブロックマッチングが２次元的探索による位置合わせであったのに対し、時系列データ同士の１次元的な探索による位置合わせで済むため、処理が簡素化し、演算の高速化が可能になる。

また、請求項２の発明は、請求項１に記載のフレームレート変換装置において、前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データを時間方向に内挿補間し、時間方向に連続した画素値を有する指定画素の連続関数を生成し、前記周辺画素時系列読出手段により読み出された周辺画素時系列データを時間方向に内挿補間し、時間方向に連続した画素値を有する周辺画素の連続関数を生成し、前記指定画素の連続関数または前記周辺画素の連続関数のうちのいずれか一方を時間方向にずらしたときに、前記指定画素の連続関数及び前記周辺画素の連続関数が最も類似する時間ずれ量を求め、前記時間ずれ量を時間移動量として出力することを特徴とする。

請求項２の発明によれば、時間的に連続した画素値を有する連続関数同士で時間位置合わせを行うから、元の離散的な画素時系列データ同士での時間位置合わせよりも確度の高い時間移動量を得ることが可能となる。

また、請求項３の発明は、請求項１に記載のフレームレート変換装置において、前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を時間方向に内挿補間し、時間方向に連続した画素値を有する連続関数を生成し、前記生成された連続関数、または前記連続関数が生成されていない時系列データのうちのいずれか一方を時間方向にずらしたときに、前記連続関数及び前記時系列データが最も類似する時間ずれ量を求め、前記時間ずれ量を時間移動量として出力することを特徴とする。

請求項３の発明によれば、時間的に連続した画素値を有する連続関数と、離散的な画素時系列データとの間で時間位置合わせを行うから、元の離散的な画素時系列データ同士での時間位置合わせよりも確度の高い時間移動量を得ることが可能となる。

また、請求項４の発明は、請求項１に記載のフレームレート変換装置において、前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を、前記フレームの時間間隔の自然数倍毎にずらしたときに、前記指定画素時系列データと前記周辺画素時系列データとの間の、前記フレームの時間間隔の自然数倍毎の離散的な誤差を示す評価値が最小となる時間を求め、前記時間を含む所定時間範囲において、時間的に連続した値を有する所定の複数の連続関数と、前記離散的な評価値と間の誤差をそれぞれ求め、前記誤差が最小となる連続関数を特定し、前記特定した連続関数の極値を求め、前記極値の時間を時間移動量として出力することを特徴とする。

請求項４の発明によれば、離散的な時系列データ同士にて評価値を求めるから、高速処理が可能となる。また、評価値が最小となる時間を含む時間範囲において、離散的な評価値が内挿補間されて連続化するから、確度の高い時間移動量を得ることが可能となる。

また、請求項５の発明は、請求項４に記載のフレームレート変換装置において、前記時間位置合わせ手段が、パラボラフィッティングまたは最小自乗フィッティングにより、前記誤差が最小となる連続関数を特定することを特徴とする。

請求項５の発明によれば、評価値が最小となる時間を含む時間範囲において、パラボラフィッティングまたは最小自乗フィッティングにて、離散的な評価値が内挿補間されて連続化される。これにより、確度の高い時間移動量を得ることが可能となる。

また、請求項６の発明は、コンピュータを、請求項１から５までのいずれか一項に記載のフレームレート変換装置として機能させるためのフレームレート変換プログラムにある。

以上のように、本発明によれば、動きぶれの少ない滑らかに変化する動画像を得ることができる。したがって、時間方向の高画質な動画像を得ることが可能なフレームレート変換を実現することができる。

本発明の実施形態によるフレームレート変換装置の全体構成を示すブロック図である。 時空間ボリュームの概念を説明する図である。 時空間ボリュームから特定の画素位置の画素時系列を抽出する操作を説明する図である。 時間位置合わせ手段の処理を説明する図である。 時間位置合わせ手段による第１の処理を示すフローチャートである。 時間位置合わせ手段による第２の処理を示すフローチャートである。 内挿手段による第１の処理を示すフローチャートである。 内挿手段による第２の処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１は、本発明の実施形態によるフレームレート変換装置の全体構成を示すブロック図である。このフレームレート変換装置１００は、入力動画像記憶手段１、計数手段２、画素時系列読出手段３、周辺画素時系列読出手段４、時間位置合わせ手段５、内挿手段６、画素時系列書込手段７及び出力動画像記憶手段８を備えている。

入力動画像記憶手段１には、動画像が記憶されている。この動画像をＧとし、その画素位置を（ｘ，ｙ）、時刻ｔにおける画素値をＧ（ｔ；ｘ，ｙ）とする。ここでは、水平画素位置ｘ及び垂直画素位置ｙは、ともに０以上の整数によって表すこととする。画像の大きさは、水平方向にＸ画素、垂直方向にＹ画素とする。よって、画像座標（ｘ，ｙ）は、ｘ∈｛０，１，・・・，Ｘ−１｝及びｙ∈｛０，１，・・・，Ｙ−１｝となる。動画像のうちの処理対象（後述する補間対象または照合対象）となる時刻ｔは、ｔ∈｛ｔ_０，ｔ_１，・・・，ｔ_Ｋ−１｝（Ｋは２以上の整数）の合計Ｋ時点とし、ｔ_０＜ｔ_１＜・・・＜ｔ_Ｋ−１の順に整順されているものとする。時刻数列（ｔ_０，ｔ_１，・・・，ｔ_Ｋ−１）を入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}という。入力動画像記憶手段１に記憶されている動画像は、３次元的な時空間ボリュームとしてランダムアクセスが可能である。

図２は、時空間ボリュームの概念を説明する図であり、入力動画像記憶手段１に記憶されている動画像を示している。この動画像の時空間ボリューム１０は、各画素位置及び各時刻の配列状に並べられた画素値からなる。図２に示した時空間ボリューム１０には、複数の物体１２，１３，１４等が含まれており、時間軸ｔに対し、物体１２は静止しており、物体１３は左へ移動し、物体１４は右へ移動していることがわかる。

図２の右中央に示すフレーム１１は、ｔ＝ｔ_Ａの時点において、時空間ボリューム１０をｘｙ平面に平行な平面で切った断面図であり、図２の右上に示すフレーム１５は、ｔ＝ｔ_Ｂの時点において、時空間ボリューム１０をｘｙ平面に平行な平面で切った断面図である。フレーム１１には、ｙ＝ｙ_０の画素位置において、物体１２−１，１３−１，１４−１が存在し、フレーム１５には、ｙ＝ｙ_０の画素位置において、物体１２−２，１３−２，１４−２が存在する。また、ｘｔ平面に平行な平面やｙｔ平面に平行な平面で切ると、移動物体が傾きをもったテクスチャとして現れる。図２の右下に示すテクスチャ１６は、ｙ＝ｙ_０の画素位置において、ｘｔ平面に平行な平面で切ったときの図であり、ｘ軸上における物体１２−３，１３−３，１４−３の移動傾向が現れている。ｔ＝ｔ_Ａの時点において、物体１２−３，１３−３，１４−３が図２に示すｘ軸上の位置に存在していることがわかる。そして、ｔ＝ｔ_Ａの時点から時間が経過したｔ＝ｔ_Ｂの時点において、ｘ軸上において、物体１２−３の位置は変わらず、物体１３−３は左へ移動した位置に存在し、物体１４−３は右へ移動した位置に存在していることがわかる。

尚、入力動画像記憶手段１は、メモリ、ハードディスク等のハードウェアであり、時間ｔ及び空間（ｘ，ｙ）のいずれに関してもランダムアクセスが可能であるものとする。

図１に戻って、計数手段２は、時点ｔにおける動画像Ｇの空間（ｘ，ｙ）の画素位置（ｔ；ｘ，ｙ）を走査するための座標値を生成するカウンタである。走査の順序及びパターンは任意である。例えば、走査は、時点ｔにおいて、水平方向に走査線をとり、左から右へと画素を走査し、走査線を上から下へと走査するよう画素位置（ｔ；ｘ，ｙ）を順次生成するようにしてもよい。計数手段２は、生成した画素位置（ｔ；ｘ，ｙ）を画素時系列読出手段３、周辺画素時系列読出手段４及び画素時系列書込手段７に出力する。

図３は、図２に示した時空間ボリューム１０から特定の画素位置の画素時系列を抽出する操作を説明する図である。ｔ＝ｔ_Ａの時点におけるフレーム２３及びｔ＝ｔ_Ｂの時点におけるフレーム２４には、指定画素位置２１−１，２１−２及び周辺画素位置２２−１，２２−２の画像がそれぞれ存在する。図３の右下に示す画素時系列波形２６は、図３の左下に示すテクスチャ２０のうちの、照合対象時刻範囲［ｔ_Ａ，ｔ_Ｂ］における指定画素位置２１の画素値波形であり、後述する画素時系列読出手段３により読み出される指定画素の時系列Ｇ（ｔ；ｘ，ｙ）である。また、図３の右下に示す画素時系列波形２５は、図３の左下に示すテクスチャ２０のうちの、探索対象時刻範囲［ｔ_Ａ＋ｔ_Ｃ，ｔ_Ｂ＋ｔ_Ｄ］における周辺画素位置２２の画素値波形であり、後述する周辺画素時系列読出手段４により読み出される周辺画素の時系列Ｇ（ｔ；ξ，η）である。

後述する時間位置合わせ手段５は、探索対象時刻範囲［ｔ_Ａ＋ｔ_Ｃ，ｔ_Ｂ＋ｔ_Ｄ］における周辺画素位置２２の画素時系列波形２５（図３の右下の黒丸）の中から、照合対象時刻範囲［ｔ_Ａ，ｔ_Ｂ］における指定画素位置２１の画素時系列波形２６（図３の右下の白丸）に類似する時刻範囲を探索する。照合対象時刻範囲内の時間標本点の集合をＵとし、探索対象時刻範囲内の時間標本点の集合をＳとする。尚、ｔ_Ｃ及びｔ_Ｄは過去方向及び未来方向への時間探索範囲であり、好ましくはｔ_Ｃ＜０及びｔ_Ｄ＞０なる値が設定される。

図１に戻って、画素時系列読出手段３は、計数手段２から画素位置（ｔ；ｘ，ｙ）を入力し、入力動画像記憶手段１から、画素位置（ｔ；ｘ，ｙ）における動画像Ｇの画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕを読み出す。画素時系列読出手段３は、指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を時間位置合わせ手段５及び内挿手段６に出力する。

周辺画素時系列読出手段４は、計数手段２から画素位置（ｔ；ｘ，ｙ）を入力し、入力動画像記憶手段１から、画素位置（ｔ；ｘ，ｙ）（指定画素位置（ｘ，ｙ））を基準にして、周辺画素位置（ξ，η）における動画像Ｇの画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを読み出す。

指定画素位置（ｘ，ｙ）の周辺画素とは、指定画素位置（ｘ，ｙ）以外の位置にある画像内の画素である。典型的には、指定画素位置（ｘ，ｙ）からの距離が所定の閾値以下となる近傍に存在する画素であり、例えば、指定画素位置（ｘ，ｙ）に隣接する画素である。周辺画素は、一つの画素であってもよいし、複数の画素であってもよい。例えば、指定画素位置（ｘ，ｙ）に隣接する複数の画素、及びその複数の画素位置から順次選択された画素を周辺画素としてもよい。

例えば、周辺画素時系列読出手段４は、指定画素位置（ｘ，ｙ）の空間４近傍位置（ｘ−１，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ−１）及び（ｘ，ｙ＋１）の４画素から、順次１画素位置を周辺画素位置（ξ，η）に設定し、入力動画像記憶手段１から、動画像Ｇの画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを読み出すようにしてもよい。周辺画素時系列読出手段４は、周辺画素の時系列Ｇ（ｔ；ξ，η）を時間位置合わせ手段５及び内挿手段６に出力する。

〔時間位置合わせ手段〕
時間位置合わせ手段５は、画素時系列読出手段３から指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を入力すると共に、周辺画素時系列読出手段４から周辺画素の時系列Ｇ（ｔ；ξ，η）を入力し、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓとの間で、時間方向の時間位置合わせを行う。時間位置合わせとは、両画素時系列の波形が最も重なるように、いずれかの画素時系列を時間方向に平行移動させ、その時間移動量Δｔを求める操作である。

図４は、時間位置合わせ手段５の処理を説明する図である。図４に示すように、時間位置合わせ手段５は、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕである画素時系列波形２６を基準にして、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓである画素時系列波形２５を時間方向にずらし、両波形が最も重なるときの平行移動量Δｔを求める（図４における時間位置合わせ後の画素時系列波形２７を参照）。以下の説明では、時間位置合わせ手段５は、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時間方向に平行移動させる。

両画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓは、時間に関して離散的である。以下、画素時系列の時間間隔が、不等間隔及び等間隔のいずれにも適用可能な位置合わせ法と、等間隔の場合に適用可能な位置合わせ法について説明する。画素時系列の時間間隔が不等間隔であるとは、図２に示した動画像の時空間ボリューム１０を構成するフレームの時間間隔が同じでないことをいう。また、画素時系列の時間間隔が等間隔であるとは、フレームの時間間隔が同じであることをいう。

（時空間ボリューム１０のフレームが不等時間間隔及び等時間間隔のいずれの場合にも適用可能な位置合わせ法）
図５は、時間位置合わせ手段５による第１の処理（不等時間間隔及び等時間間隔のいずれの場合にも適用可能な位置合わせ法）を示すフローチャートである。時間位置合わせ手段５は、画素時系列読出手段３から指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を入力すると共に、周辺画素時系列読出手段４から周辺画素の時系列Ｇ（ｔ；ξ，η）を入力する（ステップＳ５０１）。そして、時間位置合わせ手段５は、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ及び周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓに対し、時間方向に内挿補間する。指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕの内挿結果を、時刻ｔに関する連続関数ｇ（ｔ；ｘ，ｙ）とする。同様に、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓの内挿結果を、時刻ｔに関する連続関数ｇ（ｔ；ξ，η）とする（ステップＳ５０２）。内挿には、例えば、一次内挿または三次内挿を用いることができる。

時間位置合わせ手段５は、一次内挿による場合、以下の式により補間を行い、連続関数ｇ（ｔ；ｘ，ｙ）を生成する。

尚、連続関数ｇ（ｔ；ξ，η）は、前記式（１）において、ｘ及びｙをξ及びηにそれぞれ置き換えたものである。また、ｋは整数である。

特に、時系列Ｇ（ｔ；ｘ，ｙ）が、整数の時点ｔにおいて単位時間間隔で時間標本化されている場合には、前記式（１）は以下の式となる。

ここで、

は床関数を示す。

時間位置合わせ手段５は、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）と周辺画素の連続関数ｇ（ｔ；ξ，η）との間で、時間方向の時間位置合わせを行う。例えば、時間位置合わせ手段５は、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）と、周辺画素の連続関数ｇ（ｔ；ξ，η）を時間方向にδｔずらした連続関数ｇ（ｔ＋δｔ；ξ，η）とを比較し（ステップＳ５０３）、これらの間の類似度を算出し、その類似度が最大化する時間ずれ量δｔを求める（ステップＳ５０４）。そして、時間位置合わせ手段５は、時間ずれ量δｔを時間移動量Δｔとして出力する（ステップＳ５０５）。

例えば、類似性の評価尺度に絶対値誤差を用いる場合には、時間位置合わせ手段５は、以下の評価値ｍを最小化する時間ずれ量δｔを求め、これを時間移動量Δｔとする。

また、例えば、類似性の評価尺度に正規化相関を用いる場合には、時間位置合わせ手段５は、前記式（３）（４）の代わりに、以下の式を用いて、時間移動量Δｔを求める。

尚、式（３）〜（６）の計算は、時刻に関して離散化しても構わない。この場合、式（３）（５）の積分演算は、総和演算に置き換えられる。

また、時間位置合わせ手段５は、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）及び周辺画素の連続関数ｇ（ｔ＋δｔ；ξ，η）の対のうち、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）の代わりに、時間に関して離散的な時系列Ｇ（ｔ；ｘ，ｙ）を用いるようにしてもよい。

さらに、時間位置合わせ手段５は、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）及び周辺画素の連続関数ｇ（ｔ＋δｔ；ξ，η）の対のうち、周辺画素の連続関数ｇ（ｔ＋δｔ；ξ，η）の代わりに、時間に関して離散的な時系列Ｇ（ｔ＋δｔ；ξ，η）を用いるようにしてもよい。

このように、時間位置合わせ手段５における第１の処理によれば、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕを時間方向に内挿補間することにより連続関数ｇ（ｔ；ｘ，ｙ）を生成し、同様に、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時間方向に内挿補間することにより連続関数ｇ（ｔ；ξ，η）を生成し、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）と周辺画素の連続関数ｇ（ｔ；ξ，η）を時間方向にδｔずらした連続関数ｇ（ｔ＋δｔ；ξ，η）とを比較し、これらの間の類似度が最大化する時間ずれ量δｔを求め、この時間ずれ量δｔを時間移動量Δｔとして出力するようにした。これにより、画素時系列Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓの時間間隔が不等時間間隔及び等時間間隔のいずれの場合であっても、その時間間隔（フレームの時間間隔）よりも短い時間間隔において（連続した時間において）、時間移動量Δｔを求めることができる。つまり、元の離散的な画素時系列Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓの時間間隔よりも、細かい確度の時間移動量Δｔを求めることができる。また、従来の動き情報を用いたブロックマッチング法では、２次元的な探索により空間位置合わせを行っていたのに対し、時間位置合わせ手段５における第１の処理では、１次元的な探索により時間位置合わせを行うようにしたから、処理が簡素化され、演算の高速化を実現することができる。

（時空間ボリューム１０のフレームが等時間間隔の場合に適用可能な位置合わせ法）
図６は、時間位置合わせ手段５による第２の処理（等時間間隔の場合に適用可能な位置合わせ法）を示すフローチャートである。時間位置合わせ手段５は、前記式（１）（２）のような画素時系列波形の内挿を行わずに、時間移動量Δｔを求める。以下の説明において、時間軸の標本点は、単位時間間隔（１刻みの間隔）とする。

時間位置合わせ手段５は、画素時系列読出手段３から指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を入力すると共に、周辺画素時系列読出手段４から周辺画素の時系列Ｇ（ｔ；ξ，η）を入力する（ステップＳ６０１）。そして、時間位置合わせ手段５は、指定画素の時系列Ｇ（ｔ；ｘ，ｙ）と、周辺画素の時系列Ｇ（ｔ；ξ，η）を時間方向にδｔずらした関数Ｇ（ｔ＋δｔ；ξ，η）との間の類似性を、δｔ毎に定量化する。ここで、δｔは、動画像の時空間ボリューム１０を構成するフレームの時間間隔の自然数倍とする。

例えば、類似性の評価尺度に絶対値誤差を用いる場合には、時間位置合わせ手段５は、以下の評価値ｍ（δｔ）をδｔ∈｛ｔ_Ｃ，ｔ_Ｃ＋１，ｔ_Ｃ＋２，・・・，ｔ_Ｄ−１，ｔ_Ｄ｝の範囲で求める（ステップＳ６０２）。そして、評価値ｍ（δｔ）を最小化するδｔを求め、これを時刻ｓとする（ステップＳ６０３）。

そして、時間位置合わせ手段５は、時刻ｓを含む（時刻ｓ近傍の）時刻集合Ｒにおいて、評価値ｍの離散的なグラフに対し、連続的な曲線の当てはめを行う。例えば、曲線には放物線が用いられる（これをパラボラフィッティングという。）。パラボラフィッティングを用いる場合、時刻集合Ｒには、少なくとも３個以上の元を有するものとする。

時刻集合Ｒは、時刻ｓと、その前後の既定個数の時刻群とによって構成してもよい（例えば、Ｒ＝｛ｓ−１，ｓ，ｓ＋１｝、Ｒ＝｛ｓ−２，ｓ−１，ｓ，ｓ＋１，ｓ＋２｝等）。

ここで、曲線を、ｔに関する関数ｆ_ｐ（ｔ）とする。関数ｆ_ｐ（ｔ）は、時間軸に対して連続した値を有する連続関数である。ｐは、曲線の形状を変えるパラメータである。尚、パラメータｐは、スカラーであってもよいし、ベクトルであってもよい。例えば、パラボラフィッティングを用いる場合、関数ｆ_ｐ（ｔ）は、以下の式となる。

とおける。

そして、時間位置合わせ手段５は、時刻範囲Ｒにおいて、前記式（９）の連続関数ｆ_ｐ（ｔ）と離散的な評価値ｍ（ｔ）とを比較し（ステップＳ６０４）、評価値ｍ（ｔ）と前記式（９）の連続関数ｆ_ｐ（ｔ）との間の誤差が最小になるように、パラメータｐを求める（ステップＳ６０５）。

例えば、最小自乗フィッティングを用いる場合、以下の式によりパラメータｐを求める。

特に、パラボラフィッティングを用いる場合には、以下の式によりパラメータｐを求める。

そして、時間位置合わせ手段５は、求めたパラメータｐによる曲線ｙ＝ｆ_ｐ（ｔ）を最小化（ｍの評価尺度として絶対値誤差、自乗誤差等、小さい値ほど評価が良い尺度を用いた場合）または最大化（ｍの評価尺度として正規化相関値等、大きい値ほど評価が良い尺度を用いた場合）する時間ｔを求め（ステップＳ６０６）、これを時間移動量Δｔとして出力する（ステップＳ６０７）。すなわち、時間位置合わせ手段５は、求めたパラメータｐによる曲線ｙ＝ｆ_ｐ（ｔ）の極値を求め、極値におけるｔを時間移動量Δｔとして出力する。

例えば、時間位置合わせ手段５は、曲線ｙ＝ｆ_ｐ（ｔ）を最小化するｔを求める場合、以下の式により時間移動量Δｔを求める。

尚、時間位置合わせ手段５は、曲線ｙ＝ｆ_ｐ（ｔ）を最大化するｔを求める場合、前記式（１２）の「ａｒｇ ｍｉｎ」を「ａｒｇ ｍａｘ」に置き換えた式により、時間移動量Δｔを求める。

特に、パラボラフィッティングを用いる場合には、時間位置合わせ手段５は、以下の式により時間移動量Δｔを求める。

となる。

さらに、Ｒ＝｛ｓ−１，ｓ，ｓ＋１｝に対するパラボラフィッティングを用いる場合には、時間位置合わせ手段５は、以下の式により時間移動量Δｔを求める。

このように、時間位置合わせ手段５における第２の処理によれば、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時間方向にδｔ（フレームの時間間隔の自然数倍）ずらした画素時系列（Ｇ（ｔ+δｔ；ξ，η））_ｔ∈Ｓとの間の誤差を示す評価値ｍ（δｔ）を求め、評価値ｍ（δｔ）が最小となる時間ずれ量δｔを含む時間範囲において、離散的な評価値ｍ（ｔ）と連続的な関数ｆ_ｐ（ｔ）との間の誤差が最小となるパラメータｐを求め、その関数ｆ_ｐ（ｔ）を最小化または最大化する時間ｔを求め、この時間ｔを時間移動量Δｔとして出力するようにした。これにより、画素時系列Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓの時間間隔が等時間間隔の場合に、その時間間隔よりも短い時間間隔において（連続した時間において）、時間移動量Δｔを求めることができる。つまり、元の離散的な画素時系列Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓの時間間隔よりも、細かい確度の時間移動量Δｔを求めることができる。また、１次元的な探索により時間位置合わせを行うと共に、離散的な画素時系列Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ，（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを用いて評価値ｍ（δｔ）を求めるようにしたから、処理が簡素化され、演算の高速化を実現することができる。

〔内挿手段〕
図１に戻って、内挿手段６は、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓと、時間移動量Δｔとに基づいて、画素位置（ｘ，ｙ）の時刻ｔにおける画素値の内挿値Ｆ（ｔ；ｘ，ｙ）を推定する。内挿値Ｆ（ｔ；ｘ，ｙ）は、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕ、及び周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時刻移動量Δｔずらした画素時系列（Ｇ（ｔ＋Δｔ；ξ，η））の両波形を共に近似するような滑らかな波形上の、時刻ｔにおける標本点として定義することができる。

（内挿補間により連続関数を生成し、内挿値を求める手法）
図７は、内挿手段６による第１の処理（内挿補間により連続関数を生成し、内挿値を求める手法）を示すフローチャートである。内挿手段６は、画素時系列読出手段３から指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を入力し、周辺画素時系列読出手段４から周辺画素の時系列Ｇ（ｔ；ξ，η）を入力すると共に、時間位置合わせ手段５から時間移動量Δｔを入力する（ステップＳ７０１）。そして、内挿手段６は、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕを時間方向に内挿補間し、時刻ｔに関する連続関数ｇ（ｔ；ｘ，ｙ）に変換する（ステップＳ７０２）。例えば、１次内挿による場合には、以下の式により連続関数ｇ（ｔ；ｘ，ｙ）を生成する。

同様に、内挿手段６は、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時間方向に内挿補間し、時刻ｔに関する連続関数ｇ（ｔ；ξ，η）に変換する（ステップＳ７０２）。例えば、１次内挿による場合には、以下の式により連続関数ｇ（ｔ；ξ，η）を生成する。

そして、内挿手段６は、前記式（１５）により生成された指定画素の連続関数ｇ（ｔ；ｘ，ｙ）の波形と、前記式（１６）により生成された周辺画素の連続関数ｇ（ｔ；ξ，η）の波形を時間方向にΔｔだけずらした連続関数ｇ（ｔ＋Δｔ；ξ，η）の波形とを合成し（ステップＳ７０３）、内挿値Ｆ（ｔ；ｘ，ｙ）を求めて画素時系列書込手段７に出力する（ステップＳ７０４）。

尚、以上の説明では、周辺画素の画素位置（ξ，η）は１か所で定式化を進めてきたが、周辺画素の画素位置は複数あっても構わない。以下、周辺画素の画素位置がＭ個（Ｍは自然数）あるものとし、そのｍ番目（ｍは０以上Ｍ未満の整数）の画素位置を（ξ_ｍ，η_ｍ）とする。また、このｍ番目の周辺画素の画素位置（ξ_ｍ，η_ｍ）における時間移動量ΔｔをΔｔ_ｍとし、探索対象時刻範囲内の時間標本点の集合ＳをＳ_ｍとする。

内挿値Ｆ（ｔ；ｘ，ｙ）を求めるための合成手法として、例えば、単純平均が用いられる。内挿手段６は、単純平均を示す以下の式により、内挿値Ｆ（ｔ；ｘ，ｙ）を求める。

また、内挿値Ｆ（ｔ；ｘ，ｙ）を算出するための合成手法として、例えば、重み付き平均が用いられる。内挿手段６は、重み付き平均を示す以下の式により、内挿値Ｆ（ｔ；ｘ，ｙ）を求める。

ここで、ｗ_ｍ（ｔ）は、時刻ｔにおける周辺画素位置（ξ_ｍ，η_ｍ）に対する重み係数である。尚、ｗ_−１（ｔ）は、時刻ｔにおける指定画素位置（ｘ，ｙ）に対する重み係数である。

尚、重み係数ｗ_ｍ（ｔ）は、指定画素位置（ｘ，ｙ）と周辺画素位置（ξ_ｍ，η_ｍ）との間の距離に応じて定めるようにしてもよい。例えば、重み係数ｗ_ｍ（ｔ）は、距離ｄに関する関数α（ｄ）を用いて、以下の式で表される（式（１９）の例は、時刻ｔに関して不変である）。

関数α（ｄ）は、好ましくは距離ｄに対して減少関数とする。すなわち、関数α（ｄ）は、距離ｄが短い場合は、重み係数ｗ_ｍ（ｔ）が大きくなり、距離ｄが長い場合は、重み係数ｗ_ｍ（ｔ）が小さくなるような関数とする。例えば、以下の式で表される。

ここで、λは、距離ｄに対する関数値α（ｄ）の減衰の速さを決めるための減衰係数であり、λが大きいほど減衰が緩やかになる。例えば、λ＝１とする。

また、重み係数ｗ_ｍ（ｔ）は、時刻列（ｔ_ｋ＋Δｔ_ｍ）_ｋ∈Ｓｍまたは（ｔ_ｋ）_ｋ∈Ｕと、時刻ｔとの間の時間距離に応じて定めるようにしてもよい。まず、時間距離ｅ_ｍ（ｔ）を、例えば、以下のように定義する。

このｅ_ｍ（ｔ）は、位置合わせをした時系列と注目時刻ｔとの間の最小時間距離である。

重み係数ｗ_ｍ（ｔ）は、時間距離ｅに関する関数β（ｅ）を用いて、以下の式で表される（式（２２）の例は、空間位置に関して不変である）。

関数β（ｅ）は、好ましくは時間距離ｅに対して減少関数とする。すなわち、関数β（ｅ）は、時間距離ｅが短い場合、重み係数ｗ_ｍ（ｔ）が大きくなり、時間距離ｅが長い場合、重み係数ｗ_ｍ（ｔ）が小さくなるような関数とする。例えば、以下の式により表される。

ここで、μは、時間距離ｅに対する関数値β（ｅ）の減衰の速さを決めるための減衰係数であり、μが大きいほど減衰が緩やかになる。例えば、μ＝１とする。

さらに、重み係数ｗ_ｍ（ｔ）は、空間距離ｄ_ｍ及び時間距離ｅ_ｍの両距離に応じて定めるようにしてもよい。例えば、重み係数ｗ_ｍ（ｔ）は、以下の式で表される。

ここで、γ（α，β）は、α及びβの値を合成するための関数であり、好ましくはαに関して増加関数、βに関して増加関数とする。例えば、以下の式で表される。

また、重み係数ｗ_ｍ（ｔ）は、式（１２）において時間移動量Δｔを求めたときの最小（または最大）評価値を考慮して、定めるようにしてもよい。例えば、以下の式のように、周辺画素の画素位置（ξ_ｍ，η_ｍ）の時間移動量Δｔ_ｍを求めたときの最小（または最大）評価値をｒ_ｍとする。このとき、最小評価値ｒ_ｍが小さいほど重み係数ｗ_ｍ（ｔ）が大きくなるように（最大評価値ｒ_ｍが大きいほど重み係数ｗ_ｍ（ｔ）が大きくなるように）、重み係数ｗ_ｍ（ｔ）を定めればよい。

（劣化モデルに基づく復元処理により内挿値を求める手法）
図８は、内挿手段６による第２の処理（劣化モデルに基づく復元処理により内挿値を求める手法）を示すフローチャートである。内挿手段６は、画素時系列読出手段３から指定画素の時系列Ｇ（ｔ；ｘ，ｙ）を入力し、周辺画素時系列読出手段４から周辺画素の時系列Ｇ（ｔ；ξ，η）を入力すると共に、時間位置合わせ手段５から時間移動量Δｔを入力する（ステップＳ８０１）。

ここで、求めるべき内挿値Ｆから画素時系列Ｇへの観測モデル（時間標本化のモデル）Ｄ（Ｄは汎関数）を、以下のように定義する。

観測モデルＤとして、例えば、動きぼけをモデル化したものが用いられる。時刻ｔ_ｋにおける画像（フレーム）を撮影したときのカメラのシャッター時間（または、撮像素子の蓄積時間）をτ_ｋとおくと、動きぼけの観測モデルＤは、以下の式で表される。

内挿結果である内挿値Ｆ（ｔ；ｘ，ｙ）の仮の結果をΦ（ｔ；ｘ，ｙ）とする。内挿手段６は、この仮の結果Φが指定画素の時系列Ｇ（ｔ；ｘ，ｙ）に整合するか否かを、誤差評価汎関数Ｊにより評価する。内挿手段６は、以下の式により、評価値Ｊ［Φ］が最小となるように、仮の結果Φの試行錯誤（例えば、最急降下法等による最適化）を行い、仮の結果Φの最適化結果を内挿値Ｆとして求める。

ここで、Ｖは、最適化を行う時刻の範囲である。例えば、時刻範囲Ｖは、注目時刻ｔ近傍の時間区間（例えば、時刻ｔとその前後１秒の時間区間）とする。

具体的には、内挿手段６は、指定画素の時系列Ｇ（ｔ；ｘ，ｙ）と観測モデルＤの値との間の誤差（指定画素の誤差）を算出し、周辺画素の時系列Ｇ（ｔ；ξ，η）を時間移動量Δｔずらした時系列Ｇ（ｔ＋Δｔ；ξ，η）と観測モデルＤの値との間の誤差を算出して全ての周辺画素の誤差合計（周辺画素の誤差）を算出し、指定画素の誤差と周辺画素の誤差とを加算し、この加算結果を、最適化を行う時刻範囲Ｖにて合計して評価値Ｊ［Φ］を求める（ステップＳ８０２）。そして、内挿手段６は、評価値Ｊ［Φ］が最小となる仮の結果Φを算出し（ステップＳ８０３）、この仮の結果Φを内挿値Ｆ（ｔ；ｘ，ｙ）として画素時系列書込手段７に出力する（ステップＳ８０４）。

〔画素時系列書込手段〕
図１に戻って、画素時系列書込手段７は、計数手段２から画素位置（ｔ；ｘ，ｙ）を入力すると共に、内挿手段６から内挿値Ｆ（ｔ；ｘ，ｙ）を入力し、画素位置（ｔ；ｘ，ｙ）に応じて書き込みアドレスを変化させることにより、時刻数列（ｔ_０，ｔ_１，・・・，ｔ_Ｌ−１）（出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}という。）における内挿値列（Ｆ（Ｔ_ｋ；ｘ，ｙ））_{ｋ∈｛0,1,・・,L-1｝}を出力動画像記憶手段８に記憶させる。これにより、出力動画像記憶手段８には、入力動画像記憶手段１に記憶された動画像に比べて、フレームレートが変換された動画像の時空間ボリューム１０が記憶される。ここで、時刻Ｔ_ｋはｋ番目の時刻標本点であり、Ｌは時刻列の標本点総数である。

尚、時刻Ｔ_ｋは、整数値であっても、非整数値であっても構わない。例えば、出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}を、入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}より細かくとれば、フレームレートのアップサンプリングが実現される。逆に、出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}を、入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}より粗くとればフレームレートのダウンサンプリングが実現できる。さらに、出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}の時間間隔及び入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}の時間間隔は、それぞれ等間隔であっても、片方または両方が不等間隔であっても構わない。また、出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}の時間間隔及び入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}の時間間隔が、共に等間隔の場合において、両者のフレームレートの比は有理数比であっても無理数比であっても構わない。さらに、出力動画像時間標本点列（Ｔ_ｋ）_{ｋ∈｛0,1,・・,L-1｝}及び入力動画像時間標本点列（ｔ_ｋ）_{ｋ∈｛0,1,・・,K-1｝}の位相は、揃っていても、ずれていても、時間と共に変化しても構わない。

出力動画像記憶手段８には、処理結果の動画像の時空間ボリューム１０が記憶される。記憶される動画像の時空間ボリューム１０において、画素位置（ｔ；ｘ，ｙ）における画素時系列は（Ｆ（Ｔ_ｋ；ｘ，ｙ））_{ｋ∈｛0,1,・・,L-1｝}である。

尚、出力動画像記憶手段８は、メモリ、ハードディスク等のハードウェアであり、時間ｔ及び空間（ｘ，ｙ）のいずれに関してもランダムアクセスが可能であるものとする。

以上のように、本発明の実施形態によるフレームレート変換装置１００によれば、時間位置合わせ手段５が、第１の処理または第２の処理にて、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓとを比較し、類似度を最大化する時間ずれ量δｔを求め、これを時間移動量Δｔとして出力するようにした。また、内挿手段６が、第１の処理にて、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕを時間方向に内挿補間することにより連続関数ｇ（ｔ；ｘ，ｙ）を生成し、同様に、周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓを時間方向に内挿補間することにより連続関数ｇ（ｔ；ξ，η）を生成し、指定画素の連続関数ｇ（ｔ；ｘ，ｙ）と、周辺画素の連続関数ｇ（ｔ；ξ，η）を時間方向に時間移動量Δｔずらした連続関数ｇ（ｔ＋Δｔ；ξ，η）とを、単純平均等により合成し、内挿値Ｆ（ｔ；ｘ，ｙ）を求めるようにした。また、内挿手段６が、第２の処理にて、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと観測モデルＤの値との間の誤差、及び、時間移動量Δｔずらした周辺画素の画素時系列（Ｇ（ｔ＋Δｔ；ξ，η））_ｔ∈Ｓと観測モデルＤの値との間の誤差に基づいて評価値Ｊ［Φ］を求め、評価値Ｊ［Φ］が最小となる仮のΦを算出し、内挿値Ｆ（ｔ；ｘ，ｙ）を求めるようにした。

これにより、複数の画素位置について時間的な相関をとることで、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕに最も類似する周辺画素の画素時系列（Ｇ（ｔ；ξ，η））_ｔ∈Ｓにおける時間移動量Δｔを求め、指定画素の画素時系列（Ｇ（ｔ；ｘ，ｙ））_ｔ∈Ｕと時間移動量Δｔずらした周辺画素の画素時系列（Ｇ（ｔ＋Δｔ；ξ，η））_ｔ∈Ｓとを用いて、内挿値Ｆ（ｔ；ｘ，ｙ）を生成するようにしたから、動きぶれが少なく、時間的に滑らかに変化する動画像を得ることができる。したがって、時間方向の高画質な動画像を得ることが可能なフレームレート変換を実現することができる。

また、本発明の実施形態によるフレームレート変換装置１００によれば、時間位置合わせ手段５が、フレーム間で局所テクスチャのマッチング（ブロックマッチング等）を行う代わりに、画素位置間で局所時系列のマッチングを行うことにより、動画像の時空間相関を利用した位置合わせを行うようにした。このため、２次元の探索を行うブロックマッチングとは異なり、１次元の探索を行えばよいから、処理が簡素化され、演算コストも小さくなる。また、フレーム内においてブロック分割を行うことなく、画素位置単位で処理を行うから、ブロックノイズが生じない。また、画素間の時間相関演算は、レジストレーションを行う複数枚超解像手法の時間軸と空間軸を入れ替えたものとみなすことができる。すなわち、２次元の空間について高画質を実現する従来の複数枚超解像度手法に対し、このフレームレート変換装置１００では、１次元の時間方向について高画質を実現することができる。したがって、フレームレートを変換する際の画像劣化（主にぼけ）が生じにくく、高画質のフレームレート変換を実現することができる。

本発明の実施形態によるフレームレート変換装置１００は、フレームレートの互いに異なるテレビジョン方式間の映像変換、及びテレシネ変換等に用いることができる。また、任意の時間標本点を設定することができるから、映像内容に応じた動的なフレームレート制御に用いることも可能である。

尚、本発明の実施形態によるフレームレート変換装置１００のハードウェア構成としては、通常のコンピュータを使用することができる。フレームレート変換装置１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。フレームレート変換装置１００に備えた入力動画像記憶手段１、計数手段２、画素時系列読出手段３、周辺画素時系列読出手段４、時間位置合わせ手段５、内挿手段６、画素時系列書込手段７及び出力動画像記憶手段８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１ 入力動画像記憶手段
２ 計数手段
３ 画素時系列読出手段
４ 周辺画素時系列読出手段
５ 時間位置合わせ手段
６ 内挿手段
７ 画素時系列書込手段
８ 出力動画像記憶手段
１０ 時空間ボリューム
１１，１５，２３，２４ フレーム
１２，１２−１，１２−２，１２−３，１３，１３−１，１３−２，１３−３，１４，１４−１，１４−２，１４−３ 物体
１６，２０ テクスチャ
２１，２１−１，２１−２ 指定画素位置
２２，２２−１，２２−２ 周辺画素位置
２３，２４ フレーム
２５ 周辺画素の画素時系列波形
２６ 指定画素の画素時系列波形
２７ 時間位置合わせ後の画素時系列波形
１００ フレームレート変換装置

Claims (6)

1. 動画像のフレームレートを変換するフレームレート変換装置において、
   複数時点のフレームにより構成される動画像が格納された動画像記憶手段と、
   前記動画像記憶手段に格納された動画像における所定の時間範囲に含まれるフレームから、予め指定された画素位置の画素値を、指定画素時系列データとして読み出す画素時系列読出手段と、
   前記動画像記憶手段に格納された動画像における所定の時間範囲に含まれるフレームから、前記指定された画素位置を基準にした所定範囲内の周辺位置に存在する画素値を、周辺画素時系列データとして読み出す周辺画素時系列読出手段と、
   前記画素時系列読出手段により読み出された指定画素時系列データと、前記周辺画素時系列読出手段により読み出された周辺画素時系列データとが最も類似する時間位置を求め、前記時間位置を時間移動量として出力する時間位置合わせ手段と、
   前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を、前記時間位置合わせ手段により出力された時間移動量だけ移動させ、前記移動させた後の時系列データ及び前記移動させていない時系列データに基づいて、所望時間における画素値を内挿値として求める内挿手段と、
   を備えることを特徴とするフレームレート変換装置。
2. 請求項１に記載のフレームレート変換装置において、
   前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データを時間方向に内挿補間し、時間方向に連続した画素値を有する指定画素の連続関数を生成し、前記周辺画素時系列読出手段により読み出された周辺画素時系列データを時間方向に内挿補間し、時間方向に連続した画素値を有する周辺画素の連続関数を生成し、前記指定画素の連続関数または前記周辺画素の連続関数のうちのいずれか一方を時間方向にずらしたときに、前記指定画素の連続関数及び前記周辺画素の連続関数が最も類似する時間ずれ量を求め、前記時間ずれ量を時間移動量として出力することを特徴とするフレームレート変換装置。
3. 請求項１に記載のフレームレート変換装置において、
   前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を時間方向に内挿補間し、時間方向に連続した画素値を有する連続関数を生成し、前記生成された連続関数、または前記連続関数が生成されていない時系列データのうちのいずれか一方を時間方向にずらしたときに、前記連続関数及び前記時系列データが最も類似する時間ずれ量を求め、前記時間ずれ量を時間移動量として出力することを特徴とするフレームレート変換装置。
4. 請求項１に記載のフレームレート変換装置において、
   前記時間位置合わせ手段が、前記画素時系列読出手段により読み出された指定画素時系列データ、または前記周辺画素時系列読出手段により読み出された周辺画素時系列データのうちのいずれか一方を、前記フレームの時間間隔の自然数倍毎にずらしたときに、前記指定画素時系列データと前記周辺画素時系列データとの間の、前記フレームの時間間隔の自然数倍毎の離散的な誤差を示す評価値が最小となる時間を求め、前記時間を含む所定時間範囲において、時間的に連続した値を有する所定の複数の連続関数と、前記離散的な評価値と間の誤差をそれぞれ求め、前記誤差が最小となる連続関数を特定し、前記特定した連続関数の極値を求め、前記極値の時間を時間移動量として出力することを特徴とするフレームレート変換装置。
5. 請求項４に記載のフレームレート変換装置において、
   前記時間位置合わせ手段が、パラボラフィッティングまたは最小自乗フィッティングにより、前記誤差が最小となる連続関数を特定することを特徴とするフレームレート変換装置。
6. コンピュータを、請求項１から５までのいずれか一項に記載のフレームレート変換装置として機能させるためのフレームレート変換プログラム。

Images