JP5672116B2 - 映像処理装置 - Google Patents

Description

本発明は、プルダウン方式で作成された映像の、前後フレーム間での動き推定を行うための映像処理装置に関する。

近年、テレビ等の映像表示デバイスにおいて、入力映像のフレーム間に補間フレームを挿入することで、入力されたフレームレートと比して高いフレームレートで出力し、滑らかでぼけの少ない動画を提供する技術が一般的になっている。その一つとして、映画等の映像を滑らかに見せるためのデジャダー処理が注目されている。

映画等の映像信号は、元々1秒間に２４コマで撮影されているが、日本における映像フォーマットは1秒間に６０コマが一般的である。このため２４コマで撮影された映像を６０コマで再生するために、同じフレームを２フレーム連続、３フレーム連続を交互に表示させる２−３プルダウン処理等を行っている。

２−３プルダウン処理による表示では、連続するフレームが２フレームと３フレームで交互に出力されるため、動画に多少がたつきが見られる。また、1秒間に映像の異なるフレームは２４コマあるため、６０コマの映像信号に比べて１コマあたりの動きが大きく、動画のぼけが目立つ。

そこで、２４コマの映像フレーム間の動きを推定して補間フレームを生成し挿入し、映像の異なるフレームを６０コマ分、即ち標準的映像フォーマットと同じコマ数分生成することで、２−３プルダウン処理時の動画のがたつきがなくなり、動画のぼけも少なくなる。

例えば、このような動画像フォーマット変換技術として、特許文献１に示されるような手法がある。

特開２００５−１６７８８７号公報

デジャダー処理において補間フレームを生成するためには、元フレーム間の差異によって動きを検出する必要がある。動き検出の方法は多種多様だが、一般的に、精度の高い検出をする際には、連続する前後のフレーム間の検出において、前フレームの対象画素の後フレームにおける該当位置を検出する前フレーム基準の検出と、後フレームの対象画素の前フレームにおける該当位置を検出する後フレーム基準の検出との、両方を行うことが行われる。

又、対象画素の早い移動に対応するためには広範囲で検出する必要がある。このためには、基準のフレームではない方のフレームにおいて、ある程度広い探索範囲を持つ必要がある。探索範囲の拡大には、多量のメモリ資源が必要であった。

そこで本発明は、メモリを有効に利用し、メモリを増やさずに広範囲の検索にも対応させ、かつ精度の高い検出を行うことが可能な映像処理装置を提供することを目的とする。

上記課題を解決するために本発明は次の（ａ）、（ｂ）、（ｃ）の映像処理装置を提供するものである。

（ａ）複数の同一画像フレームを有する複数の画像フレーム群から構成される映像データが入力される処理選択部（２１）と、前記画像フレームを一時的に格納する第１メモリ（１３）と、前記画像フレームを１または複数フレーム遅延させるフレームメモリ（１２）と、前記画像フレームあるいは、前記フレームメモリから出力された画像フレームを一時的に格納する第２メモリ（１４）と、前記第２メモリへ選択的に画像フレームを供給するセレクタ（２２）と、前記フレームメモリに格納された前記画像フレームのアドレス読み出し位置を制御するアドレス制御部（２０）と、前記第１メモリに格納された画像フレームを基準として、前記第２メモリに格納された画像フレームより対象画素の動きを検出する第１動き候補検出部（１５）と、前記第２メモリに格納された画像フレームを基準として、前記第１メモリに格納された画像フレームより対象画素の動きを検出する第２動き候補検出部（１６）と、前記フレームメモリから取得する前記対象画素の動き候補位置を、第１メモリ及び第２メモリに格納された画像フレームから検出する第３動き候補検出部（１７）とを備え、前記処理選択部は、第１の画像フレーム群に含まれる第１の画像フレームと異なる第２の画像フレームが入力されたことを検出すると、前記フレームメモリから前記第１の画像フレームを前記第２メモリへ供給させるよう前記セレクタを制御し、前記第２の画像フレームが少なくとも２以上続いて入力されたことを検出すると、前記第２の画像フレームを前記第２メモリへ供給させるよう前記セレクタを制御すると共に前記アドレス制御部を制御することを特徴とする映像処理装置。
（ｂ）前記処理選択部は、前記第１の画像フレームに続く前記第２の画像フレームが２以上続いて入力されたことを検出すると、前記フレームメモリから対象画素を読み出すよう前記アドレス制御部を制御し、前記第１メモリに格納された画像フレームの映像データに続く読み出し位置の映像データを前記第２メモリに供給するよう前記セレクタを制御することを特徴とする（ａ）に記載の映像処理装置。
（ｃ）前記第１の画像フレーム群は、複数の同一画像フレームによって構成されており、第２の画像フレーム群は、複数の同一画像フレームによって構成されており、前記映像データは、前記第１の画像フレーム群と前記第２の画像フレーム群を交互に複数配置して構成されることを特徴とする（ａ）又は（ｂ）に記載の映像処理装置。

本発明の映像処理装置によれば、メモリ資源を効率的に使用することによって、メモリを拡大せずに、精度の高いフレーム検出と早い動きに対応したフレーム検出の両方を行うことができる。

本発明の実施の形態に係る映像処理装置の全体構成図である。 精度の高いフレーム検出に係る映像処理装置の構成図である。 早い動作の広範囲フレーム検索に係る映像処理装置の構成図である。 ２-３プルダウン処理時のメモリ使用状態を示す図である。 ２-３プルダウン処理時のメモリ使用状態を示す図である。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。更に以下に記載される数式は一例であり、その本質を同一とする範囲において適宜変更可能であることに留意すべきである。

（実施の形態）
（映像処理装置）
本発明の実施の形態に係る映像処理装置１００について図１を参照して説明する。

映像処理装置１００は、入力信号受信部１１、フレームメモリ部１２、第一動き検索用メモリ部１３、第二動き検索用メモリ部１４、第一動き候補検出部１５、第二動き候補検出部１６、第三動き候補検出部１７、動き候補選択部１８、動き決定部１９、アドレス制御部２０、処理選択部２１およびセレクタ部２２を備えている。

入力信号受信部１１は、複数の同一画像フレームを有する複数の画像フレーム群から構成される映像入力信号を受信する。本実施形態では入力信号受信部１１は、２-３プルダウン処理がなされた映像入力信号、すなわち２枚の同一画像フレームを有する第１の画像フレーム群、３枚の同一画像フレームを有する第２の画像フレーム群、２枚の同一画像フレームを有する第３の画像フレーム群、３枚の同一画像フレームを有する第４の画像フレーム群、…から構成される映像入力信号を受信する。フレームメモリ部１２は、入力信号受信部１１から受信する映像入力信号を一時格納し、画像フレームを１または複数フレーム遅延させる。

第一動き検索用メモリ部１３は、画像フレームを一時的に格納する第１メモリであり、入力信号受信部１１から受信する動き検索用の映像入力信号を一時格納する。

第二動き検索用メモリ部１４は、画像フレームあるいは、フレームメモリ部１２から出力された画像フレームを一時的に格納する第２メモリであり、入力信号受信部１１から受信する動き検索用の映像入力信号を一時格納する。第一動き検索用メモリ部１３と第二動き検索用メモリ部１４は同じメモリ幅、例えば３０ライン分の水平メモリ又は垂直メモリを有する。

第一動き候補検出部１５は、連続する前後フレーム間のうち、前フレームを基準として後フレームにおける該当動き候補位置を検出する。より具体的には、第１動き候補検出部１５は、第一動き検索用メモリ部１３に格納された画像フレームを基準として、第二動き検索用メモリ部１４に格納された画像フレームより対象画素の動きを検出する。第二動き候補検出部１６は、連続する前後フレーム間のうち、後フレームを基準として前フレームにおける該当動き候補位置を検出する。より具体的には、第２動き候補検出部１６は、第二動き検索用メモリ部１４に格納された画像フレームを基準として、第一動き検索用メモリ部１３に格納された画像フレームより対象画素の動きを検出する。第一動き候補検出部１５および第二動き候補検出部１６は、精度の高い動き検出において使用される。

第三動き候補検出部１７は、フレームメモリ部１２から取得する対象画像の該当動き候補位置を第一動き検索用メモリ部１３及び第二動き検索用メモリ部１４の内から検出する。第三動き候補検出部１７は、早い動きの広範囲検出において使用される。

動き候補選択部１８は、第一動き候補検出部１５および第二動き候補検出部１６から取得する該当動き候補位置を基に、動き候補位置を選択する。

動き決定部１９は、動き候補選択部１８から受信する動き候補位置と、第三動き候補検出部１７から受信する動き候補位置を比較し、どちらの動き候補位置を動き位置として採用するか決定する。

アドレス制御部２０は、処理選択部２１の指示に従い、フレームメモリ部１２に格納された画像フレームのデータアドレス読み出し位置を制御する。読み出しの際、精度の高い動き検出の場合と、早い動きに対応した動き検出の場合とで、映像信号データの読み出し位置を変えることで、動き検索対象画素の位置を任意に決めることができるようにする。

処理選択部２１は、入力信号受信部１１から映像入力信号を受信し、入力された映像信号が前画像フレーム群とは異なる次の画像フレーム群であるか否か、画像フレーム群の切り替わりを検出した後同一画像フレームが検出されたか否か、等を判断する。処理選択部２１は、判断結果をアドレス制御部２０およびセレクタ部２２に送信する。

セレクタ部２２は、第２メモリへ選択的に画像フレームを供給するセレクタである。具体的にはセレクタ部２２は、切り替え位置画像であるとの判断結果を受信すると、第二動き検索用メモリ部１４へ入力するための映像データ送信元を選択し、切り替えを行う。

尚、図１と図２及び図３は同じ構成を示したものであるが、理解を助けるために、図２は精度の高い動き検出にて使用される各部を実線で示しており、図３は早い動きの広範囲検出にて使用される各部を実線で示している。

（映像処理装置の動き検索動作）
映像処理装置１００の動き検出について、精度の高い動き検出と早い動きの広範囲検出に分けて説明する。

（ａ）まず、精度の高い動き検出について図２を参照して説明する。

入力信号受信部１１から送られる映像入力信号は第一動き検索用メモリ部１３と、処理選択部２１に送信される。第一動き検索用メモリ部１３は受信した映像入力信号を所定メモリ幅分、例えば３０ライン分の映像情報を一時格納する。処理選択部２１は当該映像入力信号が前画像フレーム群と異なる画像フレーム群であるか否かを判断する。具体的に説明すると、２−３プルダウン処理方式の画像であった場合、図４（ａ）に示すようにＡ１、Ａ２、Ｂ１、Ｂ２、Ｂ３、Ｃ１、Ｃ２、Ｄ１…と画像が並ぶが、この内の同一アルファベットの付された画像、例えばＡ１およびＡ２を、複数枚の同一画像で構成された画像フレーム群とする。処理選択部２１は、図４（ａ）丸１にてＡ２画像の次のＢ１画像を受信した際、画像フレーム群Ａから新たな画像フレーム群Ｂに移行したと判断する。判断結果はアドレス制御部２０に送信される。アドレス制御部２０が判断結果より新たな画像フレーム群への移行であると判断した場合、アドレス制御部２０は、図５（ａ）に示すよう、アドレス制御部２０に第一動き検索用メモリ部１３に一時格納される映像入力信号と同位置から同一メモリ幅ラインをフレームメモリ部１２に読み込むように指示する。尚、動き検索の対象画素５は、動き検索を容易とするため、第一動き検索用メモリ部１３と第二動き検索用メモリ部１４の中央ライン近辺となるようにする。フレームメモリ部１２はこの読み込み指示を受け、第一動き検索用メモリ部１３に格納される映像入力信号と同位置から同一幅分画像を読み込む。更に処理選択部２１から新たな画像フレーム群へ移行したとの判断結果を受信したセレクタ部２２は、フレームメモリ部１２に格納される画像データを第二動き検索用メモリ部１４に出力させる。言い換えると、処理選択部２１は、第１の画像フレーム群に含まれる第１の画像フレームと異なる第２の画像フレームが入力されたことを検出すると、フレームメモリ部１２から第１の画像フレームを第二動き検索用メモリ部１４へ供給させるようセレクタ部２２を制御する。これにより、図４（ｂ）丸１に示すように、第一動き検索用メモリ部１３と第二動き検索用メモリ部１４には同位置から読み込まれた同一幅分の画像が一時格納される。

（ｂ）次に、第一動き検索用メモリ部１３と第二動き検索用メモリ部１４に格納される画像を用いて精度の高い動き検出処理を行う動作を図２を参照して説明する。

第一動き候補検出部１５は、第一動き検索用メモリ部１３の出力信号群のうちの基準となる対象画素５と第二動き検索用メモリ部１４の出力信号群とを比較し、対象画素５の動いた先が第二動き検索用メモリ部１４上のどの位置に該当するのかを検出する。同様に、第二動き候補検出部１６は、第二動き検索用メモリ部１４の出力信号群のうちの基準となる対象画素５と第一動き検索用メモリ部１３の出力信号群とを比較し、対象画素５の動いた先が第一動き検索用メモリ部１３上のどの位置に該当するのかを検出する。即ち、連続する前後フレーム間の、前フレームの対象画素の動きと、後フレームの対象画素の動きの両方を検出する。

動き候補選択部１８は、第一動き候補検出部１５および第二動き候補検出部１６から動き候補検出結果を取得し、動き候補位置を選択する。選択された動き候補位置は動き決定部１９に送信される。尚、動き候補位置の決定は動きベクトル検出等を用いた公知の方法で決定する。

（ｃ）次に早い動きの広範囲での検出について図３を参照して説明する。

入力信号受信部１１から送られる映像入力信号は第一動き検索用メモリ部１３と、処理選択部２１に送信される。第一動き検索用メモリ部１３は受信した映像入力信号を所定メモリ幅分、例えば３０ライン分の映像情報を一時格納する。処理選択部２１は先に入力された画像フレーム群とは異なる画像フレーム群の画像フレームが入力された後、同一画像フレームが連続して入力されたか否かを判断する。例えば、図４（ａ）丸２に示すような位置の場合、画像フレーム群Ａとは異なる画像フレーム群Ｂの画像フレームＢ１を検出した後、連続して入力される画像フレームＢ２が先の画像フレームＢ１と同一画像フレームであるか否かを判断し、画像フレームＢ２を選択対象と判断する。尚、図４（ａ）丸１及び２では一例として精度の高い検出に画像フレームＢ１を、素早い広範囲の検出に画像フレームＢ２を使用しているが、２-３プルダウン方式ではＢ１〜Ｂ３の画像はいずれも同じものである為、いずれの検出にどの画像を使用しても構わない。しかしメモリを不要に拡張しない為、精度の高い検出で例えば画像フレームＢ１が使用されると、早い動きの広範囲検出ではＢ１とは異なる同一の画像フレーム群のフレームＢ２又はＢ３が使用されることが好ましい。又Ｂ画像フレーム群のように２−３プルダウン方式で３枚の同一画像が存在する場合は処理選択部２１において使用しないフレームをフレームメモリに書き込まないよう制御する等の処理を行うことが望ましい。実装として、例えば、異なる画像フレーム群の一枚目の画像を精度の高い検出に使用し、二枚目の画像を早い動きの広範囲検出に使用し、三枚目の画像はフレームメモリに書き込まないよう制御するように設計してもよい。

処理選択部２１は、Ａ画像フレーム群に含まれるＡ画像フレームＡ２に続いて、Ａ画像フレームとは異なるＢ画像フレームＢ１が入力されたことを検出し、続いて入力された画像フレームが、Ｂ画像フレームＢ２であることを検出する。処理選択部２１は、同一画像フレーム（ここでは、Ｂ画像フレーム）が続いて２以上入力されたことを検出すると、アドレス制御部２０及びセレクタ部２２を以下のように制御する。

処理選択部２０による判断結果に基づいて、アドレス制御部２０は、動き検索の対象画素５を含む映像信号を読み出すようフレームメモリ部１２を制御する。尚、動き検索の対象画素５の位置は、広範囲での動き検索を容易とするため、第一動き検索用メモリ部１３と第二動き検索用メモリ部１４の中央となるようにする。フレームメモリ部１２は対象画素を含む映像信号を第三動き候補検出部１７に出力する。更に処理選択部２１から異なる画像フレーム群へ移行したとの判断結果を受信したセレクタ部２２は、第一動き検索用メモリ部１３に格納される映像信号データより１メモリ幅分だけ遅れて読みだした映像信号データを第二動き検索用メモリ部１４に出力させる。これにより、図４（ｂ）丸２に示すように、第一動き検索用メモリ部１３には対象画素５から上方にかけての１メモリ幅分の画素、第二動き検索用メモリ部１４には対象画素５から下方にかけての１メモリ幅分の画素が一時格納される。尚、本実施の形態においては水平メモリが使用されているが、これは垂直メモリであっても構わない。

（ｄ）次に、フレームメモリ部１２より取得する対象画素５と、第一動き検索用メモリ部１３及び第二動き検索用メモリ部１４に格納される画像を用いて早い動きの広範囲での検出処理を行う動作を図３を参照して説明する。

第三動き候補検出部１７は、フレームメモリ部１２から送信される基準となる対象画素５と、第一動き検索用メモリ部１３及び第二動き検索用メモリ部１４の出力信号群とを比較し、対象画素５の動いた先が第一動き検索用メモリ部１３及び第二動き検索用メモリ部１４上のどの位置に該当するのかを検出する。即ち、対象画素５の上位ライン方向への動きと下位ライン方向への動きの双方を１メモリ幅ずつ、即ち2メモリ幅分を検出する。検出された動き候補結果は動き決定部１９へ送信される。

動き決定部１９は、動き候補選択部１８から受信する精度の高い動き候補位置と、第三動き候補検出部１７から受信する広範囲での動き候補位置を比較し、どちらの動き候補位置を動き位置として採用するか決定する。

同様に、後続する画像フレーム群Ｂから画像フレーム群Ｃ間の動き推定においても、図４（ａ）丸３に示す前画像フレーム群Ｂから異なる画像フレーム群Ｃへ移った際には、図４（ｂ）丸３に示すようにフレームＣ１を用いて精度の高い検出を行い、図４（ａ）丸４ではフレームＣ２を用いて図４（ｂ）丸４に示すような早い動きの広範囲検出を行う。尚、図４（ａ）丸３及び４では精度の高い検出にフレームＣ１を、早い動きの広範囲検出にフレームＣ２を使用しているが、上述したようにこれは一例であり、精度の高い検出にフレームＣ２を、早い動きの広範囲検出にフレームＣ１を使用しても同様の結果が得られることは勿論である。

このように、２つのメモリを有効に利用することで、メモリ量を増やさずに精度の高い動き検出及び広範囲の検出を行うことができる。

なお上述した、処理選択部２１が、Ａ画像フレーム群に含まれるＡ画像フレームＡ２に続いて、Ａ画像フレームとは異なるＢ画像フレームＢ１が入力されたことを検出した場合に行うアドレス制御部２０及びセレクタ部２２に対する制御と、Ｂ画像フレームＢ１が入力され、続いてＢ画像フレームＢ２（あるいはＢ画像フレームＢ３）が入力されたことを検出した場合に行うアドレス制御部２０及びセレクタ部２２に対する制御とは、交換してもよいものである。

本発明の映像処理装置によれば、メモリ資源を効率的に使用することによって、精度の高いフレーム検出と早い動きに対応したフレーム検出の両方を行うことができ、メモリ量の拡大を防ぐことができる。

５ … 動き検出の対象画素
１１ … 入力信号受信部
１２ … フレームメモリ部
１３ … 第一動き検索用メモリ部
１４ … 第二動き検索用メモリ部
１５ … 第一動き候補検出部
１６ … 第二動き候補検出部
１７ … 第三動き候補検出部
１８ … 動き候補選択部
１９ … 動き決定部
２０ … アドレス制御部
２１ … 処理選択部
２２ … セレクタ部

Claims (3)

1. 複数の同一画像フレームを有する複数の画像フレーム群から構成される映像データが入力される処理選択部と、
   前記画像フレームを一時的に格納する第１メモリと、
   前記画像フレームを１または複数フレーム遅延させるフレームメモリと、
   前記画像フレームあるいは、前記フレームメモリから出力された画像フレームを一時的に格納する第２メモリと、
   前記第２メモリへ選択的に画像フレームを供給するセレクタと、
   前記フレームメモリに格納された前記画像フレームのアドレス読み出し位置を制御するアドレス制御部と、
   前記第１メモリに格納された画像フレームを基準として、前記第２メモリに格納された画像フレームより対象画素の動きを検出する第１動き候補検出部と、
   前記第２メモリに格納された画像フレームを基準として、前記第１メモリに格納された画像フレームより対象画素の動きを検出する第２動き候補検出部と、
   前記フレームメモリから取得する前記対象画素の動き候補位置を、第１メモリ及び第２メモリに格納された画像フレームから検出する第３動き候補検出部とを備え、
   前記処理選択部は、第１の画像フレーム群に含まれる第１の画像フレームと異なる第２の画像フレームが入力されたことを検出すると、前記フレームメモリから前記第１の画像フレームを前記第２メモリへ供給させるよう前記セレクタを制御し、前記第２の画像フレームが少なくとも２以上続いて入力されたことを検出すると、前記第２の画像フレームを前記第２メモリへ供給させるよう前記セレクタを制御すると共に前記アドレス制御部を制御する
   ことを特徴とする映像処理装置。
2. 前記処理選択部は、前記第２の画像フレームが２以上続いて入力されたことを検出すると、前記フレームメモリから対象画素を読み出すよう前記アドレス制御部を制御し、前記第１メモリに格納された画像フレームの映像データに続く読み出し位置の映像データを前記第２メモリに供給するよう前記セレクタを制御する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記第１の画像フレーム群は、複数の同一画像フレームによって構成されており、
   第２の画像フレーム群は、複数の同一画像フレームによって構成されており、
   前記映像データは、前記第１の画像フレーム群と前記第２の画像フレーム群を交互に複数配置して構成されることを特徴とする請求項１又は請求項２に記載の映像処理装置。

Images