JP4250598B2

JP4250598B2 - 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法

Info

Publication number: JP4250598B2
Application number: JP2005030387A
Authority: JP
Inventors: 実俊飯田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-02-07
Filing date: 2005-02-07
Publication date: 2009-04-08
Anticipated expiration: 2025-02-07
Also published as: JP2006217486A

Description

本発明は、動き補償型インターレース・プログレッシブ（以下、「ＩＰ」という）変換処理装置及び方法において、動きベクトルを検出する際、検出精度を低減させることなく演算量を削減する動きベクトル検出方法に関し、特に画面上部エッジ、画面左エッジの検出動きベクトルの精度向上に関する。

従来、動画像をディジタル化し、そのデータを圧縮符号化する方法として、参照画像として記憶された過去の画像を動き補償して予測画像を作り、原画像との差分画像を符号化する方法が広く行われている。この代表例として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式があり、動き補償を行うための動きベクトルを検出するその方法として、ブロックマッチングによる動きベクトル検出方法が一般的である。

動き補償型ＩＰ変換処理における動きベクトル検出も、ＭＰＥＧ方式などにおける動きベクトル検出方法と同様な手法で実現できる。

一般的な動きベクトル検出方法である、ブロックマッチングによる全探索手法について、図をもとに説明する。図５は従来例の動きベクトル検出方法の概念図であり、現在フレーム５０１の予測対象ブロック５０３の動きベクトル５０６を、既に符号化済みの前フレーム５００の情報を用いてブロックマッチング方法によって検出する全探索手法を示したものである。予測対象ブロック５０３の動きベクトル５０６は、前フレーム５００上の同位置のブロック５０７を中心に一定の探索範囲５０２内に含まれる参照ブロック５０４と予測対象ブロック５０３のマッチングによって検出される。

図４は、従来例の動きベクトル検出処理のブロック図である。図４において、探索範囲内の全て、あるいは、いくつかのブロックを参照する候補ベクトル４１３で指し示す、前フレームの参照ブロックと現在フレームの予測対象ブロックとの各画素の差分絶対値和（ＳＡＤ）をＳＡＤ演算部４００にて順次計算する。そして、この探索範囲内でＳＡＤが最小となるブロックをＳＡＤ最小値検出部４０１で検出し、この判定結果４１４をもとに、動きベクトル決定部４０３にて動きベクトル４１５を決定する。前記探索範囲内の全てのブロックについて各画素の差分を計算し、参照ブロックを決定する方法は全探索手法と呼ばれ、最も精度良く参照ブロックを検出することができる方法である。しかしながら、全探索手法では、探索範囲内の全てのブロックについて各画素の差分を計算しなければならないため、演算処理量が増大してしまうという問題がある。

図６は、従来例の候補ベクトル処理の説明図であり、特許文献１に示される画像の境界を超えて存在するブロックに対応する候補ベクトルの処理を示す図と同じものである。図６の（ａ）及び（ｂ）は、画面の端の処理を示しており、実線６０２、６０４は画面の境界を示している。また、ペア（０，０）は、候補ベクトルがゼロであるとみなすブロックを示している。

しかしながら、従来例では、画像の境界を超えて存在するブロックに対応する候補ベクトルが強制的にゼロとされているため、現在処理中のブロックとの相関が低くなってしまうため、検出する動きベクトルの精度が下がるという問題が生じる。
特開平８−２５１６０１号公報

従来例のブロックマッチングによる全探索手法を用いた動きベクトル検出方法は、探索範囲内で参照ブロックの位置を動きベクトルを表す最小単位で移動させ、それぞれの位置に対するＳＡＤを計算するため、精度良い動きベクトルを検出する確率は上がるが、それに伴い動きベクトルを検出するための演算処理量が増大し、演算の回路規模や処理時間も大きくなる問題がある。

また、画面上部エッジ、画面左エッジのブロックを処理する時には候補ベクトルが少ない、かつ現在処理中のブロックと相関の高いブロックに対応する候補ベクトルを使用していないので、動きベクトルの精度が下がるという問題が生じる。

上記問題点を解決するため、本発明の動き補償型ＩＰ変換処理装置及び方法における動きベクトル検出方法は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に、画面上ラインから下ラインの順に、かつ、ライン左から右の順に、動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法、及び、装置の動きベクトル検出方法において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとすることを特徴とする。

また、本発明は、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部付近のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする。

そして、本発明は、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部付近のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする。

すなわち、本発明は、ＳＡＤ演算部と、ＳＡＤ最小値判定部と、候補ベクトル生成部と、動きベクトル決定部とを備え、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う動き補償型ＩＰ変換処理装置において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとする動き補償型ＩＰ変換処理装置である。

また、本発明は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとする動き補償型ＩＰ変換処理方法である。

以上のように、本発明では、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。

本発明によれば、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。

本発明を実施するための最良の形態を説明する。
本発明における動き補償型ＩＰ変換処理は、図２の本発明の動きベクトル検出概念図に示すように、インターレース画像であるフィールドｎ画像（２０２）と、その２フィールド期間離れたフィールドｎ−２画像（２００）との間に、フィールドｎ−１画像（２０１）を補間するものであり、その補間フィールド画像を生成する時に動きベクトルを使用する。

以下、本発明の動きベクトル検出方法の実施形態について、図を用いて説明する。図２において、補間フィールド画像２０１を生成するために、１フィールド画像をＭ×Ｎの画素ブロック２０７に分割し、例えば、通常の走査線方式の通り画面左上から右下にブロック単位で処理していく。補間フィールド画像（フィールドｎ−１）２０１を生成する過程において、現在処理中のブロック（２０４）に対し、候補ベクトル（２０６）に参照される１フィールド前の画像（フィールドｎ−２画像）２００の参照ブロック１（２０３）と、１フィールド後の画像（フィールドｎ画像）２０２の参照ブロック２（２０５）の差分をとる。この差分は、参照ブロック１と参照ブロック２のそれぞれの画素の差分絶対値和（ＳＡＤ）として計算される。全ての候補ベクトルについてＳＡＤを計算し、その最小値を示すベクトルが現在処理中ブロックの動きベクトルとして決定される。

この過程について、図１の本発明の動きベクトル検出処理のブロック図をもとに説明する。図１において、ＳＡＤ演算部１００には、補間フィールド画像に対する、１フィールド前の画像データ１１０、１フィールド後の画像データ１１１が入力される。ＳＡＤ演算部１００は、候補ベクトル生成部１０２より出力される候補ベクトル１１３が指し示す参照ブロック１と参照ブロック２の間のＳＡＤを計算する。候補ベクトル全てに対し、同様の演算を行い、これら演算結果１１２の中から、ＳＡＤ最小値判定部１０１によりＳＡＤの最小値が判定され、その判定結果１１４をもとに候補ベクトル１１３の中から動きベクトル決定部１０３において、現在処理中のブロックの動きベクトル１１５が決定される。

図３は、本発明の候補ベクトルとするブロックの説明図である。補間フィールドを生成するための処理が進み、１フィールド画像内では、現在処理中のブロック３０２の周辺に、現在処理中のブロック３０２との相関が高い、既に動きベクトルが検出された周辺８ブロック３０３が存在する。ここで、周辺ブロック３０３の中で、現在処理ブロック３０２の右隣に位置するブロック、または下、右下、左下に位置する３つのブロックは、１フィールド前の補間フィールド画像を生成する時に処理されたブロックを意味する。図１においては、動きベクトル１１５をメモリ１０４に保存しておき、次期処理ブロックでの処理に、周辺ブロックなどの既検出ベクトル１１６を候補ベクトルとして利用する。このように、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトル３０４，３０５，３０６，３０７を候補ベクトルとすることで、全探索方式に比べ、動きベクトル検出のための演算処理量を低減することができる。

図７は、本発明の候補ベクトルとするブロックの説明図（画面左エッジ）である。画面左エッジを処理する場合、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトルとするブロックが７０４、７０５で示される２つの候補ベクトルとするブロックになってしまう。そこで、画面外ブロック７０７に前ライン右エッジ（付近）の検出済み動きベクトル７０６を候補ベクトルの１つとすることで、検出すべき動きベクトルの精度を高くすることができる。ここで、画面外ブロック７０７に対応する前ライン右エッジ（付近）の検出済み動きベクトルは、７０６の１つ左のブロックｘでも構わないし、２つ左のブロックｙでも構わない。

例えば、画面全体が一定方向に移動する画像を処理する場合には、画面内の各ブロックで動きベクトルの相関が高くなる。よって、現在処理中のブロックより離れた場所に位置するブロック（図７の７０６）を候補ベクトルの１つとすることで検出すべき動きベクトルの精度を高くすることができる。

図８は、本発明の候補ベクトルとするブロックの説明図（画面上部エッジ）である。画面上部エッジを処理する場合、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトルとするブロックが８０５で示される１つの候補ベクトルとするブロックになってしまう。そこで、画面外ブロック８０６、８０７、８０８に前フィールド下部エッジ（付近）の検出済み動きベクトル８１０、８１１、８１２を候補ベクトルとすることで、検出すべき動きベクトルの精度を高くすることができる。ここで、画面外ブロック８０６、８０７、８０８に対応する前フィールド下部エッジ（付近）の検出済み動きベクトルは、８１０、８１１、８１２の１つ上のブロックａ、ｂ、ｃでも構わないし、２つ上のブロックｄ、ｅ、ｆでも構わない。

例えば、画面全体が一定方向に移動する画像を処理する場合には、画面内の各ブロックで動きベクトルの相関が高くなる。よって、現在処理中のブロックより離れた場所に位置するブロック（図８の８１０、８１１、８１２）を候補ベクトルの１つとすることで検出すべき動きベクトルの精度を高くすることができる。

このようにして、本発明によると、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。

本発明の動きベクトル検出処理のブロック図。本発明の動きベクトル検出方法の概念図。本発明の候補ベクトルとするブロックの説明図。従来例の動きベクトル検出処理のブロック図。従来例の動きベクトル検出方法の概念図。従来例の候補ベクトル処理の説明図。本発明の候補ベクトルとするブロックの説明図（画面左エッジ）。本発明の候補ベクトルとするブロックの説明図（画面上部エッジ）。

符号の説明

１００ＳＡＤ演算部１０１ＳＡＤ最小値判定部
１０２候補ベクトル生成部１０３動きベクトル決定部
１０４メモリ１１０１フィールド前画像データ
１１１１フィールド後画像データ１１２演算結果
１１３候補ベクトル１１４判定結果
１１５動きベクトル１１６既検出ベクトル
２００フィールドｎ−２画像２０１フィールドｎ−１画像（補間）
２０２フィールドｎ画像２０３参照ブロック１
２０４現在処理ブロック２０５参照ブロック２
２０６候補ベクトル２０７画素ブロック
３００１フィールド画面３０１ブロック
３０２現在処理ブロック３０３現在処理ブロックの周辺ブロック
３０４候補ベクトルとするブロック１３０５候補ベクトルとするブロック２
３０６候補ベクトルとするブロック３３０７候補ベクトルとするブロック４
３０８処理済みブロック４００ＳＡＤ演算部
４０１ＳＡＤ最小値判定部４０２候補ベクトル生成部
４０３動きベクトル決定部４１０前フレームデータ
４１１現在フレームデータ４１２演算結果
４１３候補ベクトル４１４判定結果
４１５動きベクトル５００前フレーム
５０１現在フレーム５０２探索範囲
５０３予測対象ブロック５０４参照ブロック
５０５候補ベクトル５０６動きベクトル
５０７予測対象ブロックと同位置のブロック
６０１、６０３現在処理ブロック６０２、６０４画像の境界
７００１フィールド画面７０１ブロック
７０２現在処理ブロック７０３現在処理ブロックの周辺ブロック
７０４候補ベクトルとするブロック１７０５候補ベクトルとするブロック２
７０６候補ベクトルとするブロックＡ７０７画面外ブロック
７０８処理済みブロック８００前フィールド画面ｎ−１
８０１現在処理中のフィールド画面ｎ８０２ブロック
８０３現在処理ブロック８０４現在処理ブロックの周辺ブロック
８０５候補ベクトルとするブロック１８０６、８０７、８０８画面外ブロック
８０９処理済みブロック８１０候補ベクトルとするブロックＡ
８１１候補ベクトルとするブロックＢ８１２候補ベクトルとするブロックＣ

Claims

ＳＡＤ演算部と、ＳＡＤ最小値判定部と、候補ベクトル生成部と、動きベクトル決定部とを備え、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う動き補償型ＩＰ変換処理装置において、
現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする動き補償型ＩＰ変換処理装置。
フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法において、
現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする動き補償型ＩＰ変換処理方法。