JPH08186802A - 飛び越し走査画像の補間画素作成方法 - Google Patents

Abstract

(57)【要約】 【目的】 飛び越し走査の動画像を順次走査画像に変換
するときにおいて、動画でも解像度劣化が少ない飛び越
し走査画像の順次走査変換のための補間画素作成方法を
提供する。 【構成】 小数点以下の精度の動きベクトルを用いてエ
リア１１１をエリア１０２に移動し、エリア１０２内の
画素を用いてラグランジェ補間を行い補間画素２０１を
作成するもので、小数点以下の精度の動きベクトルで参
照フィールドの補間画素を作成するフィールド上での画
素値を予測し、さらに補間画素を作成するフィールド上
の画素値を用いて補間画素を作成する構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、飛び越し走査の動画像
を順次走査画像に変換するときの補間画素作成方法に関
する。

【０００２】

【従来の技術】近年、ディスプレイは大画面化、大容量
化、高画質化が進展し、視覚的により高画質な画像表示
を行う映像信号処理が取り入れられ、商品化されるよう
になってきた。その中でも飛び越し走査の順次走査変換
や画像の変形など画像の補間をする用途は広がってい
る。

【０００３】順次走査変換に代表される現在の補間方法
は動きの無い画素は前フィールドの対応する画素をはめ
込むフィールド間補間を行い、動きのある画素はフィー
ルド内の周辺画素からフィルターなどで作成するフィー
ルド内補間を行っている。

【０００４】以下図面を参照しながら、上述した従来の
飛び越し走査画像の補間画素作成方法の一例について説
明する。図３は従来の順次走査変換方法のフローチャー
ト、図４は補間画素作成画面の構成図である。図４に示
すように順次走査時Ｍ×Ｎ画素の例で、補間前の飛び越
し走査画像は奇数フィールドではｙが奇数の画素は存在
せず、偶数フィールドではｙが偶数の画素は存在しな
い。各画素値をｆ(x,y,t) で表し、x は水平アドレス、
y は垂直アドレス、t はフィールド番号を表す。水平、
垂直のアドレスはフレームで１画素、１ラインを１とし
ている。したがってフィールドでは１ライン間はアドレ
ス１となる。

【０００５】ステップ３０１ 垂直アドレスカウンタの
初期化。奇数フィールドの時は０、偶数フィールドのと
きは１に初期化する。 ステップ３０２ 水平アドレスカウンタの初期化。０に
初期化する。 ステップ３０３ 動き検出。補間画素を作成する前後の
フィールドで同じアドレスのデータを比較する。同じ
（静止画）ならステップ３０４へ、そうでない（動画）
ならステップ３０５へ。 ステップ３０４ 静止画の場合の補間処理。前フィール
ドの同じアドレスのデータで補間。 ステップ３０５ 動画の場合の補間処理。補間画素を作
成するフィールド内で垂直フィルターにより補間画素を
作成する。 ステップ３０６ 水平アドレスカウンタをインクリメン
トする。 ステップ３０７ 水平アドレスが画面内ならステップ３
０３へ、そうでなければステップ３０８へ。 ステップ３０８ 垂直アドレスカウンタを２増やす。 ステップ３０９ 垂直アドレスが画面内ならステップ３
０２へ、そうでなければ処理終了。

【０００６】このようにして１画面分の補間処理が終了
し、飛び越し走査画像が順次走査画像に変換される。

【０００７】

【発明が解決しようとする課題】しかしながら上記のよ
うな方法では、静止画部分では理想的な補間がなされる
が動画部分では垂直フィルターのため解像度が劣化す
る。そのため物体が静止状態から動き出すと急にぼけた
り、動画部分では元々ある画素で構成される現ラインと
補間画素で構成される補間ラインの解像度の違いにより
垂直や斜めのエッジががたがたしたりする劣化が生じて
いた。

【０００８】本発明は上記問題点に鑑み、動画部分でも
解像度劣化の少ない飛び越し走査画像の補間画素作成方
法を提供するものである。

【０００９】

【課題を解決するための手段】上記問題点を解決するた
めに本発明の飛び越し走査画像の補間画素作成方法は、
補間画素を作成する補間フィールド上の補間対象画素の
動きベクトルを小数点以下の精度で検出し、その動きベ
クトルで予測した補間フィールド上の画素値とこの補間
フィールドの画素値の重み付け加算で補間フィールド上
の任意位置の画素値を予測するものである。

【００１０】

【作用】本発明は上記した方法によって、従来のように
フィールド内の周辺画素からフィルターなどで作成する
フィールド内補間を行う必要はなくなり、動画部分でも
解像度劣化の少ない飛び越し走査画像の順次走査変換が
可能となる。

【００１１】

【実施例】以下本発明の一実施例の飛び越し走査画像の
補間画素作成方法を、図面を参照しながら説明する。

【００１２】本実施例ではテレビジョンの映像信号を順
次走査化する場合に本発明を使用した例について図面を
参照しながら説明する。図１は本発明の一実施例の飛び
越し走査画像の補間画素作成方法の説明図、図２は同飛
び越し走査画像の補間画素作成方法のフローチャートで
ある。

【００１３】f(x,y,t)は座標(x,y) のフィールドt の画
素値を表し、図１ではf(m,n,t)が補間画素である。補間
画素の動きベクトルは（ｖx ，ｖy ）で、ｖx 、ｖy は
それぞれｘ成分、ｙ成分を表す。さらにｖx ＝ｖxint＋
ｖxfrac で、ｖxintは整数部分、ｖxfrac は小数部分で
ある。ｖy についても同様にｖy ＝ｖyint＋ｖyfrac
で、ｖyintは整数部分、ｖyfrac は小数部分である。

【００１４】今、座標（ｍ，ｎ）に補間画素１０１ f
(m,n,t) を作成する場合を説明する。小数点以下の精度
で検出された動きベクトルが（ｖx, ｖy ）＝（1.7 ,
0.2）であったとすると画素１０１の周辺１６画素をエ
リア１０２のように選ぶ。動きベクトルから推定する
と、画素１０３〜画素１１０は前フィールドのエリア１
１１内の画素、すなわち画素１１２〜画素１１９が移動
してきたと考えられる。ただし、画素１０３〜画素１１
０は計算上の仮想の画素で実存はしない。

【００１５】さてエリア１０２内の画素は補間画素１０
１に近い画素なのでこれらを情報をうまく使うと確度の
高い補間が行える。そこでラグランジェの補間多項式を
用いて次のように補間画素を作成する。

【００１６】先ずｘ方向の補間を行う。具体的には、図
１に示すように、画素１０３〜画素１０６から３次のラ
グランジェ補間を用いてたとえば画素１２０ fx1(m,n,
t) を作成する。実際の計算は（１）式、（３）〜
（７）式のようになる。画素１２２fx2(m,n,t) につい
ても同様に画素１０７〜画素１１０から作成する。実際
の計算は（２）式、（３）〜（７）式のようになる。こ
こで、Ｌx0〜Ｌx3はｘ方向の補間係数である。

【００１７】

【数１】

【００１８】

【数２】

【００１９】

【数３】

【００２０】次にｙ方向の補間を行って２次元の補間を
実現する。具体的には、画素１２０〜画素１２３から３
次のラグランジェ補間を用いて補間画素１０１を作成す
る。実際の計算は（８）〜（１３）式または（１４）〜
（１９）式のようになる。ここで、Ｌy0〜Ｌy3はｙ方向
の補間係数である。

【００２１】

【数４】

【００２２】

【数５】

【００２３】ｙ方向の補間はｘ方向の補間とは違って、
動きベクトルのｙ成分の小数部分の値によって３通りに
場合分けする必要がある。これは現フィールド上の画素
（画素１２１，画素１２３）と動きベクトルで移動した
画素（画素１２０，画素１２２）の補間画素１０１との
位置関係が動きベクトルのｙ成分の小数部分の値の０．
５との大小を境に変わるためである。特に動きベクトル
のｙ成分の小数部分が０．５のときには画素１２０と画
素１２１、画素１２２と画素１２３はそれぞれ重なって
しまい同じ座標で２つの値が存在することになりラグラ
ンジェ補間はできない。そこでここではフィールド内の
みの４画素を用いてラグランジェ補間を行っている。実
際の計算はｙ成分の小数部分ｖyfrac で場合分けして、 ｖyfrac ＜０．５のとき （８）〜（１３）式 ｖyfrac ＞０．５のとき （１４）〜（１９）式 ｖyfrac ＝０．５のとき （２０）〜（２４）式 となる。

【００２４】

【数６】

【００２５】さらに動きベクトルのｙ成分の小数部分が
０．５に近い場合には補間係数が大きな値となり、胡麻
塩のようなノイズが発生する場合がある。そこでここで
は０．４＜動きベクトルのｙ成分の小数部分＜０．５の
場合はそれを０．４として補間係数を求め、０．５＜動
きベクトルのｙ成分の小数部分＜０．６の場合は０．６
として補間係数を求めた。その結果、胡麻塩のようなノ
イズは低減され画質的にも違和感の無いものとなった。

【００２６】次に飛び越し走査画像の順次走査変換のフ
ローを説明する。フローチャートを図２に示す。水平、
垂直のアドレスはフレームで１画素、１ラインを１とし
ている。したがってフィールドでは１ライン間はアドレ
ス１となる。座標値ではフレームで水平の１画素、垂直
の２ラインを１としている。したがってフィールドでは
１ライン間は座標値１である。

【００２７】ステップ２０１ 垂直アドレスカウンタの
初期化。奇数フィールドの時は０、偶数フィールドの時
は１に初期化する。 ステップ２０２ 水平アドレスカウンタの初期化。０に
初期化する。 ステップ２０３ ２次元の動きベクトルをブロックマッ
チングと勾配法を用いて小数点以下の精度で検出する。 ステップ２０４ ｘ方向の補間を行う。ｖx の小数部ｖ
xfrac より（３）〜（７）式を用いてラグランジェの補
間係数Ｌx0〜Ｌx3を計算。さらに（１）式、（２）式よ
りfx1(m,n,t)、fx2(m,n,t)を算出する。 ステップ２０５ ｖy の小数部ｖyfrac ＝０．５ならス
テップ２０９へ。そうでなければステップ２０６へ。 ステップ２０６ ｖy の小数部ｖyfrac ＞０．５ならス
テップ２０８へ。そうでなければステップ２０７へ。 ステップ２０７ ｙ方向の補間を行う。ｖy の小数部ｖ
yfrac より（９）〜（１３）式を用いてラグランジェの
補間係数Ｌy0〜Ｌy3を計算。さらに（８）式よりf(m,n,
t)を算出する。 ステップ２０８ ｙ方向の補間を行う。ｖy の小数部ｖ
yfrac より（１５）〜（１９）式を用いてラグランジェ
の補間係数Ｌy0〜Ｌy3を計算。さらに（１４）式よりf
(m,n,t)を算出する。 ステップ２０９ ｙ方向の補間を行う。（２１）〜（２
４）式を用いてラグランジェの補間係数Ｌy0〜Ｌy3を計
算。さらに（２０）式よりf(m,n,t)を算出する。この場
合動きベクトルは使用せず、フィールド内で補間を行
う。 ステップ２１０ 水平アドレスカウンタをインクリメン
トする。 ステップ２１１ 水平アドレスが画面内ならステップ２
０３へ、そうでなければステップ２１２へ処理を進め
る。 ステップ２１２ 垂直アドレスカウンタを２増やす。 ステップ２１３ 垂直アドレスが画面内ならステップ２
０２へ、そうでなければ処理終了。

【００２８】このようにして１画面分の補間処理が終了
し、飛び越し走査画像が順次走査画像に変換される。な
お動きベクトルの検出は補間画素を作成するフィールド
と次のフィールドの間、前後のフィールド間で行っても
同様の処理が可能である。また補間画素を作成するフィ
ールドの前後双方の画素を補間計算に用いる場合は双方
の画素の重み付け加算を行えば良い。いちばん簡単には
平均値を用いる。

【００２９】また、動きベクトルの検出は補間画素を作
成する補間フィールドとその前後のフィールドとの間で
行い、前記前後のフィールドのうち、前フィールドまた
は後フィールドの画素値を前記動きベクトルを用いて予
測した前記補間フィールド上での画素値と前記補間フィ
ールドの画素値の重み付け加算で処理してもよい。

【００３０】また動きベクトルの検出は補間画素を作成
する補間フィールドとその１フィールド前または１フィ
ールド後のフィールドとの間で行い、この１フィールド
前または１フィールド後のフィールドの画像値と前記補
間画素を作成する補間フィールドの１フィールド後また
は１フィールド前のフィールドの画素値の重み付けが加
算して予測した前記補間フィールド上での画素値と前記
補間フィールドの画素値の重み付け加算で処理してもよ
い。

【００３１】また、本実施例では、フィールドの画素を
動きベクトルを用いて予測した補間フィールド上での画
素値とこの補間フィールドの画素値の重み付け加算に用
いる係数をラグランジェの補間多項式を用いて得たが、
スプライン補間多項式を用いて得るようにしてもよい。
また本実施例では、２次元の動きベクトルをブロックマ
ッチングと勾配法を用いて得たが、位相相関法を用いて
得るようにしてもよい。

【００３２】

【発明の効果】以上のように本発明によれば小数点以下
の精度の動きベクトルで参照フィールドの補間画素を作
成するフィールド上での画素値を予測し、さらに補間画
素を作成するフィールド上の画素値を用いることによ
り、動画でも解像度劣化が少なく、そのため静止画と動
画の変わり目での違和感が少ない順次走査変換画像とな
る。したがって、動画部分でも解像度劣化の少ない飛び
越し走査画像の順次走査変換のための補間画素作成が可
能となる。さらに小数点以下の精度の動きベクトルを利
用するため従来の１画素単位の動きベクトルしか用いて
いない方式に比べペアリング妨害が低減され画質が大幅
に向上する。また、補間処理部分は条件判断による分岐
が少なく単純な処理で済むのでハードウェア化も容易で
ある。

【図面の簡単な説明】

【図１】本発明の一実施例の飛び越し走査画像の補間画
素作成方法の説明図である。

【図２】本発明の一実施例の飛び越し走査画像の補間画
素作成方法のフローチャートである。

【図３】従来例の飛び越し走査画像の補間画素作成方法
のフローチャートである。

【図４】補間画素作成画面の構成図である。

【符号の説明】

１０１ 補間画素 １０２ 動きベクトルで移動した現フィールド上のエリ
ア １０３〜１１０ 動きベクトルで移動した画素

Claims (21)

【特許請求の範囲】
1. 【請求項１】 飛び越し走査の動画像データにおいて、
   補間画素を作成する補間フィールドと前記補間フィール
   ドの１フィールド前の参照フィールド間の動きベクトル
   を小数点以下の精度で検出し、前記参照フィールドの画
   素を前記動きベクトルを用いて予測した前記補間フィー
   ルド上での画素値と前記補間フィールドの画素値の重み
   付け加算で前記補間フィールド上の任意位置の画素値を
   予測する補間画素作成方法。
2. 【請求項２】 重み付け加算の係数は、ラグランジェ補
   間多項式またはスプライン補間多項式を用いることを特
   徴とする請求項１記載の補間画素作成方法。
3. 【請求項３】 動きベクトルの検出にブロックマッチン
   グと勾配法または位相相関法を用いることを特徴とする
   請求項１記載の補間画素作成方法。
4. 【請求項４】 飛び越し走査の動画像データにおいて、
   補間画素を作成する補間フィールドと前記補間フィール
   ドの１フィールド後の参照フィールド間の動きベクトル
   を小数点以下の精度で検出し、前記参照フィールドの画
   素を前記動きベクトルを用いて予測した前記補間フィー
   ルド上での画素値と前記補間フィールドの画素値の重み
   付け加算で前記補間フィールド上の任意位置の画素値を
   予測する補間画素作成方法。
5. 【請求項５】 重み付け加算の係数は、ラグランジェ補
   間多項式またはスプライン補間多項式を用いることを特
   徴とする請求項４記載の補間画素作成方法。
6. 【請求項６】 動きベクトルの検出にブロックマッチン
   グと勾配法または位相相関法を用いることを特徴とする
   請求項４記載の補間画素作成方法。
7. 【請求項７】 飛び越し走査の動画像データにおいて、
   補間画素を作成する補間フィールドと前記補間フィール
   ドの前後の参照フィールド間の動きベクトルを小数点以
   下の精度で検出し、２つの前記参照フィールドの画素値
   を前記動きベクトルを用いて重み付け加算して予測した
   前記補間フィールド上での画素値と前記補間フィールド
   の画素値の重み付け加算で前記補間フィールド上の任意
   位置の画素値を予測する補間画素作成方法。
8. 【請求項８】 重み付け加算の係数は、ラグランジェ補
   間多項式またはスプライン補間多項式を用いることを特
   徴とする請求項７記載の補間画素作成方法。
9. 【請求項９】 動きベクトルの検出にブロックマッチン
   グと勾配法または位相相関法を用いることを特徴とする
   請求項７記載の補間画素作成方法。
10. 【請求項１０】 飛び越し走査の動画像データにおい
    て、補間画素を作成する補間フィールドと前記補間フィ
    ールドの前後の参照フィールド間の動きベクトルを小数
    点以下の精度で検出し、前記参照フィールドのうち前フ
    ィールドの画素値を前記動きベクトルを用いて予測した
    前記補間フィールド上での画素値と前記補間フィールド
    の画素値の重み付け加算で前記補間フィールド上の任意
    位置の画素値を予測する補間画素作成方法。
11. 【請求項１１】 重み付け加算の係数は、ラグランジェ
    補間多項式またはスプライン補間多項式を用いることを
    特徴とする請求項１０記載の補間画素作成方法。
12. 【請求項１２】 動きベクトルの検出にブロックマッチ
    ングと勾配法または位相相関法を用いることを特徴とす
    る請求項１０記載の補間画素作成方法。
13. 【請求項１３】 飛び越し走査の動画像データにおい
    て、補間画素を作成する補間フィールドと前記補間フィ
    ールドの前後の参照フィールド間の動きベクトルを小数
    点以下の精度で検出し、前記参照フィールドのうち後ろ
    フィールドの画素値を前記動きベクトルを用いて予測し
    た前記補間フィールド上での画素値と前記補間フィール
    ドの画素値の重み付け加算で前記補間フィールド上の任
    意位置の画素値を予測する補間画素作成方法。
14. 【請求項１４】 重み付け加算の係数は、ラグランジェ
    補間多項式またはスプライン補間多項式を用いることを
    特徴とする請求項１３記載の補間画素作成方法。
15. 【請求項１５】 動きベクトルの検出にブロックマッチ
    ングと勾配法または位相相関法を用いることを特徴とす
    る請求項１３記載の補間画素作成方法。
16. 【請求項１６】 飛び越し走査の動画像データにおい
    て、補間画素を作成する補間フィールドと前記補間フィ
    ールドの１フィールド前の参照フィールド間の動きベク
    トルを小数点以下の精度で検出し、前記１フィールド前
    の参照フィールドの画素値と前記補間画素を作成する補
    間フィールドの１フィールド後の参照フィールドの画素
    値を重み付け加算して予測した前記補間フィールド上で
    の画素値と前記補間フィールドの画素値の重み付け加算
    で前記補間フィールド上の任意位置の画素値を予測する
    補間画素作成方法。
17. 【請求項１７】 重み付け加算の係数は、ラグランジェ
    補間多項式またはスプライン補間多項式を用いることを
    特徴とする請求項１６記載の補間画素作成方法。
18. 【請求項１８】 動きベクトルの検出にブロックマッチ
    ングと勾配法または位相相関法を用いることを特徴とす
    る請求項１６記載の補間画素作成方法。
19. 【請求項１９】 飛び越し走査の動画像データにおい
    て、補間画素を作成する補間フィールドと前記補間フィ
    ールドの１フィールド後の参照フィールド間の動きベク
    トルを小数点以下の精度で検出し、前記１フィールド後
    の参照フィールドの画素値と前記補間画素を作成する補
    間フィールドの１フィールド前の参照フィールドの画素
    値を重み付け加算して予測した前記補間フィールド上で
    の画素値と前記補間フィールドの画素値の重み付け加算
    で前記補間フィールド上の任意位置の画素値を予測する
    補間画素作成方法。
20. 【請求項２０】 重み付け加算の係数は、ラグランジェ
    補間多項式またはスプライン補間多項式を用いることを
    特徴とする請求項１９記載の補間画素作成方法。
21. 【請求項２１】 動きベクトルの検出にブロックマッチ
    ングと勾配法または位相相関法を用いることを特徴とす
    る請求項１９記載の補間画素作成方法。