JPH0746864B2

JPH0746864B2 - 高能率符号化装置

Info

Publication number: JPH0746864B2
Application number: JP59174412A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1984-08-22
Filing date: 1984-08-22
Publication date: 1995-05-17
Anticipated expiration: 2010-05-17
Also published as: ATE91581T1; US4703351A; CA1267721A; JPS6152084A; EP0172755A3; DE3587448D1; AU4651185A; DE3587448T2; EP0172755A2; EP0172755B1; AU583844B2

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、テレビジョン信号の高能率符号化装置に関
する。

〔従来の技術〕

１画素当たりのビット数を低減する高能率符号化として
３次元的な即ち時空間な処理を行うフレーム間符号化方
式が知られている。フレーム間符号化方式としては、動
き検出によるものと、動き補正によるものとがある。前
者は、フレーム差の有無で動き検出を行い、フレーム差
の無い所（即ち、動きの無い所）だけを前フレームのデ
ータで置き換えるものである。

後者の方式は、ブロックマッチング法等により現在と前
フレーム間の位置関係情報（動き補正量）を求め、この
動き補正量に基づいて前フレーム画像を操作してフレー
ム間の対応を取るものである。ブロックマッチング法
は、画面を複数のブロックに分割し、各ブロック毎に動
きの量及びその方向を求め、この動きの量及びその方向
を伝送するものである。

〔発明が解決しようとする問題点〕

動き検出によるフレーム間符号化方式は、一般の動画像
では、動き部分が多く、圧縮率が低い問題点があった。

また、動き補正によるフレーム間符号化方式は、ブロッ
ク分けによる歪が発生し、各ブロック毎の動き量を伝送
するために、圧縮率が充分に低いといえない欠点があっ
た。

更に、何れの方式でも、動き物体が動いた時に、元の領
域の画素データがなくなる所謂アンカバードバックグラ
ウンドの問題を生じる欠点があった。

従って、この発明は、従来の装置に比して極めて大きい
圧縮率を実現できる高能率符号化装置の提供を目的とす
るものである。

この発明の他の目的は、時間方向の各種補正を施すこと
により、複数の動き物体による各種の動きに対応できる
高能率符号化装置を提供することにある。

この発明の更に他の目的は、空間方向の各種補正を施す
ことにより、エッジ部のボケや、アンカバードバックグ
ラウンド等の問題が生じない高能率符号化装置を提供す
ることにある。

〔問題点を解決するための手段〕

この発明は、現在のフィールドに含まれる注目画素の値
を、注目画素の近傍に位置し、且つ過去の数フィールド
に含まれる複数の画素データと複数の係数との線形１次
結合により予測し、この予測画素データと注目画素の真
値との誤差の二乗和を最小とするように、複数の係数を
最小二乗法により同定するパラメータ同定手段と、パラメータ同定手段からの複数の係数と、過去の数フィ
ールドに含まれる複数の画素データとから現在のフィー
ルドの予測画素データを生成するための予測手段と、次のフィールドにおいては、現在フィールドの予測画素
データを以前のフィールドの画素データとして、パラメ
ータ同定手段および予測手段に対して供給するように、
過去の数フィールドに含まれる画素データを貯えるため
のメモリ手段とを備え、現在のフィールドの画素データに代えてパラメータ同定
手段からの複数の係数を伝送するようにしたことを特徴
とする高能率符号化装置である。

〔作用〕

この発明は、過去数フィールドの画素データから、現在
の動きを予測するものである。この発明では、複数の動
き物体の各々の動き情報は上記の画素データに含まれて
いるので、つまり、各種の方向や速度を持つ動きベクト
ルも時間的には強い相関を有するので、動き量を伝送す
る必要がなく、１フィールド毎のパラメータ（予測のた
めの係数）のみを伝送すれば良く、１画素当たりの平均
ビット数を極めて少なくできる。また、この発明では、
動き補正を各画素のレベルの時間的変化として捕らえる
ので、動きベクトルの方向や速度に依らない定速度運動
（過去２フィールドのデータで表現される）或いは定加
速度運動（過去３フィールドのデータで表現される）と
いった運動モデルとして統一的に扱えるので、単純に動
きモデルからのずれを補正するだけですむ。従って、こ
の発明によれば、圧縮率を高めることができる。更に、
時間的及び空間的の３次元的に補正がなされるので、ブ
ロック歪やアンカバードバックグラウンドの問題を何等
生じない。

〔実施例〕

以下、この発明の一実施例について、図面を参照して説
明する。第１図は、この発明の一実施例即ち送信側に設
けられる符号化装置の構成を示し、第２図は、受信側に
設けられる復号化装置の構成を示す。

第１図において、１は、パラメータ同定部を示す。この
パラメータ同定部１には、所定のサンプリング周波数で
ディジタル化されたディジタルテレビジョン信号即ち現
フィールドｋの画像データが入力されると共に、前フィ
ールドｋ−１の画像データと、更に前のフィールドｋ−
２の画像データと、より更に前のフィールドｋ−３の画
像データとが入力される。これらの画像データは予測デ
ータで、この予測データと現フィールドデータを用いて
パラメータ同定部１は、最小自乗法により例えば各々が
８ビットの35個のパラメータw1〜w35を１フィールドご
とに同定する。パラメータ同定部１には、空間的位置関
係を調整するためのライン遅延回路及びサンプル遅延回
路が含まれている。パラメータ同定部１で同定されたパ
ラメータw1〜w35が送信データとされる。このパラメー
タw1〜w35は、入力データに対して１フィールド遅れた
フィールドｋ−１のものである。

２は、予測部を示し、３、４、５は、夫々フィールドメ
モリを示す。フィールドメモリ３、４、５には、予測部
２からの予測データが書き込まれ、フィールドｋ−１よ
り過去の３フィールドｋ−1,k−2,k−３の画像データ
（予測データ）が貯えられる。予測部２は、予測しよう
とする画素の近傍に位置し、且つ過去３フィールド内に
含まれる35個の予測データとパラメータw1〜w35とを用
いて現画素に対する予測値を求めるものである。このた
め、予測部２にも、空間的位置関係を調整するための複
数のライン遅延回路及び複数のサンプル遅延回路が含ま
れている。

現フィールドｋの画素データ（第３図Ａ）に対する予測
値は、その前フィールドｋ−１の近傍の10画素のデータ
（第３図Ｂ）、その前々フィールドｋ−２の近傍の15画
素のデータ（第３図Ｃ）、その前々々フィールドｋ−３
の近傍の10画素のデータ（第３図Ｄ）の計35個の画素デ
ータの線形１次結合として求められる。

第３図Ａ〜第３図Ｄにおいて水平方向の実線がフィール
ドｋ及びフィールドｋ−２において走査されるラインを
表し、水平方向の破線がフィールドｋ−１及びフィール
ドｋ−３において走査されるラインを表す。現フィール
ドｋの画素データが含まれる位置のラインをｙとして、
その上側に位置するラインをｙ＋１とし、更にラインｙ
＋１の上側に位置するラインをｙ＋２としている。ライ
ンｙの下側に位置するラインは、夫々ｙ−１、ｙ−２と
している。

第３図Ａ〜第３図Ｄにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、現フィールドｋ
の画素データのサンプリング位置ｘより１サンプル前の
サンプリング位置及びこれより２サンプル前のサンプリ
ング位置を夫々ｘ−１、ｘ−２としている。また、サン
プリング位置ｘの後のサンプリング位置及びより後のサ
ンプリング位置を夫々ｘ＋１、ｘ＋２としている。

現画素に対する予測データ_k（x,y）は、次式の線形一
次結合で表される。

_k（x,y）＝ w1×_k-1（ｘ−2,y＋１）＋w2×_k-1（ｘ−1,y＋１）＋w3×_k-1（x,y＋１）＋w4×_k-1（ｘ＋1,y＋１）＋w5×_k-1（ｘ＋2,y＋
１）＋w6×_k-1（ｘ−2,y−１）＋w7×_k-1（ｘ−1,y−
１）＋w8×_k-1（x,y−１）＋w9×_k-1（ｘ＋1,y＋１）＋w10×_k-1（ｘ＋2,y−１）＋w11×_k-2（ｘ−2,y＋２）＋w12×_k-2（ｘ−1,y＋
２）＋w13×_k-2（x,y＋２）＋w14×_k-2（ｘ＋1,y＋２）＋w15×_k-2（ｘ＋2,y＋２）＋w16×_k-2（ｘ−2,y）＋w17×_k-2（ｘ−1,y）＋w18×_k-2（x,y）＋w19×_k-2（ｘ＋1,y）＋w20×_k-2（ｘ＋2,y）＋w21×_k-2（ｘ−2,y−２）＋w22×_k-2（ｘ−1,y−
２）＋w23×_k-2（x,y−２）＋w24×_k-2（ｘ＋1,y−２）＋w25×_k-2（ｘ＋2,y−２）＋w26×_k-3（ｘ−2,y＋１）＋w27×_k-3（ｘ−1,y＋
１）＋w28×_k-3（x,y＋１）＋w29×_k-3（ｘ＋1,y＋１）＋w30×_k-3（ｘ＋2,y＋１）＋w31×_k-3（ｘ−2,y−
１）＋w32×_k-3（ｘ−1,y−１）＋w33×_k-3（x,y−１）＋w34×_k-3（ｘ＋1,y−１）＋w35×_k-3（ｘ＋2,y−
１）上述の予測式は、現フィールドの画素に対する予測値
を、最も相関が強い近傍の画素を代表値として取り出
し、この代表値に時空間方向の補正を施して求めること
を意味する。

パラメータ同定部１は、予測データを用いて、最小自乗
法によりパラメータを同定する。つまり、現フィールド
の或る画素の真値I_kは、上式で求められたこれと対応す
る画素の予測値_kに誤差ｅが重畳されたものであるか
ら、（ｅ＝_k−I_k）となり、この誤差の自乗和を所定
数の画素に関して最小にするパラメータw1〜w35が計算
される。

この場合、１フィールドに含まれる全ての予測画素（例
えば１ライン内に800画素、１フィールドが255ラインの
場合では、800×255個）を用いてパラメータw1〜w35を
最小自乗法により計算すれば、最高の精度が得られる
が、回路規模が大きくなるので、複数サンプル毎の間引
きにより得られた所定数の例えば300個の代表の画素を
用いてパラメータw1〜w35の同定がなされる。

また、画面の周辺部でデータが存在しない所では、第４
図に示すように、画面内のデータａ〜ｈと同一のデータ
が画面外にあるものとして代用すれば良い。或いは、第
４図において破線図示のように、１ライン内側で且つ２
サンプル内側に寄った領域内で同定を行うようにしても
良い。

上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、フィールドメモリ７、８、
９と、受信されたパラメータw1〜w35が供給されると共
に、フィールドメモリ７、８、９から過去３フィールド
のデータが供給される予測部６とで構成される。この予
測部６により予測データ即ちディジタルテレビジョン信
号が形成される。受信側で、ディジタルテレビジョン信
号を復元するために、パラメータw1〜w35の送信に先行
して３フィールド分の初期値が送信され、この初期値が
フィールドメモリ７、８、９の夫々に書き込まれる。

尚、現在のフィールドに対して過去の２フィールドの画
素データを用いても良く、そのときには、３次元運動モ
デルとして、定速度運動モデルを表現することになる。

上述のパラメータ同定部１によりなされるパラメータw1
〜w35の同定について、最小自乗法を用いた一例につい
て以下に説明する。

前述の予測データ^k（x,y）を算出する線形１次結合の
式は、現フィールド全体に関して予測を行う場合、下記
の行列式により表現できる。

上式を行列とベクトルとによりまとめて表現すると、但し、（ｍ×ｎ）次のベクトル，は、（ｍ×n,35）の行列、 35次のベクトルである。

一方、現フィールドのデータ（真値）を並べてなるベク
トル（ｍ×ｎ）次のベクトルであり、を（ｍ×ｎ）次の予測誤差ベクトルとすると、となる。上式は、となる。このの自乗和を最小にするが求められる。上式は、下記のように変形される。但
し、Ｔは、転置行列を示す。

次式を満足するものとなる。この式の導出は、例えば文
献「システム同定」（発行所：社団法人計測自動制御学
会，発行日：昭和56年２月10日（初版））の第４章第４
節２項に記載されている。

このままでは、１フィールドの（ｍ×ｎ）個の全画素の
場合、（ｍ×n,35）と言う非常に大きな行列を扱うこと
になり、実際的でない。従って、上式を小さい次数の行
列及びベクトルに直して処理する。即ち、（Ｐ＝^T・
）の（35,35）の行列と、の35次のベクトルとを用いる。

上述のＰ及びＱがパラメータ同定部１に供給される過去
の３フィールドの予測データから形成される。そして、
（P^-1Q）によりが計算される。

〔発明の効果〕

この発明は、過去数フィールドの画素データから、現在
の動きを予測するものであり、従って、複数の動き物体
の各々の動き情報は上記の画素データに含まれているの
で、動き量を伝送する必要がなく、１フィールド毎のパ
ラメータ（予測のための係数）のみを伝送すれば良く、
１画素当たりの平均ビット数を極めて少なくできる。ま
た、この発明では、動き補正を各画素のレベルの時間的
変化として捕らえるので、動きベクトルの方向や速度に
依らない定速度運動（過去２フィールドのデータで表現
される）或いは定加速度運動（過去３フィールドのデー
タで表現される）といった運動モデルとして統一的に扱
えるので、単純に動きモデルからのずれを補正するだけ
ですむ。従って、この発明によれば、圧縮率を高めるこ
とができる。

また、時間的及び空間的の３次元的に補正がなされるの
で、ブロック歪やアンカバードバックグラウンドの問題
を何等生じない。

更に、線形１次結合により３次元運動モデルを表現して
いるので、非線形高次結合により表現するのと比較し
て、パラメータの同定をより簡単なハードウエアで高速
に行うことができる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例により符号化された送信データを受信
するための構成を示すブロック図、第３図及び第４図は
この発明の一実施例の説明に用いる略線図である。 1:パラメータ同定部、2:予測部、３、４、5:フィールド
メモリ。

Claims

【特許請求の範囲】

【請求項１】現在のフィールドに含まれる注目画素の値
を、上記注目画素の近傍に位置し、且つ過去の数フィー
ルドに含まれる複数の画素データと複数の係数との線形
１次結合により予測し、この予測画素データと上記注目
画素の真値との誤差の二乗和を最小とするように、上記
複数の係数を最小二乗法により同定するパラメータ同定
手段と、上記パラメータ同定手段からの上記複数の係数と、上記
過去の数フィールドに含まれる複数の画素データとから
上記現在のフィールドの予測画素データを生成するため
の予測手段と、次のフィールドにおいては、上記現在フィールドの予測
画素データを以前のフィールドの画素データとして、上
記パラメータ同定手段および上記予測手段に対して供給
するように、上記過去の数フィールドに含まれる画素デ
ータを貯えるためのメモリ手段とを備え、上記現在のフィールドの画素データに代えて上記パラメ
ータ同定手段からの上記複数の係数を伝送するようにし
たことを特徴とする高能率符号化装置。