JP2916719B2

JP2916719B2 - 符号化方法、符号化装置及び符号化・復号化装置

Info

Publication number: JP2916719B2
Application number: JP14032391A
Authority: JP
Inventors: 健大西; 喜子幡野; 吉範浅村; 俊伊藤; 学塚本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-06-13
Filing date: 1991-06-12
Publication date: 1999-07-05
Anticipated expiration: 2014-07-05
Also published as: JPH0530496A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタルビデオ信号
を圧縮して符号化する符号化方法、符号化装置及び符号
化・復号化装置に関するものである。

【０００２】

【従来の技術】従来、ディジタルビデオ信号を符号化す
る方法として特開平１−253382号公報及び米国特許第4,
394,774 号に示すものがあった。以下、これらの公報を
例にとり説明する。

【０００３】ディジタル形式のビデオ信号の伝送あるい
は記録は、表示された映像の品質に対するチャネル雑音
あるいは読み取り雑音の影響をかなり低減する可能性、
及び、電話タイプのディジタル回路網によりこれらのデ
ィジタル信号を容易に伝送する可能性を与えている。そ
れにもかかわらず、テレビジョン画像のシーケンスのデ
ィジタル化は非常に速い速度により行われるので、ディ
ジタル化されたカラーテレビジョン信号を一般に既存の
キャリアで直接的に伝送あるいは記録することはできな
い。CCIRの通告 601によると、カラーテレビジョン信号
のディジタル化速度は216 Ｍビット／ｓである。従っ
て、ディジタル化されたカラーテレビジョン信号を実際
の伝送、記録速度に適応するにはこの速度を低減するこ
とが重要である。

【０００４】米国特許第4,394,774 号には、この速度を
ファクタ10ないし20、即ち１／10〜１／20に低減できる
方法が記載されている。直交変換の利用に基づくこの方
法は、映像内の近傍画素間の冗長性を用いてその冗長性
を圧縮する利益を得る可能性を与えている。この方法
は、同一のサイズを有するブロックに映像を分割し、か
つ小さい数の画素にエネルギーを集中することによって
ブロックの画素を非相関にする性質を有する直交変換を
各ブロックに施すことを特徴としている。

【０００５】映像の静止部分に存在する映像対映像冗長
度から同等の情報圧縮の利益を得るために、この方法は
しばしばフレーム間予測技術と組み合わされている。こ
の技術によると、ブロック自身が伝送される（フレーム
内モード）か、あるいはこのブロックと、符号化、復号
化の後で先行映像と同じ空間位置を有するブロックとの
間の差とが伝送され（フレーム間モード）、従って最小
エネルギーを有するブロックが伝送されるかのいずれか
である。

【０００６】この映像対映像予測動作がこのように符号
化動作の時間−再帰性を導入する、換言すれば、もし復
号された先行映像が利用可能であるならば、その予測動
作によれば、映像信号を通常再生モードで復号すること
のみが可能である。この特徴は受信において、あるいは
バンドの読み取り間に現われるエラーが種々の映像に存
在することとなり、事実このエラーの現われるブロック
がフレーム間モードによって符号化される限り様々なエ
ラーが映像に現われる危険性が存在するという結果とな
っている。

【０００７】さらに、この再帰性は消費者ビデオ記録、
すなわち家庭用ビデオレコーダでの記録と両立しない。
というのは、映像へのランダムアクセスを除外するから
であり、このランダムアクセスは「迅速探索モード」を
実現するために必要なものである。ある場合にはこの欠
点の救済法はフレーム内モードでＮ個の映像から１つの
映像を符号化することであるが、しかしこれは表示映像
の品質を劣化するので、Ｎはこの劣化を制限するように
大きく選ばなければならず、このことは改善の範囲を制
限している。

【０００８】特開平１−253382号公報では、その映像対
映像再帰性を導入することなしに映像対映像相関から利
益を得ることができるビデオ信号の符号化方法を提供し
ている。すなわちこの公報では消費者ビデオ記録と両立
でき、かつチャネルエラーに敏感でない方法を提供して
いる。

【０００９】このための符号化方法を実現するために以
下の予備ステップ、すなわち、（ａ）先行映像に対して変位ベクトルと各映像を関係づ
けるための、映像から映像にわたる主要運動の評価であ
って、主要ベクトルは映像対映像差が最小であるベクト
ルである予備ステップ、（ｂ）映像に対応するビデオ信号のシーケンスを各々が
Ｎ個の連続映像に対応するグループに分割することによ
り、かつこれらの各グループ内で、一方ではグループの
映像平面の、他方ではグループのＮ個の映像に対応する
Ｎ個の連続平面のＭ個のライン及びライン毎にＰ個の画
素を含む３次元ブロックを規定することによる３次元ブ
ロックの形式を規定するための走査変換であって、同一
のグループの各３次元ブロックを構成するＭ個のライン
とＰ個の画素とによるＮ個の２次元ブロックが各映像に
ついて評価された変位ベクトルにより１つの映像から次
の映像にわたって空間的にシフトされている予備ステッ
プ、を具えることを特徴としている。

【００１０】提供されたこの方法は、実質的な変位なし
に映像の静止部分の直交変換により実現された逆相関の
おかげで、信号の一時的冗長度を用いる可能性を与えて
おり、それは情景あるいはカメラの一般的移動の場合
に、そして移動が情景の大部分に影響する場合において
さえも当てはまる。最後の２つの場合、提供された方法
はフレーム間モードとフレーム内モードとを使用する方
法より優れている。と言うのは、それがフレーム間相関
を用い、同時にフレーム間／フレーム内プロセスがこれ
らの変位を考慮しないからである。さらに、その効果が
Ｎ個の映像に限定されているので、このプロセスは符号
化の間になんらの映像対映像再帰性を導入せず、そして
雑音に対する満足すべき免疫性とビデオレコーダに備え
られた「迅速探索モード」との両立性を保証している。

【００１１】もし、飛び越し走査されない映像形式を有
するビデオ信号の速度の低減が利用されるなら、このプ
ロセスは特に効果的である。もし利用可能な信号が飛び
越し走査されるなら、その形式は符号化前に変換され、
飛び越し走査されないビデオ信号を生成することにな
る。従って図17に示すように、フレーム単位で一枚の映
像を構成し、水平方向に第１次元の方向を、垂直方向
に第２次元の方向を、時間方向に第３次元の方向を
とって３次元ブロックを構成し、直交変換を施すことに
より映像信号の冗長成分を減らすようにしたものであ
る。

【００１２】しかし、実際のテレビ画面は、図18に示す
ように飛び越し走査（インターレース）が採用されてい
る。これは、動画情報を送るのに伝送情報量を増加させ
ることなく、ちらつき（フリッカ）を防止するのに有利
な方式である。従って、図18の半分の走査線数で１画面
の走査が終了する。次の画面では、直前の画面で走査さ
れなかったライン上を走査することにより、画像の垂直
解像度の低下を抑制する。この飛び越し走査により、同
じ時間内に伝送される画面数は順次走査のときの倍にな
るのでフリッカの発生が抑圧される。この荒く走査され
た画面のことをフィールドと呼び、図19に示すように連
続した二つのフィールドで１フレームが構成されてお
り、NTSC（National Television System Committee）方
式においては毎秒約６０フィールドになる。

【００１３】

【発明が解決しようとする課題】従来の符号化方法で
は、飛び越し走査されない映像信号から３次元ブロック
を構成しているので、飛び越し走査された映像信号につ
いては必ずしも効果的に映像信号の冗長度を減らすこと
ができなかった。特に動きが大きい飛び越し走査された
映像信号に対しては、これを飛び越し走査されない形式
にすると、空間的変位と時間的変位が混合された２次元
を構成するため、映像信号の冗長度低減には効果的でな
い。

【００１４】ところで、飛び越し走査方式のディジタル
ビデオ信号を符号化する場合には、完全な静止画であっ
ても、飛び越し走査の影響により隣合うフィールド間に
おける空間的変位が時間的変位に転換して疑似動画成分
が現れる。従って、動画時の情報量を削減することを目
的として、時間方向に行った直交変換後の高次の変換係
数に対して重み付け量子化を行うと、この疑似動画成分
にも重み付け量子化が行われて、復号側において静止画
の画質が劣化するという問題点がある。このような問題
点を解消するためには、３次元ブロック単位にて動画で
あるか静止画であるかを判別し、動画，静止画に応じて
異なるレベルの重み付け量子化を行う必要がある。

【００１５】本発明はかかる事情に鑑みてなされたもの
であり、本発明の１つの目的は、動画，静止画の判別を
行なうことなく、動画時の情報量を削減できる符号化方
法、符号化装置及び符号化・復号化装置を提供すること
にある。

【００１６】本発明の他の目的は、復号側において静止
画の画質劣化を招くことなく、動画時の情報量を削減で
きる符号化方法、符号化装置及び符号化・復号化装置を
提供することにある。

【００１７】本発明の更に他の目的は、奇数フィールド
と偶数フィールドとにおける画素の空間的な位置を一致
させて、飛び越し走査方式のビデオ信号の冗長度を更に
効果的に削減できる符号化方法、符号化装置及び符号化
・復号化装置を提供することにある。

【００１８】

【課題を解決するための手段】第１，２，６，８の発明
に係る符号化方法、符号化装置及び符号化・復号化装置
は、飛び越し走査の影響による疑似動画成分が現れない
変換係数では重み付けした後、量子化を行い、疑似動画
成分が現れる変換係数ではそのまま量子化を行うことを
特徴とする。

【００１９】第３，４の発明に係る符号化方法では、飛
び越し走査の影響による疑似動画成分が現れる変換係数
に比べて、疑似動画成分が現れない変換係数には、低レ
ートの重み付けを施し更に粗い量子化を行うことを特徴
とする。

【００２０】第５，７の発明に係る符号化方法及び符号
化装置では、飛び越し走査方式のディジタルビデオ信号
に対し、フィールド内画素間演算を行なって奇数，偶数
フィールドにおける垂直方向の画素の位置を合わせた
後、複数のフィールドの画素を対象として直交変換，フ
ィルタリングなどの演算を行うことを特徴とする。

【００２１】

【作用】第１，２，６，８発明では、静止画の場合には
もともと値がゼロである変換係数に対して重み付けが行
なわれるので、情報は全く失われず、復号側において静
止画の画質劣化はない。一方、動画の場合には重み付け
により変換係数がゼロまたは小さな数に変換されるの
で、その情報量が削減される。

【００２２】また、第３，４発明では、静止画の場合に
はもともと値がゼロである変換係数に対してこの低レー
トの重み付けが行われるので、全体として静止画の情報
の圧縮度は小さい。一方、動画の場合にはこの低レート
の重み付けによりゼロまたは小さな数に変換されるの
で、情報量は大幅に削減される。

【００２３】更に、第５，７発明では、飛び越し走査方
式のビデオ信号の奇数，偶数フィールドにおける画素の
２次元空間位置が同一となる。従って、時間方向に対し
正確な信号構成となり、フィールド間における画素演算
により大きな情報圧縮が達成される。

【００２４】

【実施例】以下、本発明をその実施例を示す図面に基づ
いて具体的に説明する。

【００２５】（第１実施例）第１実施例による符号化・復号化装置の構成を示す図１
において、１はNTSC方式のカラーテレビジョン信号をNT
SCデコーダ２に入力するための入力端子を示す。NTSCデ
コーダ２は、入力されたカラーテレビジョン信号を輝度
信号（Ｙ信号）と色差信号（Ｒ−Ｙ信号，Ｂ−Ｙ信号）
とに分離してアナログ・ディジタル（以下Ａ／Ｄと記
す）変換器３へ出力する。Ａ／Ｄ変換器３は入力信号を
ディジタル信号に変換して、これらのディジタル信号を
フィールドメモリ４へ出力する。フィールドメモリ４
は、時間方向に近接する複数のフィールド内の２次元ブ
ロックを束ねて３次元ブロックを構成し、構成した３次
元ブロックを単位とするデータを３次元直交変換回路５
へ出力する。３次元直交変換回路５は入力された各３次
元ブロックに、例えば３次元DCT （Discrete Cosine Tr
ansform ：離散的コサイン変換）を施して変換係数を
得、得られた変換係数を重み付け量子化器６へ出力す
る。重み付け量子化器６は、得られる変換係数に重み付
けした後量子化し、量子化したデータを可変長符号器７
へ出力する。可変長符号器７は、頻度が高い出力には短
い符号を割り当てるように例えばハフマン符号を用い
て、入力されたデータを可変長符号化する。符号化され
たデータは、出力端子８を介して出力される。以上の１
〜８の部材により符号系が構成されている。

【００２６】また、11〜18は復号系の構成部材を示して
おり、11は符号化されたデータを可変長復号器12へ入力
するための入力端子を示す。可変長復号器12は可変長符
号化されたデータを元の量子化データに戻し、このデー
タを重み付け逆量子化器13へ出力する。重み付け逆量子
化器13は、量子化データを元の変換係数のデータに戻し
て、３次元逆直交変換回路14へ出力する。３次元逆直交
変換回路14は、３次元逆DCT を施して元の３次元ブロッ
クを得、これをフィールドメモリ15へ出力する。フィー
ルドメモリ15は、３次元ブロックを元のフィールド画面
に戻し、ディジタルの輝度信号（Ｙ信号）と色差信号
（Ｒ−Ｙ信号，Ｂ−Ｙ信号）とをディジタル・アナログ
（以下Ｄ／Ａと記す）変換器16へ出力する。Ｄ／Ａ変換
器16は、入力信号をアナログ信号に変換してNTSCエンコ
ーダ17へ出力する。NTSCエンコーダ17は、輝度信号と色
差信号とからNTSCカラーテレビジョン信号を再生する。
再生されたカラーテレビジョン信号は、出力端子18を介
して出力される。

【００２７】次に、動作について説明する。一般に画像
情報を圧縮するには、輝度信号と色信号とを独立に扱う
ことが便利である。従って、入力端子１から入力された
NTSCカラーテレビジョン信号がNTSCデコーダ２にて輝度
信号（Ｙ信号）と色差信号（Ｒ−Ｙ信号，Ｂ−Ｙ信号）
とに分離された後、Ａ／Ｄ変換器３にてディジタル信号
に変換される。このときの標本化周波数は、Ｙ信号が1
3.5MHz 、Ｒ−Ｙ信号，Ｂ−Ｙ信号が6.75MHz である。
従って、NTSCカラーテレビジョン信号の場合、１水平ラ
インの有効サンプル数は、Ｙ信号が 720、Ｒ−Ｙ信号，
Ｂ−Ｙ信号が夫々360となり、262.5 水平ラインで１フ
ィールドを構成している。このうち、有効ラインである
例えば250 水平ラインを１フィールド単位として、フィ
ールドメモリ４に８フィールド分が取り込まれる。そし
て、次の８フィールド分のデータが取り込まれている間
に、図２に示すような３次元ブロックのデータがフィー
ルドメモリ４から３次元直交変換回路５へ出力される。

【００２８】図２では、水平方向を第１次方向、垂直
方向を第２次方向、フィールド方向（時間方向）を
第３次方向として、３次元ブロックを構成する。具体的
には、２×２×８のブロックを示している。なお、図２
に示すように、奇数フィールドと偶数フィールド、例え
ば第（２ｉ−１）フィールドと第２ｉフィールドとで
は、画素の空間的な位置は垂直方向において一致せず、
第２ｉフィールドの左上の画素は第（２ｉ−１）フィー
ルドの左上の画素から１／２ライン分下方の位置にあ
る。このような３次元ブロック単位で送られてきたデー
タは、３次元直交変換回路５にて３次元DCT が施され
る。そして、得られた変換係数は、重み付け量子化器６
にて重み付けされた後量子化され、量子化されたデータ
は、可変長符号器７にてハフマン符号などを用いて符号
化され、出力端子８から出力される。

【００２９】ここで、上述したような方法により情報圧
縮を行なえることを示す。ある自然動画像の１コマの一
部のデータに対して８×８×８画素の３次元DCT を行な
った例について説明する。この自然動画像のフィールド
ｔ＝０からｔ＝７までの輝度信号を８ビットに一様に量
子化したデータは第１表に示すようなものであった。

【００３０】

【表１】

【００３１】次に、このデータに対して３次元DCT を行
なって、小数点以下を四捨五入すると、第２表（ａ），
（ｂ）に示すような変換係数が得られた。

【００３２】

【表２】

【００３３】

【表３】

【００３４】得られた変換係数を、図３のような符号化
ビットマップ及び図４のような２次元スキャンニングを
用いて符号化すると、この３次元データの符号長は1902
ビットとなった。図３で、横軸は変換係数のレベル、縦
軸はゼロが続く数を表しており、図中の数字が符号長を
表す。図４は、２次元DCT の際によく使われるスキャン
図であり、本実施例では、このような２次元スキャンニ
ングを８回繰り返すことになる。

【００３５】一方、同じデータを従来のように飛び越し
走査されない形式に変換して符号化した。第３表は飛び
越し走査されない形式の元のデータである。

【００３６】

【表４】

【００３７】この場合、８×８×４画素の３次元ブロッ
クが２つとなる。この２つのブロックに３次元DCT を行
なって得られる変換係数を第４表（ａ），（ｂ）に示
す。

【００３８】

【表５】

【００３９】

【表６】

【００４０】これらを図３のような符号化ビットマップ
及び図４のような２次元スキャンニングを用いて符号化
すると、各ブロックにおける符号長は夫々1188ビット,
1137ビットとなり、合計2325ビットであった。

【００４１】以上のように、従来例に比べて本実施例で
は、約16％の情報圧縮を達成できた。前記自然動画像の
４フレームの画像に対して、本実施例にて符号化を行っ
て秒当たりのレートに換算すると約25.3Mbpsとなる。同
様に従来例にて秒当たりのレートに換算すると約30.2Mb
psとなる。このようなことからも、画像の一部分だけで
なく画像全体においても情報圧縮を達成できることがわ
かる。

【００４２】ところで、図５は、第１実施例における第
３次方向（時間方向）のDCT による変換係数のパワー分
布を示す。図５（ａ）は動画の場合を示しており、各変
換係数は何れもパワーを有しており情報量が多いことが
わかる。図５（ｂ）は静止画の場合を示している。本
来、静止画では時間方向に情報変化はないはずである
が、飛び越し走査により空間的変位が時間的変位に変換
されるので、直流成分をゼロ番目とした場合に奇数番目
の変換係数にパワーが現れる。これはDCT の基底ベクト
ルの次数Ｎと関係がある。図６に、Ｎ＝16のときのDCT
の基底ベクトルを示す。

【００４３】ここで、奇数番目の変換係数にのみパワー
が現れる理由を、DCT の定義式に基づいて説明する。Ｎ
点DCT は、以下の式にて定義される。

【００４４】

【数１】

【００４５】ここで、奇数・偶数フィールドについて分
けて考えると、ｙ（ｉ）は次式で表される。

【００４６】

【数２】

【００４７】静止画である場合には、奇数フィールド同
士、偶数フィールド同士ではその画像信号は同じである
ので、ｘ（０）＝ｘ（２）＝，…，＝ｘ（Ｎ−２）であ
り、ｘ（１）＝ｘ（３）＝，…，＝ｘ（Ｎ−１）とな
る。このことを利用すると、ｙ（ｉ）は更に次式で表さ
れる。

【００４８】

【数３】

【００４９】また余弦関数では、 cosα＝− cos（π−
α）＝− cos（π＋α）＝ cos（２π−α）であるの
で、ｉ＝２，４，６，…，Ｎ−２の場合には、次の各式
が成立する。

【００５０】

【数４】

【００５１】このようにＤＣ成分を除く偶数番目の変換
係数はゼロとなり、奇数番目の変換係数にはパワーが現
れる。重み付け量子化器６では、静止画の情報を持たな
い偶数番目の変換係数に対してのみ重み付けを行って、
等価的に粗く量子化する。図７（ａ）にこの重み付けの
際の重み付け係数の一例を示す。この重み付けは、静止
画の場合はもともと値がゼロである変換係数に対して行
われるので全く影響がない。

【００５２】また、動画の場合には、この重み付けによ
って変換係数がゼロまたは小さな数に変換されるので、
ハフマン符号などを用いた後段の可変長符号器７の動作
により情報量が削減される。可変長符号器７で可変長符
号化されたデータは、出力端子８から出力される。

【００５３】一方、入力端子11から出力端子18までの復
号系では、上述した入力端子１から出力端子８までの符
号系と全く逆のプロセスが施され、元のNTSCカラーテレ
ビジョン信号が得られて出力端子18から出力される。図
７（ｂ）には復号時に使用される重み付け係数の一例を
示す。

【００５４】図８，図９に符号時，復号時に用いる重み
付け係数の他の例を示す。この例では、奇数番目の変換
係数に比べて偶数番目の変換係数にはより粗く量子化す
るような重み付けが行われる。従って、静止画の画質劣
化を微小に抑えた状態で、動画時における情報量の大幅
な削減を達成できる。なお、本実施例では、３次元直交
変換を用いた例について説明したが、時間方向に直交変
換を施すこととすれば、２次元空間の処理の方法は任意
であることは勿論である。

【００５５】以上のように第１実施例では、疑似動画成
分が現れない偶数番目の変換係数についてのみ重み付け
量子化を行うか、または疑似動画成分が現れない変換係
数に対して、疑似動画成分が現れる奇数番目の変換係数
に比べ、低レートの重み付けをしてより粗く量子化する
ことにしたので、動画，静止画の判別を行うことなく、
また静止画の画質劣化を招くことなく、動画時の情報量
を大幅に削減できる。

【００５６】（第２実施例）ところで、飛び越し走査方式の信号形式から３次元ブロ
ックを構成した場合には、奇数フィールドと偶数フィー
ルドとで画素の垂直方向における空間的な位置が一致し
ないので、更に冗長度を削減できる可能性が残ってい
る。本発明の第２実施例は、飛び越し走査方式のディジ
タルビデオ信号に対し、各フィールド内で垂直方向に画
素間演算を行なって奇数，偶数フィールドにおける画素
の空間的位置を合わせた後、３次元直交変換を行なうよ
うにしている。

【００５７】第２実施例による符号化・復号化装置の構
成を示す図10において、図１と同番号を付した部分は同
一部材を示す。符号系における９は、３次元直交変換回
路５のからの変換係数を量子化して符号化する符号器で
あり、10は、Ａ／Ｄ変換器３から出力されるディジタル
の輝度信号及び色差信号の各フィールド内において垂直
方向の画素間演算を行なって、奇数，偶数フィールドに
おける画素の空間的位置を合わせる垂直補間フィルタで
ある。垂直補間フィルタ10は、位置合わせ後のデータを
フィールドメモリ４へ出力する。また、復号系における
19は、符号化されたデータを元の３次元データの形式に
復元して３次元逆直交変換回路14へ出力する復号器、20
は、フィールドメモリ15から出力される画素が位置合わ
せされたデータから元のディジタルの画素データを復元
する垂直補間フィルタである。垂直補間フィルタ20は、
復元した画素データをＤ／Ａ変換器16へ出力する。

【００５８】次に、動作について説明する。垂直補間フ
ィルタ10における画素の位置合わせと垂直補間フィルタ
20における元の画素データの復元とを除いて、本実施例
の動作は前述の第１実施例と基本的に同じであるので、
ここでは異なる点を重点的に説明する。図11は、第２実
施例における動作を説明するための画素を示す概念図で
ある。

【００５９】Ａ／Ｄ変換器３でディジタル信号に変換さ
れた輝度信号及び色差信号は、図11（ａ）に示すように
奇数フィールドと偶数フィールド、例えば第（２ｉ−
１）フィールドと第２ｉフィールドとでは、画素（○印
にて示す）の空間的な位置は一致せず、偶数フィールド
の画素は奇数フィールドの画素より１／２ライン下に位
置している。

【００６０】垂直補間フィルタ10において画素の位置合
わせを行うために、オーバーサンプリングの手法を用い
る。いま画素数を２倍にするため垂直方向へ一つ置きに
零データを挿入する。図11（ｂ）の□印が挿入した零デ
ータを示す。このデータを補間用の低域通過形フィルタ
に通すと、挿入した零データに補間データが得られて画
素数が２倍になる。補間フィルタとしては、例えば図12
に示すインパルス応答の奇数タップフィルタを使用でき
る。図11（ｃ）のように同一の空間的位置を持つ画素を
残すように、得られた補間データを間引き、間引き後の
データはフィールドメモリ４へ出力される。フィールド
メモリ４にて、水平方向を第１次方向とし、垂直方向を
第２次方向とし、時間方向を第３次方向として、複数の
画素毎の３次元ブロックが構成される。３次元直交変換
回路５にて、構成された３次元ブロックを単位として３
次元DCT が施される。

【００６１】復号系では、３次元逆直交変換された３次
元ブロックデータが、フィールドメモリ15で画素の空間
的位置が一致しているフィールドデータ（図11（ｄ））
となる。ここで元の画素データを再現するために、符号
系の場合と同様に零データを挿入し補間フィルタに通す
と、図11（ｅ）のようなデータが得られる。更に、□の
データを間引けば図11（ａ）と同じ飛び越し走査方式の
ディジタル信号（図11（ｆ））が得られる。

【００６２】図14, 15, 16は以上の様子を周波数軸上で
概念的に示している。各図において、縦軸は垂直方向の
周波数、横軸は時間方向の周波数を表わしている。図14
は図11（ａ）に対応した飛び越し走査時の図であり、情
報はオフセットサブサンプリングの効果で斜め方向に織
り込まれている。図15は２倍オーバーサンプリングで画
素数が２倍になった状態（図11（ｂ））に対応してお
り、垂直低域通過フィルタによって垂直の低域成分が抽
出される。

【００６３】さらに図16は１／２間引きにより画素数が
元に戻った状態（図11（ｃ））に対応しており、垂直方
向の折り返された高域成分がうまく時間方向に分離され
ているので、情報圧縮に有利に働く。一方、復号系では
符号系とは逆の経路をたどるので、図11（ｄ），
（ｅ），（ｆ）は夫々図16，15，14に対応し、元の飛び
越し走査方式のディジタル信号が復元される。

【００６４】上記例では、画素の位置合わせにオーバー
サンプリングと１／２間引きの手法とを使用したが、オ
ールパスフィルタを用いて即座に位置合わせを行なうこ
ともできる。例えば、図12の●印のレスポンスを持つフ
ィルタを奇数フィールドに適用し、○印のレスポンスを
持つフィルタを偶数フィールドに適用すればよい。

【００６５】次に、タップ数が偶数のフィルタでも同様
の処理が行えることを示す。偶数タップの補間フィルタ
の例として図13のようなインパルス応答を示すものがあ
る。飛び越し走査方式の信号（図11（ａ））に対し奇数
タップのフィルタのときと同じように垂直方向へ一つ置
きに零データを挿入し（図11（ｂ））補間フィルタに通
すと、２倍オーバーサンプリングの補間データが得られ
る。但し、偶数タップのフィルタの重心が画素上ではな
く、隣合う画素の中間に位置するので、フィルタリング
後の画素の位置は１／４ライン移動することになる。１
／２間引きにより、図11（ｃ′）に示すように、同一の
空間位置を持つ画素が得られる。このときの周波数スペ
クトルは奇数タップのフィルタのときと何ら変わらな
い。

【００６６】復号時に補間フィルタへ入力される信号は
図11（ｄ′）であり、零データを挿入しフィルタリング
すると符号時と同じように１／４ラインずれるので、図
11（ｅ）の信号が得られる。奇数タップのフィルタのと
きと同じようにオフセットサブサンプリングすれば、元
の飛び越し走査方式のディジタル信号（図11（ｆ））が
得られる。

【００６７】また、奇数タップのフィルタを使用する場
合と同じように、偶数タップのフィルタを用いる場合に
も、図13の●印のレスポンスを奇数フィールドに○印の
レスポンスを偶数フィールドに夫々適用すれば、即座に
奇数，偶数フィールドにおける画素の位置合わせを行な
える。

【００６８】以上のように、第２実施例では、飛び越し
走査方式のビデオ信号に対し、フィールド内で垂直の補
間フィルタにより奇数，偶数フィールドの画素の２次元
空間上の位置を合わせた後、時間方向に奇数，偶数フィ
ールドを束ねて３次元ブロックを構成し、これを直交変
換して符号化するようにしたので、飛び越し走査方式の
ビデオ信号に対して顕著に情報圧縮を行える。なお、こ
の第２実施例と第１実施例とを組み合わせてもよいこと
は勿論である。

【００６９】なお、上記実施例では、Ｙ信号を13.5MHz,
Ｒ−Ｙ信号，Ｂ−Ｙ信号を6.75MHzで標本化する、いわ
ゆる４：２：２コンポーネント信号を例にとり説明した
が、標本化の際の周波数はこれに限らないことは言うま
でもない。

【００７０】

【発明の効果】以上のように、本発明の符号化方法、符
号化装置及び符号化・復号化装置では、疑似動画成分が
現れない変換係数についてのみ重み付け量子化を行う
か、または疑似動画成分が現れない変換係数に対して、
疑似動画成分が現れる変換係数に比べ、低レートの重み
付けをしてより粗く量子化することにしたので、動画，
静止画の判別を行うことなく、また静止画の画質劣化を
招くことなく、動画時の情報量を大幅に削減することが
できる。

【００７１】また、本発明の符号化方法及び符号化装置
では、飛び越し走査方式のビデオ信号に対し、フィール
ド内で垂直の補間フィルタにより奇数，偶数フィールド
の画素の２次元空間上の位置を合わせた後、時間方向に
奇数，偶数フィールドを束ねて３次元ブロックを構成
し、これを直交変換して符号化するようにしたので、飛
び越し走査方式のビデオ信号に対して顕著に情報圧縮を
行えるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１実施例に応じた装置構成を示すブ
ロック図である。

【図２】３次元ブロックを示す概念図である。

【図３】変換係数を符号化する際に使用する２次元ビッ
トマップ図である。

【図４】２次元変換係数の走査図である。

【図５】直交変換後の変換係数のパワー分布図である。

【図６】DCT の基底ベクトルを示す図である。

【図７】重み付け係数の一実施例を示す図である。

【図８】重み付け係数の他の実施例を示す図である。

【図９】重み付け係数の更に他の実施例を示す図であ
る。

【図１０】本発明の第２実施例に応じた装置構成を示す
ブロック図である。

【図１１】第２実施例の動作を説明するための画素を示
す概念図である。

【図１２】奇数タップ補間フィルタのインパルス応答の
一例を示す図である。

【図１３】偶数タップ補間フィルタのインパルス応答の
一例を示す図である。

【図１４】飛び越し走査時のスペクトル分布を示す概念
図である。

【図１５】オーバーサンプリング時のスペクトル分布を
示す概念図である。

【図１６】画素の位置合わせ時のスペクトル分布を示す
概念図である。

【図１７】飛び越し走査されない方式の従来の３次元ブ
ロックを示す概念図である。

【図１８】テレビ画面の飛び越し走査の原理を説明する
ための図である。

【図１９】標準テレビジョン方式におけるフィールドと
フレームの関係を示す概念図である。

【符号の説明】

２ NTSCデコーダ３Ａ／Ｄ変換器４フィールドメモリ５３次元直交変換回路６重み付け量子化器７可変長符号器９符号器 10 垂直補間フィルタ 12 可変長復号器 13 重み付け逆量子化器 14 ３次元逆直交変換回路 15 フィールドメモリ 16 Ｄ／Ａ変換器 17 NTSCエンコーダ 19 復号器 20 垂直補間フィルタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者浅村吉範京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者伊藤俊京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者塚本学京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (56)参考文献特開昭63−224568（ＪＰ，Ａ) ＳＰＩＥＶｏｌ．66（1975）”ＥｆｆｉｃｉｅｎｔＴｒａｎｓｍｉｓｓｉｏｎｏｆＰｉｃｔｏｒｉａｌＩｎｆｏｒｍａｔｉｏｎ”ｐ58−69，（ＲＥＡＬ−ＴＩＭＥＶＩＤＥＯＣＯＭＰＲＥＳＳＩＯＮＡＬＧＲＯＲＩＴＨＭＦＯＲＨＡＤＡＭＡＲＤＴＲＡＮＳＦＯＲＭＰＲＯＣＥＳＳＩＮＧ)

Claims

(57)【特許請求の範囲】

【請求項１】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を量子化して符号化するステップとを有し、ブロック
化された信号が静止画を示す場合にその値がゼロとなる
変換係数に対しては重み付けした後、量子化を行うこと
を特徴とする符号化方法。
【請求項２】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成するステップと、構成
された３次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を量子化
して符号化するステップとを有し、３次元ブロック化さ
れた信号が静止画を示す場合にその値がゼロとなる変換
係数に対しては重み付けした後、量子化を行うことを特
徴とする符号化方法。
【請求項３】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を重み付け量子化して符号化するステップとを有し、
ブロック化された信号が静止画を示す場合にその値がゼ
ロとなる変換係数に対して、ゼロにならない変換係数に
比べて、低いレートの重み付けを行うことを特徴とする
符号化方法。
【請求項４】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成するステップと、構成
された３次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を重み付
け量子化して符号化するステップとを有し、３次元ブロ
ック化された信号が静止画を示す場合にその値がゼロと
なる変換係数に対して、ゼロにならない変換係数に比べ
て、低いレートの重み付けを行うことを特徴とする符号
化方法。
【請求項５】飛び越し走査方式の、連続する複数フィ
ールドのディジタルビデオ信号を符号化する符号化方法
において、前記ディジタルビデオ信号に対して各フィー
ルド内で垂直方向における画素を用いて演算を行い、奇
数フィールド，偶数フィールドにおける画素の空間的位
置を合わせるステップと、各フィールドの水平方向の画
素を第１次成分とし、各フィールドの垂直方向の画素を
第２次成分とし、２次元空間でほぼ同一位置となる複数
フィールドの画素を第３次成分として、複数の画素毎に
３次元ブロックを構成するステップと、構成された３次
元ブロックを単位として３次元直交変換を行なって変換
係数を得るステップと、３次元ブロックが静止画である
場合に値がゼロとなる変換係数に対し、重み付けした
後、得られた変換係数を符号化するステップとを有する
ことを特徴とする符号化方法。
【請求項６】飛び越し走査方式の、連続する複数フィ
ールドのディジタルビデオ信号を符号化する符号化装置
において、各フィールド内で水平及び垂直方向に隣接す
る画素をまとめて２次元ブロックを構成し、この２次元
ブロックを連続する複数フィールド分束ねて３次元ブロ
ックを構成する手段と、構成された３次元ブロックに対
して、水平、垂直、フィールド方向を各次元とする３次
元直交変換を施して変換係数を得る手段と、３次元ブロ
ックが静止画である場合に値がゼロとなる変換係数に対
し、重み付けした後、量子化を行う手段とを備えること
を特徴とする符号化装置。
【請求項７】飛び越し走査方式の、連続する複数フィ
ールドのディジタルビデオ信号を符号化する符号化装置
において、前記ディジタルビデオ信号に対して各フィー
ルド内で垂直方向における画素を用いて演算を行い、奇
数フィールド，偶数フィールドにおける画素の空間的位
置を合わせる手段と、各フィールドの水平方向の画素を
第１次成分とし、各フィールドの垂直方向の画素を第２
次成分とし、２次元空間でほぼ同一位置となる複数フィ
ールドの画素を第３次成分として、複数の画素毎に３次
元ブロックを構成する手段と、構成された３次元ブロッ
クに３次元直交変換を施して変換係数を得る手段と、３
次元ブロックが静止画である場合に値がゼロとなる変換
係数に対し、重み付けした後、得られた変換係数を符号
化する手段とを備えることを特徴とする符号化装置。
【請求項８】入力される飛び越し走査方式の、連続す
る複数フィールドのディジタルビデオ信号を符号化し、
符号化されたデータを復号化してディジタルビデオ信号
を得る符号化・復号化装置において、各フィールド内で
水平および垂直方向に隣接する画素をまとめて２次元ブ
ロックを構成し、この２次元ブロックを連続する複数フ
ィールド分束ねて３次元ブロックを構成する手段と、構
成された３次元ブロックに対して、水平、垂直、フィー
ルド方向を各次元とする３次元直交変換を施して変換係
数を得る手段と、前記３次元ブロックが静止画である場
合に値がゼロとなる変換係数に対しては重み付けした
後、量子化を行う手段と、量子化された変換係数を符号
化する手段と、符号化されたデータを復号化して変換係
数を得る手段と、得られた変換係数を逆量子化する手段
と、逆量子化された変化係数に逆直交変換を施して３次
元ブロックを得る手段と、得られた３次元ブロックを合
成して元のディジタルビデオ信号を得る手段とを備える
ことを特徴とする符号化・復号化装置。