JP6221820B2 - 符号化装置、符号化方法および符号化プログラム - Google Patents

Description

本発明は、画像データを圧縮符号化する際に用いて好適な符号化装置、符号化方法および符号化プログラムに関する。

近年、デジタルハイビジョン放送やＨＤ(High Definition)画像に対応する録画装置の普及、デジタルカメラの高解像度化などにより、家庭で使用するテレビジョン受像機などにおいても、大画面化および高解像度化が進んでいる。このため、テレビジョン受像機において画像処理を行うＬＳＩ(Large-Scale Integration)についても、ＨＤ画像に対応したＬＳＩの需要が高まっている。

ところで、画像処理において、エンハンサやフレームレート変換処理などは、１フレーム以上の画像データをＤＤＲ ＳＤＲＡＭ(Double-Data-Rate Synchronous Dynamic Random Access Memory)といった、高速なアクセスが可能なメモリに格納する必要がある。このような画像データを格納するためのメモリは、高速なアクセスが要求されるために高価であり、また、上述したＨＤ画像の画像データを複数フレーム格納するためには、大容量のメモリが複数個必要になる場合もあり、製品のコストアップや、部品点数増加の要因となっている。

そのため、画像データを圧縮符号化してメモリに格納する技術が従来から開発されている。画像データの圧縮符号化方式の一つとして、ＭＰＥＧ(Moving Pictures Experts Group)方式が知られているが、アルゴリズムが複雑であるため回路をＬＳＩ化した場合に大面積を占めることになり、画像の高画質化処理に特化した信号処理用ＬＳＩや、安価な画像処理用ＬＳＩに適用するには不向きである。特許文献１では、対象画素の符号化に先行して、対象画素に対してライン方向（水平方向）に隣接し、既に符号化が完了した画素の画素値を用いて１次元で対象画素の画素値を予測することで、圧縮符号化を行う方法が開示されている。

また、対象画素が含まれるラインに対して、符号化順で１つ前のラインの、対象画素に対応するライン上の位置（水平位置）およびその近傍の画素の画素値をさらに用いて、２次元で当該対象画素の画素値を予測して圧縮符号化を行う方法も知られている。この２次元で画素値を予測する方法を用いることで、１次元で画素値を予測した場合に対して符号化効率を向上させることが可能となる。

ところで、近年では、２次元の画像を立体的に見せる、所謂３Ｄ映像に関する技術が発達し、３Ｄ映像を供給するための装置も、普及してきている。３Ｄ映像の伝送フォーマットの一つとして、左目用および右目用の画像信号を１ラインおきに交互に配置して表示させる、ＬＢＬ(ラインバイライン：Line-by-Line)方式がある。

特開平７−１５３４７号公報

ＬＢＬ方式では、隣接するライン間の相関が一般の画像に対して小さいと考えられる。そのため、ＬＢＬ方式による画像信号に対して、上述した２次元で画素値を予測する圧縮符号化方式を適用した場合、対象画素位置以外で予測方向を決定すると、予測方向が実際の対象画素位置において予測誤差が最小となる予測方向と異なる場合が生じる可能性がある。この場合、縦方向での予測誤差が大きくなることがあり、場合によっては、予測誤差が下方向に伝播してしまう可能性があるという問題点があった。

本発明は、上記に鑑みてなされたものであって、ライン毎に交互に異なる画像を配した画像データを適切に圧縮符号化可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力画像データに含まれる入力画素と、入力画素を予測した予測画素との差分を符号化する符号化部と、符号化部で符号化された差分を復号し、復号された差分に予測画素を加算して得られた復号画素を記憶する第１の記憶部と、入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順でライン周期のライン数前の第２のラインにおける、符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、第２のラインに対して符号化順でライン数前の第３のラインにおける、第１の復号画素にライン上での位置が対応する第３の復号画素と第３の復号画素に第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、第１の復号画素との相関が高い復号画素の第１の復号画素に対する方向を予測方向として決定する予測方向決定部と、予測方向決定部によって決定した予測方向に従い、第１の記憶部から復号画素を選択して予測画素として出力する選択部とを有することを特徴とする。

また、本発明は、入力画像データに含まれる入力画素と、入力画素を予測した予測画素との差分を符号化する符号化ステップと、符号化ステップにより符号化された差分を復号し、復号された差分に予測画素を加算して得られた復号画素を第１の記憶部に記憶する第１の記憶ステップと、入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順でライン周期のライン数前の第２のラインにおける、符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、第２のラインに対して符号化順でライン数前の第３のラインにおける、第１の復号画素にライン上での位置が対応する第３の復号画素と第３の復号画素に第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、第１の復号画素との相関が高い復号画素の第１の復号画素に対する方向を予測方向として決定する予測方向決定ステップと、予測方向決定ステップによって決定した予測方向に従い、第１の記憶部から復号画素を選択して予測画素として出力する選択ステップとを有ることを特徴とする。

また、本発明は、入力画像データに含まれる入力画素と、入力画素を予測した予測画素との差分を符号化する符号化ステップと、符号化ステップにより符号化された差分を復号し、復号された差分に予測画素を加算して得られた復号画素を第１の記憶部に記憶させる第１の記憶ステップと、入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順でライン周期のライン数前の第２のラインにおける、符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、第２のラインに対して符号化順でライン数前の第３のラインにおける、第１の復号画素にライン上での位置が対応する第３の復号画素と第３の復号画素に第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、第１の復号画素との相関が高い復号画素の第１の復号画素に対する方向を予測方向として決定する予測方向決定ステップと、予測方向決定ステップによって決定した予測方向に従い、第１の記憶部から復号画素を選択して予測画素として出力する選択ステップとをコンピュータに実行させる。

本発明によれば、ライン毎に交互に異なる画像を配した画像データを適切に圧縮符号化することができるという効果を奏する。

図１は、既存の技術による符号化装置の一例の構成を示すブロック図である。 図２は、既存の技術による、復号データバッファが提供する対象画素の周辺画素について説明するための図である。 図３は、ＬＢＬ方式による画像データを概略的に示す図である。 図４は、第１の実施形態による符号化装置の一例の構成を示すブロック図である。 図５は、第１の実施形態に係る、復号データバッファが提供する、対象画素の周辺画素について説明するための図である。 図６は、第１の実施形態に適用可能な復号装置の一例の構成を示すブロック図である。 図７は、第２の実施形態による画像処理装置の一例の構成を示すブロック図である。

以下に添付図面を参照して、符号化装置および符号化方法の好適な実施形態を詳細に説明する。係る実施形態に示す具体的な数値および外観構成などは、本発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本発明に直接関係のない要素は詳細な説明および図示を省略している。

（既存技術による符号化方法）
先ず、理解を容易とするために、既存技術による符号化方法について説明する。図１は、既存の技術による符号化装置の一例の構成を示す。図１において、符号化装置１０ａは、減算器１００と、差分符号化部１０１と、局部復号部１０２と、復号データバッファ１０３ａと、予測方向決定部１０４と、予測方向バッファ１０５ａと、予測画素選択部１０６とを含む。また、局部復号部１０２は、差分復号部１０２１と、加算器１０２２とを含む。

符号化装置１０ａは、入力データとして、１フレームが１の画像で構成される画像フォーマットの画像データ（通常方式の画像データと呼ぶ）が、例えば画像の上端側から下端側に向けて、ライン毎に順次入力されるものとする。また、各ラインにおいては、画像データが、画像の左端側から右端側に向けて、画素単位で順次入力される。入力画素データＳ₀が入力され、この入力画素データＳ₀を符号化してよりビット幅の小さい符号化データＳ₁を出力する。

対象画素としての入力画素データＳ₀が符号化装置１０ａに供給され、減算器１００の被減算入力端に入力される。減算器１００の減算入力端には、後述する予測画素選択部１０６から出力された予測画素値Ｓ₆が入力される。減算器１００は、被減算入力端に入力された入力画素データＳ₀の画素値から減算入力端に入力された予測画素値Ｓ₆の画素値を減算し、差分値Ｓ_ｄを差分符号化部１０１に対して出力する。

差分符号化部１０１は、差分値Ｓ_dを所定の符号化処理方法を用いて符号化して、ビット幅が入力画素データＳ₀より小さい符号化データＳ₁を出力する。差分符号化部１０１が用いる符号化方法は、特に限定されないが、例えば量子化テーブルによる量子化を当該符号化方法として用いることができる。符号化データＳ₁は、出力データとして符号化装置１０ａの外部に出力される。

符号化データＳ₁は、符号化装置１０ａから出力された後、伝送路や記録経路などを介して復号装置に供給されて復号され、入力画素データＳ₀と同じビット幅の復号画素データとされる。なお、復号画素データは、符号化および復号処理の過程において、符号化装置１０ａに入力された入力画素データＳ₀との誤差（復号誤差）を生じ、入力画素データＳ₀と必ずしもデータ値が一致するものではない。

差分符号化部１０１から出力された符号化データＳ₁は、局部復号部１０２にも供給される。局部復号部１０２に供給された符号化データＳ₁は、差分復号部１０２１に入力される。

差分復号部１０２１は、入力された符号化データＳ₁に対して差分符号化部１０１と逆の処理を施して復号し、復号されたデータを加算器１０２２の第１入力端に入力する。加算器１０２２の第２入力端には、後述する予測画素選択部１０６から、上述した予測値Ｓ₆が入力される。加算器１０２２は、第１入力端に入力されたデータ値と、第２入力端に入力された予測画素値Ｓ₆とを加算して、復号データＳ₂として出力する。

復号データＳ₂は、復号データバッファ１０３ａに記憶される。復号データバッファ１０３ａは、少なくとも１ライン分＋１画素分の画素データを記憶可能とされている。１ライン分の画素に対する追加分のこの１画素は、ＦＦ(Flip Flop)回路などで別途保持してもよい。また、復号データバッファ１０３ａは、ＦＩＦＯ(First In, First Out)方式で制御され、１ライン分の画素データが記憶されている状態で１画素分の画素データが入力されると、最も先に記憶された１画素の画素データが掃き出されるようになっている。復号データバッファ１０３ａから掃き出された画素データは、例えば破棄される。

復号データバッファ１０３ａは、予測方向決定部１０４に対して、対象画素の１ライン上、すなわち、対象画素が位置するラインに対して符号化順で１ライン前のラインに位置する復号データを含む、対象画素の周辺画素を提供する。

図２を用いて、復号データバッファ１０３ａが提供する、対象画素の周辺画素について説明する。図２において、横軸は、画像の水平方向すなわち１ライン期間方向を示し、縦軸は、画像の垂直方向すなわち１フレーム期間方向を示す。各画素Ｄ₁₁、Ｄ₁₂、…、Ｄ₂₁、Ｄ₂₂、…、Ｄ₃₁、Ｄ₃₂、…において、添字は、左からライン番号およびライン上での画素位置（水平画素位置）を示す。すなわち、画素Ｄ₁₁、Ｄ₁₂、Ｄ₁₃は、第１ライン目の画素であり、画素Ｄ₁₂、Ｄ₂₂、Ｄ₃₂は、各ラインでライン上の位置が対応する画素である。

対象画素の周辺画素は、対象画素に近接し、且つ、符号化済みの画素である。したがって、周辺画素は、対象画素に対して符号化順で前の画素が選択される。図２の例では、対象画素を画素Ｄ₂₂とした場合、周辺画素として、画素Ｄ₂₂と同ラインで、且つ、画素Ｄ₂₂に対して符号化順で１画素前の画素Ｄ₂₁が選択される。さらに、画素Ｄ₂₂の周辺画素として、画素Ｄ₂₂が位置するラインに対して符号化順で１ライン前のラインの、画素Ｄ₂₂にライン上の位置が対応する画素Ｄ₁₂が選択される。さらにまた、画素Ｄ₂₂の周辺画素として、当該画素Ｄ₁₂と同ラインに位置し、且つ、当該画素Ｄ₁₂に隣接する、画素Ｄ₁₁およびＤ₁₃が選択される。

予測方向決定部１０４は、復号データバッファ１０３ａから提供される、上述した対象画素と各周辺画素とを用いて、対象画素と各周辺画素との間で相関が高い方向を優先して複数の方向から選択し、選択した方向を予測方向とし、予測方向を示す予測方向データＳ₄を出力する。例えば、予測方向決定部１０４は、対象画素と各周辺画素との間で最も相関が高い方向を選択して、選択した方向を予測方向として決定する。

例えば、周辺画素が対象画素の左隣、直上、左上および右上にそれぞれ位置する画素である場合（図２の例では画素Ｄ₂₁、Ｄ₁₂、Ｄ₁₁およびＤ₁₃の４画素）、予測方向決定部１０４は、水平方向、垂直方向、左斜め上方向および右斜め上方向の４方向を候補とする。予測方向決定部１０４は、対象画素の画素値と、各周辺画素の画素値との差分値をそれぞれ求める。予測方向決定部１０４は、求めた各差分値に基づき、所定の演算により、各周辺画素について、対象画素との相関度を示す評価値を算出し、算出した評価値から、候補となった４方向から予測方向を決定する。

評価値は、例えば、各周辺画素について求めた画素値の各差分値を用いることができる。評価値の算出方法は、差分値に限らず、他の方法を用いてもよい。また、評価値を算出する際の差分を求める画素の位置や数も、上述の例に限定されない。

予測方向データＳ₄は、予測方向バッファ１０５ａに記憶される。予測方向バッファ１０５ａは、予測方向データＳ₄を所定の期間、記憶する。予測方向バッファ１０５ａが予測方向データＳ₄を記憶する期間は、例えば、後述する予測画素選択部１０６で必要とする予測方向データＳ₅の、予測方向決定部１０４から供給された予測方向データＳ₄に対する既知のデータ遅延に応じて設定することができる。

予測方向バッファ１０５ａは、予測画素選択部１０６に対して、復号データバッファ１０３ａに記憶される復号データを選択するための予測方向データＳ₅を提供する。より具体的には、図２の例では、予測方向バッファ１０５ａが提供する予測方向データＳ₅は、対象画素の１ライン上、すなわち、対象画素の位置するラインに対して符号化順で１ライン前のラインにおいて、ライン上での当該対象画素の位置に対応する位置の画素に対して既に求められた予測方向データである。図２の例では、対象画素Ｄ₂₂に基づき求められた予測方向データＳ₅は、当該画素Ｄ₂₂の１ライン下の画素Ｄ₃₂に適用される。すなわち、この画素Ｄ₃₂が、対象画素に基づき求められた予測方向データＳ₄が適用される符号化対象画素となる。

予測画素選択部１０６は、復号データバッファ１０３ａに記憶される各画素データから、対象画素に対する周辺画素の画素データのうち予測方向データＳ₅に示される予測方向に対応する画素の画素データを選択する。予測画素選択部１０６は、選択した画素の画素データを復号データバッファ１０３ａから取得して、当該画素データの画素値を上述した予測画素値Ｓ₆として出力する。

（第１の実施形態）
次に、第１の実施形態に係る符号化方法について説明する。３Ｄ映像の伝送フォーマットの一つとして、左目用および右目用の画像信号を１ラインおきに交互に配置して表示させる、ＬＢＬ(ラインバイライン：Line-by-Line)方式がある。図３は、ＬＢＬ方式による画像データを概略的に示す。ＬＢＬ方式の画像データは、図３に例示されるように、１フレームの画像データに対し、左目用の画像Ｌの画像データと、右目用の画像Ｒの画像データとが１ラインおきに交互に配置されて構成される、複合画像データである。このように、ＬＢＬ方式の画像データは、２ライン周期で互いに異なる画像である画像Ｌおよび画像Ｒを含む。

上述した既存技術による符号化方法では、対象画素の周辺画素として、常に当該対象画素の１ライン上の画素、すなわち、対象画素が位置するラインに対して符号化順で１ライン前のラインの画素を用いている。一方、ＬＢＬ方式の画像データは、図３に例示したように、１フレームの画像データに異なる画像データが１ラインおきに交互に配置されている。そのため、ＬＢＬ方式のフォーマットによる画像データに対して上述した既存技術による対象画素と周辺画素とを適用した場合、これら対象画素と周辺画素との間の相関が極めて低くなってしまう可能性がある。したがって、既存技術による符号化方法で用いられる周辺画素は、予測画素値を得るための画素の候補として適さないと考えられる。

そのため、本第１の実施形態では、対象画素の周辺画素として、対象画素が位置するラインに対して符号化順で２ライン前のラインの画素を用いる。これにより、対象画素と周辺画素とを、画像Ｌおよび画像Ｒのうち同一の画像から選択することができ、適切に予測画素値を取得することが可能となる。

図４は、第１の実施形態による符号化装置の一例の構成を示す。なお、図４において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図４において、符号化装置１０ｂは、図１に示した符号化装置１０ａに対して入力モード信号Ｍ₀が入力される点が異なっている。入力モード信号Ｍ₀は、入力データが、ＬＢＬ方式の画像データであるか、通常方式の画像データであるかを示す信号である。入力モード信号Ｍ₀は、復号データバッファ１０３ｂおよび予測方向バッファ１０５ｂの動作を切り替える。

入力モード信号Ｍ₀は、例えば、この符号化装置１０ｂが適用される上位の装置に対するユーザ操作に応じて入力される。これに限らず、入力モード信号Ｍ₀は、入力データの所定位置に含んで供給してもよい。この場合、例えば符号化装置１０ｂの前段などにおいて、入力データから入力モード信号Ｍ₀が取り出されて、符号化装置１０ｂに供給される。

以下、入力モード信号Ｍ₀が、入力データがＬＢＬ方式の画像データであることを示す場合の、符号化装置１０ｂの動作について説明する。なお、入力モード信号Ｍ₀が、入力データが通常方式の画像データであることを示す場合の符号化装置１０ｂの動作は、上述した既存技術による符号化装置１０ａの動作と同等となる。

第１の実施形態に係る符号化装置１０ｂにおいて、復号データバッファ１０３ｂは、予測方向決定部１０４に対して、対象画素が位置するラインの画素と、当該対象画素が位置するラインの２ライン上、すなわち、対象画素が位置するラインに対して符号化順で２ライン前のラインに位置する復号データとを含む、対象画素の周辺画素を提供する。すなわち、第１の実施形態に係る復号データバッファ１０３ｂは、少なくとも２ライン分＋１画素分の画素データを記憶可能とされている。２ライン分の画素に対する追加分のこの１画素は、ＦＦ回路などで別途保持してもよい。

図５を用いて、第１の実施形態に係る、復号データバッファ１０３ｂが提供する、対象画素の周辺画素について説明する。図５において、上述の図２と同様に、横軸は、画像の水平方向すなわち１ライン期間方向を示し、縦軸は、画像の垂直方向すなわち１フレーム期間方向を示す。各画素ＬＤ₁₁、ＬＤ₁₂、…、ＬＤ₂₁、ＬＤ₂₂、…、ＬＤ₃₁、ＬＤ₃₂、…は、左目用の画像Ｌの各ラインの画素を示す。また、各画素ＲＤ₁₁、ＲＤ₁₂、…、ＲＤ₂₁、ＲＤ₂₂、…は、右目用の画像Ｒの各ラインの画素を示す。各添字の意味は、左から、画像Ｌまたは画像Ｒ内でのライン番号およびライン上での画素位置を示す。例えば、画素ＬＤ₁₁、ＬＤ₁₂、…が位置するラインがフレームの１ライン目のラインとした場合、画素ＲＤ₁₁、ＲＤ₁₂、…が位置するラインは、フレームの２ライン目のラインとなる。

第１の実施形態においては、対象画素を画素ＬＤ₂₂とした場合、周辺画素として、画素ＬＤ₂₂と同ラインで、且つ、画素ＬＤ₂₂に対して符号化順で１画素前の画素ＬＤ₂₁が選択される。さらに、画素ＬＤ₂₂の周辺画素として、画素ＬＤ₂₂が位置するラインに対して符号化順で２ライン前のラインの、画素ＬＤ₂₂にライン上の位置が対応する画素ＬＤ₁₂が選択される。さらにまた、画素ＬＤ₂₂の周辺画素として、当該画素ＬＤ₁₂と同ラインに位置し、且つ、当該画素ＬＤ₁₂に隣接する、画素ＬＤ₁₁およびＬＤ₁₃が選択される。

これは、右目用画像Ｒの各画素についても同様である。例えば、右目用画像Ｒにおいて画素ＲＤ₂₂を対象画素とした場合、当該画素ＲＤ₂₂に対する周辺画素は、当該画素ＲＤ₂₂と同ラインに位置する画素ＲＤ₂₁と、当該画素ＲＤ₂₂が位置するラインの符号化順で２ライン前のラインに位置する画素ＲＤ₁₁、ＲＤ₁₂およびＲＤ₁₃となる。

このように、第１の実施形態の符号化装置１０ｂによれば、入力モード信号Ｍ₀が、入力データがＬＢＬ方式の画像データであることを示す場合には、対象画素と当該対象画素の周辺画素とが画像Ｌおよび画像Ｒのうち同一の画像のデータとなる。そのため、対象画素と周辺画素との相関性が保たれる。

予測方向決定部１０４は、復号データバッファ１０３ｂから提供される、上述した対象画素と、当該対象画素が位置するラインに対して符号化順で２ライン前のライン上の復号データを含む周辺画素とを用いて、対象画素と各周辺画素との間で最も相関が高い方向を優先して複数の方向から選択し、選択した方向を予測方向とし、予測方向を示す予測方向データＳ₄を出力する。例えば、予測方向決定部１０４は、対象画素と各周辺画素との間で最も相関が高い方向を選択して、選択した方向を予測方向として決定する。

予測方向データＳ₄は、予測方向バッファ１０５ｂに記憶される。予測方向バッファ１０５ｂは、予測方向データＳ₄を所定の期間、記憶する。予測方向バッファ１０５ｂが予測方向データＳ₄を記憶する期間は、上述と同様に、予測画素選択部１０６で必要とする予測方向データＳ₅の、予測方向決定部１０４から供給された予測方向データＳ₄に対する既知のデータ遅延に応じて設定することができる。

予測方向バッファ１０５ｂは、予測画素選択部１０６に対して、復号データバッファ１０３ｂに記憶される復号データを選択するための予測方向データＳ₅を提供する。より具体的には、図５の例では、第１の実施形態に係る予測方向バッファ１０５ｂが提供する予測方向データＳ₅は、対象画素の２ライン上、すなわち、対象画素の位置するラインに対して符号化順で２ライン前のラインにおいて、ライン上での当該対象画素の位置に対応する位置の画素に対して既に求められた予測方向を示す予測方向データである。図５の例では、対象画素ＬＤ₂₂に基づき求められた予測方向データＳ₅は、当該画素ＬＤ₂₂の２ライン下の画素ＬＤ₃₂に適用される。すなわち、この画素ＬＤ₃₂が、対象画素に基づき求められた予測方向データＳ₄が適用される符号化対象画素となる。

予測画素選択部１０６は、復号データバッファ１０３ｂに記憶される各画素データから、対象画素に対する周辺画素の画素データのうち予測方向データＳ₅に示される予測方向に対応する画素の画素データを選択する。

例えば、対象画素をＬＤ₂₂とし、予測方向が左隣、直上、左上および右上の何れかである場合について考える。この場合、予測画素選択部１０６は、復号データバッファ１０３ｂに提供される各画素データから、予測方向が左隣であれば画素ＬＤ₂₁の画素データを、予測方向が直上であれば画素ＬＤ₁₂の画素データを、予測方向が左上であれば画素ＬＤ₁₁の画素データを、予測方向が右上であれば画素ＬＤ₁₃の画素データを、予測方向データＳ₅に基づきそれぞれ選択する。

予測画素選択部１０６は、こうして選択した画素データの画素値を上述した予測画素値Ｓ₆として出力する。予測画素選択部１０６から出力された予測画素値Ｓ₆は、被減算入力端に対して符号化対象画素である次の入力画素の画素データが入力されている、減算器１００の減算入力端に入力される。

上述した既存技術による符号化装置１０ａでは、予測方向バッファ１０５ａは、入力データがＬＢＬ方式の画像データであるか否かに関わらず、常に対象画素の位置するラインの符号化順で１ライン前のライン上の画素による予測方向を提供していた。そのため、ＬＢＬ方式の画像フォーマットのように、隣接するラインが異なる画像によるものである場合には、対象画素と符号化順で１ライン前のライン上の画素との間の相関が小さく、１ライン前の画素を用いた予測方向の信頼性が低下する。

これに対して、第１の実施形態に係る符号化装置１０ｂでは、予測方向バッファ１０５ｂは、入力モード信号Ｍ₀が、入力データがＬＢＬ方式の画像データであることを示す場合に、対象画素が位置するラインに対して符号化順で２ライン前のラインの画素による予測方向を提供することができる。したがって、予測方向に係る画素と対象画素とが画像Ｌおよび画像Ｒのうち同じ側の画像の画素となるため、予測方向の信頼性が低下することがない。

なお、上述の構成において、例えばフレーム先頭のラインについては、符号化済みの画素データが存在しない。そのため、フレーム先頭のラインについては、符号化を行わないようにする。入力モード信号Ｍ₀がＬＢＬ方式を示している場合には、フレーム先頭から２ライン目までを符号化しないようにする。

（復号装置）
次に、第１の実施形態の符号化装置から出力された符号化データＳ₁を復号するための復号装置について説明する。復号装置は、基本的には、上述した符号化装置１０ｂと逆の処理を行うことになる。図６は、第１の実施形態に適用可能な復号装置の一例の構成を示す。

図６において、復号装置２０は、差分復号部２００と、加算器２０１と、復号データバッファ２１０と、予測方向決定部２１１と、予測方向バッファ２１２と、予測画素選択部２１３とを含む。復号装置２０において、入力モード信号Ｍ₀が入力され、復号データバッファ２１０および予測方向バッファ２１２に供給される。

符号化装置１０ｂで符号化された符号化データが差分復号部２００に入力される。差分復号部２００は、上述した差分復号部１０２１と同様に、入力された符号化データに対して差分符号化部１０１と逆の処理を施して復号する。差分復号部２００から出力されたデータは、加算器２０１の第１入力端に入力される。加算器２０１は、第１入力端に入力されたデータと、第２入力端に入力された後述する予測画素選択部２１３の出力とを加算する。加算器２０１の出力は、この復号装置２０に入力された符号化データを復号した復号データとして復号装置２０から外部に出力される。復号データは、符号化装置１０ｂに入力された入力画素データＳ₀とビット幅が同じ画素データである。

加算器２０１の出力は、復号データバッファ２１０にも供給される。復号データバッファ２１０は、上述した復号データバッファ１０３ｂと同様に、少なくとも２ライン分＋１画素分の復号データすなわち画素データを記憶可能とされている。２ライン分の画素に対する追加分のこの１画素は、ＦＦ回路などで別途保持してもよい。

上述した復号データバッファ１０３ｂと同様に、復号データバッファ２１０は、入力モード信号Ｍ₀が通常方式の画像データを示している場合には、予測方向決定部２１１に対して、対象復号画素の１ライン上、すなわち、対象復号画素が位置するラインに対して復号順で１ライン前のラインに位置する復号画素データを含む、対象復号画素の周辺復号画素を提供する。また、復号データバッファ２１０は、入力モード信号Ｍ₀がＬＢＬ方式の画像データを示している場合には、予測方向決定部２１１に対して、対象復号画素の２ライン上、すなわち、対象復号画素が位置するラインに対して復号順で２ライン前のラインに位置する復号画素データを含む、対象復号画素の周辺復号画素を提供する。

予測方向決定部２１１は、上述の予測方向決定部１０４と同様に、復号データバッファ２１０から提供される、上述した対象復号画素と各周辺復号画素とを用いて、対象復号画素と各周辺復号画素との間で相関の高い方向を優先して複数の方向から選択し、選択した方向を予測方向とし、予測方向を示す予測方向データを出力する。例えば、予測方向決定部２１１は、対象復号画素と各周辺復号画素との間で最も相関が高い方向を選択して、選択した方向を予測方向として決定する。

予測方向データは、予測方向バッファ２１２に記憶される。予測方向バッファ２１２は、上述の予測方向バッファ１０５ｂと同様に、予測方向データを所定の期間、記憶する。予測方向バッファ２１２が予測方向データを記憶する期間は、例えば、後述する予測画素選択部２１３で必要とする予測方向データの、予測方向決定部２１１から供給された予測方向データに対する既知のデータ遅延に応じて設定することができる。

予測方向バッファ２１２は、上述の予測方向バッファ１０５ｂと同様に、予測画素選択部２１３に対して、復号データバッファ２１０に記憶される復号画素データを選択するための予測方向データを提供する。

入力モード信号Ｍ₀が通常方式の画像データを示している場合には、予測方向バッファ２１２が提供する予測方向データは、図２の例では、対象復号画素の１ライン上、すなわち、対象復号画素の位置するラインに対して復号順で１ライン前のラインにおいて、ライン上での当該対象復号画素の位置に対応する位置の復号画素に対して既に求められた予測方向データである。また、入力モード信号Ｍ₀がＬＢＬ方式の画像データであることを示している場合には、予測方向バッファ２１２が提供する予測方向データは、図５の例では、対象復号画素の２ライン上、すなわち、対象復号画素の位置するラインに対して復号順で２ライン前のラインにおいて、ライン上での当該対象復号画素の位置に対応する位置の復号画素に対して既に求められた予測方向データである。

予測画素選択部２１３は、上述の予測画素選択部１０６と同様に、復号データバッファ２１０に記憶される各復号画素データから、対象復号画素に対する周辺画素の復号画素データのうち予測方向データに示される予測方向に対応する復号画素の復号画素データを選択する。予測画素選択部２１３は、選択した復号画素の復号画素データを復号データバッファ２１０から取得して、当該復号画素データの画素値を上述した予測画素値として加算器２０１の第２入力端に対して出力する。

（第１の実施形態の変形例）
なお、上述では、第１の実施形態に係る符号化装置１０ｂが、例えば右目画像Ｒおよび左目画像Ｌの異なる２の画像を１フレームの画像に含む画像データの符号化に適用可能なように説明したが、これはこの例に限定されない。すなわち、符号化装置１０ｂは、３以上の画像を１フレームの画像に含む画像データの符号化にも適用可能である。例えば、Ｎを２以上の整数とし、Ｎ枚の画像を１フレームの画像に含む場合、当該画像を、Ｎ枚の異なる画像の各ラインをＮライン周期で順次配置して構成する。

例えば、符号化装置１０ｂにおいて、復号データバッファ１０３ｂを、予測方向決定部１０４に対して、対象画素が位置するラインの画素と、当該対象画素が位置するラインのＮライン上、すなわち、対象画素が位置するラインに対して符号化順でＮライン前のラインに位置する復号データとを含む、対象画素の周辺画素を提供するように構成する。この場合、復号データバッファ１０３ｂは、少なくともＮライン分＋１画素分の画素データを記憶可能とされている。Ｎライン分の画素に対する追加分のこの１画素は、ＦＦ回路などで別途保持してもよい。予測方向バッファ１０５ｂも同様に、対象画素が位置するラインに対して符号化順でＮライン下のラインの画素に適用される予測方向データを提供するように構成する。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態による、符号化装置１０ｂと、復号装置２０とを画像処理部を有する画像処理装置に適用した例である。図７は、第２の実施形態による画像処理装置３００の一例の構成を示す。ここでは、画像処理装置３００の例として、ハイビジョン画像による画像データを入力してディスプレイに供給する映像装置を適用している。

画像処理装置３００は、入力部３１０、画像処理部３１１およびディスプレイ３１２を有する。入力部３１０は、画像データが入力される。入力部３１０は、画像データの入力を受け付ける。ハイビジョン画像の入力元は、特に限定しないが、デジタルテレビジョン放送を受信するチューナ、Ｂｌｕ−ｒａｙ（登録商標）ディスクなどディスク記録媒体を再生するプレーヤ、コンピュータ装置など様々に考えられる。入力部３１０は、入力された画像データを画像処理部３１１に供給する。また、入力された画像データがＬＢＬ方式および通常方式の何れの方式による画像データであるかを識別し、識別結果を示す識別信号を入力モード信号Ｍ₀として画像処理部３１１に供給する。

画像処理部３１１は、供給された画像データに対して、メモリ３３０を用いて所定の画像処理を施す。画像処理部３１１が行う画像処理の種類は、特に限定されないが、エンハンス処理、フレームレート変換処理、色調調整処理、解像度変換処理など、様々に考えられる。

画像処理部３１１は、上述した画像処理を、メモリ３３０を用いて行うことができる。一例として、画像処理部３１１は、入力部３１０から供給された画像データを、メモリインターフェイス（Ｉ／Ｆ）３２０を介して一旦メモリ３３０に格納する。そして、メモリから、メモリＩ／Ｆ３２０を介して画像データを読み出しつつ例えば画素単位で画像データに対して画像処理を施す。画像処理が施された画像データは、画像処理部３１１からメモリＩ／Ｆ３２０を介して順次メモリ３３０に書き込まれる。

画像処理部３１１で画像処理された画像データは、ディスプレイ３１２に供給される。例えば、画像処理部３１１は、画像処理が終了した画像データを、メモリＩ／Ｆ３２０を介してメモリ３３０に書き込む。１フレーム分の画像処理が終了すると、画像処理部３１１は、メモリ３３０からメモリＩ／Ｆ３２０を介して画像データを読み出して、ディスプレイ３１２に供給する。ディスプレイ３１２は、供給された画像データに基づく画像を表示する。

このような画像処理装置３００の構成において、メモリＩ／Ｆ３２０に対して、第１の実施形態に係る符号化装置１０ｂと、符号化装置１０ｂに対応する復号装置２０とを適用する。より具体的には、図７に例示されるように、メモリＩ／Ｆ３２０は、符号化側の構成として入力処理部３２１、符号化装置１０ｂおよび出力処理部３２２と、復号側の構成として入力処理部３２３、復号装置２０および出力処理部３２４とを有する。

画像処理部３１１から、例えばライン単位で画素順次に出力された画像データがメモリＩ／Ｆ３２０に供給され、入力処理部３２１に入力される。それと共に、画像処理部３１１から、出力した画像データがＬＢＬ方式による画像データであるか否かを示す制御信号がメモリＩ／Ｆ３２０に供給され、符号化装置１０ｂに入力される。入力処理部３２１は、入力された画像データに対してフレーム先頭である旨を示す信号の埋め込みなど所定の処理を施して、入力画素データＳ₀として符号化装置１０ｂに対して出力する。

また、画像処理部３１１から供給された入力モード信号Ｍ₀が符号化装置１０ｂおよび復号装置２０に供給される。符号化装置１０ｂは、供給された入力モード信号Ｍ₀に従い、対象画素に対して１ライン上および２ライン上の何れのラインの画素を用いて予測を行うかを決定する。同様に、復号装置２０は、供給された入力モード信号Ｍ₀に従い、対象復号画素に対して１ライン上および２ライン上の何れのラインの復号画素を用いて予測を行うかを決定する。

符号化装置１０ｂから出力された符号化データは、出力処理部３２２で、例えば予め定められたサイズのパケットに詰め込まれてメモリＩ／Ｆ３２０から出力される。メモリＩ／Ｆ３２０から出力された符号化データのパケットは、メモリ３３０に書き込まれる。

画像処理部３１１からメモリＩ／Ｆ３２０に対して、メモリ３３０に記憶された画像データ（符号化データ）の読み出しが指示される。メモリＩ／Ｆ３２０は、この指示に従い、メモリ３３０から符号化データをパケット毎に読み出し、入力処理部３２３に入力する。

入力処理部３２３は、入力された符号化データを復号装置２０に供給する。復号装置２０は、入力された符号化データを、入力モード信号Ｍ_０に従い復号して復号画素データを出力する。復号装置２０から出力された復号画素データは、出力処理部３２４により所定のフォーマットに整形され、メモリＩ／Ｆ３２０から画像処理部３１１に供給される。

このように、第１の実施形態に係る符号化装置１０ｂおよび復号装置２０を、画像処理部３１１がアクセスするメモリ３３０のメモリＩ／Ｆ３２０に組み込んで用いることで、メモリ３３０に格納される画像データのサイズを圧縮することができる。また、符号化は、画素単位で行われるので、高速な符号化／復号処理が可能である。さらに、メモリＩ／Ｆ３２０は、符号化および復号処理を、対象画素が位置するラインと、当該ラインに対して符号化（復号）順で１ライン前のライン上の画素を用いて行うか、当該対象画素が位置するラインに対して符号化（復号）順で２ライン前のライン上の画素を用いて行うかを、入力モード信号Ｍ₀に基づき切り替えることができる。そのため、ＬＢＬ方式による画像データと、ＬＢＬ方式ではない一般の画像データとの何れにも、共通の構成で対応可能である。

１０ａ，１０ｂ 符号化装置
２０ 復号装置
１００ 減算器
１０１ 差分符号化部
１０２ 局部復号部
１０３ａ，１０３ｂ，２１０ 復号データバッファ
１０４，２１１ 予測方向決定部
１０５ａ，１０５ｂ，２１２ 予測方向バッファ
１０６，２１３ 予測画素選択部
２００ 差分復号部
３００ 画像処理装置
３１１ 画像処理部
３２０ メモリＩ／Ｆ
３３０ メモリ
１０２１ 差分復号部
１０２２，２０１ 加算器

Claims (3)

1. 入力画像データに含まれる入力画素と、前記入力画素を予測した予測画素との差分を符号化する符号化部と、
   前記符号化部で符号化された前記差分を復号し、復号された前記差分に前記予測画素を加算して得られた復号画素を記憶する第１の記憶部と、
   前記入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、前記第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順で前記ライン周期のライン数前の第２のラインにおける、前記符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、前記第２のラインに対して符号化順で前記ライン数前の第３のラインにおける、前記第１の復号画素にライン上での位置が対応する第３の復号画素と前記第３の復号画素に前記第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、前記第１の復号画素との相関が高い復号画素の前記第１の復号画素に対する方向を予測方向として決定する予測方向決定部と、
   前記予測方向決定部によって決定した前記予測方向に従い、前記第１の記憶部から復号画素を選択して前記予測画素として出力する選択部と
   を有することを特徴とする符号化装置。
2. 入力画像データに含まれる入力画素と、前記入力画素を予測した予測画素との差分を符号化する符号化ステップと、
   前記符号化ステップにより符号化された前記差分を復号し、復号された前記差分に前記予測画素を加算して得られた復号画素を第１の記憶部に記憶する第１の記憶ステップと、
   前記入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、前記第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順で前記ライン周期のライン数前の第２のラインにおける、前記符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、前記第２のラインに対して符号化順で前記ライン数前の第３のラインにおける、前記第１の復号画素にライン上での位置が対応する第３の復号画素と前記第３の復号画素に前記第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、前記第１の復号画素との相関が高い復号画素の前記第１の復号画素に対する方向を予測方向として決定する予測方向決定ステップと、
   前記予測方向決定ステップによって決定した前記予測方向に従い、前記第１の記憶部から復号画素を選択して前記予測画素として出力する選択ステップと
   を有ることを特徴とする符号化方法。
3. 入力画像データに含まれる入力画素と、前記入力画素を予測した予測画素との差分を符号化する符号化ステップと、
   前記符号化ステップにより符号化された前記差分を復号し、復号された前記差分に前記予測画素を加算して得られた復号画素を第１の記憶部に記憶させる第１の記憶ステップと、
   前記入力画像データが２ライン以上のライン周期で異なる画像が含まれる複合画像データである場合に、前記第１の記憶部に記憶される、符号化対象画素が位置する第１のラインに対して符号化順で前記ライン周期のライン数前の第２のラインにおける、前記符号化対象画素にライン方向での位置が対応する第１の復号画素に対して符号化順で１画素前の第２の復号画素と、前記第２のラインに対して符号化順で前記ライン数前の第３のラインにおける、前記第１の復号画素にライン上での位置が対応する第３の復号画素と前記第３の復号画素に前記第３のライン上で隣接する復号画素とを含む第４の復号画素とのうち、前記第１の復号画素との相関が高い復号画素の前記第１の復号画素に対する方向を予測方向として決定する予測方向決定ステップと、
   前記予測方向決定ステップによって決定した前記予測方向に従い、前記第１の記憶部から復号画素を選択して前記予測画素として出力する選択ステップと
   をコンピュータに実行させるための符号化プログラム。

Images