JP5294688B2

JP5294688B2 - 動画像圧縮符号化装置

Info

Publication number: JP5294688B2
Application number: JP2008120407A
Authority: JP
Inventors: 寛朗遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-06-18
Filing date: 2008-05-02
Publication date: 2013-09-18
Anticipated expiration: 2028-05-02
Also published as: JP2009027693A

Description

本発明は動画像データの圧縮符号化装置に関し、特に、画面を分割して、前記分割された画面を複数の符号化部でそれぞれ並列に符号化を行うために用いて好適な技術である。

例えば、被写体を撮影し、それにより得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年のデジタルビデオカメラは、従来の磁気テープに代わって、ランダムアクセスが可能で利便性の高いディスク媒体や半導体メモリが使われるようになってきている。しかし、一般にディスク媒体などは記憶容量が少ないため、高能率に圧縮符号化する必要がある。

また、最近では、高画質への期待から、スタンダードな映像より情報量の多いＨＤ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ）映像を取り扱うデジタルビデオカメラの開発が行われている。よって、映像自体の情報量が増加しているといった観点からも、高能率な圧縮符号化が必要とされる。現在は、圧縮符号化を行う方式としてはＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）の方式が標準技術としてしばしば用いられている。ＭＰＥＧ方式では、動画像を構成する複数の画面を用いた動き補償予測によって高能率符号化を実現しているが、そのためには大量の画像データを高速処理する必要がある。

上記の高速処理のため、符号化回路を非常に高速なクロックによって動作させると、負荷が高まるとともに、消費電力が大きくなるという課題がある。そこでこの課題を解決するために、例えば、特許文献１に記載の画像符号化装置では、動画像信号の各画面を複数の領域に分割して、各領域に分割された画像信号を複数の符号化部で並列に符号化することにより、前述した課題を解決している。

一方、前述したように動画像信号の各画面を複数の領域に分割して、複数の符号化部で各領域を並列に符号化すると、隣接する領域の境界部分で画質の差が生じてしまうことが考えられる。前記特許文献１に記載の画像符号化装置では、前述の領域分割とは異なる第２の方向で画像信号を分割し、第２の分割方向で分割した小領域毎に、各符号化手段の符号化パラメータを制御している。そして、各小領域を同一の符号化パラメータによって符号化することによって、小領域の境界部分における画質劣化を目立たないようにしている。
特開平７−９５５７２号公報

しかしながら、前記特許文献１に記載の画像符号化装置は、画面を異なる２つの方向に分割した小領域ごとに符号化パラメータの制御を行うものである。このため、各領域の符号化パラメータとしては予め定められた設定値が決まってしまい、画像の性質に合わせた好適な符号化パラメータを用いることが困難であるという問題点があった。

本発明は前述の問題点に鑑み、簡易な構成によって、画面を領域分割して符号化したときの境界部の画質劣化を目立たないようにするとともに、画像の性質に合わせた好適な符号化パラメータを設定できるようにすることを目的とする。

上記目的を達成するために、本発明の動画像圧縮符号化装置は、動画像データを構成する画面を水平方向に４個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない２つの符号化手段と、前記２つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、前記２つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された４個の領域のうち前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを、前記２つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを符号化する符号化手段は、前記上下に隣接する２つの領域のうち下側に位置する領域のデータの符号化を、上側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする。

また、本発明の他の動画像圧縮符号化装置は、動画像データを構成する画面を垂直方向に４個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない２つの符号化手段と、前記２つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、前記２つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された４個の領域のうち前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを前記２つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを符号化する符号化手段は、前記左右に隣接する２つの領域のうち右側に位置する領域のデータの符号化を、左側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする。

本発明によれば、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、動き補償予測を用いて動画像データを圧縮符号化する動画像圧縮符号化装置である。また、本実施形態の動画像符号化装置は、デジタルビデオカメラ等の撮像装置に適用できる。

図１において、動画像符号化装置１００は、不図示の撮像ユニットなどから出力される動画像データ（画像信号）を入力する画像信号入力部１０１を備えている。また、動画像における１フィールドまたは１フレームの画像信号をｎ個の領域に分割する領域分割回路１０２と、それぞれが画像信号の動き補償を用いた動き補償予測符号化を行う第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂとを備えている。

さらに、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂから出力される符号化データを合成する符号化データ合成回路１０５を備えている。また、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂから出力される符号化結果に基づいて、符号化パラメータの制御を行う符号化制御回路１０６を備えている。さらに、合成された符号化データを図示しない記録媒体や通信路へ出力する符号化データ出力部１０７を備えている。

第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂは、符号化制御回路１０６の制御により、それぞれ並列に動作する。そして、各構成要素の動作は、システムコントローラ１０４によって制御される。なお、実際の動画像符号化装置においては、他の構成要素を必要とするが、本発明の主旨とは関係ないので説明を省略する。

次に、動画像符号化装置１００の動作について説明する。図５は、本実施形態に係る動画像符号化装置の動作手順の一例を示すフローチャートである。

フィールド単位、またはフレーム単位で画像信号入力部１０１に入力された画像信号が領域分割回路１０２に入力されると本フローチャートに示した処理が開始される。

まず、ステップＳ５０１において、領域分割回路１０２は、図２に示すように入力された画像信号に含まれる各画面２００を、メモリを用いて４個の領域（第１のエリア（Ａｒｅａ１）２０１〜第４のエリア（Ａｒｅａ４）２０４）にスライス単位に分割する。スライスとは、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂが行う符号化処理の単位である。図２は所定の画素ラインで画面を水平方向（横）に４分割した例である。本実施形態では符号化回路の数ｍは２とし、領域分割回路１０２における分割数ｎはｎ＞２（ｎは２よりも大きい整数）を満たせばよいが、ここではｎを４とする。

次に、ステップＳ５０２において、符号化制御回路１０６は、複数の符号化回路１０３ａ及び１０３ｂのうち、分割された第１のエリア２０１〜第４のエリア２０４の各データを符号化する符号化回路を決める。さらに、符号化制御回路１０６は、複数の符号化回路１０３ａと１０３ｂの符号化の時間的な順序を決める。

次に、ステップＳ５０３において、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂは、それぞれ割り当てられた領域のデータの符号化処理を行う。このとき、符号化制御回路１０６は、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂにおける符号化処理を並列に行うように制御する。次に、ステップＳ５０４において、符号化データ合成回路１０５は、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂにおいて符号化処理された符号化データのエレメントをメモリを用いて合成する。そして、符号化データ出力部１０７から符号化データを出力し、処理を終了する。

本実施形態では、符号化制御回路１０６は、入力画像信号の１フレーム期間内に、１フレーム分のスライスの符号化処理を完了させる。すなわち、符号化制御回路１０６は、４個の領域を２つずつ並列で符号化し、それぞれの符号化回路が１フレーム期間に２つの領域の符号化を行うように第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂを制御する。そして、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂが行う時分割の符号化処理は、図３に示すように１フレーム期間を時間的に前半期間と後半期間とに分けて行われる。すなわち、第１のエリア２０１〜第４のエリア２０４の各画像データについて、一部の複数領域を先に並列的に符号化し、残りの複数領域を前記一部の複数領域の符号化よりも時間順で後に符号化することになる。

符号化制御回路１０６は、１フレーム期間の前半期間では第１の符号化回路１０３ａで第２のエリア（Ａｒｅａ２）２０２を符号化し、並行して第２の符号化回路１０３ｂで第１のエリア（Ａｒｅａ１）２０１を符号化するように制御する。そして、１フレーム期間の後半期間では第１の符号化回路１０３ａで第２のエリア２０２に隣接する第３のエリア（Ａｒｅａ３）２０３を符号化し、並行して第２の符号化回路１０３ｂで第４のエリア（Ａｒｅａ４）２０４を符号化するように制御する。ここで、画面中央付近に注目すれば、上側の領域（Ａｒｅａ２）が先に符号化され、下側の領域（Ａｒｅａ３）が後から符号化される。

また、符号化制御回路１０６は、符号化制御の際に、各符号化回路に対して符号化パラメータである量子化ステップ幅の初期値を設定する。なお、各エリア内の符号化は、所定の画素ブロック（マクロブロック等）単位で上から順に行われる。従って、本実施形態では、第３のエリア２０３の量子化ステップ幅の初期値を決める際に、第２のエリア２０２の符号化結果から、第２のエリア２０２の最終ブロックの量子化ステップ幅を参照するようにしている。具体的には、符号化制御回路１０６が、第２のエリア２０２の最終ブロックの量子化ステップ幅を記憶している。そして、符号化制御回路１０６は、記憶した第２のエリア２０２の最終ブロックの量子化ステップ幅を、第３のエリア２０３の最初に符号化されるブロックの量子化ステップ幅の初期値に設定する。このような符号化制御をすることにより、画面中央付近にある第２のエリア２０２と、当該第２のエリア２０２に隣接する第３のエリア２０３との量子化ステップ幅の連続性が保てるようになる。よって、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。

一方、画面中央付近以外の第１のエリア２０１及び第４のエリア２０４については、互いに離れたエリアである。よって、それぞれエリア内で閉じた符号化制御を行って、符号化対象のブロックの内容に基づいて、画像の性質に合わせた最適な量子化ステップ幅を設定できる。

以上のように本実施形態では、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。したがって、分割数（領域数）ｎについては、符号化回路の数ｍよりも大きい数にする。なお、分割数ｎを多く設定すると、画面の中央部分以外の領域において境界部分の画質の差異が多く発生する可能性がある。したがって、分割数ｎは符号化回路の数ｍの２倍以下にするとよい。すなわち、１つの符号化回路において３つ以上のエリアを符号化することがないようにする。

次に、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂの動作について説明する。第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂは、分割された領域（スライス）を符号化処理における１つの単位とみなし、領域（スライス）ごとの符号化を行う。

図４は、本発明の実施形態に係る第１の符号化回路１０３ａの詳細な構成を示すブロック図である。なお、第２の符号化回路１０３ｂの構成は、第１の符号化回路１０３ａと同様であるため、説明を省略する。

図４において、第１の符号化回路１０３ａは、画像信号を入力する入力部４０１と、フレームメモリ４０２と、動きベクトル探索回路４０３と、フレーム間動き補償回路４０４と、イントラ予測回路４０５と、スイッチ４０６とを備えている。さらに、減算器４０７と、整数変換回路４０８と、量子化回路４０９と、逆量子化回路４１０と、逆整数変換回路４１１と、加算器４１２と、ループ内フィルタ４１３とを備えている。さらに、エントロピー符号化回路４１５と、符号量制御回路４１６と、符号化データを出力する出力部４１７とを備えている。そして、符号量制御回路４１６など各構成要素の動作は、システムコントローラ１０４によって制御されている。

入力部４０１に入力された画像信号は、フレーム単位の場合、第１フレーム、第２フレーム、第３フレーム、・・・の順で、順次、フレームメモリ４０２に格納される。そして、フレームメモリ４０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・などの、符号化を行う順序で画像信号が取り出される。

ここで、符号化方式としてフレーム（スライスの場合、同一スライス）内の画像データのみで符号化する「イントラ符号化」と、フレーム間予測も含めて符号化する「インター符号化」とがある。インター符号化を行うピクチャ（フレーム）には、動き補償の単位（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。一方、イントラ符号化を行うピクチャは、Ｉピクチャという。符号化するフレームの順番が入力されたフレームの順番と異なる理由は、時間的に未来のフレームとの予測（後方予測）を可能にするためである。

イントラ符号化がなされる場合、符号化単位となるブロックの符号化対象画像は、フレームメモリ４０２から読み出されてイントラ予測回路４０５に入力される。イントラ予測回路４０５は、符号化対象ブロック（符号化対象画像）と、後述する同一フレーム内の符号化対象ブロックの近傍に位置する局所復号画像からなる複数の予測画像とのブロックマッチングを行う。そして、最も相関の高いイントラ予測画像を選択してスイッチ４０６へ出力する。

本実施形態では、前述したように、画面の中央位置を境にして上下に隣接する二つの領域（第２のエリア２０２及び第３のエリア２０３）は、同じ符号化回路によって符号化される。さらに、その符号化回路は、第２のエリア２０２（中央の上側の領域）の符号化を行った後に第３のエリア２０３（中央の下側の領域）の符号化を行う。一方、第３のエリア２０３の符号化を行うときに、フレームメモリ４０２は、第２のエリア２０２の局所復号画像のうち、少なくとも最下段のブロックのデータを保持しておく。これにより、第３のエリア２０３の最上段に位置するブロックのイントラ予測を行う際に、符号化済である第２のエリア２０２の最下段に位置するブロックの局所復号画像を予測に用いるようにする。さらに、符号化済である第２のエリア２０２の最下段に位置するブロックのイントラ予測方向の情報などを、第３のエリア２０３の最上段に位置するブロックのイントラ予測の際に参照するようにしても良い。このような、イントラ予測に用いるブロックの情報や、予測方向の情報なども符号化パラメータの１つとして符号化時に設定することもできる。

イントラ符号化がなされる場合、スイッチ４０６はイントラ予測画像の側へ切り替えられ、前記イントラ予測画像が減算器４０７へ出力される。そして、減算器４０７は、フレームメモリ４０２から出力された符号化対象画像と、スイッチ４０６から入力されるイントラ予測画像との画素値の差分情報を抽出し、整数変換回路４０８へ出力する。

整数変換回路４０８は、前記画素値の差分情報に対して整数変換（周波数変換）を施して、変換係数を量子化回路４０９に送る。次に、量子化回路４０９は、入力された変換係数を量子化処理する。エントロピー符号化回路４１５は、量子化回路４０９で量子化された変換係数に対してエントロピー符号化を行った後、出力部４１７を介して符号化データ合成回路１０５へ出力する。

なお、量子化回路４０９で用いられる量子化ステップ幅は、エントロピー符号化回路４１５で発生した符号量のフィードバックなどから符号量制御回路４１６により算出される。そして、量子化ステップ幅の初期値は符号化制御回路１０６により設定される。

また、逆量子化回路４１０は、量子化回路４０９で量子化された変換係数を逆量子化し、逆整数変換回路４１１において逆整数変換処理を施す。そして、加算器４１２は、スイッチ４０６から出力されたイントラ予測画像と、逆整数変換回路４１１において逆整数変換処理された画素値の差分情報とを加算して局所復号画像を生成する。この局所復号画像は、前述したイントラ予測回路４０５に入力されてイントラ予測画像の生成に用いられる。また、前記局所復号画像は、ループ内フィルタ４１３によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像としてフレームメモリ４０２に記憶される。

一方、インター符号化がなされる場合、符号化単位となるブロックの符号化対象画像は、フレームメモリ４０２から読み出されて動きベクトル探索回路４０３に入力される。動きベクトル探索回路４０３は、前述した参照画像をフレームメモリ４０２から読み出し、符号化対象画像と参照画像とから動きベクトルを検出する。フレーム間動き補償回路４０４は、動きベクトル探索回路４０３で検出した動きベクトルに従って動き補償を行い、インター予測画像を生成する。

インター符号化がなされる場合、スイッチ４０６はインター予測画像の側へ切り替えられ、前記インター予測画像が減算器４０７へ出力される。そして、減算器４０７は、符号化対象画像とインター予測画像とから差分画像を抽出し、抽出した差分画像を整数変換回路４０８に出力する。なお、その他の処理については前述のイントラ符号化の場合と同様であるため、説明は省略する。

以上のように本実施形態においては、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂによる符号化を並列に行い、画面の中央部に位置している第２のエリア２０２の符号化を、第３のエリア２０３の符号化よりも先に行うようにした。さらに、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。これにより、符号化回路の動作速度を非常に高速にしなくても、符号化結果情報を共有して画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。したがって、画質の劣化が目立たないようにするとともに、画像の性質に合わせた最適な符号化パラメータを設定することができる。

（第２の実施形態）
図６は、本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、第１の実施形態と同様、動き補償予測を用いて動画像データを圧縮符号化する。また、本実施形態の動画像符号化装置も、デジタルビデオカメラ等の撮像装置に適用できる。

図６において、動画像符号化装置６００は、図１の動画像符号化装置１００が備える領域分割回路１０２に替えて領域分割回路６０２を備え、さらにフレームメモリ６０１を備えている。図６の各構成要素のうち、図１の構成要素と同じ符号を有するものに関しては、図１に係る説明と同様であるので説明を省略する。

上述した図５のフローチャートに基づき、動画像符号化装置６００の動作について説明する。

フィールド単位、またはフレーム単位で画像信号入力部１０１に入力された画像信号は、一旦フレームメモリ６０１に保存される。ステップＳ５０１では図７のように、領域分割回路６０２は、フレームメモリ６０１に保存されたフレーム画像（画面７００）を、４個の領域（第５のエリア（Ａｒｅａ５）７０１〜第８のエリア（Ａｒｅａ８）７０４）にスライス単位に分割する。図７は所定の位置で画面７００を垂直方向（縦）に４分割した例である。本実施形態では符号化回路の数ｍは２とし、領域分割回路６０２における分割数ｎはｎ＞２（ｎは２よりも大きい整数）を満たせばよいが、ここでｎを４とする。

次に、ステップＳ５０２において、符号化制御回路１０６は、複数の符号化回路１０３ａ及び１０３ｂのうち、分割された第５のエリア７０１〜第８のエリア７０４の各データを符号化する符号化回路を決める。さらに、符号化制御回路１０６は、複数の符号化回路１０３ａと１０３ｂの符号化の時間的な順序を決める。

本実施形態では、符号化制御回路１０６は、入力画像信号の１フレーム期間内に、１フレーム分のスライスの符号化処理を完了させる。すなわち、符号化制御回路１０６は、４個の領域を２つずつ並列で符号化し、それぞれの符号化回路が１フレーム期間に２つの領域の符号化を行うように第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂを制御する。そして、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂが行う時分割の符号化処理は、図８に示すように１フレーム期間を時間的に前半期間と後半期間とに分けて行われる。すなわち、第５のエリア７０１〜第８のエリア７０４の各画像データについて、一部の複数領域を先に並列的に符号化し、残りの複数領域を前記一部の複数領域の符号化よりも時間順で後に符号化することになる。

符号化制御回路１０６は、１フレーム期間の前半期間では第１の符号化回路１０３ａで第６のエリア（Ａｒｅａ６）７０２を符号化し、並行して第２の符号化回路１０３ｂで第５のエリア（Ａｒｅａ５）７０１を符号化するように制御する。そして、１フレーム期間の後半期間では第１の符号化回路１０３ａで第６のエリア７０２に隣接する第７のエリア（Ａｒｅａ７）７０３を符号化し、並行して第２の符号化回路１０３ｂで第８のエリア（Ａｒｅａ８）７０４を符号化するように制御する。ここで、画面中央付近に注目すれば、左側の領域（Ａｒｅａ６）が先に符号化され、右側の領域（Ａｒｅａ７）が後から符号化される。

また、符号化制御回路１０６は、符号化制御の際に、各符号化回路に対して符号化パラメータである量子化ステップ幅の初期値を設定する。なお、各エリア内の符号化は、所定の画素ブロック（マクロブロック等）単位で行われる。なおかつ、画素ブロックの符号化の順序は、エリア内の一番上の行を左から右へ、次いで二番目の行を左から右へ、といった順番で行われる。従って、本実施形態では、第７のエリア７０３内の左端のブロックの量子化ステップ幅の初期値を決める際に、符号化済の第６のエリア７０２内における同じ行の右端のブロックの符号化結果を参照する。具体的には、符号化制御回路１０６が、第６のエリア７０２の右端のブロック列の量子化ステップ幅を記憶している。そして、符号化制御回路１０６は、第６のエリア７０２内の右端のブロックの量子化ステップ幅を、第７のエリア７０３内の左端のブロックの量子化ステップ幅の初期値に設定する。このような符号化制御をすることにより、画面中央付近にある第６のエリア７０２と、当該第６のエリア７０２に隣接する第７のエリア７０３との量子化ステップ幅の連続性が保てるようになる。よって、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。

一方、画面中央付近以外の第５のエリア７０１及び第８のエリア７０４については、互いに離れたエリアである。よって、それぞれエリア内で閉じた符号化制御を行って、符号化対象のブロックの内容に基づいて、画像の性質に合わせた最適な量子化ステップ幅を設定できる。

なお、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂの構成や符号化処理の詳細等については、図４を用いて上述した内容と同様であるので省略する。

本実施形態では、前述したように、画面の中央位置を境にして左右に隣接する二つの領域（第６のエリア７０２及び第７のエリア７０３）は、同じ符号化回路によって符号化される。さらに、その符号化回路は、第６のエリア７０２（中央の左側の領域）の符号化を行った後に第７のエリア７０３（中央の右側の領域）の符号化を行う。一方、第７のエリア７０３の符号化を行うときに、フレームメモリ４０２は、第６のエリア７０２の局所復号画像のうち、少なくとも右端のブロックのデータを保持しておく。これにより、第７のエリア７０３の左端に位置するブロックのイントラ予測を行う際に、符号化済である第６のエリア７０２の右端に位置するブロックの局所復号画像を予測に用いるようにする。さらに、符号化済である第６のエリア７０２の右端に位置するブロックのイントラ予測方向の情報などを、第７のエリア７０３の左端に位置するブロックのイントラ予測の際に参照するようにしても良い。このような、イントラ予測に用いるブロックの情報や、予測方向の情報なども符号化パラメータの１つとして符号化時に設定することもできる。

以上のように本実施形態においては、第１の符号化回路１０３ａ及び第２の符号化回路１０３ｂによる符号化を並列に行い、画面の中央部に位置している第６のエリア７０２の符号化を、第７のエリア７０３の符号化よりも先に行うようにした。さらに、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。これにより、符号化回路の動作速度を非常に高速にしなくても、符号化結果情報を共有して画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。したがって、画質の劣化が目立たないようにするとともに、画像の性質に合わせた最適な符号化パラメータを設定することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。本発明の第１の実施形態に係る画面の分割例を示す図である。本発明の第１の実施形態に係る符号化順序の例を示す図である。本発明の実施形態に係る第１の符号化回路の詳細な構成を示すブロック図である。本発明の実施形態に係る動画像符号化装置の動作手順の一例を示すフローチャートである。本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。本発明の第２の実施形態に係る画面の分割例を示す図である。本発明の第２の実施形態に係る符号化順序の例を示す図である。

符号の説明

１０１画像信号入力部
１０２領域分割回路
１０３ａ第１の符号化回路
１０３ｂ第２の符号化回路
１０４システムコントローラ
１０５符号化データ合成回路
１０６符号化制御回路
１０７符号化データ出力部

Claims

動画像データを構成する画面を水平方向に４個の領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない２つの符号化手段と、
前記２つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、
前記２つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された４個の領域のうち前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを、前記２つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを符号化する符号化手段は、前記上下に隣接する２つの領域のうち下側に位置する領域のデータの符号化を、上側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする動画像圧縮符号化装置。
前記２つの符号化手段はそれぞれ、前記動画像データにおける符号化対象ブロックに対して周波数変換を行う周波数変換手段と、前記周波数変換手段によって変換された変換係数を所定の量子化ステップ幅で量子化する量子化手段とを備え、
前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のうち上側に位置する領域の符号化結果に応じて、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のうち下側に位置する領域に対して前記量子化手段で用いる量子化ステップ幅の初期値を設定することを特徴とする請求項１に記載の動画像圧縮符号化装置。
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記２つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された４個の領域の画像データを、動き補償予測を用いて圧縮符号化することを特徴とする請求項１または２に記載の動画像圧縮符号化装置。
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記２つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された４個の領域の画像データを、イントラ予測を用いて圧縮符号化することを特徴とする請求項１または２に記載の動画像圧縮符号化装置。
前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のうち上側に位置する領域の最下段の符号化対象ブロックの情報に応じて、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のうち下側に位置する領域の最上段の符号化対象ブロックの前記イントラ予測に係る符号化パラメータを設定することを特徴とする請求項４に記載の動画像圧縮符号化装置。
前記符号化制御手段は、前記領域分割手段によって分割された４個の領域を１フレーム期間の中で時分割に符号化処理するよう制御することを特徴とする請求項１に記載の動画像圧縮符号化装置。
前記２つの符号化手段のうち、前記動画像データを構成する画面の中央の上下に隣接する２つの領域のデータを符号化する符号化手段とは別の符号化手段は前記領域分割手段によって分割された４個の領域のうち上下に隣接しない２つの領域のデータを符号化することを特徴とする請求項１から６のいずれか１項に記載の動画像圧縮符号化装置。
動画像データを構成する画面を垂直方向に４個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない２つの符号化手段と、
前記２つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、
前記２つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された４個の領域のうち前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを前記複数の符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを符号化する符号化手段は、前記左右に隣接する２つの領域のうち右側に位置する領域のデータの符号化を、左側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする動画像圧縮符号化装置。
前記２つの符号化手段はそれぞれ、前記動画像データにおける符号化対象ブロックに対して周波数変換を行う周波数変換手段と、前記周波数変換手段によって変換された変換係数を所定の量子化ステップ幅で量子化する量子化手段とを備え、
前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のうち左側に位置する領域の右端の符号化対象ブロックの符号化結果に応じて、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のうち右側に位置する領域の左端の符号化対象ブロックに対して前記量子化手段で用いる量子化ステップ幅の初期値を設定することを特徴とする請求項８に記載の動画像圧縮符号化装置。
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記２つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された４個の領域の画像データを、動き補償予測を用いて圧縮符号化することを特徴とする請求項８または９に記載の動画像圧縮符号化装置。
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記２つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された４個の領域の画像データを、イントラ予測を用いて圧縮符号化することを特徴とする請求項８または９に記載の動画像圧縮符号化装置。
前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のうち左側に位置する領域の右端の符号化対象ブロックの情報に応じて、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のうち右側に位置する領域の左端の符号化対象ブロックの前記イントラ予測に係る符号化パラメータを設定することを特徴とする請求項１１に記載の動画像圧縮符号化装置。
前記符号化制御手段は、前記領域分割手段によって分割された４個の領域を１フレーム期間の中で時分割に符号化処理するよう制御することを特徴とする請求項８に記載の動画像圧縮符号化装置。
前記２つの符号化手段のうち、前記動画像データを構成する画面の中央の左右に隣接する２つの領域のデータを符号化する符号化手段とは別の符号化手段は前記領域分割手段によって分割された４個の領域のうち左右に隣接しない２つの領域を符号化することを特徴とする請求項８から１３のいずれか１項に記載の動画像圧縮符号化装置。