JP2008004984A - 画像理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】画像データを、より効率的に符号化することができるようにする。
【解決手段】MPEG２復号部１１５は、MPEG2方式で符号化された画像データを復号し、ベースバンドの画像を、ビデオメモリ１１７に出力し、MPEG２デコード情報を、バッファ１１８に出力し、各マクロブロックの量子化スケール、および発生ビットをMBComplexity算出部１１６に出力する。MBComplexity算出部１１６は、Complexityを算出し、バッファ１１８からMPEG２デコード情報、並びにComplexityおよび発生ビットRをMB適応符号化判定部１１９に出力する。MB適応符号化判定部１１９は、バッファ１１８から供給される情報に基づいて、ベースバンドの画像データの各マクロブロックを、フィールド符号化するか、またはフレーム符号化するかの判定を行い、AVC符号化部１２０が画像データを、H.２６４/ＡＶＣ方式により符号化する。
【選択図】図１

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像データを、より効率的に符号化することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ（Moving Picture Coding Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として規定されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途（業務用）及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２の符号化方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送に適した高画質の符号化を対象としていたので、ＭＰＥＧ１より低い符号量（ビットレート）、すなわち、より高い圧縮率の符号化方式には対応していなかった。今後は、携帯端末などの普及により、より低い符号量の符号化方式のニーズが高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準として規定された。

更に、近年、当初テレビ会議用の画像符号化を目的として策定された、Ｈ.２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準が注目されている。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化または復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する符号化方式の標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。２００３年３月にはH.２６４/ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という国際標準が制定されている。

また、これらの符号化方式の普及に伴い、ある符号化方式で符号化されたデータを、他の符号化方式で符号化されたデータに変換するトランスコードと呼ばれる技術も重要となる。

トランスコードに関する技術については、例えば、特許文献１のような技術が提案されている。
特開２００１−１４５１１３号公報

ところで、H.264/ＡＶＣ符号化方式では、従来のMPEG方式などにはなかった、マクロブロックレベルでのフィールドまたはフレーム適応符号化機能が追加されている。H.264/ＡＶＣ符号化方式では、上下二つのマクロブロックによって構成されるマクロブロックペアを単位としてそれぞれのマクロブロックを、フレーム符号化またはフィールド符号化を行うことができる。

例えば、符号化されるために入力される画像信号が、インターレース（飛び越し走査）フォーマットである場合、ピクチャ全体としてフレーム符号化を行い、マクロブロックペアに対して、フィールド符号化またはフレーム符号化を行うことも可能である。H.264/AVC方式では通常、個々のマクロブロックを、フィールド符号化するか、またはフレーム符号化するかの判定は、例えば、そのマクロブロックを符号化した際に、割り当てられるビット量がより少なくなるように判定される。

しかしながら、このように個々のマクロブロックフィールド符号化するか、またはフレーム符号化するかを判定すると符号化効率が向上する反面、フィールド符号化するか、またはフレーム符号化するかの判定のためには、例えば、個々のマクロブロックペアに対してフレーム符号化と、フィールド符号化とをそれぞれ行うか、またはそれと同等の演算処理を予め行うなどの必要があり、符号化装置（エンコーダ）にかかる処理付加が増加し、符号化処理に時間がかかる。

本発明はこのような状況に鑑みてなされたものであり、画像データを、より効率的に符号化することができるようにするものである。

本発明の一側面は、MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置であって、MPEG方式で符号化された画像データを復号する復号手段と、前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得するMPEGデコード情報取得手段と、前記復号手段により、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得するベースバンド画像取得手段と、前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像取得手段により取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式を判定する判定手段と、前記判定手段により判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成する符号化手段とを備える画像処理装置である。

前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、前記MPEG方式で符号化された画像データの各マクロブロックの発生ビット、および前記マクロブロックの量子化スケールに関する情報基づいて、前記マクロブロックのそれぞれに対応する、複雑さを表す値を算出する算出手段をさらに備えるようにすることができる。

前記算出手段の算出結果に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する前記複雑さを表す値が閾値以下であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とするようにすることができる。

前記算出手段の算出結果に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する前記複雑さを表す値が閾値以上であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する発生ビットの合計値が閾値以下であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する発生ビットの合計値が閾値以上であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、それぞれのマクロブロックに対応する動きベクトルの差分値の絶対値が閾値以下であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、それぞれのマクロブロックに対応する動きベクトルの差分値の絶対値が閾値以上であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応するDCTTypeがフレームＤＣＴであると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応するDCTTypeがフィールドＤＣＴであると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する動き補償予測モードがフレーム動き補償であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とするようにすることができる。

前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する動き補償予測モードがフィールド動き補償であると判定された場合、前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とするようにすることができる。

本発明の一側面は、MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置の画像処理方法であって、MPEG方式で符号化された画像データを復号し、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得し、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得し、前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式を判定し、前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成するステップを含む画像処理方法である。

本発明の一側面は、MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置に画像処理を実行させるプログラムであって、MPEG方式で符号化された画像データの復号を制御し、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報の取得を制御し、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データの取得を制御し、前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式の判定を制御し、前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データの生成を制御するステップを含むコンピュータが読み取り可能なプログラムである。

本発明の一側面においては、MPEG方式で符号化された画像データが復号され、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報が取得され、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データが取得され、前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式が判定され、前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データが生成される。

本発明によれば、画像データを、より効率的に符号化することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置であって、MPEG方式で符号化された画像データを復号する復号手段（例えば、図１のMPEG復号部１１５）と、前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得するMPEGデコード情報取得手段（例えば、図１のバッファ１１８）と、前記復号手段により、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得するベースバンド画像取得手段（例えば、図１のビデオメモリ１１７）と、前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像取得手段により取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式（例えば、フレーム符号化方式またはフィールド符号化方式）を判定する判定手段（例えば、図１のMB適応符号化判定部１１９）と、前記判定手段により判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成する符号化手段（例えば、図１のAVC符号化部１２０）とを備える。

この画像処理装置は、前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、前記MPEG方式で符号化された画像データの各マクロブロックの発生ビット、および前記マクロブロックの量子化スケールに関する情報基づいて、前記マクロブロックのそれぞれに対応する、複雑さを表す値を算出する算出手段（例えば、図１のMBComplexity算出部１１６）をさらに備えるようにすることができる。

本発明の一側面の画像処理方法は、MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置の画像処理方法であって、MPEG方式で符号化された画像データを復号し（例えば、図６のステップS１０１の処理）、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得し（例えば、図６のステップS１０３の処理）、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得し（例えば、図６のステップS１０４の処理）、前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式（例えば、フレーム符号化方式またはフィールド符号化方式）を判定し（例えば、図６のステップS１０６の処理）、前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成する（例えば、図６のステップS１０８の処理）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は本発明を適用した画像処理装置１００の一実施の形態に係る構成例を示すブロック図である。画像処理装置１００は、例えば、MPEG（Moving Picture Coding Experts Group）２方式で圧縮されて符号化された画像データを、H.２６４/ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式により圧縮されて符号化された画像データに変換するトランスコーダとして構成される。

同図において、MPEG２復号部１１５は、入力される、MPEG2方式で符号化された画像データのビットストリームを復号し、ベースバンドの画像データ（または画像信号）を、ビデオメモリ１１７に出力し、MPEG２デコード情報を、バッファ１１８に出力する。ここで出力されるMPEG２デコード情報は、MPEG２の動き補償（ＭＣ（Motion Compensation））に用いられる動き補償予測モード（MCモード）、MPEG２のフレームDCTまたはフィールドDCTを区別する情報であるDCTType、当該ピクチャがフレームピクチャであるかフィールドピクチャであるかを表す情報であるPictureType、MPEG2の画像データにおける各マクロブロックの量子化スケールQuant、および各マクロブロックにおける発生ビットRを含んだ情報とされる。

また、MPEG２復号部１１５は、上述したMPEG2デコード情報に含まれるMPEG2の画像データにおける各マクロブロックの量子化スケールQuant、および各マクロブロックにおける発生ビットRをMBComplexity算出部１１６に出力する。

MBComplexity算出部１１６は、MPEG２復号部１１５から供給される情報に基づいて、各マクロブロックの複雑さを表す値であるComplexityを式（１）により算出する。ここで算出されるComplexityは、後述するように、MB適応符号化判定部１１９における符号化方式（フィールド符号化するか、またはフレーム符号化するか）の判定に用いられることになる。

そして、MBComplexity算出部１１６は、算出した各マクロブロックのComplexityと、各マクロブロックにおける発生ビットRとを、バッファ１１８に出力する。

バッファ１１８は、予め設定された単位量のMPEG２デコード情報、並びにComplexityおよび発生ビットRを記憶し、所定のタイミングで記憶していたデータを、AVC符号化部１２０のMB適応符号化判定部１１９に出力する。バッファ１１８は、例えば、画像データ１フレーム分に対応するMPEG２デコード情報、並びにComplexityおよび発生ビットRを記憶し、ビデオメモリ１１７から１フレーム分のベースバンドの画像データ（または画像信号）がAVC符号化部１２０に供給されるタイミングで、そのフレームに対応するMPEG２デコード情報、並びにComplexityおよび発生ビットRをMB適応符号化判定部１１９に出力する。

MB適応符号化判定部１１９は、バッファ１１８から供給されるMPEG２デコード情報、並びにComplexityおよび発生ビットRに基づいて、ビデオメモリ１１７から供給される１フレーム分のベースバンドの画像データの各マクロブロックを、フィールド符号化するか、またはフレーム符号化するかの判定を行う。H.264/ＡＶＣ符号化方式では、従来のMPEG方式などにはなかった、マクロブロックレベルでのフィールドまたはフレーム適応符号化機能が追加されている。H.264/ＡＶＣ符号化方式では、２つのマクロブロックにより構成されるマクロブロックペアを単位としてそれぞれのマクロブロックを、フレーム符号化またはフィールド符号化を行うことができ、MB適応符号化判定部１１９では、このマクロブロックペア毎に適用すべき符号化方式（フレーム符号化またはフィールド符号化）の判定が行われる。

AVC符号化部１２０は、ビデオメモリ１１７から供給されるベースバンドの画像データを、H.２６４/ＡＶＣ方式により符号化する。AVC符号化部１２０の詳細な構成例を図２に示す。

図２において、入力となる画像信号は、まず、Ａ／Ｄ変換部２０１においてデジタルデータに変換される。なお、ビデオメモリ１１７からデジタルデータとして画像データが供給される場合、A/D変換部２０１の処理は省略するようにすることも可能である。

次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替えバッファ２０２においてフレームの並べ替えが行われる。

画面並べ替えバッファ２０２を介して供給される画像データは、その画像データの画素値と、イントラ予測部２１２または動き予測補償部２１３がフレームメモリ２１１に蓄積されている画像データ、または画面並べ替えバッファ２０２から供給される画像データに基づいて生成する画素値との差分情報が加算機２０３により演算され、直交変換部２０４に入力される。

なお、上述したように、H.264/ＡＶＣ符号化方式では、上下に隣接する２つのマクロブロックによって構成されるマクロブロックペアを単位としてそれぞれのマクロブロックを、フレーム符号化またはフィールド符号化を行うことができる。従って、加算機２０３から出力される差分情報は、マクロブロック単位で出力され、例えば、それぞれの差分情報に対応するマクロブロックを特定するための情報が付加されて出力される。

図３は、マクロブロックの例を説明する図である。H.264/ＡＶＣ符号化方式では、通常１６×１６の画素で構成されるマクロブロックが用いられ、図中正方形の枠で示されるそれぞれが個々のマクロブロックとされる。マクロブロックは、例えば、画像の左上から順に設定され、この例では、最も左上側のマクロブロックが番号０のマクロブロックとされ、番号０のマクロブロックの下側に隣接するマクロブロックが番号１のマクロブロックとされている。さらに、番号０のマクロブロックの右側に隣接するマクロブロックが番号２のマクロブロックとされ、番号０のマクロブロックの右側に隣接するマクロブロックが番号３のマクロブロックとされている。

同図に示されるように、H.264/ＡＶＣ符号化方式では、画像の中で上下に隣接する２つのマクロブロックによって構成されるマクロブロックペアのそれぞれについてフレーム符号化するか、またはフィールド符号化をするかを適応的に選択することができるようになされている。この例では、番号０と番号１の２つのマクロブロックにより１つのマクロブロックペアが構成され、番号２と番号３の２つのマクロブロックにより１つのマクロブロックペアが構成され、・・・のようにマクロブロックペアが構成されることになる。

また、MB適応符号化判定部１１９により判定された、各マクロブロック（実際にはマクロブロックペア）を、フィールド符号化するか、またはフレーム符号化するかを表す情報が、それぞれのマクロブロックに対応付けられて画面並べ替えバッファ２０２に入力される画像データに付加されて供給されるようになされている。

AVC符号化部１２０に入力される画像データがイントラ（画像内）符号化される画像データである場合、画面並べ替えバッファ２０２を介して供給される画像データは、その画像データの画素値と、イントラ予測部２１２がフレームメモリ２１１に蓄積されている画像データに基づいて生成する画素値との差分情報が加算機２０３により演算され、直交変換部２０４に入力され、その差分情報に対して離散コサイン変換（DCT）、カルーネン・レーベ変換等の直交変換処理が施される。

直交変換部２０４から出力される変換係数は、量子化部２０５において量子化処理が施される。

レート制御部２１３は、量子化部２０５による量子化処理に用いられる量子化スケールなどを必要に応じて変更するなどして制御することで、出力されるデータのビットレートを制御する。

量子化部２０５から出力される量子化された変換係数は、可逆変換部２０６に入力され、可逆変換部２０６により可変長符号化、算術符号化等の可逆符号化の処理が施された後、蓄積バッファ２０７に蓄積され、H.２６４/ＡＶＣ方式で符号化された画像データとして出力される。

一方、量子化部２０５から出力される量子化された変換係数は、逆量子化部２０８にも供給されて逆量子化の処理が施された後、さらに逆直交変換部２０９において逆直交変換処理が施されて、復号された画像データとなる。

逆直交変換部２０９から出力される復号された画像データは、デブロックフィルタ２１０においてブロック歪の除去が施された後、フレームメモリ１１に蓄積される。

なお、イントラ予測部２１２においては、符号化するマクロブロックに応じて、時間軸において前方向（過去側）のフレーム画像データのみを参照画像とする前方向予測モード、時間軸において後ろ方向（未来側）のフレーム画像データのみを参照画像とする後ろ方向予測モード、上記２枚のフレーム画像データの両方を参照画像とする双方向予測モードなどのモードを適用することが可能である。イントラ予測部２１２において、当該マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部２０６に伝送され、H.２６４/ＡＶＣ方式で符号化された画像データにおけるヘッダ情報の一部として符号化される。

一方、AVC符号化部１２０に入力される画像データがインター（画像間）符号化される画像データである場合、画面並べ替えバッファ２０２を介して供給される画像データは、まず、動き予測・補償部２１３に入力される。このとき、動き予測・補償部２１３は、フレームメモリ２１１から参照画像の画像データを取り出し、その画像データに対して動き予測・補償処理を施すことで予測画像データを生成する。なお、上述したマクロブロックペアを単位としてそれぞれのマクロブロックを、フレーム符号化するか、またはフィールド符号化するかの判定は、AVC符号化部１２０に入力される画像データがインター（画像間）符号化される画像データである場合に行われる。

ＭＰＥＧ２では、画像データのフレーム構造がフレームストラクチャの場合、マクロブロックはトップフィールドとボトムフィールドがインターレースされた１６画素ｘ１６ライン（輝度信号）のフレームブロックで構成され、フレーム動き補償予測、フィールド動き補償予測、およびデュアルプライム予測という３つの動き補償予測が用いられる。

フレーム動き補償予測は、インターレースされた２つのフィールドが合成されたフレームで動き補償予測を行うもので、輝度信号はインターレースされた１６画素×１６ラインブロックごとに予測される。インターレース信号においては、１フレームを構成する２つのフィールドのうち、空間的に上にあるフィールドがトップフィールドと呼ばれ、空間的に下にあるフィールドがボトムフィールドと呼ばれる。

図４aは１フレーム離れた参照フレームから前方向の動き補償予測を行う例を示す図である。同図においては、トップフィールドの画素が円で示され、またボトムフィールドの画素が四角形で示されており、「MV」で示される動きベクトルに従って、参照フレームに対応する入力フレーム（画面並べ替えバッファ２０２を介して供給される画像データ）の画素位置が特定される。

フレーム動き補償予測は比較的ゆっくりした動きで、フレーム内での相関が高いまま等速度で動いている場合に有効な予測方式である。

一方、フィールド動き補償予測とは、フィールドごとに動き補償を行うもので、図４bに示されるように、トップフィールドに動きベクトル「ＭＶ１」、ボトムフィールドには動きベクトル「ＭＶ２」がそれぞれ設定され、「MV１」、または「MV２」のそれぞれの動きベクトルに従って、参照フレームに対応する入力フレーム（画面並べ替えバッファ２０２を介して供給される画像データ）の画素位置が特定される。

また、入力フレーム中の画素に対応する参照フレーム中のフィールドはトップフィールドでもボトムフィールドでもよく、MPEG２のデータのマクロブロックデータ中のmotion vertical field selectフラグにより参照フレーム中のフィールドが設定される。図４bの例では、入力フレーム中のトップフィールドの画素、ボトムフィールドの画素のいずれに対しても参照フレーム中のトップフィールドが参照されている。なお、同図においてもトップフィールドの画素が円で示され、またボトムフィールドの画素が四角形で示されており、フィールド動き補償予測では、マクロブロック内の各フィールド別に予測されるため、１６画素ｘ８ラインのフィールドブロック単位で予測されることになる。

例えば、ＰピクチャやＢピクチャの前方向や後方向予測では１つのマクロブロックにつき、動きベクトルが２個必要になる。またＢピクチャの両方向予測では、１つのマクロブロックにつき、４個の動きベクトルが必要になる。このため、フィールド動き補償予測では、フィールド別に予測して、局所的な動きや加速度的な動きに対して予測効率を高めることが可能である反面、動きベクトル数はフレーム動き補償と比べて２倍必要となる。

また、ＭＰＥＧ２では、２種類のＤＣＴ符号化モードが用いられる。図５ａと図５ｂは、それぞれのＤＣＴ符号化モードを説明する図である。

フレームＤＣＴ符号化モードの場合、マクロブロックの輝度信号が４個のブロックに分解される際に、各ブロックが図５a示されるように、トップフィールドとボトムフィールドのそれぞれを含んで構成されるように分解される。上述したフレーム動き補償予測が行われるマクロブロックに対しては、通常、フレームＤＣＴ符号化モードによる符号化が行われる。

一方、フィールドＤＣＴ符号化モードの場合、マクロブロックの輝度信号が４個のブロックに分解される際に、図５bに示されるように、各ブロックのそれぞれが、トップフィールドまたはボトムフィールドのみで構成されるように分解される。上述したフィールド動き補償予測が行われるマクロブロックに対しては、通常、フィールドＤＣＴ符号化モードによる符号化が行われる。

図４を参照して上述した動き補償におけるフレーム動き補償予測と、フィールド動き補償予測とを適応的に選択し、さらに図５に示されるような、２つのＤＣＴ符号化モード、すなわちフレーム符号化とフィールド符号化とを適応的に切り替えることにより、インターレース信号に対する符号化効率が向上する。

上述したように、H.264/ＡＶＣ符号化方式では、各マクロブロックペア単位に、フレーム符号化するかフィールド符号化するかを適応的に選択できるようになされている。H.264/ＡＶＣのビットストリーム中の、シーケンスパラメタセットRBSP(Raw Byte Sequence Payloads)中に、mb_adaptive_frame_field_flag(マクロブロック適応フレーム・フィールド・フラグ)というパラメタが存在し、また、スライスヘッダの中に、field_pic_flag(フィールド・ピクチャ・フラグ)というパラメタが存在する。これらのフラグの設定によって、フレームおよびマクロブロック単位の符号化方式（フレーム符号化またはフィールド符号化）が定まる。

符号化すべき画像データが、インターレース（飛び越し走査）・フォーマットである場合は、ピクチャレベルまたはマクロブロックレベルでの符号化処理（個々のピクチャまたはマクロブロックペアを、フレーム符号化するか、またはフィールド符号化する処理）を適応的に行うようにすることが可能である。例えば、H.264/ＡＶＣのビットストリームのシーケンスパラメタセット中の、Mb_adaptive_frame_field_flagを「１」に設定し、スライスヘッダ中のfield_pic_flagを「０」に設定すると、ピクチャ全体としてフレーム符号化を行い、マクロブロックペアに対して、フィールド符号化またはフレーム符号化を行うことが可能である。

本発明の画像処理装置１００においては、ビデオメモリ１１７から供給されるベースバンド画像に含まれる所定のマクロブロックペアについて、MB適応符号化判定部１１９がそのマクロブロックペアを、フレーム符号化を行うべきマクロブロックペアと判定した場合、動き予測・補償部２１３により、上述したフレーム動き補償予測が行われ、さらに、直交変換部２０４乃至可逆符号化部２０６により、上述したフレームＤＣＴ符号化モードによる符号化が行われる。

また、ビデオメモリ１１７から供給されるベースバンド画像に含まれる所定のマクロブロックペアについて、MB適応符号化判定部１１９がそのマクロブロックペアを、フィールド符号化を行うべきマクロブロックペアと判定した場合、動き予測・補償部２１３により、上述したフィールド動き補償予測が行われ、さらに、直交変換部２０４乃至可逆符号化部２０６により、上述したフィールドＤＣＴ符号化モードによる符号化が行われる。

図２に戻って、動き予測・補償部２１３から出力される予測画像データは、加算器２０３に入力され、加算器２０３は、画面並べ替えバッファ２０２を介して供給される画像データの画素値と、予測画像データの画素値との差分情報を演算する。なお、図２においては、イントラ予測部２１２と加算器２０３とが接続されるように示されているが、AVC符号化部１２０に入力される画像データがインター（画像間）符号化される画像データである場合、動き予測・補償部２１３と加算器２０３とが接続されるものとする。

その後、イントラ符号化の場合と同様に、加算器２０３から出力されたデータが直交変換部２０４に入力され、量子化部２０５、可逆変換部２０６による処理を経て蓄積バッファ２０７に蓄積され、H.２６４/ＡＶＣ方式で符号化された画像データとして出力される。

また、量子化部２０５から出力される量子化された変換係数は、やはり逆量子化部２０８にも供給され、逆直交変換部２０９の処理を経て復号された画像データが、デブロックフィルタ２１０の処理を経てフレームメモリ１１に蓄積される。

なお、動き予測・補償部２１３は、画面並べ替えバッファ２０２を介して供給される画像データに基づいて生成される動きベクトルに関する情報を可逆符号化部２０６に供給し、可逆符号化部２０６により、その情報に対して可変長符号化、算術符号化などの可逆符号化処理が施され、H.２６４/ＡＶＣ方式で符号化された画像データにおけるヘッダ情報の一部として符号化される。

次に、MB適応符号化判定部１１９により行われる各マクロブロック（実際にはマクロブロックペア）を、フィールド符号化するか、またはフレーム符号化するかの判定について説明する。

MB適応符号化判定部１１９は、ビデオメモリ１１７から供給される画像の中で上下に隣接した２つのマクロブロックMB(m)とMB(n)において、次の条件（Ａ）乃至（Ｅ）の５つの条件に適合するか否かを判定する。なお、この判定においては、バッファ１１８から供給される情報であって、ビデオメモリ１１７から供給される画像に対応するMPEG２デコード情報、並びにComplexityおよび発生ビットRに基づいて行われる。

（Ａ）マクロブロックMB(m)のComplexity、またはマクロブロックMB(n)のComplexity、若しくはマクロブロックMB(m)とMB(n)のComplexityの合計値が、予め設定された閾値以下である場合。

（Ｂ）マクロブロックMB(m)の発生ビット、またはMB(n)の発生ビット、若しくはマクロブロックMB(m)とMB(n)のそれぞれの発生ビットの合計値が予め設定された閾値以下である場合。

（Ｃ）マクロブロックMB(m)の動きベクトルと、マクロブロックMB(n)の動きベクトルの差分の絶対値が予め設定された閾値以下である場合。

（Ｄ）マクロブロックMB(m)のＤＣＴＴｙｐｅ、マクロブロックMB(n)のＤＣＴＴｙｐｅ、若しくはマクロブロックMB(m)とMB(n)の両方のＤＣＴＴｙｐｅがフレームＤＣＴである場合。

（Ｅ）マクロブロックMB(m)の動き補償予測モード、またはマクロブロックMB(n)の動き補償予測モード、若しくはマクロブロックMB(m)とMB(n)の両方の動き補償予測モードがフレーム予測モードである場合。

上述した条件（Ａ）乃至（Ｅ）のいずれかに適合する場合、ＭＰＥＧ２で符号化された状態でのマクロブロック単位の予測効率が高かったものといえ、そのマクロブロックに対応する画像領域の動きが緩やかであるか、またはその画像領域のフレーム内の相関が高いと考えられる。そこで、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアについては、フレーム符号化を行うべきものと判定する。

あるいはまた、MB適応符号化判定部１１９は、ビデオメモリ１１７から供給される画像の上下隣接した２つのマクロブロックMB(m)とMB(n)において、次の条件（Ｆ）乃至（Ｊ）の５つの条件に適合するか否かを判定するようにしてもよい。

（Ｆ）マクロブロックMB(m)のComplexity、またはマクロブロックMB(n)のComplexity、若しくはMB(m)とMB(n)のComplexityの合計値が、予め設定された閾値以上である場合。

（Ｇ）マクロブロックMB(m)の発生ビット、またはマクロブロックMB(n)の発生ビット、若しくはマクロブロックMB(m)とMB(n)のそれぞれの発生ビットの合計値が予め設定された閾値以上である場合。

（Ｈ）マクロブロックMB(m)の動きベクトルと、マクロブロックMB(n)の動きベクトルの差分の絶対値が予め設定された閾値以上である場合。

（Ｉ）マクロブロックMB(m)のＤＣＴＴｙｐｅ、またはMB(n)のＤＣＴＴｙｐｅ、若しくはマクロブロックMB(m)とMB(n)の両方のＤＣＴＴｙｐｅがフィールドＤＣＴである場合。

（Ｊ）マクロブロックMB(m)の動き補償予測モード、またはマクロブロックMB(n)の動き補償予測モード、若しくはマクロブロックMB(m)とMB(n)の両方の動き補償予測モードがフィールド予測モードである場合。

上述した条件（Ｆ）乃至（Ｊ）のいずれかに適合する場合、ＭＰＥＧ２で符号化された状態でのマクロブロックは予測効率が低かったものといえ、そのマクロブロックに対応する画像領域の動きが激しいか、またはその画像領域のフレーム内の相関が低いものと考えられる。そこで、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアについては、フィールド符号化を行うべきものと判定する。

次に、図６のフローチャートを参照して画像処理装置１００によるトランスコード処理の例について説明する。

ステップＳ１０１において、ＭＰＥＧ２復号部１１５は、MPEG２方式で符号化された画像データを１フレーム分復号する。このとき上述したように、ベースバンドの画像データが、ビデオメモリ１１７に出力され、MPEG２デコード情報が、バッファ１１８に出力され、MPEG2の画像データにおける各マクロブロックの量子化スケールQuant、および各マクロブロックにおける発生ビットRがMBComplexity算出部１１６に出力される。

ステップS１０２において、MBComplexity算出部１１６は、マクロブロックの複雑さを表す値であるComplexityを上述した式（１）により算出する。

ステップS１０３において、MB適応符号化判定部１１９は、バッファ１１８からMPEG２デコード情報を取得する。このとき、ステップS１０２で算出されたComplexityと、発生ビットRも取得される。

ステップS１０４において、AVC符号化部１２０は、ビデオメモリ１１７から、例えば、１フレーム分のベースバンド画像のデータ（または信号）を取得する。

ステップS１０５において、MB適応符号化判定部１１９は、ステップS１０４の処理で取得された画像データの中から１組のマクロブロックペアを抽出する。

ステップS１０６において、MB適応符号化判定部１１９は、ステップS１０５の処理で抽出されたマクロブロックペアについて符号化方式判定処理を実行する。なお、ステップS１０６の処理は、H.264/AVC方式で符号化すべき画像データがインターレース信号の画像データである場合にのみ実行され、例えば、H.264/AVC方式で符号化すべき画像データがプログレッシブ信号の画像データである場合、ステップS１０６の処理はスキップされる。

ここで、図７のフローチャートを参照して図６のステップS１０６の符号化方式判定処理の詳細について説明する。

ステップS１３１において、MB適応符号化判定部１１９は、ステップS１０５の処理で抽出されたマクロブロックペアに含まれる２つのマクロブロックMB(m)とMB(n)について、上述した条件（A）に適合するか否かを判定する。ステップS１３１において、条件（A）に適合すると判定された場合、処理は、ステップS１３６に進み、条件（A）に適合しないと判定された場合、処理は、ステップS１３２に進む。

ステップS１３２において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)について、上述した条件（B）に適合するか否かを判定する。ステップS１３２において、条件（Ｂ）に適合すると判定された場合、処理は、ステップS１３６に進み、条件（Ｂ）に適合しないと判定された場合、処理は、ステップS１３３に進む。

ステップS１３３において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)について、上述した条件（Ｃ）に適合するか否かを判定する。ステップS１３３において、条件（Ｃ）に適合すると判定された場合、処理は、ステップS１３６に進み、条件（Ｃ）に適合しないと判定された場合、処理は、ステップS１３４に進む。

ステップS１３４において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)について、上述した条件（Ｄ）に適合するか否かを判定する。ステップS１３４において、条件（Ｄ）に適合すると判定された場合、処理は、ステップS１３６に進み、条件（Ｃ）に適合しないと判定された場合、処理は、ステップS１３５に進む。

ステップS１３５において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)について、上述した条件（Ｅ）に適合するか否かを判定する。ステップS１３５において、条件（Ｅ）に適合すると判定された場合、処理は、ステップS１３６に進み、条件（Ｅ）に適合しないと判定された場合、処理は、ステップS１３７に進む。すなわち、マクロブロックMB(m)とMB(n)について、条件（Ａ）乃至（Ｅ）のいずれにも適合しないと判定された場合、ステップＳ１３７の処理が行われることになる。

ステップＳ１３６において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアを、フレーム符号化するものと判定する。

一方、ステップＳ１３７において、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアを、フィールド符号化するものと判定する。

ステップＳ１３６、またはＳ１３７の処理の後、処理は、ステップＳ１３８に進み、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアと、ステップＳ１３６またはＳ１３７の処理で判定された符号化方式とを対応づける情報を出力する。

あるいはまた、図６のステップS１０６の符号化方式判定処理は、図８のフローチャートに示されるように実行されるようにしてもよい。

同図においては、ステップＳ１５１乃至Ｓ１５５において、MB適応符号化判定部１１９は、ステップS１０５の処理で抽出されたマクロブロックペアに含まれる２つのマクロブロックMB(m)とMB(n)について、それぞれ条件（Ｅ）乃至（Ｊ）に適合するか否かを判定し、それぞれ条件（Ｅ）乃至（Ｊ）に適合すると判定された場合、処理は、ステップＳ１５６に進み、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアを、フィールド符号化するものと判定する。

一方、ステップＳ１５１乃至Ｓ１５５の処理により、マクロブロックMB(m)とMB(n)について、条件（Ｅ）乃至（Ｊ）のいずれにも適合しないと判定された場合、処理は、ステップＳ１５７に進み、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアを、フレーム符号化するものと判定する。

ステップＳ１５６、またはＳ１５７の処理の後、処理は、ステップＳ１５８に進み、MB適応符号化判定部１１９は、マクロブロックMB(m)とMB(n)により構成されるマクロブロックペアと、ステップＳ１５６またはＳ１５７の処理で判定された符号化方式とを対応付ける情報を出力する。

図６に戻って、ステップS１０６の処理の後、処理は、ステップS１０７に進み、適応符号化判定部１１９は、１フレームの画像に含まれる全てのマクロブロックペアを抽出したか否かを判定し、まだ、全てのマクロブロックペアを抽出していないと判定された場合、処理は、ステップS１０５に戻り、S１０５乃至S１０７の処理が繰り返し実行される。

ステップS１０７において、１フレームの画像に含まれる全てのマクロブロックペアを抽出したと判定された場合、処理は、ステップS１０８に進む。

ステップS１０８において、AVC符号化部１２０は、当該フレームの画像データをAVC符号化方式で符号化する。このとき、ステップS１０６の処理による判定結果に基づいて、個々のマクロブロックペアがフレーム符号化またはフィールド符号化される。

ステップS１０９において、MPEG復号部１１５は、次のフレームがあるか否かを判定し、次のフレームがあると判定された場合、処理は、ステップS１０１に戻り、それ以降の処理が繰り返し実行される。

ステップS１０９において、次のフレームがあると判定された場合、処理は終了される。

ここでは、１フレーム毎に復号され再符号化される例について説明したが、復号され再符号化されるデータの単位は、それぞれ１フレームに限られるものではない。

このようにして、トランスコードが行われ、MPEG2で符号化された画像データがH．264/AVCで符号化された画像データに変換される。

例えば、従来のH.264/AVC方式では、個々のマクロブロックペアについてフレーム符号化を行うか、またはフィールド符号化を行うかを決めるために、符号化装置に実装されたソフトウェアによりＪＭ（Ｊｏｉｎｔ Ｍｏｄｅｌ）による符号化方式の判定が行われていた。例えば、JMのLow Complexity Mode(高速モード)における判定では、それぞれの符号化方式に対応するコストを式（２）により演算する。

なお、式（２）における、SA(T)Dは、原画像と予測画像の差分値の全体値誤差和、またはそれにアダマール行列を施したものである。SA(T)D0は、式（３）により算出される。

なお、QP2Quantは、量子化パラメタQPから量子化スケールを得る変換式とされ、式（３）によりヘッダビット分(HeaderBit)がコストに考慮されることになる。

ＪＭのマクロブロックペアの符号化方式の判定では、個々のマクロブロックペアについてフレーム符号化した場合と、フィールド符号化した場合のそれぞれのコストが上述したように演算され、コストが最小になる符号化方式が選択されることになる。

しかしながら、ＪＭのマクロブロックペアの符号化方式の判定では、演算量（処理量）が膨大になり、例えば、トランスコードの実行あたって、ＪＭのマクロブロックペアの符号化方式の判定を行うと多大な時間がかかる。

これに対して、本発明の画像処理装置１００によるトランスコードでは、MPEG２のデコード情報に含まれる情報に基づいて、各マクロブロックペアの符号化方式が決定される。従って、装置にかかる負荷が軽減され、トランスコードをより高速に行うことが可能となる。

以上においては、画像処理装置１００に入力される画像データが、MPEG２の符号化方式で符号化されたデータである場合の例について説明したが、画像処理装置１００に入力される画像データが、MPEG４の符号化方式で符号化されたデータとされるようにしてもよい。この場合、MPEG符号化部１１５が、MPEG4のデータをデコードするようにすればよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図９において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像処理装置の一実施形態に係る構成例を示すブロック図である。 図１のAVC符号化部の構成例を示すブロック図である。 マクロブロックペアの例を説明する図である。 フレーム動き補償予測とフィールド動き補償予測を説明する図である。 フレームDCT符号化モードとフィールドDCT符号化モードを説明する図である。 トランスコード処理の例を説明するフローチャートである。 符号化方式判定処理の例を説明するフローチャートである。 符号化方式判定処理の別の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ 画像処理装置， １１５ MPEG復号部， １１６ MB Complexity算出部， １１７ ビデオメモリ， １１８ バッファ， １１９ MB適応符号化判定部， １２０ AVC符号化部， ２０２ 画面並べ替えバッファ， ２０３ 加算器， ２０４ 直交変換部， ２０６ 可逆符号化部， ２０７ 蓄積バッファ， ２１２ イントラ予測部， 動き予測・補償部， ２１４ レート制御部

Claims (15)

1. MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置であって、
   MPEG方式で符号化された画像データを復号する復号手段と、
   前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得するMPEGデコード情報取得手段と、
   前記復号手段により、前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得するベースバンド画像取得手段と、
   前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像取得手段により取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式を判定する判定手段と、
   前記判定手段により判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成する符号化手段と
   を備える画像処理装置。
2. 前記復号手段により、前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、前記MPEG方式で符号化された画像データの各マクロブロックの発生ビット、および前記マクロブロックの量子化スケールに関する情報基づいて、前記マクロブロックのそれぞれに対応する、複雑さを表す値を算出する算出手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記算出手段の算出結果に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する前記複雑さを表す値が閾値以下であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とする
   請求項２に記載の画像処理装置。
4. 前記算出手段の算出結果に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する前記複雑さを表す値が閾値以上であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とする
   請求項２に記載の画像処理装置。
5. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する発生ビットの合計値が閾値以下であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とする
   請求項１に記載の画像処理装置。
6. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する発生ビットの合計値が閾値以上であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とする
   請求項１に記載の画像処理装置。
7. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、それぞれのマクロブロックに対応する動きベクトルの差分値の絶対値が閾値以下であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とする
   請求項１に記載の画像処理装置。
8. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、それぞれのマクロブロックに対応する動きベクトルの差分値の絶対値が閾値以上であると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とする
   請求項１に記載の画像処理装置。
9. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応するDCTTypeがフレームＤＣＴであると判定された場合、
   前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とする
   請求項１に記載の画像処理装置。
10. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応するDCTTypeがフィールドＤＣＴであると判定された場合、
    前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とする
    請求項１に記載の画像処理装置。
11. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する動き補償予測モードがフレーム動き補償であると判定された場合、
    前記判定手段は、前記マクロブロックペアの符号化方式を、フレーム符号化とする
    請求項１に記載の画像処理装置。
12. 前記デコード情報取得手段により取得された前記MPEGデコード情報に基づいて、前記ベースバンド画像のマクロブロックペアに含まれる２つのマクロブロックにおいて、前記２つのマクロブロックのうちの、少なくとも１つのマクロブロックに対応する動き補償予測モードがフィールド動き補償であると判定された場合、
    前記判定手段は、前記マクロブロックペアの符号化方式を、フィールド符号化とする
    請求項１に記載の画像処理装置。
13. MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置の画像処理方法であって、
    MPEG方式で符号化された画像データを復号し、
    前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報を取得し、
    前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データを取得し、
    前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式を判定し、
    前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データを生成するステップ
    を含む画像処理方法。
14. MPEG（Moving Picture Coding Experts Group）方式で符号化された画像データを、H.264/AVC（Advanced Video Coding）方式で符号化された画像データに変換する画像処理装置に画像処理を実行させるプログラムであって、
    MPEG方式で符号化された画像データの復号を制御し、
    前記MPEG方式で符号化された画像データが復号されるとき得られる情報であって、ベースバンドの画像データをMPEG方式で圧縮するために設定された情報であるMPEGデコード情報の取得を制御し、
    前記MPEG方式で符号化された画像データが復号されて得られるベースバンドの画像データの取得を制御し、
    前記取得された前記MPEGデコード情報に基づいて、前記取得されたベースバンドの画像に含まれる、前記画像の中で上下に隣接する２つマクロブロックにより構成されるマクロブロックペアのそれぞれについて、H.264/AVC方式で符号化する場合の符号化方式の判定を制御し、
    前記判定された符号化方式で、前記マクロブロックペアのそれぞれについて符号化することで、H.264/AVC方式で符号化された画像データの生成を制御するステップ
    を含むコンピュータが読み取り可能なプログラム。
15. 請求項１４に記載のプログラムが記録されている記録媒体。

Images