JP2019057900A - 符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システム - Google Patents

Abstract

【課題】 ＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる符号化装置が望まれている。【解決手段】 本発明は、入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、背景領域の情報量を削減するための前処理を注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、所定の画像符号化方式を用いて、符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前処理部は、前処理ピクチャタイプを決定し出力する前処理ピクチャタイプ制御部と、前処理ピクチャタイプがキーピクチャである場合には注目領域付与画像を、非キーピクチャである場合には注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部と、前処理バッファとを有することを特徴とする。【選択図】 図１

Description

本発明は、符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムに関し、例えば、映像を圧縮するシステムに適用可能である。

近年、監視カメラの普及が進み、さらなる高解像度化、高フレームレート化、及び多視点化も望まれている。しかし、高解像度化、高フレームレート化、及び多視点化は、動画像の符号量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。

そこで、この問題を緩和するため、動画像より注目領域を検出し、注目領域に多くのビット数を配分する方式が提案されている。注目領域とは、例えば、顔領域である。なお、以下では、注目領域のことをＲｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔの略である「ＲＯＩ」と呼ぶものとする。また、注目領域に多くのビット数を配分する方式を「ＲＯＩ符号化」と呼ぶものとする。

特許文献１では、符号量と映像、品質を制御するパラメータをブロックごとに与えられるというエンコーダの機能を利用して、エンコーダに与えるパラメータをブロックごとに制御することで、ＲＯＩ以外の領域である非注目領域の情報量をＲＯＩの情報量よりも削減するシステム構成を提案している。なお、以下、この明細書では、非注目領域のことを「背景領域」と呼ぶものとする。また、背景領域は必ずしも静止状態とは限られないものとする。

このようにエンコーダが提供する機能を用いて情報量を削減すれば、効率よく確実に符号量を削減することが可能である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）のような主要な規格は、領域ごとに品質を制御する機能を備えているため、この機能を利用することは、ＲＯＩに多くのビット数を配分する代表的な方式と言える。

一方、例えば、コストや互換性などの諸事情により、映像品質制御パラメータをブロックごとに与える機能を有していないエンコーダの利用が不可避の場合、前述の方式を採用することはできない。このような場合でも、エンコーダに依存せず、領域ごとに映像品質を制御可能な技術として特許文献２に記載の技術が提案されている。

特許文献２では、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域に低域通過フィルタによる前処理をおこない、高周波成分の情報を取り除くことで背景領域の情報量を抑圧することを提案するものである。

図１５は、特許文献２に代表される従来の画像符号化装置を、画像処理システムの一部として組み込んだ場合の構成例を示す図である。

図１５において、画像処理システムＺは、入力された入力画像の内、背景領域に属する画素をＲＯＩの情報よりも少ないビット数で圧縮し、ビットストリームとして出力する画像符号化装置Ｘ１と、入力されたビットストリームを、復号し、出力画像を出力する画像復号装置Ｘ２とから構成される。

画像符号化装置Ｘ１は、入力画像にＲＯＩを付与し、ＲＯＩ付与画像を出力するＲＯＩ設定部４０２と、背景領域の情報量を削減するための前処理をＲＯＩ付与画像に施し、符号化前画像として出力する前処理部Ｕ１と、ＡＶＣ等の画像符号化方式を用いて符号化前画像を圧縮し、ビットストリームを出力するエンコーダ部４０６とを有する。ここで、前処理とは、例えばガウシアンフィルタを畳み込むことで、高周波成分を抑圧する処理などがある。

ＲＯＩ設定部４０２は、入力画像にＲＯＩを付与する機能であるが、ＲＯＩの特定手段に関しては特定されない。例えば、ＲＯＩの特定手段として、入力画像に対して顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また、ＲＯＩ補助情報として、例えば手動で入力されたＲＯＩの位置と座標によって特定するという方法も考えられるし、図示しないユーザインタフェースを介して入力されたＲＯＩの位置と座標によって特定するものでも良い。さらに、ＲＯＩ補助情報として、たとえば入力画像に対応する赤外線カメラ画像や深度センサ画像を利用してＲＯＩを特定するという方法でも良い。

ＲＯＩ設定部４０２は、特定されたＲＯＩの座標や大きさ等を含む情報をＲＯＩ情報として出力しても良い。出力されたＲＯＩ情報は、例えば付加情報パケットという形態でビットストリームに多重化されても良いし、画像に情報を埋め込むことでビットストリームに埋め込まれても良い。図１５では、例えば前述の方法でＲＯＩ情報をビットストリームに挿入する役割をエンコーダ部４０６が担っている。

画像復号装置Ｘ２は、入力されたビットストリームデータをエンコーダ部４０６に対応する方式で復号し、復号画像（出力画像）として出力するデコーダ部４０７を有する。

なお、図１５では、画像符号化装置Ｘ１が前処理によって背景領域の情報量をＲＯＩの情報量よりも削減する例を示しているが、画像符号化装置Ｘ１のエンコーダ部４０６をエンコーダが備える領域ごとに品質を制御する機能を利用してＲＯＩに多くのビット数を配分するものにすることで、特許文献１に代表される映像符号化システムを組み込んだ構成例となる。

この場合、前処理部Ｕ１は、品質パラメータを制御する機能を担当すると考えれば良い。

特開２００９−４９９７９号公報 特開平０４−２１９０８９号公報

Ｊ．Ａｓｃｅｎｓｏ， Ｃ．Ｂｒｉｔｅｓ， ａｎｄ Ｆ．Ｐｅｒｅｉｒａ． Ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ ｐｉｘｅｌ ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ， ２００５．， ｐａｇｅｓ５９３−５９８． ＩＥＥＥ， ２００５ Ｙｕｒｉ Ｖａｔｉｓ， Ｓｖｅｎ Ｋｌｏｍｐ，ａｎｄ Ｊｏｒｎ Ｏｓｔｅｒｍａｎｎ． Ｅｎｈａｎｃｅｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｔｈｅ Ｑｕａｎｔｉｓｅｄ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ ｆｏｒ ＷＹＮＥＲ−ＺＩＶ Ｃｏｄｉｎｇ． Ｉｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ， ２００７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｎｕｍｂｅｒ Ｆｉｇｕｒｅ ２， ｐａｇｅｓ １７２−１７５． ＩＥＥＥ， ｊｕ１ ２００７． Ｄｅｎｉｓ Ｋｕｂａｓｏｖ， Ｊａｙａｎｔｈ Ｎａｙａｋ ａｎｄ Ｃｈｒｉｓｔｉｎｅ Ｇｕｉ１１ｅｍｏｔ． Ｏｐｔｉｍａ１ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｍｕ１ｔｉｐ１ｅ Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ． Ｉｎ ２００７ ＩＥＥＥ ９ｔｈ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕ１ｔｉｍｅｄｉａ Ｓｉｇｎａ１ Ｐｒｏｃｅｓｓｉｎｇ， ｐａｇｅｓ１８３−１８６， ＩＥＥＥ， ２００７．

以上のように、前処理部Ｕ１を利用することで、ＲＯＩに多くのビット数を配分することは可能である。

しかしながら、その原理上、背景領域全体の画質低下は避けられない。

そのため、映像の伝送コストや蓄積コストを下げられるというＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムが望まれている。

第１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、（６）前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、（７）前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出することを特徴とする。

第２の本発明の複号装置は、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、（４）前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとを有し、（５）前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。

第３の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１の本発明の符号化装置を適用し、前記復号装置として第２の本発明の復号装置を適用したことを特徴とする。

第４の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、（６）前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、（７）前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出することを特徴とする。

第５の本発明の複号プログラムは、コンピュータを、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、（４）前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとして機能させ、（５）前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。

第６の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。

第７の本発明の複号装置は、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとを有し、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。

第８の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第６の本発明の符号化装置を適用し、前記復号装置として第７の本発明の復号装置を適用したことを特徴とする。

第９の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。

第１０の本発明の復号プログラムは、コンピュータを、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとして機能させ、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。

第１１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と（６）前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有することを特徴とする。

第１２の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１１の本発明の符号化装置を適用し、前記復号装置として第７の本発明の復号装置を適用したことを特徴とする。

第１３の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像の情報量を削減するための前処理を施し、符号化前画像として出力する前処理部と、（２）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（３）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（４）前記前処理ピクチャタイプがキーピクチャである場合には前記入力画像を、非キーピクチャである場合には前記入力画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。

第１４の本発明は、（１）入力画像の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとを有し、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。

第１５の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１３の本発明の符号化装置を適用し、前記復号装置として第１４の本発明の復号装置を適用したことを特徴とする。

本発明によれば、映像の伝送コストや蓄積コストを下げられるというＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる。

第１の実施形態に係る画像処理システムの構成について示すブロック図である。 第１の実施形態に係る画像処理システムの動作を示すフローチャートである。 第１の実施形態に係る特定されたＲＯＩの補正例を示す図である。 第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その１）である。 第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その２）である。 第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その３）である。 第２の実施形態に係る画像処理システムの構成について示すブロック図である。 第２の実施形態に係る画像処理システムの動作を示すフローチャートである。 第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その１）である。 第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その２）である。 第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その３）である。 第２の実施形態に係るルックアップテーブルの一例を示す図である。 第３の実施形態に係る画像処理システムの構成について示すブロック図である。 第３の実施形態に係る画像処理システムの動作を示すフローチャートである。 特許文献２に代表される従来の画像符号化装置を、画像処理システムの一部として組み込んだ場合の構成例について示すブロック図である。

（Ａ）第１の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第１の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理システム１の構成について示すブロック図である。なお、図１において、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。

画像処理システム１は、入力画像を符号化してストリーム（ビット列）を出力する画像符号化装置１０と、画像符号化装置１０で符号化されたストリーム（ビットストリーム）を復号して復号画像を出力する画像復号装置２０とを有している。

画像符号化装置１０から出力されたストリームを画像復号装置２０に入力する媒体は限定されないものである。例えば、画像符号化装置１０から出力されたストリームを、通信（例えば、インターネット等）により画像復号装置２０に送信するようにしても良いし、画像符号化装置１０から出力されたストリームのデータをデータ記録媒体（例えば、ＤＶＤやＨＤＤ等の媒体）に記録してオフラインで画像復号装置２０に入力するようにしても良い。

この実施形態では、画像符号化装置１０は入力画像ごとの符号化を行うものとして説明するが、画像符号化装置１０に連続して複数の入力画像を処理させることで動画像の符号化処理に適用するようにしても良い。また、画像復号装置２０についても同様に、連続して複数の符号化データのストリームを復号処理させることにより、動画像の復号処理に適用するようにしても良い。

次に、画像符号化装置１０の内部構成について説明する。図１は、第１の実施形態に係る画像符号化装置１０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

画像符号化装置１０は、ＲＯＩ設定部４０２、前処理部２００、及びエンコーダ部４０６を有している。ＲＯＩ設定部４０２及びエンコーダ部４０６の機能は前述の図１５で説明したものと同様の機能を有する。

前処理部２００は、入力画像について、「キーピクチャ」か「非キーピクチャ」か何れか一方を指し示す「前処理ピクチャタイプ」を決定し出力する前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャである場合にはＲＯＩ付与画像を、非キーピクチャである場合にはＲＯＩ付与画像にキーピクチャを参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部１０３と、ＤＲＣフィルタ部１０３用のバッファである前処理バッファ１０４とを有する。

また、ＤＲＣフィルタ部１０３は、キーピクチャと判定されているＲＯＩ付与画像を前処理用蓄積ピクチャとして出力することで前処理バッファ１０４に蓄積し、非キーピクチャと判定されているＲＯＩ付与画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャを前処理用参照ピクチャとして前処理バッファ１０４から取り出すものでもある。

前処理ピクチャタイプ制御部１０１が、どのようにピクチャタイプを判定するかについては種々の方法を適用することができる。具体的な方法例は後述するが、例えば入力画像やＲＯＩ付与画像に基づき決定する方法もあるため、図１では入力画像やＲＯＩ付与画像を前処理ピクチャタイプ制御部１０１に入力する例も点線で示している。

ＲＯＩ設定部４０２は、前述の図１５で説明した機能に加えて、動作条件を付与することもできる。具体的な方法例は後述するが、例えば前処理ピクチャタイプ（図１では点線で示す通り、前処理ピクチャタイプ制御部１０１から入力される）に応じて動作条件を決定する。

エンコーダ部４０６は、前述の図１５で説明した機能に加えて、ＲＯＩ情報を伝送する場合と同じように、付加情報パケットや画像への埋め込みによって、前処理ピクチャタイプ（図１では点線で示す通り、前処理ピクチャタイプ制御部１０１から入力される）をビットストリームに挿入しても良い。また、ピクチャタイプの決定方法は、後述する後処理ピクチャタイプ制御部１０８と手動設定や伝送によって共有する必要があるが、付加情報パケットや画像への埋め込みによって、ピクチャタイプの決定方法をビットストリームに挿入しても良い。

次に、画像復号装置２０の内部構成について説明する。図１は、第１の実施形態に係る画像復号装置２０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

画像復号装置２０は、デコーダ部４０７と復号画像を入力し、出力画像を出力する後処理部３００とを有している。

後処理部３００は、後処理ピクチャタイプを決定し出力する後処理ピクチャタイプ制御部１０８と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には復号画像を、非キーピクチャであることを指し示している場合には復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部１０９と、ＩＤＲＣフィルタ部１０９用のバッファである後処理バッファ１１０とを有している。

また、ＩＤＲＣフィルタ部１０９は、キーピクチャと判定されている復号画像を後処理用蓄積ピクチャとして出力することで後処理バッファ１１０に蓄積し、非キーピクチャと判定されている復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャを後処理用参照ピクチャとして後処理バッファ１１０から取り出すものでもある。

後処理ピクチャタイプ制御部１０８がどのようにピクチャタイプを判定するかについては種々の方法を適用することができる。具体的な方法例は後述するが、例えばビットストリームに埋め込まれた情報や復号画像に基づき決定する方法もあるため、図１ではピクチャタイプ補助情報を後処理ピクチャタイプ制御部１０８に入力する例も点線で示している。ピクチャタイプ補助情報とは、例えばピクチャタイプ自体や復号画像、ピクチャタイプの決定方法などである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理システム１の動作を、図面を参照しながら詳細に説明する。図２は、第１の実施形態に係る画像処理システムの動作を示すフローチャートである。以下では、画像符号化装置１０及び画像復号装置２０の動作を各々分けて説明する。

（Ａ−２−１）画像符号化装置１０の動作
図２（Ａ）は、第１の実施形態に係る画像符号化装置の動作を示すフローチャートである。

まず、前処理ピクチャタイプ制御部１０１は、入力画像のピクチャタイプを決定し、前処理ピクチャタイプとして出力する（Ｓ１１）。なお、ピクチャタイプの決定方法には幾通りもの方法が考えられるが、例えば、以下の（１）〜（３）の方法が考えられる。

（１）予め定められたキーピクチャ間隔に基づき周期的に決定する方法
例えば、前処理ピクチャタイプ制御部１０１は、キーピクチャ間隔を２に設定した場合、１枚ごとにキーピクチャと非キーピクチャを切り替える。具体的には、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目を非キーピクチャとして、（Ｔ＋２）枚目を再びキーピクチャにする。同様に、前処理ピクチャタイプ制御部１０１は、キーピクチャ間隔を３に設定した場合、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目と（Ｔ＋２）枚目を非キーピクチャとして、（Ｔ＋３）枚目を再びキーピクチャにする。

（２）入力画像の性質に応じて決定する方法
前処理ピクチャタイプ制御部１０１は、画像の性質、例えば動きがあるかなどを既存のコンピュータビジョンの手法を利用して解析し、例えば入力画像の中に動きのある領域が無いと判定されたとき、当該入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにする。

より具体的には、例えば、処理対象の入カ画像とその直前に入力された入力画像とを用いて画素ごと若しくは１個以上の画素の集合であるブロックごと、又は画像全体で動きベクトルを推定し、予め定めた閾値以上の大きさを持つ動きベクトルが存在しなかった場合や１個以上の動きベクトルの平均動きベクトルを計算し、平均動きベクトルの大きさが予め定めた閾値より小さい場合に、当該処理対象の入力画像をキーピクチャとする。

また、過去Ｎ個の入力画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された入力画像が存在しない場合に限り、画像全体で動きが無いと判定された入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにするのも有効である。

（３）ＲＯＩの有無に応じて決定する方法
例えば、前処理ピクチャタイプ制御部１０１は、ＲＯＩ付与画像にＲＯＩが存在しない場合にキーピクチャと判定し、ＲＯＩが存在する場合に非キーピクチャと判定する。これは、ＲＯＩが存在しないとき、画像全体に動きはないだろうという仮定の下での判定とも言える（言い換えれば、前述の（２）の手法の特例とも言える）。

前述の（２）の手法と同様に、過去Ｎ個の入力画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された入力画像が存在しない場合に限り、ＲＯＩが存在しない入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにするのも有効である。また、前述の（１）〜（３）の方法を組み合わせるという方法も考えられる。

なお、決定したピクチャタイプは、エンコーダ部４０６を介して画像復号装置２０側に伝送しても良い。また、ピクチャタイプの決定方法は、エンコーダ部４０６を介して画像復号装置２０側に伝送しても良いし、手動設定により後処理ピクチャタイプ制御部１０８と共有しても良い。

次に、ＲＯＩ設定部４０２において、入カ画像にＲＯＩを付与し、ＲＯＩ付与画像をＤＲＣフィルタ部１０３に出力する（Ｓ１２）。

ここで、ＲＯＩ設定部４０２は、全ての入力画像にＲＯＩを付与しても良いし、例えば、前処理ピクチャタイプが非キーピクチャであることを指している場合にのみＲＯＩを付与しても良い。ＲＯＩを付与するピクチャを非キーピクチャのみに限定することで、演算量を削減できるという効果が得られる。なぜならば、この実施形態では、非キーピクチャの背景領域に対してフィルタリングが適用されるため、この実施形態に限定すれば、ＲＯＩを特定する理由は非キーピクチャにしかないためである。ＲＯＩを特定し情報を付与するのにも一定の演算量が必要となるため、不必要なＲＯＩ設定部４０２の動作を止めることで演算量を削減できる。

また、特定されたＲＯＩは、例えば以下の（１）〜（３）のいずれかの補正を経たものでも良い。（１）予め定められた大きさのブロックに属する画素のうち１画素でもＲＯＩに含まれているならば、当該ブロックに含まれる画素は、全てＲＯＩに属するとする。（２）予め定められた大きさのブロックに属する画素のうち半数以上がＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。（３）予め定められた大きさのブロックに属するすべての画素がＲＯＩに含まれているときのみ、当該ブロックに含まれる画素はＲＯＩに属するとしたりする。

図３は、第１の実施形態に係る特定されたＲＯＩの補正例を示す図である。図３は、前述の方法例のうち（２）の方法で補正する場合をイメージ化したものである。図３では、各ブロック（Ｂ１〜Ｂ３）のサイズを幅４画素、高さ４画素としている。例えば、ブロックＢ３はＲＯＩに含まれる画素が９であるため（つまり、半分以上であるため）に、当該ブロックに含まれる画素はＲＯＩに属するとする。エンコーダ部４０６で採用され得る多くの画像符号化方式では、特定の大きさのブロックごとに予測したり変換したりすることで情報量を削減するため、ＲＯＩと背景領域の境界も、画像符号化方式が採用するブロックの境界と一致していることが望ましい。本補正は、ＲＯＩと背景領域の境界と、画像符号化方式が採用するブロックの境界とを一致させるための処理である。

次に、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を前処理用参照ピクチャ及び符号化前画像として出力する（Ｓ１３）。一方、ＤＲＣフィルタ部１０３は、ＲＯＩ付与画像が非キーピクチャであれば、前処理バッファ１０４から前処理用参照ピクチャを取り出し、ＲＯＩ付与画像のうち背景領域に分類される画素にフィルタリングを施し、符号化前画像として出力する。

図４（Ａ）は、ＤＲＣフィルタ部１０３が非キーピクチャに対して行うフィルタリングの一例を示すフローチャートである。

図４において、ｐ_ｉはＲＯＩ付与画像のｉ番目の画素値、ｒ_ｉはキーピクチャのｉ番目の画素値である。また、Ｒ_ｅは情報量の削減量を操作するための係数でダイナミックレンジの圧縮率にあたる０．０〜１．０のパラメータである。ｐ_０が符号化前画像のｉ番目の画素値であり、ｘ_１やｘ_２、ｘ_３は中間値である。

例えば、図４（Ａ）のフローチャートが示す画像処理を背景領域に属する画素に対して適用する。本手法では、ＲＯＩに属する画素については、ｐ_ｉを無加工でｐ_０とする。背景領域の画素値ｐ_ｉのダイナミックレンジを、キーピクチャの画素値ｒ_ｉを中心に圧縮することで、情報量を削減する（Ｓ１０１〜Ｓ１０３）。なお、ステップＳ１０３では、ダイナミックレンジを圧縮する際に四捨五入する場合の例を示しているが、四捨五入を行う場合にのみ本実施形態の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する。

ステップＳ１０１〜Ｓ１０３の処理により、ダイナミックレンジを圧縮した後、圧縮した中間値ｘ_３に１２８を加算する（Ｓ１０４）。ダイナミックレンジを圧縮した後に、その中心値を１２８に移しているのは、非キーピクチャの情報量を確実に削減するためである。もし、中心値をｒ_ｉのまま維持すると、非キーピクチャ自体はキーピクチャと同じような画素値分布の情報量を持つことになり、非キーピクチャの情報量がほとんど削減されないという結果になる場合があるためである。具体的には、エンコーダ部４０６において、イントラピクチャとして符号化するかインターピクチャとして符号化するかを指定できない場合で、非キーピクチャがイントラピクチャとして符号化されたときに、情報量がほとんど削減されないという結果になる。なぜならば、前述のとおり非キーピクチャ自体はキーピクチャと同じような画素値分布を持ち、つまりエントロピー（圧縮限界）がほとんど変わらないためである。なお、中心値をｒ_ｉ以外の値にするときに、本例では差分値のダイナミックレンジを正負で同等に確保するため中心値を１２８に移しているが、中心値を１２８以外の値としても一定の効果は存在する。

エンコーダ部４０６において、キーピクチャと判定されている符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている符号化前画像をインターピクチャとして符号化すると指定できる場合には、中心値をｒ_ｉのまま維持しても、ピクチャ間の差分が小さくなるため符号量の削減効果は得られる。そのため、エンコーダ部４０６がキーピクチャと判定されている符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている符号化前画像をインターピクチャとして符号化するように制御することと、例えば、図５（ステップＳ３０１の処理）のように中心値をｒ_ｉのまま維持することも本発明の実施例の一つとする。

なお、本実施例（ステップＳ１０２の処理）において、ＲＯＩ付与画像の画素値とキーピクチャの画素値の差分値ｘ_１に対してダイナミックレンジを半分にする演算、具体的にはｘ_２＝ｘ_１÷２を実行しているが、これはｘ_１のダイナミックレンジが減算によってｐ_１のダイナミックレンジの２倍になっているためである。ダイナミックレンジを等倍に揃えなければ、ｐ_０がアンダーフロー又はオーバーフローする可能性があり、たとえ、アンダーフロー及びオーパーフロー対策としてクリッピング処理を入れたとしても画質の低下が発生しうる。そこで、ダイナミックレンジを等倍に揃えるためにｘ_２＝ｘ_１÷２を実行している。ただし、本処理には差分値の精度低下に繋がるという副作用もあるため、ピクチャ間の変動が小さいことが予め分かっているビデオを入力する場合は、ダイナミックレンジを等倍に揃えないほうが高品質に符号化できる。そのため、ダイナミックレンジを等倍に揃えない構成も実施例の一つである。この場合、代わりに最後にｐ_０をその定義域（例えば０〜２５５）でクリッピングしても良い。

また、仮に非キーピクチャをフィルタリングするときに、取り出し可能なキーピクチャが前処理バッファ１０４に存在しない場合には、図６のように、予め定めた固定の中心値（図６では、例として１２８を採用）を仮想的なキーピクチャの画素値ｒ_ｉとして使用しても良い。また、図６の例では、出力時の中心値を１２８にしているが、前述のとおり、出力時に中心値を１２８としても良いし、１２８以外の画素値を中心値としても一定の効果は存在する。図６の例では、前述のとおり１２８を中心にダイナミックレンジを圧縮し（Ｓ５０１、Ｓ５０２）、出力時の中心値も１２８としているため（Ｓ５０３）、前述のアンダーフローやオーバーフローが発生する可能性はない。そのため、図６では前述のダイナミックレンジを等倍に揃える処理を行わない場合の例を示している。もちろん、図６の例の派生として、ダイナミックレンジを等倍に揃える例も考えられる。

なお、この明細書でしばしば述べた「１２８」は画素値が８ビット整数値であることを想定したものであり、画素値の表現範囲に応じて適宜変更して良い。例えば、画素値が０からＭまでの値を取り得る画像である場合、つまり画素値の定義域が０からＭまでの場合、１２８の代わりにＭ／２を用いても良い。

さらに、フィルタリングに用いるキーピクチャは、時系列に並んだ画像のうち、つまりタイムスタンプ順に並んだ画像のうち、フィルタリングの対象である非キーピクチャの直前に位置するキーピクチャとするのが最も単純な方法であるが、最寄りのキーピクチャ、つまり非キーピクチャのタイムスタンプに最も近いタイムスタンプを持つ直前または直後に位置するキーピクチャとしても良い。

そして、エンコーダ部４０６では、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ１４）。

（Ａ−２−２）画像復号装置２０の動作
図２（Ｂ）は、第１の実施形態に係る画像復号装置２０の動作を示すフローチャートである。

まず、デコーダ部４０７は、画像符号化装置１０からビットストリームを受け取り、ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する（Ｓ２１）。

後処理ピクチャタイプ制御部１０８は、復号画像のピクチャタイプを決定し、後処理ピクチャタイプとして出力する（Ｓ２２）。なお、ピクチャタイプの決定方法には種々様々な方法を適用することができるが、例えば、以下の方法を挙げることができる。

（１）予め定められたキーピクチャ間隔に基づき周期的に決定する方法
例えば、キーピクチャ間隔を２に設定した場合、１枚ごとにキーピクチャと非キーピクチャを切り替える。具体的には、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目を非キーピクチャとして、（Ｔ＋２）枚目を再びキーピクチャにする。同様に、キーピクチャ間隔を３に設定した場合、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目と（Ｔ＋２）枚目を非キーピクチャとして、（Ｔ＋３）枚目を再びキーピクチャにする。

（２）復号画像をピクチャタイプ補助情報として扱い、復号画像の性質に応じて決定する方法
復号画像の性質、例えば動きがあるかなどを既存のコンピュータビジョンの手法を利用して解析し、例えば復号画像の中に動きのある領域が無いと判定されたとき、当該復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにする。より具体的には、例えば処理対象の復号画像とその直前に入力された復号画像とを用いて画素ごと若しくは１個以上の画素の集合であるブロックごと、又は画像全体で動きベクトルを推定し、予め定めた閾値以上の大きさを持つ動きベクトルが存在しなかった場合や１個以上の動きベクトルの平均動きベクトルを計算し、平均動きベクトルの大きさが予め定めた閾値より小さい場合に、当該処理対象の復号画像をキーピクチャとする。

過去Ｎ個の復号画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された復号画像が存在しない場合に限り、画像全体で動きが無いと判定された復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにするのも有効である。

（３）復号画像をピクチャタイプ補助情報として扱い、ＲＯＩの有無に応じて決定する方法
例えば、復号画像にＲＯＩが存在しない場合にキーピクチャと判定し、ＲＯＩが存在する場合に非キーピクチャと判定する。ＲＯＩが存在しないとき、画像全体に動きはないだろうという仮定の下での判定とも言える。前述の（２）の特例とも言える。

また、前述の（２）と同様に、過去Ｎ個の復号画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された復号画像が存在しない場合に限り、ＲＯＩが存在しない復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにするのも有効である。

（４）前処理ピクチャタイプ制御部１０１の決定をピクチャタイプ補助情報として扱い当該情報に応じて決定する方法
前述のとおり、前処理ピクチャタイプ制御部１０１で判定されたピクチャタイプは、付加情報パケットや画像への埋め込みによって、ビットストリームに挿入しても良い。仮にビットストリームにピクチャタイプに関する情報が埋め込まれている場合、当該情報を持ってピクチャタイプを判定する。

また、後処理ピクチャタイプ制御部１０８は前述の（１）〜（４）の方法を組み合わせる方法を採用しても良い。どのような方法で決定するかは、予め決めておいても良いし、ピクチャタイプ補助情報より取得しても良い。

ＩＤＲＣフィルタ部１０９は、後処理ピクチャタイプを参照し、復号画像がキーピクチャであれば、復号画像を後処理用参照ピクチャおよび出力画像として出力し、復号画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、復号画像のうち背景領域に分類される画素にフィルタリングを施し、出力画像として出力する。

ＩＤＲＣフィルタ部１０９が非キーピクチャに対しておこなうフィルタリングの具体的な方法例を、図４（Ｂ）（変形例として、図５（Ｂ）、図６（Ｂ））に示す。

図４（Ｂ）において、ｑ_ｉは復号画像のｑ番目の画素値、ｒ’_ｉはキーピクチャのｉ番目の画素値、Ｒ_ｄはダイナミックレンジの圧縮率Ｒ_ｅの逆数でＲ_ｄ＝１／Ｒ_ｅ、ｑ_０が出力画像のｉ番目の画素値であり、ｙ_１やｙ_２、ｙ_３は中間値である。Ｒ_ｅは、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。

本フローチャートが示す画像処理を背景領域に属する画素に対して適用する。本手法では、ＲＯＩに属する画素については、ｑ_ｉを無加工でｑ_０とする。背景領域の画素値ｑ_ｉのダイナミックレンジを、キーピクチャの画素値ｒ’_ｉを中心に拡大することで、ダイナミックレンジの伸長をおこなう。なお、ＤＲＣフィルタの動作について説明している段落でも述べたとおり、本例では、ダイナミックレンジを圧縮する際に四捨五入する場合の例を示しているが、四捨五入を行う場合にのみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する。

ＩＤＲＣフィルタ部１０９の機能（図４（Ｂ）〜図６（Ｂ）の処理を含む）は、ＤＲＣフィルタ部１０３の機能の逆演算に相当するため、詳細な説明は省略する（Ｓ２３）。

なお、符号化前画像の画素値の中心値をｒ_ｉ以外の値にする場合に、本例では差分値のダイナミックレンジを正負で同等に確保するため当該中心値を１２８に移しているが、ＤＲＣフィルタ部１０３の動作の項でも説明の通り中心値を１２８以外の値としても一定の効果は存在する。この場合、ＩＤＲＣフィルタ部１０９は、ＤＲＣフィルタ部１０３が符号化前画像の中心値として使用した中心値を中心にダイナミックレンジを伸長するようにする。具体的には、図４（Ｂ）や図６（Ｂ）のＩＤＲＣフィルタ部１０９の動作において、初めにｑ_ｉより１２８を差し引くのではなく、ＤＲＣフィルタ部１０３で使用した中心値で差し引くようにする。中心値は、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。

また、ＤＲＣフィルタ部１０３で、ダイナミックレンジを等倍に揃えない場合、ＩＤＲＣフィルタ部１０９においてもダイナミックレンジを等倍に揃える演算の逆演算にあたるｙ_３＝ｙ_２×２の実行（ステップＳ２０３の処理）は不要である。ダイナミックレンジを等倍に揃える演算の有無については、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。

もし、非キーピクチャをフィルタリングするときに、取り出し可能なキーピクチャが後処理バッファ１１０にない場合には、図６のように、たとえば仮想的なキーピクチャの画素値１２８をｒ’_ｉとして使用しても良いことも同じである。仮想的なキーピクチャの画素値は、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

画像処理システム１では、入力画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工で符号化し、非キーピクチャはキーピクチャを用いてダイナミックレンジを圧縮してから符号化していることで、エンコーダの仕様および実装に手を加えることなしに、映像の伝送コストや蓄積コストを削減することができており、又キーピクチャを使用してダイナミックレンジの伸長も行っていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、第１の実施形態の画像処理システム１は、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。

（Ｂ）第２の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第２の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。

（Ｂ−１）第２の実施形態の構成
図７は、第２の実施形態に係る画像処理システム１Ａの構成について示すブロック図である。なお、図７おいて、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。

画像処理システム１Ａでは、図１の画像符号化装置１０と画像復号装置２０が、画像符号化装置１０Ａと画像復号装置２０Ｂに置き換わっている点で第１の実施形態と異なっている。以下では、第２の実施形態について第１の実施形態との差異を中心に説明する。

第２の実施形態の画像符号化装置１０Ａにおいて、前処理部２００Ａは、前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合にはＲＯＩ付与画像を、非キーピクチャであることを指し示している場合にはＲＯＩ付与画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部１０３とを有している。

第２の実施形態の画像復号装置２０Ａにおいて、後処理部３００Ａは、後処理ピクチャタイプ制御部１０８と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には復号画像を、非キーピクチャであることを指し示している場合には復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部１０９と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には再構成前画像を、非キーピクチャであることを指し示している場合には再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部２１１と、再構成部２１１用のバッファである後処理バッファ１１０とを有している。

再構成部２１１は、キーピクチャと判定されている再構成前画像を後処理用蓄積ピクチャとして出力することで後処理バッファ１１０に蓄積し、非キーピクチャと判定されている再構成前画像をキーピクチャの情報を用いて再構成処理するために、キーピクチャを後処理用参照ピクチャとして後処理バッファ１１０から取り出すという機能も備える。

詳細は後述するが、再構成部２１１は、エンコーダ部４０６が使用した品質パラメータ（例えば量子化パラメータ）に応じた再構成をおこなうこともできるため、図３では品質パラメータを再構成部２１１に入力する例も点線で示している。

（Ｂ−２）第２の実施形態の動作
図８は、第２の実施形態に係る画像処理システムの動作を示すフローチャートである。図８と前述の図２の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態の画像処理システム１Ａの特有の処理のみついて述べる。

（Ｂ−２−１）画像符号化装置１０Ａの動作
図８（Ａ）は、第２の実施形態に係る画像符号化装置１０Ａの動作を示すフローチャートである。

前述のステップＳ１２の後、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を符号化前画像として出力し、ＲＯＩ付与画像が非キーピクチャであれば、ＲＯＩ付与画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、符号化前画像として出力する（Ｓ３１）。

（Ｂ−２−２）画像復号装置２０Ａの動作
図８（Ｂ）は、第２の実施形態に係る画像復号装置２０Ａの動作を示すフローチャートである。

前述のステップＳ２２の後、ＩＤＲＣフィルタ部１０９は、後処理ピクチャタイプを参照し、復号画像がキーピクチャであれば、復号画像を再構成前画像として出力し、復号画像が非キーピクチャであれば、復号画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、再構成前画像として出力する（Ｓ４１）。

ここで、ＤＲＣフィルタ部１０３やＩＤＲＣフィルタ部１０９で使用するフィルタリングは、キーピクチャを使用しないもの存在する。従って、前述の図６で示したアルゴリズムを用いて、ダイナミックレンジを圧縮したり伸長したりする。具体的には、例えば１２８を仮想的なキーピクチャの画素値としてダイナミックレンジを圧縮したり伸長したりする。図６に関する詳細な説明は第１の実施形態で説明した通りである。

なお、第２の実施形態では、ＤＲＣフィルタ部１０３がキーピクチャに基づくフィルタリングを行っていないため、背景領域はダイナミックレンジが圧縮されているのみで、つまり画素値信号の振幅が抑圧されているだけで、映像として人間が認識可能なものとなっている。そのため、第２の実施形態では仮に後処理部３００Ａが存在しなくても一定の効果は得られる。同様に、ＩＤＲＣフィルタ部１０９は利用可能で、再構成部２１１が存在しない場合でも一定の効果は得られる。この場合は、抑圧されていた振幅が限定的な精度で復元された映像を視聴することが可能になる。

次に、再構成部２１１は、後処理ピクチャタイプを参照し、再構成前画像がキーピクチャであれば、再構成前画像を後処理用参照ピクチャおよび出力画像として出力し、再構成前画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、再構成前画像のうち背景領域に分類される画素に再構成処理を施し、出力画像として出力する（Ｓ４２）。

以下では、再構成部２１１で再構成をおこなうための具体的なアルゴリズム例を図９〜図１１を挙げてそれぞれ説明する。

図９は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その１）である。

図９において、ｓ_ｉはキーピクチャのｉ番目の画素値、Ｌ_ｉは出力画像のｉ番目の画素値の存在区間の下限値、Ｕ_ｉは出力画像のｉ番目の画素値の存在区間の上限値、ｚ_０は出力画像のｉ番目の画素値を示している。

再構成部２１１は、ｓ_ｉがＬ_ｉより小さいか否か判定を行い（Ｓ７０１）、ｓ_ｉがＬ_ｉより小さい場合には、ｚ_０をＬ_ｉとする（Ｓ７０２）。また、再構成部２１１は、ｓ_ｉがＬ_ｉ以上の場合には、ｓ_ｉがＵ_ｉより大きいか否か判定を行う（Ｓ７０３）。再構成部２１１は、ｓ_ｉがＵ_ｉより大きい場合にはｚ_０をＵ_ｉとし（Ｓ７０４）、それ以外の場合にはｚ_０をｓ_ｉとする（Ｓ７０５）。

つまり、ステップＳ７０１〜Ｓ７０５の処理は、キーピクチャの画素値ｓ_ｉが存在区間に含まれる場合はｓ_ｉを出力画像の画素値ｚ_０として採用し、ｓ_ｉが存在区間の外にある場合は、ｓ_ｉがある側の境界値をｚ_０として採用するアプローチである。

Ｌ_ｉとＵ_ｉは、再構成前画像のｉ番目の画素値ｖ_ｉを用いて、以下の(１)及び(２)式により求める。

上記(１)及び(２)式において、ｗは出力画像の存在区間の大きさを表している。なお、ｗ／２は切り捨てを基本とするが、切り上げても四捨五入でも一定の効果は存在する。ｗは、例えば、以下の（３）式により求める。

上記（３）式において、Ｗ_Ｑはエンコーダ部４０６で発生する量子化ステップで、エンコーダ部４０６がロスレスエンコーダである場合は１．０である。Ｒ_ｄは前述のとおりダイナミックレンジの圧縮率Ｒ_ｅの逆数Ｒ_ｄ＝１／Ｒ_ｅで、ＤＲＣフィルタ部１０３で発生する存在区間の大きさとも解釈できるので、この実施形態では符号化全体で発生する存在区間の大きさｗを、Ｒ_ｄにＷ_Ｑを乗じることで求めている。なお、Ｒ_ｄは、手動設定や伝送によってＩＤＲＣフィルタ部１０９と再構成部２１１とで共有されているものとする。

なお、Ｒ_ｄが偶数の場合、Ｕ_ｉを計算する際に１で減算しても良い。つまり、以下の（４）式としても良い。

１を減算する理由は、前述の図４〜図６において、ダイナミックレンジを圧縮する際に四捨五入することを基本として想定しており（前述のとおり、ＤＲＣフィルタやＩＤＲＣフィルタにおいて、四捨五入する場合のみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する）、四捨五入には正のバイアスが発生しうるという性質があるためである。例えば、１の位で四捨五入すると１０になる整数は５から１４であるが、１０より小さい数は５から９の５個あるのに対し、１０より大きい数は１１から１４の４個しかない。この影響を考慮し、存在区間を求める際にｖ_ｉよりも大きい数の候補を、ｖ_ｉよりも小さい数の候補より１個減らすことを考えたものが、前述の（４）式である。

エンコーダ部４０６がＡＶＣで圧縮する場合、Ｗ_Ｑはビデオエンコーダに与えられるパラメータである量子化パラメータｑＰ（図７中の品質パラメータの一例が量子化パラメータｑＰである）を用いて、例えば、以下の（５）、（６）式により求められる。

上記（６）式において、関数Ｌは、例えば、図１２に示すルックアップテーブルＴである。（６）式は、ＡＶＣで定義されているＤＣ成分に対する量子化ステップＷ_ｓの計算式である。Ｗ_ｓは、トランスフォームドメインで定義される量子化ステップであるため、Ｗ_ｓを４で割ることでトランスフォームドメインの量子化ステップＷ_ｓをピクセルドメインの量子化ステップＷ_Ｑに変換している。なお、ビデオエンコーダが周波数ドメインで量子化する以上、ピクセルドメインにおける厳密な存在区間を求めることはできない。そのため、ｗはあくまで近似された存在区間とみなさなければならない。

なお、ここで挙げたｗやＷ_Ｑの求め方は、あくまで一例であり、例えば品質パラメータに応じたｗやＷ_Ｑをルックアップテーブルや任意の関数の形で予め決めておくという方法でも良い。

図１０は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その２）である。

図９の方法が注目する（出力画像の画素値をこれから求める）色成分のみに基づき出力画像の画素値を決めていたのに対し、図１０の方法は、他色（本実施形態では注目する色成分も含めて合計３色）の色成分を用いて出力画像の画素値を決める手法である。図１０において、Ｓ_ｉは注目する色成分のキーピクチャのｉ番目の画素値であり、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2は他色成分のキーピクチャのｉ番目の画素値である。例えば、色空間が動画像符号化で一般的なＹＵＶ（輝度成分（Ｙ）及び色差成分（Ｕ，Ｖ））の場合、ｓ_ｉがＹ成分のキーピクチャの画素値であるとすると、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はそれぞれＵ成分およびＶ成分のキーピクチャの画素値であり、ｓ_ｉがＵ成分のキーピクチャの画素値であるとすると、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はそれぞれＹ成分およびＶ成分のキーピクチャの画素値であり、ｓ_ｉがＶ成分のキーピクチャの画素値であるとすると、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はそれぞれＹ成分およびＵ成分のキーピクチャの画素値である。

なお、動画像符号化では、色差成分（Ｕ成分とＶ成分）の縦または横またはその両方の解像度が、輝度成分（Ｙ成分）の半分の解像度で圧縮されることも多い。この場合、ｓ_ｉがＹ成分の画素値である場合、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はｓ_ｉを空間的に内包する位置のＵ成分およびＶ成分の画素値とし、ｓ_ｉがＵ成分の画素値である場合、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はｓ_ｉが空間的に内包する空間内の何れかの画素値（例えば、それぞれ左上のＹ成分の画素値と空間的に同じ位置のＶ成分の画素値）とし、ｓ_ｉがＶ成分の画素値である場合、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2はｓ_ｉが空間的に内包する空間内の何れかの画素値（例えば、それぞれ左上のＹ成分の画素値と空間的に同じ位置のＵ成分の画素値）とする。

Ｌ_ｉは出力画像のｉ番目の画素値の存在区間の下限値、Ｕ_ｉは出力画像のｉ番目の画素値の存在区間の上限値で、Ｌ_ｉ ^ｃ１，Ｌ_ｉ ^ｃ2，Ｕ_ｉ ^ｃ１，Ｕ_ｉ ^ｃ2は下記（７）〜（１０）式によって求められる他色の出力画像の画素値の存在区間の下限と上限である。

上記各式において、ｖ_ｉ ^ｃ１，ｖ_ｉ ^ｃ2は、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2に対応する再構成前画像の他色成分で、ＩＤＲＣフィルタ部１０９によって生成された画素値である。ｗの意味は前述の図９で示した方法と同じである。

また、図１０において、ｚ_０は出力画像のｉ番目の画素値を示している。なお、ｗ／２は切り捨てを基本とするが、切り上げても四捨五入でも一定の効果は存在する。

再構成部２１１は、ｓ_ｉがＬ_ｉ以上Ｕ_ｉ以下、ｓ_ｉ ^ｃ１がＬ_ｉ ^ｃ１以上Ｕ_ｉ ^ｃ１以下、ｓ_ｉ ^ｃ2がＬ_ｉ ^ｃ2以上Ｕ_ｉ ^ｃ2以下か否かの判定を行い（Ｓ８０１）、条件に合致する場合には、ｚ_０をｓ_ｉとする（Ｓ８０２）。条件に合致しない場合の処理（Ｓ７０１〜７０５）は図９の場合と同様である。

図１０では、注目する色成分に加えて、空間的に同位置または近傍位置に位置する注目する色成分以外の色成分でもキーピクチャの画素値が存在区間内に収まっているとき、キーピクチャは正しい可能性が高いと信じてｓ_ｉをｚ_０として採用する。一方、ｓ_ｉが存在区間の外にある場合は、ｓ_ｉがある側の境界値をｚ_０して採用する。ｓ_ｉが存在区間内に収まっているにも関わらず、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2が存在区間外にある場合、キーピクチャを信じることはできないため、存在区間の中間値にあたる再構成前画像のｉ番目の画素値にあたるｖ_ｉをｚ_０とする。

なお、Ｒ_ｄが偶数の場合、Ｕ_ｉ，Ｕ_ｉ ^ｃ１，Ｕ_ｉ ^ｃ2を計算する際に１で減算しても良い。つまり、以下の（１１）〜（１３）式としても良い。

１を減算する理由は、図４〜図６の処理において、ダイナミックレンジを圧縮する際に四捨五入することを基本として想定しており（前述のとおり、ＤＲＣフィルタやＩＤＲＣフィルタにおいて、四捨五入する場合のみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する）、四捨五入には正のバイアスが発生しうるという性質があるためである。例えば、１の位で四捨五入すると１０になる整数は５から１４であるが、１０より小さい数は５から９の５個あるのに対し、１０より大きい数は１１から１４の４個しかない。この影響を考慮し、存在区間を求める際にｖ_ｉよりも大きい数の候補を、ｖ_ｉよりも小さい数の候補より１個減らすことを考えたものが前述の（１１）〜（１３）式である。

図１１は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その３）である。

図１１の方法は図１０の方法の派生方法である。再構成部２１１は、前述のステップＳ８０１の条件に合致しない場合には、ｓ_ｉがＬ_ｉ未満、ｓ_ｉ ^ｃ１がＬ_ｉ ^ｃ１未満、ｓ_ｉ ^ｃ2がＬ_ｉ ^ｃ2未満か否かの判定を行い（Ｓ９０１）、条件に合致する場合には、ｚ_０をＬ_ｉとする（Ｓ９０２）。一方、再構成部２１１は、前述のステップＳ９０１の条件に合致しない場合には、ｓ_ｉがＵ_ｉ以上、ｓ_ｉ ^ｃ１がＵ_ｉ ^ｃ１以上、ｓ_ｉ ^ｃ2がＵ_ｉ ^ｃ2以上か否かの判定を行い（Ｓ９０３）、条件に合致する場合には、ｚ_０をＵ_ｉとし（Ｓ９０４）、条件に合致しない場合には、ｚ_０をｖ_ｉとする（Ｓ９０５）。

つまり、図１１の方法は、注目する色成分に加えて、空間的に同位置または近傍位置に位置する注目する色成分以外の色成分でもキーピクチャの画素値が存在区間内に収まっているとき、キーピクチャは正しい可能性が高いと信じてｓ_ｉをｚ_０として採用する。ｓ_ｉが存在区間の外にある場合で、ｓ_ｉ ^ｃ１，ｓ_ｉ ^ｃ2もまた同じ側で存在区間の外にある場合、ｓ_ｉがある側の境界値をｚ_０として採用する。それ以外の場合では、キーピクチャを信じることはできないため、存在区間の中間値にあたる再構成前画像のｉ番目の画素値にあたるｖ_ｉをｚ_０とする。

なお、前述の図９〜図１１の方法は、キーピクチャの画素値のスケール（つまり、ダイナミックレンジを圧縮していない入力画像オリジナルのスケール）で閾値判定する例であるが、逆に復号画像の非キーピクチャの背景領域の画素値のスケール（つまり、ダイナミックレンジが圧縮された状態のスケール）で閾値判定しても良い。復号画像の背景領域の画素値のスケールで閾値判定する場合には、キーピクチャの背景領域の画素値のダイナミックレンジを復号画像の非キーピクチャの背景領域の画素値のダイナミックレンジと同じ圧縮率で圧縮してからキーピクチャの背景領域の画素値が存在区間内にあるかを比較すれば良い。この場合、ｗはｗ＝Ｗ_Ｑで求めればよく、つまりＲ_ｄ＝１．０とみなして存在区間を求めれば良い。どちらのスケールで比較したとしても、違いは比較するスケールにあるだけであり意味的な違いはなく、同様の効果を発揮する。

なお、図９〜図１１の方法のいずれの方法も、再構成前画像の画素値とＤＲＣフィルタ部１０３のパラメータとエンコーダ部４０６のパラメータとから出力画像の画素値の存在区間を求め、キーピクチャの画素値をサイドインフォメーションとして使って当該存在区間のなかから適切そうな出力画像の画素値を推定しているという意味では共通した方法である。

また、存在区間とサイドインフォメーションに基づき、確率的に画素値を決定する方法として、例えば、非特許文献１〜非特許文献３が提案されているが、これらの文献が示すような出力画像の画素値の決定方法としても良い。図１２〜図１４の方法は、いずれも、存在区間とサイドインフォメーションに基づき、確率的に画素値を決定する方法のうち、もっとも基本なものである。

また、本実施形態ではサイドインフォメーションｓ_ｉをキーピクチャの画素値としているが、非特許文献１〜非特許文献３に示されている通り、サイドインフォメーションｓ_ｉはキーピクチャの画素値と規定されている訳ではない。そのため、キーピクチャの画素値は、例えば直前に画像復号装置２０Ａより出力された出力画像の画素値としても良いし、再構成前画像と参照画像（キーピクチャや直前に画像復号装置２０Ａより出力された出力画像）とを用いて画素ごと又は１個以上の画素の集合であるブロックごとに動きベクトルを推定し、当該動きベクトルを使用して動き補償予測した予測画像の画素値としても良い。この場合、後処理バッファ１１０には、キーピクチャに限らずサイドインフォメーションを生成するのに必要な画像情報を格納するものとする。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。

画像処理システム１Ａは、入力画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工で符号化し、非キーピクチャはダイナミックレンジを圧縮してから符号化していることで、エンコーダの仕様および実装に手を加えることなしに、映像の伝送コストや蓄積コストを削減することができており、ダイナミックレンジの伸長やキーピクチャを使用した再構成も行っていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、画像処理システム１Ａは、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。

また、第１の実施形態と異なり、第２の実施形態の画像符号化装置１０Ａは、キーピクチャをバッファリングすることなしに（つまり参照することなしに）ダイナミックレンジを圧縮しているため、画像符号化装置のメモリ消費量が削減されている。

さらに、第２の実施形態では、背景領域はダイナミックレンジが圧縮されているのみで、つまり画素値信号の振幅が抑圧されているだけで、映像として人間が認識可能なものとなっている。そのため、後処理部が存在しなくても意味のある映像が視聴できるという効果がある。同様に、ＩＤＲＣフィルタ部は利用可能で、再構成部が存在しない場合でも意味のある映像を視聴できるという効果がある。この場合は、抑圧されていた振幅が限定的な精度で復元された映像を視聴することが可能になる。したがって、たとえば演算量の問題で後処理部や再構成部が使用できなくても意味のある映像の再生をおこなうことができる。このように第２の実施形態には復号側の演算量にスケーラビリティを持たせられるという効果もある。

（Ｃ）第３の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第３の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。

（Ｃ−１）第３の実施形態の構成
図１３は、第３の実施形態に係る画像処理システム１Ｂの構成について示すブロック図である。なお、図１３おいて、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。

画像処理システム１Ｂでは、図１（図７）の画像符号化装置１０（１０Ａ）と画像復号装置２０（２０Ａ）が、画像符号化装置１０Ｂと画像復号装置２０Ｂに置き換わっている点で第１及び第２の実施形態と異なっている。以下では、第３の実施形態について第１及び第２の実施形態との差異を中心に説明する。

第３の実施形態の画像符号化装置１０Ｂにおいて、前処理部２００Ｂは、前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合にはＲＯＩ付与画像を、非キーピクチャであることを指し示している場合にはＲＯＩ付与画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部１０３と、前処理ピクチャタイプが非キーピクチャを指している場合には、内部画像にＲＯＩ情報（ＲＯＩの位置や大きさ）に基づき符号化用品質パラメータを付与して、符号化前画像として出力する品質パラメータ制御部３０５とを有する。

エンコーダ部４０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像に付与されている符号化用品質パラメータに基づき符号化前画像を圧縮し、ビットストリームを出力する。

画像復号装置２０Ｂにおいて、再構成部２１１は、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には再構成前画像を、非キーピクチャであることを指し示している場合には再構成前画像に再構成処理を施した画像を、出力画像として出力し、再構成処理の過程で品質パラメータを使用するときには該当する背景領域の品質パラメータを使用する。

（Ｃ−２）第３の実施形態の動作
図１４は、第３の実施形態に係る画像処理システムの動作を示すフローチャートである。図１４と図２（及び図８）の内、同一符号の処理は同様の処理であるので、以下では、第３の実施形態の画像処理システム１Ｂの特有の処理のみついて述べる。

（Ｃ−２−１）画像符号化装置１０Ｂの動作
図１４（Ａ）は、第３の実施形態に係る画像符号化装置１０Ｂの動作を示すフローチャートである。

前述のステップＳ１２の後、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を内部画像として出力し、ＲＯＩ付与画像が非キーピクチャであれば、ＲＯＩ付与画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、内部画像として出力する（Ｓ５１）。

品質パラメータ制御部３０５は、前処理ピクチャタイプを参照し、内部画像がキーピクチャであれば、内部画像の画像全体に一様な符号化用品質パラメータを付与して符号化前画像として出力し、内部画像が非キーピクチャであれば、内部画像に付与されたＲＯＩ情報に基づき非一様な符号化用品質パラメータを付与して符号化前画像として出力する（Ｓ５２）。具体的には、背景領域には粗い量子化（画質が低くなる）を、ＲＯＩには細かい量子化（画質が高くなる）をおこなうように誘導する符号化用品質パラメータを付与する。

なお、この実施形態で述べる一様な符号化用品質パラメータとは、必ずしもすべての領域で量子化パラメータが同一であることを指すものでは無い。動画像符号化の分野には、画像の特長に応じて量子化パラメータを画面内で割り振る方式も存在するが、このような方式も一様な符号化用品質パラメータの一種とみなす。一様な符号化用品質パラメータと非一様な符号化用品質パラメータの違いは、ＲＯＩ情報に基づき領域によって品質パラメータが差別化されているか否かにある。

エンコーダ部４０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ５３）。符号化する際の品質パラメータには、符号化前画像に付与されたものを使用する。

（Ｃ−２−２）画像復号装置２０Ｂの動作
前述のステップＳ４１の後、再構成部２１１は、後処理ピクチャタイプを参照し、再構成前画像がキーピクチャであれば、再構成前画像を後処理用参照ピクチャおよび出力画像として出カし、再構成前画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、再構成前画像のうち背景領域に分類される画素に再構成処理を施し、出力画像として出力する（Ｓ６１）。

第２の実施形態でも説明したの通り、再構成部２１１は品質パラメータに基づき再構成を行う動作も考えられる。具体的には、品質パラメータを用いて、ｗを決定するという動作例が存在する。品質パラメータを用いた再構成をおこなうときには、各再構成する背景領域ごとに、割り振られている品質パラメータ（品質パラメータ制御部３０５によって割り振られた値）に基づき、エンコーダ部４０６で発生する量子化ステップまたはその近似値を求めて使用する。

なお、この実施形態では、第１の実施形態や第２の実施形態のように前処理部２００（２００Ａ）において、ＤＲＣフィルタ部１０３を用いてダイナミックレンジの圧縮もおこなっているが、本実施形態では品質パラメータ制御部３０５によってＲＯＩと背景領域の品質に差がつけられるため、Ｒ_ｅ＝１．０の場合でも、つまりＲＯＩ付与画像が内部画像として品質パラメータ制御部３０５に入力される構成でも一定の効果は得られる。この場合、Ｒ_ｄ＝１．０なので、復号画像が再構成前画像として再構成部２１１に入力される構成でも一定の効果は得られる。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。

画像処理システム１Ｂは、画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工かつ画像全体が一様な品質パラメータで符号化し、非キーピクチャはダイナミックレンジを圧縮しつつ非一様な品質パラメータを割り振ってから符号化していることで、映像の伝送コストや蓄積コストを削減することができており、キーピクチャを使用して再構成をおこなっていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、画像処理システム１Ｂは、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。後処理部や再構成部が使用できなくても意味のある映像を視聴可能であるという効果は第２の実施形態と同様である。

（Ｄ）他の実施形態
前述した第１〜第３の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

（Ｄ−１）前述した第１〜第３の実施形態において、上記では説明を簡単にするために、画像全体がＲＯＩと背景領域の２種類に区別される例を示しているが、背景領域にも重要度の段階があっても良い。例えば、ＲＯＩの設定に歩行者検出アルゴリズムと顔検出アルゴリズムを使用し、顔検出アルゴリズムによって検出されたＲＯＩは顔領域として、歩行者検出アルゴリズムによって検出された歩行者領域は相対的に重要な背景領域とし、顔でも歩行者でもない領域は相対的に重要ではない背景領域としても良い。この場合、背景領域の重要度に応じてダイナミックレンジの圧縮率Ｒ_ｅや符号化用品質パラメータに異なる値を割り振って良く、例えば、相対的に重要な背景領域には弱いフィルタリング（相対的に高画質になるフィルタリング）を行い、相対的に重要ではない背景領域には強いフィルタリング（相対的に低画質になるフィルタリング）を行うという構成でも良い。割り振りは、例えば予め設定あるいは作成しておいた背景領域の重要度とフィルタ強度のルックアップテーブルに基づいておこなえば良い。また、上記では説明を簡単にするためにＲＯＩにはフィルタリングを適用しない例を示しているが、ＲＯＩに背景領域よりも弱いフィルタリングをかける構成であっても良い。

（Ｄ−２）前述した第１〜第３の実施形態において、例えば顔領域をＲＯＩとしたときの背景領域を劣化させデータ量を削減する例を示しているが、顔領域のようにしばしばＲＯＩとして選ばれる領域を劣化させても良い。この場合、本明細書における言葉の定義上は、非顔領域がＲＯＩであり、顔領域が背景領域である。非顔領域をＲＯＩとすることで、たとえばプライバシーを守ることができるなどの効果も得られる。

（Ｄ−３）前述した第１〜第３の実施形態において、機能ブロック間のデータの受け渡しを画像単位でおこなっているように記述しているが、画素値信号のデータの意味を明らかにするためであり、実装等では画素単位にデータを受け渡ししても良い。

（Ｄ−４）前述した第１〜第３の実施形態において、ＲＯＩとは主に画像空間の一部の限定された領域のように記載しているが、画像全体がＲＯＩであったり画像全体が背景領域であったりする画像が存在しても良い。

（Ｄ−５）前述した第１〜第３の実施形態において、画像符号化装置１０（１０Ａ、１０Ｂ）内の各機能や画像復号装置２０（２０Ａ、２０Ｂ）内の各機能は単一の装置のなかに実装されているように記述しているが、これらは実装例の一つであり、各機能が別の装置で実装されていたとしても、各信号が各構成図（図１、図７、図１３）のように入出力がなされていれば本発明の効果は得られる。つまり、画像符号化装置１０（１０Ａ、１０Ｂ）や画像復号装置２０（２０Ａ、２０Ｂ）が１個以上の装置から構成され、それぞれの機能が分散して実装されていたとしても本発明の効果は存在する。

（Ｄ−６）特に第２の実施形態や第３の実施形態において、すべての色成分で同じダイナミックレンジの圧縮率Ｒ_ｅを使用しているように記述しているが、全ての実施形態において色成分ごとにダイナミックレンジの圧縮率Ｒ_ｅは異なる物であっても良い。

（Ｄ−７）前述した第２及び第３の実施形態において、画像符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２を有する例を示したが、変形例として画像符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２を有しなくても良い。この場合、変形例の符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２が入力画像には興味領域（ＲＯＩ）が存在しないと判定された場合と同様の動作となる。つまり、図７及び図１３で示されるＲＯＩ付与画像は、実際にはＲＯＩの存在しない入力画像となる（後段のＤＲＣフィルタ部１０３に入力画像がそのまま入力される）。変形例の符号化の処理、及び画像復号装置２０Ａ、２０Ｂの復号処理については前述の第２及び第３の実施形態で述べた処理をそのまま適用することができる。

１、１Ａ、１Ｂ…画像処理システム、１０、１０Ａ、１０Ｂ…画像符号化装置、２０、２０Ａ、２０Ｂ…画像復号装置、１０１…前処理ピクチャタイプ制御部、１０３…ＤＲＣフィルタ部、１０４…前処理バッファ、１０８…後処理ピクチャタイプ制御部、１０９…ＩＤＲＣフィルタ部、１１０…後処理バッファ、２００、２００Ａ、２００Ｂ…前処理部、２１１…再構成部、３００、３００Ａ、３００Ｂ…後処理部、３０５…品質パラメータ制御部、４０２…ＲＯＩ設定部、４０６…エンコーダ部、４０７…デコーダ部。

Claims (28)

1. 入力画像を符号化する符号化装置において、
   前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
   前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
   所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
   前記前処理部は、
   前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
   前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、
   前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、
   前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出する
   ことを特徴とする符号化装置。
2. 入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
   前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
   前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、
   前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとを有し、
   前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
   ことを特徴とする複号装置。
3. 入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項１に記載の符号化装置を適用し、前記復号装置として請求項２に記載の復号装置を適用したことを特徴とする画像処理システム。
4. 前記ＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、前記前処理用参照ピクチャの画素値を中心に、情報量の削減量を操作するための係数でダイナミックレンジの圧縮率にあたる０．０〜１．０の実数Ｒ_ｅを用いて、圧縮することで、情報量を削減し、
   前記ＩＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、後処理用参照ピクチャの画素値を中心に、前記Ｒ_ｅの逆数を用いて、伸長する
   ことを特徴とする請求項３に記載の画像処理システム。
5. 前記符号化部は、キーピクチャと判定されている前記符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている前記符号化前画像をインターピクチャとして符号化するように制御することを特徴とする請求項３又は４に記載の画像処理システム。
6. 前記ＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを圧縮した後、その中心値を所定の画素値に移すか、又は前記背景領域の画素値の定義域が０〜Ｍまでとすると、前記背景領域の画素値のダイナミックレンジを圧縮した後、その中心値をＭ／２に移し、
   前記ＩＤＲＣフィルタ部は、前記ＤＲＣフィルタ部が前記符号化前画像の中心値として使用した当該中心値を中心に、前記背景領域の画素値のダイナミックレンジを伸長する
   ことを特徴とする請求項４又は５に記載の画像処理システム。
7. 前記ＤＲＣフィルタ部は、前記注目領域付与画像の画素値と前記前処理用参照ピクチャの画素値の差分値に対して、前記背景領域の画素値のダイナミックレンジを半分にする演算を行い、
   前記ＩＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、前記半分にする演算の逆演算を行う
   ことを特徴とする請求項４〜６のいずれかに記載の画像処理システム。
8. 前記ＤＲＣフィルタ部は、前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施すときに、抽出可能な前処理用参照ピクチャが前記前処理バッファに存在しない場合には、予め定めた固定の中心値を仮想的なキーピクチャの画素値として使用し、
   前記ＩＤＲＣフィルタ部は、前記復号画像に対してキーピクチャを参照するフィルタリングを施すときに、抽出可能な前記後処理用参照ピクチャが前記後処理バッファに存在しない場合は、前記固定の中心値を仮想的なキーピクチャの画素値として使用する
   ことを特徴とする請求項４〜７のいずれかに記載の画像処理システム。
9. 入力画像を符号化する符号化装置に搭載されるコンピュータを、
   前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
   前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
   所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
   前記前処理部は、
   前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
   前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、
   前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、
   前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出する
   ことを特徴とする符号化プログラム。
10. コンピュータを、
    入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
    前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、
    前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとして機能させ、
    前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
    ことを特徴とする複号プログラム。
11. 入力画像を符号化する符号化装置において、
    前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
    前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
    前記前処理部は、
    前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
    前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
    ことを特徴とする符号化装置。
12. 入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
    前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
    前記再構成部用のバッファである後処理バッファとを有し、
    前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
    ことを特徴とする復号装置。
13. 入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項１１に記載の符号化装置を適用し、前記復号装置として請求項１２に記載の復号装置を適用したことを特徴とする画像処理システム。
14. 前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、サイドインフォメーションが前記存在区間に含まれる場合には、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションが前記存在区間の外にある場合には、前記サイドインフォメーションが存在する側の境界値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
15. 前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、注目する色成分に加えて、空間的に同位置、又は近傍位置に位置する注目する色成分以外の色成分でもサイドインフォメーションが存在区間内に収まっているとき、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の外にある場合には、前記サイドインフォメーションが存在する側の境界値を前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の内に収まっているにも関わらず、前記注目する色成分以外の色成分が前記存在区間の外にある場合には、前記存在区間の中間値にあたる再構成前画像の画素値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
16. 前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、注目する色成分に加えて、空間的に同位置又は近傍位置に位置する注目する色成分以外の色成分でもサイドインフォメーションが存在区間の内に収まっているとき、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の外にある場合で、注目する色成分以外の色成分でもサイドインフォメーションが同じ側で存在区間の外にある場合には、前記注目する色成分のサイドインフォメーションがある側の境界値を前記出力画像の画素値として適用し、それ以外の場合、前記存在区間の中間値にあたる再構成前画像の画素値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
17. 前記サイドインフォメーションは、後処理用参照ピクチャ、若しくは直前に前記画像復号装置より出力された前記出力画像、又は前記再構成前画像及び前記出力画像に基づいて生成された予測画像の画素値であることを特徴とする請求項１４〜１６のいずれかに記載の画像処理システム。
18. 前記再構成部は、予め設定しておくことや、前記符号化部が使用する品質パラメータからの算出によって求められる前記符号化部で発生する量子化ステップ又はその近似値と前記ＤＲＣフィルタ部で使用する前記背景領域の画素値のダイナミックレンジの圧縮率の逆数を乗算したものを前記存在区間の大きさとすることを特徴とする請求項１４〜１７のいずれかに記載の画像処理システム。
19. 前記再構成部は、前記サイドインフォメーションのダイナミックレンジを前記復号画像の背景領域の画素値のダイナミックレンジと同じ圧縮率で圧縮してから圧縮後の前記サイドインフォメーションが前記存在区間の内に存在するかを比較することを特徴とする請求項１４〜１８のいずれかに記載の画像処理システム。
20. 入力画像を符号化する符号化装置に搭載されるコンピュータを、
    前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
    前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
    前記前処理部は、
    前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
    前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
    ことを特徴とする符号化プログラム。
21. コンピュータを、
    入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
    前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
    前記再構成部用のバッファである後処理バッファとして機能させ、
    前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
    ことを特徴とする復号プログラム。
22. 入力画像を符号化する符号化装置において、
    前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
    前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
    前記前処理部は、
    前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
    前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と
    前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有する
    ことを特徴とする符号化装置。
23. 入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項２２に記載の符号化装置を適用し、前記復号装置として請求項１２に記載の復号装置を適用したことを特徴とする画像処理システム。
24. 前記再構成部は、前記再構成前画像の背景領域ごとに、割り振られている前記品質パラメータに基づき前記符号化部で発生する量子化ステップ又はその近似値を求めて使用することを特徴とする請求項２３に記載の画像処理システム。
25. 入力画像を符号化する符号化装置に搭載されるコンピュータを、
    前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
    前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
    前記前処理部は、
    前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
    前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と
    前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有する
    ことを特徴とする符号化プログラム。
26. 入力画像を符号化する符号化装置において、
    前記入力画像の情報量を削減するための前処理を施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
    前記前処理部は、
    前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
    前記前処理ピクチャタイプがキーピクチャである場合には前記入力画像を、非キーピクチャである場合には前記入力画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
    ことを特徴とする符号化装置。
27. 入力画像の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
    前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
    前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
    前記再構成部用のバッファである後処理バッファとを有し、
    前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
    ことを特徴とする復号装置。
28. 入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、
    前記符号化装置として請求項２６に記載の符号化装置を適用し、前記復号装置として請求項２７に記載の復号装置を適用したことを特徴とする画像処理システム。

Images