JP2013055587A - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

Abstract

【課題】処理負荷および画質劣化が少なく、符号化規格に準拠したマルチ映像再生システムを提供することができるようにする。
【解決手段】複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームが作成される。符号化処理部は、映像コンテンツの符号化ストリームに含まれる、マクロブロックに対応する映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームをマクロブロックの符号化ストリームとする。本技術は、例えば、コンテンツを配信するサーバ装置に適用できる。
【選択図】図１１

Description

本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、処理負荷および画質劣化が少なく、符号化規格に準拠したマルチ映像再生システムを提供するための画像処理装置、画像処理方法、および画像処理システムに関する。

コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像コンテンツをテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像コンテンツを同時に視聴して、見たい映像コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。

図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像再生画像は、複数の映像コンテンツで構成される。表示される複数の映像コンテンツのうち、主として視聴される映像コンテンツである主映像コンテンツが、最大サイズで画面中央に配置されている。そして、主映像コンテンツの周辺に、選択（切り替え）可能な他の映像コンテンツが、主映像コンテンツよりも小さいサイズで配置されている。選択可能な映像コンテンツは、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。

このようなマルチ映像再生画像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像コンテンツそれぞれに対応する複数の符号化ストリームを配信してもらう方法がある。クライアント側の装置は、複数の符号化ストリームを受信して復号化し、合成処理を行うことによって、マルチ映像再生画像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像再生画像が開示されている。

特開２００２−０６４８１８号公報

しかしながら、複数の符号化ストリームを配信するためには、かなり広い伝送帯域が必要になるという問題がある。また、クライアント側の装置に、複数の符号化ストリームを同時に復号化し、合成処理する能力が要求されるため、受信機が高価になるというコスト面の問題も発生する。

その他のマルチ映像再生画像の表示を実現する第２の方法として、図２に示すように、サーバ側が１本の符号化ストリームとしてマルチ映像再生画像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像コンテンツを一旦復号化（Decode）し、サイズ変更（Resize）と画像合成後に再度符号化（Encode）することによって、符号化ストリームを作成する。従って、サーバは、各映像コンテンツの復号化とサイズ変更、画像合成、および再符号化の処理を行うため、その負荷はかなり大きくなる。また、一旦復号化し、再符号化することによる画質の劣化も懸念される。

また、マルチ映像再生画像の符号化ストリームは、符号化規格に準拠する必要がある。

本技術は、このような状況に鑑みてなされたものであり、処理負荷および画質劣化が少なく、符号化規格に準拠したマルチ映像再生システムを提供することができるようにするものである。

本技術の第１の側面の画像処理装置は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部を備え、前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする画像処理装置である。

本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。

本技術の第１の側面においては、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームが作成され、前記符号化ストリームを用いて所定のブロック単位で符号化が行われることにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームが生成される。具体的には、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームが復号されて再符号化され、その結果得られる符号化ストリームが前記所定のブロックの符号化ストリームとされる。一方、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームが前記所定のブロックの符号化ストリームとされる。

本技術の第２の側面の画像処理システムは、サーバ装置とクライアント装置とからなり、前記サーバ装置は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部と、前記符号化処理部により生成された前記マルチ映像再生画像の符号化ストリームを前記クライアント装置に送信する送信部とを備え、前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとし、前記クライアント装置は、前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、受信した前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部とを備える画像処理システムである。

本技術の第２の側面においては、サーバ装置で、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームが作成され、前記符号化ストリームを用いて所定のブロック単位で符号化が行われることにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームが生成される。具体的には、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームが復号されて再符号化され、その結果得られる符号化ストリームが前記所定のブロックの符号化ストリームとされる。一方、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームが前記所定のブロックの符号化ストリームとされる。そして、サーバ装置で、生成された前記マルチ映像再生画像の符号化ストリームが前記クライアント装置に送信される。

また、クライアント装置で、送信された前記マルチ映像再生画像の符号化ストリームが受信され、受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像が所定の表示部に表示される。

本技術の第１および第２の側面によれば、処理負荷および画質劣化が少なく、符号化規格に準拠したマルチ映像再生システムを提供することができる。

マルチ映像再生システムを説明する図である。 マルチ映像再生画像を１本の符号化ストリームとして配信する一例を示す図である。 本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示すブロック図である。 本技術を適用したマルチ映像再生画像の生成方法について説明する図である。 本技術を適用したマルチ映像再生画像生成の概念的な機能ブロック図である。 映像コンテンツとマルチ映像再生画像のスライスの境界を示す図である。 映像コンテンツとマルチ映像再生画像のフレームの境界を示す図である。 映像コンテンツの表示位置が変更される場合の参照画素を示す図である。 映像コンテンツの表示位置が変更される場合のスキップマクロブロックの参照画素を示す図である。 映像コンテンツの表示位置が変更される場合のパラメータの変更を説明する図である。 符号化処理部の機能ブロック図である。 チャンネルリスト更新（生成）処理を説明するフローチャートである。 クライアント側の起動処理を説明するフローチャートである。 映像コンテンツ変更処理を説明するフローチャートである。 視聴配置変更リクエスト受信処理を説明するフローチャートである。 視聴配置リクエスト対応処理を説明するフローチャートである。 マルチ映像再生画像生成処理を説明するフローチャートである。 位置変更処理を説明するフローチャートである。 可逆符号化の処理順序を示す図である。 HEVCのイントラ予測モードの第１の例を示す図である。 HEVCのイントラ予測モードの第２の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

［マルチ映像再生システムの構成例］
図３は、本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示している。

画像処理システムとしてのマルチ映像再生システム１は、映像コンテンツを配信するコンテンツ配信サーバ１１と、それとネットワーク１２を介して接続されているコンテンツ受信装置１３により構成される。

コンテンツ配信サーバ１１は、複数の映像コンテンツを１画面のマルチ映像再生画像に合成し、１本の符号化ストリームにして、クライアントであるコンテンツ受信装置１３に配信する。コンテンツ受信装置１３は、コンテンツ配信サーバ１１が配信する符号化ストリームを、インターネットなどのネットワーク１２を介して受信する。そして、コンテンツ受信装置１３は、受信した符号化ストリームに基づくマルチ映像再生画像を、自身が有する液晶ディスプレイなどの表示部、または、自身に接続されている表示装置に表示させる。コンテンツ受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ等で構成することができる。

なお、図３では、１台のコンテンツ受信装置１３しか示していないが、ネットワーク１２には複数（多数）のコンテンツ受信装置１３が接続されており、コンテンツ配信サーバ１１は、符号化ストリームを、複数のコンテンツ受信装置１３にマルチキャスト送信する。

［マルチ映像再生画像の生成方法］
映像コンテンツA、B、C、及びDの４つの映像コンテンツを同時に表示するマルチ映像再生画像を生成する場合を例に、図４を参照して、コンテンツ配信サーバ１１によるマルチ映像再生画像の生成方法について説明する。

コンテンツ配信サーバ１１は、配信可能な複数の映像コンテンツそれぞれについて、AVC（MPEG４ Part１０（Advanced Video Coding））などの所定の符号化方式で複数種類の表示サイズでエンコード（符号化）することで、表示サイズが異なる複数の符号化ストリームを予め作成し、記憶しておく。例えば、コンテンツ配信サーバ１１は、映像コンテンツAについて、大、中、小、の各サイズの符号化ストリームを作成する。映像コンテンツB、C、Dについても同様に、大、中、小、の各サイズの符号化ストリームが作成される。以下では、大、中、小、の各サイズを、サイズ（大）、サイズ（中）、サイズ（小）と記述する。なお、サイズ（大）は、画面サイズに対応するサイズである。作成するサイズの種類は、予め決定される。

図４に示すような、サイズ（小）の映像コンテンツA、B、及びCと、サイズ（中）の映像コンテンツDとからなるマルチ映像再生画像を生成する場合、コンテンツ配信サーバ１１は、予め作成しておいた表示サイズが異なる複数の符号化ストリームを利用して生成する。

具体的には、コンテンツ配信サーバ１１は、合成対象の複数の映像コンテンツの所定サイズの符号化ストリームを、画面の配置（表示位置）に応じて切り替えてパラメータトランスコードを行うことによって、配信するマルチ映像再生画像の符号化ストリームを作成する。

ここで、パラメータトランスコードとは、イントラ/インタータイプ決定処理、ブロックサイズ決定処理、動きベクトル算出処理、イントラ予測モード決定処理を省略し、処理対象の符号化ストリームにおいて映像コンテンツの符号化データに付加される符号化に関するパラメータを使用して符号化を行う符号化処理である。このパラメータは、例えば、マクロブロック（ＭＢ）のタイプ情報(イントラタイプ、インタータイプ)、予測ブロックのブロックサイズ情報、動きベクトルを表すMV情報、イントラ予測モードなどである。

図５は、パラメータトランスコードを用いた本技術のマルチ映像再生画像生成の概念的な機能ブロック図を示している。

ハードディスク等のコンテンツ記憶部４１Aには、映像コンテンツAについて予め作成しておいた、サイズ（大）、サイズ（中）、サイズ（小）の各サイズの符号化ストリームが記憶されている。コンテンツ記憶部４１Bには、サイズ（大）、サイズ（中）、サイズ（小）の映像コンテンツBの符号化ストリームが記憶されている。コンテンツ記憶部４１Cとコンテンツ記憶部４１Dにも同様に、映像コンテンツCと映像コンテンツDのサイズ（大）、サイズ（中）、サイズ（小）の符号化ストリームが記憶されている。

サイズ（小）の映像コンテンツA、B、及びCと、サイズ（中）の映像コンテンツDとからなるマルチ映像再生画像を生成する場合、パラメータデコーダ４２Aは、映像コンテンツAのサイズ（小）の符号化ストリームをコンテンツ記憶部４１Aから取得する。そして、パラメータデコーダ４２Aは、入力された符号化ストリームから符号化データとパラメータを抽出し、符号化データを画像配置処理部４３に供給するとともに、パラメータをパラメータ配置処理部４４に供給する。

パラメータデコーダ４２Bは、映像コンテンツBのサイズ（小）の符号化ストリームをコンテンツ記憶部４１Bから取得する。そして、パラメータデコーダ４２Bは、入力された符号化ストリームから符号化データとパラメータを抽出し、符号化データを画像配置処理部４３に供給するとともに、パラメータをパラメータ配置処理部４４に供給する。

パラメータデコーダ４２Cの処理は、処理対象の符号化ストリームが映像コンテンツCのサイズ（小）の符号化ストリームである点を除いて、パラメータデコーダ４２Bと同様である。

パラメータデコーダ４２Dは、映像コンテンツDのサイズ（中）の符号化ストリームをコンテンツ記憶部４１Dから取得する。そして、パラメータデコーダ４２Dは、入力された符号化ストリームから符号化データとパラメータを抽出し、符号化データを画像配置処理部４３に供給するとともに、パラメータをパラメータ配置処理部４４に供給する。

画像配置処理部４３は、マルチ映像再生画像を所定のマクロブロック単位に分割し、各マクロブロックに注目したときに、その注目マクロブロックの位置に、どの映像コンテンツが配置されるかによって、後段のパラメータ利用エンコーダ４５に出力する画像データを切り替える。

即ち、画像配置処理部４３は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、パラメータデコーダ４２Aから供給された符号化データをパラメータ利用エンコーダ４５に出力する。

また、画像配置処理部４３は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、パラメータデコーダ４２Bから供給された符号化データをパラメータ利用エンコーダ４５に出力する。映像コンテンツC及びDが配置される領域についても同様である。

パラメータ配置処理部４４は、パラメータについて、画像配置処理部４３と同様の処理を行う。

即ち、パラメータ配置処理部４４は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、パラメータデコーダ４２Aから供給されたパラメータをパラメータ利用エンコーダ４５に出力する。

また、パラメータ配置処理部４４は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、パラメータデコーダ４２Bから供給されたパラメータをパラメータ利用エンコーダ４５に出力する。映像コンテンツC及びDが配置される領域についても同様である。

パラメータ利用エンコーダ４５には、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、映像コンテンツAの符号化データとパラメータが供給される。また、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、映像コンテンツBの符号化データとパラメータが供給される。映像コンテンツC及びDが配置される領域についても同様である。

パラメータ利用エンコーダ４５は、渡されたパラメータに基づくパラメータを符号化データに付加することによりパラメータトランスコードを行い、マルチ映像再生画像の符号化ストリームを生成する。

なお、図５では、理解を容易にするため、コンテンツ記憶部４１A乃至４１Dを別々の異なるコンテンツ記憶部として説明したが、コンテンツ記憶部４１A乃至４１Dは同一のコンテンツ記憶部４１でも良い。同様にパラメータデコーダ４２A乃至４２Dが行う処理も１つのパラメータデコーダ４２で行うようにしてもよい。また、コンテンツ記憶部４１A乃至４１Dは、コンテンツ配信サーバ１１に設けられてもよいし、コンテンツ配信サーバ１１とは別の装置に設けられてもよい。

以上をまとめると、コンテンツ配信サーバ１１は、生成するマルチ映像再生画像において、映像コンテンツAが配置される位置のマクロブロックでは、映像コンテンツAの符号化ストリームからのパラメータトランスコードを行う。また、コンテンツ配信サーバ１１は、映像コンテンツBが配置される位置のマクロブロックでは、映像コンテンツBの符号化ストリームからのパラメータトランスコードを行う。同様に、コンテンツ配信サーバ１１は、映像コンテンツCまたはDが配置される位置のマクロブロックでは、映像コンテンツCまたはDの符号化ストリームからのパラメータトランスコードを行う。

コンテンツ配信サーバ１１は、基本的に映像コンテンツの符号化ストリームをパラメータトランスコードするが、通常の復号と再符号化を行う必要がある場合がある。

例えば、符号化の演算効率を向上したり、再生側からの要求に応じたりするため、符号化ストリームにおいて、マルチスライスが適用される場合がある。この場合、図６に示すように、映像コンテンツのスライスの境界５１と、マルチ映像再生画像のスライスの境界５２とが一致しないことがある。

ここで、スライスやフレームの境界に位置する予測ブロックについては、符号化規格で禁止されているイントラ予測モード等のパラメータ（以下、禁止パラメータという）がある。例えば、AVC規格では、予測ブロックのブロックサイズが4x4画素、8x8画素、16x16画素等であり、そのサイズごとに、予測方向を表すイントラ予測モードが数種類規定されている。このイントラ予測モードのうち、いくつかのイントラ予測モードについては、参照する画素が論理的に存在しないため、スライスやフレームの境界に位置する予測ブロックに対しての使用が禁止されている。例えば、上側がスライスやフレームの境界に位置する予測ブロックに対しては、Verticalモードを使用することが禁止されている。

境界５２が境界５１と一致しない場合、境界５２に位置する映像コンテンツの予測ブロックは、映像コンテンツ上では境界に位置しないため、その予測ブロックのパラメータは禁止パラメータである可能性がある。

よって、コンテンツ配信サーバ１１は、境界５２に位置するマクロブロックのパラメータに禁止パラメータが含まれている場合、禁止パラメータが含まれないように、そのマクロブロックの符号化ストリームを復号し、再符号化する必要がある。

また、図７に示すように、マルチ映像再生画像の表示範囲が移動するとき、映像コンテンツがマルチ映像再生画像の画面から部分的にはみ出す場合がある。この場合、映像コンテンツのフレームの境界５３と、マルチ映像再生画像のフレームの境界５４とが一致せず、図６の場合と同様に、境界５４に位置する映像コンテンツの予測ブロックのパラメータは、禁止パラメータである可能性がある。

従って、コンテンツ配信サーバ１１は、境界５４に位置するマクロブロックのパラメータに禁止パラメータが含まれている場合、図６の場合と同様に、禁止パラメータが含まれないように、そのマクロブロックの符号化ストリームを復号し、再符号化する必要がある。

さらに、マルチ映像再生画像の表示範囲の移動等により、映像コンテンツの表示位置が変更される場合、インタータイプのマクロブロックの動きベクトルに基づく他のフレームのマルチ映像再生画像の参照画素は、本来参照すべき画素とは異なる。従って、その参照画素を用いて再符号化が行われた場合、マルチ映像再生画像に主観的に劣化が目立つブロックノイズが発生する可能性がある。よって、コンテンツ配信サーバ１１は、本来参照すべき画素が参照されるように、映像コンテンツの表示位置の変更に基づいて動きベクトルを補正する。

しかしながら、動きベクトルを補正した場合であっても、図８に示すように、参照画素がマルチ映像再生画像の画面外にはみ出す場合がある。従って、このような場合、コンテンツ配信サーバ１１は、参照画素がマルチ映像再生画像の画面内になるように、符号化ストリームを復号し、再符号化する必要がある。

さらに、マクロブロックがスキップマクロブロックである場合、図８の場合と同様に、図９に示すように、スキップマクロブロックに対応する動きベクトルに基づく他のフレームのマルチ映像再生画像の参照画素は、本来参照すべき画素とは異なる。従って、図８の場合と同様に、映像コンテンツの表示位置の変更に基づいて動きベクトルを補正したり、参照画素がマルチ映像再生画像の画面内になるように、符号化ストリームを復号し、再符号化したりする。

なお、動きベクトルが補正されたり、再符号化が行われたりすると、スキップマクロブロックとされたマクロブロックの動きベクトルが、スキップマクロブロックに対応する動きベクトルではなくなるため、図１０に示すように、MV情報を動きベクトルに変更し、ブロックサイズ情報を16×16画素に変更する必要がある。

図１１は、図３のコンテンツ配信サーバ１１のパラメータトランスコードをマクロブロック単位で行う符号化処理部６０の機能ブロック図を示している。

図１１の符号化処理部６０は、スイッチ６１、パラメータデコーダ６２、パラメータ修正部６３、パラメータ修正部６３、パラメータ決定部６４、イントラ予測/動き補償部６５、DCT/量子化部６６、可逆符号化部６７、出力部６８、逆量子化/逆DCT部６９、デブロッキングフィルタ７０、およびDPB（Decoded Picture Buffer）７１により構成される。

スイッチ６１には、予め作成しておいた、マルチ映像再生画像を構成する映像コンテンツの所定サイズの符号化ストリームが、マルチ映像再生画像のマクロブロックに対応する映像コンテンツのブロック（以下、元ブロックという）単位で入力される。スイッチ６１は、受信部として機能し、ユーザによるマルチ映像再生画像に対する表示範囲の移動指令（変更指令）等を表す表示情報を受信し、表示情報に基づいて、元ブロックのパラメータを抽出する必要があるか否かを判定する。

スイッチ６１は、元ブロックのパラメータを抽出する必要がないと判定した場合、その元ロブロックの符号化ストリームを出力部６８に供給する。一方、スイッチ６１は、元ブロックのパラメータを抽出する必要があると判定した場合、その元ブロックの符号化ストリームをパラメータデコーダ６２に供給する。

パラメータデコーダ６２は、スイッチ６１から供給される元ブロック単位の符号化ストリームから、その元ブロックのパラメータを抽出する。パラメータデコーダ６２は、元ブロックのパラメータ、表示情報、マクロブロックがマルチ映像再生画像上のスライスまたはフレームの境界に位置し、かつ、元ブロックのパラメータが禁止パラメータであるか否か等に基づいて、その元ブロックのパラメータを修正する必要があるか否かを判定する。

パラメータデコーダ６２は、元ブロックのパラメータを修正する必要がないと判定した場合、その元ブロックの符号化ストリームを出力部６８に供給する。また、パラメータデコーダ６２は、元ブロックのパラメータを修正する必要があると判定した場合、その元ブロックのパラメータ、表示情報、マクロブロックがマルチ映像再生画像上のスライスまたはフレームの境界に位置し、かつ、元ブロックのパラメータが禁止パラメータであるか否か等に基づいて、再符号化する必要があるか否かを判定する。また、パラメータデコーダ６２は、符号化ストリームから符号化データも抽出する。

パラメータデコーダ６２は、再符号化する必要がないと判定した場合、元ブロックのパラメータと符号化データをパラメータ修正部６３に供給する。一方、再符号化する必要があると判定された場合、または、パラメータ修正部６３から要求された場合、パラメータデコーダ６２は、元ブロックの符号化データを復号し、その結果得られる画像データをパラメータ決定部６４に供給する。

パラメータ修正部６３は、パラメータデコーダ６２から供給される元ブロックのパラメータのMV情報等を、表示情報が表す移動指令に対応する移動量等に基づいて修正（更新）する。また、パラメータ修正部６３は、修正後のパラメータに基づく参照画素がマルチ映像再生画像の画面内に存在するか否かを判定し、参照画素がマルチ映像再生画像の画面内に存在すると判定した場合、修正後のパラメータと符号化データを可逆符号化部６７に供給する。

一方、パラメータ修正部６３は、マルチ映像再生画像の画面内に参照画素が存在しないと判定した場合、元ブロックの画像データのパラメータ決定部６４への供給を、パラメータデコーダ６２に要求する。

パラメータ決定部６４は、パラメータデコーダ６２から供給される元ブロックの画像データに基づいてパラメータを決定する。具体的には、パラメータ決定部６４は、パラメータデコーダ６２から供給される元ブロックの画像データに対して、イントラ予測/動き補償部６５と同様に、イントラ予測処理および動き補償処理を行い、予測画像データを生成する。そして、最も符号化コストの小さい予測画像データを生成する際に用いられたパラメータを最終的なパラメータに決定する。

パラメータ決定部６４は、決定されたパラメータと画像データをイントラ予測/動き補償部６５に供給するとともに、パラメータを可逆符号化部６７に供給する。

イントラ予測/動き補償部６５は、パラメータ決定部６４からのパラメータに基づいて、DPB７１に記憶されている復号済みの画像データを参照して、パラメータ決定部６４からの画像データに対するイントラ予測処理または動き補償処理を実行する。イントラ予測/動き補償部６５は、イントラ予測処理または動き補償処理の結果生成される予測画像データと画像データをDCT/量子化部６６に供給し、予測画像データを逆量子化/逆DCT部６９に供給する。

DCT/量子化部６６は、イントラ予測/動き補償部６５から供給される予測画像データと画像データの差分を求める。DCT/量子化部６６は、その結果得られる差分画像データに対して直交変換を施し、変換係数を求めるDCT処理を実行する。また、DCT/量子化部６６は、求めた変換係数を量子化する量子化処理を実行する。DCT/量子化部６６は、量子化処理後の画像データを可逆符号化部６７に供給する。

可逆符号化部６７は、DCT/量子化部６６から供給される量子化後の画像データに対し、可変長符号化、算術符号化等の可逆符号化を行う。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。可逆符号化部６７は、可逆符号化の結果得られる符号化データ、または、パラメータ修正部６３からの符号化データに、パラメータ決定部６４またはパラメータ修正部６３から供給されるパラメータを付加する。そして、可逆符号化部６７は、その結果得られる符号化ストリームを出力部６８に供給する。

出力部６８は、可逆符号化部６７から供給される元ブロック単位の符号化ストリーム、または、スイッチ６１から供給される元ブロック単位の符号化ストリームを、マルチ映像再生画像のマクロブロック単位の符号化ストリームとして出力する。

逆量子化/逆DCT部６９は、DCT/量子化部６６から供給される量子化された変換係数を逆量子化し、得られた変換係数を、さらに逆直交変換する。換言すれば、逆量子化/逆DCT部６９は、DCT/量子化部６６が行うDCT処理及び量子化処理に対応する方法で、逆量子化処理及び逆DCT処理を実行する。また、逆量子化/逆DCT部６９は、逆直交変換の結果得られる差分画像データと、イントラ予測/動き補償部６５から供給される予測画像データとを加算し、その結果得られる画像データを復号済みの画像データとしてデブロッキングフィルタ７０に供給する。

デブロッキングフィルタ７０は、逆量子化/逆DCT部６９から供給される復号済みの画像データに対して、ブロック歪みを除去するためのデブロッキング処理を施す。また、デブロッキングフィルタ７０は、デブロッキング処理を施した復号済みの画像データ、または、デブロッキング処理を施さない復号済みの画像データを、DPB７１に供給する。

DPB７１は、デブロッキングフィルタ７０から供給される復号済みの画像データを記憶する。

以上のように、符号化処理部６０は、パラメータを抽出する必要がない、または、パラメータを修正する必要がないと判定した場合、入力された符号化ストリームを、そのままマルチ映像再生画像の符号化ストリームとして出力することにより、パラメータトランスコードを行う。以下では、このようなパラメータトランスコードを、修正なしパラメータトランスコードという。

また、符号化処理部６０は、パラメータを修正する必要があると判定し、再符号化を行う必要がないと判定し、参照画素がマルチ映像再生画像の画面内に存在する場合、入力された符号化ストリームに含まれるパラメータのみを修正することにより、パラメータトランスコードを行う。以下では、このようなパラメータトランスコードを修正ありパラメータトランスコードという。一方、参照画素がマルチ映像再生画像の画面内に存在しない場合、または、符号化処理部６０がパラメータを修正する必要があると判定し、再符号化を行う必要があると判定した場合、符号化処理部６０は、符号化ストリームを復号し、再符号化する。

［チャンネルリスト更新処理のフローチャート］
図１２は、コンテンツ配信サーバ１１が新しい映像コンテンツを取得した時に実行される、チャンネルリスト更新（生成）処理のフローチャートである。

この処理では、初めに、ステップＳ１において、コンテンツ配信サーバ１１は、新しい映像コンテンツが取得されたか否かを判定し、新しい映像コンテンツが取得されたと判定されるまで、ステップＳ１の処理を繰り返す。

ステップＳ１で、新しい映像コンテンツが取得されたと判定された場合、処理はステップＳ２に進み、コンテンツ配信サーバ１１は、取得された新しい映像コンテンツの符号化ストリームを、サイズ（大）、サイズ（中）、サイズ（小）の各表示サイズについて生成する。

ステップＳ３において、コンテンツ配信サーバ１１は、コンテンツ記憶部４１に記憶されているチャンネルリストに、取得された新しい映像コンテンツの情報を追加して、チャンネルリストを更新する。コンテンツ記憶部４１にチャンネルリストが存在しない場合には、コンテンツ配信サーバ１１は、取得された新しい映像コンテンツの情報を含むチャンネルリストを生成し、コンテンツ記憶部４１に記憶する。

以上により、チャンネルリスト更新は終了する。

［起動処理のフローチャート］
図１３は、クライアント側であるコンテンツ受信装置１３が、起動したときに実行する起動処理のフローチャートを示している。

この処理では、初めに、ステップＳ１１において、コンテンツ受信装置１３は、コンテンツ配信サーバ１１からのチャンネルリストを受信する。コンテンツ受信装置１３は、チャンネルリストの送信を要求するコマンドを送信して、それに応じて送信されてくるチャンネルリストを受信してもよいし、定期的または不定期に送信されているチャンネルリストを受信するのでもよい。

ステップＳ１２において、コンテンツ受信装置１３は、マルチ映像再生画像として最初に表示される複数の映像コンテンツの種類及び配置が規定された初期視聴配置情報を、図示せぬ設定記憶部から取得する。例えば、コンテンツ受信装置１３を製造した直後の最初の起動では、設定記憶部に予め記憶されている初期視聴配置情報が取得され、２回目以降の起動では、以前にマルチ映像再生画像を表示した時の最終状態に対応する初期視聴配置情報が取得される。

ステップＳ１３において、コンテンツ受信装置１３は、取得した初期視聴配置情報に基づくマルチ映像再生画像をコンテンツ配信サーバ１１にリクエストするための視聴配置リクエストを作成する。

例えば、視聴配置リクエストは、映像コンテンツのコンテンツ数と、各映像コンテンツを識別するコンテンツ識別子および対角座標で表される各映像コンテンツの表示領域であるコンテンツ領域（配置領域）とからなる、次のようなフォーマットにより作成することができる。

[コンテンツ数（N），コンテンツ１識別子，コンテンツ１位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標) ，コンテンツ２識別子，コンテンツ２位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標) ，・・・，コンテンツN識別子，コンテンツN位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標)]

ステップＳ１４において、コンテンツ受信装置１３は、作成した視聴配置リクエストを、コンテンツ配信サーバ１１に送信して、処理を終了する。

［映像コンテンツ変更処理］
図１４は、コンテンツ受信装置１３において一度マルチ映像再生画像が表示された後、マルチ映像再生画像を構成する映像コンテンツについて所定の変更がされたときに実行される、映像コンテンツ変更処理のフローチャートである。

初めに、ステップＳ２１において、コンテンツ受信装置１３は、映像コンテンツを変更する操作が行われたか否かを判定し、変更する操作が行われたと判定されるまでステップＳ２１の処理を繰り返す。

ステップＳ２１で、映像コンテンツを変更する操作が行われたと判定された場合、ステップＳ２２において、コンテンツ受信装置１３は、変更後のマルチ映像再生画像の構成に対応する視聴配置リクエストを作成する。

そして、ステップＳ２３において、コンテンツ受信装置１３は、作成した視聴配置リクエストをコンテンツ配信サーバ１１に送信して、処理を終了する。

［視聴配置変更リクエスト受信処理］
図１５は、図１３または図１４の処理によりコンテンツ受信装置１３から送信された視聴配置変更リクエストに対してコンテンツ配信サーバ１１が実行する、視聴配置変更リクエスト受信処理のフローチャートである。

初めに、ステップＳ３１において、コンテンツ配信サーバ１１は、視聴配置変更リクエストを受信したか否かを判定し、視聴配置変更リクエストを受信したと判定されるまでステップＳ３１の処理を繰り返す。

ステップＳ３１で、視聴配置変更リクエストを受信したと判定された場合、処理はステップＳ３２に進み、コンテンツ配信サーバ１１は、視聴配置変更リクエストに応じてマルチ映像再生画像を生成（変更）する視聴配置リクエスト対応処理を実行して、処理を終了する。

［視聴配置リクエスト対応処理］
図１６は、図１５のステップＳ３２で実行される視聴配置リクエスト対応処理の詳細フローチャートである。

この処理では、初めに、ステップＳ４１において、コンテンツ配信サーバ１１は、コンテンツ受信装置１３から送信されてきた視聴配置リクエストを受信する。視聴配置リクエストには、映像コンテンツのコンテンツ数Nと、その各映像コンテンツを識別するコンテンツ識別子、各映像コンテンツのコンテンツ領域（位置およびサイズ）が記述されている。そこで、コンテンツ配信サーバ１１は、受信した視聴配置リクエストに基づいて、コンテンツ数Nを設定するとともに、映像コンテンツを示す変数ｉに０を代入して初期化する。

ステップＳ４２において、コンテンツ配信サーバ１１は、ｉ番目の映像コンテンツ（以下、コンテンツ（ｉ）という。）の情報を取得する。即ち、コンテンツ配信サーバ１１は、視聴配置リクエストに基づいて、コンテンツ（ｉ）について、コンテンツ識別子により映像コンテンツを特定し、その映像コンテンツの表示位置および表示サイズを特定する。

ステップＳ４３において、コンテンツ配信サーバ１１は、コンテンツ（ｉ）が表示中であるか、即ち、視聴配置リクエストを受信する前のマルチ映像再生画像でもコンテンツ（ｉ）を表示していたかを判定する。

ステップＳ４３で、コンテンツ（ｉ）が表示中ではない、即ち、コンテンツ（ｉ）は新たに表示することが選択された映像コンテンツであると判定された場合、処理はステップＳ４４に進み、コンテンツ配信サーバ１１は、コンテンツ変更処理を実行する。

一方、ステップＳ４３で、コンテンツ（ｉ）が表示中である、即ち、変更前のマルチ映像再生画像でもコンテンツ（ｉ）が表示されていたと判定された場合、処理はステップＳ４５に進む。ステップＳ４５において、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示サイズに変更がないかを判定する。

ステップＳ４５で、コンテンツ（ｉ）の表示サイズに変更があると判定された場合、処理はステップＳ４６に進み、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示サイズを変更するサイズ変更処理を実行する。

一方、ステップＳ４５で、コンテンツ（ｉ）の表示サイズに変更がないと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示位置に変更がないか、即ち表示情報が受信されたかを判定する。

ステップＳ４７で、コンテンツ（ｉ）の表示位置に変更があると判定された場合、処理はステップＳ４８に進み、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示位置を変更する位置変更処理を実行する。なお、表示位置を変更する前の画像を参照している間の数フレーム（フィールド）は、コンテンツ（ｉ）の表示位置に変更があると判定され、位置変更処理が実行される。

一方、ステップＳ４７で、コンテンツ（ｉ）の表示位置に変更がないと判定された場合、処理はステップＳ４９に進み、コンテンツ配信サーバ１１は、修正なしパラメータトランスコードを行う修正なしパラメータトランスコード処理を実行する。

ステップＳ４４，Ｓ４６，Ｓ４８、またはＳ４９の処理後、ステップＳ５０において、コンテンツ配信サーバ１１は、変数ｉを１だけインクリメントして、処理をステップＳ５１に進める。

ステップＳ５１において、コンテンツ配信サーバ１１は、未処理の映像コンテンツがあるか、即ち、変数ｉがコンテンツ数Nよりも小さいかを判定する。

ステップＳ５１で、未処理の映像コンテンツがある、即ち、変数ｉがコンテンツ数Nよりも小さいと判定された場合、処理はステップＳ４２に戻り、それ以降の処理が繰り返し実行される。即ち、マルチ映像再生画像に表示される次の映像コンテンツについて、上述したステップＳ４２乃至Ｓ５０の処理が実行される。

一方、ステップＳ５１で、未処理の映像コンテンツがないと判定された場合、視聴配置リクエスト対応処理は終了し、図１５に戻る。

以上のように、視聴配置リクエスト対応処理では、コンテンツ配信サーバ１１は、表示位置が変更された場合、表示サイズが変更された場合、コンテンツが変更された場合、変更がない場合に対応する処理を行う。

なお、クライアント側であるコンテンツ受信装置１３が、起動直後に、最初に送信してくる視聴配置リクエストに対しては、変更前のマルチ映像再生画像（映像コンテンツ）が存在しないため、全ての映像コンテンツに対して、ステップＳ４４の処理と同様の処理が実行される。

［マクロブロック単位のマルチ映像再生画像生成処理］
図１６を参照して説明した視聴配置リクエスト対応処理は、マルチ映像再生画像の生成を、映像コンテンツ単位で考えた場合の処理である。

次に、マルチ映像再生画像の生成をマクロブロック単位で考えた場合の処理について、図１７を参照して説明する。図１７は、時刻ｔにおける（ｔ枚目の）マルチ映像再生画像を生成するマルチ映像再生画像生成処理のフローチャートである。マルチ映像再生画像を生成（更新）する周期は、例えば、フィールド周期である。

初めに、ステップＳ６１において、コンテンツ配信サーバ１１の符号化処理部６０は、生成するマルチ映像再生画像のマクロブロックＭＢの初期設定を行う。具体的には、符号化処理部６０は、処理対象のマクロブロックＭＢを特定するための変数ｘおよびｙに初期値として「０」を設定する。本実施の形態では、マルチ映像再生画像が、水平方向にＸ個、垂直方向にＹ個のマクロブロックＭＢに分割され、マクロブロックＭＢの境界は、映像コンテンツを配置する領域であるコンテンツ領域の境界と少なくとも一致するものとする。なお、以下では、水平方向が変数ｘ、垂直方向が変数ｙの位置のマクロブロックＭＢを、マクロブロックＭＢ（ｘ，ｙ）と記述する。

ステップＳ６２において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔが、映像コンテンツを配置する領域であるコンテンツ領域内にあるかを判定する。

ステップＳ６２で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔがコンテンツ領域内にはないと判定された場合、処理はステップＳ６３に進み、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔの画像データとして固定データを通常エンコード処理する。即ち、固定データが、マクロブロックＭＢ（ｘ，ｙ）＿ｔの画像データとしてパラメータ決定部６４に入力され、イントラ予測/動き補償部６５、DCT/量子化部６６、可逆符号化部６７、および出力部６８を介して通常エンコード処理され、出力される。固定データは、例えば、固定の黒画像などを表示するための画像データである。

一方、ステップＳ６２で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔがコンテンツ領域内にあると判定された場合、処理はステップＳ６４に進む。ステップＳ６４において、符号化処理部６０のスイッチ６１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと、その１つ前の時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じであるかを判定する。ここで、時刻ｔと時刻ｔ−１で映像コンテンツが同じとは、画像が同一という意味ではなく、番組（内容）が同じということである。

ステップＳ６４で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じではないと判定された場合、スイッチ６１は、パラメータを抽出する必要があると判定する。そして、スイッチ６１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームをパラメータデコーダ６２に供給する。そして、ステップＳ６５において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理を実行する。

具体的には、変更後の映像コンテンツがライブ放送コンテンツである場合、コンテンツ配信サーバ１１は、変更後の映像コンテンツの現在放送中のピクチャから符号化対象とする。従って、符号化処理部６０は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのピクチャタイプがPピクチャである場合、そのPピクチャをIピクチャとして再符号化する。

即ち、パラメータデコーダ６２は、再符号化する必要があると判定し、パラメータ決定部６４は、マクロブロックＭＢ（ｘ，ｙ）＿ｔをIピクチャとしてパラメータを決定し直す。なお、このとき、マクロブロックＭＢ（ｘ，ｙ）＿ｔがフレームまたはスライスの境界に位置する場合には、禁止パラメータ以外のパラメータが新たなパラメータとして決定される。そして、イントラ予測/動き補償部６５、DCT/量子化部６６、可逆符号化部６７、および出力部６８は、決定し直されたパラメータを用いて、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化データのデコード結果を再符号化し、その結果得られる符号化ストリームを出力する。

これにより、マクロブロックＭＢ（ｘ，ｙ）のピクチャタイプがPピクチャである場合、Iピクチャになるまで待って映像コンテンツを変更する必要がないため、高い応答性を実現できる。

また、符号化処理部６０は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのピクチャタイプがIピクチャであり、マクロブロックＭＢ（ｘ，ｙ）＿ｔがフレームまたはスライスの境界に位置しないか、または、マクロブロックＭＢ（ｘ，ｙ）＿ｔがフレームまたはスライスの境界に位置するが、パラメータが禁止パラメータではない場合、その元ブロックの符号化ストリームをそのまま出力する。

即ち、この場合、パラメータデコーダ６２は、パラメータを修正する必要がないと判定し、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームを、出力部６８に供給する。これにより、入力されたマクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームが、そのまま、マルチ映像再生画像のマクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとして出力される。

一方、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのピクチャタイプがIピクチャであり、マクロブロックＭＢ（ｘ，ｙ）＿ｔがフレームまたはスライスの境界に位置し、パラメータが禁止パラメータである場合、符号化処理部６０は、元ブロックの符号化ストリームを再符号化する。

即ち、この場合、パラメータデコーダ６２は、再符号化する必要があると判定し、パラメータ決定部６４は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータを禁止パラメータ以外のパラメータに決定し直す。そして、イントラ予測/動き補償部６５、DCT/量子化部６６、可逆符号化部６７、および出力部６８は、決定し直されたパラメータを用いて、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化データのデコード結果を再符号化し、その結果得られる符号化ストリームを出力する。

また、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのピクチャタイプがBピクチャである場合、符号化処理部６０は、何もせず、IピクチャまたはPピクチャを待つ。

一方、変更後の映像コンテンツが非ライブ放送コンテンツである場合、コンテンツ配信サーバ１１は、その映像コンテンツの先頭から符号化対象とする。このため、符号化処理部６０は、変更後の映像コンテンツがライブ放送コンテンツであり、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのピクチャタイプがIピクチャである場合と同様の処理を行う。

また、ステップＳ６４で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じであると判定された場合、処理はステップＳ６６に進む。ステップＳ６６において、スイッチ６１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１が属するコンテンツ領域の表示サイズが同じであるかを判定する。

ステップＳ６６で、コンテンツ領域の表示サイズが同じではないと判定された場合、スイッチ６１は、パラメータを抽出する必要があると判定する。そして、スイッチ６１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームをパラメータデコーダ６２に供給する。そして、ステップＳ６７において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔのサイズ変更処理を実行する。なお、サイズ変更処理は、符号化対象が、表示サイズが変更された映像コンテンツである点を除いて、コンテンツ変更処理と同様である。

一方、ステップＳ６６で、コンテンツ領域の表示サイズが同じであると判定された場合、処理はステップＳ６８に進む。そして、ステップＳ６８において、スイッチ６１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１が属するコンテンツ領域の位置が同じであるかを判定する。

ステップＳ６８で、コンテンツ領域の位置が同じではないと判定された場合、スイッチ６１は、パラメータを抽出する必要があると判定し、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームをパラメータデコーダ６２に供給する。そして、ステップＳ６９において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する映像コンテンツの位置変更処理を実行する。このマクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理の詳細は、後述する図１８を参照して説明する。

一方、ステップＳ６８で、コンテンツ領域の位置が同じであると判定された場合、スイッチ６１は、パラメータを抽出する必要がないと判定し、処理をステップＳ７０に進める。ステップＳ７０において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔについて修正なしパラメータトランスコード処理を実行する。

具体的には、符号化処理部６０のスイッチ６１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔがマルチ映像再生画像上のスライスまたはフレームの境界に位置しない場合、入力されるマクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームを、出力部６８に供給する。出力部６８は、その符号化ストリームを、マルチ映像再生画像のマクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとしてそのまま出力する。

一方、マクロブロックＭＢ（ｘ，ｙ）＿ｔがマルチ映像再生画像上のスライスまたはフレームの境界に位置する場合、スイッチ６１は、元ブロックのパラメータを抽出する必要があると判定し、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームをパラメータデコーダ６２に供給する。パラメータデコーダ６２は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータが禁止パラメータである場合、再符号化する必要があると判定し、パラメータ決定部６４は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータを禁止パラメータ以外のパラメータに決定し直す。そして、イントラ予測/動き補償部６５、DCT/量子化部６６、可逆符号化部６７、および出力部６８は、決定し直されたパラメータを用いて、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化データのデコード結果を再符号化し、その結果得られる符号化ストリームを出力する。

また、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータが禁止パラメータではない場合、パラメータデコーダ６２は、パラメータを修正する必要がないと判定し、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームを、出力部６８に供給する。出力部６８は、その符号化ストリームを、マルチ映像再生画像のマクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとしてそのまま出力する。

ステップＳ６３，Ｓ６５，Ｓ６７，Ｓ６９、またはＳ７０の後、処理はステップＳ７１に進む。ステップＳ７１において、符号化処理部６０は、変数ｘを１だけインクリメントして、処理をステップＳ７２に進める。

ステップＳ７２において、符号化処理部６０は、変数ｘが水平方向のマクロブロック数Ｘと等しいかを判定する。ステップＳ７２で、変数ｘがマクロブロック数Ｘと等しくない（変数ｘがマクロブロック数Ｘより小さい）と判定された場合、処理はステップＳ６２に戻る。

一方、ステップＳ７２で、変数ｘが水平方向のマクロブロック数Ｘと等しいと判定された場合、処理はステップＳ７３に進み、符号化処理部６０は、変数ｘを「０」にリセットするとともに、変数ｙを１だけインクリメントする。

ステップＳ７４において、符号化処理部６０は、変数ｙが垂直方向のマクロブロック数Ｙと等しいかを判定する。ステップＳ７４で、変数ｙがマクロブロック数Ｙと等しくない（変数ｙがマクロブロック数Ｙより少ない）と判定された場合、処理はステップＳ６２に戻る。

一方、ステップＳ７４で、変数ｙがマクロブロック数Ｙと等しいと判定された場合、処理は終了する。

［マクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理］
図１８は、図１７のステップＳ６９で実行される、マクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理の詳細フローチャートである。

初めに、ステップＳ１０１において、パラメータデコーダ６２は、スイッチ６１を介して入力されるマクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームに含まれるパラメータを、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータとして抽出する。

ステップＳ１０２において、パラメータデコーダ６２は、ステップＳ１０１で抽出されたパラメータに基づいて、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのタイプ情報がインタータイプであるかを判定する。

ステップＳ１０２で、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのタイプ情報がインタータイプであると判定された場合、パラメータデコーダ６２は、再符号化する必要がないと判定する。そして、パラメータデコーダ６２は、ステップＳ１０１で抽出されたパラメータと、元ブロックの符号化ストリームに含まれる符号化データをパラメータ修正部６３に供給する。

そして、ステップＳ１０３において、パラメータ修正部６３は、パラメータデコーダ６２から供給されるパラメータに基づいて、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックのMV情報がスキップマクロモードであるかを判定する。

ステップＳ１０３でMV情報がスキップマクロモードであると判定された場合、ステップＳ１０４において、パラメータ修正部６３は、ブロックサイズ情報を16×16画素に変更（更新）する。そして、処理をステップＳ１０５に進める。

一方、ステップＳ１０３でMV情報がスキップマクロモードではないと判定された場合、ステップＳ１０４をスキップしてステップＳ１０５に進む。

ステップＳ１０５において、パラメータ修正部６３は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのMV変換を行う。具体的には、マクロブロックＭＢ（ｘ，ｙ）＿ｔの元の動きベクトルを（MvX,MvY）とし、変更前の位置から変更後の位置までの移動量を（ｄX,dY）とすると、パラメータ修正部６３は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの新たな動きベクトルを、（MvX+dX,MvY+dY）とし、MV情報を、その動きベクトルに更新する。

ステップＳ１０６において、パラメータ修正部６３は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの新たな動きベクトル（MvX+dX,MvY+dY）に基づく参照画素が存在するか、即ち、参照画素がマルチ映像再生画像の画面内に存在するかを判定する。

ステップＳ１０６で、参照画素が存在すると判定された場合、処理はステップＳ１０７に進み、符号化処理部６０は、修正ありパラメータトランスコードを行う修正ありパラメータトランスコード処理を行う。具体的には、パラメータ修正部６３は、更新されたパラメータを、パラメータデコーダ６２から供給される符号化データに付加し、その結果得られる符号化ストリームを出力部６８に供給し、マクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとして出力させる。

一方、ステップＳ１０６で、参照画素が存在しないと判定された場合、ステップＳ１０８において、パラメータ修正部６３は、参照画素のマルチ映像再生画像の画面に対するはみだし量が所定量以上であるかを判定する。

ステップＳ１０８ではみだし量が所定量以上であると判定された場合、パラメータ修正部６３は、画像データのパラメータ決定部６４への供給をパラメータデコーダ６２に要求する。そして、処理はステップＳ１０９に進み、符号化処理部６０は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対して再符号化処理を行う。

具体的には、パラメータデコーダ６２は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化データを復号し、その結果得られる画像データをパラメータ決定部６４に供給する。パラメータ決定部６４は、パラメータデコーダ６２から供給される画像データと参照する画像データを用いてイントラ予測処理および動き補償処理を行うことにより、パラメータを決定し直す。そして、イントラ予測/動き補償部６５、DCT/量子化部６６、および可逆符号化部６７は、決定し直されたパラメータ等を用いて画像データを符号化し、そのパラメータを付加する。出力部６８は、その結果得られる符号化ストリームを、マクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとして出力する。

一方、ステップＳ１０８ではみ出し量が所定量以上ではないと判定された場合、パラメータ修正部６３は、画像データのパラメータ決定部６４への供給をパラメータデコーダ６２に要求するとともに、修正後のパラメータをパラメータデコーダ６２に供給する。そして、処理はステップＳ１１０に進み、符号化処理部６０は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対して既定の再符号化処理を行う。

具体的には、パラメータデコーダ６２は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化データを復号し、その結果得られる画像データと修正後のパラメータをパラメータ決定部６４に供給する。パラメータ決定部６４は、パラメータデコーダ６２から供給される修正後のパラメータを新たなパラメータとして決定する。そして、イントラ予測/動き補償部６５、DCT/量子化部６６、および可逆符号化部６７は、修正後のパラメータ等を用いて画像データを符号化する。なお、このとき、参照画素はマルチ映像再生画像の画面内に存在しないため、既定の参照画素を参照する。符号化された画像データには、パラメータが付加され、出力部６８は、その結果得られる符号化ストリームを、マクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとして出力する。

また、上述したステップＳ１０２で、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がイントラタイプであると判定された場合、処理はステップＳ１１１に進む。ステップＳ１１１において、パラメータデコーダ６２は、マクロブロックＭＢ（ｘ，ｙ）＿ｔがマルチ映像再生画像におけるスライスまたはフレームの境界に位置するかを判定する。

ステップＳ１１１でマクロブロックＭＢ（ｘ，ｙ）＿ｔがマルチ映像再生画像におけるスライスまたはフレームの境界に位置すると判定された場合、ステップＳ１１２において、パラメータデコーダ６２は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータが禁止パラメータであるかを判定する。

ステップＳ１１２でマクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータが禁止パラメータであると判定された場合、パラメータデコーダ６２は、再符号化する必要があると判定し、画像データをパラメータ決定部６４に供給する。そして、処理はステップＳ１０９に進み、符号化処理部６０は、上述した再符号化処理を行う。

一方、ステップＳ１１１でマクロブロックＭＢ（ｘ，ｙ）＿ｔがマルチ映像再生画像におけるスライスまたはフレームの境界に位置しないと判定された場合、または、ステップＳ１１２でマクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータが禁止パラメータではないと判定された場合、パラメータデコーダ６２は、パラメータを修正する必要がないと判定する。

そして、ステップＳ１１３において、符号化処理部６０は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔについて修正なしパラメータトランスコード処理を実行する。具体的には、パラメータデコーダ６２は、パラメータを修正する必要がないと判定し、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する元ブロックの符号化ストリームを、出力部６８に供給する。出力部６８は、その符号化ストリームを、マルチ映像再生画像のマクロブロックＭＢ（ｘ，ｙ）＿ｔの符号化ストリームとしてそのまま出力する。

以上のように、コンテンツ配信サーバ１１は、配信可能な全ての映像コンテンツについて、表示サイズの異なる複数の符号化ストリームを予め作成し、記憶しておく。そして、コンテンツ配信サーバ１１は、受信した視聴配置リクエストに基づいて、予め作成した符号化ストリームをパラメータトランスコードすることにより、複数の映像が配置されたマルチ映像再生画像の１本の符号化ストリームを作成し、コンテンツ受信装置１３に送信する。

従って、コンテンツ配信サーバ１１からコンテンツ受信装置１３には、１本の符号化ストリームが提供されるので、コンテンツ受信装置１３が１本の符号化ストリームしか再生できない装置であってもマルチ映像再生画像を表示することができる。

サーバ側のコンテンツ配信サーバ１１がマルチ映像再生画像を生成する際のパラメータトランスコード量は、基本的に１種類の映像コンテンツの符号化ストリームを作成するときと同等であるので、従来のマルチ映像再生画像の生成方法と比べて高速に処理できる。

さらに、スライスまたはフレームの境界の位置の変化によりパラメータが禁止パラメータとなった場合、コンテンツ配信サーバ１１は、パラメータトランスコードではなく、再符号化を行う。従って、マルチ映像再生画像の符号化ストリームが規格に違反し、復号エラーが発生することを防止することができる。

また、映像コンテンツの表示位置が変更される場合、コンテンツ配信サーバ１１は、本来参照すべき画素が参照されるように、映像コンテンツの表示位置の変更に基づいて動きベクトルを補正する。さらに、補正後の動きベクトルに基づく参照画素がマルチ映像再生画像の画面内に存在しない場合、パラメータトランスコードではなく、再符号化を行う。従って、本来参照すべき画素ではない画素が参照されることによる画質劣化を防止することができる。

以上のように、コンテンツ配信サーバ１１は、予め作成した符号化ストリームのパラメータを可能な限り利用してパラメータトランスコードを行い、規格違反や画質劣化が予想される部分のみを再符号化することによりマルチ映像再生画像の符号化ストリームを作成する。従って、コンテンツ配信サーバ１１は、処理負荷と画質劣化を最小限に抑制し、符号化規格に準拠することができる。

なお、上述した説明では、説明を簡単にするため、パラメータトランスコード時に、DCT/量子化部６６による処理および可逆符号化部６７による可逆符号化処理等が行われないものとしたが、パラメータトランスコード時であっても、場合によっては、これらの処理が行われる。

例えば、パラメータトランスコード前後で量子化精度を変更して発生ビット量を制御する場合、符号化データが復号され、量子化部６６による処理および可逆符号化部６７による可逆符号化処理等が行われる。また、図１９に示すように、マルチ映像再生画像の同一スライスに複数の映像コンテンツである映像コンテンツＡ乃至Ｄが配置される場合、映像コンテンツの境界については、符号化データが復号され、量子化部６６による処理および可逆符号化部６７による可逆符号化処理等が行われる。

即ち、可逆符号化は、可逆符号化対象のマクロブロックの上側および左側のブロックに依存する。従って、図１９に示すように、映像コンテンツＡ乃至Ｄのマクロブロックは、各映像コンテンツにおいて左から右、上から下に向かう順で、上側および左側のブロックを参照して可逆符号化されている。これに対して、マルチ映像再生画像のマクロブロックは、マルチ映像再生画像全体において左から右、上から下に向かう順で、上側および左側のブロックを参照して可逆符号化される必要がある。よって、映像コンテンツの境界では、可逆符号化をやり直す必要がある。

また、上述したように、可逆符号化は、可逆符号化対象のマクロブロックの周辺のブロックに依存するため、周辺のブロックの可逆符号化がやり直される場合、符号化データが復号され、量子化部６６による処理および可逆符号化部６７による可逆符号化処理等が行われる。

なお、上述した説明では、再符号化時にパラメータを決定し直す際、元のパラメータを参照しなかったが、元のパラメータを参照してもよい。例えば、元のパラメータのうちのタイプ情報を、更新後のパラメータのうちのタイプ情報として用いるようにしてもよい。この場合、タイプ情報がイントラタイプである場合、イントラ予測のみを行うことによりパラメータを決定し直し、インタータイプである場合、動き補償のみを行うことによりパラメータを決定し直す。従って、元のパラメータを参照しない場合に比べて、処理負荷が軽減される。これに対して、元のパラメータを参照しない場合、最も適した予測画像を生成することができるので、画質劣化を抑制することができる。

また、本技術の符号化方式は、AVC方式のほか、HEVC（High Efficiency Video Coding）方式等であってもよい。符号化方式がHEVC方式である場合、例えば、予測ブロックのサイズが8×8画素である輝度信号のイントラ予測モードは、図２０に示した33方向のイントラ予測モードとDC Predictionを示すイントラ予測モードの34個のイントラ予測モードである。また、予測ブロックのサイズが16×16画素、32×32画素、64×64画素である輝度信号のイントラ予測モードは、図２１に示すように、座標（dxIntra,dyIntra）に対応し、モード数は33である。なお、座標（dxIntra,dyIntra）は、予測ブロックに隣接する隣接ブロックのうちの予測画素として用いられる画素が交わる線の、所定の座標（x,y）の基点画素以外の端点の基点画素に対する位置を表している。即ち、隣接ブロックのうちの予測画素として用いられる画素は、基点画素と座標（x＋dxIntra,y＋dyIntra）の位置を結んだ線と交わる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２２は、上述した一連の処理をプログラムにより実行し、コンテンツ配信サーバ１１またはコンテンツ受信装置１３として機能するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンテンツ配信サーバ１１をコンピュータで構成した場合、CPU１０１は、例えば、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを予め作成する処理、符号化処理部６０に対応するパラメータトランスコード処理などを行う。記憶部１０８は、予め作成された各映像コンテンツの複数の表示サイズの符号化ストリームを記憶する。通信部１０９は、コンテンツ受信装置１３からの視聴配置リクエストを受信したり、生成した符号化ストリームをコンテンツ受信装置１３に送信する。

コンテンツ受信装置１３をコンピュータで構成した場合、CPU１０１は、例えば、視聴配置リクエストを作成したり、１ストリームの符号化ストリームをデコードし、マルチ映像再生画像を生成し、表示部（出力部１０７）に表示させる。通信部１０９は、コンテンツ配信サーバ１１に視聴配置リクエストを送信したり、コンテンツ配信サーバ１１から送信されてきた１ストリームの符号化ストリームを受信して、CPU１０１に供給する。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した実施の形態では、マルチ映像再生画像が３つのサイズ（小）の映像コンテンツと１つのサイズ（中）の映像コンテンツからなる例について説明したが、マルチ映像再生画像はこれに限定されない。換言すれば、マルチ映像再生画像において、映像コンテンツの表示サイズ、一画面で同時に表示（視聴）する映像コンテンツの数や配置は、適宜、設定することができる。

また、上述した実施の形態では、コンテンツ配信サーバ１１が、合成する全ての映像コンテンツの各サイズの符号化ストリームを自身で作成し、記憶していた。しかし、合成対象の、表示サイズが異なる複数の符号化ストリームは、他のサーバ（コンピュータ）で作成され、それをコンテンツ配信サーバ１１が取得してマルチ映像再生画像を生成するようにしてもよい。また、自身が作成した符号化ストリームと、他のサーバから取得した符号化ストリームを組み合わせて使用してもよい。

さらに、上述したマルチ映像再生画像は、表示サイズが異なる映像コンテンツの組み合わせで構成されていたが、同一サイズのみの複数の映像コンテンツの組み合わせでもよい。

また、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本技術は、以下のような構成もとることができる。

（１）
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部
を備え、
前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
画像処理装置。
（２）
前記マルチ映像再生画像の表示範囲の変更を表す表示情報を受信する受信部
をさらに備え、
前記符号化処理部は、前記受信部により前記表示情報が受信された場合、前記元ブロックの前記パラメータが前記禁止パラメータであるかどうかを判断する
前記（１）に記載の画像処理装置。
（３）
前記禁止パラメータは、前記マルチ映像再生画像のスライスまたはフレームの境界に位置する所定のブロックの符号化ストリームにおいて禁止されているパラメータである
前記（１）または(２)に記載の画像処理装置。
（４）
前記符号化処理部は、前記元ブロックの前記パラメータが前記禁止パラメータではなく、参照画素に対応する動きベクトルを含む場合、前記マルチ映像再生画像を構成する前記映像コンテンツの表示位置の変更に基づいて、その動きベクトルを更新し、前記動きベクトルが更新された前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
前記（１）乃至(３)のいずれかに記載の画像処理装置。
（５）
前記符号化処理部は、更新後の前記動きベクトルに基づく前記映像コンテンツが前記マルチ映像再生画像の画面内に存在する場合、その動きベクトルを含む前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとし、更新後の前記動きベクトルに基づく前記映像コンテンツが前記マルチ映像再生画像の画面内に存在しない場合、その動きベクトルに対応する前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとする
前記（４）に記載の画像処理装置。
（６）
前記符号化処理部は、前記元ブロックの前記パラメータが前記禁止パラメータではなく、前記元ブロックの動きベクトルを表す情報としてのスキップマクロモードを含む場合、前記マルチ映像再生画像を構成する前記映像コンテンツの表示位置の変更に基づいて、前記所定のブロックの参照画素に対応する動きベクトルを演算し、前記スキップマクロモードを、その動きベクトルに更新して、前記パラメータが更新された前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
画像処理装置が、
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理ステップ
を含み、
前記符号化処理ステップの処理では、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
画像処理方法。
（８）
サーバ装置とクライアント装置とからなり、
前記サーバ装置は、
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部と、
前記符号化処理部により生成された前記マルチ映像再生画像の符号化ストリームを前記クライアント装置に送信する送信部と
を備え、
前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとし、
前記クライアント装置は、
前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
受信した前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
を備える
画像処理システム。

１ マルチ映像再生システム， １１ コンテンツ配信サーバ， １３ コンテンツ受信装置， ６０ 符号化処理部， ６８ 出力部， １０１ CPU， １０９ 通信部

Claims (8)

1. 複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部
   を備え、
   前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
   画像処理装置。
2. 前記マルチ映像再生画像の表示範囲の変更を表す表示情報を受信する受信部
   をさらに備え、
   前記符号化処理部は、前記受信部により前記表示情報が受信された場合、前記元ブロックの前記パラメータが前記禁止パラメータであるかどうかを判断する
   請求項１に記載の画像処理装置。
3. 前記禁止パラメータは、前記マルチ映像再生画像のスライスまたはフレームの境界に位置する所定のブロックの符号化ストリームにおいて禁止されているパラメータである
   請求項１に記載の画像処理装置。
4. 前記符号化処理部は、前記元ブロックの前記パラメータが前記禁止パラメータではなく、参照画素に対応する動きベクトルを含む場合、前記マルチ映像再生画像を構成する前記映像コンテンツの表示位置の変更に基づいて、その動きベクトルを更新し、前記動きベクトルが更新された前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
   請求項１に記載の画像処理装置。
5. 前記符号化処理部は、更新後の前記動きベクトルに基づく前記映像コンテンツが前記マルチ映像再生画像の画面内に存在する場合、その動きベクトルを含む前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとし、更新後の前記動きベクトルに基づく前記映像コンテンツが前記マルチ映像再生画像の画面内に存在しない場合、その動きベクトルに対応する前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとする
   請求項３に記載の画像処理装置。
6. 前記符号化処理部は、前記元ブロックの前記パラメータが前記禁止パラメータではなく、前記元ブロックの動きベクトルを表す情報としてのスキップマクロモードを含む場合、前記マルチ映像再生画像を構成する前記映像コンテンツの表示位置の変更に基づいて、前記所定のブロックの参照画素に対応する動きベクトルを演算し、前記スキップマクロモードを、その動きベクトルに更新して、前記パラメータが更新された前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
   請求項１に記載の画像処理装置。
7. 画像処理装置が、
   複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理ステップ
   を含み、
   前記符号化処理ステップの処理では、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとする
   画像処理方法。
8. サーバ装置とクライアント装置とからなり、
   前記サーバ装置は、
   複数の映像コンテンツそれぞれについて、表示サイズが異なる複数の符号化ストリームを作成し、前記符号化ストリームを用いて所定のブロック単位で符号化を行うことにより、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成する符号化処理部と、
   前記符号化処理部により生成された前記マルチ映像再生画像の符号化ストリームを前記クライアント装置に送信する送信部と
   を備え、
   前記符号化処理部は、前記映像コンテンツの符号化ストリームに含まれる、前記所定のブロックに対応する前記映像コンテンツのブロックである元ブロックの符号化に関するパラメータが、前記マルチ映像再生画像の符号化ストリームにおいて禁止されている禁止パラメータである場合、前記元ブロックの符号化ストリームを復号して再符号化し、その結果得られる符号化ストリームを前記所定のブロックの符号化ストリームとし、前記元ブロックの前記パラメータが前記禁止パラメータではない場合、前記元ブロックの符号化ストリームを前記所定のブロックの符号化ストリームとし、
   前記クライアント装置は、
   前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
   受信した前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
   を備える
   画像処理システム。

Images