JP5250158B2

JP5250158B2 - 符号化装置・方法

Info

Publication number: JP5250158B2
Application number: JP2013028414A
Authority: JP
Inventors: 朋夫山影; 百合香小川; 晋一郎古藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-02-15
Filing date: 2013-02-15
Publication date: 2013-07-31
Anticipated expiration: 2029-01-20
Also published as: JP2013132073A

Description

本発明は、符号化装置・方法に関し、特に立体画像を既存の伝送チャネル・記録メディ
アで扱う際のデータ形式と、そのデータ形式を再生・供給・記録する技術に関する。

立体画像は、複数の視点画像を、それぞれ左右の目で見ることが可能な様に表示するこ
とで視覚的に立体感を出すことを目的とした画像である。そのため、通常の平面画像で表
示した場合と、同じ解像度及びフレームレートで表示を行う場合、2倍量以上の画像デー
タが必要となる。既存の伝送チャネル(放送、蓄積メディア、有線または無線の通信回線)
は、平面画像を伝送することを想定しており、2倍の量以上の画像データを並列、かつ、
同期させて送ることはできない。そのため、2倍量以上に増えた立体画像のデータを何ら
かの方法で削減し、削減したデータを既存の伝送チャネルで送る手法がとられている。２
枚の視差画像の半数の画素を、１枚の画像上に並び替えた画像（以下、ステレオ画像と記
載）を生成する手法として下記の技術が提案されている。

例えば、図１６にそのシンタックス構造を示すH.264/MPEG-4 AVCに採用されているSter
eo video information SEI messageは、図１７（ａ）に示すようにフレーム単位、または
（ｂ）に示すようにフィールド単位で交互に伝送される視差画像を示す付加情報をビット
ストリームに記録するものである。

また、特許文献1には、２つの視差画像を互いに補完する格子状の位置でサブサンプリ
ングした後、水平方向の画素数を半数にする処理（以下、スクイーズと記載）を行い、１
つのスクイーズされた視差画像を画面の左半分、もう一方のスクイーズされた視差画像を
画面の右半分に並べることで、サブサンプリング前の視差画像と同じ画素数の1枚のステ
レオ画像を生成する手法が開示されている。

その他にも、図１８に示すように、２つの視差画像の画素を互いに補完する格子状の位
置でサブサンプリングした後、そのままの画素位置で並び替えるステレオ画像形式が存在
する。また、視差画像のそれぞれを垂直方向に１／２サブサンプリング及びスクイーズし
た後、上下に並べるステレオ画像形式等、視差画像をそれぞれ空間面で１／２の画素数に
サブサンプリングし1枚の画像とする様々なステレオ画像形式が存在する。

これらのステレオ画像形式は、立体テレビの表示方法と整合が取れるものであることが
多く、立体テレビの表示方法自体が表示デバイスの特性に依存おり、標準となるステレオ
画像形式が存在しない。そのため、信号源(DVD, セットトップボックスなど)と立体テレ
ビとの間で、同一の信号形式となる保証がない。従って、ステレオ画像形式と立体テレビ
の表示方法との整合を取る必要がある。そこで、非特許文献1では、図１８に示したステ
レオ画像形式であることを表す付加情報を示すヘッダであるSEI(Supplemental Enhanceme
nt Information)をH.264規格に追加する提案がなされている。

US 2003/0223449 A1

http://wftp3.itu.int/av-arch/jvt-site/2008_10_Busan/JVT-AC010.zip

上述したように、様々なステレオ画像形式を含む信号源と、立体テレビとの間で整合を
取るためには、ステレオ画像とその形式を表す付加情報を併せ持つステレオ画像形式が必
要である。非特許文献１の手法は、特定のステレオ画像形式であることを示す固有の識別
子を付加情報として付与する方法であるが、空間面で1/2サブサンプリングする方法や、
左右の画面をひとつの画像上に並び替える方法には様々なものがあり、固有の識別子を与
える方法では、未知の識別子に対する拡張性が狭まる。

本発明は、複数の視差画像を空間面でサブサンプリングを行い、サブサンプリングの結
果残った画素から１枚の画像を生成するステレオ画像形式で考えられるバリエーションを
、統一的かつ網羅的に表現する付加情報を提供することを目的とする。

本発明は、上記課題を解決するために、第１視差画像の半数の画素を選択し、第１サブサ
ンプリング画像を生成する第１のサブサンプリング部と、第２視差画像の半数の画素を
選択し、第２サブサンプリング画像を生成する第２のサブサンプリング部と、前記第１視
差画像で選択された画素と前記第２視差画像で選択された画素とを、１枚の対象画像上に
並べる対象画像生成部と、前記第１のサブサンプリング部及び前記第２のサブサンプリン
グ部が、サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであ
るか、及び、前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、前
記１枚の対象画像上に画素単位で並べるか、もしくは画像単位で並べるか、を示す情報と
、前記第１視差画像及び前記第２視差画像それぞれの、特定の位置の画素を選択するため
の情報と、前記第１視差画像または前記第２視差画像のどちらの画素の位置をシフトさせ
て並び替えるかを示す情報と、を含む付加情報を設定する制御部と、前記対象画像を符号
化した符号化データと、前記付加情報とを、多重化した付加情報付符号化データを生成す
る符号化部と、を備えた画像符号化装置を提供する。

本発明によれば、複数の視差画像を空間面でサブサンプリングを行い、ステレオ画像を
生成する形式で考えられるバリエーションを、統一的かつ網羅的に表現する付加情報を提
供することができる。

第１の実施形態のステレオ画像符号化装置の構成を示す図。図１のステレオ画像符号化装置における動画像符号化部の構成を示す図。第１の実施形態におけるサブサンプリング方向を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。ステレオ画像情報多重化部で生成するステレオ画像情報データ列の例を示す図。ステレオ画像情報データ列と符号化データとの多重化方法の例を示す図。図２のステレオ画像情報多重化部で生成するステレオ画像情報データ列の別の例を示す図。第２の実施形態のステレオ画像符号化装置の構成を示す図。図１０の動画像符号化部で生成するステレオ画像情報データ列を示す図。第３の実施形態のステレオ画像復号装置の構成を示す図。図１２のステレオ画像分離再構成部図の動作を示す図。第４の実施形態のステレオ画像復号装置の構成を示す図。図１４の分離部の構成を示す図。非特許文献１におけるステレオ画像情報のデータ列を示す図。非特許文献１におけるフィールド毎またはフレーム毎に複数の視差画像を切り替えるステレオ画像形式を説明する図。特許文献１におけるステレオ画像情報形式を示す図。

以下、本発明の実施形態について図面を参照し説明する。なお、同じ構成には同じ番号
を付し重複する説明は一部省略する。なお、以下の各実施形態では、２つの視差画像を左
目画像、右目画像と記載して説明する。

ステレオ画像符号化装置は、入力された左目画像および右目画像をそれぞれ半数の画素
数をサブサンプリングにより選択し、選択された画素を１枚のステレオ画像上に並び替え
たステレオ画像を符号化し、符号化データを得る。そして、得られた符号化データに対し
、サブサンプリング方法を示す情報及び配列方法示す付加情報を多重化させたステレオ画
像情報付き符号化データを出力する装置である。なお、ステレオ画像は、左目画像および
右目画像と同じ画素数を有する。

［第１の実施形態］
図１は、本実施形態のステレオ画像符号化装置を示す図である。

左目画像サブサンプリング部101は、サブサンプリングを行う空間面での方向が水平、
垂直、または斜めのいずれであるかを示すサブサンプリング方向制御信号106と、左目画
像10のあらかじめ定められた位置の画素がサブサンプリングによって選択されるか否かを
示す左目画像サブサンプリング位相制御信号107とに従って、入力された右目画素20の画
素の半数を選択するサブサンプリングを行い、サブサンプリング左目画像11を生成する。
サブサンプリング左目画像11は、選択された画素は画素値を有し、選択されなかった画素
は画素値が無効化されたデータを示す。

右目画像サブサンプリング部102は、左目画像サブサンプリング部101と同様に、サブサ
ンプリング方向制御情報106と、右目画像20のあらかじめ定められた位置の画素がサブサ
ンプリングによって選択されるか否かを示す右目画像サブサンプリング位相制御信号107
とに従って、右目画像10の画素の半数を選択するサブサンプリングを行い、サブサンプリ
ング右目画像21を生成する。サブサンプリング右目画像11は、選択された画素は画素値を
有し、選択されなかった画素は画素値が無効化されたデータを示す。

ステレオ画像生成部103は、制御部105が生成した配列方法制御信号109に従って、サブ
サンプリング左目画像11およびサブサンプリング右目画像21の、画素値を有している画素
（サブサンプリングによって選択された画素）を、画像上に並び替えてステレオ画像30を
生成する。

制御部105は、サブサンプリング方向制御信号106と、左目画像サブサンプリング位相制
御信号107と、右目画像サブサンプリング位相制御信号108と、配列方法制御信号109と、
を生成する。

動画像符号化部104は、ステレオ画像30を符号化し符号化データ40を生成する。符号化
データ40に対し、サブサンプリング方向制御信号106、左目画像サブサンプリング位相制
御信号107、右目画像サブサンプリング位相制御信号108、及び配列方法制御信号109を、
多重化した立体画像情報付符号化データ50を生成する。

図２は、動画像符号化部104の構成を詳細に示した図である。

符号化本体部120では、生成されたステレオ画像30をH.264/MPEG-4 AVCで符号化して符
号化データを生成する。

ステレオ画像情報多重化部121では、サンプリング方向制御信号106と、左目画像サブサ
ンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108と、配列方法
制御信号109とを、H.264/MPEG-4 AVCのSEI messageとして生成し、H.264/MPEG-4 AVCの規
定に従って符号化データ40に多重化する。

次に、制御部105が生成する、サブサンプリング方向制御信号106、左目画像サブサンプ
リング位相制御信号107、右目画像サブサンプリング位相制御信号108、及び配列方法制御
信号109について詳細に説明する。

図３は、サブサンプリング方向制御信号106が示すサブサンプリング方向を説明する図
である。白丸で描いた画素61はサブサンプリングによって選択されない画素である。また
、黒丸で描いた画素62は、サブサンプリングで選択される画素である。以下の説明で、白
抜きで描いた画素はサブサンプリングによって選択されない画素を示す。白抜きで描いた
画素は、画素値が無効化している。また、黒く塗りつぶして描いた画素は、サブサンプリ
ングによって選択される画素を示す。黒く塗りつぶして描いた画素は、画素値を有してい
る。図３（ａ）は水平方向にサブサンプリングを行う例を示す。図３（ｂ）は垂直方向に
サブサンプリングを行う例を示す。図３（ｃ）は斜め方向にサブサンプリングを行う例を
示す。

左目画像サブサンプリング位相制御信号107は、あらかじめ決められた位置の画素をサ
ブサンプリングによって選択するか否かを示す信号である。本実施形態では、あらかじめ
決められた位置をラスタスキャン順番で一番に位置する画素位置（画像中の左上の画素）
とした。図３は、左上の画素はすべてサブサンプリングによって選択する例を示している
。

入力された右目画像20は、右目画像サブサンプリング部102に送られる。右目画像サブ
サンプリング部102では、左目画像サブサンプリング部102と同様に制御部105が設定した
、サブサンプリング方向制御信号106、右目画像サブサンプリング位相制御信号108に従い
、右目画像20の半数の画素数を選択するサブサンプリングを行い、サブサンプリング右目
画像21を生成する。右目画像サブサンプリング位相制御信号108は、左目画像サブサンプ
リング位相制御信号107と同様の意味を持つため説明は省略する。なお、左目画像10と右
目画像11とが両方とも画像の左上に位置する画素をサブサンプリングによって選択する場
合、及び左目画像10と右目画像11とが両方とも画像の左上に位置する画素をサブサンプリ
ングによって選択しない場合、にはサブサンプリング位相が同位相であると記載する。ま
た、左目画像10または右目画像11のどちらか一方の画像の左上に位置する画素をサブサン
プリングによって選択し、もう一方の画像の左上に位置する画素をサブサンプリングによ
って選択しない場合は、サブサンプリング位相が逆位相であると記載する。

図４は、配列方法制御信号を説明する図である。ステレオ画像生成部103では、サブサ
ンプリング左目画像11とサブサンプリング右目画像21とを受け取り、制御部105から送ら
れる配列方法制御信号109に従ってステレオ画像30を作成する。配列方法制御信号109は、
２つの画像の選択された画素を並び替える方法が、画像単位であるか画素単位であるかを
示す信号である。

図４（ａ）は、水平方向に画素のサブサンプリングを行うことを示すサンプリング方向
制御信号106と、左上の画素を選択することを示す左目画像サブサンプリング位相制御信
号107とに従ってサブサンプリングを行った場合の、サブサンプリング左目画像11を模式
的に示した図である。図４（ｂ）は、水平方向に画素のサブサンプリングを行うサンプリ
ング方向制御信号106と左上の画素を選択しない右目画像サブサンプリング位相制御信号1
08とに従ってサブサンプリングを行った場合の、サブサンプリング右目画像21を模式的に
示した図である。図４（ｃ）は、サブサンプリング左目画像１１及びサブサンプリング右
目画像２１の画素値を有する画素を、画素単位で１枚の画像上に並び替えることにより得
られるステレオ画像30の例を示す図である。画素単位の並び替えとは、サブサンプリング
によって選択されなかった（画素値が無効化している）一方の画像の画素位置に、他方の
画像の対応する画素位置にある画素をコピーする処理に相当する。図４（ｄ１）〜（ｄ３
）は、画像単位で並び替えてステレオ画像を生成する方法を説明するための図である。画
像単位の並び替えとは、サブサンプリング左目画像１１およびサブサンプリング右目画像
２１で画素値が無効化している画素を削除し、水平方向または垂直方向の画素数を半分に
減らすことによりスクイーズ左目画像１２およびスクイーズ右目画像２２を生成し、スク
イーズ左目画像１２およびスクイーズ右目画像２２を水平方向または垂直方向に連結した
ステレオ画像を生成する処理に相当する。図４（ｄ１）は、図４（ａ）のサブサンプリン
グ左目画像１１の、画素値が無効化している画素を削除し、水平方向の画素数を半数とす
るスクイーズ処理したスクイーズ左目画像１２を示す図である。図４（ｄ２）は、図４（
ｂ）のサブサンプリング右目画像２１の、画素値が無効化している画素を削除し、水平方
向の画素数を半数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図
４（ｄ３）は、図４（ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２
が左側となるように画像単位で連結して生成したステレオ画像３０の例を示す図である。

図５は、配列方法の別の例を示す図である。図５（ａ）は、垂直方向に画素のサブサン
プリングを行うことを示すサンプリング方向制御信号106と、左上の画素を選択すること
を示す左目画像サブサンプリング位相制御信号107とに従ってサブサンプリングを行った
場合の、サブサンプリング左目画像11を模式的に示した図である。図５（ｂ）は、垂直方
向に画素のサブサンプリングを行うサンプリング方向制御信号106と左上の画素を選択す
る右目画像サブサンプリング位相制御信号108とに従ってサブサンプリングを行った場合
の、サブサンプリング右目画像21を模式的に示した図である。図５（ｃ）は、サブサンプ
リング左目画像１１及びサブサンプリング右目画像２１の画素値を有する画素を、画素単
位で１枚の画像上に並び替えることにより得られるステレオ画像30の例を示す図である。
図５（ｄ１）〜（ｄ３）は、画像単位で並び替えてステレオ画像を生成する方法を説明す
るための図である。図５（ｄ１）は、図５（ａ）のサブサンプリング左目画像１１の、画
素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処理した
スクイーズ左目画像１２を示す図である。図５（ｄ２）は、図５（ｂ）のサブサンプリン
グ右目画像２１の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とす
るスクイーズ処理したスクイーズ右眼画像２２を示す図である。図５（ｄ３）は、図５（
ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２が上側となるように画
像単位で連結して生成したステレオ画像３０の例を示す図である。
図５の例では、左目画像サブサンプリング位相制御信号107と右目画像サブサンプリン
グ位相制御信号108とが同じ信号であり、サブサンプリング位相が同位相である。同位相
であり、画素単位で並び替える場合には、左目画像10と右目画像20のうちどちらの画像の
画素の位置をシフトしてから、画素単位の並び替えをするかを示す情報を配列方法制御信
号109に含めても良いし、あらかじめ位置をシフトする画像(左目画像10または右目画像20
)を決めておいても良い。図５（ｃ）の例では、左目画像10の画素位置をシフトし、画素
単位で並び替える方法を例示している。また、同位相であり、画像単位で並び替える場合
には、左目画像10と右目画像20のどちらの画像を上に配置させて連結するよう並び替える
かを示す情報を配列方法制御信号109に含めても良いし、あらかじめ上に配置する画像(左
目画像10または右目画像20)を決めておいても良い。図５（ｄ）の例では、左目画像10が
ステレオ画像30内の上に位置するように画像単位で並び替える方法を例示している。

図６は、配列方法の別の例を示す図である。図６（ａ）は、斜め方向に画素のサブサン
プリングを行うサンプリング方向制御信号106と、左目画像10は左上の画素を選択するこ
とを示す左目画像サブサンプリング位相制御信号107と、に従ってサブサンプリングを行
った場合に左目画像10のサブサンプリングによって選択された画素と、選択されなかった
画素とを模式的に示した図である。図６（ｂ）は、斜め方向に画素のサブサンプリングを
行うサンプリング方向制御信号106と、右目画像20は左上の画素を選択する右目画像サブ
サンプリング位相制御信号108と、に従って生成されたサブサンプリング右目画像２１を
示す図である。

図６（ｃ１）〜（ｃ３）は、画像単位で並び替えてステレオ画像を生成する方法を説明
するための図である。図６（ｃ１）は、図６（ａ）のサブサンプリング左目画像１１の、
画素値が無効化している画素を削除し、水平方向の画素数を半数とするスクイーズ処理し
たスクイーズ左目画像１２を示す図である。図６（ｃ２）は、図６（ｂ）のサブサンプリ
ング右目画像２１の、画素値が無効化している画素を削除し、水平方向の画素数を半数と
するスクイーズ処理したスクイーズ右眼画像２２を示す図である。図６（ｃ３）は、図６
（ｃ１）及び（ｃ２）のスクイーズ画像を、左目スクイーズ画像１２が左側となるように
画像単位で連結して生成したステレオ画像３０の例を示す図である。

図５（ｄ１）〜（ｄ３）は、画像単位で並び替えてステレオ画像を生成する別の方法を
説明するための図である。図６（ｄ１）は、図６（ａ）のサブサンプリング左目画像１１
の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処
理したスクイーズ左目画像１２を示す図である。図６（ｄ２）は、図６（ｂ）のサブサン
プリング右目画像２１の、画素値が無効化している画素を削除し、垂直方向の画素数を半
数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図６（ｄ３）は、
図６（ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２が左側となるよ
うに画像単位で連結して生成したステレオ画像３０の例を示す図である。

サブサンプリング方向が斜め方向であり画像単位の並び替えを行ってステレオ画像３０
を生成する場合、それぞれのサブサンプリング画像をスクイーズする方向が横か縦かを示
す情報、および左目画像10（または、右目画像20）を左右または上下のどちらかに配置す
るかを示す情報を、配列方法制御信号109に含めても良い。また、あらかじめスクイーズ
する方向および左右のステレオ画像３０上での配置を決めておいても良い。

図７は、ステレオ画像情報多重化部121が生成する拡張補助情報(Supplemental Enhance
ment Information)のデータ構造の例を示す図である。

spatial_subsampling_direction_infoはサブサンプリング方向制御信号106であり、サ
ブサンプリングの方向を示す。’00’はサブサンプリング禁止を、’01’は水平サブサン
プリングを、’10’は垂直サブサンプリングを、’11’は斜めサブサンプリングをそれぞ
れ示す。

left_subsampling_position_flagは、左目画像サブサンプリング位相制御信号107であ
り、左目画像のサブサンプリング時の位相を表す。‘0’は左目画像10の左上の画素をサ
ブサンプリングの際に選択することを、’1’は左目画像10の左上の画素をサブサンプリ
ングの際に選択しないことをそれぞれ示す。

right_subsampling_position_flag は、右目画像サブサンプリング位相制御信号108で
あり、右目画像のサブサンプリング時の位相を表す。‘0’は右目画像20の左上の画素を
サブサンプリングの際に選択することを、’1’は右目画像20の左上の画素をサブサンプ
リングの際に選択しないことをそれぞれ示す。

squeezing_flagと、shift_view_flagと、squeezing_direction_flagと、left_image_to
pleft_flagと、は配列方法制御信号109に含まれる信号である。

squeezing_flag は、画素単位の並び替えを行うか、画像単位の並び替えを行うかを示
す。‘0’はサブサンプリング画像のスクイーズを行わない、つまり画素単位で並び替え
る方法を示す。’1’はサブサンプリング画像のスクイーズを行ってスクイーズ画像を連
結する、つまり画像単位で並び替える方法を示す。

shift_view_flag は、サブサンプリング左目画像１１の画素位置のシフトを行うか、サ
ブサンプリング右目画像２１の画素位置のシフトを行うかを示す。‘0’はサブサンプリ
ング左目画像１１の画素位置のシフトを行って画素単位の並び替えを行うことを示す。’
1’はサブサンプリング右目画像２１の画素位置のシフトを行って画素単位の並べ替えを
行うことを示す。

squeezing_direction_flagは、画像単位の並び替えを行う前に行う、スクイーズの方向
が水平方向であるか、垂直方向であるかを示す。0’は、斜め方向のサブサンプリングを
行い、画像単位で並び替える場合に、サブサンプリング画像を水平方向にスクイーズを行
うことを示す。’1’は、斜め方向のサブサンプリングを行い、画像単位で並び替える場
合に、サブサンプリング画像を垂直方向にスクイーズを行うことを示す。

left_image_topleft_flagは、ステレオ画像30の左上の画素が、左目画像10の画素であ
るか、右目画像20の画素であるかを示す。‘0’はステレオ画像30の左上の画素が右目画
像20の画素となるように並び替えることを示す。’1’ステレオ画像30の左上の画素が、
左目画像10となるように並び替えることを示す。

なお、SEIのデータ構造は図７に示した構造に限定されるものではなく、図５及び図６
の説明で述べたように、配列方法制御情報信号109の一部（shift_view_flag、squeezing_
direction_flag、left_image_topleft_flag等）をあらかじめ定めておき、その情報を多
重化しない方法も可能である。

図９は、図７中のshift_view_flag、squeezing_direction_flag 、left_image_topleft_f
lag全て’1’であると仮定した場合のデータ構造の例を示す図である。つまり、右目画像
20の画素位置のシフトを行って画素単位で並び換えを行うことと、サブサンプリング画像
を垂直方向にスクイーズを行うことと、ステレオ画像30の左上の画素が、左目画像10とな
るように並び替えることと、があらかじめ決められている場合のデータ構造である。

図８は、典型的な多重化されたステレオ画像情報付符号化データの例を示す図である。
SPS（Sequence Parameter Set）は、シーケンス全体の符号化にかかわる情報が含まれた
ヘッダである。PPS(Picture Parameter Set)は、ピクチャ全体の符号化モードを示すヘッ
ダ情報である。Stereo SEI は、多重化された、サンプリング方向制御信号106と、左目画
像サブサンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108と、
配列方法制御信号109とを示す。SEIは、そのほかの付加情報を示すものであり、例えば各
ピクチャのタイミング情報、ランダム・アクセスを行う際に利用する情報等の種々の情報
がある。Picture Dataは、符号化データ40を示す。

Stereo SEIは、１枚のステレオ画像30の符号化データ毎に付与する必要はない。処理対
象のステレオ画像30が、それ以前のステレオ画像３０と同じステレオ画像形式に従って生
成された場合には、ステレオ画像形式を示す付加情報を省略してもかまわない。それによ
って、データ量を削減することが可能となる。

なお、符号化本体部120が行う動画像符号化方式はH.264/MPEG-4 AVCに限定する必要は
なく、MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263, VC-1, AVSを含む各種の動画像符
号化方式に置き換えることができる。また、H.264/MPEG-4 AVCの拡張補助情報に関しても
、これに限定する必要はなく、ユーザデータや、適用する動画像符号化方式において将来
の拡張のために予約されていた領域や構造を利用することもできる。

本実施形態の、ステレオ画像符号化装置によれば、サブサンプリングパターンおよび配
列方法の情報を一般化し、網羅的に表現できるようにすることにより、現在、存在しない
、もしくは主流でないステレオ画像データ形式を将来使おうとした際にも、新たなデータ
構造やデータ構造を示す識別子を定義しなくても対応できるようになる。

［第２の実施形態］
図１０は、本実施形態のステレオ画像符号化装置を示す図である。図1に示した第１の
実施形態のステレオ画像符号化装置とは、あらかじめ決められた位置の画素をサブサンプ
リングで選択するか否かを示すサブサンプリング位相を、時系列的に連続するフレームま
たはフィールド（以下、画像と記載）毎に変化させることを示すサブサンプリング位相時
間変化情報910をさらに用いる点が異なる。

ステレオ画像形式を示す情報を全部の画像に付加しない場合、直前に表示する画像に付
加されていたステレオ画像形式を示す情報をもとに、現在表示を行う画像のステレオ画像
形式を示す情報を設定する。ステレオ画像情報にサブサンプリング位相を反転させること
を示すフラグが付加されていた場合には、左目１０及び右目画像２０内で対応する位置と
なる画素を、選択するか否かを時系列的に連続するステレオ画像３０ごとに交互に行う。

図１１は、ステレオ画像情報多重化部121が生成する拡張補助情報(Supplemental Enhan
cement Information)のデータ構造の例を示す図である。図７に示した第１の実施形態と
の違いは、フレーム毎にサブサンプリング位相を変化させるか否かを示すサブサンプリン
グ位相時間変化情報910のフラグtoggle_subsampling_position_flagが追加されている点
である。toggle_subsampling_position_flagは、‘0’はサブサンプリング位相をフレー
ム毎に変化させないことを示す。’1’はサブサンプリング位相をフレーム毎に変化させ
ることを示す。

この場合、Stereo SEIが付与されたフレームは、left_subsampling_position_flagおよ
びright_subsampling_position_flagに従った位相でサブサンプリングを行う。toggle_su
bsampling_position_flagが‘0’の場合、その次のフレームではleft_subsampling_posit
ion_flagおよびright_subsampling_position_flagとは逆の位相でサブサンプリングを行
う。更に次のフレームでは、left_subsampling_position_flagおよびright_subsampling_
position_flagに従った位相でサブサンプリングする。

これにより、静止画または静止領域において、前のフレームの相補的な位相の画素と現
フレームの画素をマージすることにより、1/2サブサンプリングによる空間周波数特性の
劣化を補うことが可能になる。

［第３の実施形態］
図１２は、本実施形態のステレオ画像復号装置を示す図である。本実施形態のステレオ
画像復号装置は、第１の実施形態のステレオ画像符号化装置によって符号化されたステレ
オ画像情報付き符号化データ50を復号し、左目画像10及び右目画像20を得る装置である。

ステレオ画像情報付符号化データ50が、動画像復号部1103の分離部1101に入力され、ス
テレオ画像30を符号化した符号化データ40と、ステレオ画像配列方法1105と、サブサンプ
リングパターン1106とに分離される。サブサンプリングパターン1106は、第１の実施形態
のサブサンプリング方向制御信号106と、左目画像サブサンプリング位相制御信号107と、
右目画像サブサンプリング位相制御信号108とに対応する。ステレオ画像配列方法1105は
、配列方法制御信号109と対応する。

動画像復号部1103の復号本体部1102では、符号化データ40の復号を行い、ステレオ画像
30.を出力する。復号本体部1102は、MPEG-1, MPEG-2, MPEG-4 Visual, MPEG-4 AVC, H.26
1, H.263, VC-1, AVSを含む各種の動画像符号化方式のいずれでも良い。

ステレオ画像分離再構成部1104は、分離部1101から入力されるステレオ画像配列方法11
05およびサブサンプリングパターン1106に従って、復号本体部1102から送られたステレオ
画像30を、サブサンプリング左目画像11とサブサンプリング右目画像21とに分離する。画
像がスクイーズされた方向の情報や、画素位置がシフトされた情報が付加されている場合
には、その逆の処理を行う。

図１３は、ステレオ画像分離再構成部１１０４が、ステレオ画像30をサブサンプリング
左目画像11とサブサンプリング右目画像21とに分離する例を示す図である。

図１３(a)は、ステレオ画像配列方法１１０５が、画素単位で並び替えて生成されたこ
とを示し、サブサンプリングパターン１１０６が、水平方向にサブサンプリングされたこ
とと、左目画像１０と右目画像２０とでサンプリング位相が同位相であることと、を示し
ている場合の例を示す図である。画素単位で並び替えて生成されており、水平方向にサブ
サンプリングされたことと、
図１３(ｂ)は、ステレオ画像配列方法１１０５が、画像単位で並び替えて生成されたこ
とを示し、サブサンプリングパターン１１０６が、水平方向にサブサンプリングされたこ
とと、サンプリング位相が同位相であることと、を示している場合の例を示す図である。

左目画像アップサンプリング部1107は、ステレオ画像分離再構成部1104から入力される
サブサンプリング左目画像11の、画素値を有しない画素６２に画素値を与えるアップサン
プリング処理を行い、左目画像10を出力する。アップサンプリングには、画素の繰り返し
、線形または非線形フィルタ処理による空間面・時間面・時空間面での画素補間、などを
用いることができる。

右目画像アップサンプリング部1108は、左目画像アップサンプリング部1107と同様に、
ステレオ画像分離再構成部1104から入力されるサブサンプリング右目画像21と、分離部11
01から入力されるサブサンプリングパターン1106からサブサンプリング右目画像21の2倍
アップサンプリングを行い、右目画像20を出力する。アップサンプリングには、画素の繰
り返し、線形または非線形フィルタ処理による空間面・時間面・時空間面での画素補間等
、種々の補間方法を用いることができる。

なお、右目画像アップサンプリング部1108および左目アップサンプリング部1007を別の
装置に組み込むシステムも考えられる。

［第４の実施形態］
図１４は、本実施形態のステレオ画像復号装置を示す図である。図１２に示した第３の
実施形態のステレオ画像復号画像装置との違いは、分離部1101および復号本体部1102に、
フレームまたはフィールドの開始を通知する同期信号1330が入力される点である。

図１５は分離部1101の構成を示す図である。ステレオ画像情報付符号化データが分離部
1101の構成要素のひとつであるステレオ情報分離部141に入力され、配列方法情報1432、
パターン情報1433、これらのステレオ画像情報を1フレームまたは1フィールド毎に反転さ
せるか否かを示す反転制御信号1435、および符号化データが出力される。ステレオ画像情
報保持・反転部1434では、配列方法1432、パターン情報1433、および反転制御信号1435が
入力されると、対応するピクチャ情報と共に保持を行う。対応するピクチャが復号本体部
1102から出力される際、ステレオ画像配列方法1105およびサブサンプリングパターン1106
を出力する。復号本体部1102から、配列方法およびパターン情報が対応付けられていない
ピクチャを出力する場合、反転制御信号1435に従って、直前に用いた配列方法およびパタ
ーン情報を反転させずに、もしくは反転させ、ステレオ画像配列方法1105およびサブサン
プリングパターン1106として出力する。

サブサンプリング位相の反転により、静止画または静止領域では、2フレーム(またはフ
ィールド)の画像を組み合わせることで、サブサンプリング前と同等の空間解像度の画像
の再生が可能となる。

１０…左目画像、１１…サブサンプリング左目画像、１２…スクイーズ左目画像、２０…
右目画像、２１…サブサンプリング右目画像、２２…スクイーズ右目画像、３０…ステレ
オ画像、４０…符号化データ、５０…ステレオ画像情報付符号化データ
６１…サブサンプリングによって選択されなかった画素、６２…サブサンプリングによっ
て選択された画素
１０１…左目画像サブサンプリング部、１０２…右目画像サブサンプリング部、１０３…
ステレオ画像生成部、１０４…動画像符号化部１０５…制御部、１０６…サブサンプリン
グ方向制御信号、１０７…左目画像サブサンプリング位相制御信号、１０８…右目画像サ
ブサンプリング位相制御信号、１０９…配列方法制御信号
１２０…符号化本体部、１２１…ステレオ画像情報多重化部
９１０…サブサンプリング位相時間変化情報
１１０１…分離部、１１０２…復号本体部、１１０３…動画像復号部、１１０４…ステレ
オ画像分離再構成部、１１０５…ステレオ画像配列方法、１１０６…サブサンプリングパ
ターン、１１０７…左目画像アップサンプリング部、１１０８…右目画像アップサンプリ
ング部
１３３０…同期信号
１４３１…ステレオ情報分離部、１４３２…配列方法、１４３３…パターン情報、１４３
４…ステレオ情報保持・反転部、１４３５…反転制御信号

Claims

第１視差画像の半数の画素を選択し、第１サブサンプリング画像を生成する第１のサブ
サンプリング部と、
第２視差画像の半数の画素を選択し、第２サブサンプリング画像を生成する第２のサブ
サンプリング部と、
前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、１枚の
対象画像上に並べる対象画像生成部と、
前記第１のサブサンプリング部及び前記第２のサブサンプリング部が、サブサンプリン
グを行う画面上での方向が水平、垂直、または斜めのいずれであるか、及び、前記第１サ
ブサンプリング画像と、前記第２サブサンプリング画像とを、前記１枚の対象画像上に画
素単位で並べるか、もしくは画像単位で並べるか、を示す情報と、前記第１視差画像及び
前記第２視差画像それぞれの、特定の位置の画素を選択するための情報と、前記第１視差
画像または前記第２視差画像のどちらの画素の位置をシフトさせて並び替えるかを示す情
報と、を含む付加情報を設定する制御部と、
前記対象画像を符号化した符号化データと、前記付加情報とを、多重化した付加情報付
符号化データを生成する符号化部と、
を備えたことを、特徴とする画像符号化装置。
前記制御部は、前記第１視差画像と前記第２視差画像とで、一致する特定の位置の画素
を選択するための情報を設定し、画素単位で並び替えると設定した場合には、前記第１視
差画像または前記第２視差画像のどちらの画素の位置をシフトさせて並び替えるかを示す
情報を設定する請求項1記載の画像符号化装置。
第１視差画像の半数の画素を選択し、第１サブサンプリング画像を生成するステップと
、
第２視差画像の半数の画素を選択し、第２サブサンプリング画像を生成するステップと
、
前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、１枚の
対象画像上に並べるステップと、
サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであるか、
及び、前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、画素単位
で並べるか、もしくは画像単位で並べるか、を示す情報と、前記第１視差画像及び前記第
２視差画像それぞれの、特定の位置の画素を選択するための情報と、前記第１視差画像ま
たは前記第２視差画像のどちらの画素の位置をシフトさせて並び替えるかを示す情報と、
を含む付加情報を設定するステップと、
前記対象画像を符号化した符号化データと、前記付加情報とを、多重化した付加情報付
符号化データを生成するステップと、
を備えたことを、特徴とする画像符号化方法。