[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5402715B2 - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 Download PDF

Info

Publication number
JP5402715B2
JP5402715B2 JP2010036720A JP2010036720A JP5402715B2 JP 5402715 B2 JP5402715 B2 JP 5402715B2 JP 2010036720 A JP2010036720 A JP 2010036720A JP 2010036720 A JP2010036720 A JP 2010036720A JP 5402715 B2 JP5402715 B2 JP 5402715B2
Authority
JP
Japan
Prior art keywords
information
data
disparity
image data
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010036720A
Other languages
English (en)
Other versions
JP2011030186A (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010036720A priority Critical patent/JP5402715B2/ja
Priority to TW99119279A priority patent/TW201130286A/zh
Priority to EP10794030A priority patent/EP2451173A4/en
Priority to KR20117003581A priority patent/KR20120111909A/ko
Priority to PCT/JP2010/060588 priority patent/WO2011001860A1/ja
Priority to US12/737,779 priority patent/US8848036B2/en
Priority to CN201080002869.XA priority patent/CN102177724B/zh
Priority to BRPI1004289A priority patent/BRPI1004289A2/pt
Publication of JP2011030186A publication Critical patent/JP2011030186A/ja
Application granted granted Critical
Publication of JP5402715B2 publication Critical patent/JP5402715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
図９８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。ＤＰｂは、オブジェクトＢに関する水平方向の視差ベクトルを表している。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
特開２００５−６１１４号公報
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
例えば、画像にクローズド・キャプション情報あるいはサブタイトル情報である字幕を重畳表示（オーバーレイ表示）する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
この発明の目的は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
この発明の概念は、
所定組の視差情報セットを作成する視差情報作成部と、
左眼画像データおよび右眼画像データを含む立体画像データと共に、上記視差情報作成部で作成された上記所定組の視差情報セットを送信するデータ送信部とを備え、
上記各組の視差情報セットには、それぞれ、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報が含まれ、
上記各組の視差情報セットには、それぞれ、該視差情報セットに含まれる視差情報を使用すべき上記重畳情報の種類を示す識別情報が付加されている
立体画像データ送信装置にある。
この発明において、視差情報作成部により、所定組の視差情報セットが作成される。各組の視差情報セットには、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報が含まれている。データ送信部により、左眼画像データおよび右眼画像データを含む立体画像データと共に、視差情報作成部で作成された所定組の視差情報セットが送信される。この場合、例えば、視差情報セット作成部で作成された各組の視差情報セットは、立体画像データのデータストリームにおけるヘッダ部内のユーザデータ領域に含めて送信される。
各組の視差情報セットには、それぞれ、この視差情報セットに含まれる視差情報を使用すべき重畳情報の種類を示す識別情報が付加されている。この識別情報により、汎用目的の視差情報セットであるか、特定のサービス用途向けの視差情報セットであるかが分かる。特性のサービス用途向けとしては、例えば、クローズド・キャプション向け、サブタイトル向けなどがある。
このように、この発明においては、立体画像を表示するための左眼画像データおよび右眼画像データを含む立体画像データと共に、それぞれ視差情報を使用すべき重畳情報の種別を示す識別情報が付加されている、所定組の視差情報セットが送信される。そのため、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に、この重畳情報の種類に合った視差情報セットを用いて、適切な視差を付与できる。したがって、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
この発明において、例えば、視差情報セットには、所定数の視差情報が属する画面領域を示す情報が付加される、ようにしてもよい。画面領域を示す情報は、例えば、画面の分割数を示す情報とされる。分割数は、例えば、０分割、４分割、９分割などである。また、画面領域を示す情報は、例えば、領域の大きさ（ブロックサイズ）を示す情報とされる。例えば、１６×１６、３２×３２、６４×６４などである。このように所定数の視差情報が属する画面領域を示す情報が付加されることで、視差情報セットに必要な空間密度をもって視差情報を含ませることができ、受信側では、視差情報セットに含まれる視差情報の空間密度と、各視差情報が属する画面領域を認識でき、必要な画面領域の視差情報を容易に抽出して使用できる。
また、この発明において、例えば、視差情報セットには、識別情報が示す種類の重畳情報を表示すべき領域と、この領域に表示される重畳情報に視差を付与するために使用する視差情報との対応関係を示すテーブル情報が付加される、ようにしてもよい。このようなテーブル情報が付加されることで、受信側では、所定の領域に表示すべき重畳情報に、その領域に応じた視差情報をもって適切な視差を付与できる。
また、この発明において、例えば、視差情報出力部で出力される各組の視差情報セットは、画像データの所定単位毎の視差情報セットであり、データ送信部は、画像データを一定期間毎に区切り、各一定期間の画像データに対応した所定単位毎の視差情報セットを、この各一定期間の画像データの送信に先立って送信し、各一定期間の画像データに対応した所定単位毎の視差情報セットには、この視差情報セットを用いるタイミングを示す時間情報が付加される、ようにしてもよい。
この場合、受信側においては、重畳情報の重畳期間において、画像データの所定単位毎に、重畳情報に、対応する視差情報セットによる視差を付与できる。つまり、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。また、各一定期間の画像データに対応した所定単位毎の視差情報セットには、この視差情報セットを用いるタイミングを示す時間情報が付加されているので、受信側においては、所定単位毎の視差情報セットを、正しいタイミングで使用できる。
また、この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データと、それぞれ上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報を含むと共に、上記視差情報を使用する上記重畳情報の種類を示す識別情報が付加されている、所定組の視差情報セットを受信するデータ受信部と、
上記データ受信部で受信された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に、上記データ受信部で受信された上記所定組の視差情報セットの中から、上記識別情報に基づき、該重畳情報の種類に対応した視差情報セットに含まれる視差情報を用いて視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
を備える立体画像データ受信装置にある。
この発明において、データ受信部により、左眼画像データおよび右眼画像データを含む立体画像データと共に、所定組の視差情報セットが受信される。各組の視差情報セットには、左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報が含まれている。
また、各組の視差情報セットには、それぞれ、この視差情報セットに含まれる視差情報を使用すべき重畳情報の種別を示す識別情報が付加されている。この識別情報により、汎用目的の視差情報セットであるか、特定のサービス用途向けの視差情報セットであるかが分かる。特性のサービス用途向けとしては、例えば、クローズド・キャプション向け、サブタイトル向けなどがある。
画像データ処理部により、左眼画像データおよび右眼画像データと、視差情報セットとが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。この場合、所定組の視差情報セットの中から、識別情報に基づき、重畳情報の種類に対応した視差情報セットに含まれる視差情報が用いられて視差が付与される。
そのため、左眼画像および右眼画像に重畳される重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に、この重畳情報に合った視差情報セットを用いて、適切な視差を付与できる。したがって、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
また、この発明において、例えば、所定数の視差情報が属する画面領域を示す情報が付加されている。画面領域を示す情報は、例えば、画面の分割数を示す情報とされる。分割数は、例えば、０分割、４分割、９分割などである。また、画面領域を示す情報は、例えば、領域の大きさ（ブロックサイズ）を示す情報とされる。例えば、１６×１６、３２×３２、６４×６４などである。このように所定数の視差情報が属する画面領域を示す情報が付加されていることで、視差情報セットに含まれる視差情報の空間密度と、各視差情報が属する画面領域を認識でき、必要な画面領域の視差情報を容易に抽出して使用できる。
また、この発明において、例えば、視差情報セットには、識別情報が示す種類の重畳情報を表示すべき領域と、この領域に表示される重畳情報に視差を付与するために使用する視差情報との対応関係を示すテーブル情報が付加されている。このようなテーブル情報が付加されていることで、所定の領域に表示すべき重畳情報に、その領域に応じた視差情報をもって適切な視差を付与できる。
また、この発明において、例えば、データ受信部で受信される視差情報セットは、画像データの所定単位毎の視差情報セットであり、データ受信部は、画像データを一定期間毎に区切り、各一定期間の画像データに対応した所定単位毎の視差情報セットを、この各一定期間の画像データの送信に先立って受信し、各一定期間の画像データに対応した所定単位毎の視差情報セットには、この視差情報セットを用いるタイミングを示す時間情報が付加されており、データ処理部は、重畳情報の重畳期間において、画像データの所定単位毎に、重畳情報に、対応する視差情報セットに含まれる視差情報による視差を付与する、ようにされる。
この場合、重畳情報の重畳期間において、画像データの所定単位毎に、重畳情報に、対応する視差情報セットによる視差を付与できる。つまり、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。また、各一定期間の画像データに対応した所定単位毎の視差情報セットには、この視差情報セットを用いるタイミングを示す時間情報が付加されているので、所定単位毎の視差情報セットを、正しいタイミングで使用できる。
この発明によれば、左眼画像および右眼画像に重畳される重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に、この重畳情報に合った視差情報セットを用いて、適切な視差を付与でき、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。 視差ベクトルの伝送内容を示す図である。 視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 送信データ生成部において多重化される各データのストリーム例を示す図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部において多重化される各ストリームの一例を示している。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部において多重化される各ストリームの一例を示している。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。 ブロック（Block）毎の視差ベクトルの一例を示す図である。 送信データ生成部の視差情報セット作成部で行われるダウンサイジング処理の一例を示す図である。 画像上におけるサブタイトルおよびアプリケーショングラフィクスの表示例およびその遠近感を示す図である。 ディスパリティ・シーケンスＩＤ（Disparity_Sequence_id）を説明するための図である。 ケース（１）（汎用目的の視差情報セットのみを送る（特定サービスとの関連を持たない場合））で作成される視差情報セットの一例を示す図である。 ケース（１）において、画像データの各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）がまとめて送信されること等を示す図である。 ケース（２）（汎用目的の視差情報セットのみを送る（特定サービスとの関連を持つ場合））で作成される視差情報セットの一例を示す図である。 ケース（２）において、画像データの各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）がまとめて送信されること等を示す図である。 コンポーネント・エレメントＩＤと視差ベクトルとの関連付け情報（Component_Linked_Info）の一例を示す図である。 ケース（２）において、画像データの各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）がまとめて送信されること等を示す図である。 コンポーネント・エレメントＩＤと視差ベクトルとの関連付け情報（Component_Linked_Info）の一例を示す図である。 ケース（３）（汎用目的の視差情報セットと特定サービス用途向けの視差情報セットの双方を送る）で作成される視差情報セットの一例を示す図である。 ケース（３）において、画像データの各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）がまとめて送信されること等を示す図である。 コンポーネント・エレメントＩＤと視差ベクトルとの関連付け情報（Component_Linked_Info）の一例を示す図である。 ケース（４）（特定サービス用途向けの視差情報セットのみを送る）で作成される視差情報セットの一例を示す図である。 ケース（４）において、画像データの各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）がまとめて送信されること等を示す図である。 ＤＶＢサブタイトルの場合において、エレメンタリＰＩＤ（Elementary PID）を用いた、サブタイトル・セグメント（SubtitleSegment）と、視差ベクトルデータ（Disparity Data）との関連付けを説明するための図である。 ビデオエレメンタリーストリームの構造例を概略的に示す図である。 ＭＰＥＧ２、Ｈ．２６４ ＡＶＣ、ＶＣ−１の各符号化方式におけるユーザデータの構成例を示す図である。 ディスパリティ・シーケンスＩＤ（Disparity_Sequence_id）とサービスとを関連付けするディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）の構成例を示す図である。 ディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）おける各情報の内容を示す図である。 視差情報セットを画像データストリームのユーザデータ領域に挿入して受信側に送る場合、および視差情報セットを含む視差ベクトルのエレメンタリーストリーム（ＰＥＳ）を他のストリームと多重化して受信側に送信する場合における、ＰＩＤの一例を示す図である。 「Disparity_Sequence_id＝１」が付加された視差情報セットがサブタイトルと関連付け（リンク）される例、および「Disparity_Sequence_id＝2」が付加された視差情報セットがクローズド・キャプションと関連付け（リンク）される例を示す図である。 視差情報セットがサブタイトルと関連付けされる場合を示す図である。 視差情報セットがサブタイトルと関連付けされる場合を示す図である。 視差情報セットがクローズド・キャプションと関連付けされる場合（ただし、クローズド・キャプションデータが画像データストリームのユーザデータ領域に挿入して受信側に送られる）を示す図である。 視差情報セットがクローズド・キャプションと関連付けされる場合（ただし、クローズド・キャプションデータが画像データストリームのユーザデータ領域に挿入して受信側に送られる）を示す図である。 視差情報（Disparity_Information）を含むユーザデータの詳細構成の一例を示す図である。 視差情報（Disparity_Information）の構成を示す図である。 視差情報データ（Disparity_Information_Data）に含まれるＤＳＬ（Disparity_Information_Link_Information）の構成を示す図である。 視差情報データ（Disparity_Information_Data）に含まれるＤＨＩ（Disparity_Header_Information）の構成を示す図である。 視差情報データ（Disparity_Information_Data）に含まれるＤＨＩ（Disparity_Header_Information）の構成を示す図である。 視差情報データ（Disparity_Information_Data）に含まれるＤＤＳ（DisparityData Set）の構成を示す図である。 ＤＳＬ，ＤＨＩ，ＤＤＳおける各情報の内容を示す図である。 ＤＳＬ，ＤＨＩ，ＤＤＳおける各情報の内容を示す図である。 ＤＳＬ，ＤＨＩ，ＤＤＳおける各情報の内容を示す図である。 ＤＳＬ，ＤＨＩ，ＤＤＳおける各情報の内容を示す図である。 ＤＨＩに含まれる「Paｒtition」の情報を説明するための図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。 左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。 時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。 視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。 視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。 画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。 放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。 放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。 放送局から送られてくる画像データ、クローズド・キャプションデータ、グラフィックスデータおよび視差情報セットとの対応関係を示す図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。 放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。 放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。 放送局から送られてくる画像データ、クローズド・キャプションデータ、グラフィックスデータおよび視差情報セットとの対応関係を示す図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスの他の構成例を示すブロック図である。 左眼画像および右眼画像へのサブタイトル情報およびグラフィクス情報の重畳例を示す図である。 立体画像表示システムを構成するテレビ受信機の構成例を示す図である。 ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。 ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。 ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。 ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。 Ｅ−ＥＤＩＤのデータ構造例を示す図である。 Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示す図である。 立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング方式の３Ｄビデオフォーマットを示す図である。 立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ方式の３Ｄビデオフォーマットを示す図である。 立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（Ｆｕｌｌ）方式の３Ｄビデオフォーマットを示す図である。 コンポーネント・エレメントＩＤに、視差ベクトルを関連付けする他の方法を説明するための図である。 立体画像表示システムの他の構成例を示す図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。
「送信データ生成部の構成例」
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。
また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。なお、この実施の形態において、テキスト発生部１２０は、クローズド・キャプションデータの発生部を兼ねているものとする。このクローズド・キャプションデータは、クローズド・キャプションの字幕表示をするためのテキストデータである。
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば １９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。
図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。 なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ（Intra picture）、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
サブタイトル・グラフィクス発生部１１８は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。
このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
サブタイトル・グラフィクスエンコーダ１１９は、サブタイトル・グラフィクス発生部１１８で発生されたサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を入力する。そして、このサブタイトル・グラフィクスエンコーダ１１９は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを入力する。そして、テキストエンコーダ１２１は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
マルチプレクサ１２２は、エンコーダ１１３，１１５，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、サブタイトル・グラフィクス発生部１１８では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）が発生される。このデータ（ビットマップデータ）は、サブタイトル・グラフィクスエンコーダ１１９に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
「送信データ生成部の他の構成例」
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部１１０Ａにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
図１４は、図１３に示す送信データ生成部１１０Ａにおいて多重化される画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、画像データストリームに埋め込まれて伝送される。
「送信データ生成部の他の構成例」
図１５は、送信データ生成部１１０Ｂの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ｂは、視差ベクトルの伝送内容を、サブタイトルあるいはグラフィクスのデータストリームに埋め込んで伝送する構成となっている。この図１５において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部１１０Ｂにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクスエンコーダ１１９内のストリームフォーマッタ１１９ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１９ａでは、サブタイトルあるいはグラフィクスのデータストリームに、視差ベクトルの伝送内容（図８参照）が埋め込まれる。
詳細説明は省略するが、この図１５に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
図１６は、図１５に示す送信データ生成部１１０Ｂにおいて多重化される、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、サブタイトルあるいはグラフィクスのデータストリームに埋め込まれて伝送される。
「送信データ生成部の他の構成例」
また、上述の図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信することも考えられる。
例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。
図１７（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
各画像ＩＬ，ＩＲに対して、図１７（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ｂ）に示すように、別領域のデータとして生成される。
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図２０に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
図２１は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のデータに視差情報を反映させて送信する構成となっている。この図２１において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部１１０Ｃでは、サブタイトル・グラフィクス発生部１１８とサブタイトル・グラフィクスエンコーダ１１９との間に、サブタイトル・グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｃでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
サブタイトル・グラフィクス処理部１２４では、左眼画像ＩＬ、右眼画像ＩＲに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報ＬＧＩ，ＲＧＩのデータが生成される。この場合、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１７（ａ）、図１９（ａ）参照）。
このようにサブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ１１９に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、サブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
詳細説明は省略するが、この図２１に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
「送信データ生成部の他の構成例」
図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂにおいて、視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置における視差ベクトル（視差情報）が検出される。送信データ生成部１１０，１１０Ａ，１１０Ｂでは、視差ベクトル検出部１１４で検出された画像内の所定位置における視差情報をそのまま受信側に送信する構成となっている。
しかし、例えば、データ記録媒体に画像データと関連付けて記録されているピクセル毎（画素毎）の視差ベクトルにダウンサイジング処理を施し、画面を所定の大きさに区切って得られる一つまたは複数の領域に属する視差情報を含む視差情報セットを作成することが考えられる。この場合、各領域の大きさは、例えば、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択される。
また、視差情報セットとしては、汎用目的の視差情報セットと、特定のサービス用途向けの視差情報セットが考えられる。特定サービス用途向けとしては、例えば、クローズド・キャプション向け、サブタイトル向けなどがある。そして、受信側に送信する視差情報セットとして、以下のようなケースが考えられる。
（１）汎用目的の視差情報セットのみを送る（特定サービスとの関連を持たない場合）
（２）汎用目的の視差情報セットのみを送る（特定サービスとの関連を持つ場合）
（３）汎用目的の視差情報セットと特定サービス用途向けの視差情報セットの双方を送る
（４）特定サービス用途向けの視差情報セットのみを送る
図２２は、送信データ生成部１１０Ｄの構成例を示している。この送信データ生成部１１０Ｄは、上述のケース（１）〜（４）のいずれかに対応した所定組の視差情報セットを作成し、この所定組の視差情報セットを受信側に送信する構成となっている。この図２２において、図２と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
この送信データ生成部１１０Ｄは、データ取り出し部（アーカイブ部）１３０と、視差情報セット作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７を有している。また、この送信データ生成部１１０Ｄは、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。
データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差ベクトルが対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差ベクトル等を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。
ここで、データ記録媒体１３０ａに記録されている立体画像データは、図２に示す送信データ生成部１１０のビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１３０ａに記録されている視差ベクトルは、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。
視差情報セット作成部１３１は、ビューワ機能を持っている。この視差情報セット作成部１３１は、データ取り出し部１３０から出力される視差ベクトル、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。
図２３は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
図２４は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
図２５は、視差情報セット作成部１３１で行われるダウンサイジング処理の一例を示している。まず、視差情報セット作成部１３４は、図２５（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部１３１は、図２５（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図２５（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部１３１は、図２５（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図２５（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部１３１は、図２５（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図２５（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のリージョンが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全リージョンの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この場合、ピクチャ全体の視差ベクトルの他に、その視差ベクトルが得られた元々のピクセル（画素）の位置（「＋」で図示）の情報を求めて、視差ベクトルの付加情報とすることもできる。これは、上述したブロック、グループ、パーティションの視差ベクトルを求める際も同様である。
このようにして、視差情報セット作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図２５に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めているが、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
視差情報セット作成部１３１は、上述したダウンサイジング処理により、所定の大きさの領域毎の視差ベクトルを含む視差情報セットを作成する。この視差情報セットには、各視差情報が属する画面領域を示す情報が付加される。例えば画面領域を示す情報として、例えば、０分割、４分割、９分割、１６分割などの画面の分割数を示す情報が付加される。また、画面領域を示す情報として、例えば、１６×１６、３２×３２、６４×６４などの領域の大きさ（ブロックサイズ）を示す情報が付加される。
視差情報セットにおいて、各視差情報がスキャン順に配置されていれば、画面の分割数を示す情報あるいは領域の大きさを示す情報により、各視差情報の属する画面領域を把握できる。この意味で、画面の分割数を示す情報および領域の大きさを示す情報は、各視差情報が属する画面領域を示す情報となる。
また、視差情報セット作成部１３１は、必要に応じて、特定のサービス用途向けの視差情報セットを作成する。例えば、クローズド・キャプション向け、サブタイトル向け、特定のアプリケーション（ウィジェット）のグラフィクス向け、などの視差情報セットが、必要に応じて、作成される。この場合、上述のダウンサイジング処理により、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報など）の１つまたは複数の表示領域のそれぞれに対応した、一つまたは複数の画面領域に属する視差ベクトルが作成される。
図２６（ａ）は、画像上におけるサブタイトルおよびアプリケーショングラフィクスの表示例を示している。図２６（ｂ）は、画像、サブタイトル、アプリケーショングラフィクスの遠近感を示している。例えば、図示のように、サブタイトルは、画面の下半分の中央領域に表示されるが、画像の最も近い位置よりさらに手前に認識されるようにしたい。この場合、視差情報セット作成部１３１では、このサブタイトルの表示領域と、対応する画像領域の視差ベクトルとから、サブタイトルに視差を付与するための視差ベクトルが作成される。また、例えば、図示のように、アプリケーショングラフィクスは、画面の右下端領域に表示されるが、サブタイトルよりさらに手前に認識されるようにしたい。この場合、視差情報セット作成部１３１では、このアプリケーショングラフィクスの表示領域と、対応する画像領域の視差ベクトルとから、アプリケーショングラフィクスに視差を付与するための視差ベクトルが作成される。
ここで、視差情報セット作成部１３１は、上述したようにビューワ機能を持っている。この視差情報セット作成部１３１には、実際に、図２６（ａ）に示すような立体画像が表示される。そのため、この視差情報セット作成部１３１には、データ取り出し部１３０から出力される立体画像データ（左眼画像データ、右眼画像データ）が供給される。また、この視差情報セット作成部１３１には、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータ、あるいはグラフィクスデータ、また、テキスト発生部１２０で発生されるテキストデータ（クローズド・キャプションデータを含む）が供給される。
視差情報セット作成部１３１で作成され、立体画像データと共に送信する各組の視差情報セットには、それぞれ、ディスパリティ・シーケンスＩＤ（Disparity_Sequence_id）が付加される。このディスパリティ・シーケンスＩＤは、視差情報セットに含まれる視差情報を使用すべき重畳情報の種類を示す識別情報である。このディスパリティ・シーケンスＩＤにより、視差情報セットが、汎用目的の視差情報セットであるか、特定サービス用途向けの視差情報セットであるかが識別される。また、この識別情報により、特定サービス用途向けの視差情報セットが、いかなるサービス用途向けの視差情報セットであるか識別される。
図２７に示すように、Disparity_Sequence_id＝０は、汎用目的の視差情報セットを示す。この視差情報セットは、予め記録されている視差情報に基づいて、作成される。この視差情報セットが特定サービスとの関連付けを持たない場合、例えば、ディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）等で特定サービスと関連付けする必要はない。また、Disparity_Sequence_id＝１〜２５５は、例えば、ディスパリティ・リンケージ・デスクリプタ等で関連付けされた特定サービス用途向けの視差情報セットを示す。
[視差情報セット]
視差情報セット作成部１３１で作成される視差情報セットについて、上述したケース（１）〜（４）のそれぞれについてさらに説明する。
「ケース（１）」
ケース（１）は、上述したように、汎用目的の視差情報セットのみを送るケースである。このケース（１）では、汎用目的の視差情報セットのみが作成される。なお、このケース（１）では、視差情報セットに含まれる視差情報は、特定サービスと関連を持たない。
図２８は、このケース（１）で作成される視差情報セットの一例を示している。この例において、視差情報セットには、画面が９分割されて得られた各画面領域に属する視差ベクトル（水平方向の視差ベクトル）Ｐ０〜Ｐ８が含まれる。各視差ベクトルＰ０〜Ｐ８は、例えば、ピクセル（画素）毎の視差ベクトルを用いて、上述したダウンサイジング処理により求められる。図２８において、矢印は、視差ベクトルを示しており、矢印の長さが視差ベクトルの大きさに対応している。
この視差情報セットは、汎用目的の視差情報セットである。そのため、この視差情報セットに付加される識別情報「Diparity_Sequence_id」は、図２９に示すように、汎用目的の視差情報セットであることを示す「０」とされる。
ここで、この汎用目的の視差情報セットは、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎の視差情報セットである。後述するように、画像データは一定期間毎に区切られ、各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）が、この各一定期間の画像データの送信に先立って送信される。そのため、所定単位毎の視差情報セットには、図２９に示すように、その視差情報セットを用いるタイミングを示す時間情報としてオフセット（Offset）が付加される。各視差情報セットに付加されるオフセットは、タイムスタンプ（TimeStamp）で示される最初の視差情報セットの使用時間からの時間を示す。
「ケース（２）」
ケース（２）は、上述したように、汎用目的の視差情報セットのみを送るケースである。このケース（２）では、汎用目的の視差情報セットのみが作成される。なお、このケース（２）では、視差情報セットに含まれる視差情報は特定サービスと関連を持つ。
図３０は、このケース（２）で作成される視差情報セットの一例を示している。この例において、視差情報セットには、画面が９分割されて得られた各画面領域に属する視差ベクトル（水平方向の視差ベクトル）Ｐ０〜Ｐ８が含まれる。各視差ベクトルＰ０〜Ｐ８は、例えば、ピクセル（画素）毎の視差ベクトルを用いて、上述したダウンサイジング処理により求められる。図３０において、矢印は、視差ベクトルを示しており、矢印の長さが視差ベクトルの大きさに対応している。
この視差情報セットは、汎用目的の視差情報セットである。そのため、この視差情報セットに付加される識別情報「Diparity_Sequence_id」は、図３１に示すように、汎用目的の視差情報セットであることを示す「０」とされる。
ここで、この汎用目的の視差情報セットは、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎の視差情報セットである。後述するように、画像データは一定期間毎に区切られ、各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）が、この各一定期間の画像データの送信に先立って送信される。そのため、所定単位毎の視差情報セットには、図３１に示すように、その視差情報セットを用いるタイミングを示す時間情報としてオフセット（Offset）が付加される。各視差情報セットに付加されるオフセットは、タイムスタンプ（TimeStamp）で示される最初の視差情報セットの使用時間からの時間を示す。
上述したように、ケース（２）では、視差情報セットに含まれる視差情報は、特定サービスと関連を持つ。図３１には、視差ベクトルＰ７とクローズド・キャプションデータＤＦ０とが関連付けされる例を示している。なお、このクローズド・キャプションデータＤＦ０によるクローズド・キャプション情報は、図３０に示すように、視差ベクトルＰ７が属する画面領域に表示される。この場合、このクローズド・キャプション情報を表示する画面領域を示すコンポーネント・エレメントＩＤ（Component_Element ID）と、視差ベクトルＰ７との関連付けがなされる。
図３２は、その場合における、コンポーネント・エレメントＩＤと視差ベクトルとの関連付けテーブル（Component_Linked_Info）の一例を示している。この場合、視差ベクトルの対象位置は、パーティション・ポジションＩＤ（Partition_Position_ID）で特定される。このパーティション・ポジションＩＤは、分割数またはブロックサイズで特定される複数の画面領域のうちの何番目の画面領域であるかを示す。
なお、図３１に示す例は、１つのクローズド・キャプションデータに、１つの視差情報が関連付けされる例を示している。しかし、１つのクローズド・キャプションデータに、複数の視差情報が関連付けされることも考えられる。このように、１つのクローズド・キャプションデータに、複数の視差情報が関連付けされる場合には、受信側では、そのクローズド・キャプションデータによるクローズド・キャプション情報に視差を付与するためにいずれかの視差情報を選択して使用できる。
図３３には、視差ベクトルＰ６，Ｐ７とクローズド・キャプションデータＤＦ１とが関連付けされ、さらに、視差ベクトルＰ７，Ｐ８とクローズド・キャプションデータＤＦ２とが関連付けされる例を示している。この場合、クローズド・キャプションデータＤＦ１によるクローズド・キャプション情報を表示する画面領域を示すコンポーネント・エレメントＩＤと、視差ベクトルＰ６，Ｐ７との関連付けがなされる。また、同様に、クローズド・キャプションデータＤＦ２によるクローズド・キャプション情報を表示する画面領域を示すコンポーネント・エレメントＩＤと、視差ベクトルＰ７，Ｐ８との関連付けがなされる。
図３４は、その場合における、コンポーネント・エレメントＩＤと視差ベクトルとの関連付けテーブル（Component_Linked_Info）を示している。この場合、視差ベクトルは、パーティション・ポジションＩＤ（Partition_Position_ID）で特定される。このパーティション・ポジションＩＤは、分割数またはブロックサイズで特定される複数の画面領域のうちの何番目の画面領域であるかを示す。
「ケース（３）」
ケース（３）は、上述したように、汎用目的の視差情報セットと、特定サービス用途向けの視差情報セットの双方を送るケースである。このケース（３）では、汎用目的の視差情報セットと特定サービス用途向けの視差情報セットの双方が作成される。この場合、汎用目的の視差情報セットに付加される識別情報（Disparity_Sequence_id）は「０」とされる。また、特定サービス用途向けの視差情報セットに付加される識別情報（Disparity_Sequence_id）は、「０」以外の値とされる。識別情報（Disparity_Sequence_id）のサービスとの関連付けは、例えば、上述したように、ユーザデータにその情報が挿入されることで行われる。あるいは、この関連付けは、例えば、上述したように、ディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）で行われる。
図３５は、このケース（３）で作成される視差情報セットの一例を示している。この例において、汎用目的の視差情報セットには、画面が９分割されて得られた各画面領域に属する視差ベクトル（水平方向の視差ベクトル）Ｐ０〜Ｐ８が含まれる。各視差ベクトルＰ０〜Ｐ８は、例えば、ピクセル（画素）毎の視差ベクトルを用いて、上述したダウンサイジング処理により求められる。図３５において、矢印は、視差ベクトルを示しており、矢印の長さが視差ベクトルの大きさに対応している。
また、特定サービス用途向けの視差情報セットとして、クローズド・キャプション向けの視差情報セットが作成される。このクローズド・キャプション向けの視差情報セットには、クローズド・キャプション情報「Caption1」に対応する視差ベクトルＣＣ１と、クローズド・キャプション情報「Caption2」に対応する視差ベクトルＣＣ２が、含まれている。
ここで、視差情報セットは、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎の視差情報セットである。後述するように、画像データは一定期間毎に区切られ、各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）が、この各一定期間の画像データの送信に先立って送信される。そのため、所定単位毎の視差情報セットには、図３６に示すように、その視差情報セットを用いるタイミングを示す時間情報としてオフセット（Offset）が付加される。各視差情報セットに付加されるオフセットは、タイムスタンプ（TimeStamp）で示される最初の視差情報セットの使用時間からの時間を示す。
上述したように、特定サービス用途向けの視差情報セットはクローズド・キャプション向けの視差情報セットである。図３５には、視差ベクトルＣＣ１とクローズド・キャプションデータＤＦ１とが関連付けされ、また、視差ベクトルＣＣ２とクローズド・キャプションデータＤＦ２とが関連付けされる例を示している。この場合、このクローズド・キャプション情報を表示する画面領域を示すコンポーネント・エレメントＩＤ（Component_Element ID）と、視差ベクトルＣＣ１，ＣＣ２との関連付けがなされる。
図３７は、その場合における、コンポーネント・エレメントＩＤと視差ベクトルとの関連付けテーブル（Component_Linked_Info）を示している。この場合、視差ベクトルの対象位置はパーティション・ポジションＩＤ（Partition_Position ID）で特定される。このパーティション・ポジションＩＤは、分割数またはブロックサイズで特定される複数の画面領域のうちの何番目の画面領域であるかを示す。
「ケース（４）」
ケース（４）は、上述したように、特定サービス用途向けの視差情報セットのみを送るケースである。このケース（４）では、特定サービス用途向けの視差情報セットのみが作成される。この場合、特定サービス用途向けの視差情報セットに付加される識別情報（Disparity_Sequence_id）は、「０」以外の値とされる。例えば、識別情報（Disparity_Sequence_id）のサービスとの関連付けは、上述したように、ユーザデータにその情報が挿入されることで行われる。あるいは、この関連付けは、例えば、上述したように、ディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）で行われる。
図３８は、このケース（４）で作成される視差情報セットの一例を示している。この例において、特定サービス用途向けの視差情報セットとして、クローズド・キャプション向けの視差情報セットが作成される。このクローズド・キャプション向けの視差情報セットには、クローズド・キャプション情報「Caption1」に対応する視差ベクトルＣＣ１と、クローズド・キャプション情報「Caption2」に対応する視差ベクトルＣＣ２が、含まれている。
ここで、視差情報セットは、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎の視差情報セットである。後述するように、画像データは一定期間毎に区切られ、各一定期間の画像データに対応した複数の視差情報セットの集合（Packed Disparity Set）が、この各一定期間の画像データの送信に先立って送信される。そのため、所定単位毎の視差情報セットには、図３９に示すように、その視差情報セットを用いるタイミングを示す時間情報としてオフセット（Offset）が付加される。各視差情報セットに付加されるオフセットは、タイムスタンプ（TimeStamp）で示される最初の視差情報セットの使用時間からの時間を示す。
上述したように、特定サービス用途向けの視差情報セットはクローズド・キャプション向けの視差情報セットである。図３９には、視差ベクトルＣＣ１とクローズド・キャプションデータＤＦ１とが関連付けされ、また、視差ベクトルＣＣ２とクローズド・キャプションデータＤＦ２とが関連付けされる例を示している。この場合、このクローズド・キャプション情報を表示する画面領域を示すコンポーネント・エレメントＩＤ（Component_Element ID）と、視差ベクトルＣＣ１，ＣＣ２との関連付けがなされる（図３７参照）。
なお、図３２、図３４、図３７には、コンポーネント・エレメントＩＤと視差ベクトルとの関連付けテーブルとして、コンポーネント・エレメントＩＤがクローズド・キャプションのウインドウＩＤ（Window ID）である例を示している。例えば、ＤＶＢサブタイトルの場合、コンポーネント・エレメントＩＤはＤＶＢサブタイトルのリージョンＩＤ（Region_id）である。
ＤＶＢサブタイトルの場合、例えば、図４０に示すように、エレメンタリＰＩＤ（Elementary PID）を用いて、サブタイトル・セグメント（SubtitleSegment）と、視差ベクトルデータ（Disparity Data）との関連付けが行われる。そして、サブタイトル・セグメント内のページＩＤ（Page_id）と視差ベクトルデータの識別情報（Disparity_Sequence_id）とが対応付けられる。さらに、リージョンＩＤRegion ID）と、視差ベクトル（Disparity_Vector_horizontal）とが対応付けられる。
ビデオエンコーダ１１３は、データ取り出し部１３０から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段に備えるストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。上述したように視差情報セット作成部１３１で作成された所定組の視差情報セットは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。ストリームフォーマッタ１１３ａは、ビデオのストリームに、所定組の視差情報セットを、ユーザデータとして埋め込む。
図４１は、ビデオエレメンタリーストリーム（Video Elementary Stream）の構造例を概略的に示している。ビデオエレメンタリーストリームには、先頭に、シーケンス単位のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。
上述した視差情報セットは、例えば、ピクチャヘッダ部のユーザデータ領域に埋め込まれる。図４２は、ユーザデータの構成例を示している。図４２（ａ）は、符号化方式がＭＰＥＧ２である場合のユーザデータの構成を示している。図４２（ｂ）は、符号化方式がＨ．２６４ ＡＶＣ（ＭＰＥＧ４−ＡＶＣ）である場合のユーザデータの構成を示している。さらに、図４２（ｃ）は、符号化方式がＶＣ−１である場合のユーザデータの構成を示している。
詳細説明は省略するが、各方式のユーザデータの構成はほぼ同様の構成となっている。すなわち、最初に、ユーザデータの開始を示すコードが配置され、その後に、データの種類を示す識別子「user_identifier」が配置され、さらにその後に、データ本体「user_structure」が配置される。視差情報（Disparity_Information）を含むユーザデータの詳細構成については後述する。
オーディオエンコーダ１１７は、データ取り出し部１３０から供給される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。マルチプレクサ１２２は、エンコーダ１１３，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
詳細説明は省略するが、この図２２に示す送信データ生成部１１０Ｄのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
図２２に示す送信データ生成部１１０Ｄの動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、データ取り出し部１３０から出力されるピクセル（画素）毎の視差ベクトルは、視差情報セット作成部１３１に供給される。この視差情報セット作成部１３１では、この視差ベクトルにダウンサイジング処理等が施されて、送信すべき所定組の視差情報セットが作成される（ケース（１）〜（４））。この視差情報セット作成部１３１で作成された所定組の視差情報セットはビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、所定組の視差情報セットがユーザデータとして埋め込まれる。
また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
また、マルチプレクサ１２２には、サブタイトル・グラフィクスエンコーダ１１９から、サブタイトルデータあるいはグラフィクスデータの符号化データを含むエレメンタリーストリームが供給される。さらに、このマルチプレクサ１２２には、テキストエンコーダ１２１から、テキストデータの符号化データを含むエレメンタリーストリームが供給される。そして、マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
［ストリーム毎のサービス・コンポーネントと視差情報との関連付け、視差情報セット識別情報とサービスとの関連付け］
関連付けされている各ストリームにおけるサービス・コンポーネントと視差情報との関連付けは、ディスパリティ・リンケージ・ディスクリプタ（Disparity_Linkage_Descriptor）を用いて行われる。また、このディスパリティ・リンケージ・デスクリプタにより、各ストリームにおける視差情報セット識別情報（Disparity_Sequence_id）とサービスとの関連付けも行われる。このディスパリティ・リンケージ・デスクリプタは、多重化ストリームのヘッダ領域、あるいは、多重化ストリーム内のＰＭＴ等のデスクリプタ・テーブルに配置される。
図４３は、その場合におけるディスパリティ・リンケージ・デスクリプタの構成例を示している。図４４は、図４３に示す構成における各情報の内容を示している。「descriptor_tag」は、デスクリプタのタイプを示す８ビットのデータである。ここでは、「０ｘＤ０」とされ、ディスパリティ・リンケージ・デスクリプタであることが示される。「descriptor_length」は、この情報の長さ（サイズ）を示す８ビットのデータである。
「number_of_Linked_Streams」は、視差情報データ（Disparity Data）の見地から２つのストリームの関連が定義されて関連付けされたエレメンタリーストリームの数を示す５ビットのデータである。「ElementaryPID_of_disparity」は、視差情報データ（DisparityData）を含むエレメンタリーストリーム（ＰＥＳ）のＰＩＤ（プログラムＩＤ）を示す１３ビットのデータである。「ElementaryPID_of_Service_Component」は、サブタイトル、キャプション、テキストまたはグラフィクスのようなサービス・コンポーネントを含むエレメンタリーストリーム（ＰＥＳ）のＰＩＤ（プログラムＩＤ）を示す１３ビットのデータである。この２つのＰＩＤにより、関連付けされたエレメンタリーストリーム毎に、視差情報とサービス・コンポーネントとの関連付けが行われる。
「number_of_linked_sequences」は、上述の関連付けされた各エレメンタリーストリームに対応して、関連付けされる視差情報セット（Disparity information）の数を示す５ビットのデータである。「Service_id」は、サービス識別のためのユニークワードを示す３２ビットのデータである。例えば、“０ｘ４７４１３９３４”は、ＡＴＳＣのために割り当てられる。「Data_Type」は、「Service_id」で識別されるサービスにおけるデータタイプを示す８ビットのデータである。例えば、“０ｘ０３”は、クローズド・キャプションデータを示す。
「number_of_linked_sequences」が示す数分だけ、ディスパリティ・シーケンスＩＤ「Disparity_Sequence_id」、サービスページＩＤ「Service_page_id」が配置される。「Disparity_Sequence_id」は、各サービスを識別するための識別情報である８ビットのデータである。「Service_page_id」は、サブタイトルページのようなサービスを特定する８ビットのデータである。これにより、所定の「Service_id(i)」および「Data_Type(i)」に対して、所定数のディスパリティ・シーケンスＩＤ、サービスページＩＤが関連付けされる。
図４３に示すディスパリティ・リンケージ・デスクリプタの構成例における各項目の具体例について説明する。図４５（ａ）は、図２２の送信データ生成部１１０Ｄのように，視差情報セットを画像データストリームのユーザデータ領域に挿入して受信側に送る場合における、ＰＩＤの一例を示している。この例において、ディスパリティ・リンケージ・ディスクリプタ（Disparity_Linkage_Descriptor）は、多重化ストリーム（ＴＳ）内のＰＭＴに配置されている。
そして、この例において、多重化ストリーム（ＴＳ）に含まれる視差情報データ（Disparity Data）を含むビデオ（画像データ）エレメンタリーストリーム（ＰＥＳ）のＰＩＤは、「ＰＩＤ＿０」とされている。また、この例において、多重化ストリーム（ＴＳ）に含まれるオーディオエレメンタリーストリーム（ＰＥＳ）のＰＩＤは「ＰＩＤ＿１」とされている。さらに、この例において、多重化ストリーム（ＴＳ）に含まれるサブタイトルエレメンタリーストリーム（ＰＥＳ）のＰＩＤは「ＰＩＤ＿２」とされている。
図４５（ｂ）は、後述する図６２の送信データ生成部１１０Ｅのように、視差情報セットを含む視差ベクトルのエレメンタリーストリーム（ＰＥＳ）を生成し、この独立したストリームを、他のストリームと多重化して受信側に送信する場合における、ＰＩＤの一例を示している。この例において、ディスパリティ・リンケージ・ディスクリプタ（Disparity_Linkage_Descriptor）は、多重化ストリーム（ＴＳ）内のＰＭＴに配置されている。
そして、この例において、多重化ストリーム（ＴＳ）に含まれるビデオ（画像データ）エレメンタリーストリーム（ＰＥＳ）のＰＩＤは、「ＰＩＤ＿０」とされている。また、この例において、多重化ストリーム（ＴＳ）に含まれるオーディオエレメンタリーストリーム（ＰＥＳ）のＰＩＤは「ＰＩＤ＿１」とされている。また、この例において、多重化ストリーム（ＴＳ）に含まれるサブタイトルエレメンタリーストリーム（ＰＥＳ）のＰＩＤは「ＰＩＤ＿２」とされている。また、この例において、多重化ストリーム（ＴＳ）に含まれる視差ベクトルのエレメンタリーストリーム（ＰＥＳ）のＰＩＤは「ＰＩＤ＿３」とされている。
図４６（ａ）は、「Disparity_Sequence_id＝１」が付加された視差情報セットが、サブタイトルと関連付け（リンク）される例を示している。この例において、視差情報セットには、サブタイトル情報「Subtitle1」対応する視差ベクトル「Region1」と、サブタイトル情報「Subtitle2」対応する視差ベクトル「Region2」に対応する視差ベクトルＣＣ２が、含まれている。図４６（ｂ）は、「Disparity_Sequence_id＝2」が付加された視差情報セットが、クローズド・キャプションと関連付け（リンク）される例を示している。この例において、視差情報セットには、クローズド・キャプション情報「Caption1」に対応する視差ベクトルＣＣ１と、クローズド・キャプション情報「Caption2」に対応する視差ベクトルＣＣ２が、含まれている。
図４７は、上述の図４５（ａ）の場合において、視差情報セットがサブタイトルと関連付けされる場合を示している。この場合、「ElementaryPID_of_Service_Component」は、サブタイトルエレメンタリーストリームのＰＩＤ（Subtitle PID）に設定される。また、この場合、「ElementaryPID_of_disparity」は、ビデオエレメンタリーストリームのＰＩＤ（Video PID）に設定される。
図４８は、上述の図４５（ｂ）の場合において、視差情報セットがサブタイトルと関連付けされる場合を示している。この場合、「ElementaryPID_of_Service_Component」は、サブタイトルエレメンタリーストリームのＰＩＤ（Subtitle PID）に設定される。また、この場合、「ElementaryPID_of_disparity」は、視差ベクトルエレメンタリーストリームのＰＩＤ（Disparity PID）に設定される。
図４９は、上述の図４５（ａ）の場合（ただし、クローズド・キャプションデータが画像データストリームのユーザデータ領域に挿入して受信側に送られる）において、視差情報セットがクローズド・キャプションと関連付けされる場合を示している。ここで、「Service_id」はＡＴＳＣを示し、「Data_Type」＝クローズド・キャプション（ＣＣ）を示す。この場合、「ElementaryPID_of_Service_Component」は、ビデオエレメンタリーストリームのＰＩＤ（Video PID）に設定される。また、この場合、「ElementaryPID_of_disparity」も、ビデオエレメンタリーストリームのＰＩＤ（Video PID）に設定される。
なお、詳細説明は省略するが、ＩＤの既存の運用番号は、例えば以下の通りである。すなわち、“Service_id ＝0x47413934”は「ＡＴＳＣ」を示し、そのうち、“Data_Type ＝ 0x03” は「クローズド・キャプション」を示し、“Data_Type ＝ 0x06” は、「Bar_data (letterbox or pillarbox areas)」を示す。また、“Service_id ＝ 0x44544731”は、「ＡＦＤ」を示す。
図５０は、上述の図４５（ｂ）の場合（ただし、クローズド・キャプションデータが画像データストリームのユーザデータ領域に挿入して受信側に送られる）において、視差情報セットがクローズド・キャプションと関連付けされる場合を示している。ここで、「Service_id」はＡＴＳＣを示し、「Data_Type」＝クローズド・キャプション（ＣＣ）を示す。この場合、「ElementaryPID_of_Service_Component」は、ビデオエレメンタリーストリームのＰＩＤ（Video PID）に設定される。また、この場合、「ElementaryPID_of_disparity」は、視差ベクトルエレメンタリーストリームのＰＩＤ（Disparity PID）に設定される。
［視差情報（Disparity_Information）を含むユーザデータの詳細構成］
図５１は、視差情報（Disparity_Information）を含むユーザデータの詳細構成の一例を示している。この例は、符号化方式がＭＰＥＧ２である場合の例である。開始コード（user_data_start_code）の後のデータ識別子が、視差情報識別子（Disparity_Information_identifier）であるとき、その後のデータ本体として、視差情報（Disparity_Information）が配置される。
図５２は、視差情報（Disparity_Information）の構成を示しており、その中には、視差情報データ（Disparity_Information_Data）が配置されている。この視差情報データには、上述の図４３のディスパリティ・リンケージ・ディスクリプタ（Disparity_Linkage_Descriptor）と同様な情報を持つことができる。その場合、この視差情報データには、図５３にその構成を示すＤＳＬ（Disparity_Information_Link_Information）が含まれる。また、この視差情報データには、図５４、図５５にその構成を示すＤＨＩ（Disparity_Header_Information）が含まれる。さらに、この視差情報データには、図５６にその構成を示すＤＤＳ（Disparity Data Set）が含まれる。図５７〜図６０は、図５３〜図５６に示す構成における各情報の内容を示している。
図５７を参照してＤＳＬを説明する。このＤＳＬは、ディスパリティ・シーケンスＩＤ（Disparity_Sequence_id）とサービスとを関連付けするための情報である。「Disparity_Info_Length」は、この情報の長さ（サイズ）を示す１６ビットのデータである。「Disparity_Info_Type」は、この情報のタイプを示す２ビットのデータであり、ここでは「０ｘ０」とされ、この情報が「ＤＳＬ」であることが示される。
詳細説明は省略するが、「number_of_Linked_Streams」、「ElementaryPID_of_disparity」、「ElementaryPID_of_Service_Component」、「number_of_linked_sequences」、「Service_id」、「Data_Type」、「Disparity_Sequence_id」の各項目については、図４３で説明した通りである。
図５４、図５５を参照してＤＨＩを説明する。このＤＨＩには、各サービスのコンポーネントと、そのコンポーネントに使用すべき視差ベクトルを特定するパーティション・ポジションＩＤ（Partition_Position_ID）とを関連付けする情報も含まれる。「Disparity_Info_Length」は、この情報の長さ（サイズ）を示す１６ビットのデータである。「Disparity_Info_Type」は、この情報のタイプを示す２ビットのデータであり、ここでは「０ｘ１」とされ、この情報が「ＤＨＩ」であることが示される。
「Views_offset」は、オフセットの展開を「second view」、例えば右眼画像のみに適用するか、それとも「both views」、つまり左眼画像および右眼画像のそれぞれに適用するのかを示す１ビットのデータである。“１”である場合には、「both views」に適用することを示す。“０”である場合には、「secondview」に適用することを示す。「Disparity_precision」は、視差ベクトルに対して重畳情報をどの程度ずらすかを示す２ビットのデータである。“０”である場合には、視差ベクトルの１／２に相当する分だけずらすことを示す。“１”である場合には、視差ベクトルに相当する分だけずらすことを示す。
“２”である場合には、２ピクセルを１単位として、視差ベクトルに相当する単位数分だけずらすことを示す。例えば、視差ベクトルが「７」であるとき、２×７＝１４ピクセルだけずらすことになる。“３”である場合には、３ピクセルを１単位として、視差ベクトルに相当する単位数分だけずらすことを示す。例えば、視差ベクトルが「７」であるとき、３×７＝２１ピクセルだけずらすことになる。
「Disparity_Sequence_id」は、各サービスを識別するための識別情報である８ビットのデータである。「Service_Linked_flag」は、上述のＤＳＬ内のサービスに関連付けされている視差ベクトル（視差情報）があるか否かを示す１ビットのデータである。“１”である場合には、サービスに関連付けされている視差ベクトルがあることを示す。一方、“０”である場合には、サービスに関連付けされている視差ベクトルがないことを示す。
「Target_Resolution_Type」は、ターゲットビデオに対して符号化された視差情報セットの解像度を特定する２ビットのデータである。“０ｘ０”である場合は、１９２０×１０８０の解像度であることを示す。“０ｘ１”である場合は、１４４０×１０８０の解像度であることを示す。“０ｘ２”である場合は、１２８０×７２０の解像度であることを示す。
「Block_Size」は、ブロックサイズを特定する２ビットのデータである。この「Block_Size」は、画面領域を示す情報を構成する領域の大きさを示す情報である。“０ｘ０”である場合、１６ピクセル×１６ピクセルのブロックサイズであることを示す。“０ｘ１”である場合、３２ピクセル×３２ピクセルのブロックサイズであることを示す。“０ｘ２”である場合、６４ピクセル×６４ピクセルのブロックサイズであることを示す。さらに、“０ｘ３”である場合、１２８ピクセル×１２８ピクセルのブロックサイズであることを示す。
「Link_source」は、視差情報セット（source）が、汎用目的の視差情報セットであるか、特定サービス用途向けの視差情報セットであるかを示す。“１”であるときは、視差情報セットが、画面を分割して得られた各画面領域の視差ベクトルを持つ汎用目的の視差情報セットであることを示す。“０”であるときは、視差情報セットが、サービスコンポーネントエレメントに対応した視差ベクトルを持つ特定サービス用途向けの視差情報セットであることを示す。
「Partition」は、画面分割パターンを示す。この「Partition」は、画面領域を示す情報を構成する画面の分割数を示す情報である。“０ｘ０”である場合、図６１（ａ）に示すように、画像（ピクチャ）領域は分割されておらず、この画像（ピクチャ）領域を代表する１つの視差ベクトル（視差情報）が送信されることを示す。“０ｘ１”である場合、図６１（ｂ）に示すように、画像（ピクチャ）領域は４分割されており、この各分割領域を代表する４個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される図６１（ｂ）の０〜３の順）。
“０ｘ２”である場合、図６１（ｃ）に示すように、画像（ピクチャ）領域は９分割されており、この各分割領域を代表する９個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６１（ｃ）の０〜８の順）。“０ｘ３”である場合、図６１（ｄ）に示すように、像（ピクチャ）領域は１６分割されており、この各分割領域を代表する１６個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６１（ｄ）の０〜１５の順）。
“０ｘ７”の場合、画像（ピクチャ）領域は複数のブロックに分割されており、この各分割領域を代表する複数の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される。
「Number_of_Component_Elements」は、上述の「Partition」、あるいは「Block_Size」で特定される画面領域の個数、あるいは関連付けされたサービス内のコンポーネント・エレメントの個数を示す１３ビットのデータである。
そして、上述の「Service_Linked_flag」が“１”である場合、視差情報セット内の視差ベクトル（視差情報）に関連付けされているサービス数（number of service）分だけ、コンポーネント・リンケージ情報（Component_Linkage_Info）が配置される。このコンポーネント・リンケージ情報には、図５５に示すように、コンポーネントのエレメント数だけ、そのコンポーネント・エレメントと視差ベクトルとの対応付け情報が配置される。
「Component_Element」は、コンポーネント・エレメントＩＤを示す８ビットのデータである。コンポーネント・エレメントＩＤは、例えば、クローズド・キャプションのウインドウＩＤ（Window ID）、あるいはＤＶＢサブタイトルのリージョンＩＤ（region_idga）等である。「Element_Linkage_Length」は、情報の長さ（サイズ）を示す８ビットのデータである。「number_of_mutiple_link」は、コンポーネント・エレメントＩＤと関連付ける視差ベクトルの個数を示す。「Partition_Position_id」は、視差ベクトルを特定する１３ビットの情報である。この「Partition_Position_id」は、上述の「Partition」、あるいは「Block_Size」で特定される複数の画面領域のうちの何番目の画面領域であるかを示す。
図５６を参照してＤＤＳを説明する。このＤＤＳには、各視差情報セットに含まれる視差ベクトルの情報が含まれる。「Disparity_Info_Length」は、この情報の長さ（サイズ）を示す１６ビットのデータである。「Disparity_Info_Type」は、この情報のタイプを示す２ビットのデータであり、ここでは「０ｘ２」とされ、この情報が「ＤＩＤ」であることが示される。「Disparity_Sequence_id」は、汎用目的の視差情報セットであるか特定サービス用途向けの視差情報セットであるかを識別し、特定サービス用途向けである場合にはそのサービスを識別するための８ビットのデータである。
「Number_of_Component_Elements」は、上述の「Partition」、あるいは「Block_Size」で特定される画面領域の個数、あるいは関連付けされたサービス内のコンポーネント・エレメントの個数を示す１３ビットのデータである。ビデオデータの一定期間、例えば、１５フレーム期間内の各フレームで使用する視差情報セットに含まれるＰ個の視差ベクトルの値が配置される。「Disparity_sets_in_period」は、ビデオデータの一定期間に含まれるオフセットを与えるための視差ベクトル（視差情報）セットの個数を示す８ビットのデータである。
「Offset_Frame_In_disparity_set」は、各視差情報セットを用いるタイミングを示す時間情報である。この時間情報は、タイムスタンプ（Time Stamp）で示される最初の視差情報セットの使用時間からの時間（フレーム数）を示す。「Disparity_Vector_Horozontal(i)」は、ｉ番目の視差ベクトルの値である、水平方向の視差ベクトルの値を示す。
なお、上述では、ディスパリティ・シーケンスＩＤ（Disparity_Sequence_id）とサービスとを関連付けるための情報を、ユーザデータとしての視差情報（Disparity_Information）にＤＳＬとして配置する例を示した。しかし、ディスパリティ・シーケンスＩＤとサービスとの関連付けを、ディスパリティ・リンケージ・デスクリプタ（Disparity_Linkage_Descriptor）により行うことも考えられる。ディスパリティ・リンケージ・デスクリプタＤＬＤは、例えば、多重化ストリーム（ビットストリームデータＢＳＤ）のＰＭＴテーブル内に配置される。
図２２に示す送信データ生成部１１０Ｄでは、立体画像を表示するための左眼画像データおよび右眼画像データを含む立体画像データと共に、それぞれ視差情報を使用すべき重畳情報の種類を示す識別情報が付加されている、所定組の視差情報セットが送信される。そのため、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に、この重畳情報の種類に合った視差情報セットを用いて適切な視差を付与できる。
なお、図２２に示す送信データ生成部１１０Ｄの上述の説明では、視差情報セット作成部１３１で、最下位層のピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、データ記録媒体１３０ａに各階層の各領域の視差ベクトルが記録されており、視差情報セット作成部１３１ではそれを利用するようにしてもよい。
「送信データ生成部の他の構成例」
また、図２２に示す送信データ生成部１１０Ｄは、視差情報セット作成部１３１で作成された所定組の視差情報セットを画像データストリームに挿入して受信側に送る構成となっている。しかし、視差情報セット作成部１３１で作成された所定組の視差情報セットを、画像データストリーム以外の他のデータストリームに挿入して受信側に送る構成とすることもできる。
また、視差情報セット作成部１３１で作成された所定組の視差情報セットを含む視差ベクトルのエリメンタリーストリーム（視差ベクトルストリーム）を生成し、この視差ベクトルストリームを、他のストリームと多重化して受信側に送信する構成とすることもできる。図６２は、その場合における、送信データ生成部１１０Ｅの構成例を示している。この図６２において、図２２と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部１１０Ｅでは、図２に示す送信データ生成部１１０と同様に、視差ベクトルエンコーダ１１５を有する構成とされる。視差情報セット作成部１３１で作成された所定組の視差情報セットは視差ベクトルエンコーダ１１５に送られる。そして、この視差ベクトルエンコーダ１１５において、所定組の視差情報セットを含む視差ベクトルのエリメンタリーストリーム（視差ベクトルストリーム）が生成される。そして、この視差ベクトルストリームがマルチプレクサ１２２に供給される。マルチプレクサ１２２では、他のデータストリームと共に視差ベクトルストリームも多重化されて、ビットストリームデータＢＳＤが生成される。
詳細説明は省略するが、この送信データ生成部１１０Ｅにおいて、その他の構成および動作は、図２２に示す送信データ生成部１１０Ｄと同様である。この送信データ生成部１１０Ｅにおいても、図２２に示す送信データ生成部１１０Ｄと同様の効果を得ることができる。
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えば、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（サブタイトルデータ、グラフィクスデータ、テキストデータ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
図６３（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
ビットストリーム処理部２０１では、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図６３（ａ）に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図６３（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
なお、図６４（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図６４（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
図６３は、グラフィクス情報の場合を示したが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報、テキスト情報など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図６５（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
図６６（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図６６（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
図６７（ａ）は、図６６（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。図６７（ｂ）は、字幕を表示するための左眼サブタイトル情報ＬＧＩと、右眼サブタイトル情報ＲＧＩを示している。図６７（ｃ）は、字幕が最も近くにあるように認識されるために、各サブタイトル情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトル（視差情報セットに含まれる各階層の各領域の視差ベクトルを含む）のうち、その重畳位置に対応したものを使用することが考えられる。図６８（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
図６８（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
図６８（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
なお、図６８の例では、右眼画像に重畳されるグラフィクス情報およびテキスト情報の重畳位置を、左眼画像に重畳される同一のグラフィクス情報およびテキスト情報の重畳位置を基準として、ずらすものを示している。すなわち、図６８の例では、右眼画像に重畳されるグラフィクス情報およびテキスト情報の重畳位置のみをずらす処理を行っている。しかし、左眼画像および右眼画像の双方の重畳位置をずらすように処理を行うことも考えられる。
図６９（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。図６９（ｂ）は、２次元表示におけるグラフィクス情報ＧＩおよびテキスト情報ＴＩの重畳位置を示している。この場合、テキスト情報の重畳位置は（x1,y1）であり、グラフィクス情報の重畳位置は（x2,y2）である。
図６９（ｃ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、２次元表示におけるグラフィクス情報ＧＩの重畳位置に対して、このグラフィクス情報に対応した視差ベクトルＤ１の１／２に相当する分だけ右方向にずらされている。また、左眼テキスト情報ＬＴＩは、２次元表示におけるテキスト情報ＬＴの重畳位置に対して、このテキスト情報に対応した視差ベクトルＤ０の１／２に相当する分だけ右方向にずらされている。
図６９（ｄ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、２次元表示におけるグラフィクス情報ＧＩの重畳位置に対して、このグラフィクス情報に対応した視差ベクトルＤ１の１／２に相当する分だけ左方向にずらされている。また、右眼テキスト情報ＲＴＩは、２次元表示におけるテキスト情報ＬＴの重畳位置に対して、このテキスト情報に対応した視差ベクトルＤ０の１／２に相当する分だけ左方向にずらされている。
なお、図６９（ｃ），（ｄ）の例では、オフセットの展開を左眼画像および右眼画像のそれぞれに適用し、しかも、視差ベクトルの１／２に相当する分だけずらすように設定した場合の例である。実際には、上述したように、オフセットの展開は「Views_offset」で示され、視差ベクトルに対して重畳情報をどの程度ずらすかは「Disparity_precision」で示される。
上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
図７０（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図７０（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
なお、図６８、図６９は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図７０は、重畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報など）の場合も同様である。
次に、視差ベクトルが、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、テキストデータ（クローズド・キャプションデータを含む）に関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図７１は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
［ビットストリーム処理部の構成例］
図７２は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２、図６２に示す送信データ生成部１１０，１１０Ｅに対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、サブタイトル・グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用サブタイトル・グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。
サブタイトル・グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のサブタイトル・グラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ２２２は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータ（クローズド・キャプションデータを含む）を得る。
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
立体画像用サブタイトル・グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部２２６は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）を出力する。
立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
図７３は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
図７２に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図７１参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのＴＳパケットが抽出され、各デコーダに供給される。
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８、図２９等参照）。
サブタイトル・グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ２２２では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部２２６に供給される。この立体画像用サブタイトル・グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
この立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。
この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部２２６からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）が出力される。
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのＴＳパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
なお、視差ベクトルデコーダ２２５で得られた視差ベクトルが所定組の視差情報セットである場合、各視差情報セットに付加されている識別情報（Disparity_Sequence_id）に基づいて、重畳情報に合った視差情報セットを用いることができる。すなわち、クローズド・キャプション情報、サブタイトル情報等の重畳情報に関して、関連付けされている視差ベクトルを用いて、適切な視差を付与できる。
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図７１参照）に、送信画像データとして供給される。
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのＴＳパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図７１参照）に、送信音声データとして供給される。
［重畳情報への視差の付与］
ここで、図７２に示すビットストリーム処理部２０１の立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
放送局１００（図１参照）からは、例えば、図７４、図７５に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームと共に、視差ベクトル（図８、図２９等参照）を含む視差ベクトルストリームが送られてくる。この場合、符号化ビデオのＧＯＰ（Group Of Pictures）、あるいはＩ(Intra picture)ピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図７４のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
図７５のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
また、放送局１００（図１参照）からは、例えば、図７６に示すように、画像データと、クローズド・キャプションデータおよびグラフィックスデータが送られてくる。視差情報セット（図２９、図３１、図３３、図３６参照）は、視差ベクトルストリームとして送られてくる。この場合、符号化ビデオのＧＯＰ、あるいはＩピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差情報セットがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図７６のクローズド・キャプションデータ、グラフィックスデータの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
「ビットストリーム処理部の他の構成例」
図７７に示すビットストリーム処理部２０１Ａは、上述の図１３、図２２に示す送信データ生成部１１０Ａ，１１０Ｄに対応させた構成となっている。この図７７において、図７２と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部２０１Ａは、図７２に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
詳細説明は省略するが、この図７７に示すビットストリーム処理部２０１Ａのその他は、図７２に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
［重畳情報への視差の付与］
ここで、図７７に示すビットストリーム処理部２０１Ａの立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
放送局１００（図１参照）からは、例えば、図７８に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２９等参照）は、画像データストリームに埋め込まれて送られてくる。この場合、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎に、その所定単位に対応した視差ベクトルが、画像データストリームに埋め込まれて送られてくる。
立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図７８のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、放送局１００（図１参照）からは、例えば、図７９、図８０に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２９等参照）は、画像データストリームに埋め込まれて送られてくる。この場合、符号化ビデオのＧＯＰ、あるいはＩピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図７９のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、所定の視差情報は、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
図８０のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
また、放送局１００（図１参照）からは、例えば、図８１に示すように、画像データと、クローズド・キャプションデータおよびグラフィックスデータが送られてくる。視差情報セットは（図２９、図３１、図３３、図３６参照）は、画像データストリームに埋め込まれて送られてくる。この場合、符号化ビデオのＧＯＰ、あるいはＩピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差情報セットがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図８１のクローズド・キャプションデータ、グラフィックスデータの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
「ビットストリーム処理部の他の構成例」
図８２に示すビットストリーム処理部２０１Ｂは、上述の図１５に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図８２において、図７２と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部２０１Ｂは、図７２に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３２が設けられる。この視差ベクトル取り出し部２３２は、サブタイトル・グラフィクスデコーダ２２２を通じて得られるサブタイトルあるいはグラフィクスのストリームから、それに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３２は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
詳細説明は省略するが、この図７２に示すビットストリーム処理部２０１Ｂのその他は、図７２に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。なお、この図８２のビットストリーム処理部２０１Ｂおける重畳情報への視差の付与については、上述した図７７のビットストリーム処理部２０１Ａおける重畳情報への視差の付与と同様である（図７８〜図８１参照）。
「ビットストリーム処理部の他の構成例」
図８３に示すビットストリーム処理部２０１Ｃは、上述の図２１に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図８３において、図７２と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部２０１Ｃは、図７２に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。
送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。
なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
［セットトップボックスの他の構成例］
図８４は、セットトップボックス２００Ａの他の構成例を示している。この図８４において、図７１、図７７と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このセットトップボックス２００Ａは、ビットストリーム処理部２０１Ｄと、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像・グラフィック処理回路２０５Ａと、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００Ａは、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６と、ネットワーク端子２１７と、イーサネットインタフェース２１８を有している。なお、「イーサネット」は登録商標である。
ビットストリーム処理部２０１Ｄは、デジタルチューナ２０４で得られるビットストリームデータＢＳＤから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。この例において、重畳情報データはサブタイトルデータである。このビットストリーム処理部２０１Ｄは、図７７に示すビットストリーム処理部２０１Ａとほぼ同様に構成されている。
このビットストリーム処理部２０１Ｄは、デマルチプレクサ２２０Ａと、ビデオデコーダ２２１と、サブタイトルデコーダ２２２Ａと、オーディオデコーダ２２４を有している。また、このビットストリーム処理部２０１Ｄは、立体画像用サブタイトル発生部２２６Ａと、ビデオ重畳部２２８と、視差ベクトル取り出し部２３１を有している。デマルチプレクサ２２０Ａは、ビットストリームデータＢＳＤから、ビデオ、オーディオおよびサブタイトルのパケットを抽出し、各デコーダに送る。
ビデオデコーダ２２１は、デマルチプレクサ２２０Ａで抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。サブタイトルデコーダ２２２Ａは、デマルチプレクサ２２０Ａで抽出されたサブタイトルのパケットからサブタイトルのエレメンタリーストリームを再構成する。そして、このサブタイトルデコーダ２２２Ａは、さらに復号化処理を行って、サブタイトルデータを得る。オーディオデコーダ２２４は、デマルチプレクサ２２０Ａで抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得て、ビットストリーム処理部２０１の外部に出力する。
視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトル（視差情報セット）を取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル発生部２２６に供給する他に、ビットストリーム処理部２０１Ｄの外部に出力する。
立体画像用サブタイトル発生部２２６Ａは、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報を生成する。この生成処理は、サブタイトルデコーダ２２２Ａで得られたサブタイトルデータと、視差ベクトル取り出し部２３１から供給される視差ベクトル（視差情報セット）に基づいて行われる。この場合、左眼および左眼のサブタイトル情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報に対して、右眼のブタイトル情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル発生部２２６Ａは、左眼および左眼のサブタイトル情報のデータ（ビットマップデータ）を出力する。
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、サブタイトル発生部２２６Ａで発生された左眼および左眼のサブタイトル情報のデータを重畳し、表示用立体画像データを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。そして、このビデオ重畳部２２８は、表示用立体画像データを、ビットストリーム処理部２０１Ｄの外部に出力する。
イーサネットインタフェース２２８は、ネットワーク端子２２７を介して、インターネット等の図示しないネットワークに接続される。イーサネットインタフェース２２８は、ユーザ操作に応じて、ネットワークを通じて種々の情報、例えばウィジェット（Widget）でグラフィクス表示する天気予報、株価等の情報も取得できる。このイーサネットインタフェース２２８は、内部バス２１４に接続されている。
映像・グラフィック処理回路２０５Ａは、ビットストリーム処理部２０１Ｄから出力された表示用立体画像データに対して、必要に応じて、画質調整処理を行う。また、この映像・グラフィック処理回路２０５Ａは、ビットストリーム処理部２０１Ｄから出力された表示用立体画像データに対して、例えば、ウィジェット（Widget）によるグラフィクス情報のデータを重畳する。
この映像・グラフィック処理回路２０５Ａには、上述したビットストリーム処理部２０１Ｄから出力される視差ベクトル（視差情報セット）が供給される。映像・グラフィック処理回路２０５Ａは、この視差ベクトル（視差情報セット）に基づいて、左眼画像および右眼画像に重畳する同一のグラフィクス情報に、視差を付与する。これにより、左眼画像および右眼画像に重畳される同一のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、このグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
映像・グラフィック処理回路２０５Ａは、処理後の表示用立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１Ｄから出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩ送信部２０６は、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータをパッキングしてＨＤＭＩ端子２０２に出力する。
図８４に示すセットトップボックス２００Ａのその他は、詳細説明は省略するが、図７１に示すセットトップボックス２００と同様に構成される。
図８４に示すセットトップボックス２００Ａの動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータＢＳＤが得られる。このビットストリームデータＢＳＤは、ビットストリーム処理部２０１Ｄに供給される。
このビットストリーム処理部２０１Ｄでは、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、サブタイトルデータおよび視差ベクトル（視差情報セット）等が抽出される。また、このビットストリーム処理部２０１Ｄでは、立体画像データに対し、サブタイトル情報のデータが合成され、表示用立体画像データが生成される。
この場合、ビットストリーム処理部２０１Ｄでは、視差ベクトルに基づいて、左眼画像および右眼画像に重畳する同一のサブタイトル情報に、視差が付与される。これにより、左眼画像および右眼画像に重畳される同一のサブタイトル情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、このサブタイトル情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
ビットストリーム処理部２０１Ｄで生成される表示用立体画像データは、映像・グラフィック処理回路２０５Ａで必要に応じて画質調整処理が行われる。また、この映像・グラフィック処理回路２０５Ａでは、必要に応じて、ビットストリーム処理部２０１Ｄで生成される表示用立体画像データに、ウィジェット（Widget）によるグラフィクス情報のデータを合成することが行われる。
この場合、映像・グラフィック処理回路２０５Ａでは、ビットストリーム処理部２０１Ｄから供給される視差ベクトル（視差情報セット）に基づいて、左眼画像および右眼画像に重畳する同一のグラフィクス情報に、視差が付与される。これにより、左眼画像および右眼画像に重畳される同一のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、このグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
映像・グラフィック処理回路２０５Ａから得られる処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１Ｄで得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
図８４に示すセットトップボックス２００Ａにおいては、ビットストリーム処理部２０１Ｄの視差ベクトル取り出し部２３１で取り出された視差ベクトル（視差情報セット）に基づいて、ビットストリーム処理部２０１Ｄ内で、左眼画像および右眼画像に重畳される同一のサブタイトル情報に視差が付与される。また、映像・グラフィック処理回路２０５Ａで、その視差ベクトル（視差情報セット）に基づいて、左眼画像および右眼画像に重畳される同一のグラフィクス情報に視差が付与される。したがって、放送局から送られてくるサブタイトル情報だけでなく、このセットトップボックス２００Ａ内で発生されるグラフィクス情報に関しても、その表示において、画像内の各物体との間の遠近感の整合性を維持するようにできる。
図８５は、図８４に示すセットトップボックス２００Ａにおいて左眼画像および右眼画像へのサブタイトル情報およびグラフィクス情報の重畳例を示している。図８５（ａ）は、左眼画像を示している。ビットストリーム処理部２０１Ｄにおいて、サブタイトル情報「Subtitle 1」は（x1,y1）の位置に重畳され、サブタイトル情報「Subtitle 1」は（x2,y2）の位置に重畳される。また、映像・グラフィック処理回路２０５Ａにおいて、グラフィクス情報「Graphics 1」は（x3,y3）の位置に重畳される。
図８５（ｂ）は、右眼画像を示している。ビットストリーム処理部２０１Ｄにおいて、サブタイトル情報「Subtitle 1」は、左眼画像への重畳位置に対して、対応する視差ベクトルに基づいて、オフセット１（Offset 1）だけずれた位置に重畳される。同様に、このビットストリーム処理部２０１Ｄにおいて、サブタイトル情報「Subtitle 2」は、左眼画像への重畳位置に対して、対応する視差ベクトルに基づいて、オフセット２（Offset 2）だけずれた位置に重畳される。また、映像・グラフィック処理回路２０５Ａにおいて、グラフィクス情報「Graphics 1」は、左眼画像への重畳位置に対して、オフセット３（Offset 3）だけずれた位置に重畳される。
なお、図８４に示すセットトップボックス２００Ａでは、ビットストリーム処理部２０１Ｄでサブタイトル情報を取り扱うと共に、映像・グラフィック処理部２０５Ａでグラフィック情報を取り扱っているが、他の重畳情報を取り扱うものも同様に構成できる。
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１５、図２１、図２２、図６２に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ、１１０Ｅにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図８６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
ビットストリーム処理部３０６は、図７１に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。このＨＤＭＩ受信部３０３の詳細は後述する。
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
図８６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図８７は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ=０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図７１参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
図８８は、図８７のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
図８９は、ＴＭＤＳ伝送データの構造例を示している。この図８９は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図９０は、ＨＤＭＩ端子のピン配列の一例を示している。図９０に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ−ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ−ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
［Ｅ−ＥＤＩＤ構造］
上述したように、ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図７１参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。そして、ＣＰＵ２１１は、このＥ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定、例えば立体画像データの取り扱いが可能か否か等を認識する。
図９１は、Ｅ−ＥＤＩＤのデータ構造例を示している。このＥ−ＥＤＩＤは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E-EDID1.3 Basic Structure”で表されるＥ−ＥＤＩＤ１．３の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のＥＤＩＤとの互換性を保つための、“Preferredtiming”とは異なるタイミング情報が配置されている。
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が配置されている。
拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ（解像度）、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。
図９２は、Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示している。このVender Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
第０ブロックには、“Vendor-Specific tag code(=3)”で表されるデータ“VenderSpecific”のデータ領域を示すヘッダが配置される。また、この第０ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。また、第１ブロック乃至第３ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるＨＤＭＩ（Ｒ）用として登録された番号“0x000C03“を示す情報が配置される。さらに、第４ブロックおよび第５ブロックには、”Ａ“、”Ｂ“、”Ｃ“、および”Ｄ“のそれぞれにより表される、２４ｂｉｔのシンク機器の物理アドレスを示す情報が配置される。
第６ブロックには、“Supports-AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第６ブロックには、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される、１ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第６ブロックには、“DC-Y444”で表される、シンク機器がＹＣｂＣｒ４：４：４の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第６ブロックには、“DVI-Dual”で表される、シンク機器がデュアルＤＶＩ（Digital VisualInterface）に対応しているかを示すフラグが配置されている。
また、第７ブロックには、“Max-TMDS-Clock”で表されるＴＭＤＳのピクセルクロックの最大の周波数を示す情報が配置される。また、第８ブロックの第６ビット、第７ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第８ブロックの第５ビットには、“HDMI_Video_present”で表される追加のＨＤＭＩビデオフォーマット（３Ｄ、４ｋ×２ｋ）の取り扱いが可能か否かを示すフラグが配置されている。
また、第９ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第１０ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第１１ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第１２ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
また、第１３ブロックの第７ビットには、“3D_present”で表される３Ｄ画像データの取り扱いが可能か否かを示すフラグが配置されている。また、第１４ブロックの第７ビットから第５ビットには、“HDMI_VIC_LEN”で表される、図示しない第１５ブロック以降に配置される必須（mandatory）な３Ｄデータ構造の他に取り扱い可能なデータ構造を示すブロックのサイズ情報が配置されている。また、第１４ブロックの第４ビットから第０ビットには、“HDMI_3D_LEN”で表される、図示しない第１５ブロック以降に配置される取り扱い可能な４ｋ×２ｋのビデオフォーマットを示すブロックのサイズ情報が配置されている。
［立体画像データのＴＭＤＳ伝送データ構造］
図９３は、立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Frame packing）方式の３Ｄビデオフォーマット（3D Video Format）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。
この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐ、１０８０×７２０ｐのピクセルフォーマットの画像データの伝送が行われる。なお、図９３には、左眼（Ｌ）画像データおよび右眼（Ｒ）画像データが、それぞれ、１９２０ライン×１０８０ピクセルである例を示している。
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間は、２つのアクティブビデオ領域（Active video）と、それらの間に１つのアクティブスペース領域（Activespace）を有している。第１のアクティブビデオ領域に左眼（Ｌ）画像データが配され、第２のアクティブビデオ領域に右眼（Ｒ）画像データが配される。
図９４は、立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ（Line alternative）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（２×Vblank）およびアクティブビデオ区間（（Hactive×２Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、左眼画像データの１ライン分と右眼画像データの１ライン分とが交互に配置される。
図９５は、立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（side-bay-side）（Ｆｕｌｌ）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（２×Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（（２Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、水平方向の前半に左眼（Ｌ）画像データが配され、水平方向の後半に右眼（Ｒ）画像データが配される。
なお、詳細説明は省略するが、ＨＤＭＩ１．４では、上述の図９３〜図９５に示す３Ｄビデオフォーマットの他にも、立体画像データのＴＭＤＳ伝送データ構造としての３Ｄビデオフォーマットが定義されている。例えば、フレームパッキング（Frame packing for interlaced format）方式、フィールドオルタネイティブ（Field alternative）方式、サイド・バイ・サイド（side-bay-side）（Ｈａｌｆ）方式等である。
上述したように、図１に示す立体画像表示システム１０においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
＜２．変形例＞
なお、上述実施の形態おいては、１つのコンポーネント・エレメントＩＤに複数の視差ベクトルを関連付けるために、ＤＨＩ（図５４、図５５）内に「number_of_mutiple_link」の情報を配置している。この「number_of_mutiple_link」により、コンポーネント・エレメントＩＤと関連付けされる視差ベクトルの個数が予め指定される。しかし、例えば、パーティション・ポジションＩＤ（Partition_position_id）に、コネクト・フラグ（Connect_flag）を付加して、１つのコンポーネント・エレメントＩＤに複数の視差ベクトルを関連付けする方法も考えられる。
図９６は、コンポーネント・エレメントＩＤに、視差ベクトルを関連付けする方法の一例を示している。ここで、クローズド・キャプション情報のコンポーネント・エレメントＩＤは、ウインドウＩＤ（window_id）である。また、サブタイトル情報のコンポーネント・エレメントＩＤは、リージョンＩＤ（region_id）である。コンポーネント・エレメントＩＤに視差ベクトルを関連付けするために、コンポーネント・エレメントＩＤに対して、視差ベクトルが属する画面領域を示す、例えば最大１３ビットのパーティション・ポジションＩＤが対応付けされる。
このパーティション・ポジションＩＤには、１ビットのコネクト・フラグ（Connect_flag）が付加されている。１つのコンポーネント・エレメントＩＤに１つの視差ベクトルを関連付けする場合、図９６に示すように、このコンポーネント・エレメントＩＤに、１つのパーティション・ポジションＩＤが対応付けされる。この場合、この１つのパーティション・ポジションＩＤに付加されているコネクト・フラグは「０」とされ、この後に、対応付けされているパーティション・ポジションＩＤはないことが示される。
また、１つのコンポーネント・エレメントＩＤに２つの視差ベクトルを関連付けする場合、図９６に示すように、このコンポーネント・エレメントＩＤに、２つのパーティション・ポジションＩＤが対応付けされる。この場合、１番目のパーティション・ポジションＩＤに付加されているコネクト・フラグは「１」とされ、この後に、対応付けされているパーティション・ポジションＩＤがさらにあることが示される。そして、２番目のパーティション・ポジションＩＤに付加されているコネクト・フラグは「０」とされ、この後に、対応付けされているパーティション・ポジションＩＤはないことが示される。
なお、図９６には示していないが、１つのコンポーネント・エレメントＩＤに３つ以上の視差ベクトルを関連付けする場合は、上述した１つのコンポーネント・エレメントＩＤに２つの視差ベクトルを関連付けする場合と同様である。最後の１つ前までのパーティション・ポジションＩＤに付加されているコネクト・フラグは「１」とされ、最後のパーティション・ポジションＩＤに付加されているコネクト・フラグのみが「０」とされる。」
また、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図８６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部２０１を備えている。したがって、図９７に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
この発明は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ〜１１０Ｅ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・サブタイトル・グラフィクス発生部、１１９・・・サブタイトル・グラフィクスエンコーダ、１１９ａ・・・ストリームフォーマッタ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・サブタイトル・グラフィクス処理部、１２５・・・テキスト処理部、１３０・・・データ取り出し部、１３０ａ・・・データ記録媒体、１３１・・・視差情報セット作成部、２００，２００Ａ・・・セットトップボックス、２０１，２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０５Ａ・・・映像・グラフィック処理部、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０，２２０Ａ・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・サブタイトル・グラフィクスデコーダ、２２２Ａ・・・２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・サブタイトルデコーダ、視差ベクトルデコーダ、２２６・・・立体画像用サブタイトル・グラフィクス発生部、２２６Ａ・・・立体画像用サブタイトル発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル抽出部、２３２・・・視差ベクトル取り出し部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像・グラフィック処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル

Claims (15)

  1. 所定組の視差情報セットを作成する視差情報作成部と、
    左眼画像データおよび右眼画像データを含む立体画像データと共に、上記視差情報作成部で作成された上記所定組の視差情報セットを送信するデータ送信部とを備え、
    上記各組の視差情報セットには、それぞれ、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報が含まれ、
    上記各組の視差情報セットには、それぞれ、該視差情報セットに含まれる視差情報を使用すべき上記重畳情報の種類を示す識別情報が付加されている
    立体画像データ送信装置。
  2. 上記視差情報セットには、
    上記識別情報が示す種類の上記重畳情報を表示すべき領域と、該領域に表示される上記重畳情報に視差を付与するために使用する視差情報との対応関係を示すテーブル情報が付加されている
    請求項１に記載の立体画像データ送信装置。
  3. 上記視差情報セットには、
    上記所定数の視差情報が属する画面領域を示す情報が付加されている
    請求項１に記載の立体画像データ送信装置。
  4. 上記画面領域を示す情報は、画面の分割数を示す情報である
    請求項３に記載の立体画像データ送信装置。
  5. 上記画面領域を示す情報は、領域の大きさを示す情報である
    請求項３に記載の立体画像データ送信装置。
  6. 上記視差情報作成部で作成される上記各組の視差情報セットは、上記画像データの所定単位毎の視差情報セットであり、
    上記データ送信部は、上記画像データを一定期間毎に区切り、各一定期間の画像データに対応した上記所定単位毎の視差情報セットを、該各一定期間の画像データの送信に先立って送信し、
    各一定期間の画像データに対応した上記所定単位毎の視差情報セットには、該視差情報セットを用いるタイミングを示す時間情報が付加されている
    請求項１に記載の立体画像データ送信装置。
  7. 上記データ送信部は、
    上記視差情報セット作成部で作成された上記各組の視差情報セットを、上記立体画像データのデータストリームにおけるヘッダ部内のユーザデータ領域に含めて送信する
    請求項１に記載の立体画像データ送信装置。
  8. 所定組の視差情報セットを作成する視差情報作成ステップと、
    左眼画像データおよび右眼画像データを含む立体画像データと共に、上記視差情報作成ステップで作成された上記所定組の視差情報セットを送信するデータ送信ステップとを備え、
    上記各組の視差情報セットには、それぞれ、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報が含まれ、
    上記各組の視差情報セットには、それぞれ、該視差情報セットに含まれる視差情報を使用する上記重畳情報の種類を示す識別情報が付加されている
    立体画像データ送信方法。
  9. 左眼画像データおよび右眼画像データを含む立体画像データと、それぞれ上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報を含むと共に、上記視差情報を使用する上記重畳情報の種類を示す識別情報が付加されている、所定組の視差情報セットを受信するデータ受信部と、
    上記データ受信部で受信された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に、上記データ受信部で受信された上記所定組の視差情報セットの中から、上記識別情報に基づき、該重畳情報の種類に対応した視差情報セットに含まれる視差情報を用いて視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
    を備える立体画像データ受信装置。
  10. 上記視差情報セットには、
    上記識別情報が示す種類の上記重畳情報を表示すべき領域と、該領域に表示される上記重畳情報に視差を付与するために使用する視差情報との対応関係を示すテーブル情報が付加されている
    請求項９に記載の立体画像データ受信装置。
  11. 上記視差情報セットには、
    上記所定数の視差情報が属する画面領域を示す情報が付加されている
    請求項９に記載の立体画像データ受信装置。
  12. 上記画面領域を示す情報は、画面の分割数を示す情報である
    請求項１１に記載の立体画像データ送信装置。
  13. 上記画面領域を示す情報は、領域の大きさを示す情報である
    請求項１１に記載の立体画像データ送信装置。
  14. 上記データ受信部で受信される上記視差情報セットは、上記画像データの所定単位毎の視差情報セットであり、
    上記データ受信部は、上記画像データを一定期間毎に区切り、各一定期間の画像データに対応した上記所定単位毎の視差情報セットを、該各一定期間の画像データの送信に先立って受信し、
    各一定期間の画像データに対応した上記所定単位毎の視差情報セットには、該視差情報セットを用いるタイミングを示す時間情報が付加されており、
    上記データ処理部は、上記重畳情報の重畳期間において、上記画像データの所定単位毎に、上記重畳情報に、対応する視差情報セットに含まれる視差情報による視差を付与する
    請求項９に記載の立体画像データ受信装置。
  15. 左眼画像データおよび右眼画像データを含む立体画像データと、それぞれ上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に視差を付与するための所定数の画面領域に属する視差情報を含むと共に、上記視差情報を使用する上記重畳情報の種類を示す識別情報が付加されている、所定組の視差情報セットを受信するデータ受信ステップと、
    上記データ受信ステップで受信された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報に、上記データ受信ステップで受信された上記所定組の視差情報セットの中から、上記識別情報に基づき、該重畳情報の種類に対応した視差情報セットに含まれる視差情報を用いて視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理ステップと
    を備える立体画像データ受信方法。
JP2010036720A 2009-06-29 2010-02-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 Expired - Fee Related JP5402715B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010036720A JP5402715B2 (ja) 2009-06-29 2010-02-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TW99119279A TW201130286A (en) 2009-06-29 2010-06-14 Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
KR20117003581A KR20120111909A (ko) 2009-06-29 2010-06-22 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법
PCT/JP2010/060588 WO2011001860A1 (ja) 2009-06-29 2010-06-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
EP10794030A EP2451173A4 (en) 2009-06-29 2010-06-22 STEREOSCOPIC IMAGE DATA TRANSMITTER, STEREOSCOPIC IMAGE DATA TRANSMISSION METHOD, STEREOSCOPIC IMAGE DATA RECEIVER AND METHOD FOR RECEIVING STEREOSCOPIC IMAGE DATA
US12/737,779 US8848036B2 (en) 2009-06-29 2010-06-22 Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method
CN201080002869.XA CN102177724B (zh) 2009-06-29 2010-06-22 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
BRPI1004289A BRPI1004289A2 (pt) 2009-06-29 2010-06-22 dispositivos e métodos de transmissão e de recepção de dados de imagem estereoscópica

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009153686 2009-06-29
JP2009153686 2009-06-29
JP2010036720A JP5402715B2 (ja) 2009-06-29 2010-02-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Publications (2)

Publication Number Publication Date
JP2011030186A JP2011030186A (ja) 2011-02-10
JP5402715B2 true JP5402715B2 (ja) 2014-01-29

Family

ID=43410937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010036720A Expired - Fee Related JP5402715B2 (ja) 2009-06-29 2010-02-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Country Status (8)

Country Link
US (1) US8848036B2 (ja)
EP (1) EP2451173A4 (ja)
JP (1) JP5402715B2 (ja)
KR (1) KR20120111909A (ja)
CN (1) CN102177724B (ja)
BR (1) BRPI1004289A2 (ja)
TW (1) TW201130286A (ja)
WO (1) WO2011001860A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치
EP2991347B1 (en) * 2010-07-15 2019-10-23 GE Video Compression, LLC Hybrid video coding supporting intermediate view synthesis
KR101723235B1 (ko) * 2010-10-04 2017-04-04 삼성전자주식회사 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법
JP5049416B2 (ja) * 2011-01-17 2012-10-17 パナソニック株式会社 画像ファイル生成装置、画像ファイル再生装置及び画像ファイル生成方法
WO2012121567A2 (ko) * 2011-03-10 2012-09-13 한국전자통신연구원 실시간 방송 프로그램의 기준 영상과 부가 영상간의 동기화 방법 및 장치
KR20120108639A (ko) * 2011-03-25 2012-10-05 삼성디스플레이 주식회사 셔터 안경 제어 방법 및 이를 수행하기 위한 표시 시스템
US9013631B2 (en) * 2011-06-22 2015-04-21 Google Technology Holdings LLC Method and apparatus for processing and displaying multiple captions superimposed on video images
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
CN103988518B (zh) * 2011-11-25 2018-05-15 日立麦克赛尔株式会社 图像传输装置
US20140078248A1 (en) * 2012-01-13 2014-03-20 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
CN103959769B (zh) 2012-02-02 2016-12-14 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
BR112013026086A2 (pt) * 2012-02-16 2020-08-11 Sony Corporation aparelho de transmissão, método de transmissão e aparelho de recepção
KR101998892B1 (ko) 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
WO2014101150A1 (en) * 2012-12-29 2014-07-03 Thomson Licensing Method and apparatus for viewing an image
CN103634597B (zh) * 2013-11-15 2015-09-30 四川长虹电器股份有限公司 一种在4k2k电视机上解码图片的方法
KR102111436B1 (ko) * 2014-01-06 2020-05-18 에스케이 텔레콤주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
CN107078158B (zh) 2014-11-06 2020-08-28 三菱电机株式会社 碳化硅半导体装置及其制造方法
US9948913B2 (en) 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
CN106385577A (zh) * 2016-09-27 2017-02-08 北京小鸟看看科技有限公司 一种在恢复模式下的分屏显示方法、装置及虚拟现实设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
CN100339875C (zh) 2002-08-27 2007-09-26 夏普株式会社 可用最佳的重放模式重放内容的内容重放装置和内容识别方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP4535954B2 (ja) 2005-04-18 2010-09-01 日本電信電話株式会社 ２眼式立体表示装置およびプログラム
ATE416443T1 (de) * 2005-04-19 2008-12-15 Koninkl Philips Electronics Nv Tiefenwahrnehmung
JP2006325165A (ja) 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US20090284584A1 (en) 2006-04-07 2009-11-19 Sharp Kabushiki Kaisha Image processing device
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
JP2008164367A (ja) 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP4942106B2 (ja) 2007-06-27 2012-05-30 独立行政法人情報通信研究機構 奥行データ出力装置及び奥行データ受信装置
JP2009017198A (ja) 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
SE531899C2 (sv) 2007-07-10 2009-09-01 Agency 9 Ab System för grafikhantering
JP2009101822A (ja) 2007-10-23 2009-05-14 Mazda Motor Corp 車両の追従走行制御装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
RU2546546C2 (ru) * 2008-12-01 2015-04-10 Аймакс Корпорейшн Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией
WO2010095074A1 (en) * 2009-02-17 2010-08-26 Koninklijke Philips Electronics N.V. Combining 3d image and graphical data
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置

Also Published As

Publication number Publication date
KR20120111909A (ko) 2012-10-11
US8848036B2 (en) 2014-09-30
CN102177724B (zh) 2014-07-16
TW201130286A (en) 2011-09-01
BRPI1004289A2 (pt) 2016-03-15
WO2011001860A1 (ja) 2011-01-06
EP2451173A4 (en) 2013-01-02
EP2451173A1 (en) 2012-05-09
CN102177724A (zh) 2011-09-07
US20110134213A1 (en) 2011-06-09
JP2011030186A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407957B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
JP5407968B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
JP5531972B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TWI452892B (zh) Image data transmission device, control method and program
JP5521486B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
WO2011001854A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011166757A (ja) 送信装置、送信方法および受信装置
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131014

LAPS Cancellation because of no payment of annual fees