CN102177724B - 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法 - Google Patents

Abstract

本发明目的是通过使用适合重叠信息类型的视差信息组来给予适当的视差。视差信息组产生单元(131)产生预定的视差信息组。例如，该组可以是通用视差信息组或用于执行特定服务的视差信息组。向由视差信息组产生单元(131)产生的每一个视差信息组添加指示应该使用视差信息组中包括的视差信息的重叠信息的类型的标识信息，并与立体图像数据一起发送。例如，将预定视差信息组插入到视频数据流的用户数据区域，并发送到接收侧。在接收侧，基于标识信息，通过使用适合重叠信息类型的视差信息组，可以将适当的视差给予重叠在左眼图像和右眼图像上的相同的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)。

Description

立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法

技术领域

本发明涉及立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法，具体地说，涉及由此可以适当地执行重叠信息(如闭路字幕信息、字幕信息、图形信息、文本信息等)的显示的立体图像数据传输装置等。

背景技术

例如，通过PTL 1，已经提出了采用立体图像数据的电视广播无线电波的发送方法。在这种情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且在电视接收器上执行利用双目视差(binocular disparity)的立体图像显示。

图98图示了在对象的左和右图像在屏幕上的显示位置与其立体图像的回放位置之间的关系。例如，关于如图中所示那样通过将左图像La移动到右侧且将右图像Ra移动到左侧而显示在屏幕上的对象A，左右视线(visual line)在屏幕表面之前相交，因此其立体图像的回放位置处于屏幕表面之前。DPa表示关于对象A的、水平方向上的视差矢量。

而且，例如，如屏幕上图示的那样，关于左图像Lb和右图像Rb被显示在屏幕上的相同位置的对象B，左右视线在屏幕表面上相交，因此其立体图像的回放位置在屏幕表面上。进一步，例如，关于如图中所示那样通过将左图像Lc移动到左侧且将右图像Rc移动到右侧而显示在屏幕上的对象C，左右视线在屏幕表面之后相交，因此立体图像的回放位置处于屏幕表面之后。DPc表示关于对象C的、水平方向上的视差矢量。

引用列表

专利文献

PTL1：日本待审专利申请公开No.2005-6114

发明内容

技术问题

如上所述，通过立体图像显示，观看者通常通过利用双目视差来识别立体图像的透视。存在这样的期望：例如，要重叠在图像上的重叠信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)也将与作为不仅有二维空间感觉而且还有三维深度感觉的立体图像显示一起经历渲染(rendering)。

例如，在作为闭路字幕信息或字幕信息的字幕经历重叠显示(重叠显示)的情况下，除非在透视场中使用的图像内最近的对象之前显示字幕，否则观看者可能感觉到透视的冲突。而且，在同样以重叠方式在图像上显示另一图形信息或文本信息的情况下，也已经期望根据图像内每一对象的透视使该图形信息或文本信息经历视差调整，并且保持透视的一致性。

本发明的目的是关于重叠信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)的显示，在图像内的各对象之间实现透视一致性的保持。

技术方案

本发明的构思是一种立体图像数据传输装置，包括：视差信息创建单元，被配置为创建预定组视差信息组；以及数据传输单元，被配置为与包括左眼图像数据和右眼图像数据的立体图像数据一起，发送在所述视差信息创建单元上创建的预定组视差信息组；其中所述视差信息组中的每一组包括用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差的、属于预定数量的屏幕区域的视差信息；并且其中所述视差信息组中的每一组被添加有指示应该关于其使用该视差信息组中包括的视差信息的所述重叠信息的类型的标识信息。

对于本发明，由视差信息创建单元创建预定组视差信息组。视差信息组的每一组包括属于预定数量的屏幕区域的视差信息，用于向要重叠在由左眼图像数据和右眼图像数据构成的图像上的重叠信息提供视差。与包括左眼图像数据和右眼图像数据的立体图像数据一起，在视差信息创建单元处创建的预定组视差信息组由数据传输单元发送。在这种情况下，例如，通过将视差信息组创建单元处创建的视差信息组的每一组包括在立体图像数据的数据流的头部内的数据区域中来对其进行发送。

视差信息组的每一组被添加有指示应该关于其使用该视差信息组中包括的视差信息的重叠信息的类型的标识信息。根据该标识信息，进行视差信息组是通用视差信息组还是特定服务应用的视差信息组的确定。对于特定服务应用的示例包括对于闭路字幕和字幕。

以这种方式，对于本发明，与用于显示立体图像的、包括左眼图像数据和右眼图像数据的立体图像数据一起，发送预定组视差信息组，向其添加了指示应该关于其使用对应的视差信息的重叠信息的类型的标识信息。因此，对于接收侧，通过使用适用于该重叠信息的类型的视差信息组，可以将适当的视差添加到重叠在左眼图像和右眼图像的相同的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)。因此，通过重叠信息的显示，可以在最佳状态下保持图像内各对象之间的透视的一致性。

对于本发明，例如，可以将指示预定数量的组的视差信息组所属的屏幕区域的信息应用于视差信息组。指示屏幕区域的信息的示例包括指示屏幕分区数量的信息。分区的数量的示例包括零个分区、四个分区和九个分区。此外，例如，指示屏幕区域的信息是指示区域大小的信息，例如16×16、32×32、64×64等。以这种方式，根据添加的指示预定数量的组的视差信息所属的屏幕区域的信息，在视差信息组中可以包括具有必要空间密度的视差信息，并且对于接收侧，可以识别视差信息组中包括的视差信息的空间密度以及每条视差信息所属的屏幕区域，并且可以易于提取和使用必要屏幕区域的视差信息。

此外，对于本发明，例如，可以向视差信息组添加指示对应关系的表信息，所述对应关系为在应该关于其显示由标识信息指示的类型的重叠信息的区域与用于向要在该区域上显示的重叠信息提供视差的视差信息之间的对应关系。根据施加的这种表信息，对于接收侧，关于要在预定区域中显示的重叠信息，可以添加具有对应于其区域的视差信息的适当的视差。

注意，对于本发明，例如，可以进行这样的安排：其中，要在视差信息输出单元输出的视差信息组的每一组是图像数据的基于预定单元的视差信息，并且数据传输单元对于每一个特定时间段分割图像数据，并在发送每一个特定时间段的该图像数据之前，发送与每一个特定时间段的图像数据对应的基于预定单元的视差信息组，并且与每一个特定时间段的图像数据对应的基于预定单元的视差信息组被添加有指示用于使用该视差信息组的定时的时间信息。

在这种情况下，对于接收侧，在重叠信息的重叠时间段期间，根据对应的视差信息组的视差可以添加到图像数据的每一个预定单元的重叠信息。也就是说，添加到重叠信息的视差可以与图像内容的改变动态地改变。此外，对于与每一个特定时间段的图像数据对应的基于预定单元的视差信息组，添加指示使用该视差信息组的定时的时间信息，因此对于接收侧，可以在正确的定时使用基于预定单元的视差信息组。

此外，本发明的构思是一种立体图像数据接收装置，包括：数据接收单元，被配置为接收预定组视差信息组，所述视差信息组包括：立体图像数据，包含左眼图像数据和右眼图像数据；以及视差信息，属于预定数量的屏幕区域，用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差，并且还向所述视差信息组添加指示使用所述视差信息的所述重叠信息的类型的标识信息；以及图像数据处理单元，被配置为基于所述标识信息，在所述数据接收单元处接收到的所述预定组视差信息组之中，通过使用与重叠在由在所述数据接收单元处接收到的所述立体图像数据中包括的所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息的类型对应的视差信息组中包括的视差信息，向该重叠信息提供视差，以获得重叠了所述重叠信息的左眼图像的数据以及重叠了所述重叠信息的右眼图像的数据。

对于本发明，根据数据接收单元，与包括左眼图像数据和右眼图像数据一起，接收预定组视差信息组。视差信息组的每一组包括属于预定数量的屏幕区域的视差信息，用于向要重叠在由左眼图像数据和右眼图像数据构成的图像上的重叠信息提供视差。

此外，对于视差信息组的每一组，添加指示应该关于其使用该视差信息组中包括的视差信息的重叠信息的类型的标识信息。根据该标识信息，进行视差信息组是通用视差信息组还是特定服务应用的视差信息组的确定。对于特定服务应用的示例包括对于闭路字幕和对于字幕。

根据图像数据处理单元，通过使用左眼图像数据、右眼图像数据和视差信息组，将视差添加到重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得重叠了重叠信息的左眼图像的数据和重叠了重叠信息的右眼图像的数据。在这种情况下，基于标识信息，在预定组视差信息组之中，使用对应于重叠信息的类型的视差信息组中包括的视差信息来添加视差。

因此，通过使用适用于该重叠信息的类型的视差信息组，可以将适当的视差添加到要重叠在左图像和右图像的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)。因此，通过重叠信息的显示，可以在最佳状态下保持图像内各对象之间的透视的一致性。

对于本发明，例如，添加指示预定数量的组的视差信息所属的屏幕区域的信息。指示屏幕区域的信息的示例包括指示屏幕分区的数量的信息。分区的数量的示例包括零个分区、四个分区和九个分区。此外，指示屏幕区域的信息例如是指示区域大小(块大小)的信息，例如16×16、32×32、64×64等。以这种方式，根据添加的指示预定数量的组的视差信息组所属的屏幕区域的信息，可以识别在视差信息组中包括的视差信息的空间密度和每一个视差信息所述的屏幕区域，并且可以易于提取和使用必要屏幕尺寸的视差信息。

此外，对于本发明，例如，可以向视差信息组添加指示对应关系的表信息，所述对应关系为在应该关于其显示由所述标识信息指示的类型的所述重叠信息的区域与用于向要在该区域上显示的所述重叠信息提供视差的视差信息之间的对应关系。根据施加的这种表信息，关于要在预定区域中显示的重叠信息，可以添加具有与其区域对应的视差信息的适当的视差。

此外，对于本发明，例如，进行这样的安排：其中，在数据接收单元处接收到的视差信息组是图像数据的基于预定单元的视差信息组，数据接收单元，并且数据接收单元在发送每一个特定时间段的该图像数据之前，接收与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组，并且对于每一个特定时间段的图像对应的所述基于预定单元的视差信息组，添加指示用于使用该视差信息组的定时的时间信息，并且数据处理单元在重叠信息的重叠时间段期间，向图像数据的每一个预定单元的重叠信息提供根据对应的视差信息组的视差。

在这种情况下，在重叠信息的重叠时间段期间，可以将根据对应的视差信息组的视差应用于图像数据的每一个预定单元的重叠信息。也就是说，添加到重叠信息的视差可以与图像内容中的改变一起动态地改变。此外，对于与每一个特定时间段的图像数据对应的基于预定单元的视差信息组，添加指示用于使用该视差信息组的定时的时间信息，因此可以在正确的时间使用基于预定单元的视差信息组。

本发明的有利效果

根据本发明，通过使用适用于该重叠信息的视差信息组，可以将适当的视差添加到要重叠在左眼图像和右眼图像上的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)，并且可以在最佳状态下保持图像内各对象之间的透视的一致性。

附图说明

图1是图示作为本发明的实施例的立体图像显示系统的示例配置的块图。

图2是图示广播站中的传输数据产生单元的示例配置的块图。

图3是图示1920×1080p像素格式的图像数据的图。

图4是用于描述作为立体图像数据(3D图像数据)传输方法的“上下(Top&Bottom)”方法、“并排(Side By Side)”方法和“帧顺序(Frame Sequential)”方法的图。

图5是用于描述检测右眼图像对应于左眼图像的视差矢量的示例的图。

图6是用于描述使用块匹配方法获得视差矢量的图。

图7是图示视差矢量检测单元检测到的、图像中的预定位置处的视差矢量VV的示例的图。

图8是图示视差矢量的传输内容的图。

图9是图示视差检测块示例以及在这种情况下视差矢量的传输内容的图。

图10是图示检测和发送视差矢量的定时的示例的图。

图11是图示检测和发送视差矢量的定时的示例的图。

图12是图示在传输数据产生单元处被多路复用的每一个数据的流示例的图。

图13是图示广播站中的传输数据产生单元的另一配置示例的块图。

图14图示了在广播站中的传输数据产生单元处被多路复用的每一个流的示例。

图15是图示广播站中的传输数据产生单元的另一配置示例的块图。

图16图示了在广播站中的传输数据产生单元处被多路复用的每一个流的示例。

图17是用于描述在传输方法为第一传输方法(“上下方法”)的情况下左图形信息和右图形信息的重叠位置等的图。

图18是用于描述在传输方法为第一传输方法(“上下”方法)的情况下用于产生左图形信息和右图形信息的方法的图。

图19是用于描述在传输方法为第二传输方法(“并排”方法)的情况下用于产生左图形信息和右图形信息的方法的图。

图20是用于描述在传输方法为第二传输方法(“并排”方法)的情况下用于产生左图形信息和右图形信息的方法的图表。

图21是图示广播站中的传输数据产生单元的另一配置示例的块图。

图22是图示广播站中的传输数据产生单元的另一配置示例的块图。

图23是图示在每一个像素的视差矢量的值用作每一个像素的亮度值的情况下的图像示例的图。

图24是图示每一块(Block)的视差矢量的示例的图。

图25是图示传输数据产生单元的视差信息组创建单元处执行的小型化处理的图。

图26是图示字幕和应用图形的显示示例以及图像上的其透视的图。

图27是用于描述视差序列ID(Disparity Sequence id)的图。

图28是图示要在情况(1)(发送单独的通用视差信息组(在与特定服务没有关系的情况下))下创建的视差信息组的示例的图。

图29是图示在情况(1)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息组(封包视差组)的群等等的图。

图30是图示要在情况(2)(发送单独的通用视差信息组(在与特定服务有关系的情况下))下创建的视差信息组的示例的图。

图31是图示在情况(2)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息组(封包视差组)的群等等的图。

图32是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。

图33是图示在情况(2)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息组(封包视差组)的群等等的图。

图34是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。

图35是图示要在情况(3)(发送通用视差信息组和特定服务应用的视差信息组二者)下创建的视差信息组的示例的图。

图36是图示在情况(3)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息组(封包视差组)的群等等的图。

图37是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。

图38是图示要在情况(4)(发送单独的特定服务应用的视差信息组)下创建的视差信息组的示例的图。

图39是图示在情况(4)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息组(封包视差组)的群等等的图。

图40是用于描述通过使用基本PID(Elementary_PID)在字幕片段(Subtitle_Segment)与视差矢量数据(Disparity_Data)之间的关联性的图。

图41是示意性图示视频基本流的结构示例的图。

图42是图示根据MPEG2、H.264AVC和VC-1的每一个编码方法的用户数据的结构示例的图。

图43是图示在视差序列ID(Disparity_Sequence_id)和服务之间相关联的视差链接描述符(Disparity_Linkage_Descriptor)的结构示例的图。

图44是图示视差链接描述符(Disparity_Linkage_Descriptor)的每一条信息的内容的图。

图45是图示在通过将视差信息组插入到图像数据流的用户数据区来将其发送到接收侧的情况下，以及在通过将包括视差信息组的视差矢量的基本流(PES)与另一个流多路复用来将其发送到接收侧的情况下，PID的示例的图。

图46是图示添加了“Disparity_Sequence_id＝1”的视差信息组与字幕相关联(链接到字幕)的示例、以及添加了“Disparity_Sequence_id＝2”的视差信息组与闭路字幕相关联(链接到闭路字幕)的示例的图。

图47是图示视差信息组与字幕相关联的情况的图。

图48是图示视差信息组与字幕相关联的情况的图。

图49是图示视差信息组与闭路字幕相关联(然而，通过将闭路字幕数据插入到图像数据流的用户区来将其发送到接收侧)的情况的图。

图50是图示视差信息组与闭路字幕相关联(然而，通过将闭路字幕数据插入到图像数据流的用户区来将其发送到接收侧)的情况的图。

图51是图示包括视差信息(Disparity_Information)的用户数据的详细结构的示例的图。

图52是图示视差信息(Disparity_Information)的结构的图。

图53是图示视差信息数据(Disparity_Information_Data)中包括的DSL(Disparity_Information_Link_Information)的结构的图。

图54是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的结构的图。

图55是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的结构的图。

图56是图示视差信息数据(Disparity_Information_Data)中包括的DDS(Disparity_Data_Set)的结构的图。

图57是图示DSL、DHI和DDS中每一条信息的内容的图。

图58是图示DSL、DHI和DDS中每一条信息的内容的图。

图59是图示DSL、DHI和DDS中每一条信息的内容的图。

图60是图示DSL、DHI和DDS中每一条信息的内容的图。

图61是用于描述DHI中包括的“Partition”信息的图。

图62是图示广播站中的传输数据产生单元的另一配置示例的块图。

图63是图示在传输方法是第二传输方法(“并排”方法)的情况下左图像信息和右图形信息的重叠位置等的图。

图64是图示将从位流数据提取的、通过传统方法发送的图形数据所构成的图形图像照原样重叠在左眼图像和右眼图像上的状态的图。

图65是图示在时间点T0、T1、T2和T3处在三个对象位置中的视差矢量(观察矢量)的图。

图66是图示图像上的字幕(图形信息)、背景、近视图对象和字幕的透视(perspective)的显示示例的图。

图67是图示图像上的字幕(图形信息)以及用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的显示示例的图。

图68是用于描述在图像内的多个位置处检测到的视差矢量，与其重叠位置对应的视差矢量用作视差矢量的图。

图69是用于描述在图像内的多个位置处检测到的视差矢量，与其重叠位置对应的视差矢量用作视差矢量的图。

图70是图示在图像内存在对象A、B和C并且指示每个对象的备注的文本信息被重叠在这每一个对象的相邻位置上的图。

图71是图示构成立体图像显示系统的机顶盒的配置示例的块图。

图72是图示构成机顶盒的位流处理单元的配置示例的块图。

图73是图示在关于视差矢量VV1，朝向电视显示器的左侧的视频对象较大的情况下，扬声器输出控制示例的图。

图74是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。

图75是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。

图76是图示从广播站发送的图像数据、闭路字幕数据、图形数据和视差信息组的对应关系的图。

图77是图示构成机顶盒的位流处理单元的另一配置示例的块图。

图78是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。

图79是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。

图80是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。

图81是图示从广播站发送的图像数据、闭路字幕数据、图形数据和视差信息组的对应关系的图。

图82是图示构成机顶盒的位流处理单元的另一配置示例的块图。

图83是图示构成机顶盒的位流处理单元的另一配置示例的块图。

图84是图示构成机顶盒的位流处理单元的另一配置示例的块图。

图85是图示在左眼图像和右眼图像上重叠字幕信息和图形信息的示例的图。

图86是图示构成立体图像显示系统的电视接收机的配置示例的图。

图87是图示HDMI传输单元(HDMI信源)和HDMI接收单元(HDMI信宿)的配置示例的块图。

图88是图示构成HDMI传输单元的HDMI发送器以及构成HDMI接收单元的HDMI接收器的示例配置的块图。

图89是图示TMDS传输数据的配置示例(在具有宽×长为1920像素×1080行的图像数据的情况下)的图。

图90是图示连接信源装置和信宿装置的HDMI线缆的HDMI端子的管脚阵列的图。

图91是图示E-EDID的数据结构示例的图。

图92是图示厂商专用区域(HDMI厂商专用数据块)的数据结构示例的图。

图93是图示作为立体图像数据的一种TMDS传输数据结构的、根据帧封装方法(frame packing method)的3D视频格式的图。

图94是图示作为立体图像数据的一种TMDS传输数据结构的线交替方法(line alternative method)的3D视频格式的图。

图95是图示作为立体图像数据的一种TMDS传输数据结构的、根据并排(全)(side-by-side(Full))方法的3D视频格式的图。

图96是用于将分量元素ID与视差矢量相关联的另一种方法的图。

图97是图示立体图像显示系统的另一个配置示例的图。

图98是图示通过利用双目视差的立体图像显示，屏幕上对象的左右图像的显示位置与其立体图像的回放位置之间的关系的图。

具体实施方式

以下将描述实现本发明的方式(以下称为“实施例”)。注意，该描述将按以下顺序给出。

1、实施例

2、变型

<1、实施例>

[立体图像显示系统的配置示例]

图1图示了用作实施例的立体图像显示系统10的配置示例。该立体图像显示系统10包括广播站100、机顶盒(STB：Set Top Box)200和电视接收器300。

机顶盒200和电视接收器300经由HDMI(High Definition MultimediaInterface，高清多媒体接口)线缆400连接。机顶盒200提供有HDMI端子202。电视接收器300提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，而HDMI线缆400的另一端连接到电视接收器300的HDMI端子302。

[广播站的描述]

广播站通过在广播波上携带位流数据来发送该位流数据。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，还包含视差信息(视差矢量)等。这里，重叠信息数据包括闭路字幕(closed caption)数据、字幕数据、图形数据、文本数据等。

[传输数据产生单元的配置示例]

图2图示用于产生上述位流数据的传输数据产生单元110的配置示例。这个配置示例是发送视差矢量作为数字信息的示例。该传输数据产生单元110包括相机111L和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。

此外，该传输数据产生单元110包括麦克风116、音频编码器117、字幕和图形生成单元118、字幕和图形编码器119、文本产生单元120、文本编码器121和多路复用器122。注意，对于本实施例，文本产生单元120还将用作产生闭路字幕数据的单元。该闭路字幕数据是执行闭路字幕的字幕显示的文本数据。

相机111L拍摄左眼图像以获得用于立体图像显示的左眼图像数据。相机111R拍摄右眼图像以获得用于立体图像显示的右眼图像数据。视频成帧单元112将在相机111L获得的左眼图像数据以及在相机111R获得的右眼图像数据处理成根据传输方法的状态。

[立体图像数据的传输方法示例]

现在，将引用以下第一至第三方法，作为立体图像数据(3D图像数据)的传输方法，但可以是这些方法以外的传输方法。这里如图3所示，将就这样的情况给出描述：左眼(L)和右眼(R)的每个图像数据是具有确定的分辨率(例如，作为示例，1920×1080p的像素格式)的图像数据。

第一传输方法是“上下”方法，如图4中的(a)所示，其是这样的方法：在垂直方向的上一半中发送左眼图像数据的每一行的数据，而在垂直方向的下一半中发送右眼图像数据的每一行的数据。在这种情况下，左眼图像数据和右眼图像数据的行被稀疏到1/2，所以垂直分辨率减小到原始信号的分辨率的一半。

第二传输方法是“并排”方法，如图4中的(b)所示，其是这样的方法：在水平方向的前一半中发送左眼图像数据的每一行的数据，而在水平方向的后一半中发送右眼图像数据的每一行的数据。在这种情况下，对于左眼图像数据和右眼图像数据中的每一个，将水平方向上的像素数据稀疏到1/2，因此水平分辨率减小到当前信号的一半。

第三传输方法是“帧顺序”方法，如图4中的(c)所示，其是这样的方法：通过对于每一场顺序切换左眼图像数据和右眼图像数据，来发送这些左眼图像数据和右眼图像数据。

返回图2，视频编码器113使得在视频成帧单元112处理的立体图像数据经历编码，如MPEG4-AVC，MPEG2，VC-1等，以获得编码视频数据。此外，视频编码器113在后级包括流格式器113a。根据该流格式器113a，产生视频的基本流，所述视频的基本流的有效载荷部分包括视频数据。

视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是图像内预定位置处有关于左眼图像和右眼图像之一的另一个的视差信息。这里，图像内的预定位置是所有像素位置、多个像素形成的每一个区域的代表性位置、要重叠重叠信息(这里为图形信息或文本信息)的区域的代表性位置等。

[视差矢量的检测]

将描述视差矢量的检测示例。这里，将给出对于检测右眼图像关于左眼图像的视差矢量的情况的描述。如图5所示，假设将左眼图像作为检测图像，而将右眼图像作为参考图像。对于这个示例，将检测位置(xi，yi)和(xj，yj)处的视差矢量。

作为示例，将对于检测位置(xi，yi)处的视差矢量的情况进行描述。在这种情况下，对于左眼图像设置以像素位置(xi，yi)作为左上的例如8×8或16×16的像素块(视差检测块)Bi。然后，对于右眼图像，搜索匹配像素块Bi的像素块。

在这种情况下，对于右眼图像设置以位置(xi，yi)作为中心的搜索范围，并且通过将搜索范围中的每个像素顺序当作感兴趣像素来顺序地设置与以上像素块Bi类似的例如8×8或16×16的对照块。

获得每一个对应像素在像素块Bi与顺序设置的对照块之间的绝对差值的总和。这里，如图6所图示，如果我们说像素块Bi的像素值是L(x，y)，并且对照块的像素值是R(x，y)，则像素块Bi与某个对照块之间的绝对差值的总和被表示为∑|L(x，y)-R(x，y)|。

当对于右眼图像设置的搜索范围中包括n个像素时，最终获得用以选择最小总和Smin的n个总和S1至Sn。然后，从对其获得了总和Smin的对照块获得左上像素的位置(xi′，yi′)。从而，检测位置(xi，yi)中的视差矢量，如位置(xi，yi)中的(xi′-xi，yi′-yi)。虽然将省略详细描述，但同样对于位置(xj，yj)中的视差矢量，对于左眼图像设置以像素位置(xj，yj)作为左上的例如8×8或16×16的像素块(视差检测块)Bj，并且在相同的处理中进行检测。

图7中的(a)图示图像内的预定位置处的视差矢量VV(其在视差矢量检测单元114检测)的示例。这种情况意味着：如图7中的(b)所示，对于该图像内的预定位置，当以视差矢量VV移位左眼图像(检测图像)时，交迭右眼图像(参考图像)。

返回参考图2，视差矢量编码器115产生视差矢量(包括在视差矢量检测单元114等处检测到的视差矢量)的基本流。这里，视差矢量的基本流包括下列内容。具体地说，将ID(ID_Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)设置为一组。然后，将这个组重复N(其数量等于视差检测块的数量)次。

图8图示了视差矢量的传输内容。视差矢量包括垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)。

注意，视差检测块的垂直和水平位置变为在垂直方向和水平方向上从图像的左上原点到该块的左上像素的偏移值。对于每一个视差矢量的传输添加视差检测块的ID的原因在于：链接到要在图像上重叠和显示的重叠信息式样(诸如闭路字幕信息、字幕信息、图形信息、文本信息等)。

例如，如图9中的(a)所示，当存在视差检测块A至F时，如图9中的(b)所示，传输内容包括视差检测块A至F的ID、垂直和水平位置信息和视差矢量。例如，在图9中的(b)中，对于视差检测块A，ID2指示视差检测块A的ID，(Ha，Va)指示视差检测块A的垂直和水平位置信息，而视差矢量a指示视差检测块A的视差矢量。

现在，将描述检测和发送视差矢量的定时。关于该定时，例如，可以想到下列第一至第四示例。

对于第一示例，如图10中的(a)所示，该定时与画面的编码同步。在这种情况下，以画面的增量发送视差矢量。画面的增量是发送视差矢量时最精细的增量。对于第二示例，如图10中的(b)所示，该定时与视频场景同步。在这种情况下，以场景的增量发送视差矢量。

对于第三示例，如图10中的(c)所示，该定时与编码视频的I-画面(内画面)或GOP(画面组)同步。对于第四示例，如图11所示，该定时与要在图像上重叠和显示的显示开始定时(如，字幕信息、图形信息、文本信息等)同步。

返回图2，麦克风116检测与在相机111L和111R拍摄的图像对应的音频，以获得音频数据。音频编码器117在麦克风116处获得的音频数据经历编码(如，MPEG-2、音频AAC等)，以产生音频基本流。

字幕和图形生成单元118生成要重叠在图像上的字幕信息和图形信息的数据(字幕数据和图形数据)。字幕信息例如是字幕。除此而外，图形信息例如是徽标(logo)等。字幕数据和图形数据被添加了在图像上指示重叠位置的空闲(idling)偏移信息。

该空闲偏移信息指示例如在垂直方向和水平方向上从图像的左上原点到字幕信息或图形图像的重叠位置的左上像素的偏移值。注意，通过使用DVB(其为欧洲数字广播标准)将用以将字幕数据作为位图数据发送的标准标准化为DVB_Subtitling，并且操作所述标准。

字幕和图形编码器119输入在字幕和图形生成单元118处生成的字幕信息和图形信息的数据(字幕数据和图形数据)。然后，该字幕和图形编码器119产生带有有效载荷部分中包括这些数据的基本流。

文本生成单元120生成要重叠在图像上的文本信息的数据(文本数据)。文本信息例如是电子节目指南、文本广播内容等。以与上述图形数据相同的方式，该文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。该空闲偏移信息指示在垂直方向和水平方向上从图像的左上原点到文本信息的重叠位置的左上像素的偏移值。注意，文本数据的传输的示例包括作为节目预约操作的EPG以及美国数字陆路规范ATSC的CC_数据(闭路字幕)。

文本编码器121输入在文本生成单元120处生成的文本数据。然后，文本编码器121产生带有有效载荷部分中包括这些数据的基本流。

多路复用器122多路复用从编码器113、115、117、119和121输出的分包基本流。然后，多路复用器122输出用作传输数据的位流数据(传送流)BSD。

将粗略地描述在图2中所示的传输数据产生单元110的操作。通过相机111L，拍摄左眼图像。将用于立体图像显示的、在相机111L处拍摄的左眼图像数据供应到视频成帧单元112。此外，通过相机111R，拍摄右眼图像。将用于立体图像显示的、在相机111R处拍摄的右眼图像数据供应到视频成帧单元112。通过视频成帧单元112，将左眼图像数据和右眼图像数据处理为根据传输方法的状态，并且获得立体图像数据(参看图4中的(a)至(c))。

将在视频成帧单元112处获得的立体图像数据供应到视频编码器113。通过视频编码器113，使立体图像数据经历编码，如MPEG4-AVC、MPEG2、VC-1等，并产生包括编码视频数据的视频基本流。将该视频基本流供应到多路复用器122。

此外，通过视频成帧单元112将相机111L和111R处获得的左眼图像数据和右眼图像数据供应到视差矢量检测单元114。通过该视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，将视差检测块设置到图像中的预定位置，并检测作为关于左眼图像和右眼图像之一的另一个视差信息的视差矢量。

将在视差矢量检测单元114处检测到的、图像内预定位置中的视差矢量供应到视差矢量编码器115。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量被作为一组而给出。通过视差矢量编码器115，产生包括视差矢量的传输内容的视差矢量基本流(参看图8)。将视差矢量基本流供应到多路复用器122。

此外，通过麦克风116，检测与在相机111L和111R处拍摄的图像对应的音频。将在该麦克风116处获得的音频数据供应到音频编码器117。通过音频编码器117，使音频数据经历编码，如MPEG-2音频AAC等，并且产生包括编码音频数据的音频基本流。将该音频基本流供应到多路复用器122。

此外，通过字幕和图形生成单元118，生成要在图像上重叠的字幕信息和图形信息的数据(字幕数据、图形数据)。将这种数据(位图数据)供应到字幕和图形编码器119。字幕和图形数据被添加了指示在图像上的重叠位置的空闲偏移信息。通过字幕和图形编码器119，使该图形数据经历预定编码，并且产生包括编码数据的基本流。将该基本流供应到多路复用器122。

此外，通过文本生成单元120，生成要在图像上重叠的文本信息的数据(文本数据)。将该文本数据供应到文本编码器121。以与上述图形数据相同的方式，文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。通过文本编码器121，使该文本数据经历预定编码，并且产生包括编码数据的基本流。将该基本流供应到多路复用器122。

通过多路复用器122，多路复用从每一个编码器供应的基本流的包，并获得用作传输数据的位流数据(传送流)BSD。

图12图示了要在图2中所示的传输数据产生单元110中被多路复用的每一个数据的流示例。注意，这个示例图示了以视频场景为增量检测并发送视差矢量的情况(参看图10中的(b))。注意，用于同步显示的时间戳被添加到了每一个流的包，并且通过接收侧，可以控制关于图像的重叠定时，如字幕信息、图形信息、文本信息等。

[传输数据产生单元的另一配置示例]

注意，图2中图示的上述传输数据产生单元110被配置为将视差矢量的传输内容(参看图8)发送到接收侧作为独立基本流。然而，也可以想到，通过嵌入另一流来发送视差矢量的传输内容。例如，通过嵌入作为用户数据的视频流来发送视差矢量的传输内容。此外，例如，通过嵌入字幕、图形或文本的流来发送视差矢量的传输内容。

图13图示传输数据产生单元110A的配置示例。这个示例也是发送视差矢量作为数字信息的示例。该传输数据产生单元110A被配置为通过将视差矢量的传输内容嵌入作为用户数据的视频流来发送该视差矢量的传输内容。在图13中，与图2中的这些对应的部分以同样的附图标记表示，并且省略了其详细描述。

通过该传输数据产生单元110A，将在视差矢量检测单元114处检测到的、图像内预定位置处的视差矢量供应到视频编码器113内的流格式器113a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组被给出。通过流格式器113a，将视差矢量的传输内容(参看图8)嵌入作为用户数据的视频流。

虽然省略了详细描述，但是在图13中图示的传输数据产生单元110A的其他组件以与在图2中图示的传输数据产生单元110相同的方式配置。

图14图示在图13中所示的传输数据产生单元110A处要多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。通过嵌入图像数据流来发送视差矢量(视差信息)。

[传输数据产生单元的另一配置示例]

图15图示了传输数据产生单元110B的配置示例。该示例也是发送视差矢量作为数字信息的示例。该传输数据产生单元110B被配置为通过将视差矢量的传输内容嵌入字幕或图形数据流来发送该视差矢量的传输内容。在该图15中，对应于图2的部分以同样的附图标记表示，并且省略了其详细描述。

对于该传输数据产生单元110B，将在视差矢量检测单元114处检测到的图像内预定位置中的视差矢量供应到字幕和图形编码器119内的流格式器119a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组被给出。通过流格式器119a，将视差矢量的传输内容(参见图8)嵌入字幕或图形数据流。

虽然省略了详细描述，但是在图15中图示的传输数据产生单元110B的其他组件以与在图2中图示的传输数据产生单元110相同的方式配置。

图16图示了在图15中所示的传输数据产生单元110B处要多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。通过将视差矢量(视差信息)嵌入字幕或图形数据流来发送该视差矢量。

[传输数据产生单元的另一配置示例]

此外，图2、图13和图15中所示的以上传输数据产生单元110、110A和110B发送视差矢量作为数字信息(参见图8)。然而，代替发送视差矢量作为数字信息，也可以想到，通过在发送侧预先将视差信息反映在要重叠在图像上的重叠信息(如，字幕信息、图形信息、文本信息等)的数据上来发送视差矢量。

例如，在图形信息的数据上反映视差信息的情况下，通过发送侧，产生与要重叠在左眼图像上的左眼图形信息和要重叠在右眼图像上的右眼图形信息两者对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是同样的图形信息。然而，对于图像内的显示位置，例如，设置右眼图形信息以便关于左图形信息，相对于水平方向的移动等于与其显示位置对应的视差矢量的水平方向分量。

例如，关于视差矢量，在图像内多个位置处检测到的视差矢量之中，使用与视差矢量的重叠位置对应的视差矢量。此外，例如，关于视差矢量，在图像内多个位置处检测到的视差矢量之中，使用就透视而言被辨认为最近的位置处的视差矢量。注意，虽然省略了详细描述，但对于字幕信息或图形信息的数据上反映视差信息的情况同样如此。

图17中的(a)图示在传输方法为上述第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。这些左眼图形信息和右眼图形信息为同一信息。然而，要被重叠在右眼图像IR上的右眼图形信息RGI被设置到在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位等于视差矢量的水平方向分量VVT的位置处。

如图17中的(a)所示，产生图形数据以便将每一条图形信息LGI和RGI重叠在每一个区域IL和IR上。从而，如图17中的(b)所示，观察者可以通过使用视差，与每一个图像IL和IR一起观察每一条图形信息LGI和RGI，因此还能够识别出关于图形信息的透视。

例如，如图18中的(a)所示，产生每一条图形信息LGI和RGI的图形数据作为单一区域的数据。在这种情况下，应该将每一条图形信息LGI和RGI以外的部分的数据产生为透明数据。此外，例如，如图18中的(b)所示，将每一条图形信息LGI和RGI的图形数据产生为分离区域的数据。

图19中的(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。这些左眼图形信息和右眼图形信息为同一信息。然而，要重叠在右眼图像IR上的右眼图形信息RGI被设置到在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位等于视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。

产生图形数据，如图19中的(a)所示，以便将图形信息LGI和RGI分别重叠在图像IL和IR上。从而，如图19中的(b)所示，观察者可以通过使用视差，与每一个图像IL和IR一起观察每一条图形信息LGI和RGI，因此还能够识别出关于图形信息的透视。

例如，如图20所示，将每一条图形信息LGI和RGI的图形数据产生为单一区域的数据。在这种情况下，可以将在每一条图形信息LGI和RGI以外的部分的数据产生为透明数据。

图21图示传输数据产生单元110C的配置示例。该传输数据产生单元110C被配置为通过将视差信息反映在重叠信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)的数据上来发送视差信息。在该图21中，与图2中的那些对应的部分以相同的附图标记表示，其详细描述将被省略。

对于传输数据产生单元110C，在字幕和图形生成单元118与字幕和图形编码器119之间插入字幕和图形处理单元124。此外，对于传输数据产生单元110C，在文本生成单元120与文本编码器121之间插入文本处理单元125。然后，将视差矢量检测单元114检测到的、图像内预定位置处的视差矢量供应到字幕和图形处理单元124和文本处理单元125。

通过字幕和图形处理单元124，产生要重叠在左眼图像IL和右眼图像IR上的左眼和右眼的字幕和图形信息LGI和RGI的数据，并且在这种情况下，基于在字幕和图形生成单元118处生成的字幕数据和图形数据产生要重叠在左眼图像IL和右眼图像IR上的左眼和右眼的字幕和图形信息LGI和RGI的数据。然而，例如，关于图像内的重叠位置，设置右眼的字幕信息和图形信息，以便在水平方向上关于左眼的字幕信息和图形信息移位视差矢量的水平方向分量VVT(参看图17中的(a)和图19中的(a))。

以这种方式，将在字幕和图形处理单元124处产生的字幕数据和图形数据供应到字幕和图形编码器119。注意，字幕数据和图形数据添加有指示图像上的重叠位置的空闲偏移信息。通过字幕和图形编码器119，产生在字幕和图形处理单元124处产生的字幕数据和图形数据的基本流。

此外，通过文本处理单元125，基于在文本生成单元120处生成的文本数据，产生要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息，但是，例如，关于图像内的叠加位置，设置右文本信息以便在水平方向上关于左眼文本信息移位视差矢量的水平方向分量VVT。

以这种方式，将在文本处理单元125处产生的文本数据供应到文本编码器121。注意，该文本数据添加有指示图像上的重叠位置的空闲偏移信息。通过文本编码器121，产生在文本处理单元处产生的文本数据的基本流。

尽管将省略详细描述，但是图21中所示的传输数据产生单元110C的其他组件以与图2中所示的传输数据产生单元110相同的方式配置。

[传输数据产生单元的另一配置示例]

对于图2、图13和图15中所示的传输数据产生单元110、110A和110B，视差矢量检测单元114基于左眼图像数据和右眼图像数据，检测图像内预定位置处的视差矢量(视差信息)。传输数据产生单元110、110A和110B被配置为发送在视差矢量检测单元114处检测到的、图像内预定位置处的视差信息。

然而，例如，可以想到的是，使以与图像数据相关联的方式在数据记录介质中记录的每一个像素的视差矢量经历小型化处理，并且创建包括属于通过将屏幕分割为预定尺寸而获得的一个或多个区域的视差信息的视差信息组。在这种情况下，例如，基于接收侧要求的视差矢量的空间密度或传输带，选择每一个区域的尺寸。

此外，对于视差信息组，可以想到通用视差信息组和特定服务应用的视差信息组。特定服务应用的示例包括闭路字幕和字幕。接下来，对于要发送到接收侧的视差信息组，可以想到如下情况。

(1)单独发送通用视差信息组(在与特定服务没有关系的情况下)

(2)单独发送通用视差信息组(在与特定服务有关系的情况下)

(3)发送通用视差信息组和特定服务应用的视差信息组二者

(4)单独发送特定服务应用的视差信息组

图22图示传输数据产生单元110D的配置示例。该传输数据产生单元110D被配置为创建与以上情况(1)到(4)之一对应的预定组视差信息组，并将预定组视差信息组发送到接收侧。在该图22中，对应于图2的部分以相同的附图标记表示，并且将适当地省略其详细描述。

该传输数据产生单元110D包括数据提取单元(存档单元)130、视差信息组创建单元131、视频编码器113和音频编码器117。此外，该传输数据产生单元110D包括字幕和图形生成单元118、字幕和图形编码器119、文本生成单元120、文本编码器121和多路复用器122。

数据记录介质130a例如可拆卸地安装在数据提取单元130上。音频数据和视差矢量与包括左眼图像数据和右眼图像数据的立体图像数据一起以相关联的方式记录在该数据记录介质130a中。数据提取单元130从数据记录介质130a中提取并输出立体图像数据、音频数据、视差矢量等。数据记录介质130a是盘状记录介质、半导体存储器等。

这里，数据记录介质130a中记录的立体图像数据等价于在图2中所示的传输数据产生单元110的视频成帧单元112处获得的立体图像数据。此外，数据记录介质130a中记录的视差矢量例如是构成图像的每一个像素的视差矢量。

视差信息组创建单元131具有取景器功能。该视差信息组创建单元131使从数据提取单元130输出的视差矢量(即，每个像素的视差矢量)经历小型化处理，以产生属于预定区域的视差矢量。

图23图示要按照每一个像素的亮度值这样给出的相对深度方向上的数据的示例。这里，相对深度方向上的数据可以通过预定转换作为每一个像素的视差矢量来处理。对于该示例，人物部分的亮度值高。这意味着人物部分的视差矢量的值很大，因此，对于立体图像显示，这意味着感觉该人物部分处于越来越靠近的状态。此外，对于该示例，背景部分的亮度值低。这意味着背景部分的视差矢量的值小，因此，对于立体图像显示，这意味着感觉该背景部分处于越来越远离的状态。

图24图示每一块(Block)的视差矢量的示例。该块等价于位于最低层的像素的顶层。该块由在水平方向和垂直方向中以预定尺寸划分图像(画面)区域构成。每一块的视差矢量例如从其块内存在的所有像素的视差矢量之中选择值最大的视差矢量来获得。对于该示例，每一块的视差矢量由箭头表示，并且箭头的长度对应于视差矢量的大小。

图25图示在视差信息组创建单元131处执行的小型化处理的示例。首先，如25中的(a)所示，视差信息组创建单元134使用每一像素的视差矢量来获得每一块的视差矢量。如上所述，该块等价于位于最低层的像素的顶层，并且由在水平方向和垂直方向中以预定尺寸划分图像(画面)区域构成。例如，每一块的视差矢量通过从其块内存在的所有像素的视差矢量之中选择值最大的视差矢量来获得。

接着，如图25中的(b)所示，视差信息组创建单元131使用每一块的视差矢量来获得每一群(Group Of Block)的视差矢量。该群等价于块的顶层，并且通过共同地分组多个相邻块来获得。对于图25中的(b)中的示例，每一群由以虚线框包围的四个块组成。接下来，例如，每一块的视差矢量通过从其群内存在的所有块的视差矢量之中选择值最大的视差矢量来获得。

接着，如图25中的(c)所示，视差信息组创建单元131使用每一群的视差矢量来获得每一分区(Partition)的视差矢量。该分区等价于各群的顶层，并且通过共同地分组多个相邻群来获得。对于图25中的(c)中的示例，每一分区由以虚线框包围的两个群构成。接下来，例如，通过从其部分内的所有群的视差矢量之中选择值最大的视差矢量，来获得每一分区的视差矢量。

接着，如图25中的(d)中所示，视差信息组创建单元131使用每一分区的视差矢量来获得位于最顶层的整个画面(整个图像)的视差矢量。对于图25中的(d)中的示例，整个画面包括以虚线框包围的四个区域。接下来，例如，通过从整个画面中包括的所有区域的视差矢量之中选择具有最大值的视差矢量，获得整个画面的视差矢量。在这种情况下，除了整个画面的视差矢量之外，获得已经获得了其视差的原始像素的位置(以“+”图示)的信息，并且这也可以作为视差矢量的附加信息获得。在获得以上块、群或分区的视差矢量时同样如此。

以这种方式，视差信息组创建单元131使位于最低层的每一个像素的视差矢量经历小型化处理，由此可以获得块、群、分区和整个画面的每一层次的每一区域的视差矢量。注意，对于图25中所示的小型化处理的示例，最终，除了像素层次之外，获得块、群、分区和整个画面的四个层次的视差矢量，但层次的数量、如何分区每一个层次的区域和区域的数量不限于该示例。

视差信息组创建单元131通过以上小型化处理创建包括对于预定尺寸的每一区域的视差矢量的视差信息组。该视差信息组被添加有指示每一条视差信息所属的屏幕区域的信息。例如，作为指示屏幕区域的信息，添加指示屏幕的分隔数量的信息，如零个分隔、四个分隔、九个分隔、十六个分隔等。此外，作为指示屏幕区域的信息，添加指示区域大小(块大小)的信息，如16×16，32×32，64×64等。

对于视差信息组，如果在扫描序列中放置每一条视差信息，则可以根据指示屏幕的分隔数量的信息或指示区域大小的信息来识别每一条视差信息所属的屏幕区域。在这个意义上，指示屏幕分区的数量的信息、或者指示区域大小的信息变为指示每一条视差信息所属的屏幕区域的信息。

此外，视差信息组创建单元131根据需要创建特定服务应用的视差信息组。例如，根据需要，创建对于闭路字幕、对于字幕、对于特定应用(窗口小部件)图形等的视差信息组。在这种情况下，根据以上小型化处理，创建属于一个或多个屏幕区域的视差矢量，其对应于重叠信息(闭路字幕信息、字幕信息、图形信息等)的一个显示区域或多个显示区域中的每一个。

图26中的(a)图示图像上字幕和应用图形的显示示例。图26中的(b)图示图像、字幕和应用图形的透视。例如，如图所示，字幕显示在屏幕下半部的中心区域，但想要在图像的最近的位置前面进一步识别。在这种情况下，通过视差信息组创建单元131，根据该字幕的显示区域和对应屏幕区域的视差矢量，创建用于向字幕提供视差的视差矢量。此外，例如，如图所示，应用图形显示在屏幕的右下边缘区域中，但想要在字幕前面进一步识别。在这种情况下，通过视差信息组创建单元131，根据该应用图形的显示区域和对应屏幕区域的视差矢量，创建用于向应用图形提供视差的视差矢量。

这里，视差信息组创建单元131具有如上所述的取景器功能。对于该视差信息组创建单元131，实际上显示如图26中的(a)所示的立体图像。因此，将从数据提取单元130输出的立体图像数据(左眼图像数据、右眼图像数据)提供到该视差信息组创建单元131。此外，对于该视差信息组创建单元131，提供在字幕和图形生成单元118处生成的字幕数据或图形数据以及在文本生成单元120处生成的文本数据(包括闭路字幕数据)。

对于在视差信息组创建单元131处创建的、且与立体图像数据一起发送的每一组视差信息组，添加视差序列ID(Disparity_Sequence_id)。该视差序列ID是指示重叠信息(其中，应当使用视差信息组中包括的视差信息)的类型的标识信息。根据该视差序列ID，关于视差信息组是通用视差信息组还是特定服务应用的视差信息组进行标识。此外，根据该标识信息，关于特定服务应用的视差信息组的种类进行标识。

如图27所示，Disparity_Sequence_id＝0指示通用视差信息组。该视差信息组基于预先记录的视差信息来创建。在该视差信息组与特定服务不相关联的情况下，不需要使用例如视差链接描述符(Disparity_Linkage_Descriptor)等来与特定服务相关联。此外，Disparity_Sequence_id＝1到255指示通过例如视差链接描述符等关联的特定服务应用的视差信息组。

[视差信息组]

关于在视差信息组创建单元131处创建的视差信息组，将关于以上情况(1)到(4)中的每一个进行进一步描述。

“情况(1)”

情况(1)是如上所述单独发送通用视差信息组的情况。对于该情况(1)，单独创建通用视差信息组。注意，对于该情况(1)，视差信息组中包括的视差信息与特定服务没有关系。

图28图示了在该情况(1)中创建的视差信息组的示例。对于该示例，视差信息组包括属于通过将屏幕划分为九个而获得的每一屏幕区域的视差矢量(水平方向上的视差矢量)P0到P8。例如，通过使用每一像素的视差矢量的以上小型化处理来获得每一个视差矢量P0到P8。在图28中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。

该视差信息组是通用视差信息组。因此，如图29所示，要添加到该视差信息组的标识信息“Disparity_Sequence_id”被设置到“0”，其指示该视差信息组是通用视差信息组。

这里，该通用视差信息组是对于图像数据的每一预定单元(如，对于编码视频的每一画面)的视差信息组。对于每一时间段分割图像数据，并且在每一时间段的图像数据的传输之前，发送每一时间段的图像数据所对应的多个视差信息组(Packed Disparity Set)的群，这将在稍后描述。因此，对于基于预定单位的视差信息组，如图29所示，添加偏移(Offet)作为指示使用其视差信息组的定时的时间信息。添加到每一个视差信息组的偏移指示从第一视差信息组的使用时间(以时间戳(Time Stamp)指示)起的时间。

“情况(2)”

情况(2)是如上所述单独发送通用视差信息组的情况。对于该情况(2)，单独创建通用视差信息组。注意，对于该情况(2)，视差信息组中包括的视差信息与特定服务有关系。

图30图示了在该情况(2)中创建的视差信息组的示例。对于该示例，视差信息组包括属于通过将屏幕划分为九个而获得的每一个屏幕区域的视差矢量(水平方向上的视差矢量)P0到P8。例如，通过使用每一个像素的视差矢量的以上小型化处理来获得每一个视差矢量P0到P8。在图30中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。

该视差信息组是通用视差信息组。因此，如图31所示，要添加到该视差信息组的标识信息“Disparity_Sequence_id”被设置为“0”，其指示该视差信息组是通用视差信息组。

这里，该通用视差信息组是图像数据的每一预定单元(如，编码视频的每一画面)的视差信息组。对于每一时间段分割图像数据，并且在每一时间段的图像数据的传输之前，发送每一时间段的图像数据所对应的多个视差信息组(Packed Disparity Set)的群，这将在稍后描述。因此，对于基于预定单位的视差信息组，如图31所示，添加偏移(Offet)作为指示使用其视差信息组的定时的时间信息。添加到每一个视差信息组的偏移指示从第一视差信息组的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，对于情况(2)，视差信息组中包括的视差信息与特定服务有关系。图31图示视差矢量P7和闭路字幕数据DF0相关联的示例。注意，如图30所示，根据该闭路字幕数据DF0的闭路字幕信息显示在视差矢量P7所属的屏幕区域上。在这种情况下，指示显示该闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)和视差矢量P7相关联。

图32图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)的示例。在这种情况下，由分区位置ID(Partition_Position_ID)确定视差矢量的对象位置。该分区位置ID指示多个屏幕区域(所述屏幕区域由分隔数量来确定)的屏幕区域的数量或块大小为多少。

注意，图31中所示的示例图示了其中一个闭路字幕数据与一条视差信息相关联的示例。然而，也可以想到的是，一个闭路字幕数据与多个视差信息相关联。因此，在一个闭路字幕数据与多个视差信息相关联的情况下，接收侧可以选择并使用一条视差信息，用于根据其闭路字幕数据向闭路字幕信息提供视差。

图33图示了其中视差矢量P6和P7与闭路字幕数据DF1相关联并且进一步视差矢量P7和P8与闭路字幕数据DF2相关联的示例。在这种情况下，指示用于根据闭路字幕数据DF1显示闭路字幕信息的屏幕区域的分量元素ID与视差矢量P6和P7相关联。此外，类似地，指示用于根据闭路字幕数据DF2显示闭路字幕信息的屏幕区域的分量元素ID与视差矢量P7和P8相关联。

图34图示了在这种情况下，分量元素ID与视差矢量之间的关联表(Component_Linked_Info)的示例。在这种情况下，由分区位置ID(Partition_Position_ID)来确定视差矢量。该分区位置ID指示多个屏幕区域(所述屏幕区域由分隔数量确定)的屏幕区域的数量或块大小是多少。

“情况(3)”

情况(3)是如上所述发送通用视差信息组和特定服务应用的视差信息组二者的情况。对于该情况(3)，创建通用视差信息组和特定服务应用的视差信息组二者。在这种情况下，要添加到通用视差信息组的标识信息(Disparity_Sequence_id)被设置为“0”。此外，要添加到特定服务应用的视差信息组的标识信息(Disparity_Sequence_id)被设置为“0”以外的值。例如，通过如上所述将其信息插入到用户数据，执行关于服务的标识信息(Disparity_Sequence_id)的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)来执行该关联。

图35图示了在该情况(3)中创建的视差信息组的示例。对于该示例，通用视差信息组包括属于通过将屏幕划分为九个而获得的每一个屏幕区域的视差矢量(水平方向上的视差矢量)P0到P8。例如，通过使用每一个像素的视差矢量的以上小型化处理，获得每一个视差矢量P0到P8。在图35中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。

此外，创建闭路字幕的视差信息组，作为特定服务应用的视差信息组。闭路字幕的该视差信息组包括与闭路字幕信息“Caption 1”对应的视差矢量CC1和与闭路字幕信息“Caption 2”对应的视差矢量CC2。

这里，通用视差信息组是对于图像数据的每一预定单元(如，对于编码视频的每一个画面)的视差信息组。对于每一时间段分割图像数据，并且在每一时间段的图像数据的传输之前，发送每一时间段的图像数据所对应的多个视差信息组(Packed Disparity Set)的群，这将在稍后描述。因此，对于基于预定单位的视差信息组，如图36所示，添加偏移(Offset)作为指示使用其视差信息组的定时的时间信息。添加到每一个视差信息组的偏移指示从第一视差信息组的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，特定服务应用的视差信息组是闭路字幕的视差信息组。图35图示了其中视差矢量CC1和闭路字幕数据DF1相关联，且视差矢量CC2与闭路字幕数据DF2相关联的示例。在这种情况下，指示显示该闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2相关联。

图37图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)。在这种情况下，由分区位置ID(Partition_Position_ID)确定视差矢量的对象位置。该分区位置ID指示多个屏幕区域(所述屏幕区域由分隔数量确定)的屏幕区域的数量或块大小是多少。

“情况(4)”

情况(4)是如上所述单独发送特定服务应用的视差信息组的情况。对于该情况(4)，创建特定服务应用的视差信息组。在这种情况下，要添加到特定服务应用的视差信息组的标识信息(Disparity_Sequence_id)被设置为“0”。例如，通过如上所述将其信息插入到用户数据，执行关于服务的标识信息(Disparity_Sequence_id)的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)来执行该关联。

图38图示了在该情况(4)中创建的视差信息组的示例。对于该示例，创建闭路字幕的视差信息组，作为特定服务应用的视差信息组。闭路字幕的该视差信息组包括与闭路字幕信息“Caption 1”对应的视差矢量CC1和与闭路字幕信息“Caption 2”对应的视差矢量CC2。

这里，视差信息组是对于图像数据的每一个预定单元(如，对于编码视频的每一个画面)的视差信息组。对于每一时间段分割图像数据，并且在每一时间段的图像数据的传输之前，发送每一时间段的图像数据所对应的多个视差信息组(Packed Disparity Set)的群，这将在稍后描述。因此，对于基于预定单位的视差信息组，如图39所示，添加偏移(Offset)作为指示使用其视差信息组的定时的时间信息。添加到每一个视差信息组的偏移指示从第一视差信息组的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，特定服务应用的视差信息组是闭路字幕的视差信息组。图39图示了其中视差矢量CC1和闭路字幕数据DF1相关联且视差矢量CC2和闭路字幕数据DF2相关联的示例。在这种情况下，指示显示该闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2相关联(参见图37)。

注意，在图32、图34和图37中，图示了这样的示例：其中，作为分量元素ID与视差矢量之间的关联表，分量元素ID是闭路字幕的窗口ID(WindowID)。例如，在DVB字幕的情况下，分量元素ID是DVB字幕的区域ID(Region_id)。

在DVB字幕的情况下，例如，如图40所示，通过使用基本PID(ElementaryPID)来执行字幕片段(Subtitle Segment)与视差矢量数据(Disparity Data)之间的关联。接下来，字幕片段内的页面ID(Page_id)和视差矢量数据的标识信息(Disparity_Sequence_id)相关联。进一步，区域ID(Region ID)和视差矢量(Disparity_Vector_horizontal)相关联。

视频编码器113使从数据提取单元130提供的立体图像数据经历编码，如MPEG4-AVC、MPEG2、VC-1等，以获得编码视频数据。此外，视频编码器113通过对于后级提供的流格式器113a，在有效载荷部分产生包括编码视频数据的视频的基本流。如上所述，将在视差信息组创建单元131处创建的预定组视差信息组提供到视频编码器113内的流格式器113a。流格式器113a将预定组视差信息组作为用户数据嵌入视频流中。

图41示意性地图示视频基本流(Video Elementary Stream)的结构示例。对于视频基本流，在开头放置包括基于序列的参数的序列头部。在该序列头部之后，放置包括基于画面的参数和用户数据的画面头部。在该画面头部之后，放置包括画面数据的有效载荷部分。其后，重复地放置画面头部和有效载荷部分。

以上视差信息组例如嵌入画面头部的用户数据区域中。图42图示了用户数据的结构示例。图42中的(a)图示了在编码方法是MPEG2的情况下用户数据的结构。图42中的(b)图示了在编码方法是H.264AVC(MPEG4-AVC)的情况下用户数据的结构。进一步，图42中的(c)图示了在编码方法是VC-1的情况下用户数据的结构。

尽管将省略详细描述，但是每一种方法的用户数据的结构大体相同。具体地说，首先，放置指示用户数据开始的代码，然后放置指示数据类型的标识符“user_identifier”，进一步，其后放置数据主体“user_structure”。稍后将描述包括视差信息(Disparity_Information)的用户数据的详细结构。

音频编码器117使从数据提取单元130提供的音频数据经历编码，如MPEG-2Audio AAC等，以产生音频基本流。多路复用器122多路复用从编码器113、117、119和121输出的打包基本流。接下来，该多路复用器122输出用作传输数据的位流数据(传送流)BSD。

尽管将省略描述，但是图22中所示的传输数据产生单元110D的其他组件以与图2中所示的传输数据产生单元110相同的方式配置。

将简单描述图22中所示的传输数据产生单元110D的操作。将从数据提取单元130输出的立体图像数据提供到视频编码器113。通过该视频编码器113，使立体图像数据经历编码，如MPEG-4-AVC、MPEG2、VC-1等，并产生包括编码视频数据的视频基本流。将该视频基本流提供到多路复用器122。

此外，将从数据提取单元130输出的每一个像素的视差矢量提供到视差信息组创建单元131。通过该视差信息组创建单元131，该视差矢量经历小型化处理等，并创建要发送的预定组视差信息组(情况(1)到(4))。将在该视差信息组创建单元131处创建的预定组视差信息组提供到视频编码器113内的流格式器113a。通过流格式器113a，将预定组视差信息组作为用户数据嵌入视频流中。

此外，将从数据提取单元130输出的音频数据提供到音频编码器117。通过该音频编码器117，音频数据经历编码，如MPEG-2Audio AAC等，并且产生包括编码音频数据的音频基本流。将该音频基本流提供到多路复用器122。

此外，将包括字幕数据或图形数据的编码数据的基本流从字幕和图形编码器119提供到多路复用器122。进一步，将包括文本数据的编码数据的基本流从文本编码器121提供到多路复用器122。接下来，通过多路复用器122，多路复用从每一个编码器提供的基本流的包，并且获得用作传输数据的位流数据(传送流)BSD。

[服务分量和每一个流的视差信息之间的关联、视差信息组标识信息和服务之间的关联]

通过使用视差链接描述符(Disparity_Linkage_Descriptor)来执行每一个相关联的流的服务分量和视差信息之间的关联。此外，根据该视差链接描述符，还执行每一个流的视差信息组标识信息(Disparity_Sequence_id)和服务之间的关联。该视差链接描述符放置在多路复用的流的头部区域中，或者多路复用的流内的描述符表(如PMT)等中。

图43图示在这种情况下视差链接描述符的结构示例。图44图示图43中所示的结构中每一条信息的内容。“descriptor_tag”是指示描述符类型的8位数据。这里，向其设置“0xD0”，其指示这是视差链接描述符。“descriptor_length”是指示该信息的长度(大小)的8位数据。

“number_of_Linked_Streams”是指示通过从视差信息数据

(Disparity_Data)的视角限定两个流之间的关联而相关联的基本流的数量。“ElementaryPID_of_disparity”是指示包括视差信息数据(Disparity_Data)的基本流(PES)的PID(节目ID)的13位数据。

“ElementaryPID_of_Service_Component”是指示包括服务分量(如，字幕、字幕、文本或图形)的基本流(PES)的PID(节目ID)的13位数据。根据这两个PID，对于每一个相关联的基本流执行视差信息和服务分量之间的关联。

“number_of_linked_sequences”是指示要关联以便对应于以上相关联的基本流的视差信息组(视差信息，Disparity Information)的数量的5位数据。“Service_id”是指示服务标识的唯一字的32位数据。例如，对于ATSC分配“0x47413934”。“Data_Type”是指示由“Service_id”标识的服务的数据类型的8位数据。例如，“0x03”指示闭路字幕数据。

对于由“number_of_linked_sequences”指示的值放置视差序列ID“Disparity_Sequence_id”和服务页面ID“Service_page_id”。

“Disparity_Sequence_id”是指示用于标识每一个服务的标识信息的8位数据。“Service_page_id”是用于确定服务(如字幕页面)的8位数据。因此，预定“Service_page_id”和“Data_Type(i)”与预定数量的视差序列ID和服务页面ID相关联。

将关于图43中所示的视差链接描述符的结构示例中的每一项的特定示例给出描述。图45中的(a)图示了在通过将视差信息插入图像数据流的用户数据区域来将其发送到接收侧(类似图22中所示的传输数据产生单元110D)的情况下PID的示例。对于该示例，视差链接描述符(Disparity_Linkage_Descriptor)处于多路复用的流(TS)内的PMT中。

接下来，对于该示例，多路复用的流(TS)中包括的包含视差信息数据(Disparity Data)的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，对于该示例，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。进一步，对于该示例，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。

图45中的(b)图示了在产生包括视差信息组的视差矢量的基本流(PES)，与另一个流多路复用该独立的流，并将其发送到接收侧(与后面描述的图62中的传输数据产生单元110E类似)的情况下PID的示例。对于该示例，将视差链接描述符(Disparity_Linkage_Descriptor)放置在多路复用的流(TS)内的PMT中。

接下来，对于该示例，多路复用的流(TS)中包括的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，对于该示例，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。此外，对于该示例，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。此外，对于该示例，多路复用的流(TS)中包括的视差矢量的字幕基本流(PES)的PID被设置为“PID_3”。

图46中的(a)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝1”的视差信息组与字幕相关联(链接)。对于该示例，视差信息组包括与字幕信息“Subtitle 1”对应的视差矢量“Region 1”以及与字幕信息“Subtitle2”对应的视差矢量“Region 2”。图46中的(b)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝2”的视差信息组与闭路字幕相关联(链接)。对于该示例，视差信息组包括与闭路字幕信息“Caption 1”对应的视差矢量CC1以及与闭路字幕信息“Caption 2”对应的视差矢量CC2。

图47图示了图45中的以上(a)的情况下视差信息组与字幕相关联的情况。在这种情况下，将“ElementaryPID of_Service_Component”设置到字幕基本流的PID(Subtitle PID)。并且在这种情况下将“ElementaryPID_of_disparity”设置到视频基本流的PID(Video PID)。

图48图示了图45中的以上(b)的情况下视差信息组与字幕相关联的情况。在这种情况下，将“ElementaryPID_of_Service_Component”设置到字幕基本流的PID(Subtitle PID)。并且在这种情况下将“ElementaryPID_of_disparity”设置到视差矢量基本流的PID(Disparity PID)。

图49图示了在图45中的以上(a)的情况下(然而，将闭路字幕数据插入图像数据流的用户数据区域，并且发送到接收侧)，视差信息组与闭路字幕相关联的情况。这里，“Service_id”指示ATSC，“Data_Type”指示闭路字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置到视频基本流的PID(Video PID)。并且在这种情况下还将“ElementaryPID_of_disparity”设置到视频基本流的PID(Video PID)。

注意，尽管将省略详细描述，但是例如，ID的现有操作数如下。具体地说，“Service_id＝0x47413934”指示“ATSC”，其“Data_Type＝0x03”指示“闭路字幕”，“Data_Type＝0x06”指示“Bar_data(邮箱或邮筒区域)”。此外，“Service_id＝0x44544731”指示“AFD”。

图50图示在图45中的以上(b)的情况下(然而，将闭路字幕数据插入图像数据流的用户数据区域，并且发送到接收侧)，视差信息组与闭路字幕相关联的情况。这里，“Service_id”指示ATSC，并且“Data_Type”指示闭路字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置到视频基本流的PID(Video PID)。并且在这种情况下也将“ElementaryPID_of_disparity”设置到视差矢量基本流的PID(Disparity PID)。

[包括视差信息(Disparity_Information)的用户数据的详细结构]

图51图示了包括视差信息(Disparity_Information)的用户数据的详细结构。该示例是在编码方法为MPEG2的情况下的示例。当开始码(user_data_start_code)之后的数据标识符是视差信息标识符(Disparity_Information_identifier)时，放置视差信息(Disparity_Information)作为接下来的数据主体(data body)。

图52图示放置了视差信息数据(Disparity_Information_Data)的视差信息(Disparity_Information)的结构。该视差信息数据可以具有与以上图43中的视差链接描述符(Disparity_Linkage_Descriptor)相同的信息。在这种情况下，该视差信息数据包括DSL(Disparity_Information_Link_Information)，其结构图示在图53中。此外，该视差信息数据包括DHI(Disparity_Header_Information)，其结构图示在图54和图55中。进一步，该视差信息数据包括DDS(Disparity Data Set)，其结构图示在图56中。图57到图60图示了在图53到图56中所示的结构中每一条信息的内容。

将参照图57描述DSL。该DSL是用于在视差序列ID

(Disparity_Sequence_id)与服务之间进行关联的信息。

“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。

“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x0”，其指示该信息是“DSL”。

尽管将省略详细描述，但是″number_of_Linked_Streams″，″ElementaryPID_of_disparity″、″ElementaryPID_of_Service_Component″、″number_of_linked_sequences″、″Service_id″、″Data_Type″和″Disparity_Sequence_id″中的每一项均与图43中所述的相同。

将参照图54和图55描述DHI。该DHI也包括用于在每一服务的分量和分区位置ID(Partition_Position_ID)之间进行关联的信息，所述分区位置ID用于确定要用于其分量的视差矢量。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x1”，其指示该信息是“DHI”。

“Views_offset”是指示将偏移的扩展应用于“第二视图”(如，仅右眼图像)还是“两个视图”(即，左眼图像和右眼图像二者)的1位数据。在“Views_offset”是“1”的情况下，这指示应用于“两个视图”。在“0”的情况下，这指示应用于“第二视图”。“Disparity_precision”是指示重叠信息关于视差矢量移位多少的2位数据。在“Disparity_precision”是“0”的情况下，这指示移位了等于视差矢量的1/2的值。在“1”的情况下，这指示移位了等于视差矢量的值。

在“2”的情况下，这指示移位了等于视差矢量的单元数量的值，其中以两个像素作为一个单元。例如，当视差矢量是“7”时，这导致移位了2×7＝14个像素。在“3”的情况下，这指示移位了等于视差矢量的单元数量的值，其中以三个像素作为一个单元。例如，当视差矢量是“7”时，这导致移位了3×7＝21个像素。

“Disparity_Sequence_id”是作为用于标识每一个服务的标识信息的8位数据。“Service_Linked_flag”是指示是否存在与以上DSL内的服务相关联的视差矢量(视差信息)的1位数据。在“Service_Linked_flag”是“1”的情况下，这指示存在与服务相关联的视差矢量。在“0”的情况下，这指示不存在与服务相关联的视差矢量。

“Target_Resolution_Type”是用于确定关于目标视频编码的视差信息组的分辨率的2位数据。在“Target_Resolution_Type”是“0x0”的情况下，这指示1920×1080的分辨率。在“0x1”的情况下，这指示1440×1080的分辨率。在“0x2”的情况下，这指示1280×720的分辨率。

“Block_Size”是用于确定块大小的2位数据。该“Block_Size”是构成指示屏幕区域的信息的、指示区域大小的信息。在“Block_Size”是“0x0”的情况下，这指示16像素×16像素的块大小。在“0x1”的情况下，这指示的32像素×32像素的块大小。在“0x2”的情况下，这指示64像素×64像素的块大小。进一步，在“0x3”的情况下，这指示128像素×128像素的块大小。

“Link_source”指示视差信息组(源)是通用视差信息组还是特定服务应用的视差信息组。在“Link_source”是“1”的情况下，这指示视差信息组是具有通过划分屏幕而获得的每一个屏幕区域的视差矢量的通用视差信息组。在“0”的情况下，这指示视差信息组是具有与服务分量元素对应的视差矢量的特定服务应用的视差信息组。

“Partition”指示屏幕分区模式。该“Partition”是构成指示屏幕区域的信息的、指示屏幕分区的数量的信息。在“0x0”的情况下，这指示如图61中的(a)所示，图像(画面)区域未分区，且发送表示该图像(画面)区域的一个视差矢量(视差信息)。在“Partition”是“0x1”的情况下，这指示如图61中的(b)所示，将图像(画面)区域分区为四个，并且发生表示该每一个分区的区域的四个视差矢量(视差信息)。在这种情况下，放置视差矢量，以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(在图61中的(b)中0到3的序列中)。

在“0x2”的情况下，这指示如图61中的(c)所示，将图像(画面)区域分区为九个，并且发送表示该每一个分区的区域的九个视差矢量(视差信息)。在这种情况下，放置视差矢量，以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(图61中的(c)中的0到8的序列中)。在“0x3”的情况下，这指示如图61中的(d)所示，将图像(画面)区域分区为十六个，并且发送表示该每一个分区的区域的十六个视差矢量(视差信息)。在这种情况下，放置视差矢量，以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(图61中的(d)中的0到15的序列中)。

在“0x7”的情况下，这指示将图像(画面)区域分区为多个块，并且发送表示该每一个分区的区域的多个视差矢量(视差信息)。在这种情况下，放置视差矢量，以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个。

“Number_of_Component_Elements”是指示由以上“Partition”或“Block_Size”确定的屏幕区域的数量，或者相关联的服务内分量元素的数量。

接下来，在以上“Service_Linked_flag”是“1”的情况下，通过与视差信息组内的视差矢量(视差信息)相关联的服务数量来放置分量链接信息(Component_Linkage_Info)。对于该分量链接信息，如图55中所示，通过分量元素的数量来放置分量元素与其视差矢量之间的关联信息。

“Component_Element”是指示分量元素ID的8位数据。分量元素ID的示例包括闭路字幕的窗口ID(Window ID)和DVB字幕的区域ID(region_idga)。“Element_Linkage_Length”是指示信息的长度(大小)的8位数据。“number_of_mutiple_link”指示与分量元素ID相关联的视差矢量的数量。“Partition_Position_id”是用于确定视差矢量的13位数据信息。该“Partition_Position_id”指示多个屏幕区域(所述屏幕区域由以上“Partition”或“Block_size”确定)的屏幕区域数量是多少。

将参照图56描述DDS。该DDS包括每一个视差信息组中包括的视差矢量的信息。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x2”，其指示该信息是“DID”。“Disparity_Sequence_id”是用于标识视差信息组是通用视差信息组还是特定服务应用的视差信息组，并且在特定服务应用的情况下标识其服务的8位数据。

“Number_of_Component_Elements”是指示由以上“Partition”或“Block_Size”确定的屏幕区域的数量或相关联的服务内分量元素的数量的13位数据。放置要用于视频数据的某一时间段内(如，15帧的时间段内)的每一帧的视差信息组中包括的P个视差矢量的值。“Disparity_sets_in_period”是指示用于提供视频数据的某一时间段中包括的偏移的视差矢量(视差信息)的数量的8位数据。

“Offset_Frame_In_disparity_set”是指示用于使用每一个视差信息组的定时的时间信息。该时间信息指示从由时间戳(Time Stamp)指示的第一个视差信息组的使用时间起的时间(帧数)。“Disparity_Vector_Horozontal(i)”指示作为第i个视差矢量的值的水平方向中视差矢量的值。

注意，通过以上描述，已经示出了这样的示例：其中，放置用于在视差序列ID(Disparity_Sequence_id)和服务之间进行关联的信息，作为用作用户数据的视差信息中的DSL。然而，可以想到的是，通过视差链接描述符(Disparity_Linkage_Descriptor)来执行视差序列ID(Disparity_Sequence_id)和服务之间的关联。该视差链接描述符(Disparity_Linkage_Descriptor)DLD例如放置在多路复用的流(位流数据BSD)的PMT表内。

对于图22中所示的传输数据产生单元110D，与包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据一起，发送每一个均添加了指示应当使用视差信息的重叠信息的类型的标识信息的预定组视差信息组。因此，对于接收侧，通过使用适于该重叠信息的类型的视差信息组，将适当的视差给予要重叠在左眼图像和右眼图像上的相同的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)。

注意，通过图22中所示的传输数据产生单元110D的以上描述，已经进行了描述，其中最低层的每一个像素的视差矢量经历视差信息组创建单元131处的小型化处理以获得每一个层次的每一区域的视差矢量。然而，在数据记录介质130a中记录每一个层次的每一个区域的视差矢量，这可以在视差信息组创建单元131处使用。

[传输数据产生单元的另一个配置]

此外，图22中所示的传输数据产生单元110D被配置为通过将在视差信息组创建单元131处创建的预定组视差信息组插入到图像数据流中来将其发送到接收侧。然而，可以进行这样的安排：其中，通过将在视差信息组创建单元131处创建的预定组视差信息组插入到图像数据流以外的另一数据流，来将其发送到接收侧。

可替代地，可以进行这样的安排：其中，产生包括视差信息组创建单元131处创建的预定组视差信息组的视差矢量的基本流(视差矢量流)，并通过将该视差矢量流与另一个流多路复用来将其发送到接收侧。图62图示了在这种情况下传输数据产生单元110E的配置示例。在该图62中，对应于图22的部件以相同的附图标记表示，并且将省略其详细描述。

如同图2中的传输数据产生单元110那样，该传输数据产生单元110E被配置为包括视差矢量编码器115。将在视差信息组创建单元131处创建的预定组视差信息组发送到视差矢量编码器115。接下来，通过该视差矢量编码器115，产生包括预定组的视差矢量组的视差矢量的基本流(视差矢量流)。接下来，将该视差矢量流提供到多路复用器122。通过多路复用器122，还与另一个数据流一起多路复用视差矢量流，并产生位流数据BSD。

尽管将省略描述，但是对于该传输数据产生单元110E，其他组件的配置和操作与图22中所示的传输数据产生单元110D相同。对于传输数据产生单元110E，可以获得与图22中所示的传输数据产生单元110D相同的优点。

[机顶盒的描述]

回来参考图1，机顶盒200接收从广播站100经由广播波发送的位流数据(传送流)。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，并且进一步包含视差信息(视差矢量)。这里，重叠信息数据的示例包括字幕数据、图形数据、文本数据(包括闭路字幕数据)。

机顶盒200包括位流处理单元201。该位流处理单元201从位流数据中提取立体图像数据、音频数据、重叠信息数据、视差矢量等。位流处理单元201使用立体图像数据、重叠信息数据(字幕数据、图形数据、文本数据)等以产生重叠了重叠信息的左眼图像和右眼图像。

这里，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据产生要重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，对于在图像内的重叠位置，右眼重叠信息被安排为在水平方向关于左眼重叠信息移位视差矢量的水平方向分量。

图63中的(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。要重叠在右眼图像IR上的右眼图形信息RGI被设置到在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。

通过位流处理单元201，产生图形数据以便以如图63中的(a)所图示的方式在图像IL和IR上重叠图形信息LGI和RGI。位流处理单元201将所产生的左眼图形数据和右眼图形数据关于从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)进行合成，以获取处理之后的立体图像数据。根据该立体图像数据，观察者可以与每一个图像IL和IR一起、以视差观察图形信息LGI和RGI，因此还能够关于图形信息觉察到透视。

注意，图64中的(a)图示了在每一个图像IL和IR上照原样重叠根据从位流数据提取的图形数据的图形图像的状态。在这种情况下，如图64中的(b)所示，观察者观察连同左眼图像IL的左半图形信息和连同右眼图像IR的右半图形信息。因而，阻止观看者正确地识别图形信息。

虽然图63图示了图形信息的情况，但对其他重叠信息(闭路字幕信息、字幕信息、文本信息等)同样如此。具体地说，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据产生要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，对于图像内的重叠位置，右眼重叠信息在水平方向关于左眼重叠信息移位视差矢量的水平方向分量。

这里，可以想到，将以下视差矢量用作给出左眼重叠信息与右眼重叠信息之间的视差的视差矢量。例如，可以想到，将在图像内的多个位置处检测到的视差矢量之中，采用就透视而言被辨认为最近的位置处的视差矢量。图65中的(a)、(b)、(c)和(d)分别图示了时间点T0、T1、T2和T3处三个对象位置处的视差矢量。

在时间点T0处，与对象0对应的位置(H0，V0)处的视差矢量VV0-1是最大视差矢量Max VV(T0)。在时间点T1处，与对象1对应的位置(H1，V1)处的视差矢量VV1-1是最大视差矢量Max VV(T1)。在时间点T2处，与对象2对应的位置(H2，V2)处的视差矢量VV2-2是最大视差矢量Max VV(T2)。在时间点T3处，与对象3对应的位置(H3，V3)处的视差矢量VV3-0是最大视差矢量Max VV(T3)。

以这种方式，在图像内的多个位置处检测到的视差矢量之中，将就透视而言被辨认为最近的位置处的视差矢量用作视差矢量，因而可以将重叠信息显示在就透视而言最近的图像内的对象的前面。

图66中的(a)图示了图像上的字幕(例如闭路字幕信息、字幕信息)的显示示例。这个显示示例是字幕被重叠在由背景和近视图形成的图像上的示例。图66中的(b)图示了背景、近视图和字幕的透视，其中字幕被辨认为是最近的。

图67中的(a)图示了与图66中的(a)相同的、图像上的字幕(例如闭路字幕信息、字幕信息)的显示示例。图67中的(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图67中的(c)图示了将字幕辨认为是最近的，因此将视差赋予每一个字幕信息LGI和RGI。

除此而外，可以想到，在图像内多个位置处检测到的视差矢量(包括视差信息组中包括的每一个层次的每一个区域的视差矢量)之中，采用与其重叠位置对应的视差矢量。图68中的(a)图示了根据从位流数据中提取的图形数据的图形信息以及根据从位流数据中提取的文本数据的文本信息。

图68中的(b)图示了将左眼图形信息LGI和左眼文本信息LTI重叠在左眼图像上的状态。在这种情况下，对于左眼图形信息LGI，将其重叠位置在水平方向上规定空闲偏移值(IT-0)。除此而外，对于左眼文本信息LTI，将其重叠位置在水平方向上规定空闲偏移值(IT-1)。

图68中的(c)图示了将右眼图形信息RGI和右眼文本信息RTI重叠在右眼图像上的状态。在这种情况下，对于右眼图形信息RGI，将其重叠位置在水平方向上规定空闲偏移值(IT-0)，并且与左眼图形信息LGI的重叠位置相比，进一步移位与重叠位置对应的视差矢量的水平方向分量VVT-0。除此而外，对于右眼文本信息RTI，将其重叠位置在水平方向上规定空闲偏移值(IT-1)，并且与左眼文本信息LTI的重叠位置相比进一步移位与重叠位置对应的视差矢量的水平方向分量VVT-1。

注意，图68中的示例图示了以要重叠在左眼图像上的相同图形信息和文本信息的重叠位置作为基准，移位要重叠在右眼图像上的图形信息和文本信息的重叠位置。也就是说，对于图68中的示例，执行处理，其中仅移位要重叠在右眼图像上的图形信息和文本信息的重叠位置。然而，还可以想到，执行处理，以便移位左眼图像和右眼图像的重叠位置二者。

图69中的(a)图示了根据从位流数据提取的图形数据的图形信息以及根据从位流数据提取的文本数据的文本信息。图69中的(b)图示了在二维显示中图形信息GI和文本信息TI的重叠位置。在这种情况下，文本信息的重叠位置是(x1，y1)，而图形信息的重叠位置是(x2，y2)。

图69中的(c)图示了在左眼图像上重叠左眼图形信息LGI和左眼文本信息LTI的状态。在这种情况下，关于二维显示中图形信息GI的重叠位置，将左眼图形信息LGI在右方向上移位等于该图形信息所对应的视差矢量D1的1/2的值。此外，关于二维显示中文本信息TI的重叠位置，将左眼文本信息LTI在右方向上移位等于该文本信息所对应的视差矢量D0的1/2的值。

图69中的(d)图示了在右眼图像上重叠右眼图形信息RGI和右眼文本信息RTI的状态。在这种情况下，关于二维显示中图形信息GI的重叠位置，将右眼图形信息RGI在左方向上移位等于该图形信息所对应的视差矢量D1的1/2的值。此外，关于二维显示中文本信息TI的重叠位置，将右眼文本信息RTI在左方向上移位等于该文本信息所对应的视差矢量D0的1/2的值。

注意，图69中的(c)和(d)中的示例是将偏移的扩展应用到左眼图像和右眼图像中的每一个并且还移位了等于视差矢量的1/2的值的情况下的示例。实际上，如上所述，偏移的扩展由“Views_offset”指示，并且关于视差矢量移位了多少重叠信息由“Disparity_precision”指示。

通过以上描述，已经关于在左眼图像和右眼图像上重叠根据从位流数据提取的图形数据的图形信息或根据从位流数据提取的文本数据的文本信息的情况进行了描述。除此而外，还可以想到在机顶盒200内生成图形数据或文本数据并在左眼图像和右眼图像上重叠这些信息的情况。

即使在这种情况下，也可以通过利用从位流数据提取的图像内的预定位置的视差矢量，在左眼图形信息和右眼图形信息之间或左眼文本信息和右眼文本信息之间提供视差。从而，对于图形信息和文本信息的显示，可以给出适当的透视，其中在图像内的每一个对象的透视之间保持透视的一致性。

图70中的(a)图示了在图像内存在对象A、B和C，并且例如在每一个对象的相邻位置中重叠指示每一个对象的注释的文本信息。图70中的(b)图示了通过利用指示每一个对象A、B和C的位置与其位置处的视差矢量之间的对应关系的视差矢量列表以及每一个视差矢量，将视差赋予指示每一个对象A、B和C的注释的文本信息。例如，在对象A附近重叠文本信息“Text”，但在左眼文本信息与右眼文本信息之间给出与对象A的位置(Ha，Va)处的视差矢量VV-a对应的视差。注意，对于在对象B和C附近重叠的文本信息同样如此。

注意，图68和图69图示了重叠信息是图形信息和文本信息的情况。除此而外，图70图示了重叠信息是文本信息的情况。虽然将省略详细描述，但在其他重叠信息(闭路字幕信息、字幕信息等)的情况下同样如此。

接下来，将关于视差矢量被事先反映在重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据上的情况进行描述。在这种情况下，从位流数据中提取的重叠信息数据包含使用视差矢量对其给出了视差的左眼重叠信息和右眼重叠信息的数据。

因而，位流处理单元201关于从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)简单地组合从位流数据提取的重叠信息数据，以获取处理之后的立体图像数据。注意，关于文本数据(包括闭路字幕数据)，将字符代码转换为位图数据的处理等是必须的。

[机顶盒的配置示例]

将描述机顶盒200的配置示例。图71图示了机顶盒200的配置示例。该机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI传输单元206和音频信号处理电路207。除此而外，该机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。

天线端子203是用于输入在接收天线(未图示)处接收到的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

如上所述，位流处理单元201从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。重叠信息数据包括字幕数据、图形数据、文本数据(包括闭路字幕数据)等。如上所述，该位流处理单元201关于立体图像数据合成重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据以获取用于显示的立体图像数据。除此而外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。

视频信号处理电路205按照需要使从位流处理单元201输出的立体图像数据经历图像质量调整处理，并且将其处理之后的立体图像数据供应到HDMI传输单元206。音频信号处理电路207按照需要使从位流处理单元201输出的音频数据经历音频质量调整处理等，并且将处理之后的音频数据供应到HDMI传输单元206。

HDMI传输单元206根据遵循HDMI的通信，发送来自HDMI端子202的基带图像(视频)和音频的数据。在这种情况下，由于通过HDMI的TMDS通道来发送数据，因此图像和音频数据经历封装，并被从HDMI传输单元206输出到HDMI端子202。下面将描述该HDMI传输单元206的细节。

CPU 211控制机顶盒200的每一个单元的操作。闪速ROM 212执行控制软件的存储和数据的存储。DRAM 213构成CPU 211的工作区域。CPU 211将读取的软件和数据加载到DRAM 213，并启动软件以控制机顶盒200的每一个单元。

遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将该遥控信号供应到CPU 211。CPU 211基于该遥控代码控制机顶盒200的每一个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。

将简短地描述机顶盒200的操作。将输入到天线端子203的电视广播信号供应到数字调谐器204。通过该数字调谐器204，处理电视广播信号，并且输出与用户选择的通道对应的预定位流数据(传送流)。

将从数字调谐器204输出的位流数据供应到位流处理单元201。通过该位流处理单元201，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。除此而外，通过位流处理单元201，关于立体图像数据合成重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据，并且产生用于显示的立体图像数据。

按照需要，在视频信号处理电路205处，在将位流处理单元201处产生的用于显示的立体图像数据经历图像质量调整过程之后，供应到HDMI传输单元206。除此而外，按照需要，在音频信号处理电路207处，通过将位流处理单元201处获得的音频数据经历音频质量调整处理之后，将其供应到HDMI传输单元206。将供应到HDMI传输单元206的立体图像数据和音频数据通过HDMI的TMDS通道从HDMI端子202发送到HDMI线缆400。

[位流处理单元的配置示例]

图72图示位流处理单元201的配置示例。该位流处理单元201被配置为对应于在图2和图62中所图示的上述传输数据产生单元110和110E。该位流处理单元201包括多路分用器220、视频解码器221、字幕和图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。此外，该位流处理单元201包括立体图像字幕和图形生成单元226、立体图像文本生成单元227、视频重叠单元228和多声道扬声器控制单元229。

多路分用器220从位流数据BSD提取视频、音频、视差矢量、字幕、图形和文本包，并发送到每一个解码器。

视频解码器221执行与上述传输数据产生单元110的视频编码器113的相反的处理。具体地说，该视频解码器221从多路分用器220处提取的视频包重构视频基本流，执行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据的传输方法例如是上述第一传输方法(“上下”方法)、第二传输方法(“并排”方法)、第三传输方法(“帧顺序”方法)等(参看图4中的(a)至(c))。

字幕和图形解码器222执行与上述传输数据产生单元110的字幕和图形编码器119相反的处理。具体地说，该字幕和图形解码器222从多路分用器220处提取的字幕或图形包重构字幕或图形基本流。然后，该字幕和图形解码器222进一步执行解码处理来获得字幕数据或图形数据。

文本解码器223执行与上述传输数据产生单元110的文本编码器121的相反的处理。具体地说，该文本解码器223从多路分用器220处提取的文本包重构文本基本流，执行解码处理来获得文本数据(包括闭路字幕数据)。

音频解码器224执行与上述传输数据产生单元110的音频编码器117的相反的处理。具体地说，该音频解码器224从多路分用器220处提取的音频包重构音频基本流，执行解码处理来获得音频数据。

视差矢量解码器225执行与上述传输数据产生单元110的视差矢量编码器115相反的处理。具体地说，该视差矢量解码器225从多路分用器220处提取的视差矢量包重构视差矢量基本流，执行解码过程来获得图像内的预定位置处的视差矢量。

立体图像数据字幕和图形生成单元226产生要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息或图形信息。基于解码器222处获得的字幕数据或图形数据和解码器225处获得的视差矢量执行该产生处理。在这种情况下，左眼和右眼字幕信息或图形信息是同一信息。然而，例如，对于图像内的叠加位置，安排右眼字幕信息或图形信息以在水平方向关于左眼字幕信息或图形信息移位等于视差矢量的水平方向分量。然后，立体图像数据字幕和图形生成单元226输出所产生的左眼和右眼字幕信息或图形信息的数据(位图数据)。

立体图像文本生成单元227基于解码器223处获得的文本数据和解码器225处获得的视差矢量，产生要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息，但是对于图像内的重叠位置，例如，安排右眼文本信息以在水平方向关于左眼文本信息移位等于视差矢量的水平方向分量。然后，立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。

视频重叠单元228在视频解码器221处获得的立体图像数据(左眼图像数据、右眼图像数据)上重叠生成单元226和227处生成的数据，以获得用于显示的立体图像数据Vout。注意，通过系统层的时间戳开始重叠信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。

多声道扬声器控制单元229使音频解码器224处获得的音频数据经历用于产生多声道扬声器的音频数据的处理以实现例如5.1-声道环绕等、用于添加预定声场特性的处理等。此外，该多声道扬声器控制单元229基于解码器225处获得的视差矢量控制多声道扬声器的输出。

提供了这样的优点：视差矢量的大小变得越大，则立体效果越明显。按照立体程度控制多声道的扬声器输出，因而可以实现提供进一步的立体体验。

图73图示了在关于视差矢量VV1，朝着电视显示器，左侧的视频对象较大的情况下扬声器输出控制示例。对于这个控制示例，多声道扬声器的左后扬声器音量被设置到大，左前扬声器音量被设置到中，并且进一步，右后扬声器音量被设置到小。以这种方式，将视频内容(立体图像数据)的视差矢量应用到接收侧上的另一媒体数据(诸如音频数据)，因而使得可以允许观看者以整体的方式体验立体效果。

将简短地描述在图72中图示的位流处理单元201的操作。将从数字调谐器204(参看图71)输出的位流数据BSD供应到多路分用器220。对于多路分用器220，从位流数据BSD提取视频、音频、视差矢量、字幕、图形和文本的包，并供应到每一个解码器。

对于视频解码器221，根据从多路分用器220提取的视频包重构视频基本流，进一步经历解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据供应到视频重叠单元228。此外，对于视差矢量解码器225，根据从多路分用器220提取的视差矢量包重构视差矢量基本流，进一步经历解码处理，并获得图像内的预定位置处的视差矢量(参看图8、图29等)。

对于字幕和图形解码器222，从多路分用器220处提取的字幕或图形包重构字幕或图形基本流。对于字幕和图形解码器222，字幕或图形基本流进一步经历解码处理，并获得字幕数据或图形数据。将该字幕数据或图形数据供应到立体图像字幕和图形生成单元226。也将视差矢量解码器225处获得的视差矢量供应到立体图像字幕和图形生成单元226。

对于立体图像字幕和图形生成单元226，产生要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息或图形信息的数据。基于解码器222处获得的字幕数据和图形数据以及解码器225处获得的视差矢量执行该产生处理。

在这种情况下，例如，对于图像内的重叠位置，将右眼字幕信息或图形信息在水平方向上关于左眼字幕信息或左眼图形信息移位视差矢量的水平方向分量。从该立体图像字幕和图形生成单元226输出所产生的左眼和右眼字幕信息或图形信息的数据(位图数据)。

此外，对于文本解码器223，重构来自多路分用器220处提取的文本TS包的文本基本流，进一步经历解码处理，并获得文本数据。将该文本数据供应到立体图像文本生成单元227。也将视差矢量解码器225处获得的视差矢量供应到该立体图像文本生成单元227。

对于该立体图像文本生成单元227，基于解码器223处获得的文本数据和解码器225处获得的视差矢量，产生要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息，但是，对于图像内的重叠位置，在右眼文本信息在水平方向上关于左眼文本信息移位等于视差矢量的水平方向分量。从该立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。

注意，在视差矢量解码器225处获得的视差矢量包括在预定组视差信息组的情况下，基于添加到每一视差信息组的标识信息(Disparity_Sequence_id)，可以采用适于叠加信息的视差信息组。具体地说，关于叠加信息(如，闭路字幕信息、字幕信息等)，通过使用相关联的视差矢量，可以添加适当的视差。

除了来自上述视频解码器221的立体图像数据(左眼图像数据、右眼图像数据)之外，还将从字幕和图形生成单元226和文本生成单元227输出的数据供应到视频重叠单元228。通过视频重叠单元228，将字幕和图形生成单元226和文本生成单元227所生成的数据重叠在立体图像数据(左眼图像数据、右眼图像数据)上，并获得用于显示的立体图像数据Vout。将该用于显示的立体图像数据Vout作为传输图像数据经由视频信号处理电路205供应到HDMI传输单元206(参看图71)。

此外，通过音频解码器224，根据从多路分用器220提取的音频TS包重构音频基本流，进一步经历解码处理，并获得音频数据。将该音频数据供应到多声道扬声器控制单元229。通过该多声道扬声器控制单元229，该音频数据经历用于产生多声道扬声器的音频数据以实现例如5.1声道环绕等的处理等。

也将在视差矢量解码器225处获得的视差矢量供应到多声道扬声器控制单元229。然后，通过该多声道扬声器控制单元229，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将在该多声道扬声器控制单元229处获得的多声道音频数据作为传输音频数据供应到HDMI传输单元206(参看图71)。

[对于重叠信息的视差的施加]

现在，将进一步进行关于在图2中所示的位流处理单元201的立体图像字幕和图形生成单元226和立体图像文本生成单元227中对于重叠信息的视差的施加的描述。

例如，如图74和图75所示，与图像数据流、字幕或图形数据流和文本数据流一起，从广播站100(参见图1)发送包括视差矢量的视差矢量流(参见图8、图29等)。在这种情况下，与每一个特定时间段对应的基于预定单元的视差矢量统一地与编码视频的GOP(Group Of Pictures)、I(Intra Picture)画面、场景等的每一个特定时间段的开始定时同步地发送。关于预定单元，例如，可以想到画面(帧)单元、整数个画面的单元等。

例如，通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元添加根据与重叠信息对应的视差矢量(视差信息)的视差。在图74中添加到字幕(图形)数据流和文本数据流的各部分的箭头表示视差添加到每一个预定单元的重叠信息的定时。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此要添加到重叠信息的视差可以与图像内容的改变一起动态地改变。

此外，例如，通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元的重叠信息添加从等于视差矢量的重叠时间段选择根据预定视差矢量(视差信息)的视差。例如，预定视差矢量被设置到指示等于视差信息的重叠时间段的最大视差的视差信息。

在图75中添加到字幕(图形)数据流和文本数据流的各部分的箭头表示视差添加到重叠信息的定时。在这种情况下，在重叠时间段开始的时候，将视差添加到重叠信息，其后，使用添加了其视差的重叠信息作为要重叠在左眼图像和右眼图像上的重叠信息。以这种方式，进行这样的安排：其中，将视差添加到重叠位置，由此可以将重叠信息的重叠时间段期间的最大视差添加到重叠信息，而不管图像内容如何。

此外，例如，如图76所示，从广播站100(参见图1)发送图像数据、闭路字幕数据和图形数据。视差信息组(参见图29、图31、图33和图36)作为视差矢量流发送。在这种情况下，与每一个特定时间段对应的基于预定单元的视差信息组统一地与编码视频的GOP(Group Of Pictures)、I(IntraPicture)画面、场景等的每一个特定时间段的开始定时同步地发送。关于预定单元，例如，可以想到画面(帧)单元、整数个画面的单元等。

例如，对于立体图像字幕和图形生成单元226以及立体图像文本生成227，在重叠信息的重叠时间段期间，对于每一个预定单元添加根据与重叠信息对应的视差矢量(视差信息)的视差。在图76中添加到闭路字幕数据和图形数据的各部分的箭头表示视差添加到每一个预定单元的重叠信息的定时。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此要添加到重叠信息的视差可以与图像内容的改变一起动态地改变。

[位流处理单元的另一配置示例]

图77中所示的位流处理单元201A被配置为对应于图13和图22中所示的上述传输数据产生单元110A和110D。在该图77中，对应于图72的部分以同样的附图标记表示，并且将省略其详细描述。

对于该位流处理单元201A，代替图72中的位流处理单元201的视差矢量解码器255，提供视差矢量提取单元231。该视差矢量提取单元231从通过视频解码器221获得的视频流中提取嵌入其用户数据区域的视差矢量。然后，该视差矢量提取单元231将所提取的视差矢量供应到立体图像字幕和图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。

尽管将省略详细描述，但是图77中所图示的位流处理单元201A的其他组件以与图72中所图示的位流处理单元201相同的方式配置，并且以相同方式工作。

[对于重叠信息的视差的施加]

现在，将进一步进行关于在图77中所示的位流处理单元201A的立体图像字幕和图形生成单元226以及立体图像文本生成单元227中对于重叠信息的视差的施加进行描述。

例如，如图78所示，从广播站100(参见图1)发送图像数据流、以及字幕或图形数据流以及文本数据流。接下来，通过将视差矢量(参见图8、图29等)嵌入图像数据流来发送视差矢量。在这种情况下，对于图像数据的每一个预定单元(如，对于编码视频的每一个画面)，通过将与其预定单元对应的视差矢量嵌入图像数据流来对其进行发送。

通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元，添加根据与重叠信息对应的视差矢量(视差信息)的视差。在图78中添加到字幕(图形)数据流和文本数据流的各部分的箭头表示视差添加到每一个预定单元的重叠信息的定时。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此要添加到重叠信息的视差可以与图像内容的改变一起动态地改变。

此外，例如，如图79和图80所示，从广播站100(参见图1)发送图像数据流、以及字幕或图形数据流以及文本数据流。接下来，通过将视差矢量(参见图8、图29等)嵌入图像数据流来对其进行发送。在这种情况下，与每一个特定时间段对应的基于预定单元的视差矢量统一地与编码视频的GOP、I画面、场景等的每一个特定时间段的开始定时同步地发送。关于预定单元，例如，可以想到画面(帧)单元、整数个画面的单元等。

例如，通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元，添加根据与重叠信息对应的视差矢量(视差信息)的视差。在图79中添加到字幕(图形)数据流和文本数据流的各部分的箭头表示视差添加到每一个预定单元的重叠信息的定时。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此要添加到重叠信息的视差可以与图像内容的改变一起动态地改变。

此外，例如，通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元的重叠信息，添加从等于视差矢量的重叠时间段选择的根据预定视差矢量(视差信息)的视差。预定视差矢量例如是设置到指示等于视差信息的重叠时间段的最大视差的视差信息的预定视差信息。

在图80中添加到字幕(图形)数据流和文本数据流的各部分的箭头表示视差添加到重叠信息的定时。以这种方式，在重叠时间段开始的时候，将视差添加到重叠信息，并且其后，使用添加了其视差的重叠信息，作为要重叠在左眼图像和右眼图像上的重叠信息。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此可以将重叠信息的重叠时间段期间的最大视差添加到重叠信息，而不管图像内容如何。

此外，例如，如图81所示，从广播站100(参见图1)发送图像数据、闭路字幕数据和图形数据。通过将视差信息组(参见图29、图31、图33和图36)嵌入图像数据流来对其进行发送。在这种情况下，与每一个特定时间段对应的基于预定单元的视差信息组统一地与编码视频的GOP、I画面、场景等的每一个特定时间段的开始定时同步地发送。关于预定单元，例如，可以想到画面(帧)单元、整数个画面的单元等。

例如，通过立体图像字幕和图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时间段期间，对于每一个预定单元，添加根据与重叠信息对应的视差矢量(视差信息)的视差。在图81中添加到闭路字幕数据和图形数据的各部分的箭头表示视差添加到每一个预定单元的重叠信息的定时。以这种方式，进行这样的安排：其中，将视差添加到重叠信息，由此要添加到重叠信息的视差可以与图像内容的改变一起动态地改变。

[位流处理单元的另一配置示例]

图82中所示的位流处理单元201B被配置为对应于图15中所示的上述传输数据产生单元110B。在该图82中，对应于图72的部分以同样的附图标记表示，并且将省略其详细描述。

对于该位流处理单元201B，代替图72中所示的位流处理单元201的视差矢量解码器255，提供视差矢量提取单元232。该视差矢量提取单元232从通过字幕和图形解码器222获得的字幕或图形流提取其中嵌入的视差矢量。接下来，该视差矢量提取单元232将提取出的视差矢量提供到立体图像字幕和图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。

尽管将省略详细描述，但是图72中所示的位流处理单元201B的其他组件以与图72中所示的位流处理单元201相同的方式配置，并且以相同的方式工作。注意，在图82中的位流处理单元201B中对于重叠信息的视差的施加与图77中的以上位流处理单元201A中对于重叠信息的视差的施加相同(参见图78到图81)。

[位流处理单元的另一配置示例]

图83中所图示的位流处理单元201C被配置为对应于图21中所图示的上述传输数据产生单元110C。在该图83中，对应于图72的部分以同样的附图标记表示，并且将省略其详细描述。

该位流处理单元201C是通过从图72中所示的位流处理单元201中除去视差矢量解码器255、立体图像字幕和图形生成单元226以及立体图像文本生成单元227所获得的单元。在这种情况下，视差矢量预先反映在字幕信息、图形信息和文本信息的数据上。

如上所述，发送的字幕数据或图形数据包括：要重叠在左眼图像上的左眼字幕信息或图形信息的数据以及要重叠在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，发送的文本数据包括：要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。因此，消除了视差矢量解码器255、立体图像字幕和图形生成单元226以及立体图像文本生成单元227的必要性。

注意，在文本解码器223处获得的文本数据是代码数据(字符代码)，因此需要用于将其转换为位图数据的处理。例如，在文本解码器223的最终级执行该处理，或者在视频重叠单元228的输入级执行该处理。

[机顶盒的另一配置示例]

图84图示了机顶盒200A的另一配置示例。在该图84中，对应于图71和图77的部分以相同的附图标记表示，并且将适当地省略其详细描述。该机顶盒200A包括位流处理单元201D、HDMI端子202、天线端子203、数字调谐器204、视频和图形处理电路205A、HDMI传输单元206以及音频信号处理电路207。此外，该机顶盒200A包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215、遥控发送器216、网络端子217和以太网接口218。注意，“以太网”是注册商标。

位流处理单元201D从在数字调谐器204处获得的位流数据BSD提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。对于该示例，重叠信息数据是字幕数据。该位流处理单元201D以大体上与图77中所示的位流处理单元201A相同的方式配置。

位流处理单元201D包括多路分用器220A、视频解码器221、字幕解码器222A和音频解码器224。此外，该位流处理单元201D包括立体图像字幕和图形生成单元226A、视频重叠单元228和视差矢量提取单元231。多路分用器220A从位流数据BSD提取视频、音频和字幕的包，并将其发送到每一个解码器。

视频解码器221根据在多路分用器220A处提取的视频包重构视频基本流，执行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。字幕解码器222A根据在多路分用器220A处提取的字幕包重构字幕基本流。接下来，该字幕解码器222A进一步执行解码处理，以获得字幕数据。音频解码器224根据从多路分用器220A处提取的音频包重构音频基本流，执行解码处理，获得音频数据，并将其输出到位流处理单元201的外部。

视差矢量提取单元231从通过视频解码器221获得的视频流提取嵌入在其用户数据区域中的视差矢量(视差信息组)。接下来，该视差矢量提取单元231将提取出的视差矢量提供到立体图像字幕和图形生成单元226，并且还输出到位流处理单元201D的外部。

立体图像字幕和图形生成单元226A生成要叠加在左眼图像和右眼图像上的左眼和右眼字幕信息。该生成处理基于在字幕解码器222A处获得的字幕数据以及从视差矢量提取单元231提供的视差矢量(视差信息组)来执行。在这种情况下，左眼和右眼字幕信息是同一信息。然而，对于图像内的重叠位置，例如，右眼字幕信息关于左眼字幕信息在水平方向上移位等于视差矢量的水平方向分量。接下来，该立体图像字幕生成单元226A输出左眼和右眼字幕信息的数据(位图数据)。

视频重叠单元228将在字幕生成单元226A处生成的左眼和右眼字幕信息的数据重叠在视频解码器221处获得的立体图像数据(左眼图像数据、右眼图像数据)上，以获得用于显示的立体图像数据。注意，通过系统层的时间戳来开始对于立体图像数据(左眼图像数据、右眼图像数据)的重叠信息数据的重叠。接下来，该视频重叠单元228将用于显示的立体图像数据输出到位流处理单元201D的外部。

以太网接口228经由网络端子227连接到未示出的网络(如，因特网等)。以太网接口228还可以响应于用户的操作，经由网络获得各种类型的信息(例如，天气预报、共享价格等的信息)，以根据Widget(窗口小部件)图形地显示。该以太网接口228连接到内部总线214。

根据需要，视频和图形处理单元205使从位流处理单元201D输出的立体图像数据经历图像质量调整处理。此外，该视频和图形处理单元205A例如将根据Widget的图形信息的数据重叠在从位流处理单元201D输出的用于显示的立体图像数据上。

将从位流处理单元201D输出的以上视差矢量(视差信息组)提供到该视频和图形处理单元205A。视频和图形处理单元205A基于该视差矢量(视差信息组)，将视差添加到要重叠在左眼图像和右眼图像上的同一图形信息。因此，在图像内根据每一对象的透视经历视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同图形信息，并且通过该图形信息的显示，可以维持图像内各对象之间的透视的一致性。

视频和图形处理单元205A将在其处理之后的用于显示的立体图像数据提供到HDMI传输单元206。根据需要，音频信号处理电路207使从位流处理单元201D输出的音频数据经历音频质量调整处理等，并将在其处理之后的音频数据提供到HDMI传输单元206。HDMI传输单元206通过遵循HDMI的通信，从HDMI端子202输出基带图像(视频)和音频数据。在这种情况下，HDMI传输单元206为了通过HDMI的TMDS通道进行发送，使图像和音频数据经历封包，并输出到HDMI端子202。

尽管将省略详细描述，但是图84中所示的机顶盒200A的其他组件以与图71中所示的机顶盒200相同的方式配置。

将大体描述图84中所示的机顶盒200A的操作。将对于天线端子203的电视广播信号输入提供到数字调谐器204。通过该数字调谐器204，处理电视广播信号，并获得与用户选择的频道对应的预定位流数据BSD。将该位流数据BSD提供到位流处理单元201D。

通过该位流处理单元201D，提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、字幕数据、视差矢量(视差信息组)等。此外，通过该位流处理单元201D，关于立体图像数据合成字幕信息的数据，并产生用于显示的立体图像数据。

在这种情况，通过位流处理单元201D，基于视差矢量，将视差添加到要重叠在左眼图像和右眼图像上的相同的字幕信息。因此，经历了根据图像内每一个对象的透视的视差调整的字幕信息可以用作要重叠在左眼图像和右眼图像上的相同的字幕信息，并且通过该字幕信息的显示，维持图像内各对象之间的透视的一致性。

根据需要，在位流处理单元201D处产生的用于显示的立体图像数据经历视频和图像处理电路205A处的图像质量调整。此外，通过该视频和图形处理电路205A，根据需要，关于在位流处理单元201D处产生的立体图像数据，合成根据Widget的图形信息的数据。

在这种情况下，通过视频和图形处理电路205A，基于从位流处理单元201D提供的视差矢量(视差信息组)，将视差添加到要重叠在左眼图像和右眼图像上的相同的图形信息。因此，经历了根据图像内每一个对象的透视的视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同的图形信息，并且通过该图形信息的显示，维持图像内各对象之间的透视的一致性。

将从视频和图形处理电路205A获得的用于显示的立体图像数据提供到HDMI传输单元206。此外，根据需要，在位流处理单元201D处获得的音频数据经历音频信号处理电路207处的音频质量调整，然后提供到HDMI传输单元206。通过HDMI的TMDS通道，将提供到HDMI传输单元206的立体图像数据和音频数据从HDMI端子202发送到HDMI线缆400。

通过图84中所示的机顶盒200A，基于在位流处理单元201D的视差矢量提取单元231处提取的视差矢量(视差信息组)，将视差添加到要重叠在左眼图像和右眼图像上的相同的字幕信息。此外，通过视频和图形处理电路205A，基于其视差矢量(视差信息组)，将视差添加到要重叠在左眼图像和右眼图像上的相同的图形信息。因此，不仅关于要从广播站发送的字幕信息，而且关于在该机顶盒200A内产生的图形信息，可以在其显示中维持图像内各对象之间的透视的一致性。

图85图示了在图84中所示的机顶盒200A中，关于左眼图像和右眼图像的字幕信息和图形信息的重叠示例。图85中的(a)图示了左眼图像。通过位流处理单元201D，将字幕信息“Subtitle 1”重叠在位置(x1，y1)，并且将字幕信息“Subtitle 2”重叠在位置(x2，y2)。此外，通过视频和图形处理电路205A，将图形信息“Graphics 1”重叠在位置(x3，y3)。

图85中的(b)图示了右眼图像。通过位流处理单元201D，基于对应的视差矢量，将字幕信息“Subtitle 1”重叠在关于左眼图像的重叠位置移位了偏移1(Offset 1)的位置。类似地，通过该位流处理单元201D，基于对应的视差矢量，将字幕信息“Subtitle 2”重叠在关于左眼图像的重叠位置移位了偏移2(Offset 2)的位置。此外，通过位流处理单元201D，将图形信息“Graphics1”重叠在关于左眼图像的重叠移位了偏移3(Offset 3)的位置。

注意，通过图84中所示的机顶盒200A，在位流处理单元201D处理字幕信息，并且还在视频和图形处理电路205A处理图形信息，但是还以相同的方式处理其他重叠信息。

[电视接收机的描述]

返回到图1，电视接收机300经由HDMI线缆400接收从机顶盒200发送的立体图像数据。该电视接收机300包括3D信号处理单元301。该3D信号处理单元301使立体图像数据经历与传输方法对应的处理(解码处理)以产生左眼图像数据和右眼图像数据。具体地说，该3D信号处理单元301执行与图2、图13、图15、图21、图22和图62中所示的传输数据产生单元110、110A、110B、110C、110D和110E中的视频成帧单元112相反的处理。接下来，该3D信号处理单元301获得构成立体图像数据的左眼图像数据和右眼图像数据。

[电视接收机的配置示例]

将描述电视接收机300的配置示例。图86图示了电视接收机300的配置示例。该电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

此外，该电视接收机300包括视频和图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外，该电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。

天线端子304是用于输入在接收天线(未示出)处接收到的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

位流处理单元306以与图71中所示的机顶盒200的位流处理单元201相同的方式配置。该位流处理单元306提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。重叠信息数据是字幕数据、图形数据、文本数据(包括闭路字幕数据)等。该位流处理单元306关于立体图像数据合成重叠信息，以获得用于显示的立体图像数据。此外，位流处理单元306输出音频数据。

HDMI接收单元303通过遵循HDMI的通信，经由HDMI线缆400接收提供到HDMI端子302的未压缩图像数据和音频数据。该HDMI接收单元303(例如，其版本是HDMI 1.4)处于可以处理立体图像数据的状态。稍后将描述该HDMI接收单元303的细节。

3D信号处理单元301使在HDMI接收单元303处接收到的、或者在位流处理单元306处获得的立体图像数据经历解码处理，以产生左眼图像数据和右眼图像数据。在这种情况下，3D信号处理单元301使在位流处理单元306处获得的立体图像数据经历与传输方法(参见图4)对应的解码处理。此外，3D信号处理单元301使在HDMI接收单元303处接收到的立体图像数据经历与稍后描述的TMDS传输数据结构对应的解码处理。

视频和图形处理电路307基于在3D信号处理单元301处产生的左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。此外，视频和图形处理电路307根据需要，使图像数据经历图像质量调整处理。此外，视频和图形处理电路307根据需要，关于图像数据合成重叠信息(如，菜单、节目列表等)的数据。面板驱动电路308基于从视频和图形处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由LCD(液晶显示器)、PDP(等离子显示面板)等构成。

音频信号处理电路310使在HDMI接收单元303处接收到的或者在位流处理单元306处获得的音频数据经历必要的处理(如，D/A转换等)。音频放大器电路311放大从音频信号处理电路310输出的音频信号，将其提供到扬声器312。

CPU 321控制电视接收机300的每一个单元的操作。闪速ROM 322执行控制软件的存储和数据的存储。DRAM 323构成CPU 321的工作区域。CPU321将从闪速RAM 322读出的软件和数据加载到DRAM 323，启动软件，并控制电视接收机300的每一个单元。

遥控单元325接收从遥控发送器326发送的遥控信号(遥控代码)，并将其提供到CPU 321。CPU 321基于该遥控代码控制电视接收机300的每一个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。

将简要描述图86中所示的电视接收机300的操作。HDMI接收单元303经由HDMI线缆400接收从连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。在该HDMI接收单元303处接收到的该立体图像数据被提供到3D信号处理单元301。此外，在该HDMI接收单元303处接收到的音频数据被提供到音频信号处理单元310。

将输入到天线端子304的电视广播信号提供到数字调谐器305。通过该数字调谐器305，处理电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

将从数字调谐器305输出的位流数据提供到位流处理单元306。通过该位流处理单元306，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。此外，通过该位流处理单元306，关于立体图像数据合成重叠信息(闭路字幕信息、字幕信息、图形信息或文本信息)的数据，并产生用于显示的立体图像数据。

在位流处理单元306处产生的立体图像数据被提供到3D信号处理单元301。此外，将在位流处理单元306处获得的音频数据提供到音频信号处理电路310。

通过3D信号处理单元301，在HDMI接收单元303处接收到的或者在位流处理单元306处获得的立体图像数据经历解码处理，并且产生左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频和图形处理电路307。通过该视频和图形处理电路307，基于左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据，并且还根据需要执行图像质量调整处理或重叠信息数据的合成处理。

将在该视频和图形处理电路307处获得的图像数据提供到面板驱动电路308。因此，由显示面板309显示立体图像。例如，根据左眼图像数据的左眼图像和根据右眼图像数据的右眼图像以时间共享的方式交替地显示。观看者可以单独由左眼观看左眼图像，并且单独由右眼观看右眼图像，因此可以通过佩戴快门眼镜(其中，与显示面板309的显示同步地交替地打开左眼快门和右眼快门)来感受立体图像。

此外，通过音频信号处理电路310，在HDMI接收单元303处接收到的或者在位流处理单元306处获得的音频数据经历必要的处理，如D/A转换等。在音频放大电路311处放大该音频数据，然后将其提供到扬声器312。因此，从扬声器312输出与显示面板309的显示图像对应的音频。

[HDMI传输单元和HDMI接收单元的示例配置]

图87图示了，对于图1中的立体图像显示系统10，机顶盒200的HDMI传输单元(HDMI信源)206和电视接收器300的HDMI接收单元(HDMI信宿)303的配置示例。

在有效图像部分(在下文中，也称为“活动视频部分”期间，HDMI传输单元206在一个方向中将与对于一屏幕的未压缩图像的像素数据对应的差分信号发送到HDMI接收单元303。这里，有效图像部分是通过从一个垂直同步信号与下一个垂直同步信号之间的部分去除了水平消隐部分和垂直消隐部分而获得的部分。此外，在水平消隐部分或垂直消隐部分期间，HDMI传输单元206通过使用多通道单向地向HDMI接收单元303发送与跟在至少图像之后的音频数据、控制数据、其他辅助数据等对应的差分信号。

提供下列传输通道作为由HDMI传输单元206和HDMI接收单元303形成的HDMI系统的传输通道。具体地说，存在用作用于与像素时钟同步的、在一个方向中串行地将像素数据和音频数据从HDMI传输单元206发送到HDMI接收单元303的传输通道的三个TMDS通道#0至#2。此外，存在用作发送像素时钟的传输通道的TMDS时钟通道。

HDMI传输单元206包括HDMI发送器81。发送器81例如将未压缩图像的像素数据转换为对应的差分信号，并通过作为多通道的三个TMDS通道#0、#1和#2在一个方向中串行地发送到经由HDMI线缆400连接的HDMI接收单元303。

此外，发送器81将跟在未压缩图像之后的音频数据以及进一步必要的控制数据和其他辅助数据等转换为对应的差分信号，并通过三个TMDS通道#0、#1和#2在一个方向中串行地发送到HDMI接收单元303。

进一步，发送器81通过使用TMDS时钟通道，将与通过三个TMDS通道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI线缆400连接的HDMI接收单元303。这里，通过一个TMDS通道#i(i＝0，1，2)，在像素时钟的一个时钟期间发送10-位像素数据。

HDMI接收单元303接收与通过使用多个通道，在活动视频部分期间，在一个方向中从HDMI传输单元206发送的像素数据对应的差分信号。此外，该HDMI接收单元303接收与通过使用多通道，在水平消隐部分或垂直消隐部分期间，在一个方向中从HDMI传输单元206发送的音频数据或控制数据对应的差分信号。

具体地说，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82接收差分信号以及通过使用TMDS通道#0、#1和#2在一个方向中从HDMI传输单元206发送的、与音频数据或控制数据对应的差分信号。在这种情况下，HDMI接收器与通过TMDS时钟通道从HDMI传输单元206发送的像素时钟同步地接收差分信号。

除了上述TMDS通道#0至#2以及TMDS时钟通道之外，HDMI系统的传输通道还包括被称为DDC(显示数据通道)83和CEC线84的传输通道。DDC 83由未示出的、包括在HDMI线缆400中的两条信号线形成。DDC 83用于HDMI传输单元206从HDMI接收单元303读出E-EDID(增强扩展显示标识数据)。

具体地说，除了HDMI接收器81之外，HDMI接收单元303还包括已经在其中存储了作为关于其性能(配置/容量)的性能信息的E-EDID的EDIDROM(只读存储器)85。HDMI传输单元206例如响应于来自CPU 211(参看图71)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读出E-EDID。

HDMI传输单元206将所读取的E-EDID发送到CPU 211。CPU 211在闪速ROM 212或DRAM 213中存储该E-EDID。CPU 211可以基于E-EDID辨认HDMI接收单元303的性能设置。例如，CPU 211辨认包括HDMI接收单元303的电视接收器300是否能够处理立体图像数据，而且在能够处理立体图像数据的情况下，进一步辨认可以处理哪种TMDS传输数据结构。

CEC线84由未示出的、包括在HDMI线缆400中的一条信号线形成，并且用于执行在HDMI传输单元206与HDMI接收单元303之间的用于控制的数据的双向通信。该CEC线84形成控制数据线。

此外，HDMI线缆400包含连接到被称为HPD(Hot Plug Detect，热插拔检测)的管脚的线86。信源装置可以通过利用该线86检测信宿装置的连接。注意，该HPD线86也用作形成双向通信路径的HEAC-线。此外，HDMI线缆400包含用于从信源装置向信宿装置供电的线(电源线)87。进一步，HDMI线缆400包含应用线88。该应用线88用作形成双向通信路径的HEAC+线。

图88图示了在图87中的HDMI发送器81和HDMI接收器82的配置示例。HDMI发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B和81C。然后，编码器/串行化器81A、81B和81C中的每一个编码供应到其的图像数据、辅助数据和控制数据，将并行数据转换成串行数据，并通过差分信号发送。现在，在图像数据包括例如R、G和B三个分量的情况下，将B分量供应到编码器/串行化器81A，将G分量供应到编码器/串行化器81B，而将R分量供应到编码器/串行化器81C。

此外，辅助数据的示例包括音频数据和控制包，例如，将控制包供应到编码器/串行化器81A，而将该音频数据供应到编码器/串行化器81B和81C。进一步，作为控制数据，存在1-位垂直同步信号(VSYNC)、1-位水平同步信号(HSYNC)和均由1-位构成的控制位CTL0、CTL1、CTL2和CTL3。将垂直同步信号和水平同步信号供应到编码器/串行化器81A。将控制位CTL0和CTL1供应到编码器/串行化器81B，而将控制位CTL2和CTL3供应到编码器/串行化器81C。

编码器/串行化器81A以时间共享的方式发送供应到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。具体地说，编码器/串行化器81A将供应到其的图像数据的B分量取为以8位(其是固定位数)为增量的并行数据。进一步，编码器/串行化器81A编码其并行数据，转换为串行数据，并通过使用TMDS通道#0发送。

此外，编码器/串行化器81A还编码供应到其的垂直同步信号和水平同步信号的2-位并行数据，转换为串行数据，并通过使用TMDS通道#0发送。进一步，编码器/串行化器81A将供应到其的辅助数据取为以4位为增量的并行数据。然后，编码器/串行化器81A编码其并行数据，转换为串行数据，并通过使用TMDS通道#0发送。

编码器/串行化器81B以时间共享的方式发送供应到其的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。具体地说，编码器/串行化器81B将供应到其的图像数据的G分量取为以8位(其是固定位数)为增量的并行数据。进一步，编码器/串行化器81B编码其并行数据，转换为串行数据，并通过使用TMDS通道#1发送。

此外，编码器/串行化器81B编码供应到其的控制位CTL0和CTL1的2-位并行数据，转换为串行数据，并通过使用TMDS通道#1发送。进一步，编码器/串行化器81B将供应到其的辅助数据取为以4位为增量的并行数据。然后，编码器/串行化器81B编码其并行数据，转换为串行数据，并通过使用TMDS通道#1发送。

编码器/串行化器81C以时间共享的方式发送供应到其的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。具体地说，编码器/串行化器81C将供应到其的图像数据的R分量取为以8位(其是固定位数)为增量的并行数据。进一步，编码器/串行化器81C编码其并行数据，转换为串行数据，并通过使用TMDS通道#2发送。

此外，编码器/串行化器81C还编码供应到其的控制位CTL2和CTL3的2-位并行数据，转换为串行数据，并通过使用TMDS通道#2发送。进一步，编码器/串行化器81C将供应到其的辅助数据取为以4位为增量的并行数据。然后，编码器/串行化器81C编码其并行数据，转换为串行数据，并通过使用TMDS通道#2发送。

HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复器/解码器82A、82B和82C。然后，恢复器/解码器82A、82B和82C中的每一个接收通过使用TMDS通道#0、#1和#2中的对应一个通过差分信号发送的图像数据、辅助数据和控制数据。进一步，恢复器/解码器82A、82B和82C中的每一个将图像数据、辅助数据和控制数据从串行数据转换成并行数据，并进一步解码和输出它们。

也就是说，恢复器/解码器82A接收通过使用TMDS通道#0、通过使用差分信号发送的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复器/解码器82A将该图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出它们。

恢复器/解码器82B接收通过使用TMDS通道#1、通过差分信号发送的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。然后，恢复器/解码器82B将该图像数据的G分量、控制位CTL0和CTL1以及辅助数据从串行数据转换成并行数据，并解码和输出它们。

恢复器/解码器82C接收通过使用TMDS通道#2、通过差分信号发送的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复器/解码器82C将该图像数据的R分量、控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出它们。

图89图示了TMDS传输数据的结构示例。图89图示了在通过使用TMDS通道#0、#1和#2发送具有宽×长为1920像素×1080像素的图像数据的情况下的各种类型的传输数据的部分。

对于通过使用HDMI的三个TMDS通道#0、#1和#2发送传输数据的视频场(Video Field)，按照传输的类型，存在三种类型的部分。该三种类型的部分是视频数据部分(Video Data Period)、数据岛部分(Data Island Period)和控制部分(Control Period)。

这里，视频场部分是从某个垂直同步信号的前沿(活动沿)到下一个垂直同步信号的前沿的部分。这个视频场部分可以被分隔成水平消隐时段(水平消隐)、垂直消隐时段(垂直消隐)和活动视频部分(Active Video)。该活动视频部分是通过从视频场部分中去除水平消隐时段和垂直消隐时段获得的部分。

将视频数据部分分配给活动视频部分。对于该视频数据部分，发送等于1920像素×1080行的有效像素(Active Pixels)的数据(其形成一屏幕的未压缩图像数据)。

将数据岛部分和控制部分分配给水平消隐时段和垂直消隐时段。对于数据岛部分和控制部分，发送辅助数据(Auxiliary data)。也就是说，将数据岛部分分配给水平消隐时段和垂直消隐时段的一部分。对于该数据岛部分，在辅助数据之中，发送与控制无关的数据，例如音频数据的包等。

将控制部分分配给水平消隐时段和垂直消隐时段的另一部分。对于该控制部分，在辅助数据之中，发送与控制有关的数据，例如垂直同步信号、水平同步信号和控制包等。

图90图示了HDMI端子的管脚阵列的示例。图90中所图示的管脚阵列被称为A型(type-A)。经由作为差分线的两条线发送作为TMDS通道#i的差分信号的TMDS数据#i+和TMDS数据#i-。该两条线连接到TMDS数据#i+分配到的管脚(具有管脚号1、4和7的管脚)以及TMDS数据#i-分配到的管脚(具有管脚号3、6和9的管脚)。

此外，发送作为用于控制的数据的CEC信号的CEC线84连接到管脚号为13的管脚。此外，发送诸如E-EDID之类的SDA(Serial Data)信号的线连接到管脚号为16的管脚。发送作为用于在SDA信号的发送和接收时同步的时钟信号的SCL(Serial Clock)信号的线连接到管脚号为15的管脚。上述DDC 83由发送SDA信号的线和发送SCL信号的线组成。

此外，如上所述，用于信源装置检测信宿装置的连接的HPD线(HEAC-线)86连接到管脚号为19的管脚。此外，应用线(HEAC+线)88连接到管脚号为14的管脚。此外，如上所述，用于供电的线87连接到管脚号为18的管脚。

[E-EDID结构]

如上所述，HDMI传输单元206例如响应于来自CPU 211(参看图71)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读出E-EDID。然后，CPU 211基于该E-EDID辨认HDMI接收单元303的性能设置，例如，立体图像数据的处理是否可用。

图91图示了E-EDID的数据结构示例。E-EDID由基本块和扩展块形成。对于基本块，在开头处安排通过以“E-EDID 1.3基本结构”表示的E-EDID 1.3标准规定的数据。对于该基本块，随后安排用“优选定时”表示的、用于保持与传统EDID的兼容性的定时信息。此外，对于该基本块，随后安排用“优选定时”表示的、用于保持与传统EDID的兼容性的、不同于“优选定时”的定时信息。

此外，对于基本块，在“第二定时”之后，安排用“监视器名称”表示的、指示显示设备的名称的信息。对于基本块，随后，安排指示可关于安排高宽比为4∶3和16∶9的情况显示的像素数量的信息。

在扩展块的开头，安排“简短视频描述符”。这是指示可显示图像大小(分辨率)、帧速和隔行还是逐行的信息。随后，安排“简短音频描述符”。这是诸如可播放音频编码解码方法、采样频率、截止带、编码解码位数之类的信息。随后，安排用“扬声器分配”表示的、关于左和右扬声器的信息。

此外，对于扩展块，随在“扬声器分配”之后，安排用“厂商专用”表示的、对于每一个厂商唯一定义的数据。对于扩展块，安排由“第三定时”表示的、用于保证与传统EDID的兼容性的定时信息。对于扩展块，再随后安排由“第四定时”表示的、用于保证与传统EDID的兼容性的定时信息。

图92图示了厂商专用区域(HDMI厂商专用数据块)的数据结构示例。对于该厂商专用区域，提供作为1-字节块的第0′块至第N′块。

对于第0′块，安排用“厂商专用标签代码(＝3)”表示的、指示数据“厂商专用”的数据区域的头部。此外，对于该第0′块，还安排用“长度(＝N)”表示的、指示数据“厂商专用”的长度的信息。此外，对于第一块至第三块，安排用“24位IEEE注册标识符(0x000C03)LSB在前”表示的、指示对于HDMI(R)注册的号码“0x000C03”的信息。此外，对于第四块和第五块，安排用“A”、“B”、“C”和“D”表示的、指示信宿装置的24-位物理地址的信息。

对于第六块，安排用“Supports-AI”表示的、指示信宿装置可以处理的功能的标志。此外，对于该第六块，还安排用“DC-48位”，“DC-36位”和“DC-30位”表示的、指定每个像素的位数的每个信息。此外，对于该第六块，还安排用“DC-Y444”表示的、指示信宿装置是否可以处理YCbCr 4∶4∶4的图像传输的标志。进一步，对于该第六块，安排用“DVI-Dual”表示的、指示信宿装置是否可以处理双重DVI(数字视频接口)的标志。

此外，对于第七块，安排用“Max-TMDS-Clock”表示的、指示TMDS像素时钟的最大频率的信息。此外，对于第八块的第六位和第七位，安排用“等待时间”表示的、指示是否存在视频和音频的延迟信息的标志。此外，对于该第八块的第五位，安排用“HDMI_Video_present”表示的、指示附加HDMI视频格式(3D，4k×2k)的处理是否可用的标志。

此外，对于第九块，安排用“视频等待时间”表示的、逐行视频的延迟时间数据，而对于第十块，安排用“音频等待时间”表示的、伴随该逐行视频的音频的延迟时间数据。此外，对于第十一块，安排用“隔行视频等待时间”表示的、隔行视频的延迟时间数据。进一步，对于第十二块，安排用“隔行音频等待时间”表示的、伴随该隔行视频的音频的延迟时间数据。

此外，对于第十三块的第七位，安排用“3D_present”表示的、指示是否3D图像数据的处理是否可用的标志。此外，对于第十四块的第七至第五位，安排用“HDMI_VIC_LEN”表示的、指示安排在未示出的第十五块及其后中的强制3D数据以外的、可以处理的数据结构的块大小信息。此外，对于第十四块的第四至第零位，安排用“HDMI_3D_LEN”表示的、指示安排在未示出的第十五块及其后中的、可以处理的4k×2k的视频格式的块大小信息。

[立体图像数据的TMDS传输数据结构]

图93图示了作为立体图像数据的一种TMDS传输数据结构的帧封装(Frame Packing)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行(progressive)方法的左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。

对于该3D视频格式，执行1920×1080p和1080×720p像素格式的图像数据作为左眼(L)和右眼(R)图像数据的发送。注意，在图93中，图示了左眼(L)图像数据和右眼(R)图像数据中的每一个都具有1920行×1080像素的示例。

根据该3D视频格式，产生这样的传输数据：其中，由垂直同步信号将包括水平消隐时段(Hblank)、垂直消隐时段(Vblank)和活动视频部分(Hactive×Vactive)的视频场部分划界为一个单位。对于该3D视频格式，活动视频部分包括两个活动视频区域(Active Video)和在其间的一个活动空区域(Activespace)。左眼(L)图像数据被放置在第一活动视频区域，而右眼(R)图像数据被放置在第二活动视频区域。

图94图示了在作为立体图像数据的一种TMDS传输数据结构的行交替(Line alternative)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行方法的左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。对于该3D视频格式，作为左眼(L)和右眼(R)图像数据，执行1920×1080p像素格式的图像数据的发送。

根据该3D视频格式，产生这样的传输数据：其中，由垂直同步信号将包括水平消隐时段(Hblank)、垂直消隐时段(2×Vblank)和活动视频部分(Hactive×2Vactive)的视频场部分划界为一个单位。对于该3D视频格式，在活动视频部分中，交替地安排左眼图像数据的一行和右眼图像数据的一行。

图95图示了在作为立体图像数据的一种TMDS传输数据结构的并排(side-by-side)(全)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行方法的左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。对于该3D视频格式，作为左眼(L)和右眼(R)图像数据，执行将具有1920×1080p像素格式的图像数据的发送。

根据该3D视频格式，产生这样的传输数据：其中，由垂直同步信号将包括水平消隐时段(2×Hblank)、垂直消隐时段(Vblank)和活动视频部分(2Hactive×Vactive)的视频场部分划界为一个单位。对于该3D视频格式，在活动视频部分期间，在水平方向的前一半中放置左眼(L)图像数据，而在水平方向的后一半中放置右眼(R)图像数据。

注意，虽然省略了详细描述，但是对于HDMI 1.4，除了在上述图93至95中所图示的3D视频格式之外，还定义用作立体图像数据的TMDS传输数据结构的3D视频格式。例如，提供了帧封装(用于隔行格式的帧封装)方法、场交替(Field alternative)方法、并排(side-by-side)(半)方法等。

如上所述，对于图1中所示的立体图像显示系统10，基于关于左眼图像数据和右眼图像数据之一的另一个的视差信息，将视差添加到要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)。因此，可以采用根据图像内的每一个对象的透视而经历了视差调整的重叠信息用作要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息，并且通过重叠信息的显示，可以维持图像内各对象之间的透视的一致性。

<2.修改>

注意，对于以上实施例，为了将一个分量元素ID与多个视差矢量相关联，在DHI内放置信息“number_of_mutiple_link”(图54、图55)。根据该“number_of_mutiple_link”，预先指定要与分量元素ID相关联的视差矢量的数量。然而，例如，可以想到这样的方法：其中，通过将连接标志(Connect_flag)添加到分区位置ID(Partition_position_id)，将一个分量元素ID与多个视差矢量相关联。

图96图示了将分量元素ID与视差矢量相关联的方法的示例。这里，闭路字幕信息的分量元素ID是窗口ID(window_id)。此外，字幕信息的分量元素ID是区域ID(region_id)。为了将分量元素ID与视差矢量相关联，例如，将分量元素ID与指示视差矢量所属的屏幕区域的最大13位的分区位置ID相关联。

该分区位置ID添加有1位连接标志(Connect_flag)。在将一个分量元素ID与一个视差矢量相关联的情况下，如图96所示，该分量元素ID与一个分区位置ID相关联。在这种情况下，添加到该一个分区位置ID的连接标志被设置为“0”，这指示此后不存在相关联的分区位置ID。

此外，在将一个分量元素ID与两个视差矢量相关联的情况下，如图96所示，该分量元素ID与两个分区位置ID相关联。在这种情况下，添加到第一分区位置ID的连接标志被设置为“1”，这指示此后存在进一步相关联的分区位置ID。接下来，添加到第二分区位置ID的连接标志被设置为“0”，这指示此后不存在相关联的分区位置ID。

注意，尽管在图96中未图示，但是在将一个分量元素ID与三个或更多个视差矢量相关联的情况下，这与将一个分量元素ID与两个视差矢量相关联的情况相同。添加到直至最后一个分区位置ID但是一个的连接标志被设置为“1”，并且仅将添加到最后一个分区位置ID的连接标志设置为“0”。

此外，对于以上实施例，已经图示了这样的示例：其中，立体图像显示系统10由广播转100、机顶盒200和电视接收机300构成。然而，如图86中所示，电视接收机300包括具有与机顶盒200内的位流处理单元201相同功能的位流处理单元201。因此，如图97所示，也可以想到由广播站100和电视接收机300构成的立体图像显示系统10A。

此外，对于以上实施例，已经图示了这样的示例：其中，从广播站广播包括立体图像数据的数据流(位流)。然而，不必说，本发明也可以应用于具有如下安排的系统：其中，通过利用网络(如因特网等)将该数据流分发至接收端。

此外，对于以上实施例，已经图示了这样的示例：其中，通过HDMI数字接口连接机顶盒200和电视接收机300。然而，不必说，本发明也可以应用于这样的情况：其中，通过类似于HDMI数字接口(包括线缆以外的无线)的数字接口连接它们。

注意，本申请参照日本专利申请No.2009-153686。

工业实用性

本发明可以应用于通过在图像等上重叠重叠信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)来显示图像的立体图像显示系统。

附图标记列表

10，10A立体图像显示系统；100广播站；110，110A至100E传输数据产生单元；111L，111R相机；112视频成帧单元；113视频编码器；113a流格式器；114视差矢量检测单元；115视差矢量编码器；116麦克风；117音频编码器；118字幕和图形生成单元；119字幕和图形编码器；119a流格式器；120文本生成单元；121文本编码器；122多路复用器；124字幕和图形处理单元；125文本处理单元；130数据提取单元；130a数据记录介质；131视差信息组创建单元；200，200A机顶盒；201，201A、201B、201C、201D位流处理单元；202HDMI端子；203天线端子；204数字调谐器；205视频信号处理电路；205A视频和图形处理单元；206HDMI传输单元；207音频信号处理电路；211CPU；212闪速ROM；213DRAM；214内部总线；215遥控接收单元；216遥控发送器；220，220A多路分用器；221视频解码器；222字幕和图形解码器；222A；223文本解码器；224音频解码器；225字幕解码器；226立体图像字幕和图形生成单元；226A立体图像字幕产生单元；227立体图像文本生成单元；228视频重叠单元；229多声道扬声器控制单元；231视差矢量提取单元；232视差信息提取单元；300电视接收器；3013D信号处理单元；302HDMI端子；303HDMI接收单元；304天线端子；305数字调谐器；306位流处理单元；307视频信号处理电路；308面板驱动电路；309显示面板；310音频信号处理电路；311音频放大电路；312扬声器；321CPU；322闪速ROM；323DRAM；324内部总线；325遥控接收单元；326遥控发送器；400HDMI线缆

Claims (11)

1.一种立体图像数据传输装置，包括：

视差信息组创建单元，被配置为创建至少一组视差信息组；以及

数据传输单元，被配置为与包括左眼图像数据和右眼图像数据的立体图像数据一起，发送在所述视差信息组创建单元上创建的所述至少一组视差信息组，

其中

所述视差信息组中的每一组包括通过使与立体图像数据相关联的每一个像素的视差矢量经历小型化而产生的、用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差的、属于通过将屏幕分割为预定尺寸而获得的一个或多个屏幕区域的视差信息；

所述视差信息组中的每一组被添加有指示应该关于其使用该视差信息组中包括的视差信息的所述重叠信息的类型的标识信息；所述视差信息组被添加有指示在应该关于其显示由所述标识信息指示的类型的所述重叠信息的区域与用于向要在该区域上显示的所述重叠信息提供视差的视差信息之间的对应关系的信息；

在所述视差信息组创建单元上创建的所述视差信息组中的每一组是所述图像数据的基于预定单元的视差信息组；

所述数据传输单元对于每一个特定时间段分割所述图像数据，并在发送每一个特定时间段的该图像数据之前，发送与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组；并且

与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组被添加有指示用于使用该视差信息组的定时的时间信息。

2.根据权利要求1所述的立体图像数据传输装置，其中所述视差信息组被添加有指示所述预定数量的视差信息组所属的屏幕区域的信息。

3.根据权利要求2所述的立体图像数据传输装置，其中指示所述屏幕区域的信息是指示屏幕分区数量的信息。

4.根据权利要求2所述的立体图像数据传输装置，其中指示所述屏幕区域的信息是指示区域大小的信息。

5.根据权利要求1所述的立体图像数据传输装置，其中所述数据传输单元通过将在所述视差信息组创建单元创建的所述视差信息组的每一组包括在所述立体图像数据的数据流的头部内的用户数据区域内，来对其进行发送。

6.一种立体图像数据发送方法，包括：

视差信息组创建步骤，被安排为创建至少一组视差信息组；以及

数据发送步骤，被安排为与包括左眼图像数据和右眼图像数据的立体图像数据一起，发送在所述视差信息组创建步骤创建的所述至少一组视差信息组，

其中

所述视差信息组中的每一组包括通过使与立体图像数据相关联的每一个像素的视差矢量经历小型化而产生的、用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差的、属于通过将屏幕分割为预定尺寸而获得的一个或多个屏幕区域的视差信息；

所述视差信息组中的每一组被添加有指示应该关于其使用该视差信息组中包括的视差信息的所述重叠信息的类型的标识信息；

所述视差信息组被添加有指示在应该关于其显示由所述标识信息指示的类型的所述重叠信息的区域与用于向要在该区域上显示的所述重叠信息提供视差的视差信息之间的对应关系的信息；

在所述视差信息组创建步骤中创建的所述视差信息组中的每一组是所述图像数据的基于预定单元的视差信息组；

所述数据发送步骤对于每一个特定时间段分割所述图像数据，并在发送每一个特定时间段的该图像数据之前，发送与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组；并且

与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组被添加有指示用于使用该视差信息组的定时的时间信息。

7.一种立体图像数据接收装置，包括：

数据接收单元，被配置为接收至少一组视差信息组，所述视差信息组包括：立体图像数据，包含左眼图像数据和右眼图像数据；以及视差信息，属于通过将屏幕分割为预定尺寸而获得的一个或多个屏幕区域，通过使与立体图像数据相关联的每一个像素的视差矢量经历小型化而产生的、用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差，并且还向所述视差信息组添加指示使用所述视差信息的所述重叠信息的类型的标识信息；以及

图像数据处理单元，被配置为基于所述标识信息，在所述数据接收单元处接收到的所述至少一组视差信息组之中，通过使用与重叠在由在所述数据接收单元处接收到的所述立体图像数据中包括的所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息的类型对应的视差信息组中包括的视差信息，向该重叠信息提供视差，以获得重叠了所述重叠信息的左眼图像的数据以及重叠了所述重叠信息的右眼图像的数据，

其中

所述视差信息组包括被添加有指示在应该关于其显示由所述标识信息指示的类型的所述重叠信息的区域与用于向要在该区域上显示的所述重叠信息提供视差的视差信息之间的对应关系的信息；

在所述数据接收单元处接收到的所述视差信息组是所述图像数据的基于预定单元的视差信息组；

所述数据接收单元对于每一个特定时间段分割所述图像数据，并在发送每一个特定时间段的该图像数据之前，发送与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组；

与每一个特定时间段的图像对应的所述基于预定单元的视差信息组被添加有指示用于使用该视差信息组的定时的时间信息；并且

所述数据处理单元向所述重叠信息的重叠时间段内所述图像数据的每一个预定单元的所述重叠信息提供根据对应的视差信息组中包括的视差信息的视差。

8.根据权利要求7所述的立体图像数据接收装置，其中所述视差信息组被添加有指示所述预定数量的视差信息组所属的屏幕区域的信息。

9.根据权利要求8所述的立体图像数据接收装置，其中指示所述屏幕区域的信息是指示屏幕分区数量的信息。

10.根据权利要求8所述的立体图像数据接收装置，其中指示所述屏幕区域的信息是指示区域大小的信息。

11.一种立体图像数据接收方法，包括：

数据接收步骤，被安排为接收至少一组视差信息组，所述视差信息组包括：立体图像数据，包含左眼图像数据和右眼图像数据；以及视差信息，属于通过将屏幕分割为预定尺寸而获得的一个或多个屏幕区域，通过使与立体图像数据相关联的每一个像素的视差矢量经历小型化而产生的、用于向要重叠在所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息提供视差，并且还向所述视差信息组添加指示使用所述视差信息的所述重叠信息的类型的标识信息；以及

图像数据处理步骤，被安排为基于所述标识信息，在所述数据接收步骤中接收到的所述至少一组视差信息组之中，通过使用与重叠在由在所述数据接收步骤中接收到的所述立体图像数据中包括的所述左眼图像数据和所述右眼图像数据构成的图像上的重叠信息的类型对应的视差信息组中包括的视差信息，向该重叠信息提供视差，以获得重叠了所述重叠信息的左眼图像的数据以及重叠了所述重叠信息的右眼图像的数据，

其中

所述视差信息组包括被添加有指示在应该关于其显示由所述标识信息指示的类型的所述重叠信息的区域与用于向要在该区域上显示的所述重叠信息提供视差的视差信息之间的对应关系的信息；

在所述数据接收步骤中接收到的所述视差信息组是所述图像数据的基于预定单元的视差信息组；

所述数据接收步骤对于每一个特定时间段分割所述图像数据，并在发送每一个特定时间段的该图像数据之前，发送与每一个特定时间段的图像数据对应的所述基于预定单元的视差信息组；

与每一个特定时间段的图像对应的所述基于预定单元的视差信息组被添加有指示用于使用该视差信息组的定时的时间信息；并且

所述数据处理步骤向所述重叠信息的重叠时间段内所述图像数据的每一个预定单元的所述重叠信息提供根据对应的视差信息组中包括的视差信息的视差。