CN103597823A - 发送装置、发送方法和接收器装置 - Google Patents

Abstract

本发明的目的是使得能够良好地进行立体图像的显示。在本发明中，为图像数据的每个预定画面获取的第一视差信息（与画面显示屏幕的预定区域中的最近对象再现位置对应的视差信息）和第二视差信息（与该画面显示屏幕的该预定区域中的最深处对象再现位置对应的视差信息）被插入到视频流中并被发送。在接收侧，基于第一视差信息和第二视差信息，能够进行有关在同侧方向和交叉方向的视差角是否在在观看时不危害健康的预定范围内的检查，并且如果需要，能够重新配置形成立体图像的左眼图像数据和右眼图像数据。

Description

发送装置、发送方法和接收器装置

技术领域

本技术涉及发送装置、发送方法和接收装置，更具体地，涉及用于使得能够良好地显示立体图像或者在立体图像上良好地重叠显示图形的发送装置等。

背景技术

例如，在PTL1中，提出了使用电视广播波发送立体图像数据的方法。在此情况下，发送形成立体图像的左眼图像数据和右眼图像数据，并且在电视接收机中进行利用双眼视差的立体图像显示。

图77例示对象（object）的左图像和右图像在屏幕上的显示位置之间的关系和由该左图像和右图像形成的立体图像在利用双眼视差的立体图像显示中的再现位置。例如，关于对象A，其左图像La在屏幕上显示为偏移到右侧，并且其右图像Ra在屏幕上显示为偏移到左侧，如该图所示，左视线和右视线在屏幕表面的前方交叉，因此该对象A的立体图像的再现位置在屏幕表面的前方。

而且，例如，关于对象B，其左图像La和右图像Rb显示在屏幕上的相同位置处，如该图所示，左视线和右视线在屏幕表面上交叉，因此该对象B的立体图像的再现位置在屏幕表面上。此外，例如，关于对象C，其左图像Lc在屏幕上显示为偏移到左侧，并且其右图像Rc在屏幕上显示为偏移到右侧，如图中所示，左视线和右视线在屏幕表面后方交叉，因此该对象C的立体图像的再现位置在屏幕表面的后方。

引用列表

专利文献

PTL1：日本未审查专利申请公开No.2005-6114

发明内容

技术问题

如上所述，在立体图像显示中，观看者利用双眼视差感知立体图像中的远近（perspective）。在此，相对于最近的对象再现位置的视差角（在交叉方向（crossing direction）上的视差角）和相对于最远的对象再现位置的视差角（在同侧方向上的视差角）需要在某个范围内以便观看不会引起任何健康问题。即，希望将在接收侧检查视差角，并且如果视差角不在该某个范围内，则将重新配置左眼图像和右眼图像以便视差角在该某个范围内。

此外，关于在接收器（比如机顶盒或者电视接收机）中以重叠方式在图像上显示的OSD（屏幕上显示（On-Screen Display））、应用等的图形，期望这样的图形不仅在二维空间方面而且还在三维的深度方面将与立体图像显示一起呈现。在接收器中以重叠的方式在图像上显示图形的情况下，期望将根据图像中的各个对象的远近进行视差调整以便维持远近一致性。

本技术的目标是使得能够良好地显示立体图像或者在立体图像上良好地重叠显示图形。

问题的解决方案

本技术的一个概念在于发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其获得对于获得的图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一者的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息；

视差信息插入单元，其将获得的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

在本技术中，图像数据获得单元获得形成立体图像的左眼图像数据和右眼图像数据。在此情况下，例如通过使用相机拍摄图像或者从存储介质中读取图像数据而获得该图像数据。

该视差信息获得单元获得对于图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括第一视差信息和第二视差信息。在此情况下，可以至少对于要传输其视差信息的画面进行视差信息的获得，而不必对所有画面进行。第一视差信息是与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息。第二视差信息是与该画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息。

例如，视差信息获得单元可以获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且获得关于整个画面显示屏幕的第二视差信息。而且，例如，所述视差信息获得单元可以获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息和第二视差信息。此外，例如，所述视差信息获得单元可以获得关于通过使用第一划分信息划分画面显示屏幕获得的每个划分的区域的第一视差信息，并且获得通过使用第二划分信息划分画面显示屏幕而获得的每个划分的区域的第二视差信息。

该视差信息插入单元将获得的第一视差信息和第二视差信息插入通过对获得的图像数据编码而获得的视频流中。例如，以画面为单位或者以GOP（画面组）为单位将该视差信息插入到视频流中。此外，可以以其他单位为单位（例如以场景为单位）插入视差信息。

在此情况下，该视差信息插入单元可以在进行压缩编码处理之后将视差信息插入视频流中。例如，在压缩编码处理中，可以使用可变长度码进行数据压缩。或者，可以获得画面之间的视差信息的差别数据，并且可以对该差别数据进行可变长度编码，以进一步增加压缩率。

此外，在此情况下，该视差信息插入单元可以在将视差信息插入到视频流中的某个画面时，进一步插入识别该视差信息是关于整个画面显示屏幕的视差信息还是关于某些数量的划分的区域的每个区域的视差信息的标识信息。该标识信息使得接收侧能够容易地确定传输到其处的视差信息是关于整个画面显示屏幕还是关于多个划分的区域的每个区域的视差信息。

该图像数据发送单元发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。例如，该容器可以是在数字广播标准中采用的传输流（MPEG-2TS）。或者，例如，该容器可以是用于在因特网上的分发的MP4的容器或者另一格式的容器。

标识信息插入单元将标识视频流是否包括插入到其中的视差信息的标识信息插入容器的层中。例如，该容器是传输流，并且该标识信息插入单元可以在节目映射表或者事件信息表之下插入该标识信息。例如，该标识信息插入单元在插入在事件信息表的节目映射表以下的描述符中描述标识信息。

如上所述，在本技术中，对于图像数据的某些画面的每个画面获得的第一视差信息（与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息）和第二视差信息（与该画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息）被插入到视频流中，并且发送该视频流。因而，基于第一视差信息和第二视差信息，接收侧能够检查相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）是否在在其中观看不会引起任何健康问题的某个范围内。

此外，本技术的另一概念在于接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括插入到其中的对于图像数据的某些画面的每个画面的关于左眼图像数据和右眼图像数据之一相对于另一者的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

控制单元，其基于获得的第一视差信息和第二视差信息提供重新配置所述左眼图像数据和所述右眼图像数据以便视差角在某个范围内的指令。

在本技术中，该图像数据接收单元接收某个格式的容器，该容器包括视频流。通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流。而且，该视频流包括插入到其中的对于图像数据的某些画面的每个画面的关于左眼图像数据和右眼图像数据之一相对于另一个的视差信息，该视差信息包括第一视差信息和第二视差信息。第一视差信息是与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息。第二视差信息是与该画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息。

该信息获得单元从该容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得插入到图像数据的某个画面中的第一视差信息和第二视差信息。此外，该控制单元基于获得的第一视差信息和第二视差信息提供重新配置所述左眼图像数据和所述右眼图像数据以便视差角在某个范围内的指令。

如上所述，在本技术中，基于第一视差信息和第二视差信息提供重新配置左眼图像数据和右眼图像数据以便视差角在某个范围内的指令。因此，可以重新配置左眼图像数据和右眼图像数据，使得相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）在在其中观看不会引起任何健康问题的某个范围内。

此外，本技术的另一概念在于发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其获得对于获得的图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一个的视差信息；

压缩编码单元，其对获得的视差信息进行压缩编码处理；

视差信息插入单元，其将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

在本技术中，该图像数据获得单元获得形成立体图像的左眼图像数据和右眼图像数据。在此情况下，例如，提供使用相机拍摄图像或者从存储介质读取图像数据而获得该图像数据。

该视差信息获得单元获得对于获得的图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一个的视差信息。在此情况下，例如，基于左眼图像数据和右眼图像数据产生该视差信息，或者通过从存储介质读取而获得该视差信息。

该压缩编码单元对获得的视差信息进行压缩编码处理。例如，该压缩编码单元可以使用可变长度码对获得的关于各个画面的视差信息进行处理，作为所述压缩编码处理。或者，例如，该压缩编码单元进行获得在获得的各个画面中的参考画面和被参考的画面之间的差别数据并对该差别数据进行可变长度编码的处理，作为所述压缩编码处理。在此情况下，例如，该压缩编码单元可以通过将在显示顺序上的前一画面当作被参考的画面而获得所述差别数据。或者，在此情况下，该压缩编码单元通过将在解码顺序上的前一画面当作被参考的画面而获得所述差别数据。

该视差信息插入单元将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中。例如，以画面为单位或者以GOP（画面组）为单位将视差信息插入视频流中。此外，可以以其他单位为单位（例如以场景为单位）插入视差信息。

例如，该视差信息插入单元可以在将视差信息插入视频流中的每个画面中时进一步插入识别插入的视差信息是内部数据还是差别数据的标识信息。在此情况下，接收侧能够容易地确定插入的视差信息是内部数据还是差别数据。

而且，例如，该视差信息插入单元可以将对于I画面、P画面和被参考的B画面的视差信息插入视频流中，并且在插入的视差信息是差别数据的情况下，还可以插入表示直到被参考的画面的画面数量的信息。在此情况下，接收侧能够容易地确定被参考的画面。

如上所述，在本技术中，对于图像数据的某些画面的每个画面获得的视差信息被插入视频流中，并且发送该视频流。因而，可以以画面（帧）为单位良好地控制在接收侧以叠加的方式显示在立体图像上的图形的深度。此外，在本技术中，插入到视频流中的视差信息已经被压缩编码，使得可以减少数据量。

此外，本技术的另一概念在于接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述视差信息；以及

视差信息插值单元，其通过使用获得的关于前一画面和后一画面的视差信息进行插值而产生关于如下画面的视差信息：对于该画面，由信息获得单元获得的视差信息不存在。

在本技术中，该图像数据接收单元接收某个格式的容器，该容器包括视频流。通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流。而且，该视频流包括插入到其中的对于图像数据的某些画面的每个画面的关于左眼图像数据和右眼图像数据之一相对于另一个的视差信息。

该信息获得单元从该容器中包括的视频流获得左眼图像数据和右眼图像数据，并且还获得插入到图像数据的某个画面中的视差信息。而且，该视差信息插值单元通过使用获得的关于前一画面和后一画面的视差信息进行插值而产生关于不存在视差信息的画面的视差信息。

如上所述，在本技术中，通过使用获得的关于前一画面和后一画面的视差信息进行插值而产生关于不存在视差信息的画面的视差信息。因此，例如，可以以画面（帧）为单位良好地控制以叠加的方式显示在立体图像上的图形的深度。在此情况下，当以十进制精度产生通过插值产生的关于画面的视差信息时，如果该视差信息对应于子像素的视差信息，则可以更平滑地进行图形的深度的动态更新。

此外，本技术的另一概念在于接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

发送单元，其将获得的左眼图像数据和右眼图像数据以及获得的第一视差信息和第二视差信息彼此相关联地发送到外部装置。

在本技术中，该图像数据接收单元接收某个格式的容器，该容器包括视频流。例如，该容器可以是在数字广播标准中采用的传输流（MPEG-2TS）。或者，例如，该容器可以是用于在因特网上的分发的MP4的容器或者另一格式的容器。

通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流。此外，该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括第一视差信息和第二视差信息。第一视差信息是与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息。第二视差信息是与该画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息。

该信息获得单元从该容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得插入到图像数据的某个画面中的第一视差信息和第二视差信息。该发送单元将获得的左眼图像数据和右眼图像数据以及获得的第一视差信息和第二视差信息彼此相关联地发送到外部装置。

例如，该发送单元使用差分信号经过一定数量的信道向外部装置发送图像数据，并且将视差信息插入该图像数据的消隐时段中，由此向该外部装置发送该视差信息。在此情况下，例如，该发送单元将视差信息插入位于图像数据的消隐时段中的某个格式的信息分组中。

例如，该接收装置还可以包括信息重新配置单元，其基于获得的第一视差信息和第二视差信息，重新配置图像数据和视差信息，以便视差角在某个范围内。该发送单元可以将重新配置的左眼图像数据和右眼图像数据以及重新配置的第一视差信息和第二视差信息彼此相关联地发送到所述外部装置。

如上所述，在本技术中，从接收容器中包括的视频流获得的左眼图像数据和右眼图像数据以及第一视差信息和第二视差信息彼此相关联地被发送到外部装置。因此，该外部装置能够基于该第一视差信息和该第二视差信息检查相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）是否在在其中观看不会引起任何健康问题的某个范围内。

此外，在本技术中，例如，该发送单元可以以两个画面为单位发送关于彼此顺序地相邻的第一画面和第二画面的视差信息。至少关于第一画面或者第二画面的视差信息可以是相对于关于紧邻在前的画面的视差信息的差别数据。以此方式，关于第一画面的视差信息和关于第二画面的视差信息的任意一个是差别数据，因此可以降低传输数据量。

此外，在本技术中，例如，该接收装置还可以包括确定单元，其基于关于第一画面的视差信息和关于第二画面的视差信息之间的差别数据，确定所述关于第一画面的视差信息和关于第二画面的视差信息中的哪个将是差别数据。在此情况下，例如，当由于场景改变等，关于第一画面的视差信息和关于第二画面的视差信息之间的差大时，可以将关于第一画面的视差信息确定为差别数据，并且可以进一步降低传输数据量。

此外，在本技术中，例如，由发送单元发送的视差信息可以包括添加到其的指示所述关于第一画面的视差信息是否是差别数据以及所述关于第二画面的视差信息是否是差别数据的标识信息。在此情况下，可以容易地确定关于第一画面的视差信息是否是差别数据以及关于第二画面的视差信息是否是差别数据。

本发明的有益效果

根据本技术，可以良好地进行立体图像的显示或者图形在立体图像上的叠加显示。

附图说明

图1是例示根据一个实施例的图像发送/接收系统的示例配置的框图。

图2是例示关于每个块的视差信息（视差向量）的例子的图。

图3是描述用于以块为单位产生视差信息的方法的例子的图。

图4包括描述用于从关于各个块的视差信息获得关于某些划分的区域的视差信息的规模缩小（downsizing）处理的例子的图。

图5是描述划分画面显示屏幕以便划分的区域不跨越编码块之间的边界的图。

图6是示意性例示每个画面的各个划分的区域中的视差信息的转变的例子的图。

图7包括描述把为图像数据的每个画面获得的视差信息插入到视频流中的定时的图。

图8是例示在广播站中产生传输流的传输数据产生单元的示例配置的框图。

图9是例示传输流的示例配置的图。

图10包括例示AVC视频描述符的示例结构（语法）和主清晰度内容（语义）的图。

图11包括例示MVC扩展描述符的示例结构（语法）和主清晰度内容（语义）的图。

图12包括例示图形深度信息描述符（graphics_depth_info_descriptor）的示例结构（语法）和主清晰度内容（语义）的图。

图13例示在编码方案是AVC的情况下在GOP的头部处的访问单元以及在除了GOP头部之外的位置处的访问单元的例子。

图14包括例示“depth_information_for_graphics SEI message”的示例结构（语法）和“depth_information_for_graphics_data()”的示例结构（语法）的图。

图15是例示在以画面为单位对于每个画面插入视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图16是例示在以画面为单位对于每个画面插入视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图17是例示在以画面为单位对于每个画面插入视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图18是例示在“depth_information_for_graphics()”的示例结构（语法）中的主要信息的内容（语义）的图。

图19包括例示划分画面显示屏幕的例子的图。

图20是例示在对于多个画面共同地编码视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图21是例示在对于多个画面共同地编码视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图22是例示在对于多个画面共同地编码视差信息的情况下的“depth_information_for_graphics()”的示例结构（语法）的图。

图23包括例示“user_data()”的示例结构（语法）和“depth_information_for_graphics_data()”的示例结构（语法）的图。

图24是例示在广播站中产生传输流的传输数据产生单元的另一示例配置的框图。

图25是例示压缩编码单元的示意性配置的例子的框图。

图26是例示作为可变长度码的“Exp-Golomb code se(v)”的配置的图。

图27是描述非预测型（非预测型）压缩编码的图。

图28是描述预测型0（非预测型0）的压缩编码的图。

图29是描述预测型1（非预测型1）的压缩编码的图。

图30是描述预测型2（非预测型2）的压缩编码的图。

图31是描述预测型3（非预测型3）的压缩编码的图。

图32是例示在以画面为单位对于每个画面插入压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图33是例示在以画面为单位对于每个画面插入压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图34是例示在以画面为单位对于每个画面插入压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图35是例示在对于多个画面共同地编码压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图36是例示对于多个画面共同地编码压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图37是例示在对于多个画面共同地编码压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）的图。

图38是例示“depth_information_sei()”的另一示例结构（语法）的图。

图39是例示作为可变长度码的“Exp-Golomb code ue(v)”的配置的图。

图40是例示“depth_information_sei()”的另一示例结构（语法）的图。

图41是例示使用视差信息控制图形的深度的概念的图。

图42是例示在视频流包括以画面为单位插入到其中的视差信息的情况下在图像数据的画面定时时顺序地获得各条视差信息的图。

图43是例示在视频流包括以画面为单位插入到其中的视差信息的情况下在图像数据的GOP的头部的定时共同地获得GOP中的各个画面的各条视差信息的图。

图44包括例示图像上的标题（字幕）和OSD图形的显示例子的图。

图45是例示机顶盒的示例配置的框图。

图46是例示压缩解码单元的示意性配置的例子的框图。

图47是描述视差角的检查和图像数据的重新配置的图。

图48是例示视差信息控制单元的示例配置的框图。

图49是描述由深度控制单元进行的控制的框图。

图50是例示由深度控制单元进行的控制处理的过程的例子的流程图（1/2）。

图51是例示由深度控制单元进行的控制处理的过程的例子的流程图（1/2）。

图52是例示在机顶盒中控制图形的深度的例子的图。

图53是例示在机顶盒中控制图形的深度的另一例子的图。

图54是例示电视接收机（HDMI输入系统）的示例配置的框图。

图55是描述由深度控制单元进行的控制的框图。

图56是例示由深度控制单元进行的控制处理的过程的例子的流程图。

图57是例示在电视接收机中控制图形的深度的例子的图。

图58是例示信源（source）装置的HDMI发送单元和收信（sink）装置的HDMI接收单元的示例配置的框图。

图59是例示（在发送水平1920像素×1080行的图像数据的情况下）TMDS传输数据的示例结构的图。

图60是例示信源装置和收信装置的HDMI电缆连接到的HDMI端子的管脚阵列（类型A）的图。

图61是例示在使用HDMI供应商特定InfoFrame发送视差信息的情况下的分组结构的例子的图。

图62是例示在HDMI供应商特定InfoFrame的分组结构的例子中的主要信息的内容的图。

图63是例示在单画面模式中划分的区域的数量是“16”的情况下VS_Info的示例结构的图。

图64是例示在双画面模式中划分的区域的数量是“16”的情况下VS_Info的示例结构的图。

图65是示意性例示以画面为单位进行接收和在单画面模式下发送的情况的图。

图66是示意性例示以画面为单位进行接收和在双画面模式下发送的情况的图。

图67是示意性例示以GOP（多个画面）为单位进行接收和在单画面模式下发送的情况的图。

图68是示意性例示以GOP（多个画面）为单位进行接收和在双画面模式下发送的情况的图。

图69是例示VS_Info（HDMI供应商特定InfoFrame）的分组结构的另一例子的图。

图70是例示VS_Info（HDMI供应商特定InfoFrame）的分组结构的另一例子的图。

图71是例示在HDMI供应商特定InfoFrame的分组结构的例子中的主要信息的内容的图。

图72是例示用于确定N画面和N+1画面的顺序的示例配置的框图。

图73是例示在|D(N+1)-D(N)|≤Th的情况下视差信息（视差值）的时间转变的例子的图。

图74是例示在|D(N+1)-D(N)|>Th的情况下视差信息（视差值）的时间转变的例子的图。

图75是例示图像发送/接收系统的另一示例配置的框图。

图76是例示电视接收机的另一示例配置的框图。

图77是例示在利用双眼视差的立体图像显示中对象的左图像和右图像在屏幕上的显示位置之间的关系和由该左图像和右图像形成的立体图像的再现位置的图。

具体实施方式

下文中，将描述用于实现本发明的实施例（以下，称为“实施例”）。注意，将按以下顺序给出描述。

1.实施例

2.修改

<1.实施例>

[图像发送/接收系统]

图1例示根据一个实施例的图像发送/接收系统10的示例配置。图像发送/接收系统10包括广播站100、机顶盒（STB）200和用作监视器的电视接收机300。机顶盒200和电视接收机（TV）300经由HDMI（高清晰度多媒体接口）电缆400相互连接。

“广播站的描述”

广播站100通过广播波发送用作容器（container）的传输流TS。传输流TS包括通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得的视频流。例如，左眼图像数据和右眼图像数据作为一个视频流而发送。在此情况下，例如，左眼图像数据和右眼图像数据经历交织处理以便被形成为并排（side-by-side）格式或者上下（top-and-bottom）格式的图像数据，并且该图像数据被包括在一个视频流中。

或者，例如，左眼图像数据和右眼图像数据作为不同的视频流而发送。在此情况下，例如，左眼图像数据被包括在MVC基础视图（view）流中，并且右眼图像数据被包括在MVC非基础视图流中。

关于左眼图像和右眼图像之一相对于另一个的视差信息（视差数据）（对于图像数据的某些画面的每个画面获得视差信息）被插入到视频流中。在此情况下，假设对于至少其视差信息将被发送的画面获得视差信息。

在此，每个画面的视差信息包括第一视差信息和第二视差信息。第一视差信息是与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息。另一方面，第二视差信息是与画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息。

当假设屏幕的位置对应于零视差时，在对象再现位置在屏幕前方的情况下，获得视差信息为负值（见图71中的DPa）。另一方面，在对象再现位置在屏幕后方的情况下，获得视差信息为正值（见图71中的DPc）。因此，例如，在关于某个区域的多条视差信息之中，具有最小值的视差信息被用作第一视差信息。而且，例如，在关于该某个区域的多条视差信息之中，具有最大值的视差信息被用作第二视差信息。

在此情况下，例如，可以使用以下获得方法来获得第一视差信息和第二视差信息。

（1）获得通过使用划分信息划分画面显示屏幕而获得的关于每个划分的区域的第一视差信息，并且获得关于整个画面显示屏幕的第二视差信息。

（2）获得通过使用划分信息划分画面显示屏幕而获得的关于每个划分的区域的第一视差信息和第二视差信息。

（3）获得通过使用第一划分信息划分画面显示屏幕而获得的关于每个划分的区域的第一视差信息，并且获得通过使用第二划分信息划分画面显示屏幕而获得的关于每个划分的区域的第二视差信息。

（4）获得关于整个画面显示屏幕的第一视差信息，并且获得关于整个画面显示屏幕的第二视差信息。

通过对关于每个块的视差信息进行规模缩小处理而获得关于整个画面显示屏幕或者每个划分的区域的视差信息。图2例示关于每个块的视差信息（视差向量）的例子。

图3例示用于以块为单位产生视差信息的方法的例子。该例子是从左眼视图（左视图）获得指示右眼视图（右视图）的视差信息的例子。在此情况下，例如，在左眼视图画面中设置4*4、8*8或者16*16像素块（视差检测块）。

如图中所示，左眼视图画面被当作检测图像，右眼视图画面被当作参考图像。对于左眼视图画面的每个块，进行右眼视图画面的块搜索以便像素之间的差的绝对值之和最小，并且获得视差数据。

即，通过进行块搜索以便第N块中的差的绝对值之和最小化而获得关于第N块的视差信息DPn，例如如由以下等式（1）所表示。注意，在等式（1）中，Dj表示右眼视图画面中的像素值，并且Di表示左眼视图画面中的像素值。

DPn=min(Σabs(differ(Dj-Di)))···(1)

图4例示规模缩小处理的例子。图4(a)例示以上述方式获得的关于每个块的视差信息。基于关于每个块的视差信息，获得关于每组（块的组）的第一视差信息和第二视差信息，如图4(b)中所示。组对应于更高层的块，并且通过将多个相邻的块分组而获得。在图4(b)的例子中，每组由通过虚线框分组在一起的四个块构成。然后，例如通过从关于该组中的所有块的各条视差信息之中选择具有最小值的视差信息而获得关于每组的第一视差信息。而且，例如通过从关于该组中的所有块的各条视差信息之中选择具有最大值的视差信息而获得关于每组的第二视差信息。

随后，基于各个组的视差向量，获得关于每个分区的第一视差信息和第二视差信息，如图4(c)中所示。分区对应于组的更高层，并且通过将多个相邻的组分组而获得。在图4(c)的例子中，每个分区由通过虚线框分组在一起的两个组构成。然后，例如通过从关于该分区中的所有组的多条第一视差信息中选择具有最小值的第一视差信息而获得关于每个分区的第一视差信息。而且，例如通过从关于该分区中的所有组的多条第二视差信息中选择具有最大值的第二视差信息而获得关于每个分区的第二视差信息。

随后，基于关于各个分区的视差信息，获得关于位于最高层的整个画面（整个画面显示屏幕）的第一视差信息和第二视差信息，如图4(d)所示。在图4(d)的例子中，整个画面包括通过虚线框分组在一起的四个分区。然后，例如通过从关于整个画面中包括的所有分区的各条第一视差信息之中选择具有最小值的第一视差信息而获得关于整个画面的第一视差信息。而且，例如通过从关于整个画面中包括的所有分区的各条第二视差信息之中选择具有最大值的第二视差信息而获得关于整个画面的第二视差信息。

如上所述，基于划分信息而划分画面显示屏幕，并且获得关于每个划分的区域的视差信息。在此情况下，划分画面显示屏幕使得划分的区域不跨过编码块之间的边界。图5例示划分画面显示屏幕的详细例子。此例子是1920*1080像素格式的例子，并且是其中画面显示屏幕在水平和垂直方向的每个方向上被划分为两个区域从而获得分区A、分区B、分区C和分区D四个划分的区域的例子。在发送侧，以16×16块为单位进行编码，因此添加了由空白数据形成的八行，并且对1920像素*1088行的图像数据进行编码。因此，关于垂直方向，基于1088行，画面显示屏幕被划分为两个区域。

如上所述，对于图像数据的某些画面（帧）中的每个画面获得的关于整个画面显示屏幕或者每个划分的区域（分区）的视差信息（第一视差信息和第二视差信息）被插入到视频流中。图6示意性例示关于各个划分的区域的视差信息的转变的例子。在此例子中，画面显示屏幕在水平和垂直方向的每个方向上被划分为四个区域，从而存在16个划分的区域，即分区0到分区15。在此例子中，为了简化附图，仅例示了关于分区0、分区3、分区9和分区15的视差信息D0、D3、D9和D15的转变。视差信息的值可以随着时间而改变（D0、D3和D9）或者可以固定（D15）。

对于图像数据的某些画面中的每个画面获得的视差信息以画面为单位、以GOP为单位或类似的被插入到视频流中。图7(a)例示与画面编码同步的例子，即其中以画面为单位将视差信息插入到视频流中的例子。在此例子中，在发送图像数据时发生的延迟小，这适合于其中发送由摄像机捕捉的图像数据的实时广播。

图7(b)例示与编码的视频的I画面（内部画面）或GOP（画面组）同步的例子，即其中以GOP为单位将视差信息插入到视频流中的例子。在此例子中，在发送图像数据时发生比图7(a)的例子中更大的延迟。但是，共同地发送关于多个画面（帧）的视差信息，从而可以减少在接收侧获得视差信息的处理的数量。图7(c)例示与视频的场景同步的例子，即其中以场景为单位将视差信息插入视频流中的例子。注意，图7(a)到图7(c)的例子仅仅是例子，并且可以以其他单位为单位插入视差信息。

或者，用于识别视频流是否包括插入到其中的视差信息（第一视差信息和第二视差信息）的标识信息可以被插入到传输流TS的层中。例如在传输流TS中包括的节目映射表（PMT）或事件信息表（EIT）之下插入该标识信息。该标识信息使得接收侧能够容易地识别视频流是否包括插入到其中的视差信息。将在下面描述标识信息的细节。

“传输数据产生单元的示例配置”

图8例示在广播站100中产生上述的传输流TS的传输数据产生单元110的示例配置。传输数据产生单元110包括图像数据输出单元111L和111R、缩放器（scaler）112L和112R、视频编码器113、复用器114和视差数据产生单元115。传输数据产生单元110还包括字幕数据输出单元116、字幕编码器117、音频数据输出单元118和音频编码器119。

图像数据输出单元111L和111R分别输出形成立体图像的左眼图像数据VL和右眼图像数据VR。图像数据输出单元111L和111R例如由拍摄对象的图像并且输出图像数据的相机、从存储介质读出图像数据并输出图像数据的图像数据读取器等等构成。图像数据VL和图像数据VR的每个是例如具有1920*1020的全HD尺寸的图像数据。

在需要时，缩放器112L和112R在水平方向或者垂直方向上分别对图像数据VL和图像数据VR进行缩放处理。例如，在形成并排格式或者上下格式的图像数据以便将图像数据VL和图像数据VR作为一个视频流来发送的情况下，缩放器112L和112R分别在水平方向或者垂直方向上将图像数据VL和图像数据VR缩小到一半，并且输出缩小的图像数据。或者，例如，在将图像数据VL和图像数据VR作为不同的视频流、比如MVC基础视图流和MVC非基础视图流而发送的情况下，缩放器112L和112R分别照原样输出图像数据VL和图像数据VR，而不对其进行缩放处理。

视频编码器113根据例如MPEG-4AVC（MVC）、MPEG-2视频或者HEVC（高效率视频编码）对从缩放器112L和112R输出的左眼图像数据和右眼图像数据进行编码，由此获得编码的视频数据。而且，视频编码器113通过使用在后的级中提供的流格式化器（未示出）产生包括编码的数据的视频流。在此情况下，视频编码器113产生包括左眼图像数据和右眼图像数据的编码的视频数据的一个或两个视频流（视频基本流）。

视差数据产生单元115基于从图像数据输出单元111L和111R输出的左眼图像数据VL和右眼图像数据VR产生每个画面（帧）的视差信息。视差数据产生单元115对于每个画面获得关于每个块的视差信息，如上所述。注意，在图像数据输出单元111L和111R由包括存储介质的图像数据读取器构成的情况下，视差数据产生单元115可以配置为从存储介质中与图像数据一起读出关于每个块的视差信息，以便获得视差信息。或者，可以使用通过使用在视频编码器113中的右眼图像数据和左眼图像数据之间进行的块匹配的结果检测视差信息的方法。

此外，视差信息产生单元115对关于每个块的视差信息进行规模缩小处理，由此产生关于整个画面显示屏幕或者通过划分画面显示屏幕而获得的每个划分的区域（分区）的第一视差信息和第二视差信息。注意，例如通过用户操作向视差信息产生单元115给出关于用于获得第一视差信息和第二视差信息的方法的信息。即，给出关于与整个画面显示屏幕有关的视差信息的产生或者与通过将画面显示屏幕划分为某个数量的区域而获得的每个划分的区域有关的视差信息的产生的信息。

视频编码器113将由视差数据产生单元115产生的关于每个画面的第一视差信息和第二视差信息插入视频流中。在此情况下，例如，关于每个画面的视差信息以画面为单位或者以GOP为单位（见图7）插入视频流中。注意，在左眼图像数据和右眼图像数据作为不同的视频数据发送时，视差信息可以被插入到视频流的仅任意一个中。

字幕数据输出单元116输出要叠加在图像上的字幕（标题）的数据。字幕数据输出单元116由例如个人计算机等构成。字幕编码器117产生包括从字幕数据输出单元116输出的字幕数据的字幕流（字幕基本流）。注意，字幕编码器117参考由视差数据产生单元115产生的关于每个块的视差信息，并且将与字幕的显示位置对应的视差信息添加到字幕数据。即，字幕流中包括的字幕数据包括与字幕的显示位置对应的视差信息。

音频数据输出单元118输出与图像数据对应的音频数据。音频数据输出单元118由例如从存储介质读出音频数据并输出该音频数据的麦克风或音频数据读取器构成。音频编码器119根据MPEG-2音频、AAC等等对从音频数据输出单元118输出的音频数据进行编码，由此产生音频流（音频基本流）。

复用器114将由视频编码器113、字幕编码器117和音频编码器119产生的基本流形成为PES分组，并复用PES分组，由此产生传输流TS。在此情况下，PTS（呈现时间戳）被插入每个PES（分组的基本流）分组的头部，用于在接收侧的同步再现。

复用器114将上述的标识信息插入传输流TS的层中。该标识信息是用于识别视频流是否包括插入到其中的视差信息（第一视差信息和第二视差信息）的信息。例如在传输流TS中包括的节目映射表（PMT）、事件信息表（EIT）等之下插入该标识信息。

将简要描述图8所示的传输数据产生单元110的操作。从图像数据输出单元111L和111R输出的并且形成立体图像的左眼图像数据VL和右眼图像数据VR分别被提供到缩放器112L和112R。在需要时，缩放器112L和112R分别对图像数据VL和图像数据VR进行水平方向上或者垂直方向上的缩放处理。从缩放器112L和112R输出的左眼图像数据和右眼图像数据被提供到视频编码器113。

在视频编码器113中，根据例如MPEG-4AVC（MVC）、MPEG-2视频、HEVC等对左眼图像数据和右眼图像数据进行编码，以便获得编码的视频数据。而且，在视频编码器113中，由在后级中提供的流格式化器产生包括编码的数据的视频流。在此情况下，产生包括左眼图像数据和右眼图像数据的编码的视频数据的一个或两个视频流。

此外，从图像数据输出单元111L和111R输出的并且形成立体图像的左眼图像数据VL和右眼图像数据VR被提供到视差数据产生单元115。在视差数据产生单元115中，对于每个画面获得关于每个块的视差信息。此外，在视差数据产生单元115中，对关于每个块的视差信息进行规模缩小处理，以便产生关于整个画面显示屏幕或者通过划分该画面显示屏幕而获得的每个划分的区域的第一视差信息和第二视差信息。

由视差数据产生单元115产生的针对每个画面的第一视差信息和第二视差信息被提供到视频编码器113。在视频编码器113中，针对每个画面的第一视差信息和第二视差信息以画面为单位或者以GOP为单位被插入到视频流中。

此外，字幕数据输出单元116输出要叠加在图像上的字幕（标题）。该字幕数据被提供到字幕编码器117。在字幕编码器117中，产生包括字幕数据的字幕流。在此情况下，在字幕编码器117中，参考由视差数据产生单元115产生的关于每个块的视差信息，并且与显示位置对应的视差信息被添加到字幕数据。

此外，音频数据输出单元118输出与图像数据对应的音频数据。该音频数据被提供到音频编码器119。在音频编码器119中，根据MPEG-2音频、AAC等对音频数据进行编码，从而产生音频流。

由视频编码器113获得的视频流、由字幕编码器117获得的字幕流以及由音频编码器119获得的音频流被提供到复用器114。在复用器114中，从各个编码器提供的基本流形成为PES分组，并且PES分组被复用，从而产生传输流TS。在此情况下，PTS被插入每个PES头部中，用于在接收侧的同步再现。而且，在复用器114中，例如在PMT之下或者在EIT之下插入用于识别视频流是否包括插入到其中的视差信息的标识信息。

[标识信息、视差信息的结构以及TS配置]

图9例示传输流TS的示例配置。在此示例配置中，左眼图像数据和右眼图像数据作为不同的视频流发送。即，包括通过编码左眼图像数据产生的视频流的PES分组“视频PES1”和通过编码右眼图像数据产生的视频流的PES分组“视频PES2”。而且，在此示例配置中，包括通过编码字幕数据（包括视差信息）产生的字幕流的PES分组“字幕PES3”和通过编码音频数据产生的音频流的PES分组“音频PES4”。

在视频流的用户数据区域，已经插入了每个画面的包括第一视差信息和第二视差信息的深度信息SEI（depth_information_sei()）。例如，在每个画面的视差信息以画面为单位插入的情况下，深度信息SEI被插入视频流的每个画面的用户数据区域中。而且，例如，在每个画面的视差信息以GOP为单位插入的情况下，深度信息SEI被插入视频流的与GOP的头部对应的画面的用户数据区域或者插入序列参数信息的位置处。注意，尽管在此示例配置中深度信息SEI被插入两个视频流的两者中，但是深度信息SEI可以仅插入视频流之一中。

传输流TS包括用作PSI（节目特定信息）的PMT（节目映射表）。PSI是指示传输流TS中包括的每个基本流属于哪个节目的信息。而且，传输流TS包括用作管理事件单元的SI（服务的信息）的EIT（事件信息表）。

在PMT之下，存在具有与每个基本流有关的信息的基本循环。在此示例基本循环中，为每个流查找诸如分组标识符的信息，并且还查找描述与基本流有关的信息的描述符。

在上述的插入识别视频流是否包括插入到其中的视差信息（第一视差信息和第二视差信息）的标识信息的情况下，例如在节目映射表的视频基本循环之下插入的描述符中描述该标识信息。该描述符是例如现有的AVC视频描述符（AVC视频描述符）或者MVC扩展描述符（MVC_extension_descriptor）。注意，在EIT之下可以插入深度信息描述符，如图中的虚线所示。

图10(a)例示其中描述了标识信息的AVC视频描述符的示例结构（语法）。此描述符可应用在其中视频是MPEG-4AVC帧可兼容格式的情况下。此描述符已经被包括在H.264/AVC标准中。此处，在此描述符中新定义了1位标记信息“depth_info_not_existed_flag[0]”。

如图10(b)中的定义内容（语义）中所示，该标记信息指示对应的视频流是否包括插入到其中的包括每个画面的视差信息的深度信息SEI（depth_information_sei()）。如果标记信息是“0”，则其指示视频流包括深度信息SEI。另一方面，如果标记信息是“1”，则其指示视频流不包括深度信息SEI。

图11(a)例示其中描述了标识信息的MVC扩展描述符的示例结构（语法）。该描述符可应用在视频是MPEG-4AVC Annex H MVC格式的情况下。此描述符已经被包括在H.264/AVC标准中。此处，在此描述符中新定义了1位标记信息“depth_info_not_existed_flag”。

如图11(b)中的定义内容（语义）中所示，该标记信息指示对应的视频流是否包括插入到其中的包括每个画面的视差信息的深度信息SEI（depth_information_sei()）。如果标记信息是“0”，则其指示视频流包括深度信息SEI。另一方面，如果标记信息是“1”，则其指示视频流不包括深度信息SEI。

图12(a)例示深度信息描述符（depth_info_descriptor）的示例结构（语法）。8位字段“descriptor_tag”指示此描述符是“depth_info_descriptor”。8位字段“descriptor_length”指示随后的数据的字节数。而且，在此描述符中，描述了1位标记信息“depth_info_not_existed_flag”。

如图12(b)中的定义内容（语义）中所示，该标记信息指示对应的视频流是否包括插入到其中的包括每个画面的视差信息的深度信息SEI（depth_information_sei()）。如果标记信息是“0”，则其指示视频流包括深度信息SEI。另一方面，如果标记信息是“1”，则其指示视频流不包括深度信息SEI。

接下来，将给出将包括每个画面的视差信息的深度信息SEI（depth_information_sei()）插入视频流的用户数据区域中的情况的描述。

例如，在编码方案是AVC的情况下，“depth_information_sei()”作为“depth_informationSEI消息”被插入访问单元的“SEI”的部分中。图13(a)例示在GOP（画面组）的头部处的访问单元，并且图13(b)例示在除了GOP头部以外的位置处的访问单元。在每个画面的视差信息以GOP为单位插入的情况下，“depth_information SEI消息”仅被插入到在GOP的头部处的访问单元中。

图14(a)例示“depth_information SEI消息”的示例结构（语法）。“uuid_iso_iec_11578”具有由“ISO/IEC11578:1996AnnexA.”指示的UUID值。“depth_information_sei_data()”被插入字段“under_data_payload_byte”中。图14(b)例示“depth_information_sei_data()”的示例结构（语法）。深度信息SEI（depth_information_sei_data()）被插入到其中。“userdata_id”是由无符号的16位表示的“depth_information_sei()”的标识符。

图15、图16和图17的每个例示在以画面为单位插入每个画面的视差信息的情况下的“depth_information_sei()”的示例结构（语法）。图18例示在这些示例结构中的主要信息的内容（语义）。

图15例示与上述的获得方法（1）“获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且获得关于整个画面显示屏幕的第二视差信息”对应的示例结构（语法）。

3位字段“partition_type”指示画面显示屏幕的划分类型。“000”指示不划分画面显示屏幕，“001”指示画面显示屏幕在水平方向和垂直方向的每个方向上被划分为两个相等的区域，并且“010”指示画面显示屏幕在水平方向和垂直方向的每个方向上被划分为四个相等的区域。

4位字段“partition_count”指示划分的区域（分区）的总数量，这是依赖于上述的“partition_type”的值。例如，在“partition_type=000”的情况下，划分的区域（分区）的总数量是“1”，如图19(a)中所示。而且，例如，在“partition_type=001”的情况下，划分的区域（分区）的总数量是“4”，如图19(b)中所示。而且，例如，在“partition_type=010”的情况下，划分的区域（分区）的总数量是“16”，如图19(c)中所示。

8位字段“max_disparity_in_picture”指示关于整个画面显示屏幕的第二视差信息，即，关于整个画面的最大视差信息（视差值）。8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。

图16例示对应于上述的获得方法（2）“获得关于通过使用划分信息划分画面显示屏幕获得的每个划分的区域的第一视差信息和第二视差信息”的示例结构（语法）。在图16中，与图15中的部分对应的部分的描述被适当地省略。

3位字段“partition_type”指示画面显示屏幕的划分类型。4位字段“partition_count”指示划分的区域（分区）的总数量，这是依赖于上述的“partition_type”的值。8位字段“max_disparity_in_partition”指示关于每个划分的区域（分区）的第二视差信息，即，关于每个划分的区域的最大视差信息（视差值）。8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。

图17例示对应于上述的获得方法（3）“获得关于通过使用第一划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且获得关于通过使用第二划分信息划分画面显示屏幕而获得的关于每个划分的区域的第二视差信息”的示例结构（语法）。在图17中，与图15和图16中的部分对应的部分的描述被适当地省略。

3位字段“partition_type”指示与第一视差信息的获得有关的画面显示屏幕的划分类型。4位字段“min_partition_count”指示在其中获得第一视差信息的划分的区域（分区）的总数量，这是依赖于上述的“partition_type”的值。8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即，关于每个划分的区域的最小视差信息（视差值）。

4位字段“max_partition_count”指示在其中获得第二视差信息的划分的区域（分区）的总数量。8位字段“max_disparity_in_partition”指示关于每个划分的区域（分区）的第二视差信息，即，关于每个划分的区域的最大视差信息（视差值）。

图20、图21和图22的每个例示在共同地编码多个画面的情况下、比如以GOP为单位插入每个画面的视差信息的情况下的“depth_information_sei()”的示例结构（语法）。图18例示这些示例结构中的主要信息的内容（语义）。

图20例示对应于上述的获得方法（1）“获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且获得关于整个画面显示屏幕的第二视差信息”的示例结构（语法）。在图20中，与图15中的部分对应的部分的详细描述被适当地省略。

6位字段“picture_count”指示画面的数量。“depth_information_sei()”包括第一视差信息和第二视差信息，它们的数量对应于画面的数量。4位字段“partition_count”指示划分的区域（分区）的总数量。8位字段“max_disparity_in_picture”指示关于整个画面显示屏幕的第二视差信息，即，关于整个画面的最大视差信息（视差值）。8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。尽管省略了详细描述，但是图20所示的示例结构的其他部分与图15中所示的示例结构相同。

图21例示对应于上述的获得方法（2）“获得关于通过使用划分信息划分画面显示屏幕获得的每个划分的区域的第一视差信息和第二视差信息”的示例结构（语法）。在图21中，与图16和图20中的部分对应的部分的详细描述被适当地省略。

6位字段“picture_count”指示画面的数量。“depth_information_sei()”包括第一视差信息和第二视差信息，它们的数量对应于画面的数量。4位字段“partition_count”指示划分的区域（分区）的总数量。8位字段“max_disparity_in_partition”指示关于每个划分的区域（分区）的第二视差信息，即，关于每个划分的区域的最大视差信息（视差值）。8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。尽管省略了详细描述，但是图21中的示例结构的其他部分与图16中所示的示例结构相同。

图22例示对应于上述的获得方法（3）“获得关于通过使用第一划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且获得关于通过使用第二划分信息划分画面显示屏幕而获得的每个划分的区域的第二视差信息”的示例结构（语法）。在图22中，与图17、图20和图21中的部分对应的部分的描述被适当地省略。

6位字段“picture_count”指示画面的数量。“depth_information_sei()”包括第一视差信息和第二视差信息，它们的数量对应于画面的数量。4位字段“min_partition_count”指示在其中获得第一视差信息的划分的区域（分区）的总数量，并且4位字段“max_partition_count”指示在其中获得第二视差信息的划分的区域（分区）的总数量

8位字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。8位字段“max_disparity_in_partition”指示关于每个划分的区域（分区）的第二视差信息，即，关于每个划分的区域的最大视差信息（视差值）。尽管省略了详细描述，但是图22所示的示例结构的其他部分与图17中所示的示例结构相同。

以上已经给出了编码方案是AVC的情况的描述。例如，在编码方案是MPEG-2视频的情况下，“depth_information_sei()”作为用户数据“user_data()”被插入画面头部部分的用户数据区域中。图23(a)例示“user_data()”的示例结构（语法）。32位字段“user_data_start_code”是用户数据（user_data）的开始代码，其是固定值“0x000001B2”。

在该开始代码之后的32位字段是用于识别用户数据的内容的标识符。在此，该标识符是“depth_information_sei_data_identifier”，其使得用户数据能够被识别为“depth_information_sei_data”。作为在该标识符之后的数据主体，插入“depth_information_sei_data()”。图23(b)例示“depth_information_sei_data()”的示例结构（语法）。“depth_information_sei()”被插入到其中（见图15到图17以及图20到图22）。

已经给出了在编码方案是AVC或者MPEG-2视频的情况下将视差信息插入视频流中的例子的描述。尽管省略了详细描述，但是可以还在具有诸如HEVC的类似结构的另一编码方案中使用类似的结构将视差信息插入视频流中。

“传输数据产生单元的另一示例配置”

关于上述的图8中所示的传输数据产生单元110，已经描述了将由视差数据产生单元115产生的每个画面的视差信息（第一视差信息和第二视差信息）照原样插入视频流中的例子。但是，可以在已经通过进行压缩编码处理减少每个画面的视差信息的数据量之后将每个画面的视差信息插入视频流中。

图24例示在该情况下的传输数据产生单元110A的示例配置。在图24中，与图8中的部分对应的部分由相同的参考数字表示，并且省略其详细描述。传输数据产生单元110A包括压缩编码单元120。压缩编码单元120对由视差数据产生单元115产生的每个画面的视差信息（第一视差信息和第二视差信息）进行压缩编码处理，以便减少数据量。

压缩编码单元120例如使用可变长度码进行处理，作为压缩编码处理。视频编码器113将已经经历了由压缩编码单元120进行的压缩编码的每个画面的视差信息（第一视差信息和第二视差信息）插入视频流中。图24所示的传输数据产生单元110A的其他部分与图8中所示的传输数据产生单元110类似地配置，并且以类似的方式工作。

图25例示压缩编码单元120的示意性配置的例子。压缩编码单元120包括缓冲器121、减法器122和可变长度编码单元122。缓冲器121暂时存储输入到其的每个画面的视差信息。减法器122获得画面之间的差别数据。可变长度编码单元122进行可变长度编码。可变长度编码单元120使用例如图26中所示的“Exp-Golomb code se(v)”作为可变长度码，但是也可以使用另一可变长度码。

压缩编码单元120根据非预测型或者预测型进行压缩编码处理。首先，将描述非预测型的压缩编码处理。在此情况下，编码处理单元120对输入到其的每个画面的视差信息进行可变长度编码。因此，在非预测型的压缩编码处理中，在图25所示的压缩编码单元120中，输入到其的每个画面的视差信息照原样被提供给可变长度编码单元123。

图27例示其中不进行预测的仅非预测型的情况。图27(a)例示I画面、P画面和B画面的视频片段的显示顺序的例子。对于每个视频片段，存在每个画面的视差信息（在图中由“SEI”表示）。图27(b)例示每个画面的解码顺序（编码顺序）。每个画面的视差信息照原样、即在内部数据的状态（在图中由“内部”表示）下经历可变长度编码。

在非预测型的情况下，不进行SEI预测，因此需要以访问单元为单位进行SEI缓冲。但是，因为不进行SEI预测，所以编码效率比在进行预测的情况下低。

接下来，将描述预测型的压缩编码处理。在此情况下，在编码处理单元120中，在输入到其的各个画面的各条视差信息之中，获得参考画面和被参考的画面之间的差别数据，并且对差别数据进行可变长度编码。因此，在预测型的压缩编码处理中，在图25所示的压缩编码单元120中，参考画面和被参考的画面之间的差别数据由减法器122获得，并且被提供给可变长度编码单元123。

作为预测型，可以使用在显示顺序中预测地参考SEI的类型（预测类型0）。图28例示预测类型0的情况。图28(a)例示I画面、P画面和B画面的视频片段的显示顺序的例子。在该图中，箭头指示在进行预测时的预测目标。对于每个视频片段，存在每个画面的视差信息（在图中由“SEI”表示）。

图28(b)例示每个画面的解码顺序（编码顺序）。关于每个画面的视差信息，I画面的视差信息照原样、即在内部数据的状态（在图中由“内部”表示）下经历可变长度编码。关于在I画面之后的B画面和P画面的视差信息，在显示顺序上紧邻在前面的画面被当作参考画面，并且获得差别数据（在图中由“Δ”表示），并且该差别数据经历可变长度编码。在图28(b)中，来自每个画面的箭头指示该画面所参考的被参考画面。

在预测类型0的情况下，在显示顺序中进行SEI预测，因此，可以将差别数据的值抑制为小，并且可以最大化编码效率。但是，SEI预测顺序与视频编码顺序不匹配，因此需要保持SEI被存储在缓冲器中。另外，这不适合于诸如B跳跃的特殊再现。

而且，在解码顺序中预测地参考SEI的类型可以被用作预测类型。此外，作为此预测类型，可以使用结合视频画面类型进行SEI预测的类型（预测类型1）。图29例示预测类型1的情况。图29(a)例示I画面、P画面和B画面的视频片段的显示顺序的例子。对于每个视频片段，存在对于每个画面的视差信息（在图中由“SEI”表示）。

图29(b)例示各个画面的解码顺序。I画面的视差信息照原样、即在内部数据的状态（在图中由“内部”表示）下经历可变长度编码。关于在I画面之后的B画面和P画面的视差信息，在解码顺序上具有视频画面类型的画面被当作被参考画面，并且获得差别数据（在图中由“Δ”表示），并且该差别数据经历可变长度编码。在图29(b)中，来自每个画面的箭头指示该画面所参考的被参考画面。

在预测类型1的情况下，SEI预测顺序与视频编码顺序匹配，包括视频的画面类型。这适合于实时（live）编码，并且可适用于特殊再现，比如B跳跃。但是，对多个帧进行SEI预测，因此编码效率可能比上述的预测类型0的编码效率更低。

而且，作为预测类型，可以使用在解码顺序中预测地参考SEI并且参考紧邻在之前被解码的SEI的类型（预测类型2）。图30例示预测类型2的情况。图30(a)例示I画面、P画面和B画面的视频片段的显示顺序的例子。对于每个视频片段，存在对于每个画面的视差信息（在图中由“SEI”表示）。

图30(b)例示每个画面的解码顺序（编码顺序）。I画面的视差信息照原样、即在内部数据的状态（在图中由“内部”表示）下经历可变长度编码。关于在I画面之后的B画面和P画面的视差信息，在解码顺序中紧邻在前的画面被当作被参考画面，并且获得差别数据（在图中由“Δ”表示），并且该差别数据经历可变长度编码。在图30(b)中，来自每个画面的箭头指示该画面所参考的被参考画面。

在预测类型2的情况下，SEI预测顺序与视频编码顺序相匹配，但是SEI预测不依赖于视频的画面类型。这适合于实时编码，但是对多个帧进行SEI预测，因此编码效率可能比上述的预测类型0的编码效率更低。

而且，作为预测类型，可以使用在解码顺序中预测地参考SEI、利用视频画面类型进行SEI预测并且仅传送被参考画面（例如I画面和P画面）的视差信息的类型（预测类型3）。图31例示预测类型3的情况。图31(a)例示I画面、P画面和B画面的视频片段的显示顺序的例子。对于每个视频片段，存在对于每个画面的视差信息（在图中由“SEI”表示）。

图31(b)例示各个画面的解码顺序。I画面的视差信息照原样、即在内部数据的状态（在图中由“内部”表示）下经历可变长度编码。而且，关于在I画面之后的P画面和被参考的B画面（未示出）的视差信息，在解码顺序中具有视频画面类型的画面被当作被参考画面，并且获得差别数据（在图中由“Δ”表示），并且该差别数据经历可变长度编码。在图31(b)中，来自每个画面的箭头指示该画面所参考的被参考画面。其中SEI信息未被编码的画面（B画面）的SEI信息由解码器使用通过在显示顺序中的前一个和随后的被参考画面编码的两条SEI信息来插值。

在预测类型3的情况下，SEI预测顺序与视频编码顺序匹配，包括视频的画面类型。这适合于实时编码，并且可适用于特殊再现，比如B跳跃。仅诸如I画面、P画面和被参考的B画面的被参考的画面的视差信息被编码并发送，因此编码效率增加。但是，对多个帧进行SEI预测，因此编码效率比上述的预测类型0的编码效率低。此外，未编码的SEI信息被插值并且被分配给每个画面，因此需要清楚地呈现与到被预测了视差信息的画面的时间距离对应的画面的数量。

在使用MPEG2-TS容器发送AVC视频流（帧可兼容的或者MVC）的情况下，AUD（访问单元定界符）附于每个访问单元的头部。AUD的信息是“primary_pic_type”，并且在I或P的情况下由值“primary_pic_type=1”表示。这意味着对应的访问单元（通常是1个画面）是被参考画面。视频的分组顺序由“AUD”-“SPS”-“PPS”-“SEI”-“Slice”构成。因此，解码器使用AUD的信息以便在解码“Slice（片段）”之前正确地解码关于SEI的内容的信息。注意，在AVC的情况下，被参考画面包括被参考的B画面以及I画面和P画面，如上所述。

在上述的预测类型3的情况下，仅诸如I画面、P画面和被参考的B画面的被参考的画面的视差信息被编码并发送。因此，在解码器侧（接收侧），通过使用例如基于前一画面和随后的画面的视差信息的插值，来获得其视差信息未被传输的画面的视差信息。例如，在图31(b)中，基于由“SEI0”和“SEI3”发送的视差信息获得与B1和B2对应的画面的视差信息。在插值值是小数的情况下，与“子像素视差”兼容的解码器（接收器）能够更平滑地进行图形显示位置的动态更新。

图32、图33和图34的每个例示在以画面为单位插入每个画面的压缩编码的视差信息的情况下的“depth_information_sei()”的示例结构（语法）。图18例示这些示例结构中的主要信息的内容（语义）。尽管省略了详细描述，但是除了视差信息已经经历了压缩编码之外，这些示例结构与图15、图16和图17中所示的上述示例结构（语法）相同。

图35、图36和图37的每个例示如在以GOP为单位插入每个画面的压缩编码的视差信息的情况下那样在共同地编码多个画面的情况下的“depth_information_sei()”的示例结构（语法）。图18例示这些示例结构中的主要信息的内容（语义）。尽管省略了详细描述，但是除了视差信息已经经历了压缩编码之外，这些示例结构与图20、图21和图22中所示的上述示例结构（语法）相同。

图38例示在预测类型3的情况下可应用的“depth_information_sei()”的示例结构（语法）。图18例示示例结构中的主要信息的内容（语义）。字段“picture_count_for_skipping”指示直到用来预测视差信息的前一被参考画面的画面数量。注意，可以在已经使用例如图39中所示的“Exp-Golomb codeue(v)”对多个画面进行可变长度编码之后插入此字段中的信息。

1位标记信息“partition_enabled_flag”指示屏幕是否被划分。当该标记信息是“1”时，其指示画面显示屏幕被划分。当该标记信息是“0”时，其指示屏幕未被划分。该标记信息使得接收侧能够容易地确定发送的视差信息是对应于整个画面显示屏幕还是多个划分的区域的每个。

注意，在图15到图17、图20到图22以及图32到图37中所示的上述各个示例结构（语法）中，可以用1位标记信息“partition_enabled_flag”替代3位字段“partition_type”。或者，可以将该3位字段“partition_type”处理为与“partition_enabled_flag”类似的标记信息。在该情况下，当3位中的任意一位是“1”时，其指示画面显示屏幕被划分。当所有3位都是“0”时，其指示屏幕未被划分。

返回参考图38,1位标记信息“Intra_disparity_flag”指示视差信息的值（视差）是否是非预测值（内部数据）。当该标记信息是“1”时，其指示视差信息的值是非预测值（内部数据）。当该标记信息是“0”时，其指示视差信息的值是预测值（差别数据）。另外，同样在图32到图37中所示的上述各个示例结构（语法）中，可以进一步添加1位标记信息“Intra_disparity_flag”。在此情况下，接收侧能够容易地确定插入的视差信息是内部数据还是差别数据。

4位字段“partition_count”指示划分的区域（分区）的总数量。字段“max_disparity_in_partition”指示关于每个划分的区域（分区）的第二视差信息，即关于每个划分的区域的最大视差信息（视差值）。字段“min_disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。

图38所示的“depth_information_sei()”的示例结构（语法）对应于图32所示的“depth_information_sei()”的示例结构（语法）。尽管省略了例示，但是可以类似地考虑与图33到图37中所示的“depth_information_sei()”的示例结构（语法）对应的结构。而且，代替图38中所示的“depth_information_sei()”的示例结构（语法），可以使用图40所示的“depth_information_sei()”的示例结构（语法）。在此情况下，将3位字段“partition_type”处理为与例如“partition_enabled_flag”类似的标记信息。

“机顶盒的描述”

机顶盒200接收由广播波从广播站100发送的传输流TS。而且，机顶盒200解码在该传输流TS中包括的视频流，并产生形成立体图像的左眼图像数据和右眼图像数据。而且，机顶盒200提取已经被插入该视频流中的图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。

机顶盒200基于第一视差信息和第二视差信息检查相对于最近的对象再现位置的视差角（交叉方向上的视差角）和相对于最远的对象再现位置的视差角（同侧方向上的视差角）是否在在其中观看不会引起任何健康问题的某个范围内。然后，如果该视差角不在该某个范围内，则机顶盒200重新配置左眼图像数据和右眼图像数据以便视差角在该某个范围内，并且校正第一视差信息和第二视差信息。

而且，在以叠加的方式在图像上显示图形（STB图形）的情况下，机顶盒200通过使用图像数据、视差信息（第一视差信息）和图形数据获得图形被叠加在其上的左眼图像数据和右眼图像数据的数据。在此情况下，机顶盒200以画面为单位向要叠加在左眼图像和右眼图像上的图形给出与图形的显示位置对应的视差，由此获得图形被叠加在其上的左眼图像的数据以及图形被叠加在其上的右眼图像的数据。

作为以上述方式向图形给出视差的结果，以叠加的方式显示在该立体图像上的图形（STB图形）在显示位置上可以在立体图像中的对象的前方显示。因而，在以叠加的方式在图像上显示OSD、应用、节目信息的EPG等的图形的情况下，可以维持图像中的各个对象的远近一致性。

图41例示使用视差信息控制图形的深度的概念。在视差信息是负值的情况下，给出视差使得在屏幕上用于左眼显示的图形偏移到右侧并且用于右眼显示的图形偏移到左侧。在此情况下，图形的显示位置在屏幕的前方。另一方面，在视差信息是正值的情况下，给出视差使得在屏幕上用于左眼显示的图形偏移到左侧并且用于右眼显示的图形偏移到右侧。在此情况下，图形的显示位置在屏幕的后方。

如上所述，视频流包括插入到其中的为图像数据的每个画面获得的视差信息。因此，机顶盒200能够通过使用与图形的显示定时同步的视差信息，基于视差信息准确地控制图形的深度。

而且，图41例示在同侧方向上的视差角（θ0-θ2）和在交叉方向上的视差角（θ0-θ1）。在机顶盒200中，基于插入到视频流中的每个画面的第一视差信息和第二视差信息检查这些视差角是否在在其中观看不会引起任何健康问题的某个范围内。

图42例示其中视频流包括以画面为单位插入到其中的视差信息的情况的例子。在机顶盒200中，在图像数据的画面定时时顺序地获得各条视差信息。为了显示图形，使用与图形的显示定时对应的视差信息（第一视差信息），并且向图形给出适当的视差。而且，图43例示了例如其中视频流包括以GOP为单位插入到其中的视差信息的情况的例子。在机顶盒200中，在图像数据的每个GOP的头部的定时，共同地获得针对GOP中的各个画面的各条视差信息（视差信息集）。为了显示图形（STB图形），使用与图形的显示定时对应的视差信息（第一视差信息），并且向图形给出适当的视差。

图44(a)中的“侧视图”例示了图像上的标题（字幕）和OSD图形的显示例子。在此显示例子中，标题和图形叠加在由背景、中间（middle-ground）对象和前景形成的图像上。图44(b)中的“顶视图”例示了背景、中间对象、前景对象、标题和图形的远近。图44(b)例示了标题和图形被感知为在与显示位置对应的对象的前方。注意，尽管未示出，但是在标题和图形的显示位置重叠的情况下，例如，向图形给出适当的视差以便图形被感知为在标题的前方。

“机顶盒的示例配置”

图45例示机顶盒200的示例配置。机顶盒200包括容器缓冲器211、解复用器212、编码的缓冲器213、视频解码器214、解码的缓冲器215、缩放器216、L/R重新配置单元263和叠加单元217。机顶盒200还包括压缩解码单元261、视差信息缓冲器218、视差信息控制单元262、机顶盒（STB）图形产生单元219、深度控制单元220和图形缓冲器221。

而且，机顶盒200包括解码的缓冲器231、字幕解码器232、像素缓冲器233、字幕视差信息缓冲器234和字幕显示控制单元235。此外，机顶盒200包括解码的缓冲器241、音频解码器242、音频缓冲器243、信道混合单元244和HDMI发送单元251。

容器缓冲器211暂时存储由数字调谐器等（未示出）接收的传输流TS。传输流TS包括视频流、字幕流和音频流。视频流包括通过对左眼图像数据和右眼图像数据编码获得的一个或两个视频流。

例如，并排格式或者上下格式的图像数据可以由左眼图像数据和右眼图像数据形成，并且可以作为一个视频流而发送。而且，例如，左眼图像数据和右眼图像数据可以作为不同的视频流、例如MVC基础视图流和MVC非基础视图流而发送。

解复用器212从暂时存储在容器缓冲器211中的传输流TS提取视频、字幕和音频的各个流。而且，解复用器212从传输流TS中提取指示视频流是否包括插入到其中的视差信息的标识信息（标记信息“graphics_depth_info_not_existed_flag[0]”），并将该标识信息发送到未示出的控制单元（CPU）。如果该标识信息指示该视频流包括视差信息，则视频解码器214在控制单元（CPU）的控制下从该视频流获得视差信息（第一视差信息和第二视差信息），如下所述。

编码的缓冲器213暂时存储由解复用器212提取的视频流。视频解码器214对存储在编码的缓冲器213中的视频流进行解码处理，由此获得左眼图像数据和右眼图像数据。而且，视频解码器214获得被插入到该视频流中的图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。解码的缓冲器215暂时存储由该视频解码器214获得的左眼图像数据和右眼图像数据。

压缩解码单元261接收由视频解码器214获得的针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息），并且如果接收的视差信息是压缩编码的，则进行解码处理。如果接收的视差信息不是压缩编码的，则压缩解码单元261将接收的视差信息当作要输出的视差信息。

压缩解码单元261进行与图24中所示的传输数据产生单元110A中的压缩编码单元120进行的处理相反的处理。图46例示压缩解码单元261的示意性配置的例子。压缩解码单元261包括可变长度解码单元264、缓冲器265和添加单元266。可变长度解码单元264对压缩编码的输入视差信息进行可变长度解码。缓冲器265暂时存储要输出的解码的视差信息。添加单元266向被参考画面的视差信息添加参考画面的差别数据，由此获得对于参考画面的要输出的视差信息。

回去参考图45，视差信息缓冲器218暂时存储压缩解码的视差信息（第一视差信息和第二视差信息）。视差信息控制单元262基于存储在视差信息缓冲器218中的每个画面的第一视差信息和第二视差信息检查相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）是否在观看不会引起任何健康问题的某个范围内。

如果视差角不在该某个范围内，则视差信息控制单元262指示L/R重新配置单元263重新配置左眼图像数据和右眼图像数据以便视差角在该某个范围内。而且，视差信息控制单元262根据重新配置的左眼图像数据和右眼图像数据校正第一视差信息和/或第二视差信息，并输出该第一视差信息和/或第二视差信息。注意，在视差角在该某个范围内的情况下，视差信息控制单元262不指示L/R重新配置单元263重新配置左眼图像数据和右眼图像数据，并且照原样输出第一视差信息和第二视差信息而不校正它们。

图47的上部分例示在接收的数据（左眼图像数据和右眼图像数据）的近侧和远侧的视差角的时间上的转变的例子。范围“d”表示观看不会引起任何健康问题的视差角的范围。在此例子中，在远侧存在视差角在范围d以外的时段。

图47的下部分例示在重新配置的数据（左眼图像数据和右眼图像数据）的近侧和远侧的视差角的时间上的转变的例子。（a）是当视差角在范围d以外时进行限制控制的情况的例子。(b)是减小整个深度量以便视差角在范围d内的情况的例子。

图48例示视差信息控制单元262的示例配置。视差信息控制单元262包括最大值获得单元271、最小值获得单元272、视差角检查单元272和视差信息校正单元274。最大值获得单元271从接收的多条第二视差信息中选择具有最大值的第二视差信息（最大视差），并将其提供给视差角检查单元273。在第二视差信息是关于整个画面屏幕的情况下，接收的第二视差信息的条数是1，并且在第二视差信息是关于多个划分的区域的每个的情况下，接收的第二视差信息的条数是多条。最小值获得单元272从接收的多条第一视差信息中选择具有最小值的一条第一视差信息（最小视差），并将其提供给视差角检查单元273。在第一视差信息是关于整个画面屏幕的情况下，接收的第一视差信息的条数是1，并且在第一视差信息是关于多个划分的区域的每个的情况下，接收的视差信息的条数是多条。

视差角检查单元273基于第一视差信息和第二视差信息检查在近侧的视差角和在远侧的视差角是否在观看不会引起任何健康问题的视差角的范围d内（见图47），并将检查结果提供给视差信息校正单元274。如果视差角不在范围d内，则视差信息校正单元274指示L/R重新配置单元263重新配置接收的左眼图像数据和右眼图像数据以便视差角在范围d内。

此外，为视差信息校正单元274提供接收的第一视差信息（最小视差）和第二视差信息（最大视差）。视差信息校正单元274响应于上述的重新配置左眼图像数据和右眼图像数据的指令，对第一视差信息和第二视差信息进行校正处理，并输出校正的第一视差信息（校正的最小视差）和第二视差信息（校正的最大视差）。注意，如果视差角在范围d内，视差信息校正单元274不指示L/R重新配置单元263重新配置左眼图像数据和右眼图像数据，并且照原样输出第一视差信息和第二视差信息而不校正它们。

回去参考图45，缩放器216在需要时对从解码的缓冲器215输出的左眼图像数据和右眼图像数据进行在水平方向或垂直方向上的缩放处理。例如，在左眼图像数据和右眼图像数据在一个视频流中作为并排格式或者上下格式的图像数据而发送的情况下，缩放器216在水平方向或垂直方向上2×放大该图像数据并且输出该图像数据。而且，例如，在左眼图像数据和右眼图像数据作为不同的视频流（比如MVC基础视图流和MVC非基础视图流）而发送的情况下，缩放器216不进行缩放处理并且照原样输出左眼图像数据和右眼图像数据。

L/R重新配置单元263重新配置左眼图像数据和右眼图像数据。即，在同侧方向上的视差角和交叉方向上的视差角的任意一个不在在其中观看不会引起任何健康问题的所述某个范围内的情况下，L/R重新配置单元263响应于来自上述的视差信息控制单元262的重新配置指令，重新配置过左眼图像数据和右眼图像数据，使得视差角在所述某个范围内。

编码的缓冲器231临时存储由解复用器214提取的字幕流。字幕解码器232进行与上述的传输数据产生单元110（见图8）的字幕编码器117进行的处理相反的处理。即，字幕解码器232对存储在编码的缓冲器231中的字幕流进行解码处理，由此获得字幕数据。

字幕数据包括字幕（标题）的位图数据、关于字幕的显示位置信息“字幕呈现位置（x2,y2）”以及关于字幕（标题）的视差信息“字幕视差”。像素缓冲器233暂时存储由字幕解码器232获得的字幕（标题）的位图数据以及关于字幕（标题）的显示位置信息“字幕呈现位置（x2,y2）”。字幕视差信息缓冲器234暂时存储由字幕解码器232获得的关于字幕（标题）的视差信息“字幕视差”。

字幕显示控制单元235基于字幕（标题）的位图数据和关于字幕（标题）的显示位置信息和视差信息，产生向其给出视差的用于左眼显示和右眼显示的字幕的位图数据“字幕数据”。机顶盒（STB）图形产生单元219产生OSD、应用、EPG等的图形数据。该图形数据包括图形位图数据“图形数据”和关于图形的显示位置信息“图形呈现位置（x1,y1）”。

图形缓冲器221暂时存储由机顶盒图形产生单元219产生的图形位图数据“图形数据”。叠加单元217分别在左眼图像数据和右眼图像数据上叠加由字幕显示控制单元235产生的用于左眼显示和右眼显示的字幕的位图数据“字幕数据”。

而且，叠加单元217分别在左眼图像数据和右眼图像数据上叠加存储在图形缓冲器221中的图形位图数据“图形数据”。此时，由深度控制单元220（以下描述）向分别在左眼图像数据和右眼图像数据上叠加的图形位图数据“图形数据”给出视差。在此，在图形位图数据“图形数据”与字幕的位图数据“字幕数据”共享相同的像素的情况下，叠加单元217在字幕数据上覆写（overwrite）该图形数据。

深度控制单元220向分别在左眼图像数据和右眼图像数据上叠加的图形位图数据“图形数据”给出视差。因此，深度控制单元220针对图像数据的每个画面产生用于左眼显示和右眼显示的关于图形的显示位置信息“呈现位置”，并且进行对存储在图形缓冲器221中的图形位图数据“图形数据”在左眼图像数据和右眼图像数据上的叠加位置的偏移控制。

如图49所示，深度控制单元220通过使用以下信息产生显示位置信息“呈现位置”。即，深度控制单元220使用从视差信息控制单元262输出的针对每个画面的第一视差信息（最小视差）。而且，深度控制单元220使用存储在像素缓冲器233中的关于字幕（标题）的显示位置信息“字幕呈现位置（x2,y2）”。

而且，深度控制单元220使用存储在字幕视差信息缓冲器234中的关于字幕（标题）的视差信息“字幕视差”。而且，深度控制单元220使用由机顶盒图形产生单元219产生的关于图形的显示位置信息“图形呈现位置（x1,y1）”。而且，深度控制单元220使用指示视频流是否包括插入到其中的视差信息的标识信息。

而且，深度控制单元220根据字幕或图形在图像上的叠加，更新从视差信息控制单元262输出的针对每个画面的第一视差信息（最小视差）。在此情况下，深度控制单元220将关于与字幕（标题）的显示位置和图形的显示位置对应的划分的区域的视差信息（视差）的值更新为例如用于向字幕（标题）或图形给出视差的视差信息（视差）的值。

图50和图51中的流程图例示由深度控制单元220进行的控制处理的过程的例子。深度控制单元220对于在其上进行图形显示的每个画面（帧）进行控制处理。深度控制单元220在步骤ST1开始控制处理。随后，在步骤ST2，深度控制单元220基于标识信息确定视频流是否包括被插入其中的图形的视差信息。

如果该视频流包括被插入其中的视差信息，则深度控制单元220前进到步骤ST3中的处理。在步骤ST3中，深度控制单元220检查包括有以叠加的方式显示图形的坐标的所有划分的区域（分区）。然后，在步骤ST4，深度控制单元220比较关于目标划分的区域（分区）的视差信息（视差），选择诸如最小值的最佳值，并将所选值当作图形视差信息（视差）的值（graphics_disparity）。

随后，深度控制单元220前进到步骤ST5中的处理。如果在之前的步骤ST2中视频流不包括插入到其中的视差信息，则深度控制单元220立即前进到步骤ST5中的处理。在步骤ST5中，深度控制单元220确定是否存在包括视差信息（视差）的字幕流。

如果存在包括视差信息（视差）的字幕流，则深度控制单元220在步骤ST6中比较针对字幕的视差信息（视差）的值（subtitle_disparity）与针对图形的视差信息的值（graphics_disparity）。注意，如果视频流不包括插入到其中的针对图形的视差信息（视差），则图形的视差信息的值（graphics_disparity）将被设置为例如“0”。

随后，在步骤ST7中，深度控制单元220确定是否满足条件“subtitle_disparity>（graphics_disparity）”。如果满足此条件，则在步骤ST8中，深度控制单元220基于存储在图形缓冲器221中的图形位图数据“图形数据”获得在其中已经通过使用等于图形的视差信息（视差）的值（graphics_disparity）的值偏移了显示位置的、用于左眼显示和右眼显示的图形位图数据，并且将这些图形位图数据分别叠加在左眼图像数据和右眼图像数据上。

随后，在步骤ST9，深度控制单元220更新关于与已经叠加了字幕或图形的屏幕位置对应的划分的区域（分区）的视差信息（视差）的值。在步骤ST9中的处理之后，深度控制单元220在步骤ST10中结束控制处理。

另一方面，如果在步骤ST7中不满足该条件，则在步骤ST10中，深度控制单元220基于存储在图形缓冲器221中的图形位图数据“图形数据”获得其中已经通过使用小于图形的视差信息（视差）的值偏移了显示位置的用于左眼显示和右眼显示的图形位图数据，并且将这些图形位图数据分别叠加在左眼图像数据和右眼图像数据上。在步骤ST11中的处理之后，深度控制单元220进行步骤ST9中的处理，并且在步骤ST10结束控制处理。

此外，如果在步骤ST5中不存在包括视差信息（视差）的字幕流，则深度控制单元220前进到步骤ST12中的处理。在步骤ST12中，深度控制单元220通过使用在步骤ST4中获得的针对图形的视差信息的值（graphics_disparity）或者由机顶盒200计算的视差信息（视差）的值控制图形的深度。

即，深度控制单元220基于存储在图形缓冲器221中的图形位图数据“图形数据”，获得其中已经通过使用图形的视差信息的值（graphics_disparity）或者计算的视差信息（视差）的值偏移了显示位置的针对左眼显示和右眼显示的图形位图数据，并且将这些图形位图数据分别叠加在左眼图像数据和右眼图像数据上。在步骤ST12中的处理之后，深度控制单元220进行步骤ST9中的处理，并且在步骤ST10中结束控制处理。

图52例示在机顶盒200中控制图形的深度的例子。在此例子中，关于图形（STB图形），基于关于右侧的八个划分的区域（分区2、3、6、7、10、11、14和15）的视差信息之中具有最小值的视差信息，向用于左眼显示的图形和用于右眼显示的图形给出视差。因此，在这八个划分的区域中在图像（视频）对象的前方显示图形。

图53还例示了在机顶盒200中控制图形的深度的例子。在此例子中，关于图形（STB图形），基于关于右侧的八个划分的区域（分区2、3、6、7、10、11、14和15）的视差信息之中具有最小值的视差信息以及还基于关于字幕（标题）的视差信息，向用于左眼显示的图形和用于右眼显示的图形给出视差。

因此，在这八个划分的区域中，图形显示在图像（视频）对象以及还有字幕（标题）的前方。注意，在此情况下，基于关于字幕（标题）的视差信息，在与字幕的显示位置对应的四个划分的区域（分区8、9、10和11）中，字幕（标题）还显示在图像（视频）对象的前方。

注意，在图53中的控制深度的例子的情况下，例如，按以下方式进行更新视差信息的处理。即，首先，通过用于向字幕给出视差的视差信息值（subtitle_disparity）更新关于与字幕的显示位置对应的四个划分的区域（分区8、9、10和11）的视差信息（视差）的值。随后，通过用于向图形给出视差的视差信息值（graphics_disparity）更新关于八个划分的区域（分区2、3、6、7、10、11、14和15）的视差信息（视差）的值。

回去参考图45，编码的缓冲器241暂时存储由解复用器212提取的音频流。音频解码器242进行与上述的传输数据产生单元110（见图8）的音频编码器119进行的处理相反的处理。即，音频解码器242对存储在编码的缓冲器241中的音频流进行解码处理，由此获得解码的音频数据。音频缓冲器243暂时存储由音频解码器242获得的音频数据。信道混合单元244从存储在音频缓冲器243中的音频数据产生用于实现例如5.1信道环绕等的每个信道的音频数据，并输出产生的音频数据。

注意，基于PTS进行从解码的缓冲器215、视差信息缓冲器218、像素缓冲器233、字幕视差信息缓冲器234和音频缓冲器243读出信息（数据），并且实现传送同步。

HDMI发送单元251通过进行与HDMI兼容的通信，向HDMI的收信装置（在此实施例中向电视接收机300）发送通过由叠加单元217进行的叠加字幕和图形的处理获得的左眼图像数据和右眼图像数据以及由信道混合单元244获得的每个信道的音频数据。在此，由叠加单元217获得的左眼图像数据是在其上叠加了用于左眼显示的字幕（标题）和STB图形的左眼图像数据。而且，由叠加单元217获得的右眼图像数据是在其上叠加了用于右眼显示的字幕（标题）和STB图形的右眼图像数据。

而且，HDMI发送单元251通过使用HDMI接口向电视接收机300发送已经由深度控制单元220更新的每个画面的第一视差信息（最小视差）以及从视差信息控制单元262输出的每个画面的第二视差信息（最大视差）。在此实施例中，第一视差信息和第二视差信息在被插入到图像数据的消隐时段中之后被传输。以下将描述HDMI发送单元251的细节。

将简要描述图45中所示的机顶盒200的操作。数字调谐器等接收的传输流TS暂时存储在容器缓冲器211中。传输流TS包括视频流、字幕流和音频流。视频流包括通过对左眼图像数据和右眼图像数据编码获得的一个或两个视频流。

在解复用器212中，从暂时存储在容器缓冲器211中的传输流TS提取视频、字幕和音频的各个流。而且，在解复用器212中，从该传输流TS提取指示视频流是否包括插入到其中的视差信息的标识信息（标记信息“graphics_depth_info_not_existed_flag[0]”），并且该标识信息被发送到未示出的控制单元（CPU）。

由解复用器212提取的视频流被提供给编码的缓冲器213，并且暂时存储在其中。然后，在视频解码器214中，对存储在编码的缓冲器213中的视频流进行解码处理，以便获得左眼图像数据和右眼图像数据。该左眼图像数据和右眼图像数据暂时存储在解码的缓冲器215中。

而且，在视频解码器214中，获得已经被插入到视频流中的针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。该视差信息在压缩解码单元261中适当地经历压缩解码，并且暂时存储在视差信息缓冲器218中。在视差信息控制单元262中，基于存储在视差信息缓冲器218中的针对每个画面的第一视差信息和第二视差信息，检查相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）是否在在其中观看不会引起任何健康问题的范围d（见图47）内。

然后，如果视差角不在该某个范围内，则视差信息控制单元262指示L/R重新配置单元263重新配置左眼图像数据和右眼图像数据，以便视差角在该范围d内。此外，在该情况下，视差信息控制单元262根据重新配置的左眼图像数据和右眼图像数据校正第一视差信息和/或第二视差信息，并输出校正的第一视差信息和/或第二视差信息。注意，在视差角在该某个范围d内的情况下，视差信息控制单元262不指示L/R重新配置单元263重新配置左眼图像数据和右眼图像数据，并且输出该第一视差信息和第二视差信息而不校正它们。

在缩放器216中，在需要时，对从解码的缓冲器215输出的左眼图像数据和右眼图像数据进行水平方向或垂直方向上的缩放处理。例如从缩放器216获得1920*1080的全HD尺寸的左眼图像数据和右眼图像数据。该左眼图像数据和右眼图像数据经由L/R重新配置单元263被提供到叠加单元217。

在需要时，L/R重新配置单元263重新配置左眼图像数据和右眼图像数据。即，在同侧方向和交叉方向上的视差角的任意一个不在在其中观看不会引起任何健康问题的范围d内时（见图47），L/R重新配置单元263基于来自视差信息控制单元262的重新配置指令重新配置左眼图像数据和右眼图像数据，以便视差角在该某个范围内。

此外，由解复用器212提取的字幕流被提供给编码的缓冲器231并且暂时存储在其中。在字幕解码器232中，对存储在编码的缓冲器231中的字幕流进行解码处理以便获得字幕数据。该字幕数据包括字幕（标题）的位图数据、关于字幕的显示位置信息“字幕呈现位置（x2,y2）”以及关于字幕（标题）的视差信息“字幕视差”。

由字幕解码器232获得的字幕（标题）的位图数据和关于字幕（标题）的显示位置信息“字幕呈现位置（x2,y2）”暂时存储在像素缓冲器233中。而且，由字幕解码器232获得的关于字幕（标题）的视差信息“字幕视差”暂时存储在字幕视差信息缓冲器234中。

在字幕显示控制单元235中，基于字幕（标题）的位图数据和关于字幕（标题）的显示位置信息和视差信息产生已经向其给出视差的用于左眼显示和右眼显示的字幕的位图数据“字幕数据”。以此方式产生的用于左眼显示和右眼显示的字幕的位图数据“字幕数据”被提供给叠加单元217，并且分别被叠加在左眼图像数据和右眼图像数据上。

在机顶盒（STB）图形产生单元219中，产生OSD、应用、EPG等图形数据。该图形数据包括图形的位图数据“图形数据”以及关于图形的显示位置信息“图形呈现位置（x1,y1）”。图形缓冲器221暂时存储由机顶盒（STB）图形产生单元219产生的图形数据。

在叠加单元217中，存储在图形缓冲器221中的图形位图数据“图形数据”被叠加在左眼图像数据和右眼图像数据上。此时，由深度控制单元220基于从视差信息控制单元262输出的关于图像数据的每个画面的各个划分的区域的多条第一视差信息之中与图形的显示位置对应的视差信息，向分别叠加在左眼图像数据和右眼图像数据上的图形位图数据“图形数据”给出视差。在此情况下，如果图形位图数据“图形数据”与字幕的位图数据“字幕数据”共享相同的像素，则叠加单元217在字幕数据上覆写图形数据。

从叠加单元217获得在其上叠加了用于左眼显示的字幕（标题）和STB图形的左眼图像数据以及在其上叠加了用于右眼显示的字幕（标题）和STB图形的右眼图像数据。该左眼图像数据和右眼图像数据被提供给HDMI发送单元251。

此外，由解复用器212提取的音频流被提供给编码的缓冲器241并且暂时存储在其中。在音频解码器242中，对存储在编码的缓冲器241中的音频流进行解码处理，以便获得解码的音频数据。该音频数据经由音频缓冲器243被提供给信道混合单元244。在信道混合单元244中，从该音频数据产生用于实现例如5.1信道环绕等的每个信道的音频数据。该音频数据被提供给HDMI发送单元251。

此外，在深度控制单元220中，根据标题或图形在图像上的叠加而更新从视差信息控制单元262输出的关于图像数据的每个画面的划分的区域的第一视差信息。在此情况下，关于与字幕（标题）的显示位置和图形的显示位置对应的划分的区域的视差信息（视差）的值被更新为例如用于向字幕（标题）或图形给出视差的视差信息（视差）的值。更新的视差信息被提供给HDMI发送单元251。而且，从视差信息控制单元262输出的对于图像数据的每个画面的第二视差信息被提供给HDMI发送单元251。

HDMI发送单元251通过进行与HDMI兼容的通信向电视接收机300发送左眼图像数据和右眼图像数据、音频数据以及还有针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。在此，该视差信息在被插入到位于图像数据的消隐时段中的信息分组中（在此实施例中被插入到HDMI供应商特定InfoFrame中）之后被发送。

[电视接收机的描述]

回去参考图1，电视接收机300经由HDMI电缆400接收从机顶盒发送的左眼图像数据和右眼图像数据、音频数据以及还有针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。

在以叠加的方式在图像上显示图形（TV图形）的情况下，例如，电视接收机300通过使用图像数据、第一视差信息和图形数据获得在其上叠加了图形的左眼图像和右眼图像的数据。在此情况下，电视接收机300向要被叠加在左眼图像和右眼图像上的图形给出与每个画面的图形的显示位置对应的视差，由此获得在其上叠加了图形的左眼图像的数据和在其上叠加了图形的右眼图像的数据。

作为以上述方式向图形给出视差的结果，以叠加的方式在立体图像上显示的图形（TV图形）在显示位置上可以在立体图像中的对象的前方显示。因而，在以叠加的方式在图像上显示OSD、应用、节目信息的EPG等图形的情况下，可以维持图像中的各个对象的远近一致性。

而且，电视接收机300能够基于第一视差信息和第二视差信息检查相对于最近对象再现位置的视差角（在交叉方向上的视差角）和相对于最远对象再现位置的视差角（在同侧方向上的视差角）是否在在其中观看不会引起任何健康问题的范围d（见图47）内。如果视差角不在该范围内，则电视接收机300能够重新配置左眼图像数据和右眼图像数据。

[电视接收机的示例配置]

图54例示电视接收机300的HDMI输入系统的示例配置。注意，省略了对于视差角的检查系统的例示。电视接收机300包括HDMI接收单元311、缩放器312、叠加单元313、深度控制单元314、图形缓冲器315、电视（TV）图形产生单元316和音频处理单元317。

HDMI接收单元311通过进行与HDMI兼容的通信从HDMI的信源装置（在此实施例中从机顶盒200接收形成立体图像的左眼图像数据和右眼图像数据以及音频数据。而且，HDMI接收单元311使用HDMI接口从机顶盒200接收针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。以下将描述HDMI接收单元311的细节。

在需要时，缩放器312对HDMI接收单元311接收的左眼图像数据和右眼图像数据进行缩放处理。例如，缩放器312使得左眼图像数据和右眼图像数据的尺寸与显示尺寸相匹配。电视（TV）图形产生单元316产生OSD、应用、EPG等图形数据。该图形数据包括图形位图数据“图形数据”以及关于图形的显示位置信息“图形呈现位置（x1,y1）”。

图形缓冲器315暂时存储由电视图形产生单元316产生的图形位图数据“图形数据”。叠加单元313将存储在图形缓冲器315中的图形位图数据“图形数据”分别叠加在左眼图像数据和右眼图像数据上。此时，由以下所述的深度控制单元314向分别叠加在左眼图像数据和右眼图像数据上的图形位图数据“图形数据”给出视差。

深度控制单元314向分别叠加在左眼图像数据和右眼图像数据上的图形位图数据“图形数据”给出视差。为此目的，深度控制单元314对于图像数据的每个画面产生用于左眼显示和右眼显示的关于图形的显示位置信息“呈现位置”，并且进行存储在图形缓冲器315中的图形位图数据“图形数据”在左眼图像数据和右眼图像数据上的叠加位置的偏移控制。

如图55中所示，深度控制单元314使用以下信息产生显示位置信息“呈现位置”。即，深度控制单元314使用由HDMI接收单元311接收的关于图像数据的每个画面的划分的区域（分区）的第一视差信息（最小视差）。而且，深度控制单元314使用由电视图形产生单元316产生的关于图形的显示位置信息“图形呈现位置（x1,y1）”。而且，深度控制单元314使用指示视差信息是否已经被HDMI接收单元311接收的接收信息。

图56中的流程图例示深度控制单元314进行的控制处理的过程的例子。深度控制单元314对于在其上进行图形显示的每个画面（帧）执行控制处理。深度控制单元314在步骤ST21中开始控制处理。随后，在步骤ST22中，深度控制单元314基于接收信息确定图形的视差信息是否已经被HDMI接收单元311接收。注意，如果以下所述的HDMI供应商特定InfoFrame的分组的标识信息“PRTY”指示存在作为要被参考的信息的视差信息，则HDMI接收单元311从该分组中提取该视差信息以便被使用。在此情况下，该接收信息表示“已接收”。

如果已经接收了视差信息（视差），则深度控制单元314前进到步骤ST23中的处理。在步骤ST23中，深度控制单元314检查包括要在其处以叠加的方式显示图形的坐标的所有划分的区域（分区）。然后，在步骤ST24中，深度控制单元314比较关于目标划分的区域（分区）的多条第一视差信息（最小视差），选择诸如最小值的最佳值，并将所选值当作图形视差信息（视差）的值（graphics_disparity）。

随后，在步骤ST25中，深度控制单元314基于存储在图形缓冲器315中的图形位图数据“图形数据”获得在其中已经通过使用等于图形的视差信息（视差）的值（graphics_disparity）的值偏移了显示位置的用于左眼显示和右眼显示的图形位图数据，并且将这些图形位图数据分别叠加在左眼图像数据和右眼图像数据上。在步骤ST25中的处理之后，深度控制单元314在步骤ST26中结束控制处理。

另一方面，如果在步骤ST22中未接收到视差信息（视差），则在步骤ST27中，深度控制单元314基于存储在图形缓冲器315中的图形位图数据“图形数据”获得在其中已经通过使用由电视接收机300计算的视差信息（视差）的值偏移了显示位置的用于左眼显示和右眼显示的图形位图数据，并将这些图形位图数据分别叠加在左眼图像数据和右眼图像数据上。在步骤ST27中的处理之后，深度控制单元314在步骤ST26中结束控制处理。

图57例示在电视接收机300中控制图形的深度的例子。在此例子中，关于TV图形，基于关于右侧的四个划分的区域（分区10、11、14和15）的多条第一视差信息之中具有最小值的视差信息，向用于左眼显示的图形和用于右眼显示的图形给出视差。因此，在这四个划分的区域中，TV图形显示在图像（视频）对象的前方。注意，在此情况下，字幕以及还有STB图形已经被机顶盒200叠加在图像（视频）上。

现在将简要描述图54中所示的电视接收机300的操作。HDMI接收单元311通过进行与HDMI兼容的通信，从机顶盒200接收左眼图像数据和右眼图像数据、音频数据以及还有针对图像数据的每个画面的视差信息（第一视差信息和第二视差信息）。

在需要时，由HDMI接收单元311接收的左眼图像数据和右眼图像数据在缩放器312中经历缩放处理，然后被提供给叠加单元313。在电视（TV）产生单元316中，产生OSD、应用、EPG等图形数据。该图形数据包括图形的位图数据“图像数据”以及关于图形的显示位置信息“图形呈现位置（x1,y1）”。图形缓冲器315暂时存储由电视图形产生单元315产生的图形数据。

在叠加单元313中，存储在图形缓冲器315中的图形位图数据“图形数据”分别被叠加在左眼图像数据和右眼图像数据上。此时，由深度控制单元314基于与图形的显示位置对应的第一视差信息（最小视差）向分别叠加在左眼图像数据和右眼图像数据上的图形位图数据“图形数据”给出视差。

深度控制单元314使用由HDMI接收单元311接收的关于图像数据的每个画面的每个划分的区域（分区）的第一视差信息以及由电视图形产生单元316产生的关于图形的显示位置信息“图形呈现位置（x1,y1）”，用于控制。

从叠加单元313获得在其上叠加了用于左眼显示的TV图形的左眼图像的数据以及在其上叠加了用于右眼显示的TV图形的右眼图像的数据。这些图像数据被发送到处理单元用于立体图像显示，并且进行立体图像显示。

此外，由HDMI接收单元311接收的每个信道的音频数据经由调整音质和音量的音频处理单元317提供给扬声器，并且与立体图像显示同步地进行音频输出。

[HDMI发送单元和HDMI接收单元的示例配置]

图58例示在图1的图像发送/接收系统10中的机顶盒200的HDMI发送单元251以及电视接收机300的HDMI接收单元311的示例配置。

HDMI发送单元251在有效图像时段（下文中在适当时也称为有效视频时段）中使用多个信道以单向方式向HDMI接收单元311发送与一个屏幕的未压缩图像的像素数据对应的差分信号。在此，通过从自一个垂直同步信号到下一垂直同步信号的时段中移除水平消隐时段和垂直消隐时段，获得该有效图像时段。而且，HDMI发送单元251在水平消隐时段或垂直消隐时段中使用多个信道以单向方式向HDMI接收单元311发送与至少伴随图像的音频数据、控制数据、其他辅助数据等对应的差分信号。

包括HDMI发送单元251和HDMI传输信道的三个TMDS信道#0到#2接收单元311的HDMI系统中的传输信道包括以下传输信道。即，存在用作传输信道的三个TMDS信道#0到#2，用于与像素时钟同步地以单向方式从HDMI发送单元251向HDMI接收单元311串行地发送像素数据和音频数据。而且，存在用作用于发送像素时钟的传输信道的TMDS时钟信道。

HDMI发送单元251包括HDMI发送器81。发送器81将未压缩图像的像素数据转换为对应的差分信号，并使用例如三个TMDS信道#0、#1和#2的多个信道以单向方式将它们串行发送到经由HDMI电缆400连接的HDMI接收单元311。

而且，发送器81将伴附未压缩图像的音频数据、进一步需要的控制数据、其他辅助数据等转换为对应的差分信号，并使用这三个TMDS信道#0、#1和#2以单向方式将它们串行发送到HDMI接收单元311。

此外，发送器81使用TMDS时钟信道将与使用这三个TMDS信道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI电缆400连接的HDMI接收单元311。在此，在一个TMDS信道#i（i=0、1或2）中，在像素时钟的一个时钟中传输10位像素数据。

HDMI接收单元311在有效视频时段中接收使用多个信道从HDMI发送单元251以单向方式发送的与像素数据对应的差分信号。而且，HDMI接收单元311在水平消隐时段或垂直消隐时段中接收使用多个信道从HDMI发送单元251以单向方式发送的与音频数据和控制数据对应的差分信号。

即，HDMI接收单元311包括HDMI接收器82。HDMI接收器82接收使用TMDS信道#0、#1和#2从HDMI发送单元251以单向方式发送的与像素数据对应的差分信号以及与音频数据和控制数据对应的差分信号。在此情况下，HDMI接收器82与使用TMDS时钟信道从HDMI发送单元251发送的像素时钟同步地接收这些差分信号。

除了上述的TMDS信道#0到#2和TMDS时钟信道之外，HDMI系统中的传输信道包括称为DDC（显示数据信道）83和CEC线84的传输信道。DDC83由被包括在HDMI电缆400中并且未示出的两条信号线构成。DDC83由HDMI发送单元251使用来从HDMI接收单元311读出E-EDID（增强扩展显示识别数据）。

即，除了HDMI接收器81之外，HDMI接收单元311包括EDID ROM（只读存储器）85，其存储作为关于其性能（配置/能力）的性能信息的E-EDID。HDMI发送单元251响应于例如来自未示出的控制单元（CPU）的请求，使用DDC83从经由HDMI电缆400连接的HDMI接收单元311读出E-EDID。

HDMI发送单元251将读出的E-EDID发送到控制单元（CPU）。控制单元（CPU）能够基于E-EDID辨识HDMI接收单元311的性能的设置。例如，控制单元（CPU）辨识包括HDMI接收单元311的电视接收机300是否能够处理立体图像数据，并且如果是，则进一步辨识电视接收机300所兼容的TMDS传输数据结构。

CEC线84由HDMI电缆400中包括的单个信号线（未示出）构成，并且用于进行控制数据在HDMI发送单元251和HDMI接收单元311之间的双向通信。CEC线84构成控制数据线。

而且，HDMI电缆400包括连接到称为HPD（热插检测）的管脚的线（HPD线）86。信源装置能够使用线86检测收信装置的连接。注意，HPD线86也用作构成双向通信路径的HEAC-线。而且，HDMI电缆400包括用于从信源装置向收信装置提供电力的线（电源线）87。此外，HDMI电缆400包括多用途线（utility line）88。多用途线88也用作构成双向通信路径的HEAC+线。

图59例示TMDS传输数据的示例结构。图59例示在使用TMDS信道#0、#1和#2发送水平1920像素×垂直1080行的图像数据的情况下各条传输数据的时段。

在其中使用HDMI的三个TMDS信道#0、#1和#2发送传输数据的视频场中，根据传输数据的类型，存在三种类型的时段。这三种类型的时段包括视频数据时段、数据岛（island）时段和控制时段。

在此，视频场时段是从某个垂直同步信号的上升沿（有效沿）到下一垂直同步信号的上升沿的时段。视频场时段可以被划分为水平消隐时段、垂直消隐时段和有效视频时段。有效视频时段是通过从视频场时段中移除水平消隐时段和垂直消隐时段而获得的时段。

视频数据时段被分配给有效视频时段。在视频数据时段中，传输构成一个屏幕的未压缩图像数据的与1920像素×1080行对应的有效像素的数据。

数据岛时段和控制时段被分配给水平消隐时段和垂直消隐时段。在数据岛时段和控制时段中，发送辅助数据。即，数据岛时段被分配给水平消隐时段和垂直消隐时段的一部分。在数据岛时段中，发送辅助数据中与控制不相关的数据、例如音频数据的分组等。

控制时段被分配给水平消隐时段和垂直消隐时段的另一部分。在此控制时段中，发送例如垂直同步信号和水平同步信号的辅助数据中与控制有关的数据、控制分组等等。

图60例示HDMI端子的管脚阵列的例子。图60所示的管脚阵列称为类型A。使用用作差分线的两条线发送作为TMDS信道#i的差分信号的TMDS数据#i+和TMDS数据#i-。这两条线连接到TMDS数据#i+被分配到的管脚（具有管脚号1、4和7的管脚）以及TMDS数据#i-被分配到的管脚（具有管脚号3、6和9的管脚）。

而且，用作用于控制的数据的CEC信号经过其传输的CEC线84连接到具有管脚号13的管脚。而且，诸如E-EDID的SDA（串行数据）信号经过其发送的线连接到具有管脚号16的管脚。作为用于在SDA信号的发送/接收时同步的时钟信号的SCL（串行时钟）信号经过其发送的线连接到具有管脚号15的管脚。上述的DDC83由SDA信号经过其发送的线以及SCL信号经过其发送的线构成。

而且，如上所述，由信源装置使用来检测收信装置的连接的HPD线（HEAC-线）86连接到具有管脚号19的管脚。而且，多用途线（HEAC+线）88连接到具有管脚号14的管脚。而且，如上所述，用于提供电力的线87连接到具有管脚号18的管脚。

[使用HDMI发送/接收视差信息的方法]

将给出使用HDMI接口发送/接收关于图像数据的每个画面的每个划分的区域（分区）的视差信息（视差）的方法的描述。作为此方法，可以使用用于使用位于图像数据的消隐时段中的信息分组（例如HDMI供应商特定infoFrame（VS_Info））的方法。

在此方法中，假设在VS_Info中“HDMI_Video_Format=“010””并且“3D_Meta_present=1”，并且指定“供应商特定InfoFrame扩展”。在该情况下，“3D_Metadata_type”被定义为未使用，例如“001”，并且指定关于每个划分的区域（分区）的视差信息（视差）。

图61例示VS_Info的分组结构的例子。在CEA-861-D中定义VS_Info，因此省略其详细描述。图62例示在图61中所示的分组结构的例子中的主要信息的内容。

在第四字节（PB4）的第七位到第五位中，定位了指示图像数据的类型的3位信息“HDMI_Video_Format”。在图像数据是3D图像数据的情况下，3位信息是“010”。而且，在图像数据是3D图像数据的情况下，指示TMDS传输数据结构的4位信息“3D_Structure”位于第五字节（PB5）的第七位到第四位中。例如，在帧封装（packing）方法中，4位信息是“0000”。

而且，“3D_Meta_present”位于第五字节（PB5）的第三位中，并且在指定供应商特定InfoFrame扩展的情况下，一位是“1”。而且，“3D_Metadata_type”位于第七字节（PB7）的第七位到第五位中。在指定关于每个划分的区域的视差信息（视差）的情况下，该3位信息是未使用的，例如“001”。

而且，“3D_Metadata_length”位于第七字节（PB7）的第四

位到第零

位中。该5位信息指示关于每个划分的区域（分区）的视差信息（视差）的大小。“3D_Metadata_length”的值的范围从0x00到0x1F，并且通过向该值加上2而获得的值表示在此字段之后的视差信息（视差）的整个大小。例如，“00000”表示2（十进制数），并且“11111”表示33（十进制数）。

而且，1位标识信息“PRTY”位于第六字节（PB6）的第零位中。该标识信息指示VS_Info是否包括要由HDMI收信侧参考的信息，在此是视差信息（视差）。“1”指示肯定包括要由HDMI收信侧参考的信息。“0”指示不一定包括要由HDMI收信侧参考的信息。

随着定位了1位标识信息“PRTY”，在此实施例中为电视接收机300的HDMI收信装置、能够确定VS_Info是否包括要参考的信息而不检查“3D_Metadata_type”及其之后。因此，该标识信息使得HDMI收信装置能够有效地进行从VS_Info提取要被参考的信息的处理，因而可以降低处理负荷。

而且，“partition_type”位于第八字节（PB8）的第七位到第五位中。该3位信息指示目标画面的显示屏幕的划分类型。“000”指示显示屏幕未被划分，“001”指示显示屏幕在水平和垂直方向的每个方向上被划分为两个相等的区域，并且“010”指示显示屏幕在水平和垂直方向的每个方向上被划分为四个相等的区域。

而且，1位标识信息“d_picture”位于第八字节（PB8）的第四位中。该标识信息表示单画面或双画面。“0”表示单画面，即发送关于一个画面的每个划分的区域（分区）的视差信息（视差）的模式。“1”表示双画面，即发送关于两个画面的每个划分的区域（分区）的视差信息（视差）的模式。

而且，“partition_count”位于第八字节（PB8）的第三位到第零位中。该4位信息表示划分的区域（分区）的总数量，并且是依赖于上述的“partition_type”的值。例如，“0000”表示总数量“1”，并且“1111”表示总数量“16”。

此外，从第8+1字节（PB8+1），顺序地定位针对一个画面或两个画面的视差信息（第一视差信息和第二视差信息）。8位信息“max_disparity_in_picture”指示关于整个画面显示屏幕（整个画面）的第二视差信息，即关于整个画面的最大视差信息（视差值）。8位信息“disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。

图63例示在“d_picture=0”即所述模式是单画面模式以及“partition_type=010”即划分的区域的数量是16的情况下的VS_Info的示例结构。在此情况下，关于一个画面的每个划分的区域的视差信息位于第8+1字节（PB8+1）及其之后。另一方面，图64例示在“d_picture=1”即所述模式是双画面模式并且“partition_type=010”即划分的区域的数量是“16”的情况下的VS_Info的示例结构。在此情况下，关于两个画面的每个划分的区域的视差信息位于第8+1个字节（PB8+1）及其之后。

如上所述，在视频流包括以画面为单位插入到其中的视差信息的情况下，机顶盒200在图像数据的每个画面的定时获得一个画面的视差信息（见图42）。此外，如上所述，在视频流包括以GOP为单位插入的视差信息的情况下，机顶盒200在图像数据的GOP的头部的定时共同地获得对于GOP中的各个画面的各条视差信息（视差信息集）（见图43）。

在任意情况下，机顶盒200能够基于例如在机顶盒200和电视接收机300之间使用CEC线84的协商或者EDID ROM85中的设置而任意地选择单画面模式或者双画面模式。在此情况下，机顶盒200能够根据用于发送每个画面的视差信息的传输波段或者机顶盒200和电视接收机300的处理能力而选择模式，并且能够良好地向电视接收机300发送视差信息。

在电视接收机300中，基于位于VS_Info中的模式标识信息“d_picture”以及上述的指示是否存在参考信息“PRTY”的标识信息，在任意传输模式中可以准确地接收关于所有画面的视差信息（视差）。

图65示意性例示其中机顶盒200在图像数据的每个画面的定时获得一个画面的视差信息并且以单画面模式将各个画面的视差信息顺序地发送到电视接收机300的情况。而且，图66示意性例示其中机顶盒200在图像数据的每个画面的定时获得一个画面的视差信息并且以双画面模式将各个画面的视差信息顺序地发送到电视接收机300的情况。

而且，图67示意性例示其中机顶盒200在图像数据的GOP的头部的定时共同地获得GOP中的各个画面的视差信息并且以单画面模式将各个画面的视差信息顺序地发送到电视接收机300的情况。此外，图68示意性例示其中机顶盒200在图像数据的GOP的头部的定时共同地获得GOP中的各个画面的视差信息并且以双画面模式将各个画面的视差信息顺序地发送到电视接收机300的情况。

注意，以上已经给出了机顶盒200能够任意地选择单画面或者双画面模式的描述。但是，例如，在图像数据的GOP的头部的定时共同地获得GOP中的各个画面的视差信息的情况下，可以以单画面模式发送视差信息。在此情况下，GOP中的各个画面的视差信息被分配给单画面，并且以画面为单位顺序地发送各个单画面的视差信息（见图67）。在此情况下，即使用于对于每个画面发送一条视差信息的传输带，每个画面的该条视差信息也可以良好地传输到电视接收机300。

另一方面，在机顶盒200在两个视频帧时段中仅能够发送VS_InfoFrame一次的情况下，或者在电视接收机300在两个视频帧时段中仅能够接收VS_InfoFrame一次的情况下，可以使用单个VS_InfoFrame顺序地发送两个视频帧的视差信息，如图66中所示。

注意，以上已经给出在双画面模式中以两个画面（两帧）为单位照原样即在内部数据的状态下发送用于彼此顺序相邻的第一画面和第二画面的视差信息的例子的描述。但是，在双画面模式中，用于第一画面或第二画面的视差信息可以是与紧邻在前的画面的视差信息的差别数据，以便降低传输数据的量。

图69和图70例示VS_Info（HDMI供应商特定InfoFrame）的分组结构的其他例子。尽管省略了详细描述，但是第零字节（PB0）到第六字节（PB6）的结构与上述的图61中所示的分组结构的例子相同。图71例示图69和图70中所示的分组结构的例子中的主要信息的内容。

在第七字节（PB7）的第七位到第五位中，定位了“3D_Metadata_type”。在指定关于每个划分的区域（分区）的视差信息（视差）的情况下，该3位信息是未使用的，例如“001”。

而且，在第七字节（PB7）的第四

位到第七 位中，定位了“3D_Metadata_length”。该5位信息指示关于每个划分的区域（分区）的视差信息（视差）的大小。“3D_Metadata_length”的值的范围从0x00到0x16。例如，“00011”表示3（十进制数），并且“11010”表示26（十进制数）。

在第八字节（PB8）的第七位中，定位了1位标识信息“d_picture”。该标识信息表示单画面或双画面。“0”表示单画面，即将一个画面的视差信息（视差）作为关于每个划分的区域（分区）的视差信息（视差）而发送的模式。“1”表示双画面，即将两个画面的视差信息（视差）作为关于每个划分的区域（分区）的视差信息而发送的模式。

在第八字节（PB8）的第五位中，定位了1位标识信息“partition_enable”。该标识信息指示目标画面是否具有关于每个划分的区域（分区）的视差信息（视差）。“1”指示在水平和垂直方向上指定了划分的区域，并且每个划分的区域具有视差信息（视差）。“0”指示整个屏幕具有一条视差信息（视差）。

在第八字节（PB8）的第六位中，定位了1位标识信息“picture_reorder”。该标识信息在发送双画面的情况下指示首先发送两个画面（N，N+1）中的哪个，即按时间顺序N是第一个并且N+1是第二个，还是按时间顺序N+1是第一个并且N是第二个。“1”指示（N+1）画面是第一个，视差信息（视差）的值由8位表示，并且N画面是第二个，并且与针对（N-1）画面的视差信息（视差）的差值由4位表示。“0”指示N画面是第一个，视差信息（视差）的值由8位表示，（n+1）画面是第二个，并且与针对N画面的视差信息（视差）的差值由4位表示。

而且，在第八字节（PB8）的第三位到第零位中，定位了“partition_count”。该4位信息标识表示划分的区域（分区）的总数量。例如，“0000”表示总数量“1”，并且“1111”表示总数量“16”。

然后，在第8+1字节（PB8+1）以及其后中，顺序地定位针对一个画面或两个画面的视差信息（第一视差信息和第二视差信息）。8位信息“max_disparity_in_picture”指示关于整个画面显示屏幕（整个画面）的第二视差信息，即关于整个画面的最大视差信息（视差值）。8位信息“disparity_in_partition”指示关于每个划分的区域（分区）的第一视差信息，即关于每个划分的区域的最小视差信息（视差值）。

图69中的VS_Info的示例结构例示在“d_picture=1”并且模式是双画面模式以及“picture_reorder=0”并且N画面按时间顺序位于N+1画面之前的情况下的VS_Info的示例结构。注意，此例子例示了其中“partition_count=1111”以及划分的区域的数量是“16”的情况。

在此情况下，作为关于N画面中的整个画面显示屏幕的第二视差信息的“Max_disparity_in_picture”（即针对整个画面的最大视差信息（视差值））位于第8+1字节（PB8+1）中。而且，作为关于N画面中的每个划分的区域（分区）的第一视差信息“Min_disparity_in_partition”（即针对每个划分的区域的最小视差信息（视差值））位于第8+2字节（PB8+2）到第8+16字节（PB8+16）中。

而且，在此情况下，作为关于第N+1画面中的整个画面显示屏幕的第二视差信息“Differential_max_disparity_in_picture”（即针对整个画面的最大视差信息（视差值）的差别数据位于第8+17字节（PB8+17）的第三位到第零位中。作为关于N+1画面中的每个划分的区域（分区）的第一视差信息的“Differential_min_disparity_in_partition”（即针对每个划分的区域的最小视差信息（视差值））的差别数据位于第8+18字节（PB8+18）到第8+25字节（PB8+25）中。

图70中的VS_Info的示例结构例示了在“d_picture=1”并且模式是双画面模式以及“picture_reorder=1”并且N+1画面按时间顺序位于N画面之前的情况下的VS_Info的示例结构。注意，此例子例示了其中“partition_count=1111”以及划分的区域的数量是“16”的情况。

在此情况下，作为关于N+1画面中的整个画面显示屏幕的第二视差信息“Max_disparity_in_picture”（即针对整个画面的最大视差信息（视差值））位于第8+1字节（PB8+1）中。而且，作为关于N+1画面中的每个划分的区域（分区）的第一视差信息“Min_disparity_in_partition”（即针对每个划分的区域的最小视差信息（视差值））位于第8+2字节（PB8+2）到第8+16字节（PB8+16）中。

而且，在此情况下，作为关于N画面中的整个画面显示屏幕的第二视差信息“Differential_max_disparity_in_picture”（即针对整个画面的最大视差信息（视差值）的差别数据）位于第8+17字节（PB8+17）的第三位到第零位中。作为关于N画面中的每个划分的区域（分区）的第一视差信息的“Differential_min_disparity_in_partition”（即针对每个划分的区域的最小视差信息（视差值）的差别数据）位于第8+18字节（PB8+18）到第8+25字节（PB8+25）中。

[N画面和N+1画面的顺序的确定]

在此，例如，按以下方式进行N画面和N+1画面的顺序的确定、即进行“picture_reorder”将是“0”还是“1”的确定。例如利用图72所示的配置进行N画面和N+1画面的顺序的确定。视差信息被提供给帧存储器281并且被延迟一帧。在减法器282中，计算针对N+1画面的视差信息D(N+1)和针对N画面的视差信息D(N)之间的差别数据“D(N)-D(N+1)”，并且将该差别数据发送到顺序确定单元283。

在顺序确定单元283中，将该差别数据的绝对值|D(N)-D(N+1)|与阈值Th比较，并且确定N画面和N+1画面的顺序。当|D(N)-D(N+1)|≤Th时，顺序确定单元283确定“N画面是第一个并且N+1画面是第二个”，将VS_Info的“picture_reorder”设置为“0”，并且以图69所示的方式定位N画面和N+1画面的视差信息。在此情况下，N+1画面的视差信息是相对于N画面的视差信息的差别数据。

图73例示在|D(N)-D(N+1)|≤Th的情况下视差信息（视差值）的时间上的转变的例子。在此例子中，视差信息在N-1画面和N画面之间明显改变。但是，在N画面和N+1画面之间的视差信息的改变小。因此，满足|D(N)-D(N+1)|≤Th。在此情况下，N+1画面的视差信息是相对于N画面的视差信息的差别数据，因此其值相对小。

另一方面，当|D(N)-D(N+1)|>Th时，顺序确定单元283确定“N+1画面是第一个并且N画面是第二个”，将VS_Info的“picture_reorder”设置为“0”，并且以图70所示的方式定位针对N+1画面和N画面的视差信息。在此情况下，N画面的视差信息是相对于N-1画面的视差信息的差别数据。

图74例示在|D(N)-D(N+1)|>Th的情况下视差信息（视差值）的时间上的转变的例子。在此例子中，在N-1画面和N画面之间的视差信息的改变小，但是在N画面和N+1画面之间的视差信息的改变大。因此，满足|D(N)-D(N+1)|>Th。在此情况下，对于N画面的视差信息是相对于N-1画面的视差信息的差别数据，因此其值相对小。

在此，关于“Min_disparity_in_partition”，每个划分的区域（分区）的“Min_disparity_in_partition”的最小值Min_disparity(N+1)和Min_disparity(N)被用作D(N+1)和D(N)，如分别由以下等式（2）和（3）所表示的。

D(N+1)=Min_disparity(N+1)

=Minimum(Min_disparity_partition(N+1_0,N+1_1,--,N+1_15))···(2)

D(N)=Min_disparity(N)

=Minimum(Min_disparity_parttion(N_0,N_1,--,N_15))···(3)

注意，关于D(N)，代替通过使用以上公式（3）来获得它，可以使用与作为在以上等式（2）中被采用为D(N+1)的Min_disparity(N+1)的“Min_disparity_partition”在相同的划分的区域（分区）中的N画面的“Min_disparity_partition”。

另一方面，关于“Max_disparity_in_picture”，N+1画面的“Max_disparity_in_picture”被用作D(N+1)，并且N画面的“Max_disparity_in_picture”被用作D(N)。注意，关于|D(N)-D(N+1)|和Th之间的比较的确定结果，如果关于“Min_disparity_in_partition”的结果与关于“Max_disparity_in_picture”的结果不匹配，则可以优先使用关于“Min_disparity_in_partition”的结果。

注意，在上述的图70所示的VS_Info的示例结构中，N+1画面按时间顺序位于N画面之前。以此方式，从第8+1字节（PB8+1）到第8+25字节（PB8+25）的结构变得与图69中的VS_Info的示例结构相同，在该结构中，N画面按时间顺序位于N+1画面之前，因此在接收侧稳定地进行读取。但是，在图70所示的VS_Info的示例结构中，针对N+1画面的视差信息和针对N画面的视差信息的位置可以相反。

而且，在以上给出的描述中，已经描述了其中机顶盒200能够选择单画面或双画面模式的例子。但是，代替双画面模式，可以使用多画面模式，并且画面的数量可以任意选择。此外，可能存在可选的模式的数量是3或更多的情况。在该情况下，能够在HDMI信源侧将划分的区域（分区）的数量改变为适当的数量以便可以在给定的频带中进行传输。

如上所述，在图1所示的图像发送/接收系统10中，广播站100将对于图像数据的某些画面的每个画面获得的第一视差信息和第二视差信息插入到视频流中，并且发送该视频流。在此，第一视差信息是与画面显示屏幕的某个区域中的最近对象再现位置对应的视差信息，并且第二视差信息是与画面显示屏幕的该某个区域中的最远对象再现位置对应的视差信息。因此，例如，基于第一视差信息和第二视差信息，在接收侧的机顶盒200能够检查视差角是否在在其中观看不会引起任何健康问题的某个范围内，并在需要时重新配置左眼图像数据和右眼图像数据。

此外，在图1所示的图像发送/接收系统10中，当将针对图像数据的某些画面的每个画面获得的视差信息插入视频流并发送该视频流时，广播站100对该视差信息进行压缩编码的处理，并且可以降低数据量。

<2.修改>

注意，在上述实施例中，图像发送/接收系统10由广播站100、机顶盒200和电视接收机300构成。但是，如图75所示，可以采用由广播站100和电视接收机300A构成的图像发送/接收系统10A。

图76例示电视接收机300A的示例配置。在图76中，与图45中的部分对应的部分由相同的参考数字表示，并且省略其详细描述。电视（TV）图形产生单元219A类似于图45中的机顶盒200的机顶盒（STB）图形产生单元219，并且产生OSD、应用、EPG等图形数据。

从叠加单元217获得在其上叠加了用于左眼显示的字幕（标题）和图形的左眼图像的数据，并且获得在其上叠加了用于右眼显示的字幕（标题）和图形的右眼图像的数据。这些图像数据被发送到处理单元用于立体图像显示，并且进行立体图像显示。而且，在信道混合单元244中，从音频数据产生用于实现例如5.1信道环绕等的每个信道的音频数据。该音频数据被提供给例如扬声器，并且根据立体图像显示进行音频输出。

尽管省略了详细描述，但是图76中所示的电视接收机300A的其他部分与图45中的机顶盒200类似地配置，并且类似地操作。

而且，在上述的实施例中，机顶盒200和电视接收机300经由HDMI数字接口相互连接。但是，即使在它们经由类似于HDMI数字接口的数字接口（包括无线以及有线）相互连接的情况下，本技术当然也可以以相同的方式应用。

而且，在上述实施例中，已经描述使用HDMI供应商特定InfoFrame的方法作为用于从机顶盒200向电视接收机300发送视差信息的方法。可替换地，可以使用用于使用有效空间（active space）的方法，此外，可以通过由HPD线86（HEAC-线）和多用途线88（HEAC+线）构成的双向通信路径进行传输。

而且，在上述实施例中，已经描述了从机顶盒200经由HDMI接口向电视接收机300发送视差信息的例子。但是，以此方式经由HDMI接口发送视差信息的技术当然可应用于另一类型的信源装置和另一类型的收信装置的组合。例如，用于BD、DVD等的盘播放器和游戏机可以用作信源装置，并且监视器装置、投影仪装置等可以用作收信装置。

而且，在上述实施例中，已经描述了容器是传输流（MPEG-2TS）的例子。但是，本技术也可应用于具有其中使用诸如因特网的网络进行向接收端的分发的配置的系统。在因特网上的分发中，在许多情况下可以使用MP4或另一格式的容器用于分发。

即，作为容器，可以使用诸如在数字广播标准中采用的传输流（MPEG-2TS）、以及用于在因特网上的分发的MP4的各种格式的容器。而且，可以采用其中用于提供单个服务的方法被划分为多个方法并且以不同的发送形式执行各个方法的应用，即通过无线电波发送视图之一并且在因特网上发送另一视图的情况。

另外，本技术还可以提供以下配置。

（1）发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其获得对于获得的图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一者的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息；

视差信息插入单元，其将获得的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

（2）根据（1）的发送装置，其中所述视差信息插入单元以画面为单位或者以GOP为单位插入第一视差信息和第二视差信息。

（3）根据（1）或（2）的发送装置，其中在进行压缩编码处理之后，所述视差信息插入单元将获得的视差信息插入视频流中。

（4）根据（1）到（3）的任意一项的发送装置，其中所述视差信息插入单元在将视差信息插入到视频流中的某个画面时，进一步插入识别该视差信息是关于整个画面显示屏幕的视差信息还是关于某些数量的划分的区域的每个区域的视差信息的标识信息。

（5）根据（1）到（4）的任意一项的发送装置，其中所述视差信息获得单元获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且还获得关于整个画面显示屏幕的第二视差信息。

（6）根据（1）到（4）的任意一项的发送装置，其中所述视差信息获得单元获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息和第二视差信息。

（7）根据（1）到（4）的任意一项的发送装置，其中所述视差信息获得单元获得关于通过使用第一划分信息划分画面显示屏幕获得的每个划分的区域的第一视差信息，并且还获得通过使用第二划分信息划分画面显示屏幕而获得的每个划分的区域的第二视差信息。

（8）发送方法，包括：

获得形成立体图像的左眼图像数据和右眼图像数据的步骤；

对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息的步骤，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息；

将获得的视差信息插入到通过对获得的图像数据编码而获得的视频流中的步骤；以及

发送某个格式的容器的步骤，该容器包括视差信息已经被插入其中的视频流。

（9）接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括插入到其中的对于图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

控制单元，其基于获得的第一视差信息和第二视差信息提供重新配置所述左眼图像数据和所述右眼图像数据以使得视差角在某个范围内的指令。

（10）发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息；

压缩编码单元，其对获得的视差信息进行压缩编码处理；

视差信息插入单元，其将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

（11）根据（10）的发送装置，其中所述压缩编码单元使用可变长度码对获得的关于各个画面的视差信息进行处理，作为所述压缩编码处理。

（12）根据（11）的发送装置，其中所述压缩编码单元进行获得在获得的各个画面中的参考画面和被参考的画面之间的差别数据并对该差别数据进行可变长度编码的处理，作为所述压缩编码处理。

（13）根据（12）的发送装置，其中所述压缩编码单元通过将在显示顺序上的前一画面当作被参考的画面而获得所述差别数据。

（14）根据（12）的发送装置，其中所述压缩编码单元通过将在解码顺序上的前一画面当作被参考的画面而获得所述差别数据。

（15）根据（12）到（14）的任意一项的发送装置，其中所述视差信息插入单元在将视差信息插入视频流中的每个画面中时进一步插入识别插入的视差信息是内部数据还是差别数据的标识信息。

（16）根据（14）的发送装置，其中所述视差信息插入单元

在视频流中插入针对I画面、P画面和被参考的B画面的视差信息，以及

在插入的视差信息是差别数据的情况下，还插入表示直到被参考的画面的画面数量的信息。

（17）发送方法，包括：

获得形成立体图像的左眼图像数据和右眼图像数据的步骤；

对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息的步骤；

对获得的视差信息进行压缩编码处理的步骤；

将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中的步骤；以及

发送某个格式的容器的步骤，该容器包括已经被插入了视差信息的视频流。

（18）接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述视差信息；以及

视差信息插值单元，其通过使用获得的关于前一画面和后一画面的视差信息进行插值而产生关于如下画面的视差信息：对于该画面，不存在由信息获得单元获得的视差信息。

（19）接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

发送单元，其将获得的左眼图像数据和右眼图像数据以及获得的第一视差信息和第二视差信息彼此相关联地发送到外部装置。

（20）根据（19）的接收装置，还包括：

信息重新配置单元，其基于获得的第一视差信息和第二视差信息，重新配置图像数据和视差信息，以使得视差角在某个范围内，

其中所述发送单元将重新配置的左眼图像数据和右眼图像数据以及重新配置的第一视差信息和第二视差信息彼此相关联地发送到所述外部装置。

（21）根据（1）或（20）的接收装置，

其中所述发送单元以两个画面为单位发送关于彼此顺序地相邻的第一画面和第二画面的视差信息，以及

其中至少关于第一画面或者第二画面的视差信息是相对于关于紧邻在前面的画面的视差信息的差别数据。

（22）根据（21）的接收装置，还包括：

确定单元，其基于关于第一画面的视差信息和关于第二画面的视差信息之间的差别数据，确定所述关于第一画面的视差信息和关于第二画面的视差信息中的哪个将是差别数据。

（23）根据（22）的接收装置，其中由所述发送单元发送的视差信息包括添加到其的指示所述关于第一画面的视差信息是否是差别数据以及所述关于第二画面的视差信息是否是差别数据的标识信息。

本技术的主要特征如下。对于每个画面获得的视差信息的最大值（第二视差信息）和最小值（第一视差信息）被插入到视频流中，并且发送该视频流，从而可以在接收侧检查视差角是否在在其中观看不会引起任何健康问题的某个范围内（见图8和图15）。而且，在将对于每个画面获得的视差信息插入到视频流中并且发送视频流的情况下，对视差信息进行压缩编码的处理，以便减少数据量（见图24）。而且，在使用HDMI向外部装置以两个画面为单位发送对于两个顺序的画面的各条视差信息的情况下，这两个画面之一的视差信息是相对于紧邻在前的画面的差别数据，以便降低传输数据的量（见图69）。

参考标记列表

10,10A图像发送/接收系统

100广播站

110,110A传输数据产生单元

111L，111R图像数据输出单元

112L，112R缩放器

113视频编码器

114复用器

115视差数据产生单元

116字幕数据输出单元

117字幕编码器

118音频数据输出单元

119音频编码器

120压缩编码单元

121缓冲器

122减法器

123可变长度编码单元

200机顶盒

211容器缓冲器

212解复用器

213编码的缓冲器

214视频解码器

215解码的缓冲器

216缩放器

217叠加单元

218视差信息缓冲器

219机顶盒（STB）图形缓冲器

219A电视（TV）图形缓冲器

220深度控制单元

221图形缓冲器

231编码的缓冲器

232字幕解码器

233像素缓冲器

234字幕视差信息缓冲器

235字幕显示控制单元

241编码的缓冲器

242音频解码器

243音频缓冲器

244信道混合单元

251HDMI发送单元

261压缩解码单元

262视差信息控制单元

263L/R重新配置单元

264可变长度解码单元

265缓冲器

266加法器

271最大值获得单元

272最小值获得单元

273视差角检查单元

274视差信息校正单元

281帧存储器

282减法器

283顺序确定单元

300,300A电视接收机

311HDMI接收单元

312缩放器

313叠加单元

314深度控制单元

315图形缓冲器

316电视（TV）图形产生单元

317音频处理单元

400HDMI电缆

Claims (23)

1.一种发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息；

视差信息插入单元，其将获得的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

2.根据权利要求1的发送装置，其中所述视差信息插入单元以画面为单位或者以GOP为单位插入第一视差信息和第二视差信息。

3.根据权利要求1的发送装置，其中在进行压缩编码处理之后，所述视差信息插入单元将获得的视差信息插入视频流中。

4.根据权利要求1的发送装置，其中所述视差信息插入单元在将视差信息插入到视频流中的某个画面时，进一步插入识别该视差信息是关于整个画面显示屏幕的视差信息还是关于某些数量的划分的区域的每个区域的视差信息的标识信息。

5.根据权利要求1的发送装置，其中所述视差信息获得单元获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息，并且还获得关于整个画面显示屏幕的第二视差信息。

6.根据权利要求1的发送装置，其中所述视差信息获得单元获得关于通过使用划分信息划分画面显示屏幕而获得的每个划分的区域的第一视差信息和第二视差信息。

7.根据权利要求1的发送装置，其中所述视差信息获得单元获得关于通过使用第一划分信息划分画面显示屏幕获得的每个划分的区域的第一视差信息，并且还获得通过使用第二划分信息划分画面显示屏幕而获得的每个划分的区域的第二视差信息。

8.一种发送方法，包括：

获得形成立体图像的左眼图像数据和右眼图像数据的步骤；

对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息的步骤，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息；

将获得的视差信息插入到通过对获得的图像数据编码而获得的视频流中的步骤；以及

发送某个格式的容器的步骤，该容器包括视差信息已经被插入其中的视频流。

9.一种接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括插入到其中的对于图像数据的某些画面的每个画面的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

控制单元，其基于获得的第一视差信息和第二视差信息提供重新配置所述左眼图像数据和所述右眼图像数据以使得视差角在某个范围内的指令。

10.一种发送装置，包括：

图像数据获得单元，其获得形成立体图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息；

压缩编码单元，其对获得的视差信息进行压缩编码处理；

视差信息插入单元，其将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中；以及

图像数据发送单元，其发送某个格式的容器，该容器包括视差信息已经被插入其中的视频流。

11.根据权利要求10的发送装置，其中所述压缩编码单元使用可变长度码对获得的关于各个画面的视差信息进行处理，作为所述压缩编码处理。

12.根据权利要求11的发送装置，其中所述压缩编码单元进行获得在获得的各个画面中的参考画面和被参考的画面之间的差别数据并对该差别数据进行可变长度编码的处理，作为所述压缩编码处理。

13.根据权利要求12的发送装置，其中所述压缩编码单元通过将在显示顺序上的前一画面当作被参考的画面而获得所述差别数据。

14.根据权利要求12的发送装置，其中所述压缩编码单元通过将在解码顺序上的前一画面当作被参考的画面而获得所述差别数据。

15.根据权利要求12的发送装置，其中所述视差信息插入单元在将视差信息插入视频流中的每个画面中时进一步插入识别插入的视差信息是内部数据还是差别数据的标识信息。

16.根据权利要求14的发送装置，其中所述视差信息插入单元

在视频流中插入针对I画面、P画面和被参考的B画面的视差信息，以及

在插入的视差信息是差别数据的情况下，还插入表示直到被参考的画面的画面数量的信息。

17.一种发送方法，包括：

获得形成立体图像的左眼图像数据和右眼图像数据的步骤；

对于获得的图像数据的某些画面的每个画面获得关于左眼图像和右眼图像之一相对于另一个的视差信息的步骤；

对获得的视差信息进行压缩编码处理的步骤；

将压缩编码的视差信息插入到通过对获得的图像数据编码而获得的视频流中的步骤；以及

发送某个格式的容器的步骤，该容器包括已经被插入了视差信息的视频流。

18.一种接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述视差信息；以及

视差信息插值单元，其通过使用获得的关于前一画面和后一画面的视差信息进行插值而产生关于如下画面的视差信息：对于该画面，不存在由信息获得单元获得的视差信息。

19.一种接收装置，包括：

图像数据接收单元，其接收某个格式的容器，该容器包括视频流，

其中通过对形成立体图像的左眼图像数据和右眼图像数据编码而获得该视频流，以及

其中该视频流包括对于图像数据的某些画面的每个画面插入该视频流的关于左眼图像和右眼图像之一相对于另一个的视差信息，该视差信息包括与画面显示屏幕的某个区域中的最近对象再现位置对应的第一视差信息以及与该画面显示屏幕的该某个区域中的最远对象再现位置对应的第二视差信息，

该接收装置还包括：

信息获得单元，其从所述容器中包括的视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得所述第一视差信息和所述第二视差信息；以及

发送单元，其将获得的左眼图像数据和右眼图像数据以及获得的第一视差信息和第二视差信息彼此相关联地发送到外部装置。

20.根据权利要求19的接收装置，还包括：

信息重新配置单元，其基于获得的第一视差信息和第二视差信息，重新配置图像数据和视差信息，以使得视差角在某个范围内，

其中所述发送单元将重新配置的左眼图像数据和右眼图像数据以及重新配置的第一视差信息和第二视差信息彼此相关联地发送到所述外部装置。

21.根据权利要求19的接收装置，

其中所述发送单元以两个画面为单位发送关于彼此顺序地相邻的第一画面和第二画面的视差信息，以及

其中至少关于第一画面或者第二画面的视差信息是相对于关于紧邻在前面的画面的视差信息的差别数据。

22.根据权利要求21的接收装置，还包括：

确定单元，其基于关于第一画面的视差信息和关于第二画面的视差信息之间的差别数据，确定所述关于第一画面的视差信息和关于第二画面的视差信息中的哪个将是差别数据。

23.根据权利要求22的接收装置，其中由所述发送单元发送的视差信息包括添加到其的指示所述关于第一画面的视差信息是否是差别数据以及所述关于第二画面的视差信息是否是差别数据的标识信息。

Images