CN102244795A - 发送和接收立体图像数据的设备和方法 - Google Patents
发送和接收立体图像数据的设备和方法 Download PDFInfo
- Publication number
- CN102244795A CN102244795A CN2011101118859A CN201110111885A CN102244795A CN 102244795 A CN102244795 A CN 102244795A CN 2011101118859 A CN2011101118859 A CN 2011101118859A CN 201110111885 A CN201110111885 A CN 201110111885A CN 102244795 A CN102244795 A CN 102244795A
- Authority
- CN
- China
- Prior art keywords
- data
- parallax
- image data
- eye image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 43
- 241001269238 Data Species 0.000 description 52
- 239000012634 fragment Substances 0.000 description 31
- 239000000284 extract Substances 0.000 description 11
- 238000009877 rendering Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013316 zoning Methods 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种发送立体图像数据的设备,包括:图像数据输出单元,被配置为输出关于某一节目的、包括了左眼图像数据和右眼图像数据的立体图像数据;以及图像数据发送单元,被配置为发送包括了从该图像数据输出单元输出的关于某一节目的立体图像数据的传送流。该图像数据发送单元在该传送流中合并指示出是否发送了视差数据的标识信息。该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。
Description
技术领域
本发明涉及一种发送立体图像数据的设备和方法以及接收立体图像数据的设备和方法。更具体地,本发明涉及一种能够改善由3D视频内容供应商发送视差(disparity)数据的灵活性的发送立体图像数据的设备和方法以及接收立体图像数据的设备和方法。
背景技术
例如,日本未审查专利申请公布第2005-6114号公开了一种使用电视广播来发送立体图像数据的方法。在此发送方法中,向使用双目视差来显示立体图像的电视接收机发送包括左眼图像数据和右眼图像数据的立体图像数据。
图30图示了在使用双目视差来显示立体图像(三维(3D)图像)时、在其中在屏幕上显示对象的左图像和右图像的位置与其中再现所述立体图像的位置之间的关系的示例。例如,在对象A(在屏幕上向右偏移该对象A的左图像La,并且在屏幕上向左偏移该对象A的右图像Ra)的情况下,在比屏幕更近的位置处显示对象A的立体图像,这是因为在比屏幕更近的位置处左视线与右视线相交。Dpa表示与对象A有关的水平视差向量。
在对象B(在相同位置处显示该对象B的左图像Lb和右图像Rb)的情况下,在屏幕上的位置处显示对象B的立体图像,这是因为在屏幕上左视线与右视线相交。在对象C(在屏幕上向左偏移该对象A的左图像Lc,并且在屏幕上向右偏移该对象C的右图像Rc)的情况下,在比屏幕更远的位置处显示对象C的立体图像,这是因为在比屏幕更远的位置处左视线与右视线相交。Dpc表示与对象C有关的水平视差向量。
发明内容
在按照以上方式将包括了字幕(caption)、数据广播显示、和专用于终端应用的显示的叠加信息叠加于在电视接收机中显示的立体图像(3D图像)上时,期望对于立体图像设置观众可以容易地观看该立体图像的适当深度。一般将该适当深度认为是比立体图像的深度更近的深度。图31图示了图像和字幕(subtitle)(字幕)之间的位置关系的示例。在此示例中,在比图像的最近位置更近的位置处识别出字幕。
由于在典型的现有3D电视系统中使用了根据左眼和右眼视图而生成的两个图像,所以通过其中显示所述图像的目标上的左图像和右图像之间的水平偏移的像素数目来表示该深度。相应地,同样地关于诸如在图像上叠加的字幕之类的叠加信息,考虑到对于每条叠加信息、基于左图像和右图像之间的水平偏移的像素数目来定义适当深度。将关于偏移的像素数目的信息称为视差数据。
在3D电影中,在图像上叠加的字幕的深度经常响应于图像(视频)随着时间的变化而随着时间变化。为了同样在3D电视系统中提供相似的显示,考虑到对于每个字幕来理想地不断变化所述深度。然而,花费了许多努力来生成对于每个字幕不断变化的视差数据,因而增加了制作成本。另外,必须在用于生成期望视差数据以分布该视差数据的装置中进行新的投资。
将产生各种3D内容项目,以通过使用广播或因特网协议电视(IPTV)来分布该3D内容项目。然而,内容供应商可以不必考虑应该供应上述的期望视差数据,以实现被认为没有图像那么重要的字幕的容易观看。
在这样的情况下,在分布某一3D视频内容项目时,内容供应商可以在其中显示叠加信息的时段期间、以固定的深度来显示诸如字幕之类的特定叠加信息。在分布另一3D视频内容项目时,内容供应商可以以固定的深度来显示整个节目(内容)。
在分布另一3D视频内容项目时,内容供应商可以不将叠加信息的显示认为是3D视频,尽管内容供应商按照与二维(2D)视频内容项目中的方式相似的方式来发送诸如字幕之类的叠加信息。在此情况下,不供应视差数据。在分布另一3D视频内容项目时,内容供应商可以不断地将期望视差数据添加到3D视频内容项目。
在现有技术中,不存在对于来自内容供应商的、与考虑到3D视频内容项目的广播或IPTV中诸如字幕之类的叠加信息有关的各种需求的解决方案。
期望改善由3D视频内容供应商发送视差数据的灵活性。
根据本发明的实施例,一种发送立体图像数据的设备,包括:图像数据输出单元,被配置为输出关于某一节目的、包括了左眼图像数据和右眼图像数据的立体图像数据;以及图像数据发送单元,被配置为发送包括了从该图像数据输出单元输出的关于某一节目的立体图像数据的传送流。该图像数据发送单元在该传送流中合并指示出是否发送了视差数据的标识信息。该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。
在以上实施例中,该图像数据输出单元输出关于某一节目的、包括了左眼图像数据和右眼图像数据的立体图像数据。该图像数据发送单元发送包括了从该图像数据输出单元输出的关于某一节目的立体图像数据的传送流。该图像数据发送单元在该传送流中合并指示出是否发送了视差数据的标识信息。该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。
该叠加信息意味着要在图像上叠加的信息,诸如用于显示字幕的字幕信息、隐藏字幕(closed caption)信息、用于显示图形的图形信息(诸如,商标(logo))、电子节目指南(EPG)、用于显示电视文字广播等内容的文本信息、和专用于电视接收机的屏上显示。
例如,该标识信息可以指示出是否发送了用于每个节目的视差数据。当该标识信息指示出发送了用于每个节目的视差数据时,该图像数据发送单元优选地还在该传送流中合并用于每个节目的视差数据。
在此情况下,该图像数据发送单元优选地在该传送流中合并该标识信息和该视差数据,作为用于每个节目的元数据。例如,该传送流优选地包括用作用于以节目为单位进行管理的服务信息的事件信息表,并且该图像数据发送单元优选地在该事件信息表中合并该标识信息和该视差数据。
例如,该标识信息可以指示出是否发送了通用视差数据。当该标识信息指示出发送了通用视差数据时,该图像数据发送单元还优选地在该传送流中合并包括了通用视差数据的视差基本流,并且优选地与指示出发送了通用视差数据的标识信息相关联地,在该传送流中合并用于标识该视差基本流的标识信息。
例如,该标识信息可以指示出是否发送了用于特定叠加信息的视差数据。当该标识信息指示出发送了用于特定叠加信息的视差数据时,该图像数据发送单元优选地还在该传送流中合并固定-变化信息。该固定-变化信息指示出发送在其中显示出特定叠加信息的包括了某一数目的帧的帧时段中共同使用的视差数据和发送在包括了某一数目的帧的帧时段中依次更新的视差数据中的任一项或者其两者。在此情况下,例如该图像数据发送单元优选地在该传送流中合并包括了关于特定叠加信息的数据的叠加信息基本流,并且对于每条叠加信息来优选地在叠加信息基本流中合并该固定-变化信息。
当该固定-变化信息指示出发送在包括了某一数目的帧的帧时段中共同使用的视差数据时,该图像数据发送单元与该固定-变化信息相关联地对于每条叠加信息来优选地在叠加信息基本流中合并在包括了某一数目的帧的帧时段中共同使用的视差数据。当该固定-变化信息指示出发送在其中显示出特定叠加信息的包括了某一数目的帧的帧时段中依次更新的视差数据时,该图像数据发送单元优选地在该传送流中合并其中利用标识信息来区分用于每条叠加信息的视差序列的叠加信息基本流,并且与该固定-变化信息相关联地对于每条叠加信息来优选地在叠加信息基本流中合并用于指定视差基本流中的对应视差序列的标识信息。
如上所述,根据本发明的以上实施例,在包括了关于某一节目的立体图像数据的传送流中合并指示出是否发送了视差数据的标识信息。相应地,可能改善由3D视频内容供应商发送视差数据的灵活性。换言之,可能选择性地发送用于每个节目的视差数据、通用视差数据、用于特定叠加信息的视差数据等等,作为视差数据。另外,也可以选择不发送视差数据。
根据本发明的另一实施例,一种接收立体图像数据的设备,包括:图像数据接收单元,被配置为接收传送流,在该传送流中包括了关于某一节目的、包含左眼图像数据和右眼图像数据的立体图像数据,并且在该传送流中合并了指示出是否发送了视差数据的标识信息,该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息;图像数据获取单元,被配置为从由该图像数据接收单元接收到的传送流中获取立体图像数据;标识信息获取单元,被配置为从由该图像数据接收单元接收到的传送流中获取标识信息;以及图像数据处理单元,被配置为基于由图像数据获取单元获取的立体图像数据和由标识信息获取单元获取的标识信息来将基于某一视差数据的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息,以获取其上叠加有叠加信息的左眼图像数据和其上叠加有叠加信息的右眼图像数据。
在以上实施例中,该图像数据接收单元接收传送流。在该传送流中包括了关于某一节目的、包含左眼图像数据和右眼图像数据的立体图像数据。在传送流中合并了指示出是否发送了视差数据的标识信息。该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。该标识信息可以指示出是否发送了用于每个节目的视差数据、是否发送了通用视差数据、是否发送了用于特定叠加信息的视差数据。
该图像数据获取单元从由该图像数据接收单元接收到的传送流中获取立体图像数据。该标识信息获取单元从由该图像数据接收单元接收到的传送流中获取标识信息。该图像数据处理单元基于该立体图像数据和该标识信息来获取其上叠加有叠加信息的左眼图像数据和其上叠加有叠加信息的右眼图像数据。在此情况下,将基于某一视差数据的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息。
当该标识信息指示出发送了视差数据时,优选地使用从传送流中获取的视差数据,作为该某一视差数据。当该标识信息指示出没有发送视差数据时,优选地使用事先准备的视差数据,作为该某一视差数据。
如上所述,根据本发明的以上实施例,获取了在传送流中合并的标识信息。基于该标识信息来将基于某一视差数据的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息。相应地,可能以3D视频内容供应商所意欲的深度来在立体图像上显示诸如字幕之类的叠加信息。
根据本发明,在包括了关于某一节目的立体图像数据的传送流中合并指示出是否发送了视差数据的标识信息。相应地,可能改善由3D视频内容供应商发送视差数据的灵活性。另外,可能以3D视频内容供应商所意欲的深度来在立体图像上显示诸如字幕之类的叠加信息。
附图说明
图1图示了根据本发明实施例的立体图像发送-接收系统的配置的示例;
图2是示出了广播站中的发送数据生成单元的配置的示例的框图;
图3示出了包括视频PES分组、音频PES分组、字幕PES分组、视差PES分组、和表格(诸如,事件信息表(EIT)和节目映射表(PMT))的传送流的结构的示例;
图4示出了包括视频基本流、字幕基本流、音频基本流、和视差基本流的一般传送流的结构的示例;
图5示出了立体描述符(stereoscopic_descriptor(立体描述符))的语法的示例;
图6示出了立体描述符(stereoscopic_descriptor)的语义;
图7示出了视差链路描述符(disparity_link_descriptor(视差链路描述符))的语法的示例;
图8示出了视差链路描述符(disparity_link_descriptor)的语义;
图9A示出了字幕的2D显示的示例,而图9B示出了字幕的3D显示的示例;
图10示出了当设置在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据时、该显示集的每帧中字幕的深度的示例;
图11示出了当设置在包括了用于构成显示集的某一数目的帧的帧时段中依次更新的多条视差数据时、该显示集的每帧中字幕的深度的示例;
图12示出了字幕数据的结构的示例;
图13示出了字幕流(PES)(即,Digital Video Broadcasting(DVB)_Subtitling(数字视频广播添加字幕))的语法;
图14示出了片段“segment_type(片段类型)”的每个值与片段类型之间的对应关系;
图15示出了3D片段(3DS)的语法的示例;
图16示出了3DS的语义;
图17示出了视差流的语法的示例,即示出了包括视差数据的“PES_data_field(PES数据字段)”的语法的示例;
图18示出了“disparity_data_set(视差数据集)”的语法的示例;
图19示出了“disparity_data_set”的主要语义;
图20是示出了立体图像发送-接收系统中的接收机设备的配置的示例的框图;
图21是示出了当叠加信息是屏上显示(OSD)图像时、由视差数据输出单元执行的处理的示例的流程图;
图22是示出了当叠加信息是字幕时、由视差数据输出单元执行的处理的示例的流程图;
图23是示出了接收机设备中的叠加器单元的配置的示例的框图;
图24示出了当基于用于每个区段/显示集的视差序列来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的示例;
图25示出了当基于用于每个区段/显示集的固定视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的示例;
图26示出了当基于用于每个区段/显示集的视差序列来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的另一示例;
图27示出了当基于用于每个区段/显示集的固定视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的另一示例;
图28示出了当基于用于每个节目的视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的示例;
图29示出了当基于在接收机设备中事先准备的视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕时、如何三维地显示字幕的示例;
图30图示了在使用双目视差来显示对象的立体图像(三维(3D)图像)时、在其中在屏幕上显示所述对象的左图像和右图像的位置与其中再现所述立体图像的位置之间的关系的示例;以及
图31图示了当在比图像的最近位置更近的位置处识别出字幕时、在图像与该字幕之间的位置关系的示例。
具体实施方式
在这里,将参考附图来对本发明的实施例进行描述。
<1.实施例>
【图像发送-接收系统的配置的示例】
图1图示了根据本发明实施例的立体图像发送-接收系统10的配置的示例。立体图像发送-接收系统10包括广播站100和接收机设备200。广播站100在广播上发送传送流。传送流包括关于某一节目的立体图像数据,该立体图像数据包括左眼图像数据和右眼图像数据。
另外,在传送流中合并指示出是否发送了视差数据的标识信息。视差数据用于对要在根据左眼图像数据和右眼图像数据而生成的图像上叠加的叠加信息(诸如,字幕)进行偏移,以添加视差。视差数据例如是视差向量或深度数据。可以通过某种转换将深度数据处理为视差向量。
接收机设备200在广播上接收从广播站100发送的传送流。接收机设备200从传送流中获取立体图像数据,并还从传送流中获取标识信息。接收机设备200基于该立体图像数据和该标识信息来获取左眼图像数据和右眼图像数据,在该左眼图像数据上叠加了叠加信息(诸如,字幕),并且在该右眼图像数据上叠加了叠加信息。
【广播站的描述】
现在,将详细地描述广播站100。广播站100在广播上发送传送流,在该传送流中包括了立体图像数据,并且在该传送流中合并了指示出是否发送了视差数据的标识信息,如上所述。在本实施例中,除了立体图像数据之外,传送流例如还包括音频数据、字幕数据、和视差数据。只有当标识信息指示出发送了视差数据时,才在传送流中包括视差数据。
【发送数据生成单元的配置的示例】
图2是示出了广播站100中的用于生成传送流的发送数据生成单元110的配置的示例的框图。发送数据生成单元110包括数据提取器(归档器(archive))111、视频编码器112、视差数据编码器113、和音频编码器114。发送数据生成单元110还包括字幕发生器115、字幕编码器116、和多路复用器117。
例如在数据提取器111中可折卸地加载数据记录介质111a。在数据记录介质111a上记录关于在传送流上发送的某一节目的立体图像数据和与该立体图像数据对应的音频数据。立体图像数据包括左眼图像数据和右眼图像数据。
与关于某一节目的立体图像数据相关联地在数据记录介质111a上记录视差数据。当在数据记录介质111a上记录视差数据时,可以在传送流中合并该视差数据,以与关于某一节目的立体图像数据相关联地发送该视差数据。
在数据记录介质111a上记录的视差数据例如是用于每个节目的视差数据、通用视差数据、和专用视差数据(用于特定叠加信息的视差数据)。专用视差数据例如包括字幕视差数据和隐藏字幕视差数据。在本实施例中使用字幕视差数据。在用于每个节目的视差数据的情况下,与关于某一节目的立体图像数据相关联地在数据记录介质111a上记录一条视差数据。
在通用视差数据的情况下,例如,与关于某一节目的立体图像数据相关联地在数据记录介质111a上记录属于源自于将屏幕划分为某一数目区域的每个划分区域的视差数据。在此情况下,例如,用于每个节目的一条视差数据属于每个划分区域,或者用于每个某一数目的帧的多条视差数据属于每个划分区域。
在专用视差数据的情况下,与关于某一节目的立体图像数据相关联地、以显示集为单位而在数据记录介质111a上记录关于每页中的每个区段的视差数据。在此情况下,例如,对于每个区段来记录在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据,或者对于每个区段来记录在包括了某一数目的帧的帧时段中依次更新的多条视差数据。
数据提取器111中的数据记录介质111a例如是盘记录介质或半导体储存器。数据提取器111从数据记录介质111a中提取关于某一节目的立体图像数据,并还提取与该立体图像数据相关联记录的音频数据和视差时间,以输出该立体图像数据、音频数据和视差数据。
视频编码器112对从数据提取器111供应的图像数据执行诸如MPEG4-AVC或MPEG2之类的编码,以获取编码后的视频数据。另外,视频编码器112利用下游流格式化器(未示出)来生成包括了该立体图像数据的视频基本流。
视频数据编码器113生成包括了从数据提取器111供应的视差数据的视差基本流。当该视差数据是通用视差数据时,视差数据编码器113生成视差基本流。当该视差数据是专用视差数据并且对于每个区段来记录在包括了某一数目的帧时段中依次更新的多条视差数据时,视差数据编码器113生成视差基本流。
换言之,当该视差数据是用于每个节目的视差数据时,视差数据编码器113不生成视差基本流。在合并到多路复用器117中的事件信息表(EIT)中的立体描述符(stereoscopic_descriptor)中描述用于每个节目的视差数据,如下面所详细描述的。
当该视差数据是专用视差数据并且对于每个区段来记录在包括了某一数目的帧的帧时段中共同使用的一条视差数据时,视差数据编码器113不生成视差基本流。与关于每个区段的字幕数据相关联地,将用于每个区段的视差数据合并于在字幕编码器116中生成的字幕基本流中,如下面所详细描述的。
音频编码器114对从数据提取器111供应的音频数据执行诸如MPEG-2音频(Audio)AAC之类的编码,以生成音频基本流。字幕发生器115生成要在图像上叠加的关于字幕的数据(字幕数据)。该字幕(subtitle)例如是字幕(caption)。字幕编码器116生成包括了在字幕发生器115中生成的字幕数据的字幕基本流。
多路复用器117对于在视频编码器112、视差数据编码器113、音频编码器114、和字幕编码器116中生成的基本流进行分组化,以进行多路复用,从而生成传送流TS。图3示出了传送流TS的结构的示例。传送流TS包括时间划分中的源自于每个基本流的分组化的分组(所分组化的基本流(PES)分组)。
传送流TS包括间歇事件信息表(EIT),该间歇事件信息表(EIT)用作用于以事件为单位进行管理的服务信息(SI)。传送流TS还包括间歇节目映射表(PMT),该间歇节目映射表(PMT)用作节目特定信息(PSI)。PSI指示出在传送流中包括的每个基本流属于哪一节目。
【标识信息的合并】
多路复用器117合并指示出是否在传送流TS中发送视差数据的标识信息。在本实施例中,重新定义立体描述符(stereoscopic_descriptor)和视差链路描述符(disparity_link_descriptor),以合并标识信息。立体描述符包括指示出是否发送了用于每个节目的视差数据的标识信息。多路复用器117在传送流TS中合并立体描述符,作为用于每个节目的元数据。在本实施例中,多路复用器117在上述EIT中合并立体描述符。
立体链路描述符包括指示出是否发送了通用视差数据的标识信息。立体链路描述符还包括指示出是否发送了专用视差数据的标识信息。当必要时,多路复用器117在传送流TS中合并视差链路描述符。在本实施例中,多路复用器117在该EIT中合并视差链路描述符。
图4示出了包括视频基本流、字幕基本流、音频基本流、和视差基本流的一般传送流TS的结构的示例。传送流TS包括源自于每个基本流的分组化的PES分组,如上所述。在图4的示例中,在传送流TS中包括用于视频基本流的PES分组“视频PES(Video PES)”。
在图4的示例中,在传送流TS中还包括用于字幕基本流的PES分组“字幕PES(Subtitle PES)”和用于音频基本流的PES分组“音频PES(AudioPES)”。另外,在图4的示例中,在传送流TS中包括用于视差基本流的PES分组“视差数据PES(Disparity Data PES)”。
传送流TS还包括节目映射表(PMT),该节目映射表(PMT)用作节目特定信息(PSI)。PSI指示出在传送流TS中包括的每个基本流属于哪一节目。传送流TS还包括事件信息表(EIT),该事件信息表(EIT)用作用于以事件为单位进行管理的服务信息(SI)。在EIT中描述了用于每个节目的元数据。
在PMT中存在用于描述与整个节目有关的信息的节目描述符。在PMT中存在具有与相应基本流有关的信息的基本环(loop)。在图4的示例中存在视频基本环、字幕基本环、音频基本环、和私有基本环。在用于每个流的每个基本环中安排诸如分组标识符(PID)之类的信息,并且还在基本环中安排用于描述与每个基本环有关的信息的描述符,尽管它在图4中未示出。
用于描述与每个基本环有关的信息的描述符例如是流标识符描述符(stream_identifier_descriptor)。尽管在图4的示例中仅仅在字幕基本环中示出了流标识符描述符,但是流标识符描述符也类似地安排在其他基本环中。流标识符描述符是指示出基本流的类型和定位的标识符(ID)(component_tag(组件标签))。每个基本环中的流标识符描述符的安排允许了与偏好于被获取的ID(component_tag)对应的分组标识符(PID)。
在本实施例中,在EIT中合并立体描述符(stereoscopic_descriptor),如图4所示。当必要时,在EIT中安排视差链路描述符(disparity_link_descriptor)。
【立体描述符的描述】
图5示出了立体描述符(stereoscopic_descriptor)的语法的示例。图6示出了立体描述符的语义。参考图5,“descriptor_tag(描述符标签)”是指示出描述符类型的八比特数据,并且指示出图5的示例中的立体描述符。“Descriptor_length(描述符长度)”是指示出描述符长度(大小)的八比特数据。此数据指示出在“descriptor_length”之后的字节数目,作为描述符的长度。
“3D_format_type(3D格式类型)”是指示出3D格式类型的四比特数据。例如,“3”指示出3D格式类型是并排(Side by side),“4”指示出3D格式类型是上下(Top and bottom),而“7”指示出3D格式类型是全分辨率立体(Full resolution stereo)。在全分辨率立体格式中,将左眼图像数据和右眼图像数据之一作为基本视图(base view)图像数据而进行发送,而将剩余部分作为非基本视图图像数据而进行发送。
“2D_display_view(2D显示视图)”是指示出要在2D显示模式中显示的视图(图像)的一比特数据。例如,“0”指示出要显示的视图是左眼图像,而“1”指示出要显示的视图是右眼图像。当3D格式是全分辨率立体时,要在2D显示模式中显示的视图(图像)例如是基本视图。
“Simulcast_condition(联播条件)”是两比特数据。此数据指示出当3D模式是并排或上下时,该设备是否处于与对应的3D格式中的立体(3D)图像数据同时地发送2D图像数据的状态中。此数据基于2D图像数据,并且指示出3D图像数据的发送模式。考虑到当在并排格式或上下格式中发送立体图像数据时、在不支持3D图像显示的现有技术中的2D接收机中显示在屏幕上水平或垂直安排的左眼图像和右眼图像的图像的事实,来定义此数据。
例如,“0”指示出该设备不处于与3D图像数据同时地发送2D图像数据的状态中。“1”到“3”指示出该设备处于与3D图像数据同时地发送2D图像数据的状态中。具体地,“1”指示出该设备基于2D图像数据并且将与该2D图像数据对应的3D图像数据作为相同信道上的另一流而进行发送。在此情况下,尽管在这里省略了详细描述,但是可以例如从组件描述符(component_descriptor)参考诸如分组标识符(PID)之类的详细信息。
“2”指示出该设备基于2D图像数据并且将与该2D图像数据对应的3D图像数据作为另一信道上的另一节目(服务)而进行发送。在此情况下,尽管在这里省略了详细描述,但是可以例如从链接描述符(linkage_descriptor)参考诸如该另一信道之类的详细信息。“3”指示出该设备基于2D图像数据并且通过诸如网络通信之类的其他方法代替广播来发送与该2D图像数据对应的3D图像数据。在此情况下,尽管在这里省略了详细描述,但是可以例如从另一新描述符参考诸如统一资源定位符(URL)之类的详细信息。
“Detailed_disparity_supply(详细视差供应)”是指示出是否供应了在视差链路描述符(disparity_link_descriptor)中描述的详细视差数据的一比特数据。例如,“1”指示出供应了详细视差数据。在此情况下,连同立体描述符(stereoscopic_descriptor)一起,在EIT中合并视差链路描述符(disparity_link_descriptor)。“0”指示出没有供应详细视差数据。此数据构成用于指示出发送了通用视差数据还是专用视差数据的标识信息。
“Event_disparity_supply(事件视差供应)”是指示出是否供应了用于此节目(事件)的一条固定视差数据的一比特数据。例如,“1”指示出供应了用于此节目(事件)的一条固定视差数据,而“0”指示出没有供应用于此节目(事件)的一条固定视差数据。此数据构成用于指示出是否发送了用于每个节目的视差数据的标识信息。
“Select_view_shift(选择视图偏移)”是只有当“event_disparity_supply”=1时才有效并且构成了用于指定要偏移的目标视图的信息的两比特数据。此数据在要在左眼图像上叠加的叠加信息(例如,字幕和/或屏上显示(OSD)图像)和要在右眼图像上叠加的叠加信息之中指定了要基于视差数据而偏移的叠加信息。下面,将在描述视差流时详细地描述此数据。
“Disparity_value(视差值)”是只有当“event_disparity_supply”=1时才有效并且指示出视差数据的值的八比特数据。此数据取值-128到+127。下面,将在描述视差流时详细地描述此数据。
【视差链路描述符的描述】
图7示出了视差链路描述符(disparity_link_descriptor)的语法的示例。图8示出了视差链路描述符的语义。参考图7,“descriptor_tag”是指示出描述符类型的八比特数据,并且指示出图7的示例中的视差链路描述符。“Descriptor_length”是指示出描述符长度(大小)的八比特数据。此数据指示出在“descriptor_length”之后的字节数目,作为描述符的长度。
“Disparity_component(视差组件)”指示出用于指示包括了视差数据的视差流的组件标签(component_tag)的值。如上所述,可以基于组件标签的值来获取视差流的分组标识(PID)。
“Subtitle_disparity_flag(字幕视差标志)”是指示出是否设置了字幕视差数据的一比特标志数据。此标志数据连同立体描述符中的“detailed_disparity_supply”中的数据一起,构成指示出是否发送了专用视差数据的标识信息。例如,“1”指示出设置字幕视差数据,而“0”指示出没有设置字幕视差数据。
“General_use_disparity_flag(一般用途视差标志)”是指示出通用视差数据是否存在的一比特标志数据。此标志数据连同立体描述符中的“detailed_disparity_supply”中的数据一起,构成指示出是否发送了通用视差数据的标识信息。例如,“1”指示出通用视差数据存在,而“0”指示出通用视差数据不存在。
“Reserved_for_future_use(为了将来使用而保留)”指示出保留区域。此数据将用作指示出如果视差数据所用于的广播数据(例如,数据广播)出现、则是否设置用于对应应用的视差数据的标志数据区域。
【字幕流的描述】
图9A示出了字幕的2D显示的示例,而图9B示出了字幕的3D显示的示例。图9A示出了如何二维地叠加字幕的示例。在此示例中,将由圆圈环绕的用于表现数字“7”的字幕叠加在区段1上,并且将用于表现字符串“我们可以吗(Shall we)?”的字幕叠加在区段2上。在图9A的示例中,在屏幕上识别出每个字幕。
图9B示出了如何三维地叠加字幕的示例。同样,在此示例中,将由圆圈环绕的用于表现数字“7”的字幕叠加在区段1上,并且将用于表现字符串“我们可以吗?”的字幕叠加在区段2上。在图9B的示例中,通过使用视差数据,能够在比该图像的最近位置更近的位置处识别出每个字幕。
现在,将描述以下情况,其中将视差链路描述符中的“subtitle_disparity_flag”中的一比特数据设置为指示出设置了字幕视差数据的“1”。在此情况下,以显示集为单位来设置关于每个页面中的每个区段的视差数据。具体地,例如,对于每个区段来设置在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据,或者对于每个区段来设置在包括了某一数目的帧的帧时段中依次更新的多条视差数据。
当对于每个区段来设置在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据时,在对应显示集期间字幕的深度恒定。图10示出了在以上情况下显示集中的每帧中的字幕“字幕(Subtitle)”的深度的示例。
当对于每个区段来设置在包括了用于构成显示集的某一数目的帧的帧时段中依次更新的多条视差数据时,在对应显示集中字幕的深度可以随着立体图像中对象的位置的变化而变化。图11示出了在以上情况下显示集中的每帧中的字幕“字幕”的深度的示例。
图12示出了字幕数据的结构的示例。字幕数据包括PES报头和在PES报头之后的关于每个显示集的数据。除了“DDS”、“PCS”、“CDS”、“RCS”、“ODS”和“EDS”之外,关于每个显示集的数据还包括新近定义的“3DS”。
“DDS”是显示定义片段(Display_Definition_Segment),并且定义了显示字幕(字幕)的区域。“PCS”是页面合成片段(Page_Composition_Segment),并且指示出整个页面的状态、用于构成页面的每个区段、和关于每个区段的位置信息。“RCS”是区段合成片段(Region_Composition_Segment),并且指示出在区段中安排的每个对象和关于每个对象的位置信息。
“CDS”是CLUT定义片段(CLUT_Definition_Segment),并且是关于由“RCS”指定的每个色彩查找表(CLUT)的数据。“ODS”是对象数据片段(Object_Data_Segment),并且是关于每个对象的数据。取决于对象的类型来在“ODS”中描述位图数据或文本数据。“EDS”是显示集结束片段,并且指示出显示集的发送结束。
“3DS”是3D片段,并且包括与字幕视差数据有关的各种信息。当在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据作为视差数据而存在时,在“3DS”中包括视差数据。当将在包括了用于构成显示集的某一数目的帧的帧时段中依次更新的多条视差数据(视差序列)设置为视差数据时,在“3DS”中包括用于在视差流中标识视差序列的标识信息。下面,将描述“3DS”的详细结构的示例。
图13示出了字幕流(PES)(即,数字视频广播(DVB)_Subtitling)的语法。根据欧洲电信标准协会(ETSI)(ETSI EN 300 743)来对此语法进行标准化。从PES层来看图13所示的语法。“PES_data_field(PES数据字段)”包括指示出由“data_identifer(数据标识符)”所指示的字幕数据的八比特信息。“PES_data_field”还包括用于标识由“subtitle_stream_id(字幕流id)”所指示的字幕流的八比特信息。
“PES_data_field”还包括“Subtitling_segment(添加字幕片段)”。“Subtitling_segment”包括“sync_byte(同步字节)”、“segment_type(片段类型)”、“page_id(页面id)”、“segment_length(片段长度)”和“segment_data_field(片段数据字段)”。“Page_id”是用于标识每个页面的标识信息。
“Segment_type”是指示出片段类型的八比特信息。图14示出了“segment_type”的每个值与片段类型之间的对应关系。例如,“0×10”指示出页面合成片段(PCS)。“0×11”指示出区段合成片段(RCS)。
尽管在现有技术中保留了“0×40”,但是在本实施例中将它重新定义为指示出3D片段(3DS)的信息。因为保留了“0×40”,所以不支持3D显示的现有技术中的字幕解码器会跳过此片段。相反地,由于支持3D显示的解码器将“0×40”识别为3DS,所以该解码器能够从此片段中读出与字幕视差数据有关的各种信息。
【3D片段的描述】
图15示出了3DS(3D_segment(3D片段))的语法的示例。图16示出了3DS的语义。“3D_segment”包括“sync_byte”、“segment_type”、“page_id”和“segment_length”。“Page_id”是用于标识每个页面的标识信息。“Segment_type”是指示出片段类型的八比特数据,并且在此示例中被设置为指示出3DS的“0×40”。“Segment_length”是指示出片段长度的八比特数据。此数据指示出在“segment_length”之后的字节数目,作为片段的长度。
“3D_segment”还包括“disparity_static_supply(视差静态供应)”和“disparity_sequence_supply(视差序列供应)”。“disparity_static_supply”是指示出是否以区段/显示集为单位来供应固定视差数据的值的一比特数据。例如,“1”指示出以区段/显示集为单位来供应固定视差数据的值,而“0”指示出不供应固定视差数据的值。换言之,“disparity_static_supply=1”指示出对于每个区段存在在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据。
“Disparity_sequence_supply”是指示出是否以区段/显示集为单位来供应用于指示视差数据的值随时间的变化的视差序列的一比特数据。例如,“1”指示出以区段/显示集为单位来供应用于指示视差数据的值随时间的变化的视差序列,而“0”指示出不供应用于指示视差数据的值随时间的变化的视差序列。换言之,“disparity_sequenc_supply=1”指示出对于每个区段存在在包括了用于构成显示集的某一数目的帧的帧时段中依次更新的多条视差数据(视差序列)。
“3D_segment”还包括“select_view_shift”和“number_of_regions(区段数目)”。“Select_view_shift”是用于构成指定了要偏移的目标视图的信息的两比特数据。此数据在要在左眼图像和右眼图像上叠加的字幕之中指定了要基于视差数据而偏移的字幕。下面,将在描述视差流时详细地描述此数据。“Number_of_regions”指示出区段的数目。
“3D_segment”还包括区段数目的“disparity_value”和“disparity_sequence_id(视差序列id)”中的任一个,或者区段数目的“disparity_value”和“disparity_sequence_id”两者。如果将“disparity_static_supply”设置为指示出供应了固定视差数据的值的一个值,则包括“Disparity_value”。“Disparity_value”是指示出用于每个区段/显示集的视差数据的值的八比特数据。下面,将在描述视差流时详细地描述此数据。
如果将“disparity_sequence_supply”设置为指示出供应了视差序列的一个值,则包括“Disparity_sequence_id”。“Disparity_sequence_id”是用于指定视差流上的特定视差序列的标识符,该特定视差序列指示出用于每个区段/显示集的视差数据的值随时间的变化。
【视差流的描述】
现在,将描述视差数据在视差流中的嵌入。图17示出了视差流的语法的示例,即示出了包括视差数据的“PES_data_field”的语法的示例。此语法例如包括“data_identifier(数据标识符)”、“disparity_stream_id(视差流id)”、“disparity_data_set(视差数据集)”、和“end_of_PES_data_field_marker(PES数据字段结束标记)”。
图18示出了“disparity_data_set”的语法的示例。图19示出了“disparity_data_set”的主要语义。该语法例如包括“sync_byte”、“disparity_sequence_id”、“select_view_shift″、”frame_count(帧计数)”、和“disparity_value”。“Disparity_sequence_id”指示出视差序列的标识符。
“Select_view_shift”是指定了要偏移的目标视图的两比特信息。“Select_view_shift”在要在左眼图像上叠加的服务组件和要在右眼图像上叠加的服务组件之中指定了要基于视差数据而偏移的服务组件。例如,保留了“select_view_shift=00”。服务组件例如是字幕信息或者添加隐藏字幕(closed-captioning)信息。
“Select_view_shift=01”指示出仅仅将要在左眼图像上叠加的服务组件(例如,字幕)水平地偏移由视差数据给出的数量。当视差数据具有正值时,向右偏移要在左眼图像上叠加的服务组件。当视差数据具有负值时,向左偏移要在左眼图像上叠加的服务组件。
“Select_view_shift=10”指示出仅仅将要在右眼图像上叠加的服务组件(例如,字幕)水平地偏移由视差数据给出的数量。当视差数据具有正值时,向右偏移要在右眼图像上叠加的服务组件。当视差数据具有负值时,向左偏移要在右眼图像上叠加的服务组件。
“Select_view_shift=11”指示出在相反方向中水平地偏移要在左眼图像上叠加的服务组件和要在右眼图像上叠加的服务组件。当视差数据具有正偶数值时,将要在左眼图像上叠加的服务组件向右偏移由视差数据/2给出的数量,而当视差数据具有负偶数值时,将要在左眼图像上叠加的服务组件向左偏移由视差数据/2给出的数量。当视差数据具有正偶数值时,将要在右眼图像上叠加的服务组件向左偏移由视差数据/2给出的数量,而当视差数据具有负偶数值时,将要在右眼图像上叠加的服务组件向右偏移由视差数据/2给出的数量。
当视差数据具有正奇数值时,将要在左眼图像上叠加的服务组件向右偏移由视差数据+1/2给出的数量,而当视差数据具有负奇数值时,将要在左眼图像上叠加的服务组件向左偏移由视差数据+1/2给出的数量。当视差数据具有正奇数值时,将要在右眼图像上叠加的服务组件向左偏移由视差数据-1/2给出的数量,而当视差数据具有负奇数值时,将要在右眼图像上叠加的服务组件向右偏移由视差数据-1/2给出的数量。
“Frame_count”指示出在显示集中包括的帧的数目。“Disparity_value”是指示出视差数据的值的八比特数据,并且取值-128到+127。当此数据具有正值时,3D显示的深度比屏幕更远。当此数据具有负值时,3D显示的深度比屏幕更近。
在由“disparity_sequence_id”标识的“disparity_data_set”中包括由“frame_count”指示的帧数目的“disparity_value”的值。换言之,由“disparity_sequence_id”指示的视差序列是由“frame_count”所指示的帧数目的“disparity_value”的值构成的视差序列。
【发送数据生成单元的操作】
现在,将简要地描述图2所示的发送数据生成单元110的操作。向视频编码器112供应从数据提取器111输出的关于某一节目的立体(3D)图像数据。视频编码器112对该图像数据执行诸如MPEG4-AVC或MPEG2之类的编码,以生成包括了编码后的视频数据的视频基本流。向多路复用器117供应该视频基本流。
当按照以上方式而从数据提取器111输出关于某一节目的立体图像数据并且在数据记录介质111a上记录与该立体图像数据对应的视差数据时,还从数据提取器111输出该视差数据。例如,该视差数据是用于每个节目的视差数据、通用视差数据、或专用视差数据(本实施例中的字幕视差数据),如上所述。
关于每个页面中的每个区段的视差数据与关于某一节目的立体图像数据相关联地、以显示集为单位而存在于专用视差数据中。对于每个区段来设置在包括了用于构成显示集的某一数目的帧的帧时段中共同使用的一条视差数据,或者对于每个区段来设置在包括了某一数目的帧的帧时段中依次更新的多条视差数据。每个视差数据可以单独存在或者可以被复制。
当从数据提取器111输出的视差数据是用于每个节目的视差数据时,向多路复用器117供应该视差数据。当从数据提取器111输出的视差数据是通用视差数据时,向视差数据编码器113供应该视差数据。
当从数据提取器111输出的视差数据是专用视差数据并且对于每个区段来设置在包括了某一数目的帧的帧时段中共同使用的一条视差数据时,向字幕编码器116供应该视差数据。当从数据提取器111输出的视差数据是专用视差数据并且对于每个区段来设置在包括了某一数目的帧的帧时段中依次更新的多条视差数据时,向视差数据编码器113供应该视差数据。
视差数据编码器113对该视差数据执行某一编码,以生成包括了编码后的数据的视差基本流(参考图17到19)。向多路复用器117供应该视差基本流。当通用视差数据和专用视差数据(在包括了某一数目的帧的帧时段中依次更新的多条视差数据)两者都存在时,例如可以基于“disparity_sequence_id”来区分各条视差数据。
当从数据提取器111输出关于某一节目的立体图像数据时,还从数据提取器111输出与该图像数据对应的音频数据。向音频编码器114供应该音频数据。音频编码器114对该音频数据执行诸如MPEG-2音频AAC之类的编码,以生成包括了编码后的音频数据的音频基本流。向多路复用器117供应该音频基本流。
字幕发生器115对于从数据提取器111输出的图像数据来生成要在图像(视图)上叠加的字幕数据。向字幕编码器116供应该字幕数据。字幕编码器116对该字幕数据执行某一编码,以生成包括了编码后的数据的字幕基本流。向多路复用器117供应该字幕基本流。
在字幕数据中包括具有与字幕视差数据有关的各种信息的3D片段(3DS)(参考图15和16),作为关于每个显示集的数据。字幕编码器116在3D片段中合并字幕视差数据(每个区段中的在包括了某一数目的帧的帧时段中共同使用的一条视差数据),作为“disparity_value”中的信息。在此情况下,例如将“disparity_static_supply”的值设置为指示出供应了用于每个区段/显示集的固定视差数据的一个值。
当按照以上方式而从数据提取器111输出专用视差数据(在包括了某一数目的帧的帧时段中依次更新的多条视差数据)时,例如将“disparity_sequence_supply”的值设置为指示出以区段/显示集为单位来供应用于指示视差数据的值随时间的变化的视差序列的一个值。“Disparity_sequence_id”是用于指定视差流上的特定视差序列的标识符,该特定视差序列指示出每个区段/显示集的视差数据的值随时间的变化。
多路复用器117对从相应编码器供应的基本流进行分组化,以用于多路复用,从而生成传送流TS。在该传送流TS中合并立体描述符(stereoscopic_descriptor)(参考图5和6)。当必要时,还在该传送流TS中合并视差链路描述符(disparity_link_descriptor)(参考图7和8)。在EIT中合并这些描述符(参考图4)。
当从数据提取器111输出用于每个节目的视差数据时,例如将立体描述符中的“event_disparity_supply”的值设置为指示出供应了用于每个节目的视差数据的一个值。在立体描述符中合并用于每个节目的视差数据,作为“disparity_value”中的信息。当从数据提取器111输出通用视差数据和字幕视差数据中的至少一个时,例如将立体描述符中的“detailed_disparity_supply”的值设置为一。在此情况下,在传送流TS中合并视差链路描述符(disparity_link_descriptor)。
当从数据提取器111输出通用视差数据时,例如将视差链路描述符中的“general_use_disparity_flag”中的标志数据设置为指示出供应了通用视差数据的一个值。当从数据提取器111输出字幕视差数据时,例如将视差链路描述符中的“subtitle_disparity_flag”中的标志数据设置为指示出供应了字幕视差数据的一个值。
【接收机设备的示例配置】
图20是示出了接收机设备200的配置的示例的框图。参考图20,接收机设备200包括天线端子201、数字调谐器202、解多路复用器203、视频解码器204、3D信号处理器205。接收机设备200还包括字幕解码器206、字幕发生器207、视差数据解码器208、元数据处理器209、视差数据输出单元210、和OSD数据发生器211。接收机设备200还包括叠加器单元212、显示单元213、音频解码器214、音频处理器电路215、音频放大器电路216、和扬声器217。
天线端子201是通过其来将利用接收天线(未示出)接收到的电视广播信号输入到接收机设备200中的端子。数字调谐器202处理通过天线端子201输入的电视广播信号,以输出与由用户选择的频道对应的某一传送流(比特流数据)TS(参考图3)。解多路复用器203从由数字调谐器202供应的传送流TS中提取视频基本流、音频基本流、字幕基本流、和视差基本流。解多路复用器203还从该传送流TS中提取包括了EIT和PMT的表格。
视频解码器204执行与如上所述的、发送数据生成单元110中的视频编码器112中的处理相反的处理。具体地,视频解码器204对在由解多路复用器203提取的视频基本流中包括的编码图像数据执行解码,以获取解码后的立体图像数据。3D信号处理器205对在视频解码器204中获取的立体图像数据执行与3D格式对应的处理,以生成左眼图像数据SL和右眼图像数据SR。
字幕解码器206执行与如上所述的、发送数据生成单元110中的字幕编码器116中的处理相反的处理。具体地,字幕解码器206对在由解多路复用器203提取的字幕基本流中包括的编码字幕数据执行解码,以获取解码后的字幕数据。
字幕解码器206获取与在3D片段(3DS)中包括的字幕视差数据有关的各种信息。例如,字幕解码器206从3D片段中获取指示出是否供应了用于每个区段/显示集的固定视差数据的“disparity_static_supply”中的信息。例如,字幕解码器206从3D片段中获取指示出是否供应了用于每个区段/显示集的视差序列的“disparity_sequence_supply”中的信息。
当发送专用视差数据(用于每个区段的在包括了某一数目的帧的帧时段中共同使用的一条视差数据)时,字幕解码器206还获取专用视差数据,这是因为在3D片段中包括专用视差数据。字幕发生器207基于由字幕解码器206获取的字幕数据来生成要在图像上叠加的字幕显示数据。
视差数据解码器208执行与如上所述的、发送数据生成单元110中的视差数据编码器113中的处理相反的处理。具体地,视差数据解码器208对在由解多路复用器203提取的视差基本流中包括的编码视差数据执行解码,以获取解码后的视差数据。只有当发送了通用视差数据和专用视差数据(在包括了某一数目的帧的帧时段中依次更新的多条视差数据)中的任一个、或者其两者时,视差数据解码器208才获取视差数据。
元数据处理器209处理在从解多路复用器203供应的EIT中合并的立体描述符(参考图5和6)和视差链路描述符(参考图7和8),以获取与视差数据有关的各种信息。例如,元数据处理器209从立体描述符中获取指示出是否发送了用于每个节目的视差数据的“event_disparity_supply”中的信息。元数据处理器209从立体描述符中获取指示出发送了详细视差数据的“detailed_disparity_supply”中的信息。当发送了用于每个节目的标识信息时,元数据处理器209还获取用于每个节目的标识信息,这是因为在立体描述符中包括用于每个节目的标识信息。
另外,例如,元数据处理器209从视差链路描述符中获取指示出是否发送了通用视差数据的“general_use_disparity_flag”中的信息。元数据处理器209从视差链路描述符中获取指示出是否发送了字幕视差数据的“subtitle_disparity_flag”中的信息。元数据处理器209从视差链路描述符中获取“disparity_component”中的信息。“disparity_component”中的信息指示出用于指示包括了视差数据的视差流的组件标签(component_tag)的值。可以基于组件标签的值来获取视差流的分组标识(PID)。
视差数据输出单元210基于来自视差数据解码器208的视差数据、来自字幕解码器206的与视差数据有关的各种信息、和来自元数据处理器209的与视差数据有关的各种信息来确定要使用的视差数据,以输出所确定的视差数据。
图21是示出了当叠加信息是OSD图像时、由视差数据输出单元210执行的处理的示例的流程图。参考图21,在步骤ST1中,视差数据输出单元210开始该处理。在步骤ST2中,视差数据输出单元210参考立体描述符中“detailed_disparity_supply”中的信息,以确定是否发送了详细视差数据。
如果“detailed_disparity_supply=1”并且视差数据输出单元210确定出发送了详细视差数据,则该处理转到步骤ST3。在步骤ST3中,视差数据输出单元210参考视差链路描述符中“general_use_disparity_flag”中的信息,以确定是否发送了通用视差数据。如果“general_use_disparity_flag=1”并且视差数据输出单元210确定出发送了通用视差数据,则该处理转到步骤ST4。在步骤ST4中,视差数据输出单元210将在视差数据解码器208中从视差流中获取的通用视差数据确定为要使用的视差数据,并且输出所确定的视差数据。
如果在步骤ST2中“detailed_disparity_supply=0”并且视差数据输出单元210确定出没有发送详细视差数据,则该处理转到步骤ST5。如果在步骤ST3中“general_use_disparity_flag=0”并且视差数据输出单元210确定出没有发送通用视差数据,则该处理转到步骤ST5。在步骤ST5中,视差数据输出单元210参考立体描述符中“event_disparity_supply”中的信息,以确定是否发送了用于每个节目的视差数据。
如果“event_disparity_supply=1”并且视差数据输出单元210确定出发送了用于每个节目的视差数据,则该处理转到步骤ST6。在步骤ST6中,视差数据输出单元210将在元数据处理器209中从立体描述符中获取的用于每个节目的视差数据(disparity_value)确定为要使用的视差数据,并且输出所确定的视差数据。如果“event_disparity_supply=0”并且视差数据输出单元210确定出没有发送用于每个节目的视差数据,则该处理转到步骤ST7。在步骤ST7中,视差数据输出单元210将在接收机设备200中事先准备的视差数据确定为要使用的视差数据,并且输出所确定的视差数据。
图22是示出了当叠加信息是字幕时、由视差数据输出单元210执行的处理的示例的流程图。参考图22,在步骤ST11中,视差数据输出单元210开始该处理。在步骤ST12中,视差数据输出单元210参考立体描述符中“detailed_disparity_supply”中的信息,以确定是否发送了详细视差数据。
如果“detailed_disparity_supply=1”并且视差数据输出单元210确定出发送了详细视差数据,则该处理转到步骤ST13。在步骤ST13中,视差数据输出单元210参考视差链路描述符中“subtitle_disparity_flag”中的信息,以确定是否发送了字幕视差数据。如果“subtitle_disparity_flag=1”并且视差数据输出单元210确定出发送了字幕视差数据,则该处理转到步骤ST14。
在步骤ST14中,视差数据输出单元210参考从3D片段(3DS)中获取的“disparity_static_supply”和“disparity_sequence_supply”中的信息,以进行确定。如果“disparity_sequence_supply=1”并且视差数据输出单元210确定出供应了用于每个区段/显示集的视差序列,则该处理转到步骤ST15。在步骤ST15中,视差数据输出单元210将在视差数据解码器208中从视差流中获取的用于每个区段/显示集的视差序列确定为要使用的视差数据,并且输出所确定的视差数据。
如果“disparity_static_supply=1”且“disparity_sequence_supply=0”并且视差数据输出单元210确定出仅仅供应了用于每个区段/显示集的固定视差数据,则该处理转到步骤ST16。在步骤ST16中,视差数据输出单元210将在字幕解码器206中获取的用于每个区段/显示集的固定视差数据确定为要使用的视差数据,并且输出所确定的视差数据。
如果在步骤ST12中“detailed_disparity_supply=0”并且视差数据输出单元210确定出没有发送详细视差数据,则该处理转到步骤ST17。如果在步骤ST13中“subtitle_disparity_flag=0”并且视差数据输出单元210确定出没有发送字幕视差数据,则该处理转到步骤ST17。如果在步骤ST14中“disparity_static_supply=0”且“disparity_sequence_supply=0”并且视差数据输出单元210确定出既没有发送用于每个区段/显示集的固定视差数据、也没有发送用于每个区段/显示集的视差序列,则该处理转到步骤ST17。
在步骤ST17中,视差数据输出单元210参考立体描述符中“event_disparity_supply”中的信息,以确定是否发送了用于每个节目的视差数据。如果“event_disparity_supply=1”并且视差数据输出单元210确定出发送了用于每个节目的视差数据,则该处理转到步骤ST18。在步骤ST18中,视差数据输出单元210将在元数据处理器209中从立体描述符中获取的用于每个节目的视差数据(disparity_value)确定为要使用的视差数据,并且输出所确定的视差数据。如果在步骤ST17中“event_disparity_supply=0”并且视差数据输出单元210确定出没有供应用于每个节目的视差数据,则该处理转到步骤ST19。在步骤ST19中,视差数据输出单元210将在接收机设备200中事先准备的视差数据确定为要使用的视差数据,并且输出所确定的视差数据。
返回参考图20,叠加器单元212将字幕显示数据和OSD数据叠加于在3D信号处理器205中获取的左眼图像数据和右眼图像数据上。在此情况下,叠加器单元212基于从视差数据输出单元210供应的视差数据来对在左眼图像和右眼图像上显示的叠加信息(字幕和/或OSD图像)执行偏移处理,以添加视差。
图23示出了叠加器单元212的配置的示例。参考图23,叠加器单元212包括L视频平面301、R视频平面302、切换单元303、字幕平面304、OSD平面305、偏移单元306、偏移单元307和叠加器308。
L视频平面301临时地存储从3D信号处理器205供应的左眼图像数据。R视频平面302临时地存储从3D信号处理器205供应的右眼图像数据。切换单元303交替地从L视频平面301中提取图像数据和从R视频平面302中提取图像数据,并且输出所提取的图像数据。换言之,切换单元303交替地输出左眼图像数据和右眼图像数据。
字幕平面304临时地存储在字幕发生器207中生成的字幕显示数据。偏移单元306从字幕平面304中提取字幕显示数据,并且基于从视差数据输出单元210供应的视差数据来对字幕显示数据执行偏移处理。此处理对要在左眼图像和右眼图像上叠加的字幕给出了水平偏移,以添加视差。偏移单元306与来自切换单元303的左眼图像数据和右眼图像数据的输出同步地输出要在左眼图像数据和右眼图像数据上叠加的字幕显示数据。
在此情况下,当从视差数据输出单元210供应的视差数据是用于每个显示集的视差序列时,将对于用于每个显示集的每个帧依次变化的视差添加到每个区段。当从视差数据输出单元210供应的视差数据是用于每个显示集的固定视差数据时,将对于每个显示集固定的视差添加到每个区段。
当从视差数据输出单元210供应的视差数据是用于每个节目的视差数据时,将对于每个节目固定的视差添加到每个区段。当从视差数据输出单元210供应的视差数据是在接收机设备200中事先准备的视差数据时,添加根据该视差数据产生的视差。
OSD平面305临时地存储在OSD数据发生器211中生成的OSD数据。偏移单元307从OSD平面305中提取OSD数据,并且基于从视差数据输出单元210供应的视差数据来对OSD数据执行偏移处理。此处理对要在左眼图像和右眼图像上叠加的OSD图像给出了水平偏移,以添加视差。偏移单元307与来自切换单元303的左眼图像数据和右眼图像数据的输出同步地输出要在左眼图像数据和右眼图像数据上叠加的OSD数据。
例如,当从视差数据输出单元210供应的视差数据是通用视差数据时,基于该视差数据来添加与显示每个OSD图像的位置对应的视差。当从视差数据输出单元210供应的视差数据是用于每个节目的视差数据时,将对于每个节目固定的视差添加到每个OSD图像。当从视差数据输出单元210供应的视差数据是在接收机设备200中事先准备的视差数据时,将根据该视差数据产生的视差添加到每个OSD图像。
叠加器308将从偏移单元306供应的字幕显示数据和从偏移单元307供应的OSD数据叠加在从切换单元303供应的左眼图像数据和右眼图像数据上。叠加器308交替地输出其上叠加有字幕和/或OSD图像的左眼图像数据SL′和其上叠加有字幕和/或OSD图像的右眼图像数据SR′。
返回参考图20,显示单元213例如是液晶显示面板或等离子显示器。显示单元213交替地显示从叠加器单元212供应的、根据左眼图像数据SL′生成的图像和根据右眼图像数据SR′生成的图像。例如,由他/她左眼和右眼上佩戴有快门眼镜(未示出)的观众来感知在显示单元213中这样显示的左眼图像和右眼图像,以呈现立体图像。
音频解码器214执行与如上所述的、发送数据生成单元110中的音频编码器114中的处理相反的处理。具体地,音频解码器214对在于解多路复用器203中提取的音频基本流中包括的编码音频数据执行解码,以获取解码后的音频数据。音频处理器电路215对由音频解码器214获取的音频数据执行诸如数模(D/A)转换之类的必要处理。音频放大器电路216对从音频处理器电路215供应的音频信号进行放大,并向扬声器217供应放大后的音频信号。
【接收机设备的操作】
现在,将简要地描述图20所示的接收机设备200的操作。向数字调谐器202供应通过天线端子201输入的电视广播信号。数字调谐器202处理该电视广播信号,以输出与由用户选择的频道对应的传送流TS。向解多路复用器203供应该传送流TS。解多路复用器203从该传送流TS中提取视频基本流、字幕基本流、视差基本流、和音频基本流。解多路复用器203还从该传送流TS中提取包括了EIT和PIT的表格。
向视频解码器204供应在解多路复用器203中提取的视频基本流。视频解码器204对在该视频基本流中包括的编码图像数据执行解码,以获取解码后的立体图像数据。向3D信号处理器205供应该立体图像数据。3D信号处理器205对该立体图像数据执行与3D格式对应的处理,以生成左眼图像数据SL和右眼图像数据SR。向叠加器单元212供应该左眼图像数据SL和该右眼图像数据SR。
向字幕解码器206供应在解多路复用器203中提取的字幕基本流。字幕解码器206对在该字幕基本流中包括的编码字幕数据执行解码,以获取解码后的字幕数据。向字幕发生器207供应该字幕数据。字幕发生器207基于该字幕数据来生成要在图像上叠加的字幕显示数据。向叠加器单元212供应该字幕显示数据。
另外,字幕解码器206获取与在3D片段(3DS)中包括的字幕视差数据有关的各种信息。向视差数据输出单元210供应此信息。例如,字幕解码器206从3D片段中获取指示出是否供应了用于每个区段/显示集的固定视差数据的“disparity_static_supply”中的信息。字幕解码器206从3D片段中获取“disparity_sequence_supply”中的信息。此信息指示出是否供应了用于每个区段/显示集的视差序列,如上所述。
向视差数据解码器208供应在解多路复用器203中提取的视差基本流。视差数据解码器208对在该视差基本流中包括的编码视差数据执行解码,以获取解码后的视差数据。只有当发送了通用视差数据和专用视差数据(在包括了某一数目的帧的帧时段中依次更新的多条视差数据)中的任一个、或者其两者时,视差数据解码器208才获取视差数据。向视差数据输出单元210供应该视差数据。
元数据处理器209处理在从解多路复用器203供应的EIT中合并的立体描述符(参考图5和6)和视差链路描述符(参考图7和8),以获取与视差数据有关的各种信息。例如,元数据处理器209从立体描述符中获取指示出是否发送了用于每个节目的视差数据的“event_disparity_supply”中的信息。元数据处理器209从立体描述符中获取指示出发送了详细视差数据的“detailed_disparity_supply”中的信息。当发送了用于每个节目的标识信息时,元数据处理器209还获取用于每个节目的标识信息,这是因为在立体描述符中包括用于每个节目的标识信息。
另外,例如,元数据处理器209从视差链路描述符中获取指示出是否发送了通用视差数据的“general_use_disparity_flag”中的信息。元数据处理器209从视差链路描述符中获取指示出是否发送了字幕视差数据的“subtitle_disparity_flag”中的信息。元数据处理器209从视差链路描述符中获取“disparity_component”中的信息。“disparity_component”中的信息指示出用于指示包括了视差数据的视差流的组件标签(component_tag)的值。可以基于组件标签的值来获取视差流的分组标识(PID)。向视差数据输出单元210供应在元数据处理器209中获取的各种信息。
视差数据输出单元210基于来自视差数据解码器208的视差数据、来自字幕解码器206的与视差数据有关的各种信息、和来自元数据处理器209的与视差数据有关的各种信息来确定要使用的视差数据,以输出所确定的视差数据。
例如,当叠加信息是OSD图像时,输出以下视差数据。具体地,当发送了通用视差数据时,将该通用视差数据确定为要使用的视差数据,并且进行输出。当不是发送通用视差数据、而是发送用于每个节目的视差数据时,将该用于每个节目的视差数据确定为要使用的视差数据,并且进行输出。当既没有发送通用视差数据、也没有发送用于每个节目的视差数据时,将在接收机设备200中事先准备的视差数据确定为要使用的视差数据,并且进行输出。
例如,当叠加信息是字幕时,输出以下视差数据。具体地,当发送了用于每个区段/显示集的视差序列时,将该用于每个区段/显示集的视差序列确定为要使用的视差数据,并且进行输出。当不是发送该视差序列、而是发送用于每个区段/显示集的固定视差数据时,将该固定视差数据确定为要使用的视差数据,并且进行输出。
当不是发送用于每个区段/显示集的视差数据、而是发送用于每个节目的视差数据时,将该用于每个节目的视差数据确定为要使用的视差数据,并且进行输出。当既没有发送用于每个区段/显示集的视差数据、也没有发送用于每个节目的视差数据时,将在接收机设备200中事先准备的视差数据确定为要使用的视差数据,并且进行输出。
向叠加器单元212供应在视差数据输出单元210中这样确定的且从视差数据输出单元210输出的视差数据。叠加器单元212将在字幕发生器207中生成的字幕显示数据和/或在OSD数据发生器211中生成的OSD数据叠加在于信号处理器205中获取的左眼图像数据和右眼图像数据上。在此情况下,叠加器单元212基于从视差数据输出单元210供应的视差数据来对在左眼图像和左右图像上显示的叠加信息(字幕和/或OSD图像)执行偏移处理,以添加视差。
从叠加器单元212交替地输出其上叠加有字幕和/或OSD图像的左眼图像数据SL′和其上叠加有字幕和/或OSD图像的右眼图像数据SR′。向显示单元213供应该左眼图像数据SL′和该右眼图像数据SR′。显示单元213交替地显示根据该左眼图像数据SL′生成的图像和根据该右眼图像数据SR′生成的图像。由他/她左眼和右眼上佩戴有快门眼镜(未示出)的观众来感知在显示单元213中这样显示的左眼图像和右眼图像,并且该观众识别出立体图像。
在此情况下,基于视差数据来将视差添加到要在左眼图像和右眼图像上叠加的叠加信息(字幕和/或OSD图像),如上所述。相应地,位于比图像的最近位置更近位置处的观众识别出叠加信息。叠加信息的深度由所使用的视差数据来确定。
图24示出了如何三维地显示字幕的示例。在此示例中,发送了用于每个区段/显示集的视差序列,并且基于该视差序列来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图24的示例中,在某一页面(页面(Page)ID=P1)中,在区段(区段(Region)ID=R1)中显示字幕“字幕(Subtitle)1”,并且在区段(区段ID=R2)中显示字幕“字幕2”。该区段(区段ID=R1)显示在显示集T1到T2中的位置(X1,Y1,X2,Y2)处,并且具有显示文本“字幕1”。该区段(区段ID=R2)显示在显示集T1到T2中的位置(X3,Y3,X4,Y4)处,并且具有显示文本“字幕2”。
在图24的示例中,参考在视差流中包括的“disparity_sequence_id=DS1”中的视差序列,以便将视差添加到字幕“字幕1”。此视差序列包括与显示集中的时间T10、T11、T12、...、T1n对应的各条视差数据D10、D11、D12、...、D1n。
在图24的示例中,参考在视差流中包括的“disparity_sequence_id=S2”中的视差序列,以便将视差添加到字幕“字幕2”。此视差序列包括与显示集中的时间T10、T11、T12、...、T1n对应的各条视差数据D20、D21、D22、...、D2n。
在图24的示例中,基于“disparity_sequence_id=S1”和“disparity_sequence_id=DS2”中的视差序列来将视差添加到要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。在此情况下,将随着显示集中图像内容的变化而不断变化的视差添加到字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度随着显示集中图像内容的变化而不断变化。
图25示出了如何三维地显示字幕的另一示例。在此示例中,发送了用于每个区段/显示集的固定视差数据,并且基于该固定视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图25的示例中,在某一页面(页面ID=P1)中,在区段(区段ID=R1)中显示字幕“字幕1”,并且在区段(区段ID=R2)中显示字幕“字幕2”。该区段(区段ID=R1)显示在显示集T1到T2中的位置(X1,Y1,X2,Y2)处,并且具有显示文本“字幕1”。该区段(区段ID=R2)显示在显示集T1到T2中的位置(X3,Y3,X4,Y4)处,并且具有显示文本“字幕2”。
在图25的示例中,使用在字幕流中包括的固定视差数据(fixed_disparity=D1),以便将视差添加到字幕“字幕1”。在图25的示例中,使用在字幕流中包括的固定视差数据(fixed_disparity=D2),以便将视差添加到字幕“字幕2”。
在图25的示例中,基于固定视差数据(fixed_disparity=D1,D2)来将固定视差添加到显示集中的要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度在显示集中是恒定的。
图26示出了如何三维地显示字幕的另一示例。在此示例中,发送了用于每个区段/显示集的视差序列,并且基于该视差序列来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图26的示例中,在第一显示集的第一区段中显示字幕“字幕1”,并且在第二显示集的第二区段中显示字幕“字幕2”。参考在视差流中包括的、用于将视差添加到字幕“字幕1”的视差,以便将视差添加到字幕“字幕1”。参考在视差流中包括的、用于将视差添加到字幕“字幕2”的视差,以便将视差添加到字幕“字幕2”。
在图26的示例中,基于所述视差序列来将随着相应显示集中图像内容的变化而不断变化的视差添加到第一显示集和第二显示集中的要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度随着对应显示集中图像内容的变化而不断变化。
图27示出了如何三维地显示字幕的另一示例。在此示例中,发送了用于每个区段/显示集的固定视差数据,并且基于该固定视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图27的示例中,在第一显示集的第一区段中显示字幕“字幕1”,并且在第二显示集的第二区段中显示字幕“字幕2”。使用在字幕流中包括的、用于将视差添加到字幕“字幕1”的固定视差数据,以便将视差添加到字幕“字幕1”。使用在字幕流中包括的、用于将视差添加到字幕“字幕2”的固定视差数据,以便将视差添加到字幕“字幕2”。
在图27的示例中,基于相应的各条固定视差数据来将固定视差添加到第一显示集和第二显示集中的要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度在对应显示集中是恒定的。
图28示出了如何三维地显示字幕的另一示例。在此示例中,发送了用于每个节目的视差数据,并且基于该用于每个节目的视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图28的示例中,在节目中的第一显示集的第一区段中显示字幕“字幕1”,并且在该节目中的第二显示集的第二区段中显示字幕“字幕2”。使用在EIT的立体描述符(stereoscopic_descriptor)中包括的用于每个节目的视差数据(D1),以便将视差添加到字幕“字幕1”和“字幕2”。
在图28的示例中,基于用于每个节目的视差数据(D1)来将固定视差添加到节目中的要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度在节目中是恒定的。
图29示出了如何三维地显示字幕的另一示例。在此示例中,没有发送视差数据,并且基于在接收机设备200中事先准备的视差数据来将视差添加到要在左眼图像和右眼图像上叠加的字幕。
在图29的示例中,在节目中的第一显示集的第一区段中显示字幕“字幕1”,并且在该节目中的第二显示集的第二区段中显示字幕“字幕2”。使用在接收机设备200中事先准备的视差数据,以便将视差添加到字幕“字幕1”和“字幕2”。
例如,在图29的示例中,基于在接收机设备200中事先准备的视差数据来将固定视差添加到节目中的要在左眼图像和右眼图像上叠加的字幕“字幕1”和“字幕2”。相应地,由观众识别出的字幕“字幕1”和“字幕2”中每一个的深度在节目中是恒定的。
返回参考图20,向音频解码器214供应在解多路复用器203中提取的音频基本流。音频解码器214对在该音频基本流中包括的编码音频数据执行解码,以获取解码后的音频数据。向音频处理器电路215供应该音频数据。音频处理器电路215对该音频数据执行诸如D/A转换之类的必要处理。在音频放大器电路216对经受了该处理的音频数据进行放大,并且向扬声器217供应放大后的音频数据。扬声器217输出与在显示单元213中显示的图像对应的音频。
如上所述,在图1所示的立体图像发送-接收系统10中,广播站100中的发送数据生成单元110(参考图2)在包括了关于某一节目的立体图像数据的传送流TS中合并了指示出是否发送了视差数据的标识信息。相应地,可能改善由3D视频内容供应商发送视差数据的灵活性。换言之,可能选择性地发送用于每个节目的视差数据、通用视差数据、字幕视差数据等等,作为视差数据。另外,也可以选择不发送视差数据。
在图1所示的立体图像发送-接收系统10中,接收机设备200(参考图20)获取在传送流TS中合并的、指示出是否发送了视差数据的标识信息。基于该标识信息来将基于某一视差数据(诸如,用于每个节目的视差数据、通用视差数据、和字幕视差数据)的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息(字幕和/或OSD图像)。相应地,可能以3D视频内容供应商所意欲的深度来在立体图像上显示诸如字幕和/或OSD图像之类的叠加信息。
<修改例>
在以上实施例中,在EIT中合并了立体描述符(stereoscopic_descriptor)和视差链路描述符(disparity_link_descriptor)。然而,合并这些描述符的位置不限于EIT。例如,可以将立体描述符合并在EIT中,并且可以将视差链路描述符合并在PMT中。也可以立体描述符和视差链路描述符两者都合并在PMT中。交替地,也可以将这些描述符合并在另一位置中。
在以上实施例中,如参考图21和22中的流程图所描述的,接收机设备200基于所发送的视差数据的类型来自动地确定要使用的视差数据。然而,可以响应于用户的操作来任意地确定要使用的视差数据。
尽管在以上实施例中将字幕用作特定叠加信息,但是可以按照相同的方式来使用诸如隐藏字幕之类的另一叠加信息。在以上实施例中从广播站100广播包括了立体图像数据的传送流TS。然而,本发明可应用于其中在诸如因特网之类的网络上向接收终端发送传送流TS的系统。
本申请包含与在2010年5月10日向日本专利局提交的日本优先权专利申请JP 2010-108817中公开的主题相关的主题,由此通过引用而并入其全部内容。
本领域技术人员应该理解,只要各种修改、组合、子组合和替换处于所附权利要求或其等效物的范围内,它们就可以取决于设计要求和其他因素而发生。
Claims (20)
1.一种发送立体图像数据的设备,包括:
图像数据输出单元,被配置为输出关于某一节目的、包括了左眼图像数据和右眼图像数据的立体图像数据;以及
图像数据发送单元,被配置为发送包括了从该图像数据输出单元输出的关于某一节目的立体图像数据的传送流,
其中,该图像数据发送单元在该传送流中合并指示出是否发送了视差数据的标识信息,该视差数据用于将视差添加到要在根据该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。
2.根据权利要求1的发送立体图像数据的设备,
其中该标识信息指示出是否发送了用于每个节目的视差数据。
3.根据权利要求2的发送立体图像数据的设备,
其中,当该标识信息指示出发送了用于每个节目的视差数据时,该图像数据发送单元还在该传送流中合并用于每个节目的视差数据。
4.根据权利要求3的发送立体图像数据的设备,
其中该图像数据发送单元在该传送流中合并该标识信息和该视差数据,作为用于每个节目的元数据。
5.根据权利要求4的发送立体图像数据的设备,
其中该传送流包括用作用于以节目为单位进行管理的服务信息的事件信息表,并且
其中该图像数据发送单元在该事件信息表中合并该标识信息和该视差数据。
6.根据权利要求1的发送立体图像数据的设备,
其中该标识信息指示出是否发送了通用视差数据。
7.根据权利要求6的发送立体图像数据的设备,
其中,当该标识信息指示出发送了通用视差数据时,该图像数据发送单元还在该传送流中合并包括了通用视差数据的视差基本流,并且与指示出发送了通用视差数据的标识信息相关联地,在该传送流中合并用于标识该视差基本流的标识信息。
8.根据权利要求1的发送立体图像数据的设备,
其中该标识信息指示出是否发送了用于特定叠加信息的视差数据。
9.根据权利要求8的发送立体图像数据的设备,
其中,当该标识信息指示出发送了用于特定叠加信息的视差数据时,该图像数据发送单元还在该传送流中合并固定-变化信息,该固定-变化信息指示出发送在其中显示出特定叠加信息的包括了某一数目的帧的帧时段中共同使用的视差数据、和发送在包括了某一数目的帧的帧时段中依次更新的视差数据中的任一项或者其两者。
10.根据权利要求9的发送立体图像数据的设备,
其中该图像数据发送单元在该传送流中合并包括了关于特定叠加信息的数据的叠加信息基本流,并且
其中对于每条叠加信息在叠加信息基本流中合并该固定-变化信息。
11.根据权利要求10的发送立体图像数据的设备,
其中,当该固定-变化信息指示出发送在包括了某一数目的帧的帧时段中共同使用的视差数据时,该图像数据发送单元与该固定-变化信息相关联地,对于每条叠加信息来在叠加信息基本流中合并在包括了某一数目的帧的帧时段中共同使用的视差数据。
12.根据权利要求10的发送立体图像数据的设备,
其中,该固定-变化信息指示出发送在其中显示出特定叠加信息的包括了某一数目的帧的帧时段中依次更新的视差数据时,该图像数据发送单元在该传送流中合并其中利用标识信息来区分用于每条叠加信息的视差序列的叠加信息基本流,并且根据该固定-变化信息对于每条叠加信息来在叠加信息基本流中合并用于指定视差基本流中的对应视差序列的标识信息。
13.一种发送立体图像数据的方法,包括以下步骤:
依次地输出关于每个节目的立体图像数据,该立体图像数据包括左眼图像数据和右眼图像数据;以及
发送传送流,该传送流包括在该图像数据输出步骤中依次输出的关于每个节目的立体图像数据,
其中,该图像数据发送步骤在该传送流中合并指示出是否发送了视差数据的标识信息,该视差数据用于将视差添加到要在从该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息。
14.一种接收立体图像数据的设备,包括:
图像数据接收单元,被配置为接收传送流,在该传送流中包括了关于某一节目的、包括左眼图像数据和右眼图像数据的立体图像数据,并且在该传送流中合并了指示出是否发送了视差数据的标识信息,该视差数据用于将视差添加到要在从该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息;
图像数据获取单元,被配置为从由该图像数据接收单元接收到的传送流中获取立体图像数据;
标识信息获取单元,被配置为从由该图像数据接收单元接收到的传送流中获取标识信息;以及
图像数据处理单元,被配置为基于由图像数据获取单元获取的立体图像数据和由标识信息获取单元获取的标识信息,将基于某一视差数据的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息,以获取其上叠加有叠加信息的左眼图像数据和其上叠加有叠加信息的右眼图像数据。
15.根据权利要求14的接收立体图像数据的设备,
其中该标识信息指示出是否发送了用于每个节目的视差数据。
16.根据权利要求14的接收立体图像数据的设备,
其中该标识信息指示出是否发送了通用视差数据。
17.根据权利要求14的接收立体图像数据的设备,
其中该标识信息指示出是否发送了用于特定叠加信息的视差数据。
18.根据权利要求14的接收立体图像数据的设备,
其中,当该标识信息指示出发送了视差数据时,该图像数据处理单元使用从传送流中获取的视差数据,作为该某一视差数据。
19.根据权利要求14的接收立体图像数据的设备,
其中,当该标识信息指示出没有发送视差数据时,该图像数据处理单元使用事先准备的视差数据,作为该某一视差数据。
20.一种接收立体图像数据的方法,包括以下步骤:
接收传送流,在该传送流中包括了关于某一节目的、包括左眼图像数据和右眼图像数据的立体图像数据,并且在该传送流中合并了指示出是否发送了视差数据的标识信息,该视差数据用于将视差添加到要在从该左眼图像数据和该右眼图像数据生成的图像上叠加的叠加信息;
从在该图像数据接收步骤中接收到的传送流中获取立体图像数据;
从在该图像数据接收步骤中接收到的传送流中获取标识信息;以及
基于在图像数据获取步骤中获取的立体图像数据和在标识信息获取步骤中获取的标识信息,将基于某一视差数据的视差添加到要在左眼图像和右眼图像上叠加的同一叠加信息,以获取其上叠加有叠加信息的左眼图像数据和其上叠加有叠加信息的右眼图像数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-108817 | 2010-05-10 | ||
JP2010108817A JP2011239169A (ja) | 2010-05-10 | 2010-05-10 | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102244795A true CN102244795A (zh) | 2011-11-16 |
Family
ID=44117673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101118859A Pending CN102244795A (zh) | 2010-05-10 | 2011-05-03 | 发送和接收立体图像数据的设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8767045B2 (zh) |
EP (1) | EP2387246A3 (zh) |
JP (1) | JP2011239169A (zh) |
CN (1) | CN102244795A (zh) |
TW (1) | TW201210315A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103597823A (zh) * | 2012-02-16 | 2014-02-19 | 索尼公司 | 发送装置、发送方法和接收器装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333746B (zh) * | 2009-02-12 | 2017-04-12 | Lg电子株式会社 | 广播接收机及其3d字幕数据处理方法 |
US9544569B2 (en) * | 2009-02-12 | 2017-01-10 | Lg Electronics Inc. | Broadcast receiver and 3D subtitle data processing method thereof |
JP4957831B2 (ja) * | 2009-08-18 | 2012-06-20 | ソニー株式会社 | 再生装置および再生方法、並びに記録装置および記録方法 |
US8730301B2 (en) * | 2010-03-12 | 2014-05-20 | Sony Corporation | Service linkage to caption disparity data transport |
WO2012160812A1 (ja) * | 2011-05-25 | 2012-11-29 | パナソニック株式会社 | 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路 |
JP5991596B2 (ja) * | 2011-06-01 | 2016-09-14 | パナソニックIpマネジメント株式会社 | 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路 |
KR20130011506A (ko) * | 2011-07-21 | 2013-01-30 | 삼성전자주식회사 | 3d 디스플레이 장치 및 컨텐츠 출력 방법 |
JP2013051660A (ja) * | 2011-08-04 | 2013-03-14 | Sony Corp | 送信装置、送信方法および受信装置 |
JPWO2013108531A1 (ja) * | 2012-01-19 | 2015-05-11 | ソニー株式会社 | 受信装置、受信方法および電子機器 |
JP6092525B2 (ja) * | 2012-05-14 | 2017-03-08 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置、情報処理システム、画像処理方法およびプログラム |
KR101966920B1 (ko) | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
US10432957B2 (en) | 2012-09-07 | 2019-10-01 | Saturn Licensing Llc | Transmission device, transmitting method, reception device, and receiving method |
US9762889B2 (en) * | 2013-05-08 | 2017-09-12 | Sony Corporation | Subtitle detection for stereoscopic video contents |
CN107852517A (zh) * | 2015-07-16 | 2018-03-27 | 索尼公司 | 传输装置、传输方法、接收装置和接收方法 |
CN105898274B (zh) * | 2016-04-13 | 2018-01-12 | 万云数码媒体有限公司 | 一种基于rgb压缩的2d加深度3d图像纵向存储方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4190357B2 (ja) | 2003-06-12 | 2008-12-03 | シャープ株式会社 | 放送データ送信装置、放送データ送信方法および放送データ受信装置 |
KR100603601B1 (ko) * | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
JP5065488B2 (ja) | 2008-06-26 | 2012-10-31 | パナソニック株式会社 | 再生装置、再生方法、再生プログラム |
KR20110053431A (ko) | 2008-07-25 | 2011-05-23 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 서브타이틀들의 3d 디스플레이 처리 |
JP2010108817A (ja) | 2008-10-31 | 2010-05-13 | Koito Mfg Co Ltd | 車両用反射鏡 |
WO2010064118A1 (en) * | 2008-12-01 | 2010-06-10 | Imax Corporation | Methods and systems for presenting three-dimensional motion pictures with content adaptive information |
CN104301705B (zh) * | 2009-02-01 | 2016-09-07 | Lg电子株式会社 | 广播接收机和三维视频数据处理方法 |
KR20110053160A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
-
2010
- 2010-05-10 JP JP2010108817A patent/JP2011239169A/ja not_active Withdrawn
-
2011
- 2011-04-21 US US13/066,689 patent/US8767045B2/en not_active Expired - Fee Related
- 2011-04-25 TW TW100114307A patent/TW201210315A/zh unknown
- 2011-05-03 CN CN2011101118859A patent/CN102244795A/zh active Pending
- 2011-05-03 EP EP11164541A patent/EP2387246A3/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103597823A (zh) * | 2012-02-16 | 2014-02-19 | 索尼公司 | 发送装置、发送方法和接收器装置 |
CN103597823B (zh) * | 2012-02-16 | 2017-11-03 | 索尼公司 | 发送装置、发送方法和接收器装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2387246A3 (en) | 2013-03-13 |
TW201210315A (en) | 2012-03-01 |
JP2011239169A (ja) | 2011-11-24 |
US20110273532A1 (en) | 2011-11-10 |
US8767045B2 (en) | 2014-07-01 |
EP2387246A2 (en) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102244795A (zh) | 发送和接收立体图像数据的设备和方法 | |
CN102835047B (zh) | 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备 | |
CN102918857B (zh) | 用于发送用于提供二维和三维内容的数字广播内容的方法和设备以及用于接收数字广播内容的方法和设备 | |
CN103026713A (zh) | 3d视频广播中的辅助数据 | |
JP2011234336A (ja) | 画像データ送信装置、画像データ送信方法および画像データ受信装置 | |
CN102474643A (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
KR20150035699A (ko) | 송신/수신 장치, 방법, 부호화/복호화 장치 | |
CN103416069A (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
CN103222270A (zh) | 发送设备、发送方法和接收设备 | |
CN103155574A (zh) | 发射机、传送方法和接收机 | |
CN103329545A (zh) | 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法 | |
CN103370942A (zh) | 发送设备、发送方法以及接收设备 | |
CN103168476A (zh) | 发送器、发送方法以及接收器 | |
WO2012105376A1 (ja) | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 | |
US20140232823A1 (en) | Transmission device, transmission method, reception device and reception method | |
CN103404153A (zh) | 发送装置、发送方法以及接收装置 | |
EP3407614B1 (en) | Method and apparatus for transmitting and receiving broadcast signal | |
CN103535045A (zh) | 用于传送立体视频信息的方法和设备 | |
JP5710895B2 (ja) | デジタルコンテンツ受信装置およびデジタルコンテンツ受信方法 | |
JP2011254277A (ja) | 受信装置、受信方法、および送受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20111116 |