[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013105401A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2013105401A1
WO2013105401A1 PCT/JP2012/082710 JP2012082710W WO2013105401A1 WO 2013105401 A1 WO2013105401 A1 WO 2013105401A1 JP 2012082710 W JP2012082710 W JP 2012082710W WO 2013105401 A1 WO2013105401 A1 WO 2013105401A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image data
graphics
disparity information
eye image
Prior art date
Application number
PCT/JP2012/082710
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/003,648 priority Critical patent/US20140078248A1/en
Priority to EP12865118.9A priority patent/EP2672713A4/en
Priority to CN2012800120799A priority patent/CN103416069A/zh
Publication of WO2013105401A1 publication Critical patent/WO2013105401A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device and the like that can satisfactorily perform superimposed display of graphics on a stereoscopic image.
  • Patent Document 1 proposes a transmission method using a television broadcast radio wave of stereoscopic image data.
  • left-eye image data and right-eye image data constituting a stereoscopic image are transmitted, and stereoscopic image display using binocular parallax is performed in the television receiver.
  • FIG. 35 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • object object
  • FIG. 35 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • the right and left lines of sight intersect on the screen surface. It becomes on the surface.
  • the left image Lc is shifted to the left side and the right image Rc is shifted to the right side, the right and left lines of sight intersect at the back of the screen surface.
  • the playback position is behind the screen.
  • the viewer recognizes the perspective of the stereoscopic image using binocular parallax.
  • Graphics that are superimposed and displayed on an image in a television receiver or the like are also expected to be rendered in conjunction with stereoscopic image display not only in two-dimensional space but also in three-dimensional depth.
  • OSD On-Screen Display
  • parallax adjustment is performed according to the perspective of each object in the image and the consistency of perspective is maintained.
  • the purpose of the present technology is to make it possible to satisfactorily control the depth of graphics superimposed on a stereoscopic image on the receiving side.
  • the concept of this technology is An image data acquisition unit for acquiring left-eye image data and right-eye image data constituting a stereoscopic image; A parallax information acquisition unit that acquires the parallax information of the other of the left eye image and the right eye image for each picture of the acquired image data; A disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data; An image data transmission unit for transmitting a container of a predetermined format including the video stream in which the disparity information is inserted; The transmission apparatus includes an identification information insertion unit that inserts identification information for identifying whether or not the disparity information is inserted into the video stream in the container layer.
  • the left eye image data and the right eye image data constituting the stereoscopic image are acquired by the image data acquisition unit.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a storage medium.
  • the parallax information acquisition unit acquires the parallax information of the other of the left eye image and the right eye image for each picture of the image data.
  • the disparity information in this case is, for example, information generated based on the left eye image data and right eye image data, or information obtained by reading from a storage medium.
  • the acquired disparity information is inserted into the video stream obtained by encoding the acquired image data by the disparity information inserting unit.
  • disparity information is inserted into a video stream in units of pictures or in groups of GOPs (Group of pictures). Furthermore, it may be inserted in other units, for example, scene units.
  • the image data transmission unit transmits a container in a predetermined format including a video stream in which disparity information is inserted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the identification information insertion unit inserts identification information for identifying whether or not disparity information is inserted into the video stream into the container layer.
  • the container may be a transport stream, and the identification information insertion unit may insert the identification information under the program map table or the event information table.
  • the identification information inserting unit describes the identification information in a descriptor inserted under the program map table or the event information table.
  • the disparity information acquired for each picture of the image data is transmitted by being inserted into the video stream, and the control of the depth of graphics superimposed on the stereoscopic image on the receiving side is performed using the picture ( Frame) can be performed with good accuracy.
  • identification information for identifying whether or not disparity information is inserted into a video stream is inserted into a container layer. Therefore, it is possible to easily identify whether or not there is insertion of disparity information in the image, and it is possible to accurately control the depth of graphics.
  • the disparity information acquisition unit may acquire the disparity information of each divided region based on the division information of the picture display screen for each picture.
  • the disparity information acquisition unit divides the picture display screen so as not to cross the encoding block boundary based on the division information of the picture display screen, and acquires disparity information of each divided region for each picture. To be done.
  • the disparity information for each picture that the disparity information insertion unit inserts into the video stream includes the division information of the picture display screen and the disparity information of each divided region.
  • the depth control of the graphics superimposed on the stereoscopic image on the receiving side can be favorably performed according to the graphics display position.
  • the image data transmission unit may be configured to transmit a caption stream obtained by encoding caption data having disparity information corresponding to a display position in a container.
  • depth control is performed on the caption based on the disparity information included in the caption data.
  • the disparity information included in the caption data can be used for graphics depth control.
  • a parallax information acquisition unit that acquires the parallax information of the other of the left eye image and the right eye image for each picture of the acquired image data;
  • a disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data;
  • An image data transmission unit that transmits a container of a predetermined format including the video stream in which the disparity information is inserted,
  • the disparity information acquisition unit acquires the disparity information of each divided region based on the division information of the picture display screen for each picture,
  • the disparity information for each picture that is inserted into the video stream by the disparity information insertion unit is in the transmission apparatus including the division information of the picture display screen and the disparity information of each divided region.
  • the left eye image data and the right eye image data constituting the stereoscopic image are acquired by the image data acquisition unit.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a storage medium.
  • the parallax information acquisition unit acquires the parallax information of the other of the left eye image and the right eye image for each picture of the image data.
  • the disparity information in this case is, for example, information generated based on the left eye image data and right eye image data, or information obtained by reading from a storage medium.
  • disparity information of each divided region is acquired for each picture based on the division information of the picture display screen.
  • the disparity information acquisition unit divides the picture display screen so as not to cross the encoding block boundary based on the division information of the picture display screen, and acquires disparity information of each divided region for each picture. To be done.
  • the acquired disparity information is inserted into the video stream obtained by encoding the acquired image data by the disparity information inserting unit.
  • the disparity information for each picture that the disparity information insertion unit inserts into the video stream is composed of the division information of the picture display screen and the disparity information of each divided region.
  • the image data transmission unit transmits a container in a predetermined format including a video stream in which disparity information is inserted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the disparity information acquired for each picture of the image data is transmitted by being inserted into the video stream, and the control of the depth of graphics superimposed on the stereoscopic image on the receiving side is performed using the picture ( Frame) can be performed with good accuracy.
  • the disparity information for each picture to be inserted into the video stream includes the division information of the picture display screen and the disparity information of each divided region, and the graphics to be displayed superimposed on the stereoscopic image on the reception side. The depth control can be performed satisfactorily according to the display position of the graphics.
  • the image data transmission unit may be configured to transmit a caption stream obtained by encoding caption data having disparity information corresponding to a display position in a container.
  • depth control is performed on the caption based on the disparity information included in the caption data.
  • the disparity information included in the caption data can be used for graphics depth control.
  • Still another concept of this technology is An image data receiving unit for receiving a container in a predetermined format including a video stream;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image,
  • disparity information on the other of one of the left eye image and the right eye image acquired corresponding to each of a predetermined number of divided areas of the picture display screen is inserted.
  • An information acquisition unit that acquires the left-eye image data and right-eye image data from the video stream included in the container, and acquires disparity information for each divided region of each picture of the image data;
  • a graphics data generator for generating graphics data for displaying graphics on an image; Using the acquired image data and the parallax information and the generated graphics data, the graphics to be superimposed on the left eye image and the right eye image have a parallax corresponding to the display position of the graphics for each picture.
  • a left-eye image data on which the graphics are superimposed and an image data processing unit that obtains data on the right-eye image on which the graphics are superimposed.
  • a container of a predetermined format including a video stream is received by the image data receiving unit.
  • This video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image. Also, in this video stream, disparity information on the other of one of the left eye image and the right eye image acquired corresponding to each of a predetermined number of divided areas of the picture display screen is inserted for each picture of the image data. Yes.
  • the information acquisition unit acquires left-eye image data and right-eye image data from the video stream included in the container, and acquires disparity information for each divided region of each picture of the image data.
  • the graphics data generating unit generates graphics data for displaying graphics on the image.
  • This graphics is, for example, graphics such as OSD or application, or EPG information indicating service contents.
  • the image data processing unit uses the acquired image data and parallax information and the generated graphics data to obtain left eye image data and right eye image data on which graphics are superimposed.
  • the disparity corresponding to the display position of the graphics is added to the graphics superimposed on the left-eye image and the right-eye image for each picture, so that the data and graphics of the left-eye image on which the graphics are superimposed are Data of the superimposed right eye image is obtained.
  • the image data processing unit uses disparity information selected from disparity information of a predetermined number of divided regions corresponding to the display position of graphics, for example, optimal disparity information such as a minimum value, and gives disparity to the graphics. Is done.
  • the depth control of the graphics superimposed on the stereoscopic image is performed based on the disparity information inserted in the video stream transmitted from the transmission side.
  • disparity information acquired for each picture of the image data is inserted in the video stream, and the depth control of graphics can be performed with good picture (frame) accuracy.
  • the disparity information for each picture inserted in the video stream is made up of the division information of the picture display screen and the disparity information of each divided region, and the graphics depth control is performed using the graphics display position. Depending on the case, it can be carried out satisfactorily.
  • identification information for identifying whether or not disparity information is inserted into the video stream is inserted in the container layer
  • an identification information acquisition unit that acquires identification information from the container
  • the information acquisition unit may be configured to acquire the disparity information from the video stream included in the container when the acquired identification information indicates that the disparity information is inserted.
  • the image data processing unit uses the disparity information calculated in advance. In this case, it is possible to easily identify whether or not the disparity information is inserted in the video stream, and it is possible to accurately control the depth of graphics.
  • the image data processing unit may add parallax to the graphics so that the graphics are displayed in front of the subtitles when the subtitles are displayed together with the graphics. Good.
  • the graphics display is performed well without being blocked by the caption display.
  • the parallax information update unit that updates the parallax information for each divided region of each picture of the image data acquired by the information acquisition unit according to the superimposition on the graphics image, and the updated
  • the apparatus may further include a disparity information transmitting unit that transmits the disparity information to an external device to which the image data obtained by the image data processing unit is transmitted.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a broadcasting station 100 and a television receiver 200.
  • the broadcasting station 100 transmits a transport stream TS as a container on a broadcast wave.
  • This transport stream TS includes a video stream obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image.
  • left eye image data and right eye image data are transmitted by one video stream.
  • the left eye image data and the right eye image data are interleaved, configured as side-by-side or top-and-bottom image data, and included in one video stream.
  • the left eye image data and the right eye image data are each transmitted by separate video streams.
  • the base-view stream of the left eye image data MVC is included, and the right-eye image data is included in the non-base view stream of MVC.
  • the other disparity information (Disparity data) with respect to one of the left eye image and the right eye image acquired for each picture of the image data is inserted.
  • the disparity information for each picture includes division information of the picture display screen and disparity information of each divided region (Partition).
  • this disparity information is obtained as a negative value (see DPa in FIG. 35).
  • this parallax information is obtained as a positive value (see DPc in FIG. 35).
  • the disparity information of each divided region is acquired by performing a downsizing process on the disparity information for each block (Block).
  • FIG. 2 shows an example of disparity information (disparity vector) for each block.
  • FIG. 3 shows an example of a method for generating disparity information in units of blocks.
  • disparity information indicating the right eye view (Right-View) is obtained from the left eye view (Left-View).
  • a pixel block (parallax detection block) such as 4 * 4, 8 * 8, or 16 * 16 is set in the picture of the left eye view.
  • the left-eye view picture is the detected image
  • the right-eye view picture is the reference image
  • the sum of absolute differences between pixels is minimized for each block of the left-eye view picture.
  • a block search of the picture of the right eye view is performed to obtain disparity data.
  • the parallax information DPn of the Nth block is obtained by block search so that the sum of absolute differences in the Nth block is minimized, for example, as shown in the following equation (1).
  • Dj represents a pixel value in the right-eye view picture
  • Di represents a pixel value in the left-eye view picture.
  • DPn min ( ⁇ abs (differ (Dj-Di)) (1)
  • FIG. 4 shows an example of the downsizing process.
  • FIG. 4A shows disparity information for each block obtained as described above.
  • disparity information for each group (Group ⁇ ⁇ Of Block) is obtained.
  • a group corresponds to an upper layer of a block and is obtained by grouping a plurality of adjacent blocks together.
  • each group is composed of four blocks bounded by a broken line frame. Then, the disparity vector of each group is obtained, for example, by selecting the disparity information having the minimum value from the disparity information of all blocks in the group.
  • the partition is an upper layer of the group and is obtained by grouping a plurality of adjacent groups together.
  • each partition is configured by two groups bounded by a broken line frame.
  • the disparity information of each partition is obtained, for example, by selecting the disparity information having the minimum value from the disparity information of all groups in the partition.
  • disparity information for the entire picture (entire image) located in the highest layer is obtained.
  • the entire picture includes four partitions that are bounded by a broken line frame.
  • the disparity information for the entire picture is obtained, for example, by selecting the minimum value of disparity information from the disparity information for all partitions included in the entire picture.
  • the picture display screen is divided based on the division information, and the parallax information of each divided area is acquired as described above. In this case, the picture display screen is divided so as not to cross the coding block boundary.
  • FIG. 5 shows a detailed example of division of the picture display screen. This example is an example of a 1920 * 1080 pixel format, and is divided into two parts horizontally and vertically, and four divided regions of Partition A, Partition , B, Partition C, and Partition2D are obtained.
  • On the transmission side since encoding is performed for each 16 ⁇ 16 block, 8 lines of blank data are added, and encoding is performed as image data of 1920 pixels * 1088 lines. Therefore, the vertical direction is divided into two based on 1088 lines.
  • FIG. 6 schematically shows a transition example of the parallax information of each divided region.
  • This example is an example in which there are 16 divided areas from Partition 0 to 15 Partition 15 respectively, which are divided into 4 parts horizontally and vertically.
  • the value of each parallax information includes a case where the value changes with time (D0, D3, D9) and a case where the value is fixed (D15).
  • FIG. 7A shows an example of synchronizing with picture encoding, that is, an example of inserting disparity information into a video stream in units of pictures. In this example, there is little delay when transmitting image data, and it is suitable for live broadcasting for transmitting image data captured by a camera.
  • FIG. 7B shows an example of synchronizing with an I picture (Intra picture) or GOP (Group Of Pictures) of encoded video, that is, an example in which disparity information is inserted into a video stream in units of GOPs.
  • I picture Intra picture
  • GOP Group Of Pictures
  • the delay in transmitting image data is larger than in the example of FIG. 7A.
  • FIG. 7C shows an example of synchronizing with a video scene, that is, an example of inserting disparity information into a video stream in units of scenes.
  • FIGS. 7A to 7C are examples, and insertion in other units may be considered.
  • identification information for identifying whether or not disparity information is inserted into the video stream is inserted into the layer of the transport stream TS.
  • This identification information is inserted, for example, under the program map table (PMT: Program Map Table) included in the transport stream TS or under the event information table (EIT: Event Information Table).
  • PMT Program Map Table
  • EIT Event Information Table
  • FIG. 8 illustrates a configuration example of the transmission data generation unit 110 that generates the above-described transport stream TS in the broadcast station 100.
  • the transmission data generation unit 110 includes image data output units 111L and 111R, scalers 112L and 112R, a video encoder 113, a multiplexer 114, and a parallax data generation unit 115. Further, the transmission data generation unit 110 includes a subtitle data output unit 116, a subtitle encoder 117, an audio data output unit 118, and an audio encoder 119.
  • the image data output units 111L and 111R output left-eye image data VL and right-eye image data VR constituting a stereoscopic image, respectively.
  • the image data output units 111L and 111R include, for example, a camera that captures an image of a subject and outputs image data, or an image data reading unit that reads and outputs image data from a storage medium.
  • the image data VL and VR are, for example, 1920 * 1080 full HD size image data.
  • Scalers 112L and 112R perform scaling processing in the horizontal direction and the vertical direction as necessary on the image data VL and VR, respectively. For example, when transmitting side-by-side or top-and-bottom image data in order to transmit the image data VL and VR in one video stream, the horizontal or vertical direction is 1 ⁇ 2. Scale down to output. Further, for example, when the image data VL and VR are transmitted as separate video streams such as an MVC base view stream and a non-base view stream, the image data VL and VR are not subjected to scaling processing. Is output as is.
  • the video encoder 113 performs encoding such as MPEG4-AVC (MVC), MPEG2 video, or HEVC on the left-eye image data and right-eye image data output from the scalers 112L and 112R to generate encoded video. Get the data. Further, the video encoder 113 generates a video stream including the encoded data by a stream formatter (not shown) provided in the subsequent stage. In this case, the video encoder 113 generates one or two video streams (video elementary streams) including encoded video data of left eye image data and right eye image data.
  • the parallax data generation unit 115 generates parallax information for each picture (frame) based on the left eye image data VL and the right eye image data VR output from the image data output units 111L and 111R.
  • the disparity data generation unit 115 acquires disparity information for each block (Block) as described above for each picture.
  • the parallax data generation unit 115 reads out and acquires parallax information for each block from the storage medium together with the image data. Is also possible.
  • the parallax data generation unit 115 performs a downsizing process on the parallax information for each block (Block) based on the division information of the picture display screen given by a user operation, for example, and the parallax of each divided region (Partition) Generate information.
  • the video encoder 113 inserts the disparity information for each picture generated by the disparity data generation unit 115 into the video stream.
  • the disparity information for each picture includes division information of the picture display screen and disparity information of each divided region.
  • disparity information for each picture is inserted into the video stream in units of pictures or units of GOP (see FIG. 7). Note that the left-eye image data and the right-eye image data may be inserted only into one of the video streams in order to be transmitted as separate video data.
  • the subtitle data output unit 116 outputs subtitle (caption) data to be superimposed on the image.
  • the subtitle data output unit 116 is configured by, for example, a personal computer.
  • the subtitle encoder 117 generates a subtitle stream (subtitle elementary stream) including the subtitle data output from the subtitle data output unit 116.
  • the subtitle encoder 117 refers to the disparity information for each block generated by the disparity data generation unit 115, and adds disparity information corresponding to the display position of the subtitle to the subtitle data. That is, the subtitle data included in the subtitle stream has disparity information corresponding to the display position of the subtitle.
  • the audio data output unit 118 outputs audio data corresponding to the image data.
  • the audio data output unit 118 is configured by, for example, a microphone or an audio data reading unit that reads and outputs audio data from a storage medium.
  • the audio encoder 119 performs encoding such as MPEG-2Audio or AAC on the audio data output from the audio data output unit 118, and generates an audio stream (audio elementary stream).
  • the multiplexer 114 converts each elementary stream generated by the video encoder 113, the subtitle encoder 117, and the audio encoder 119 into PES packets and multiplexes them to generate a transport stream TS.
  • PTS Presentation Time Stamp
  • PES Packetized Elementary Stream
  • the multiplexer 114 inserts the identification information described above into the layer of the transport stream TS.
  • This identification information is information for identifying whether or not disparity information is inserted in the video stream.
  • This identification information is inserted, for example, under the program map table (PMT: Program Map Table) included in the transport stream TS or under the event information table (EIT: Event Information Table).
  • PMT Program Map Table
  • EIT Event Information Table
  • the operation of the transmission data generation unit 110 shown in FIG. 8 will be briefly described.
  • the left eye image data VL and the right eye image data VR constituting the stereoscopic image output from the image data output units 111L and 111R are supplied to the scalers 112L and 112R, respectively.
  • the scalers 112L and 112R horizontal and vertical scaling processes are performed on the image data VL and VR, as necessary.
  • the left eye image data and right eye image data output from the scalers 112L and 112R are supplied to the video encoder 113.
  • the video encoder 113 performs encoding such as MPEG4-AVC (MVC), MPEG2 video, HEVC or the like on the left eye image data and the right eye image data to obtain encoded video data. Further, in the video encoder 113, a video stream including the encoded data is generated by a stream formatter provided in the subsequent stage. In this case, one or two video streams including encoded video data of left eye image data and right eye image data are generated.
  • MVC MPEG4-AVC
  • MPEG2 video MPEG2 video
  • HEVC High Efficiency Video Coding
  • the left eye image data VL and the right eye image data VR constituting the stereoscopic image output from the image data output units 111L and 111R are supplied to the parallax data generation unit 115.
  • parallax data generation unit 115 parallax information is generated for each picture (frame) based on the left eye image data VL and the right eye image data VR.
  • the disparity data generating unit 115 acquires disparity information for each block (Block) for each picture.
  • the disparity data generation unit 115 further performs downsizing processing on the disparity information for each block (Block) based on, for example, the division information of the picture display screen given by a user operation, so that each divided region ( Partition) disparity information is generated.
  • the disparity information for each picture generated by the disparity data generation unit 115 (including the division information of the picture display screen) is supplied to the video encoder 113.
  • disparity information for each picture is inserted into the video stream.
  • the disparity information for each picture is inserted into the video stream in units of pictures or units of GOP.
  • the subtitle data output unit 116 outputs subtitle (caption) data to be superimposed on the image.
  • This subtitle data is supplied to the subtitle encoder 117.
  • a subtitle stream including subtitle data is generated.
  • the subtitle encoder 117 refers to the disparity information for each block generated by the disparity data generation unit 115, and disparity information corresponding to the display position is added to the subtitle data.
  • the audio data output unit 118 outputs audio data corresponding to the image data.
  • This audio data is supplied to the audio encoder 119.
  • the audio encoder 119 performs encoding such as MPEG-2Audio or AAC on the audio data, and generates an audio stream.
  • the video stream obtained by the video encoder 113, the subtitle stream obtained by the subtitle encoder 117, and the audio stream obtained by the audio encoder 119 are respectively supplied to the multiplexer 114.
  • the multiplexer 114 the elementary streams supplied from each encoder are converted into PES packets and multiplexed to generate a transport stream TS. In this case, a PTS is inserted into each PES header for synchronous reproduction on the receiving side. Also, in the multiplexer 114, identification information for identifying whether or not disparity information is inserted into the video stream is inserted under the PMT or the EIT.
  • FIG. 9 illustrates a configuration example of the transport stream TS.
  • left eye image data and right eye image data are transmitted in separate video streams. That is, the PES packet “video PES1” of the video stream in which the left eye image data is encoded and the PES packet “video PES2” of the video stream in which the right eye image data is encoded are included. Further, in this configuration example, the PES packet “video PES3” of the subtitle stream in which the subtitle data (including disparity information) is encoded and the PES packet “video PES4” of the audio stream in which the audio data is encoded are included. It is.
  • depth information for graphics (depth_information_for_graphics ()) including disparity information for each picture is inserted.
  • this depth information for graphics is inserted into the user data area of each picture of the video stream.
  • this depth information for graphics is inserted into the user data area of the first picture in the GOP of the video stream.
  • the depth information for graphics is shown to be inserted into both of the two video streams, but may be inserted into only one video stream.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream TS belongs.
  • the transport stream TS includes an EIT (Event Information Table) as SI (Serviced Information) for managing each event.
  • the identification information indicating whether or not disparity information is inserted in the video stream described above is described in, for example, a descriptor inserted under the video elementary loop of the program map table.
  • the descriptor is, for example, an existing AVC video descriptor (AVC video descriptor) or MVC extension descriptor (MVC_extension_descriptor), or a newly defined graphics depth info descriptor (graphics_depth_info_descriptor). Note that the graphics depth info descriptor may be inserted under the EIT as shown by the broken line.
  • FIG. 10A shows a structural example (Syntax) of an AVC video descriptor (AVC video descriptor) in which identification information is described.
  • AVC video descriptor AVC video descriptor
  • This descriptor can be applied when the video is in the MPEG4-AVC frame compatible format.
  • This descriptor itself is already H.264. H.264 / AVC standard.
  • 1-bit flag information of “graphics_depth_info_not_existed_flag” is newly defined in this descriptor.
  • This flag information is obtained by inserting depth information for graphics (depth_information_for_graphics ()) including disparity information for each picture into the corresponding video stream, as shown in the specified content (semantics) of FIG. 10B. Indicates whether or not. When this flag information is “0”, it indicates that it is inserted. On the other hand, when this flag information is “1”, it indicates that it is not inserted.
  • FIG. 11A shows a structural example (Syntax) of an MVC extension descriptor (MVC extension descriptor) in which identification information is described.
  • MVC extension descriptor MVC extension descriptor
  • This descriptor can be applied when the video is in the MPEG4-AVCAnex H MVC format.
  • This descriptor itself is already H.264. H.264 / AVC standard.
  • 1-bit flag information of “graphics_depth_info_not_existed_flag” is newly defined in this descriptor.
  • This flag information is obtained by inserting depth information for graphics (depth_information_for_graphics ()) including disparity information for each picture into the corresponding video stream, as shown in the specified content (semantics) of FIG. 11B. Indicates whether or not. When this flag information is “0”, it indicates that it is inserted. On the other hand, when this flag information is “1”, it indicates that it is not inserted.
  • FIG. 12A shows a structural example (Syntax) of the graphics depth info descriptor (graphics_depth_info_descriptor).
  • the 8-bit field of “descriptor_tag” indicates that this descriptor is “graphics_depth_info_descriptor”.
  • the 8-bit field of “descriptor_length” indicates the number of subsequent data bytes. In this descriptor, 1-bit flag information of “graphics_depth_info_not_existed_flag” is described.
  • This flag information is obtained by inserting depth information for graphics (depth_information_for_graphics ()) including disparity information for each picture into the corresponding video stream, as shown in the specified content (semantics) of FIG. Indicates whether or not. When this flag information is “0”, it indicates that it is inserted. On the other hand, when this flag information is “1”, it indicates that it is not inserted.
  • depth information for graphics depth_information_for_graphics ()
  • disparity information for each picture is inserted into the user data area of the video stream.
  • FIG. 13A shows the top access unit of a GOP (Group Of Pictures), and FIG. 13B shows an access unit other than the top of the GOP.
  • depth_information_for_graphicsgraphicSEI message is inserted only in the first access unit of the GOP.
  • FIG. 14A shows a structural example (Syntax) of “depth_information_for_graphics SEI message”. “Uuid_iso_iec_11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”. “Depth_information_for_graphics_data ()” is inserted in the field of “user_data_payload_byte”.
  • FIG. 14B illustrates a structure example (Syntax) of “depth_information_for_graphics_data ()”. In this, depth information for graphics (depth_information_for_graphics ()) is inserted. “Userdata_id” is an identifier of “depth_information_for_graphics ()” indicated by unsigned 16 bits.
  • FIG. 15 shows a structure example (Syntax) of “depth_information_for_graphics ()” when disparity information for each picture is inserted in units of pictures.
  • FIG. 16 shows the contents (Semantics) of main information in the structural example shown in FIG.
  • “3-bit field of“ partition_type ” indicates the partition type of the picture display screen. “000” indicates no division, “001” indicates that the horizontal and vertical are divided into two equal parts, “010” indicates that the horizontal and vertical are divided into three equal parts, and “011” indicates the horizontal and vertical parts. Is divided into four equal parts.
  • the 8-bit field of “disparity_in_partition” indicates representative disparity information (representative disparity value) of each partition area (Partition). In many cases, this is the minimum value of the disparity information of the corresponding area.
  • FIG. 18 shows a structure example (Syntax) of “depth_information_for_graphics ()” when a plurality of pictures are encoded together, such as when disparity information for each picture is inserted in GOP units.
  • FIG. 19 shows the contents (Semantics) of main information in the structural example shown in FIG.
  • the 6-bit field “picture_count” indicates the number of pictures.
  • This “depth_information_for_graphics ()” includes “disparity_in_partition” of each partition area (Partition) for the number of pictures.
  • FIG. 20A illustrates a structure example (Syntax) of “user_data ()”.
  • a 32-bit field of “user_data_start_code” is a start code of user data (user_data), and is a fixed value of “0x000001B2”.
  • the 32-bit field following this start code is an identifier for identifying the contents of user data.
  • it is “depth_information_for_graphics_data_identifier”, and it is possible to identify that the user data is “depth_information_for_graphics_data”.
  • “depth_information_for_graphics_data ()” is inserted.
  • FIG. 20B shows a structural example (Syntax) of “depth_information_for_graphics_data ()”. In this, “depth_information_for_graphics ()” is inserted (see FIGS. 15 and 18).
  • disparity information insertion into a video stream when the encoding method is AVC or MPEG2 video has been described. Although detailed description is omitted, disparity information can be inserted into a video stream with a similar structure even in an encoding method having another similar structure, such as HEVC.
  • the television receiver 200 receives a transport stream TS transmitted from the broadcast station 100 on a broadcast wave.
  • the television receiver 200 decodes the video stream included in the transport stream TS, and generates left-eye image data and right-eye image data that form a stereoscopic image.
  • the television receiver 200 extracts disparity information for each picture of the image data inserted in the video stream.
  • the television receiver 200 uses the image data, the parallax information, and the graphics data to obtain left eye image data and right eye image data on which the graphics are superimposed.
  • the television receiver 200 gives disparity corresponding to the display position of the graphics for each picture to the graphics to be superimposed on the left eye image and the right eye image, and data of the left eye image on which the graphics are superimposed. And right eye image data on which graphics are superimposed.
  • FIG. 21 shows the concept of graphics depth control using disparity information.
  • the parallax information is a negative value
  • parallax is given so that the left-eye display graphics are shifted to the right side and the right-eye display graphics are shifted to the left side on the screen.
  • the graphics display position is in front of the screen.
  • the parallax information is a positive value
  • the parallax is given so that the left-eye display graphics are shifted to the left side and the right-eye display graphics are shifted to the right side on the screen.
  • the graphics display position is behind the screen.
  • disparity information acquired for each picture of image data is inserted into the video stream. Therefore, the television receiver 200 can accurately control the depth of graphics using disparity information using disparity information that matches the display timing of graphics.
  • FIG. 22 shows an example in which disparity information is inserted into a video stream in units of pictures.
  • disparity information is sequentially acquired at the picture timing of image data.
  • disparity information suitable for the display timing of graphics is used, and appropriate disparity is given to the graphics.
  • FIG. 23 shows an example in which disparity information is inserted into the video stream in units of GOPs.
  • the disparity of each picture in the GOP is detected at the start timing of the GOP of the image data.
  • Information (disparity information set) is acquired collectively.
  • displaying graphics disparity information suitable for the display timing of graphics is used, and appropriate disparity is given to the graphics.
  • “Side View” in FIG. 24A shows a display example of subtitles and OSD graphics on an image.
  • This display example is an example in which subtitles and graphics are superimposed on an image composed of a background, a foreground object, and a foreground object.
  • “Top View” in FIG. 24B indicates the perspective of the background, the middle scene object, the foreground object, the caption, and the graphics.
  • the subtitles and graphics indicate that they are recognized as being in front of the object corresponding to the display position.
  • an appropriate parallax is given to the graphics so that the graphics are recognized in front of the caption.
  • FIG. 25 illustrates a configuration example of the television receiver 200.
  • the television receiver 200 includes a container buffer 211, a demultiplexer 212, a coded buffer 213, a video decoder 214, a decoded buffer 215, a scaler 216, and a superimposing unit 217.
  • the television receiver 200 includes a parallax information buffer 218, a television (TV) graphics generation unit 219, a depth control unit 220, and a graphics buffer 221.
  • the television receiver 200 includes a coded buffer 231, a subtitle decoder 232, a pixel buffer 233, a subtitle parallax information buffer 234, and a subtitle display control unit 235.
  • the television receiver 200 includes a coded buffer 241, an audio decoder 242, an audio buffer 243, and a channel mixing unit 244.
  • the container buffer 211 temporarily stores the transport stream TS received by a digital tuner or the like.
  • the transport stream TS includes a video stream, a subtitle stream, and an audio stream.
  • As the video stream one or two video streams obtained by encoding the left eye image data and the right eye image data are included.
  • left eye image data and right eye image data may be sent in separate video streams, such as an MVC base view stream and a non-base view stream, respectively.
  • the demultiplexer 212 extracts video, subtitle, and audio streams from the transport stream TS temporarily stored in the container buffer 211. Further, the demultiplexer 212 extracts identification information (flag information of “graphics_depth_info_not_existed_flag”) indicating whether or not disparity information is inserted into the video stream from the transport stream TS, and sends it to a control unit (CPU) (not shown). send. Under the control of the control unit (CPU), the video decoder 214 acquires disparity information from the video stream as described later when the identification information indicates insertion of disparity information.
  • the coded buffer 213 temporarily stores the video stream extracted by the demultiplexer 212.
  • the video decoder 214 performs decoding processing on the video stream stored in the coded buffer 213 to obtain left eye image data and right eye image data.
  • the video decoder 214 acquires disparity information for each picture of image data inserted in the video stream.
  • the disparity information of each picture includes partition information of the picture display screen and disparity information (disparity) of each partition region (Partition).
  • the decoded buffer 215 temporarily stores the left eye image data and right eye image data acquired by the video decoder 214.
  • the disparity information buffer 218 temporarily stores disparity information for each picture of the image data acquired by the video decoder 214.
  • the scaler 216 performs scaling processing in the horizontal direction and the vertical direction on the left eye image data and right eye image data output from the decoded buffer 215 as necessary. For example, when left-eye image data and right-eye image data are transmitted as a single video stream as side-by-side or top-and-bottom image data, Scale up to 2 and output. Also, for example, when the left-eye image data and the right-eye image data are respectively sent as separate video streams such as an MVC base view stream and a non-base view stream, without performing a scaling process, The left eye image data and right eye image data are output as they are.
  • the coded buffer 231 temporarily stores the subtitle stream extracted by the demultiplexer 214.
  • the subtitle decoder 232 performs a process reverse to that of the subtitle encoder 117 (see FIG. 8) of the transmission data generation unit 110 described above. That is, the subtitle decoder 232 performs a decoding process on the subtitle stream stored in the coded buffer 231 to obtain subtitle data.
  • the subtitle data includes bitmap data of the subtitle (subtitle), display position information “Subtitle rendering position (x2, y2)” of the subtitle, and parallax information “Subtitle disparity” of the subtitle (subtitle). .
  • the pixel buffer 233 temporarily stores the subtitle (caption) bitmap data obtained by the subtitle decoder 232 and the subtitle (caption) display position information “Subtitlexrendering position (x2, y2)”.
  • the subtitle disparity information buffer 234 temporarily stores the subtitle (caption) disparity information “Subtitle disparity” obtained by the subtitle decoder 232.
  • the subtitle display control unit 235 uses the subtitle (caption) bitmap data, the display position information and the parallax information of the subtitle (caption), and the subtitles for the left eye display and the right eye display to which the parallax is added. Generate bitmap data “Subtitle data”.
  • the television graphics generation unit 219 generates graphics data such as an OSD or an application. This graphics data includes graphics bitmap data “Graphics data” and display position information “Graphics rendering position (x1, y1)” of the graphics.
  • the graphics buffer 221 temporarily stores graphics bitmap data “Graphics data” generated by the television graphics generation unit 219.
  • the superimposing unit 217 superimposes the left eye display data and the right eye display subtitle bitmap data “Subtitle data” generated by the subtitle display control unit 235 on the left eye image data and the right eye image data, respectively.
  • the superimposing unit 217 superimposes the graphics bitmap data “Graphics data” stored in the graphics buffer 221 on the left eye image data and the right eye image data, respectively.
  • the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data is given parallax by the depth control unit 220 described later.
  • the superimposing unit 217 overwrites the graphics data on the subtitle data.
  • the depth control unit 220 gives disparity to the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data. Therefore, the depth control unit 220 generates graphics display position information “Rendering position” for left-eye display and right-eye display for each picture of image data, and graphics bitmap data stored in the graphics buffer 221. Shift control of the superimposition position on the left eye image data and right eye image data of “Graphics data” is performed.
  • the depth control unit 220 generates display position information “Rendering position” using the following information. That is, the depth control unit 220 uses disparity information (Disparity) of each divided region (Partition) for each picture of image data stored in the disparity information buffer 218. Also, the depth control unit 220 uses the display position information “Subtitle rendering position (x2, y2)” of the subtitle (caption) stored in the pixel buffer 233.
  • the depth control unit 220 uses the subtitle (subtitle) disparity information “Subtitle disparity” stored in the subtitle disparity information buffer 234.
  • the depth control unit 220 uses graphics display position information “Graphics rendering position (x1, y1)” generated by the television graphics generation unit 219.
  • the depth control unit 220 uses identification information indicating whether or not disparity information is inserted in the video stream.
  • FIGS. 27 and 28 show an example of the procedure of the control process of the depth control unit 220.
  • the depth control unit 220 executes this control process for each picture (frame) that performs graphics display.
  • the depth control unit 220 starts control processing in step ST1. Thereafter, in step ST2, it is determined based on the identification information whether there is insertion of disparity information for graphics in the video stream.
  • step ST3 When the disparity information is inserted into the video stream, the depth control unit 220 proceeds to the process of step ST3. In this step ST3, all the divided regions (partitions) including the coordinates for overlaying (overlaying) graphics are inspected. In step ST4, the depth control unit 220 compares the disparity information (disparity) of the target divided region (partition), selects an optimum value, for example, the minimum value, and sets the value of the graphics disparity information (disparity). (Graphics_disparity).
  • step ST5 the depth control unit 220 proceeds to the process of step ST5.
  • the depth control unit 220 determines whether there is a subtitle stream (Subtitle stream) having disparity information (disparity).
  • the depth control unit 220 determines the value (subtitle_disparity) of the subtitle disparity information (disparity) and the value of the disparity information for graphics. Compare with (graphics_disparity). Note that the value of graphics disparity information (graphics_disparity) is, for example, “0” when no graphics disparity information (disparity) is inserted into the video stream.
  • step ST7 the depth control unit 220 determines whether or not the condition “subtitle_disparity> (graphics_disparity) is satisfied.
  • the depth control unit 220 determines in step ST8 that the graphics buffer For the graphics bitmap data “Graphics data” stored in 221, for the left-eye display in which the display position is shifted by using a value equivalent to the value (graphics_disparity) of the disparity information for graphics (graphics_disparity)
  • Graphics bitmap data for right-eye display is obtained and superimposed on left-eye image data and right-eye image data, respectively.
  • the depth control unit 220 ends the control process in step ST9 after the process of step ST8.
  • the depth control unit 220 uses the subtitle disparity information (disparity) for the graphics bitmap data “Graphics data” stored in the graphics buffer 221 in step ST10. Is used to obtain graphics bitmap data for left-eye display and right-eye display whose display positions are shifted, and are superimposed on the left-eye image data and right-eye image data, respectively.
  • the depth control unit 220 ends the control process in step ST9 after the process in step ST10.
  • the depth control unit 220 stores the graphics bitmap data “Graphics data” stored in the graphics buffer 221 in step ST11.
  • the depth control unit 220 uses the value of the disparity information (disparity) calculated by the television receiver 200, left-eye display graphics bitmap data for right-eye display with shifted display positions is obtained, and the left-eye display data is obtained respectively. It is superimposed on the image data and the right eye image data.
  • the depth control unit 220 ends the control process in step ST9 after the process in step ST11.
  • the coded buffer 241 temporarily stores the audio stream extracted by the demultiplexer 212.
  • the audio decoder 242 performs processing opposite to that of the audio encoder 119 (see FIG. 8) of the transmission data generation unit 110 described above. That is, the audio decoder 242 performs decoding processing on the audio stream stored in the coded buffer 241 to obtain decoded audio data.
  • the audio buffer 243 temporarily stores audio data obtained by the audio decoder 242.
  • the channel mixing unit 244 generates and outputs audio data of each channel for realizing, for example, 5.1ch surround with respect to the audio data stored in the audio buffer 243.
  • reading of information (data) from the decoded buffer 215, the disparity information buffer 218, the pixel buffer 233, the subtitle disparity information buffer 234, and the audio buffer 243 is performed based on the PTS, and transfer synchronization is taken.
  • the transport stream TS received by a digital tuner or the like is temporarily stored in the container buffer 211.
  • the transport stream TS includes a video stream, a subtitle stream, and an audio stream.
  • the video stream includes one or two video streams obtained by encoding the left eye image data and the right eye image data.
  • the demultiplexer 212 extracts video, subtitle, and audio streams from the transport stream TS temporarily stored in the container buffer 211. Further, the demultiplexer 212 extracts identification information (flag information of “graphics_depth_info_not_existed_flag”) indicating whether or not disparity information is inserted in the video stream from the transport stream TS, and sends it to a control unit (CPU) (not shown). Sent.
  • the video stream extracted by the demultiplexer 212 is supplied to the coded buffer 213 and temporarily stored.
  • the video decoder 214 then decodes the video stream stored in the coded buffer 213 to obtain left eye image data and right eye image data.
  • the left eye image data and right eye image data are temporarily stored in the decoded buffer 215.
  • the video decoder 214 acquires disparity information for each picture of the image data inserted in the video stream. This disparity information is temporarily stored in the disparity information buffer 218.
  • the scaler 216 performs horizontal and vertical scaling processing on the left eye image data and right eye image data output from the decoded buffer 215 as necessary. From this scaler 216, for example, left-eye image data and right-eye image data having a full HD size of 1920 * 1080 are obtained. The left eye image data and right eye image data are supplied to the superimposing unit 217.
  • the subtitle stream extracted by the demultiplexer 212 is supplied to the coded buffer 231 and temporarily stored.
  • the subtitle decoder 232 decodes the subtitle stream stored in the coded buffer 231 to obtain subtitle data.
  • the subtitle data includes bitmap data of the subtitle (subtitle), display position information “Subtitle rendering position (x2, y2)” of the subtitle, and parallax information “Subtitle disparity” of the subtitle (subtitle). .
  • the subtitle (caption) bitmap data obtained by the subtitle decoder 232 and the subtitle (caption) display position information “Subtitlexrendering position (x2, y2)” are temporarily stored in the pixel buffer 233. Also, the subtitle disparity information “Subtitle disparity” obtained by the subtitle decoder 232 is temporarily stored in the subtitle disparity information buffer 234.
  • the subtitle display control unit 235 uses the subtitle (caption) bitmap data, the display position information and the parallax information of the subtitle (caption), and the subtitles for the left eye display and the right eye display to which the parallax is added.
  • Bitmap data “Subtitle data” is generated.
  • the left-eye display and right-eye display subtitle bitmap data “Subtitle ⁇ data” generated in this way is supplied to the superimposing unit 217 and is superimposed on the left-eye image data and the right-eye image data, respectively.
  • the television (TV) graphics generator 219 generates graphics data such as OSD, application, or EPG.
  • the graphics data includes graphics bitmap data “Graphics data” and graphics display position information “Graphicsrendering position (x1, y1)”.
  • graphics buffer 221 the graphics data generated by the television graphics generation unit 219 is temporarily stored.
  • the graphics bitmap data “Graphics data” stored in the graphics buffer 221 is superimposed on the left eye image data and the right eye image data.
  • the graphics bitmap data “Graphics data” superimposed on each of the left-eye image data and the right-eye image data is given disparity by the depth control unit 220 based on disparity information corresponding to the display position of the graphics. Is done.
  • the superimposing unit 217 overwrites the graphics data on the subtitle data.
  • the superimposing unit 217 obtains left-eye image data on which the left-eye display subtitle (caption) and graphics are superimposed, and the right-eye display subtitle (caption) and graphics on the right-eye image on which graphics are superimposed. Data is obtained. These image data are sent to a processing unit for stereoscopic image display, and stereoscopic image display is performed.
  • the audio stream extracted by the demultiplexer 212 is supplied to the coded buffer 241 and temporarily stored.
  • the audio decoder 242 decodes the audio stream stored in the coded buffer 241 to obtain decoded audio data.
  • This audio data is supplied to the channel mixing unit 244 via the audio buffer 243.
  • the channel mixing unit 244 generates audio data for each channel for realizing, for example, 5.1ch surround with respect to the audio data.
  • This audio data is supplied to, for example, a speaker, and audio output is performed in accordance with the stereoscopic image display.
  • FIG. 29 shows an example of graphics depth control in the television receiver 200.
  • graphics is for left-eye display based on the minimum value of the disparity information of the right eight divided regions (Partition 2, 3, 6, 7, 10, 11, 14, 15). Parallax is given to the graphics and the right-eye display graphics. As a result, the graphics are displayed in front of the image (video) objects of these eight divided areas.
  • FIG. 30 also shows an example of graphics depth control in the television receiver 200.
  • the graphics includes the disparity information of the minimum value among the disparity information of the right eight divided regions (Partition 2, 3, 6, 7, 10, 11, 14, 15), and further subtitles (subtitles).
  • parallax is given to the left-eye display graphics and the right-eye display graphics.
  • the graphics are displayed in front of the image (video) objects in these eight divided areas and further in front of the subtitle (caption).
  • the subtitle (caption) is also based on the image (video) object of the four divided regions (Partition 8, 9, 10, 11) corresponding to the display position of the subtitle based on the disparity information of the subtitle (caption). Displayed in front.
  • disparity information acquired for each picture of image data is inserted into a video stream and transmitted. Therefore, it is possible to satisfactorily perform the depth control of graphics superimposed on the stereoscopic image on the reception side with picture (frame) accuracy.
  • identification information for identifying whether or not disparity information is inserted into the video stream is inserted into the layer of the transport stream TS. Therefore, with this identification information, the receiving side can easily identify whether or not the disparity information is inserted into the video stream, and can accurately control the depth of the graphics.
  • the disparity information for each picture inserted into the video stream is made up of the division information of the picture display screen and the disparity information of each divided region. Therefore, the depth control of the graphics superimposed on the stereoscopic image on the receiving side can be favorably performed according to the graphics display position.
  • the image transmission / reception system 10 including the broadcast station 100 and the receiver 200 is shown.
  • the configuration of the image transmission / reception system to which the present technology can be applied is not limited to this.
  • the television receiver 200 has, for example, a configuration of a set-top box 200A and a television receiver 200B connected by a digital interface such as (High-Definition Multimedia Interface (HDMI)). May be.
  • HDMI High-Definition Multimedia Interface
  • FIG. 32 shows a configuration example of the set top box 200A.
  • the set top box (STB) graphics generation unit 219A generates graphics data such as OSD, application, or EPG.
  • the graphics data includes graphics bitmap data “Graphics data” and graphics display position information “Graphicsrendering position (x1, y1)”.
  • the graphics buffer 221 temporarily stores graphics data generated by the set top box graphics generation unit 219A.
  • the subtitle bitmap data “Subtitle data” for the left eye display and the right eye display generated by the subtitle display control unit 235 is superimposed on the left eye image data and the right eye image data, respectively.
  • the superimposing unit 217 superimposes graphics bitmap data “Graphics data” stored in the graphics buffer 221 on the left eye image data and the right eye image data.
  • the graphics bitmap data “Graphics data” superimposed on each of the left-eye image data and the right-eye image data is given disparity by the depth control unit 220 based on disparity information corresponding to the display position of the graphics. Is done.
  • the superimposing unit 217 obtains left-eye image data on which the left-eye display subtitle (caption) and graphics are superimposed, and the right-eye display subtitle (caption) and graphics on the right-eye image on which graphics are superimposed. Data is obtained. These image data are sent to the HDMI transmission unit. The audio data of each channel obtained by the channel mixing unit 244 is also sent to the HDMI transmission unit.
  • the disparity information (Disparity) of each divided region (Partition) for each picture of the image data stored in the disparity information buffer 218 is sent to the HDMI transmission unit through the depth control unit 220.
  • the disparity information (Disparity) of the sub-region (Partition) corresponding to the display position of the subtitle (caption) and the display position of the graphics is the disparity information (Disparity) used to give the subtitle (caption) or graphics. It has been updated.
  • the values of the disparity information (Disparity) of the four divided regions (Partition 8 8, 9, 10, 11) corresponding to the display position of the subtitle are the disparity to the subtitle. It is updated with the disparity information value (subtitle_disparity) used for the assignment.
  • the value of the disparity information (Disparity) of the eight divided regions (Partition2, 3, 6, 7, 10, 11, 14, 15) is updated with the disparity information value (graphics_disparity) used to add the disparity to the graphics. Is done.
  • the rest of the set top box 200A shown in FIG. 32 is configured in the same manner as the television receiver 200 shown in FIG.
  • FIG. 33 shows a configuration example of the HDMI input system of the television receiver 200B.
  • portions corresponding to those in FIG. 25 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
  • the left eye image data and right eye image data received by the HDMI receiving unit are scaled as necessary by the scaler 251 and then supplied to the superimposing unit 217.
  • the disparity information (Disparity) of each divided region for each picture of the image data received by the HDMI receiving unit is supplied to the depth control unit 220.
  • the television (TV) graphics generation unit 219 generates graphics data such as an OSD or an application.
  • the graphics data includes graphics bitmap data “Graphics data” and graphics display position information “Graphicsrendering position (x1, y1)”.
  • the graphics buffer 221 the graphics data generated by the television graphics generation unit 219 is temporarily stored. Further, the graphics display position information “Graphics rendering positionx (x1, y1)” is supplied to the depth controller 220.
  • the graphics bitmap data “Graphics data” stored in the graphics buffer 221 is superimposed on the left eye image data and the right eye image data.
  • the graphics bitmap data “Graphics data” superimposed on each of the left-eye image data and the right-eye image data is given disparity by the depth control unit 220 based on disparity information corresponding to the display position of the graphics. Is done.
  • data of a left eye image on which graphics for left eye display are superimposed is obtained, and data of a right eye image on which graphics for right eye display are superimposed is obtained. These image data are sent to a processing unit for stereoscopic image display, and stereoscopic image display is performed.
  • the audio data of each channel received by the HDMI receiving unit is supplied to the speaker via the audio processing unit 252 that adjusts the sound quality and volume, and the audio is output in accordance with the stereoscopic image display.
  • FIG. 34 shows an example of graphics depth control in the television receiver 200B.
  • graphics for left-eye display and right-eye display are based on disparity information of the minimum value among the disparity information of the four right-side divided regions (Partitions 10, 11, 14, and 15). Parallax is added to the graphics for use.
  • the TV graphics is displayed in front of the image (video) objects of these four divided areas.
  • the subtitle (caption) and STB graphics are already superimposed on the image (video).
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
  • this technique can also take the following structures.
  • an image data acquisition unit that acquires left-eye image data and right-eye image data constituting a stereoscopic image
  • a parallax information acquisition unit that acquires the parallax information of the other of the left eye image and the right eye image for each picture of the acquired image data
  • a disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data
  • An image data transmission unit for transmitting a container of a predetermined format including the video stream in which the disparity information is inserted
  • a transmission apparatus comprising: an identification information insertion unit that inserts identification information for identifying whether or not the disparity information is inserted into the video stream in the container layer.
  • the disparity information insertion unit The transmission apparatus according to (1), wherein the disparity information is inserted into the video stream in units of pictures or units of GOP.
  • the parallax information acquisition unit includes: The transmission device according to (1) or (2), wherein disparity information of each divided region is acquired for each picture based on division information of a picture display screen.
  • the parallax information acquisition unit The transmission according to (3), wherein the picture display screen is divided so as not to cross the coding block boundary based on the division information of the picture display screen, and the disparity information of each divided region is obtained for each picture. apparatus.
  • the disparity information for each picture that is inserted into the video stream by the disparity information insertion unit includes the division information of the picture display screen and the disparity information of each divided region.
  • the image data transmission unit The transmission device according to any one of (1) to (5), wherein a caption stream obtained by encoding caption data having the disparity information corresponding to a display position is included in the container and transmitted.
  • the container is a transport stream,
  • the identification information insertion unit The transmission device according to any one of (1) to (6), wherein the identification information is inserted under a program map table or an event information table.
  • the identification information insertion unit The transmitting apparatus according to (7), wherein the identification information is described in a descriptor inserted under the program map table or the event information table.
  • an image data acquisition unit that acquires left-eye image data and right-eye image data constituting a stereoscopic image
  • a parallax information acquisition unit that acquires the parallax information of the other of the left eye image and the right eye image for each picture of the acquired image data
  • a disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data
  • An image data transmission unit that transmits a container of a predetermined format including the video stream in which the disparity information is inserted,
  • the disparity information acquisition unit acquires the disparity information of each divided region based on the division information of the picture display screen for each picture,
  • the disparity information for each picture inserted into the video stream by the disparity information insertion unit includes the division information of the picture display screen and the disparity information of each divided region.
  • the disparity information insertion unit The transmission device according to (10), wherein the disparity information is inserted into the video stream in units of pictures or units of GOP.
  • the parallax information acquisition unit includes: Based on the division information of the picture display screen, the picture display screen is divided so as not to cross the coding block boundary, and disparity information of each divided region is obtained for each picture. (10) or (11) The transmitting device according to 1.
  • the disparity information acquisition step for each picture, the disparity information of each divided region is acquired based on the division information of the picture display screen,
  • the disparity information for each picture inserted into the video stream in the disparity information inserting step includes transmission information of the picture display screen and disparity information of each divided region.
  • An image data receiving unit that receives a container of a predetermined format including a video stream,
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image,
  • disparity information on the other of one of the left eye image and the right eye image acquired corresponding to each of a predetermined number of divided areas of the picture display screen is inserted.
  • An information acquisition unit that acquires the left-eye image data and right-eye image data from the video stream included in the container, and acquires disparity information for each divided region of each picture of the image data;
  • a graphics data generator for generating graphics data for displaying graphics on an image; Using the acquired image data and the parallax information and the generated graphics data, the graphics to be superimposed on the left eye image and the right eye image have a parallax corresponding to the display position of the graphics for each picture.
  • a receiving device further comprising: an image data processing unit that assigns and obtains data of a left eye image on which the graphics are superimposed and data of a right eye image on which the graphics are superimposed.
  • Identification information for identifying whether or not the disparity information is inserted into the video stream is inserted in the container layer
  • An identification information acquisition unit for acquiring the identification information from the container;
  • the information acquisition unit The receiving apparatus according to (14), wherein when the acquired identification information indicates that the disparity information is inserted, the disparity information is acquired from a video stream included in the container.
  • the image data processing unit The receiving device according to any one of (14) to (16), wherein when the subtitle is displayed together with the display of the graphics, the graphics is provided with a parallax so that the graphics is displayed in front of the subtitle. .
  • the image data processing unit The receiving device according to any one of (14) to (17), wherein disparity information is selected from disparity information of a predetermined number of divided regions corresponding to the display position of the graphics, and the disparity is given to the graphics .
  • a disparity information update unit that updates disparity information for each divided region of each picture of the image data acquired by the information acquisition unit in accordance with superimposition on the graphics image;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image, In the video stream, for each picture of the image data, disparity information on the other of one of the left eye image and the right eye image acquired corresponding to each of a predetermined number of divided areas of the picture display screen is inserted.
  • a receiving method further comprising: an image data processing step of providing data of a left eye image on which the graphics are superimposed and data of a right eye image on which the graphics are superimposed.
  • the main feature of the present technology is that the disparity information acquired for each picture of the image data is transmitted by being inserted into the video stream, and the video stream is included in the transport stream (container) layer including the video stream. Since the identification information for identifying whether or not the disparity information is inserted into the video stream is inserted, it is possible to easily identify whether or not the disparity information is inserted into the video stream on the receiving side, and the depth of the graphics. This makes it possible to perform the control accurately (see FIG. 6). Also, the disparity information for each picture to be inserted into the video stream is made up of the division information of the picture display screen and the disparity information of each divided region, so that the depth control of the graphics superimposed on the stereoscopic image on the receiving side is performed. Is made possible in accordance with the display position of the graphics (see FIGS. 15 and 18).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行う。　画像データのピクチャ毎に取得された視差情報をビデオストリームに挿入して送信する。受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報を挿入する。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、立体画像へのグラフィクスの重畳表示を良好に行い得るようにするための送信装置等に関する。
　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、立体画像を構成する左眼画像データおよび右眼画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
　図３５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
特開２００５－６１１４号公報
　上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知する。テレビ受信機などにおいて画像に重畳表示されるグラフィクスに関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。ＯＳＤ（On-Screen Display）あるいはアプリケーションなどのグラフィクスを画像に重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
　本技術の目的は、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行い得るようにすることにある。
　本技術の概念は、
　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　視差情報取得部により、画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が取得される。この場合の視差情報は、例えば、左眼画像データおよび右眼画像データに基づいて生成されたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、取得された視差情報が挿入される。例えば、視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ（Group of Picture）単位で挿入される。さらには、その他の単位、例えばシーン単位で挿入されてもよい。
　画像データ送信部により、視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　識別情報挿入部により、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報をプログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。例えば、識別情報挿入部は、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、識別情報を記述する、ようにされる。
　このように本技術においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信されるものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。また、本技術においては、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入されるものであり、この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
　なお、本技術において、例えば、視差情報取得部は、ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する、ようにされてもよい。この場合、例えば、視差情報取得部は、ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、ピクチャ毎に、各分割領域の視差情報を取得する、ようにされる。
　また、この場合、例えば、視差情報挿入部がビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する、ものとされる。この場合、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
　また、本技術において、例えば、画像データ送信部は、表示位置に対応した視差情報を持つ字幕データが符号化されて得られた字幕ストリームをコンテナに含めて送信する、ようにされてもよい。この場合、受信側において、字幕に関しては、字幕データが持つ視差情報に基づいて奥行き制御が行われる。例えば、ビデオストリームへの上述した視差情報の挿入がない場合、字幕データが存在する場合には、この字幕データが持つ視差情報を、グラフィクスの奥行き制御に利用することも可能である。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
　上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
　上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　視差情報取得部により、画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が取得される。この場合の視差情報は、例えば、左眼画像データおよび右眼画像データに基づいて生成されたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　この視差情報取得部では、ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報が取得される。この場合、例えば、視差情報取得部は、ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、ピクチャ毎に、各分割領域の視差情報を取得する、ようにされる。
　視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、取得された視差情報が挿入される。このように、視差情報挿入部がビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとされる。
　画像データ送信部により、視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このように本技術においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信されるものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。また、本技術において、ビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有するものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
　なお、本技術において、例えば、画像データ送信部は、表示位置に対応した視差情報を持つ字幕データが符号化されて得られた字幕ストリームをコンテナに含めて送信する、ようにされてもよい。この場合、受信側において、字幕に関しては、字幕データが持つ視差情報に基づいて奥行き制御が行われる。例えば、ビデオストリームへの上述した視差情報の挿入がない場合、字幕データが存在する場合には、この字幕データが持つ視差情報を、グラフィクスの奥行き制御に利用することも可能である。
　また、本技術のさらに他の概念は、
　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
　画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
　上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
　受信装置にある。
　本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されている。
　情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、この画像データの各ピクチャの分割領域毎の視差情報が取得される。また、グラフィクスデータ発生部により、画像上にグラフィクスを表示するためのグラフィクスデータが発生される。このグラフィクスは、例えば、ＯＳＤあるいはアプリケーションなどのグラフィクス、あるいは、サービス内容を示すＥＰＧ情報である。
　画像データ処理部により、取得された画像データおよび視差情報と、発生されたグラフィクスデータとが用いられて、グラフィクスが重畳された左眼画像および右眼画像のデータが得られる。この場合、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差が付与されることで、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータが得られる。例えば、画像データ処理部では、グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報、例えば最小値などの最適な視差情報が使用されて、このグラフィクスへの視差付与が行われる。
　このように本技術においては、送信側から送られてくるビデオストリームに挿入されている視差情報に基づいて、立体画像に重畳表示されるグラフィクスの奥行き制御が行われる。この場合、ビデオストリームには画像データのピクチャ毎に取得された視差情報が挿入されており、グラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。また、この場合、ビデオストリームに挿入されているピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものであり、グラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
　なお、本技術において、例えば、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入されており、コンテナから識別情報を取得する識別情報取得部をさらに備え、情報取得部は、取得された識別情報が視差情報の挿入があることを示すとき、コンテナに含まれるビデオストリームから視差情報を取得する、ようにされてもよい。例えば、取得された識別情報が視差情報の挿入がないことを示すとき、画像データ処理部は、予め算出された視差情報を用いる、ようにされる。この場合、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
　また、本技術において、例えば、画像データ処理部は、グラフィクスの表示と共に字幕の表示が行われるとき、グラフィクスが字幕よりも手前に表示されるようにグラフィクスに視差を付与する、ようにされてもよい。この場合、グラフィクス表示が字幕表示に遮られることなく良好に行われる。
　また、本技術において、例えば、情報取得部で取得された画像データの各ピクチャの分割領域毎の視差情報を、グラフィクスの画像への重畳に応じて更新する視差情報更新部と、この更新された視差情報を画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える、ようにされてもよい。
　本技術によれば、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 ブロック（Block）毎の視差情報（視差ベクトル）の一例を示す図である。 ブロック単位の視差情報の生成方法の一例を説明するための図である。 ブロック毎の視差情報から所定の分割領域の視差情報を得るためのダウンサイジング処理の一例を説明するための図である。 符号化ブロック境界を跨がないようにピクチャ表示画面が分割されることを説明するための図である。 ピクチャ毎の各分割領域の視差情報の推移例を模式的に示す図である。 画像データのピクチャ毎に取得された視差情報のビデオストリームへの挿入タイミングを説明するための図である。 放送局においてトランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 トランスポートストリームの構成例を示す図である。 ＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 ＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 グラフィクス・デプス・インフォ・デスクリプタ（graphics_depth_info_descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 符号化方式がＡＶＣである場合におけるＧＯＰの先頭のアクセスユニットおよびＧＯＰの先頭以外のアクセスユニットの一例を示している。 「depth_information_for_graphics SEI message」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 「depth_information_for_graphics()」の構造例(Syntax)における主要な情報の内容（Semantics）を示す図である。 ピクチャ表示画面の分割例を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 「depth_information_for_graphics()」の構造例(Syntax)における主要な情報の内容（Semantics）を示す図である。 「user_data()」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。 視差情報によるグラフィクスの奥行き制御の概念を示す図である。 ビデオストリームにピクチャ単位で視差情報が挿入されている場合に画像データのピクチャタイミングで順次視差情報が取得されることを示す図である。 ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合に画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報がまとめて取得されることを示す図である。 画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示す図である。 テレビ受信機のデコード部の構成例を示すブロック図である。 奥行き制御部の制御を説明するためのブロック図である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（１／２）である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（２／２）である。 テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。 テレビ受信機におけるグラフィクスの他の奥行き制御例を示す図である。 画像送受信システムの他の構成例を示すブロック図である。 セットトップボックスの構成例を示すブロック図である。 テレビ受信機のＨＤＭＩによる系の構成例を示すブロック図である。 テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００およびテレビ受信機２００により構成されている。
　「放送局の説明」
　放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたビデオストリームが含まれる。例えば、左眼画像データおよび右眼画像データは、１つのビデオストリームにより伝送される。この場合、例えば、左眼画像データおよび右眼画像データは、インターリーブ処理され、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして構成され、１つのビデオストリームに含まれる。
　また、例えば、左眼画像データおよび右眼画像データは、それぞれ、別個のビデオストリームにより伝送される。この場合、例えば、左眼画像データＭＶＣのベースビュー(base view)のストリームに含まれ、右眼画像データはＭＶＣのノンベースビュー（Nonbase view）のストリームに含まれる。
　ビデオストリームには、画像データのピクチャ毎に取得された、左眼画像および右眼画像の一方に対する他方の視差情報（Disparity data）が挿入される。ピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域（Partition）の視差情報とからなっている。オブジェクトの再生位置がスクリーンより手前にある場合、この視差情報はマイナス値で得られる（図３５のＤＰａ参照）。一方、オブジェクトの再生位置がスクリーンより奥にある場合、この視差情報はプラス値で得られる（図３５のＤＰｃ参照）。
　各分割領域の視差情報は、ブロック（Block）毎の視差情報に対して、ダウンサイジング処理を施すことで、取得される。図２は、ブロック（Block）毎の視差情報（視差ベクトル）の一例を示している。
　図３は、ブロック単位の視差情報の生成方法の一例を示している。この例は、左眼ビュー（Left-View）から右眼ビュー（Right-View）を指し示す視差情報を求める例である。この場合、左眼ビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
　図示のように、左眼ビューのピクチャが検出画像とされ、右眼ビューのピクチャが参照画像とされて、左眼ビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、右眼ビューのピクチャのブロック探索がされて、視差データが求められる。
　すなわち、Ｎ番目のブロックの視差情報ＤＰｎは、例えば、以下の（１）式に示すように、このＮ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊは右眼ビューのピクチャにおける画素値、Ｄｉは左眼ビューのピクチャにおける画素値を示している。
　ＤＰｎ ＝ min ( Σ abs( differ (Dj - Di)))　　・・・（１）
　図４は、ダウンサイジング処理の一例を示している。図４（ａ）は、上述したように求められたブロック毎の視差情報を示している。このブロック毎の視差情報に基づいて、図４（ｂ）に示すように、グループ（Group Of Block）毎の視差情報が求められる。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図４（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差情報から最小の値の視差情報が選択されることで得られる。
　次に、このグループ毎の視差ベクトルに基づいて、図４（ｃ）に示すように、パーティション(Partition)毎の視差情報が求められる。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図４（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差情報は、例えば、そのパーティション内の全グループの視差情報から、最小の値の視差情報が選択されることで得られる。
　次に、このパーティション毎の視差情報に基づいて、図４（ｄ）に示すように、最上位層に位置するピクチャ全体（画像全体）の視差情報が求められる。図４（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの視差情報から、最小の値の視差情報が選択されることで得られる。
　ピクチャ表示画面は、分割情報に基づいて分割され、上述したように各分割領域の視差情報が取得される。この場合、符号化ブロック境界を跨がないようにピクチャ表示画面が分割される。図５は、ピクチャ表示画面の分割詳細例を示している。この例は、１９２０＊１０８０のピクセルフォーマットの例であって、水平、垂直にそれぞれ２分割され、Partition A，Partition B，Partition C，Partition Dの４つの分割領域が得られる例である。送信側では、１６×１６のブロック毎に符号化が行われるために、ブランクデータからなる８ラインが付加されて、１９２０画素＊１０８８ラインの画像データとして符号化が行われる。そこで、垂直方向に関しては、１０８８ラインを元に２分割されている。
　上述したように、ビデオストリームには、画像データのピクチャ（フレーム）毎に取得された、各分割領域（Partition）の視差情報が挿入される。図６は、各分割領域の視差情報の推移例を模式的に示している。この例は、水平、垂直にそれぞれ４分割され、Partition 0 ～ Partition 15 までの１６個の分割領域が存在する例である。この例では、図面の簡単化のため、Partition 0，Partition 3，Partition 9，Partition 15の視差情報Ｄ0，Ｄ3，Ｄ9，Ｄ15の推移のみを示している。各視差情報の値は、時間と共に値が変化する場合（Ｄ0，Ｄ3，Ｄ9）と固定である場合（Ｄ15）とがある。
　画像データのピクチャ毎に取得された視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位などの単位で挿入される。図７（ａ）は、ピクチャの符号化に同期させる例、つまりビデオストリームに視差情報をピクチャ単位で挿入する例を示している。この例においては、画像データを送信する際の遅延が少なくて済み、カメラで撮像した画像データを送信するライブ放送に適するものとなる。
　図７（ｂ）は、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる例、つまりビデオストリームに視差情報をＧＯＰ単位で挿入する例を示している。この例においては、図７（ａ）の例に比べて、画像データを送信する際の遅延が大きくなるが、複数のピクチャ（フレーム）の視差情報がまとめて送信されるので、受信側における視差情報の取得処理の回数を低減できる。図７（ｃ）は、ビデオのシーンに同期させる例、つまりビデオストリームに視差情報をシーン単位で挿入する例を示している。なお、図７（ａ）～（ｃ）は一例であって、その他の単位で挿入することも考えられる。
　また、トランスポートストリームＴＳのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下に挿入される。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
　「送信データ生成部の構成例」
　図８は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、画像データ出力部１１１Ｌ，１１１Ｒと、スケーラ１１２Ｌ，１１２Ｒと、ビデオエンコーダ１１３と、マルチプレクサ１１４と、視差データ生成部１１５を有している。また、この送信データ生成部１１０は、サブタイトルデータ出力部１１６と、サブタイトルエンコーダ１１７と、音声データ出力部１１８と、オーディオエンコーダ１１９を有している。
　画像データ出力部１１１Ｌ，１１１Ｒは、それぞれ、立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲを出力する。画像データ出力部１１１Ｌ，１１１Ｒは、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。画像データＶＬ，ＶＲは、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データである。
　スケーラ１１２Ｌ，１１２Ｒは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、画像データＶＬ，ＶＲを１つのビデオストリームで伝送するために、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データを構成する場合には、水平方向あるいは垂直方向に１／２にスケールダウンして出力する。また、例えば、画像データＶＬ，ＶＲを、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで伝送する場合には、スケーリング処理を行うことなく、画像データＶＬ，ＶＲをそのまま出力する。
　ビデオエンコーダ１１３は、スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ１１３は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビデオストリームを生成する。この場合、ビデオエンコーダ１１３は、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリーム（ビデオエレメンタリストリーム）を生成する。
　視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒから出力される左眼画像データＶＬ、右眼画像データＶＲに基づいて、ピクチャ（フレーム）毎に、視差情報を生成する。視差データ生成部１１５は、ピクチャ毎に、上述したようにブロック（Block）毎の視差情報を取得する。なお、視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒが記憶媒体を有する画像データ読み出し部である場合、ブロック（Block）毎の視差情報を、画像データと共に記憶媒体から読み出して取得する構成も考えられる。また、視差データ生成部１１５は、例えばユーザ操作により与えられるピクチャ表示画面の分割情報に基づき、ブロック（Block）毎の視差情報に対してダウンサイジング処理を行って、各分割領域（Partition）の視差情報を生成する。
　ビデオエンコーダ１１３は、視差データ生成部１１５で生成されたピクチャ毎の視差情報を、ビデオストリームに挿入する。ここで、ピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなっている。この場合、例えば、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位で挿入される（図７参照）。なお、左眼画像データおよび右眼画像データがそれぞれ別個のビデオデータで伝送されるには、いずれかのビデオストリームにのみ挿入されてもよい。
　サブタイトルデータ出力部１１６は、画像に重畳するサブタイトル（字幕）のデータを出力する。このサブタイトルデータ出力部１１６は、例えば、パーソナルコンピュータなどにより構成される。サブタイトルエンコーダ１１７は、サブタイトルデータ出力部１１６から出力されたサブタイトルデータを含むサブタイトルストリーム（サブタイトルエレメンタリストリーム）を生成する。なお、サブタイトルエンコーダ１１７は、視差データ生成部１１５で生成されるブロック毎の視差情報を参照し、サブタイトルデータに、サブタイトルの表示位置に対応した視差情報を付加する。すなわち、サブタイトルストリームに含まれるサブタイトルデータは、サブタイトルの表示位置に対応した視差情報を持つものとなる。
　音声データ出力部１１８は、画像データに対応した音声データを出力する。この音声データ出力部１１８は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１９は、音声データ出力部１１８から出力される音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
　マルチプレクサ１１４は、ビデオエンコーダ１１３、サブタイトルエンコーダ１１７およびオーディオエンコーダ１１９で生成された各エレメンタリストリームをＰＥＳパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)パケットのヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
　マルチプレクサ１１４は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームに視差情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下などに挿入される。
　図８に示す送信データ生成部１１０の動作を簡単に説明する。画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、それぞれ、スケーラ１１２Ｌ，１１２Ｒに供給される。スケーラ１１２Ｌ，１１２Ｒでは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データは、ビデオエンコーダ１１３に供給される。
　ビデオエンコーダ１１３では、左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１３では、後段に備えるストリームフォーマッタにより、この符号化データを含むビデオストリームが生成される。この場合、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリームが生成される。
　また、画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、視差データ生成部１１５に供給される。この視差データ生成部１１５では、左眼画像データＶＬ、右眼画像データＶＲに基づいて、ピクチャ（フレーム）毎に、視差情報が生成される。視差データ生成部１１５では、ピクチャ毎に、ブロック（Block）毎の視差情報が取得される。そして、この視差データ生成部１１５では、さらに、例えばユーザ操作により与えられるピクチャ表示画面の分割情報に基づき、ブロック（Block）毎の視差情報に対してダウンサイジング処理が行われて、各分割領域（Partition）の視差情報が生成される。
　視差データ生成部１１５で生成されるピクチャ毎の視差情報（ピクチャ表示画面の分割情報を含む）は、ビデオエンコーダ１１３に供給される。ビデオエンコーダ１１３では、ビデオストリームに、ピクチャ毎の視差情報が挿入される。この場合、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位で挿入される。
　また、サブタイトルデータ出力部１１６では、画像に重畳するサブタイトル（字幕）のデータが出力される。このサブタイトルデータは、サブタイトルエンコーダ１１７に供給される。サブタイトルエンコーダ１１７では、サブタイトルデータを含むサブタイトルストリームが生成される。この場合、サブタイトルエンコーダ１１７では、視差データ生成部１１５で生成されるブロック毎の視差情報が参照され、サブタイトルデータに、表示位置に対応した視差情報が付加される。
　また、音声データ出力部１１８では、画像データに対応した音声データが出力される。この音声データは、オーディオエンコーダ１１９に供給される。このオーディオエンコーダ１１９では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。
　ビデオエンコーダ１１３で得られるビデオストリーム、サブタイトルエンコーダ１１７で得られるサブタイトルストリームおよびオーディオエンコーダ１１９で得られるオーディオストリームは、それぞれ、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがＰＥＳパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１４では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。
　［識別情報、視差情報の構造、ＴＳ構成］
　図９は、トランスポートストリームＴＳの構成例を示している。この構成例では、左眼画像データおよび右眼画像データがそれぞれ別個のビデオストリームで伝送される例を示している。すなわち、左眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES1」および右眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。また、この構成例では、サブタイトルデータ（視差情報を含む）が符号化されているサブタイトルストリームのＰＥＳパケット「video PES3」および音声データが符号化されているオーディオストリームのＰＥＳパケット「video PES4」が含まれている。
　ビデオストリームのユーザデータ領域には、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入されている。例えば、ピクチャ毎の視差情報がピクチャ単位で挿入される場合、このデプス・インフォメーション・フォー・グラフィクスは、ビデオストリームの各ピクチャのユーザデータ領域に挿入される。また、例えば、ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合、このデプス・インフォメーション・フォー・グラフィクスは、ビデオストリームのＧＯＰの先頭のピクチャのユーザデータ領域に挿入される。なお、この構成例では、２つのビデオストリームの双方にデプス・インフォメーション・フォー・グラフィクスが挿入されるように示しているが、一方のビデオストリームのみに挿入されてもよい。
　トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームＴＳに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。
　ＰＭＴの配下に、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
　上述したビデオストリームに視差情報が挿入されているか否かを示す識別情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）あるいはＭＶＣ・エクステンション・デスクリプタ（MVC_extension_descriptor）、または、新規に定義されるグラフィクス・デプス・インフォ・デスクリプタ（graphics_depth_info_descriptor）である。なお、グラフィクス・デプス・インフォ・デスクリプタに関しては、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
　図１０（ａ）は、識別情報が記述されたＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４－ＡＶＣ Frame compatible フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「graphics_depth_info_not_existed_flag」の１ビットのフラグ情報が、新たに、定義される。
　このフラグ情報は、図１０（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　図１１（ａ）は、識別情報が記述されたＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４－ＡＶＣＡｎｎｅｘ Ｈ ＭＶＣ フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「graphics_depth_info_not_existed_flag」の１ビットのフラグ情報が、新たに、定義される。
　このフラグ情報は、図１１（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　図１２（ａ）は、グラフィクス・デプス・インフォ・デスクリプタ（graphics_depth_info_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「graphics_depth_info_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、「graphics_depth_info_not_existed_flag」の１ビットのフラグ情報が記述されている。
　このフラグ情報は、図１２（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　次に、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）を、ビデオストリームのユーザデータ領域に挿入する場合について説明する。
　例えば、符号化方式がＡＶＣである場合、「depth_information_for_graphics()」は、アクセスユニットの“ＳＥＬｓ”の部分に、「depth_information_for_graphics SEI message」として、挿入される。図１３（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図１３（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合には、ＧＯＰの先頭のアクセスユニットにのみ「depth_information_for_graphics SEI message」が挿入される。
　図１４（ａ）は、「depth_information_for_graphics SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「depth_information_for_graphics_data()」が挿入される。図１４（ｂ）は、「depth_information_for_graphics_data()」の構造例(Syntax)を示している。この中に、デプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入される。「userdata_id」は、符号なし１６ビットで示される「depth_information_for_graphics()」の識別子である。
　図１５は、ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示している。また、図１６は、図１５に示す構造例における主要な情報の内容（Semantics）を示している。
　「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。“０００”は分割なしを示し、“００１”は水平、垂直を各々２等分することを示し、“０１０”は水平、垂直を各々３等分することを示し、“０１１”は水平、垂直を各々４等分することを示す。
　「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、「partition_type=000」であるとき、図１７（ａ）に示すように分割領域（Partition）の総数は「１」である。また、例えば、「partition_type=001」であるとき、図１７（ｂ）に示すように分割領域（Partition）の総数は「４」である。また、例えば、「partition_type=011」であるとき、図１７（ｃ）に示すように分割領域（Partition）の総数は「１６」である。
　「disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の代表視差情報（代表disparity値）を示す。該当領域の視差情報の最小値である場合が多い。
　図１８は、ピクチャ毎の視差情報をＧＯＰ単位で挿入する場合のように、複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示している。また、図１９は、図１８に示す構造例における主要な情報の内容（Semantics）を示している。
　「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information_for_graphics()」には、ピクチャ数分の各分割領域（Partition）の「disparity_in_partition」が含まれる。詳細説明は省略するが、図１８の構造例のその他は、図１５に示す構造例と同様である。
　また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、「depth_information_for_graphics()」は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２０（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
　この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「depth_information_for_graphics_data_identifier」とされ、ユーザデータが、「depth_information_for_graphics_data」であることを識別可能とする。この識別子の後のデータ本体として、「depth_information_for_graphics_data()」が挿入される。図２０（ｂ）は、「depth_information_for_graphics_data()」の構造例(Syntax)を示している。この中に、「depth_information_for_graphics()」が挿入される（図１５、図１８参照）。
　なお、符号化方式がＡＶＣあるいはＭＰＥＧ２ｖｉｄｅｏである場合におけるビデオストリームへの視差情報の挿入例について説明した。詳細説明は省略するが、その他の同様の構造の符号化方式、例えばＨＥＶＣなどにあっても、ビデオストリームへの視差情報の挿入を同様の構造で行うことができる。
　「テレビ受信機の説明」
　テレビ受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、テレビ受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、立体画像を構成する左眼画像データおよび右眼画像データを生成する。また、テレビ受信機２００は、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報を抽出する。
　テレビ受信機２００は、画像にグラフィクスを重畳表示する際には、画像データおよび視差情報と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、テレビ受信機２００は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
　上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクスを、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、ＯＳＤあるいはアプリケーションあるいは番組情報のＥＰＧなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
　図２１は、視差情報によるグラフィクスの奥行き制御の概念を示している。視差情報がマイナス値である場合、スクリーン上において左眼表示用のグラフィクスが右側に、右眼表示用のグラフィクスが左側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも手前となる。また、視差情報がプラス値である場合、スクリーン上において左眼表示用のグラフィクスが左側に、右眼表示用のグラフィクスが右側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも奥となる。
　上述したように、ビデオストリームには、画像データのピクチャ毎に取得された視差情報が挿入されている。そのため、テレビ受信機２００は、視差情報によるグラフィクスの奥行き制御を、グラフィクスの表示タイミングに合った視差情報を用いて精度よく行うことができる。
　図２２は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合の例であって、テレビ受信機２００では、画像データのピクチャタイミングで順次視差情報が取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報が使用され、グラフィクスに適切な視差が付与される。また、図２３は、例えば、ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合の例であって、テレビ受信機２００では、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報（視差情報セット）がまとめて取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報が使用され、グラフィクスに適切な視差が付与される。
　図２４（ａ）の「Side View」は、画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示している。この表示例では、背景、中景オブジェクトおよび近景オブジェクトとからなる画像上に、字幕およびグラフィクスが重畳された例である。図２４（ｂ）の「Top View」は、背景、中景オブジェクト、近景オブジェクト、字幕およびグラフィクスの遠近感を示している。字幕およびグラフィクスは、表示位置に対応するオブジェクトよりも手前にあるように認識されることを示している。なお、図示していないが、字幕とグラフィクスの表示位置が重なる場合には、例えば、グラフィクスが字幕よりも手前に認識されるように、グラフィクスに適切な視差が付与される。
　「テレビ受信機のデコード部の構成例」
　図２５は、テレビ受信機２００の構成例を示している。テレビ受信機２００は、コンテナバッファ２１１と、デマルチプレクサ２１２と、コーデッドバッファ２１３と、ビデオデコーダ２１４と、デコーデッドバッファ２１５と、スケーラ２１６と、重畳部２１７を有している。
　また、テレビ受信機２００は、視差情報バッファ２１８と、テレビ（ＴＶ）グラフィクス発生部２１９と、奥行き制御部２２０と、グラフィクスバッファ２２１を有している。また、テレビ受信機２００は、コーデッドバッファ２３１と、サブタイトルデコーダ２３２と、ピクセルバッファ２３３と、サブタイトル視差情報バッファ２３４と、サブタイトル表示制御部２３５を有している。さらに、テレビ受信機２００は、コーデッドバッファ２４１と、オーディオデコーダ２４２と、オーディオバッファ２４３と、チャネルミキシング部２４４を有している。
　コンテナバッファ２１１は、デジタルチューナ等で受信されたトランスポートストリームＴＳを一時的に記憶する。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとして、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
　例えば、左眼画像データおよび右眼画像データによりサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データが構成されて１つのビデオストリームで送られてくることがある。また、例えば、左眼画像データおよび右眼画像データが、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくることがある。
　デマルチプレクサ２１２は、コンテナバッファ２１１に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１２は、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag」のフラグ情報）を抽出し、図示しない制御部（ＣＰＵ）に送る。ビデオデコーダ２１４は、制御部（ＣＰＵ）の制御のもと、識別情報が視差情報の挿入を示すとき、後述するように、ビデオストリームから視差情報を取得する。
　コーデッドバッファ２１３は、デマルチプレクサ２１２で抽出されるビデオストリームを一時的に記憶する。ビデオデコーダ２１４は、コーデッドバッファ２１３に記憶されているビデオストリームにデコード処理を行って、左眼画像データおよび右眼画像データを取得する。また、ビデオデコーダ２１４は、ビデオストリームに挿入されている画像データのピクチャ毎の視差情報を取得する。各ピクチャの視差情報には、ピクチャ表示画面の分割情報と、各分割領域（Partition）の視差情報（disparity）が含まれている。デコーデッドバッファ２１５は、ビデオデコーダ２１４で取得された左眼画像データおよび右眼画像データを一時的に記憶する。また、視差情報バッファ２１８は、ビデオデコーダ２１４で取得された画像データのピクチャ毎の視差情報を一時的に記憶する。
　スケーラ２１６は、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、左眼画像データおよび右眼画像データがサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして１つのビデオストリームで送られてくる場合には、水平方向あるいは垂直方向に１／２にスケールアップして出力する。また、例えば、左眼画像データおよび右眼画像データがＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくる場合には、スケーリング処理を行うことなく、左眼画像データおよび右眼画像データをそのまま出力する。
　コーデッドバッファ２３１は、デマルチプレクサ２１４で抽出されるサブタイトルストリームを一時的に記憶する。サブタイトルデコーダ２３２は、上述の送信データ生成部１１０のサブタイトルエンコーダ１１７（図８参照）とは逆の処理を行う。すなわち、サブタイトルデコーダ２３２は、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理を行って、サブタイトルデータを得る。
　このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。ピクセルバッファ２３３は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を一時的に記憶する。サブタイトル視差情報バッファ２３４は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」を一時的に記憶する。
　サブタイトル表示制御部２３５は、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を生成する。テレビグラフィクス発生部２１９は、ＯＳＤあるいはアプリケーションなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。
　グラフィクスバッファ２２１は、テレビグラフィクス発生部２１９で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、サブタイトル表示制御部２３５で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を重畳する。
　また、重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部２２０により、視差が付与される。ここで、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitledata」と同一画素を共有する場合、重畳部２１７は、サブタイトルデータの上にグラフィクスデータを上書きする。
　奥行き制御部２２０は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部２２０は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
　奥行き制御部２２０は、図２６に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部２２０は、視差情報バッファ２１８に記憶されている画像データのピクチャ毎の各分割領域（Partition）の視差情報（Disparity）を用いる。また、奥行き制御部２２０は、ピクセルバッファ２３３に記憶されているサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を用いる。
　また、奥行き制御部２２０は、サブタイトル視差情報バッファ２３４に記憶されているサブタイトル（字幕）の視差情報「Subtitle disparity」を用いる。また、奥行き制御部２２０は、テレビグラフィクス発生部２１９で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」を用いる。また、奥行き制御部２２０は、ビデオストリームに視差情報が挿入されているか否かを示す識別情報を用いる。
　図２７、図２８のフローチャートは、奥行き制御部２２０の制御処理の手順の一例を示している。奥行き制御部２２０は、この制御処理を、グラフィクス表示を行う各ピクチャ（フレーム）で実行する。奥行き制御部２２０は、ステップＳＴ１において、制御処理を開始する。その後に、ステップＳＴ２において、識別情報に基づいて、ビデオストリームにグラフィクス向けの視差情報の挿入があるか否かを判断する。
　ビデオストリームに視差情報の挿入があるとき、奥行き制御部２２０は、ステップＳＴ３の処理に移る。このステップＳＴ３において、グラフィクスを重畳表示（overlay）する座標が含まれる分割領域（partition）を全て検査する。そして、奥行き制御部２２０は、ステップＳＴ４において、対象となる分割領域（partition）の視差情報（disparity）を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報（disparity）の値（graphics_disparity）とする。
　次に、奥行き制御部２２０は、ステップＳＴ５の処理に移る。上述のステップＳＴ２でビデオストリームに視差情報の挿入がないとき、奥行き制御部２２０は、直ちに、ステップＳＴ５の処理に移る。このステップＳＴ５において、奥行き制御部２２０は、視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるか否かを判断する。
　視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるとき、奥行き制御部２２０は、ステップＳＴ６において、サブタイトル用の視差情報（disparity）の値（subtitle_disparity）と、グラフィクス用の視差情報の値（graphics_disparity）とを比較する。なお、グラフィクス用の視差情報の値（graphics_disparity）は、ビデオストリームにグラフィクス用の視差情報（disparity）の挿入がないときは、例えば、「０」とされる。
　次に、奥行き制御部２２０は、ステップＳＴ７において、「subtitle_disparity＞（graphics_disparity）の条件を満足するか否かを判断する。この条件を満足するとき、奥行き制御部２２０は、ステップＳＴ８において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報（disparity）の値（graphics_disparity）と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ８の処理の後、ステップＳＴ９において、制御処理を終了する。
　一方、ステップＳＴ７で条件を満足しないとき、奥行き制御部２２０は、ステップＳＴ１０において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、サブタイトル用の視差情報（disparity）よりも小さい値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１０の処理の後、ステップＳＴ９において、制御処理を終了する。
　また、ステップＳＴ５で視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）がないとき、奥行き制御部２２０は、ステップＳＴ１１において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、テレビ受信機２００で算出される視差情報（disparity）の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１１の処理の後、ステップＳＴ９において、制御処理を終了する。
　コーデッドバッファ２４１は、デマルチプレクサ２１２で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ２４２は、上述の送信データ生成部１１０のオーディオエンコーダ１１９（図８参照）とは逆の処理を行う。すなわち、オーディオデコーダ２４２は、コーデッドバッファ２４１に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。オーディオバッファ２４３は、オーディオデコーダ２４２で得られる音声データを一時的に記憶する。チャネルミキシング部２４４は、オーディオバッファ２４３に記憶されている音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
　なお、デコーデッドバッファ２１５、視差情報バッファ２１８、ピクセルバッファ２３３、サブタイトル視差情報バッファ２３４およびオーディオバッファ２４３からの情報（データ）の読み出しは、ＰＴＳに基づいて行われ、転送同期が取られる。
　図２５に示すテレビ受信２００の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームＴＳは、コンテナバッファ２１１に一時的に記憶される。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとしては、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
　デマルチプレクサ２１２では、コンテナバッファ２１１に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームが抽出される。また、デマルチプレクサ２１２では、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag」のフラグ情報）が抽出され、図示しない制御部（ＣＰＵ）に送られる。
　デマルチプレクサ２１２で抽出されるビデオストリームはコーデッドバッファ２１３に供給されて一時的に記憶される。そして、ビデオデコーダ２１４では、コーデッドバッファ２１３に記憶されているビデオストリームのデコード処理が行われて、左眼画像データおよび右眼画像データが取得される。この左眼画像データおよび右眼画像データは、デコーデッドバッファ２１５に一時的に記憶される。また、ビデオデコーダ２１４では、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報が取得される。この視差情報は、視差情報バッファ２１８に一時的に記憶される。
　スケーラ２１６では、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。このスケーラ２１６からは、例えば、１９２０＊１０８０のフルＨＤのサイズの左眼画像データおよび右眼画像データが得られる。この左眼画像データおよび右眼画像データは、重畳部２１７に供給される。
　また、デマルチプレクサ２１２で抽出されるサブタイトルストリームは、コーデッドバッファ２３１に供給されて一時的に記憶される。サブタイトルデコーダ２３２では、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理が行われて、サブタイトルデータが得られる。このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。
　サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」は、ピクセルバッファ２３３に一時的に記憶される。また、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」はサブタイトル視差情報バッファ２３４に一時的に記憶される。
　サブタイトル表示制御部２３５では、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が生成される。このように生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」は、重畳部２１７に供給され、それぞれ、左眼画像データおよび右眼画像データに重畳される。
　テレビ（ＴＶ））グラフィクス発生部２１９では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1）」が含まれている。グラフィクスバッファ２２１には、テレビグラフィクス発生部２１９で発生されたグラフィクスデータが一時的に記憶される。
　重畳部２１７では、左眼画像データおよび右眼画像データにグラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部２２０により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。この場合、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitledata」と同一画素を共有する場合、重畳部２１７では、サブタイトルデータの上にグラフィクスデータが上書きされる。
　重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
　デマルチプレクサ２１２で抽出されるオーディオストリームは、コーデッドバッファ２４１に供給されて一時的に記憶される。オーディオデコーダ２４２では、コーデッドバッファ２４１に記憶されているオーディオスストリームのデコード処理が行われて、復号化された音声データが得られる。この音声データはオーディオバッファ２４３を介してチャネルミキシング部２４４に供給される。チャネルミキシング部２４４では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
　図２９は、テレビ受信機２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクスは、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前に表示される。
　図３０も、テレビ受信機２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクスは、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報、さらにはサブタイトル（字幕）の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前で、さらに、サブタイトル（字幕）よりも手前に表示される。なお、この場合、サブタイトル（字幕）も、サブタイトル（字幕）の視差情報に基づいて、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の画像（ビデオ）オブジェクトより手前に表示される。
　以上説明したように、図１に示す画像送受信システム１０においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信される。そのため、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。
　また、図１に示す画像送受信システム１０においては、トランスポートストリームＴＳのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。そのため、この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
　また、図１に示す画像送受信システム１０においては、ビデオストリームに挿入されるピクチャ毎の視差情報が、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとされる。そのため、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
　＜２．変形例＞
　なお、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、図３１に示すように、テレビ受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックス２００Ａおよびテレビ受信機２００Ｂの構成などであってもよい。
　図３２は、セットトップボックス２００Ａの構成例を示している。この図３２において、図２５と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。セットトップボックス（ＳＴＢ）グラフィクス発生部２１９Ａは、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1）」が含まれている。グラフィクスバッファ２２１には、セットトップボックスグラフィクス発生部２１９Ａで発生されたグラフィクスデータが一時的に記憶される。
　重畳部２１７では、サブタイトル表示制御部２３５で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が、それぞれ、左眼画像データおよび右眼画像データに重畳される。また、この重畳部２１７では、左眼画像データおよび右眼画像データにグラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部２２０により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。
　重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、ＨＤＭＩ送信部に送られる。また、チャネルミキシング部２４４で得られた各チャネルの音声データもＨＤＭＩ送信部に送られる。
　また、視差情報バッファ２１８に記憶されている画像データのピクチャ毎の各分割領域（Partition）の視差情報（Disparity）は、奥行き制御部２２０を通じて、ＨＤＭＩ送信部に送られる。この場合、サブタイトル（字幕）の表示位置およびグラフィクスの表示位置に対応した分割領域（Partition）の視差情報（Disparity）は、サブタイトル（字幕）あるいはグラフィクスの視差付与に用いられた視差情報（Disparity）で更新されたものとされる。
　例えば、上述の図３０の奥行き制御例の場合、まず、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の視差情報（Disparity）の値が、サブタイトルへの視差付与に使用された視差情報値（subtitle_disparity）で更新される。その後、８つの分割領域（Partition2,3,6,7,10,11,14,15）の視差情報（Disparity）の値が、グラフィクスへの視差付与に使用された視差情報値（graphics_disparity）で更新される。
　詳細説明は省略するが、図３２に示すセットトップボックス２００Ａのその他は、図２５に示すテレビ受信機２００と同様に構成される。
　図３３は、テレビ受信機２００ＢのＨＤＭＩ入力系の構成例を示している。この図３３において、図２５と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。ＨＤＭＩ受信部で受信された左眼画像データおよび右眼画像データは、スケーラ２５１で必要に応じてスケーリング処理された後に、重畳部２１７に供給される。
　また、ＨＤＭＩ受信部で受信された、画像データのピクチャ毎の各分割領域の視差情報（Disparity）は、奥行き制御部２２０に供給される。また、テレビ（ＴＶ））グラフィクス発生部２１９では、ＯＳＤあるいはアプリケーションなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1）」が含まれている。グラフィクスバッファ２２１には、テレビグラフィクス発生部２１９で発生されたグラフィクスデータが一時的に記憶される。また、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」は、奥行き制御部２２０に供給される。
　重畳部２１７では、左眼画像データおよび右眼画像データにグラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部２２０により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。重畳部２１７からは、左眼表示用のグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
　また、ＨＤＭＩ受信部で受信された各チャネルの音声データは、音質や音量の調整を行うオーディオ処理部２５２を介してスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
　図３４は、テレビ受信機２００Ｂにおけるグラフィクスの奥行き制御例を示している。この例において、ＴＶグラフィクスに関しては、右側の４つの分割領域（Partition 10,11,14,15）の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、ＴＶグラフィクスは、これら４つの分割領域の画像（ビデオ）オブジェクトより手前に表示される。なお、この場合、サブタイトル（字幕）、さらにはＳＴＢのグラフィクスは、既に画像（ビデオ）に重畳されている。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
　また、本技術は、以下のような構成を取ることもできる。
　（１）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
　送信装置。
　（２）上記視差情報挿入部は、
　上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはＧＯＰ単位で挿入する
　前記（１）に記載の送信装置。
　（３）上記視差情報取得部は、
　上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する
　前記（１）または（２）に記載の送信装置。
　（４）上記視差情報取得部は、
　上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
　前記（３）に記載の送信装置。
　（５）上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
　前記（３）または（４）に記載の送信装置。
　（６）上記画像データ送信部は、
　表示位置に対応した上記視差情報を持つ字幕データが符号化されて得られた字幕ストリームを上記コンテナに含めて送信する
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記コンテナは、トランスポートストリームであり、
　上記識別情報挿入部は、
　上記識別情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（８）上記識別情報挿入部は、
　上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記識別情報を記述する
　前記（７）に記載の送信装置。
　（９）立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入するステップとを備える
　送信方法。
　（１０）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
　上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
　上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
　送信装置。
　（１１）上記視差情報挿入部は、
　上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはＧＯＰ単位で挿入する
　前記（１０）に記載の送信装置。
　（１２）上記視差情報取得部は、
　上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
　前記（１０）または（１１）に記載の送信装置。
　（１３）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得ステップと、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入ステップと、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを備え、
　上記視差情報取得ステップでは、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
　上記視差情報挿入ステップで上記ビデオストリームに挿入されるピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなる
　送信方法。
　（１４）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
　画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
　上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
　受信装置。
　（１５）上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報が挿入されており、
　上記コンテナから上記識別情報を取得する識別情報取得部をさらに備え、
　上記情報取得部は、
　上記取得された識別情報が上記視差情報の挿入があることを示すとき、上記コンテナに含まれるビデオストリームから上記視差情報を取得する
　前記（１４）に記載の受信装置。
　（１６）上記取得された識別情報が上記視差情報の挿入がないことを示すとき、上記画像データ処理部は、装置内で算出された視差情報を用いる
　前記（１５）に記載の受信装置。
　（１７）上記画像データ処理部は、
　上記グラフィクスの表示と共に字幕の表示が行われるとき、上記グラフィクスが上記字幕よりも手前に表示されるように上記グラフィクスに視差を付与する
　前記（１４）から（１６）のいずれかに記載の受信装置。
　（１８）上記画像データ処理部は、
　上記グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報を使用して、該グラフィクスに視差を付与する
　前記（１４）から（１７）のいずれかに記載の受信装置。
　（１９）上記情報取得部で取得された上記画像データの各ピクチャの分割領域毎の視差情報を、上記グラフィクスの画像への重畳に応じて更新する視差情報更新部と、
　上記更新された視差情報を上記画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える
　前記（１４）から（１８）のいずれかに記載の受信装置。
　（２０）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得ステップと、
　画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生ステップと、
　上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
　受信方法。
　本技術の主な特徴は、画像データのピクチャ毎に取得された視差情報をビデオストリームに挿入して送信するものにあって、このビデオストリームを含むトランスポートストリーム（コンテナ）のレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報を挿入するようにしたことで、受信側においてビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことを可能にしたことである（図６参照）。また、ビデオストリームに挿入するピクチャ毎の視差情報をピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとすることで、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことを可能にしたことである（図１５、図１８参照）。
　１０，１０Ａ・・・画像送受信システム
　１００Ａ・・・放送局
　１１１Ｌ，１１１Ｒ・・・画像データ出力部
　１１２Ｌ，１１２・・・スケーラ
　１１３・・・ビデオエンコーダ
　１１４・・・マルチプレクサ
　１１５・・・視差データ生成部
　１１６・・・サブタイトルデータ出力部
　１１７・・・サブタイトルエンコーダ
　１１８・・・音声データ出力部
　１１９・・・オーディオエンコーダ
　２００，２００Ｂ・・・テレビ受信機
　２００・・・セットトップボックス
　２１１・・・コンテナバッファ
　２１２・・・デマルチプレクサ
　２１３・・・コーデッドバッファ
　２１４・・・ビデオデコーダ
　２１５・・・デコーデッドバッファ
　２１６・・・スケーラ
　２１７・・・重畳部
　２１８・・・視差情報バッファ
　２１９・・・テレビ（ＴＶ）グラフィクス発生部
　２１９Ａ・・・セットトップボックス（ＳＴＢ）グラフィクス発生部
　２２０・・・奥行き制御部
　２２１・・・グラフィクスバッファ
　２３１・・・コーデッドバッファ
　２３２・・・サブタイトルデコーダ
　２３３・・・ピクセルバッファ
　２３４・・・サブタイトル視差情報バッファ
　２３５・・・サブタイトル表示制御部
　２４１・・・コーデッドバッファ
　２４２・・・オーディオデコーダ
　２４３・・・オーディオバッファ
　２４４・・・チャネルミキシング部
　２５１・・・スケーラ
　２５２・・・オーディオ処理部

Claims (20)

  1. 　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
    　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
    　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
    　送信装置。
  2. 　上記視差情報挿入部は、
    　上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはＧＯＰ単位で挿入する
    　請求項１に記載の送信装置。
  3. 　上記視差情報取得部は、
    　上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する
    　請求項１に記載の送信装置。
  4. 　上記視差情報取得部は、
    　上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
    　請求項３に記載の送信装置。
  5. 　上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
    　請求項３に記載の送信装置。
  6. 　上記画像データ送信部は、
    　表示位置に対応した上記視差情報を持つ字幕データが符号化されて得られた字幕ストリームを上記コンテナに含めて送信する
    　請求項１に記載の送信装置。
  7. 　上記コンテナは、トランスポートストリームであり、
    　上記識別情報挿入部は、
    　上記識別情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
    　請求項１に記載の送信装置。
  8. 　上記識別情報挿入部は、
    　上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記識別情報を記述する
    　請求項７に記載の送信装置。
  9. 　立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
    　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
    　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入するステップとを備える
    　送信方法。
  10. 　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
    　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
    　上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
    　上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
    　送信装置。
  11. 　上記視差情報挿入部は、
    　上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはＧＯＰ単位で挿入する
    　請求項１０に記載の送信装置。
  12. 　上記視差情報取得部は、
    　上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
    　請求項１０に記載の送信装置。
  13. 　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
    　上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得ステップと、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入ステップと、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを備え、
    　上記視差情報取得ステップでは、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
    　上記視差情報挿入ステップで上記ビデオストリームに挿入されるピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなる
    　送信方法。
  14. 　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
    　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    　上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
    　上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
    　画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
    　上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
    　受信装置。
  15. 　上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報が挿入されており、
    　上記コンテナから上記識別情報を取得する識別情報取得部をさらに備え、
    　上記情報取得部は、
    　上記取得された識別情報が上記視差情報の挿入があることを示すとき、上記コンテナに含まれるビデオストリームから上記視差情報を取得する
    　請求項１４に記載の受信装置。
  16. 　上記取得された識別情報が上記視差情報の挿入がないことを示すとき、上記画像データ処理部は、装置内で算出された視差情報を用いる
    　請求項１５に記載の受信装置。
  17. 　上記画像データ処理部は、
    　上記グラフィクスの表示と共に字幕の表示が行われるとき、上記グラフィクスが上記字幕よりも手前に表示されるように上記グラフィクスに視差を付与する
    　請求項１４に記載の受信装置。
  18. 　上記画像データ処理部は、
    　上記グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報を使用して、該グラフィクスに視差を付与する
    　請求項１４に記載の受信装置。
  19. 　上記情報取得部で取得された上記画像データの各ピクチャの分割領域毎の視差情報を、上記グラフィクスの画像への重畳に応じて更新する視差情報更新部と、
    　上記更新された視差情報を上記画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える
    　請求項１４に記載の受信装置。
  20. 　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
    　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    　上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
    　上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得ステップと、
    　画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生ステップと、
    　上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
    　受信方法。
PCT/JP2012/082710 2012-01-13 2012-12-17 送信装置、送信方法、受信装置および受信方法 WO2013105401A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/003,648 US20140078248A1 (en) 2012-01-13 2012-12-17 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
EP12865118.9A EP2672713A4 (en) 2012-01-13 2012-12-17 TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
CN2012800120799A CN103416069A (zh) 2012-01-13 2012-12-17 发送设备、发送方法、接收设备以及接收方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012005688 2012-01-13
JP2012-005688 2012-01-13

Publications (1)

Publication Number Publication Date
WO2013105401A1 true WO2013105401A1 (ja) 2013-07-18

Family

ID=48781360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082710 WO2013105401A1 (ja) 2012-01-13 2012-12-17 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US20140078248A1 (ja)
EP (1) EP2672713A4 (ja)
JP (1) JPWO2013105401A1 (ja)
CN (1) CN103416069A (ja)
WO (1) WO2013105401A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203207A1 (ja) 2018-04-19 2019-10-24 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
CN110536167A (zh) * 2019-09-20 2019-12-03 京东方科技集团股份有限公司 视频信号发送方法、视频信号接收方法、装置和显示设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
US20140111612A1 (en) * 2012-04-24 2014-04-24 Sony Corporation Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method
KR101781887B1 (ko) * 2014-02-23 2017-09-26 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US9369727B2 (en) 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
WO2016098790A1 (ja) * 2014-12-19 2016-06-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016132977A1 (ja) * 2015-02-20 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10575062B2 (en) * 2015-07-09 2020-02-25 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
JP6943179B2 (ja) * 2015-07-16 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
TWI728061B (zh) * 2016-03-15 2021-05-21 日商新力股份有限公司 送訊裝置及收訊裝置
JP6942695B2 (ja) * 2016-09-14 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2011001856A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
WO2011001858A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095074A1 (en) * 2009-02-17 2010-08-26 Koninklijke Philips Electronics N.V. Combining 3d image and graphical data
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
RU2554465C2 (ru) * 2009-07-27 2015-06-27 Конинклейке Филипс Электроникс Н.В. Комбинирование 3d видео и вспомогательных данных
GB2473282B (en) * 2009-09-08 2011-10-12 Nds Ltd Recommended depth value

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2011001856A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
WO2011001858A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2672713A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203207A1 (ja) 2018-04-19 2019-10-24 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
CN111971955A (zh) * 2018-04-19 2020-11-20 索尼公司 接收装置、接收方法、发送装置和发送方法
CN110536167A (zh) * 2019-09-20 2019-12-03 京东方科技集团股份有限公司 视频信号发送方法、视频信号接收方法、装置和显示设备
US11849251B2 (en) 2019-09-20 2023-12-19 Boe Technology Group Co., Ltd. Method and device of transmitting video signal, method and device of receiving video signal, and display device

Also Published As

Publication number Publication date
EP2672713A1 (en) 2013-12-11
CN103416069A (zh) 2013-11-27
JPWO2013105401A1 (ja) 2015-05-11
EP2672713A4 (en) 2014-12-31
US20140078248A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
JP6406327B2 (ja) 受信装置および受信方法
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9712803B2 (en) Receiving system and method of processing data
JP6365697B2 (ja) 受信装置および受信方法
US20130002819A1 (en) Receiving system and method of processing data
WO2013108531A1 (ja) 受信装置、受信方法および電子機器
US20140071232A1 (en) Image data transmission device, image data transmission method, and image data reception device
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2014050447A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2014042034A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013553227

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12865118

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012865118

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14003648

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE