[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2012036464A2 - 방송 수신기 및 3d 비디오 데이터 처리 방법 - Google Patents

방송 수신기 및 3d 비디오 데이터 처리 방법 Download PDF

Info

Publication number
WO2012036464A2
WO2012036464A2 PCT/KR2011/006782 KR2011006782W WO2012036464A2 WO 2012036464 A2 WO2012036464 A2 WO 2012036464A2 KR 2011006782 W KR2011006782 W KR 2011006782W WO 2012036464 A2 WO2012036464 A2 WO 2012036464A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
service
stereo
format
Prior art date
Application number
PCT/KR2011/006782
Other languages
English (en)
French (fr)
Other versions
WO2012036464A3 (ko
Inventor
이준휘
최지현
서종열
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/822,668 priority Critical patent/US20130169753A1/en
Priority to KR1020137002664A priority patent/KR101844227B1/ko
Publication of WO2012036464A2 publication Critical patent/WO2012036464A2/ko
Publication of WO2012036464A3 publication Critical patent/WO2012036464A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Definitions

  • the present invention relates to an apparatus and method for processing a broadcast signal, and more particularly, to a broadcast receiver and a 3D video data processing method for processing video data when a plurality of video streams are transmitted in a 3D broadcast system. It is about.
  • 3D (or 3D) images provide stereoscopic effect using the principle of stereo vision of two eyes.
  • Humans feel perspective through the parallax of two eyes, that is, the binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see an associated plane image. It can provide three-dimensional and perspective.
  • the 3D image display method includes a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided so that the left and right eyes may be respectively through polarized glasses or the display device itself.
  • the technical problem to be solved by the present invention is more convenient to the user by transmitting and receiving information on the 3D video data and processing the 3D video data using the same when transmitting a plurality of video streams for stereoscopic display in the 3D broadcasting system. And to provide an efficient broadcasting environment.
  • an example of a 3D video data processing method receiving a broadcast signal including 3D video data and service information; Identifying whether a 3D service is provided in a corresponding virtual channel from a first signaling table in the service information; Extracting a stereo format descriptor including a service identifier and first component information for a 3D service from the first signaling table; Read second component information corresponding to the first component information from a second signaling table having a program number mapped to a service identifier for the virtual channel, and extract basic PID information based on the read second component information.
  • Making Extracting stereo format information for the stereo video element from the stereo format descriptor; And decoding and outputting a stereo video element based on the extracted stereo format information.
  • an example of a 3D broadcast receiver includes a receiving unit for receiving a broadcast signal including 3D video data and service information;
  • a system information processor configured to acquire a first signaling table and second signaling information in the service information and to obtain stereo format information from the first signaling table and the second signaling table; Identifying whether a 3D service is provided in a corresponding virtual channel from the first signaling table, first component information for a 3D service and stereo format information for a stereo video element from the service identifier and the stereo format information from the first signaling table, and Control to read second component information corresponding to the first component information from a second signaling table having a program number mapped to a service identifier for a virtual channel, and base basic PID information based on the read second component information.
  • a control unit controlling to extract;
  • a decoder for decoding the stereo video element based on the extracted stereo format information;
  • a display unit for outputting 3D video data decoded according to the display type.
  • the receiver may process the received 3D video data to reflect the intended 3D effect when producing the 3D broadcast service.
  • FIG. 1 illustrates a stereoscopic image multiplexing format of a single video stream format
  • FIG. 2 is a view illustrating a method of configuring an image by multiplexing a stereoscopic image in a top-bottom manner according to an embodiment of the present invention
  • FIG. 3 is a view illustrating a method of configuring an image by multiplexing a stereoscopic image in a side-by-side manner according to an embodiment of the present invention
  • FIG. 4 is a diagram illustrating a syntax structure of a TVCT including stereo format information according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating a syntax structure of a stereo format descriptor included in a TVCT table section according to an embodiment of the present invention
  • FIG. 6 is a diagram illustrating a syntax structure of a PMT including stereo format information according to an embodiment of the present invention
  • FIG. 7 is a diagram illustrating a syntax structure of a stereo format descriptor included in a PMT according to an embodiment of the present invention.
  • FIG. 8 is a view illustrating a bitstream syntax structure of an SDT table section according to an embodiment of the present invention.
  • FIG. 9 is a view illustrating an example of configuration of a service_type field according to the present invention.
  • FIG. 10 is a diagram illustrating a syntax structure of a stereo format descriptor included in an SDT according to one embodiment of the present invention.
  • FIG. 11 illustrates a broadcast receiver according to an embodiment of the present invention
  • FIG. 12 is a flowchart illustrating a 3D video data processing method of a broadcast receiver according to an embodiment of the present invention
  • FIG. 13 is a diagram illustrating a configuration of a broadcast receiver for outputting 3D video data received as 2D video using 3D image format information according to an embodiment of the present invention
  • FIG. 14 is a diagram illustrating a method of outputting 3D video data received as 2D video using stereo format information according to an embodiment of the present invention
  • FIG. 15 is a diagram illustrating a method of outputting received 3D video data as a 2D image using 3D image format information according to another embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a method of outputting received 3D video data as a 2D image using 3D image format information according to another embodiment of the present invention.
  • 17 is a diagram illustrating a 3D video data processing method using quincunx sampling according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a configuration of a broadcast receiver for converting and outputting a multiplexing format of a received image using 3D image format information according to an embodiment of the present invention
  • 19 is a diagram illustrating a video data processing method of a broadcast receiver for converting and outputting a multiplexing format of a received image using 3D image format information according to an embodiment of the present invention
  • FIG. 20 is a view illustrating a process of searching for an IPTV service in connection with the present invention.
  • FIG. 21 is a diagram illustrating an IPTV service SI table and its relationship according to the present invention.
  • FIG. 22 is a diagram illustrating an example of a SourceReferenceType XML schema structure according to the present invention.
  • FIG. 23 is a view illustrating an example of a SourceType XML schema structure according to the present invention.
  • FIG. 24 is a view illustrating an example of a TypeOfSourceType XML schema structure according to the present invention.
  • FIG. 25 is a view illustrating an example of a StereoformatInformationType XML schema structure according to the present invention.
  • FIG. 26 is a diagram illustrating another example of a StereoformatInformationType XML schema structure according to the present invention.
  • FIG. 27 is a view illustrating an example of an IpSourceDefinitionType XML schema structure according to the present invention.
  • 29 is a view illustrating an example of an IPService XML schema structure according to the present invention.
  • FIG. 30 is a diagram illustrating another example of a digital receiver for processing a 3D service according to the present invention.
  • 31 is a diagram illustrating another example of a digital receiver for processing a 3D service according to the present invention.
  • the 3D image representation method includes a stereoscopic image method considering two viewpoints and a multiple-view image method considering three or more viewpoints.
  • the conventional single-view image method may be referred to as a monoscopic method.
  • the stereoscopic method uses a pair of left and right images obtained by photographing the same subject with a left camera and a right camera that are spaced at a constant distance.
  • the multi-view image uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described with the stereoscopic method as an embodiment, but the idea of the present invention can be applied to the multi-view method.
  • the term stereoscopic may be abbreviated as stereo.
  • Stereoscopic images or multi-view images may be compressed and transmitted in various ways, including moving picture experts groups (MPEG).
  • MPEG moving picture experts groups
  • the stereoscopic image or the multi-view image may be compressed and transmitted by H.264 / AVC (Advanced Video Coding).
  • the broadcast receiver may obtain a 3D image by decoding the received image in the inverse of the H.264 / AVC coding scheme.
  • one of a left view image and a right view image or a multiview image of the stereoscopic image is a base layer image, and the remaining images are extended layers. layer or enhanced layer
  • the base layer image may be encoded in the same manner as the monoscopic image
  • the enhancement layer image may be encoded and transmitted only for relationship information between the base layer and the enhancement layer image.
  • Examples of the compression incubation method for the base layer image may be JPEG, MPEG-2, MPEG-4, H.264 / AVC scheme, etc.
  • the present invention uses the H.264 / AVC scheme as an embodiment do.
  • a compression coding scheme for an image of a higher layer uses an H.264 / MVC (Multi-view Video Coding) scheme.
  • the existing terrestrial DTV transmission and reception standard is based on 2D video content. Therefore, in order for 3DTV broadcast content to be serviced, a transmission / reception standard for 3D video content must be further defined.
  • the receiver may receive the broadcast signal according to the added transmission / reception standard, and process the signal appropriately to support the 3D broadcast service.
  • the DTV transmission and reception system will be described as an embodiment of an Advanced Television Systems Committee (ATSC) system and a Digital Video Broadcasting (DVB) system.
  • ATSC Advanced Television Systems Committee
  • DVD Digital Video Broadcasting
  • information for processing broadcast content may be included in system information (SI) and transmitted.
  • system information is sometimes called service information, signaling information, or the like.
  • the system information includes, for example, channel information necessary for broadcasting, event information, service identification information, format information for 3D service, and the like.
  • PSI / PSIP Program Specific Information / Program and System Information Protocol
  • DVB-SI DVB-SI
  • the PSI includes a Program Assoication Table (PAT), a Program Map Table (PMT), and the like.
  • PAT is special information transmitted by a packet having a PID (Packet ID) of '0' and transmits PID information of a corresponding PMT for each program.
  • the PMT transmits PID information of a transport stream packet (TS) packet to which individual bit streams such as video and audio constituting a program are transmitted, and PID information to which a PCR is transmitted.
  • TS transport stream packet
  • the broadcast receiver may obtain information on correlation between components constituting the program by parsing the PMT obtained from the PAT.
  • PSIP includes: Virtual Channel Table (VCT), System Time Table (STT), Rating Region Table (RTT), Extended Text Table (ETT), Direct Channel Table (DCCT), Direct Channel Change Selection Code Table (DDCSCT), EIT ( An Event Information Table (MGT), a Master Guide Table (MGT), and the like.
  • VCT transmits information about a virtual channel, for example, channel information for channel selection and PID for receiving audio and / or video. That is, the broadcast receiver may parse the VCT to obtain PIDs of audio and video of a broadcast program carried in a channel along with a channel name and a channel number.
  • the STT may transmit current date and time information
  • the RRT may transmit information about a region and a review institution for program grade.
  • the ETT may transmit additional description about the channel and the broadcast program, and the EIT may transmit information about the event.
  • DCCT / DCCSCT may transmit information related to automatic channel change, and MGT may transmit version and PID information of each table in PSIP.
  • the DVB-SI may include a service description table (SDT), an event information table (EIT), and the like.
  • SDT provides detailed information about the service
  • EIT provides detailed information about the programs included in the service.
  • stereo format information according to the present invention, a method of arranging an L / R signal, information about a view to be first output when outputting 2D mode, and an L / R constituting a stereoscopic video elementary stream (ES).
  • Information about whether to reverse-scan a specific view image for an image may be defined in the form of a field or descriptor of a newly defined table or an existing table in the above-described system information.
  • the information according to the present invention is described as an example included in the PMT of the PSI, the TVCT of the PSIP, and the SDT of the DVB-SI.
  • the present invention is not limited thereto and may be defined in another table or / and in another manner.
  • a left view image and a light view image may be multiplexed and transmitted to a single video stream for stereoscopic display, which may be transmitted as stereoscopic video data or a stereoscopic video signal in an interim format. May be referred to.
  • the 3D broadcast service In order to effectively receive the stereoscopic video signal multiplexed with the left view video data and the right view video data through a broadcast channel, the 3D broadcast service must be able to be signaled in the existing broadcasting system standard.
  • the capacity of two half-resolution video data is one.
  • the transmission formats of stereoscopic video include a single video stream format and a multi video stream format.
  • the single video stream format multiplexes video data of two views into one video stream and transmits the video data in one video stream, thereby providing a 3D broadcast service.
  • the multi-video stream format is a method of transmitting a plurality of video data to a plurality of video streams, the use of bandwidth is increased, but the high-capacity data transmission is possible, there is an advantage that can display high-quality video data.
  • FIG. 1 illustrates a stereoscopic image multiplexing format of a single video stream format.
  • the single video stream format includes (a) side-by-side format, (b) top-bottom format, (c) interlaced format, (d Frame-sequential format, a checker board format of (e), and anaglyph format of (f).
  • the left and right images are downsampled 1/2 in the horizontal direction, respectively, and one sampled image is sampled on the left, and the other image is sampled. Is positioned on the right to compose one stereoscopic image.
  • the left image and the right image are half downsampled in the vertical direction, respectively, and one sampled image is on the top, and the other sampled image is bottomed.
  • the left image and the right image are each half downsampled so as to cross each line in the horizontal direction, so that the two images are composed of one image, or the left and right images are respectively vertical.
  • Two images are composed of one image by half downsampling to cross each line in the direction.
  • a left video and a right video are intersected in one video stream in time.
  • 1/2 images are downsampled so that the left image and the right image intersect in the vertical and horizontal directions, respectively.
  • the anaglyph format of (f) composes an image to produce a stereoscopic effect using complementary color contrast.
  • the resolution of each image may be 1/2.
  • the capacity of the video data may be larger than that of one full-resolution image.
  • coding video data to represent a reference picture and its variations and differences may result in an increase in video compression, in which case two half-resolution videos are compared to one full-resolution video data. This can happen when the compression rate of the data drops.
  • one of two images may be inverted up or down or mirrored from side to side in order to increase the compression ratio during transmission.
  • FIG. 2 is a diagram illustrating a method of configuring an image by multiplexing a stereoscopic image in a top-bottom manner according to an embodiment of the present invention.
  • the images 2010 to 2030 include a left image at the top and a right image at the bottom, and the images 2040 to 2060 are arranged at the bottom and the right image at the top.
  • the image 2010 is normal for both the left image and the right image disposed at the top and the bottom, respectively, the image 2020 is the inverting of the left image of the top, and the image 2030 is the right image of the bottom. Inverted.
  • the right image and the left image disposed at the top and the bottom are normal, and the image 2050 is the inverted left image of the bottom, and the image 2060 is inverted the right image of the top.
  • FIG. 3 is a diagram illustrating a method of configuring an image by multiplexing a stereoscopic image in a side-by-side manner according to an embodiment of the present invention.
  • the images 3010 to 3030 include a left image on the left side and a right image on the right side
  • the images 3040 to 3060 include a left image on the right side and a right image on the left side.
  • the left image and the right image disposed on the left and right sides are normal, and the image 3020 mirrors the left image on the left, and the image 3030 mirrors the right image on the right.
  • the right image and the left image disposed on the left and right sides are normal, and the image 3050 mirrors the left image on the right side, and the image 3060 mirrors the right image on the left side.
  • Inverted and / or mirrored images in FIGS. 2 and 3 can lead to differences in data compression rates. For example, suppose that one screen differentially compresses data for neighboring pixels from a reference pixel. Since a pair of stereoscopic images is basically a pair of images representing 3D effects on the same screen, information according to the position of the screen is likely to be similar. In other words, in the normally arranged images 2010, 2040, 3010, and 3040, completely new image information is continued at the portion where the left image and the right image are connected, and the difference values that are compressed may be greatly changed.
  • the lower portion of the left image and the lower portion 2030, 2050 of the right image or the upper portion of the left image are connected to the upper portion 2020, 2060 of the right image.
  • the amount of data coded in the portion where the image and the right image are contiguous can be reduced.
  • the right side of the left image and the right side 3030, 3050 of the right image are connected or the left side of the left image and the left side 3020, 3060 of the right image. Since the similarity of the data is continuous in the portion where the left image and the right image are continuous, the amount of coded data may be reduced.
  • 3D image format information may be referred to as 3D image format information or stereo format information, and may be defined as a table or a descriptor for convenience.
  • the stereo format information according to the present invention will be described as an example of being transmitted in a descriptor form in the VCT of the PSIP, the PMT of the PSI, and the SDT of the DVB-SI.
  • the table may be defined in the form of a descriptor of another table such as an EIT in the corresponding system information.
  • FIG. 4 is a diagram illustrating a syntax structure of a TVCT including stereo format information according to an embodiment of the present invention.
  • the TVCT table section will be described in detail with respect to the fields included in the TVCT table section for basically providing attribute information of virtual channels.
  • the table_id field indicates the type of table section. For example, if the table section is a table section constituting the TVCT table, this field may have a value of 0xC8.
  • the section_syntax_indicator field consists of 1 bit and its value is fixed to 1.
  • the private_indicator field is set to one.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the length of the section from this field to the CRC field in bytes.
  • the transport_stream_id field is composed of 16 bits and is an MPEG-2 transport stream (TS) ID. This field can be distinguished from other TVCT.
  • the version_number field indicates the version of the table section.
  • the version_number field Whenever there is a change, the version_number field is incremented by 1, and when the version value reaches 31, the next version value is 0.
  • the current_next_indicator field consists of 1 bit and is set to 1 if the VCT is currently applicable. If the value of this field is set to 0, this means that it is not applicable yet and the following table is valid.
  • the section_number field represents the number of sections constituting the TVCT table.
  • the last_section_number field indicates the last section constituting the TVCT table.
  • the protocol_version field serves to allow different table types from those defined in the current protocol in the future. Only zero is valid in the current protocol. Nonzero values will be used in later versions for structurally different tables.
  • the num_channels_in_section field represents the number of virtual channels defined in the VCT table section.
  • information about each corresponding channel is defined in a loop form as many as the number of virtual channels defined in the num_channels_in_section field.
  • fields defined for the corresponding channel in the form of a loop are as follows.
  • the short_name field represents the name of the virtual channel.
  • the major_channel_number field represents a major channel number of a corresponding virtual channel in a for loop. Each virtual channel is made up of multi-parts, such as major and minor channel numbers. The major channel number, along with the minor channel number, acts as a reference number to the user for that virtual channel.
  • the minor_channel_number field has a value from 0 to 999. Minor channel numbers act as two-part channel numbers along with major channel numbers.
  • the modulation_mode field indicates the modulation mode of the transport carrier associated with the virtual channel.
  • the carrier_frequency field may indicate a carrier frequency
  • the channel_TSID field has a value from 0x0000 to 0xFFFF and is an MPEG-2 TSID associated with a TS for delivering the MPEG-2 program referred to by this virtual channel.
  • the program_number field associates a virtual channel defined in TVCT with a Program Association Table (PAT) and a Program Map Table (PMT) of MPEG-2.
  • PAT Program Association Table
  • PMT Program Map Table
  • the ETM_location field indicates the existence and location of an extended text message (ETM).
  • the access_controlled field is a flag field. When the access_controlled field is 1, it may represent that an event related to a corresponding virtual channel is accessed. 0 indicates that access is not restricted.
  • the hidden field is a flag field. If 1, access is not permitted even if the number is directly input by the user. Hidden virtual channels are skipped when the user surfs the channel and appear to be undefined.
  • the hide_guide field is a flag field. When the hide_guide field is set to 0 for a hidden channel, the virtual channel and an event may be displayed on the EPG display. This field is ignored if the hidden bit is not set. Thus, non-hidden channels and their events belong to the EPG display regardless of the state of the hide_guide bit.
  • the service_type field identifies a type of service delivered through the corresponding virtual channel.
  • the service_type field may identify whether the type of the service provided through the corresponding channel is a 3D service. For example, if the value of this field is 0x13, the broadcast receiver may identify from the value of this field that the service provided through the corresponding virtual channel is a 3D service.
  • the source_id field identifies a programming source related to the virtual channel.
  • the source may be any one of video, text, data, or audio programming.
  • the source id field value of 0 is a reserved value and has a unique value in the TS carrying VCT from 0x0001 to 0x0FFF. Also, from 0x1000 to 0xFFFF, it is unique at the local level.
  • the descriptors_length field represents the length of a following descriptor for a corresponding virtual channel in bytes.
  • Descriptor () may not be included in descriptor () or one or more descriptors may be included.
  • This descriptor () field may include stereo_format_descriptor and the like related to 3D stereoscopic service according to the present invention as described below.
  • the additional_descriptors_length field represents the total length of the following VCT descriptor list in bytes.
  • the CRC_32 field indicates a CRC value (Cyclic Redundancy Check value) that causes a zero output of a register in the decoder.
  • FIG. 5 is a diagram illustrating a syntax structure of a stereo format descriptor included in a TVCT table section according to an embodiment of the present invention.
  • the descriptor_tag field is a field for identifying a corresponding descriptor and may have a value indicating that the corresponding descriptor is stereo_format_descriptor.
  • the descriptor_length field provides information about the length of the descriptor.
  • the number_elements field represents the number of video elements configuring the corresponding virtual channel.
  • the broadcast receiver may receive the stereo format descriptor and parse information included in the following fields as many as the number of video elements configuring the corresponding virtual channel.
  • the Stream_type field indicates the stream type of the video element.
  • the elementary_PID field represents the PID of the corresponding video element.
  • the stereo format descriptor defines the following information for the video element with the PID of the elementary_PID field.
  • the broadcast receiver may obtain information for 3D video display of the video element having the corresponding PID from the stereo format descriptor.
  • the stereo_composition_type field is a field indicating a format for multiplexing a stereoscopic video.
  • the broadcast receiver may parse the stereo_composition_type field to determine whether the 3D video is transmitted in a multiplexing format among side-by-side, top-bottom, interlaced, frame sequential, checker board, and energy grid.
  • the LR_first_flag field indicates whether the leftmost uppermost pixel is a left image or a light image when multiplexing a stereoscopic image. For example, when the left image is located at the upper left, the field value may be set to '0', and when the left image is positioned at the upper left, the field value may be set to '1'. For example, the broadcast receiver may know that the 3D image received through the stereo_composition_type is received in the side-by-side multiplexing format. When the LR_first_flag field value is '0', the left half of the image in one frame is left. It can be identified that the image corresponds to the right half of the image.
  • the LR_output_flag field is a field indicating a recorded output view for an application that outputs only one image of stereoscopic images for compatibility with a 2D broadcast receiver.
  • the left image may be output when the field value is '0' and the light image may be output when the field value is '1'.
  • the LR_output_flag field may be ignored by the user's setting, but may indicate an image of a default view used for 2D output when there is no user input related to the output image. For example, when the field value of LR_output_flag is '1', the broadcast receiver uses the light image as the 2D output unless there is another setting or input by the user.
  • the left_flipping_flag field and the right_flipping_flag field indicate the scan directions of the left image and the right image, respectively.
  • a left image or a light image may be scanned in a reverse direction and coded in consideration of compression efficiency.
  • the stereoscopic image may be transmitted in the top-bottom format or the side-by-side format as described with reference to FIGS. 2 and 3.
  • the broadcast receiver may determine the scan direction by parsing the left_flipping_flag field when inverting up and down or mirroring from side to side.
  • the field values of the left_flipping_flag field and the right_flipping_flag field are '0', this indicates that pixels of the left image and the light image are arranged in the original scanning direction, and if the field values of the left_flipping_flag field and the right_flipping_flag field are '1', Left image and light It may indicate that the pixels of the left image and the light image are arranged in the reverse direction of the original scanning direction.
  • the scan direction is reverse in the vertical direction in the top-bottom format and in the horizontal direction in the side-by-side format.
  • the left_flipping_flag field and the right_flipping_flag field are ignored for other multiplexing formats except for the top-bottom format and the side-by-side format. That is, the broadcast receiver parses the stereo_composition_type field to determine the multiplexing format.
  • the broadcast receiver parses the left_flipping_flag field and the right_flipping_flag field to determine the scan direction, and the other multiplexing format.
  • the image may be configured in the reverse direction even in a multiplexing format other than the top-bottom format and the side-by-side format, and in this case, the scan direction may be determined through the left_flipping_flag field and the right_flipping_flag field. have.
  • the sampling_flag field indicates whether sampling is performed when the full-resolution image is sampled at half resolution in the transmission system.
  • the transmission system can perform half downsampling (or 1/2 decimation) in the horizontal or vertical direction, and is in the form of a checkerboard format and uses a quincunx filter to diagonally 1/2 downsampling (quincunx sampling or quincunx filtering) can be performed.
  • the field value of the sampling_flag field is '1', it indicates that 1/2 downsampling has been performed in the horizontal or vertical direction in the transmission system.
  • the field value of the sampling_flag field is '0', the quincunx filter is used. It may indicate that downsampling has been performed.
  • the broadcast receiver may reconstruct an image by performing a reverse process of quincunx filtering.
  • the broadcast receiver may output an image of the view specified by the LR_output_flag field as a default. In this case, an image of another view may be bypassed without being output. In this process, the broadcast receiver may perform a reverse scan of the image by referring to the left_flipping_flag field and the right_flipping_flag field.
  • FIG. 6 is a diagram illustrating a syntax structure of a PMT including stereo format information according to an embodiment of the present invention.
  • the table_id field is a table identifier, and an identifier for identifying the PMT may be set.
  • the section_syntax_indicator field is an indicator that defines the section format of the PMT.
  • the section_length field represents a section length of the PMT.
  • the program_number field indicates information of a program as information corresponding to the PAT.
  • the version_number field represents a version number of the PMT.
  • the current_next_indicator field is an identifier indicating whether the current table section is applicable.
  • the section_number field indicates the section number of the current PMT section when the PMT is transmitted divided into one or more sections.
  • the last_section_number field represents the last section number of the PMT.
  • the PCR_PID field indicates a PID of a packet carrying a program clock reference (PCR) of a current program.
  • the program_info_length field represents descriptor length information immediately following the program_info_length field in number of bytes. That is, the length of the descriptors included in the first loop.
  • the stream_type field indicates the type and encoding information of the element stream included in the packet having the PID value indicated by the following elementary_PID field.
  • the elementary_PID field represents an identifier of the element stream, that is, a PID value of a packet including the corresponding element stream.
  • the ES_Info_length field represents descriptor length information immediately after the ES_Info_length field in number of bytes. That is, the length of the descriptors included in the second loop.
  • Program level descriptors are included in the descriptor () region of the first loop of the PMT, and stream level descriptors are included in the descriptor () region of the second loop. That is, descriptors included in the first loop are descriptors individually applied to each program, and descriptors included in the second loop are descriptors individually applied to each elementary stream ES.
  • the present invention includes identification information for identifying that the 3D image is received in the descriptor () region of the first loop of the PMT in the form of a descriptor. Yes.
  • this descriptor will be referred to as an image format descriptor Stereo_Format_descriptor ().
  • the broadcast receiver determines that a program corresponding to program information of the PMT is 3D content.
  • FIG. 7 illustrates a syntax structure of a stereo format descriptor included in a PMT according to an embodiment of the present invention.
  • the stereo format descriptor of FIG. 7 is similar to the stereo format descriptor of FIG. 5, and the description of the same field will be described above, and the detailed description thereof will be omitted.
  • information such as the stream_type field and the elementary_PID for the video element is included in the PMT unlike the case of FIG. 5, and the description of these fields has been described with reference to FIG. 5.
  • FIG. 8 is a diagram illustrating a bitstream syntax structure of an SDT table section according to an embodiment of the present invention.
  • the SDT describes services included in a specific transport stream in the DVB scheme.
  • the table_id field is an identifier for identifying a table. For example, a specific value of the table_id field indicates that this section belongs to a service description table.
  • the section_syntax_indicator field is a 1-bit field and is set to 1.
  • the section_length field the first two bits are set to 00. The number of bytes of the section including the CRC after this field.
  • the transport_stream_id field serves as a label for identifying a transport stream (TS).
  • the version_number field represents the version number of the sub_table. Whenever there is a change in the sub_table, it is incremented by one.
  • the current_next_indicator field is set to '1' if the sub_table is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the section_number field represents a section number.
  • the first section has a value of 0x00, and the value is increased by 1 for each additional section having the same table_id, the same transport_stream_id, and the same original_network_id.
  • the last_section_number field indicates the number of the last section (ie, the highest section_number) of the corresponding sub_table to which this section is a part.
  • the original_network_id field is a label identifying the network_id of the transmission system.
  • This SDT table section describes a plurality of services. For each service, signaling is performed using the following fields.
  • the service_id field defines an identifier that serves as a label to distinguish it from other services included in the TS.
  • the value of this field may have the same value as program_number of program_map_section.
  • the EIT_schedule_flag field if set to 1, indicates that EIT schedule information for a corresponding service is included in the current TS. A value of 0 indicates that EIT schedule information is not included.
  • the EIT_present_following_flag field if set to 1, indicates that EIT_present_following information for a corresponding service is included in the current TS.
  • a value of 0 indicates that EIT present / following information is not currently included in the TS.
  • the running_status field represents the state of a service.
  • the free_CA_mode field is set to 0, it indicates that all elementary streams of the corresponding service are not scrambled. If set to 1, it means that one or more streams are controlled by a CA (Conditional Access system).
  • the descriptors_loop_length field represents the total length of a following descriptor in bytes.
  • the CRC_32 field indicates a CRC value for zero output of the register at the decoder.
  • the descriptor area following the descriptors_loop_length field may indicate that the service is a 3D broadcast service through a service_type field included in a service descriptor of a DVB SI.
  • FIG. 9 is a diagram illustrating an example of configuration of a service_type field according to the present invention.
  • the service_type field of FIG. 9 is defined in, for example, service_descriptor transmitted in the SDT table section of FIG. 8.
  • the service_type field value when the service_type field value is 0x12, it may indicate that the service is a 3D stereoscopic service.
  • the service configuration may be performed in consideration of the linkage between the 2D service and the 3D service and the compatibility with the existing receiver.
  • the service type for the 3D service may use the above-described value.
  • Linkage between the two services may be considered, for example, a linkage scheme through a linkage descriptor.
  • the existing receiver may not recognize it and may provide the service without a problem by only the stream for the basic service.
  • FIG. 10 illustrates a syntax structure of a stereo format descriptor included in an SDT according to an embodiment of the present invention.
  • the bitstream syntax structure of the stereo format descriptor of FIG. 10 may have the same structure as the stereo format descriptor illustrated in FIG. 5, for example. Therefore, hereinafter, description of each field described in the foregoing description of FIG. 5 is used, and detailed description thereof will be omitted.
  • the stereo format descriptor of FIG. 10 may be defined as a descriptor of the EIT. In this case, some fields may be omitted or added depending on the characteristics of the EIT.
  • the broadcast transmitter includes a 3D image pre-processor that performs image processing on the 3D image, a video formatter which processes the 3D images to format the 3D video data or the 3D video stream, and encodes the 3D video data according to MPEG-2. And a 3D video encoder, an SI processor for generating system information, a TS multiplexer for multiplexing video data and system information, and a transmission unit for transmitting the multiplexed broadcast signal, to transmit a broadcast signal including a 3D image.
  • the transmission unit may further include a VSB / OFDM encoder and a modulator.
  • the 3D video data processing method of the broadcast transmitter will be described below.
  • the 3D image pre-processor performs necessary processing on the 3D image photographed using the plurality of lenses to output a plurality of 3D images or video data.
  • image or video data for two viewpoints is output.
  • the broadcast transmitter then formats the stereo video data using the video formatter.
  • the broadcast transmitter may resize stereo video data according to a multiplexing format, multiplex, and output the multiplexed video as one video stream.
  • Video formatting of stereo video data includes various image processing (eg, resizing, decimation, interpolating, multiplexing, etc.) required for transmitting a 3D broadcast signal.
  • the broadcast transmitter uses a 3D video encoder to encode stereo video data.
  • the broadcast transmitter may encode stereo video data in JPEG, MPEG-2, MPEG-4, H.264 / AVC, H.264 / MVC schemes, or the like.
  • the broadcast transmitter uses the SI processor to generate system information including 3D image format information.
  • the 3D image format information is information used for formatting stereo video data at the transmitter and includes information necessary for processing and outputting stereo video data at the receiver.
  • the 3D image format information may include a multiplexing format of 3D video data, positions and scan directions of left and right images according to the multiplexing format, sampling information according to the multiplexing format, and the like.
  • the 3D image format information may be included in the PSI / PSIP of the system information, and may be included in the PMT of the PSI and the VCT of the PSIP, respectively.
  • the broadcast transmitter may multiplex the stereo video data encoded in the 3D video encoder and the system information generated in the SI processor using a TS multiplexer and transmit the same through a transmission unit.
  • FIG. 11 illustrates a broadcast receiver according to an embodiment of the present invention.
  • the broadcast receiver of FIG. 11 includes a receiving unit for receiving a broadcast signal, a TS demultiplexer 10030 for extracting and outputting a data stream such as video data and system information from the broadcast signal, an SI processor 10040 for parsing system information, and 3D.
  • the receiving unit may further include a tuner and demodulator 10010 and a VSB / OFDM decoder 10020. The operation of each component of the broadcast receiver will be described with reference to the following drawings.
  • FIG. 12 is a flowchart illustrating a 3D video data processing method of a broadcast receiver according to an embodiment of the present invention.
  • the broadcast receiver receives a broadcast signal including stereo video data and system information by using the reception unit in operation S11010.
  • the broadcast receiver parses system information included in the broadcast signal using the SI processor 10040 to obtain 3D image format information (S11020).
  • the broadcast receiver may obtain stereo format information by parsing any one of PMT of PSI, VCT of PSIP, and SDT of DVB-SI included in the broadcast signal using the SI processor 10040.
  • the stereo format information includes information necessary for processing 3D video data in the decoder 10050 and the output formatter 10060 of the broadcast receiver.
  • the stereo format information may include a multiplexing format of 3D video data, positions and scan directions of left and right images according to the multiplexing format, sampling information according to the multiplexing format, and the like.
  • the broadcast receiver decodes stereo video data using the 3D video decoder (S10030).
  • the broadcast receiver may perform decoding using the obtained stereo format information.
  • the broadcast receiver then formats and outputs decoded stereo video data using the output formatter 10060 (S10040).
  • Formatting stereo video data includes processing the received stereo video data using stereo format information.
  • necessary image processing may be performed according to a case where the multiplexing format of the received stereo video data and the multiplexing format supported by the display device do not match, and when the output form of the video data is different (2D output or 3D output).
  • the broadcast receiver may determine whether to provide a 3D broadcast service in a corresponding virtual channel using the service_type field of TVCT.
  • the broadcast receiver receives elementary_PID information of 3D stereo video using stereo format information (stereo format descriptor), and receives and extracts 3D video data corresponding to the PID.
  • stereo format information stereo format descriptor
  • the broadcast receiver uses stereo format information to grasp stereoscopic image configuration information, left / right arrangement, left / right priority output, left / right inverse scan, resizing, and the like, for the 3D video data.
  • the display output is controlled using the stereo format information after decoding the 3D video data.
  • a stereoscopic image is output by resizing, reshaping, 3D format conversion, etc. according to the type of display device.
  • the broadcast receiver detects the existence of stereo format information (stereo format descriptor) corresponding to the stream_type of the PMT and each elementary stream (ES). In this case, it may be determined whether the corresponding program provides the 3D broadcast service through the existence of the stereo format information.
  • the broadcast receiver acquires a PID corresponding to the 3D video data, receives and extracts the 3D video data corresponding to the PID.
  • the broadcast receiver may acquire stereoscopic image configuration information, left / right arrangement, left / right priority output, left / right inverse scan, resizing, etc., for 3D video data through stereo format information.
  • the broadcast receiver performs mapping with information provided through TVCT through a program_number field.
  • the broadcast receiver performs mapping with the service_id field of the SDT through the program_number field (to know through which virtual channel or service this program is provided).
  • the display output is controlled by using 3D image format information after decoding 3D video data.
  • a stereoscopic image is output by resizing, reshaping, 3D format conversion, etc. according to the type of display device.
  • the multiplexing format of the received 3D video data and the multiplexing format supported by the display device may be different.
  • the received 3D video data has a side-by-side format and the display type of the display device may only support checker board output.
  • the broadcast receiver may perform output by sampling and decoding the 3D video stream received through the output formatter 10060 using the 3D image format information and converting the 3D video stream into a checkerboard output signal.
  • the broadcast receiver via the output formatter 10060 may be performed by resizing for output of interlacing) or resizing for output of temporally multiplexed format (frame sequential, field sequential, etc.).
  • frame rate conversion may be performed to match the frame rate supported by the display device.
  • the broadcast receiver may determine whether 3DTV service is provided in a corresponding virtual channel using a service_type field of a service descriptor of the SDT or identify a 3D stereoscopic video service through the existence of a stereo format descriptor.
  • component_tag information of 3D stereo video is received using a stereo format descriptor (component_tag_S).
  • the component_tag field of the stream identifier descriptor of the ES_descriptor_loop is found to be component_tag_S, and elementary PID information of the 3D stereoscopic video component is received (PID_S).
  • the stereo format descriptor obtained through the SDT obtains stereo configuration information, left / right arrangement, left / right priority output, and left / right inverse scan for stereo video elements.
  • the stereo video stream is decoded once, and then only the data corresponding to the view designated by LR_output_flag is decimated and output to the display unit through interpolation / resizing.
  • the output of the display unit is controlled by using the stereo format descriptor information after decoding the stereo video stream.
  • 3D stereoscopic video is output by resizing and 3D format conversion according to the display type of the 3DTV.
  • FIG. 13 is a diagram illustrating a configuration of a broadcast receiver for outputting 3D video data received as 2D video using 3D image format information according to an embodiment of the present invention.
  • the broadcast receiver may output a 2D image by reconstructing a frame including only one image of the left image and the right image using 3D image information from the 3D video data including the left image and the light image, each frame being one frame.
  • the multiplexing format of the 3D video data may be known according to the field value of the stereo_composition_type field. That is, the broadcast receiver parses the system information so that the field value of the stereo_composition_type field is '0', top-bottom format, '1', side-by-side format, '2', horizontally interlaced format, and '3' vertically interlaced.
  • the format '4' identifies the checkerboard format.
  • the output formatter of the broadcast receiver is conceptually illustrated.
  • the output formatter of the broadcast receiver includes a scaler 1301, a reshaper 132020, and a memory. (DDR) 113030 and a formatter 13040.
  • the scaler 13010 performs resizing and interpolating on the received image.
  • the scaler 13010 may be resized (eg, 1/2 resizing, doubling (2/1 resizing), etc. according to the format of the received image and the format of the output image at various ratios according to the resolution and the size of the image). Resizing), and quincunx reverse sampling.
  • the reshaper 1320 extracts a left / right image from the received image and stores the image in the memory 1230 or extracts an image read from the memory 1130.
  • the reshaper 1320 may also read and map the image stored in the memory to the image to be output.
  • the memory 1330 stores or buffers the received image and outputs the received image.
  • the formatter 1340 converts the format of the image according to the image format to be displayed.
  • the formatter 1340 may perform an operation such as converting an image of a top-bottom format into an interlaced format.
  • 14 to 16 illustrate a method of outputting received 3D video data as a 2D image according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a method of outputting 3D video data received as a 2D image using stereo format information according to an embodiment of the present invention.
  • the broadcast receiver Since the field value of the LR_first_flag field is '0' according to each field value, the broadcast receiver outputs the left image when outputting the 2D image because the image in the upper left is left image, and the field value of the LR_output_flag field is '0'. Since the field values of the and Right_flipping_flag fields are all '0', it can be seen that reverse scanning of the image is not necessary. Since the field value of sampling_flag is '1', quincunx sampling has not been performed and it can be seen that 1/2 resizing (for example, decimation) has been performed in the horizontal or vertical direction.
  • the scaler interpolates or vertically resizes the upper image and outputs a left image of the full screen.
  • the formatter can bypass the image received from the scaler since there is no need to convert the multiplexing format of the image.
  • the scaler performs an interpolation or horizontally 2/1 resizing of the image on the opposite side, and outputs a left image of the full screen.
  • an output image In the case of an image in a vertically interlaced format, an output image may be stored in an interlaced format, but may be stored without storing empty pixels between interlaced pixels for storage efficiency.
  • the reshaper can read the image from memory and output it to the scaler.
  • the scaler performs interpolation or 2/1 resizing on an image in interlaced format to output a full screen image.
  • FIG. 15 is a diagram illustrating a method of outputting received 3D video data as a 2D image using 3D image format information according to another embodiment of the present invention.
  • the field value of the Right_flipping_flag field is '0', and when the 2D image is output, the left image is output, so the light image may or may not be scanned in the forward direction depending on the broadcast receiver. Since the field value of sampling_flag is '1', quincunx sampling has not been performed and it can be seen that 1/2 resizing (for example, decimation) has been performed in the horizontal or vertical direction.
  • the scaler vertically 2/1 resizes the upper image and outputs a left image of the full screen.
  • the formatter can bypass the image received from the scaler since there is no need to convert the multiplexing format of the image.
  • the broadcast receiver ignores and processes the Left_flipping_flag field and the Right_flipping_flag field according to an embodiment of the system implementation in the case of the horizontally interlaced format 1030, the vertically interlaced format 1040, and the checkerboard format 1050.
  • the video data processing is performed in the same manner as in the case of the horizontally interlaced format (13030), the vertically interlaced format (13040), and the checkerboard format (13050). The same description will be omitted.
  • whether the image is inversely scanned may be determined using the Left_flipping_flag field and the Right_flipping_flag field separately from the multiplexing format.
  • 16 is a diagram illustrating a method of outputting received 3D video data as a 2D image using 3D image format information according to another embodiment of the present invention.
  • the receiver may receive the image 16010 in the top-bottom format or the image 1620 in the side-by-side format, and read and store the left image in the reshaper.
  • the read image reads an image such as a checkerboard, not an image 1/2 resized in the vertical direction or 1/2 resized in the horizontal direction. Therefore, when the reshaper reads a left image from memory, the reshaper maps and outputs a quincunx sampled checkerboard image.
  • the scaler may receive a checkerboard image and perform quincunx reverse sampling to output a left image of a full screen.
  • 17 is a diagram illustrating a 3D video data processing method using quincunx sampling according to an embodiment of the present invention.
  • Figure 17 (a) shows image processing at the encoder side of the transmitter and Figure 17 (b) shows image processing at the decoder side of the receiver.
  • the broadcast transmitter quincunx-samples the left image 17010 and the light image 1720 of a full screen, respectively, for image transmission in a side-by-side format, and sampled left image 1730. And obtain a sampled light image 1740.
  • the broadcast transmitter pixel shifts the sampled left image 1730 and the sampled light image 1540, respectively, so that the left image 1750 resized to half screen and the resized light image 1760 to half screen are obtained.
  • the resized images 1750 and 17060 are configured as one screen to obtain an image 1070 of the side-by-side format to be transmitted.
  • the side-by-side format is described as an example.
  • the quincunx sampled image is pixel shifted in the horizontal direction, but the top-bottom format image is acquired.
  • the image may be composed by vertically shifting the quincunx sampled image.
  • the broadcast receiver receives an image 17080 of a top-bottom format.
  • the field value of the sampling_flag field of the 3D image format information is '0', it can be known that quincunx sampling is performed by the transmitter. Accordingly, the broadcast receiver scans the received top-bottom format image 17080 and outputs to the images 17090 and 17100 having the same shape as quincunx sampling is performed when the pixel shifting is performed, and quincunx reverse sampling is performed when interpolating is performed.
  • the left image 17110 of the full screen and the light image 1720 of the full screen may be obtained by performing the following operations.
  • 18 and 19 illustrate a method of performing a format conversion in a multiplexing format different from a multiplexing format received using stereo format information in a broadcast receiver and outputting the same.
  • FIG. 18 is a diagram illustrating a configuration of a broadcast receiver for converting and outputting a multiplexing format of a received image using 3D image format information according to an embodiment of the present invention.
  • the formatter outputs the received image as it is, since the 2D image (frame composed of the image of one point in time) is output.
  • the formatter processes the received 3D video data to display the display device or It converts the output format specified by the broadcast receiver.
  • 19 (a) to 19 (c) are diagrams illustrating a video data processing method of a broadcast receiver for converting and outputting a multiplexing format of a received image using 3D image format information according to an embodiment of the present invention. .
  • the scaler vertically resizes the received image of the side-by-site format 19010 and outputs the image.
  • the reshaper stores the output image in a memory and scans the image in a top-bottom format.
  • the scaler performs horizontally 2/1 resizing on the image received in the top-bottom manner, and the formatter converts the image of the received full-screen top-bottom format into a horizontally interlaced format and outputs the image.
  • the formatter converts and outputs only the multiplexing format to the received side-by-side format image 19020 without the separate image processing of the scaler and the reshaper.
  • the left image and the light image are read out from the received side-by-side format image according to the embodiment, and 1/2 resizing is performed, respectively. You can also mix two images by downsampling.
  • the reshaper Upon receiving the checkerboard format image 19030, the reshaper scans the image, reshapes the image horizontally into a half-bottom top-bottom format image, stores it in memory, and outputs the image.
  • the scaler horizontally performs 1/2 resizing of the received 1 / 2-size top-bottom format image to output a full-screen top-bottom format image.
  • the formatter format converts the full-screen top-bottom format and outputs an image in horizontally interlaced format.
  • FIG. 20 is a diagram illustrating an IPTV service discovery process in relation to the present invention.
  • FIG. 20 is a diagram illustrating a 3D service acquisition process in IPTV according to an embodiment of the present invention.
  • the IPF terminal function is provided with information for service provider discovery from the service provider in a push / pull mode.
  • Service provider discovery is the process by which service providers that provide IPTV find servers that provide information about their services.
  • service provider discovery provides a service information server for each service provider in the following manner. That is, the receiver finds a list of addresses that can receive information (SP discovery information) about the SD server (Service Discovery Server) in the following manner.
  • the receiver receives Service Provider (SP) discovery information from an address previously set automatically or manually.
  • SP Service Provider
  • the corresponding information may be received from an address preset in the ITF, or the user may manually set a specific address to receive the desired SP discovery information.
  • the receiver may perform DHCP based SP discovery. That is, the receiver may obtain SP discovery information by using a DHCP option.
  • the receiver may perform DNS SRV based SP discovery. That is, the receiver may obtain a SP discovery information by throwing a query using the DNS SRV mechanism.
  • the receiver accesses the server of the address obtained in the above manner, and receives the information configured as a service provider discovery record containing information required for service discovery of the SP.
  • the receiver proceeds with the service search through the information composed of the service provider discovery record.
  • Data related to service provider discovery records can be provided in either push or pull.
  • the receiver Based on the information of the service provider discovery record, the receiver connects to the SP attachment server of the service provider's connection address (for example, the address designated as SPAttachmentLocator) and performs the ITF registration procedure. do.
  • the information delivered from the ITF to the server may be delivered in the form of an ITFRegistrationInputType record, for example, and the ITF provides such information in the form of a query term of the HTTP GET method to access the service ( Service Attachment) can also be performed.
  • the receiver may selectively access the authentication service server of the SP designated as the SPAuthenticationLocator and perform a separate authentication procedure, and then perform a service connection.
  • the receiver may perform authentication by transmitting ITF information similar to that of the service connection to the server.
  • the receiver may receive data in the form of ProvisioningInfoTable from the service provider. This process may be omitted.
  • the receiver provides its ID and location information in the data transmitted to the server during the service access process such as the ITFRegistrationInputType record.
  • the service access server may specify a service subscribed to by the receiver based on the information provided by the receiver. Based on this, the service access server may provide an address for obtaining service information that a receiver should receive in the form of ProvisioningInfoTable. For example, this address can be used as connection information of the MasterSiTable. Such a method has an effect of enabling a service to be configured and provided for each subscriber.
  • the receiver may receive a VirtualChannelMap Table, a VirtualChannelDescription Table, and / or a SourceTable based on the information received from the service provider.
  • the VirtualChannelMap Table provides a list of services in the form of MasterSiTable and package that manages the access information and version of the VirtualChannelMap.
  • the VirtualChannelDescription Table contains detailed information of each channel.
  • SourceTable contains access information that can access actual service.
  • the VirtualChannelMap Table, VirtualChannelDescription Table, and SourceTable may be classified as service information.
  • service information may further include information of the above-described descriptor.
  • the form of the information may be changed to match the service information scheme of the IPTV.
  • FIG. 21 is a diagram illustrating an IPTV service SI table and its relationship according to the present invention.
  • SI Service Information
  • FIG. 21 illustrates Service Provider discovery, attachment metadata components, Services Discovery metadata components, and their relationship.
  • the receiver may process the received data according to the arrow display process illustrated in FIG. 21.
  • ServiceProviderInfo includes SP descriptive information, which is information related to a service provider, authentication location, which is information about a location providing information related to authentication, and an attachment location, which is information related to an attachment location. Doing.
  • the receiver may perform authentication associated with the service provider using the authentication location information.
  • ProvisioningInfo contains information related to the location of the MasterSiTable containing the server address from which the MasterSiTable can be received, the available channel containing information about the channel the viewer can be provided to, and the subscribed channel.
  • An EPG data location may include a subscribed channel, an Emergency Alert System (EAS) location including information related to an emergency alert, and / or location information associated with an electronic program guide (EPG).
  • EAS Emergency Alert System
  • EPG electronic program guide
  • the receiver may connect to the address capable of receiving the Master SI Table using the Master SI Table location information.
  • the MasterSiTable record contains location information that can receive each VirtualChannelMap and version information of each VitualChannelMap.
  • VirtualChannelMap is identified by VirtualChannelMapIdentifier, and VituralChannelMapVersion has version information of VictualChannelMap.
  • the VitrualChannelMap may be identified by a VirtualChannelMapIdentifier.
  • Each VirtualChannelMap can have one or more VirtualChannels, and specifies the locations from which detailed information about the VirtualChannels can be obtained.
  • VirtualChannelDescriptionLocation plays a role of designating the location of VirtualChannelDescriptionTable containing channel details.
  • the VirtualChannelDescriptionTable contains detailed information of the VirtualChannel and can be connected to a location providing the corresponding information to the VirtualChannelDescriptionLocation on the VirtualChannelMap.
  • the VirtualChannelServiceID is included in the VirtualChannelDescriptionTable and identifies a service corresponding to the VirtualChanneldescription.
  • the receiver can find the VirtualChannelDescriptionTable through the VirtualChannelServiceID.
  • the VirtualChannelDescriptionTable identified by a specific VirtualChannelServiceID is found.
  • the SourceTable provides connection information (eg, IP address, port, AV codec, transport protocol, etc.) and / or service-specific source information required to access a real service. Since one source may be utilized for several VirtualChannel services, it may be efficient to provide source information separately for each service.
  • connection information eg, IP address, port, AV codec, transport protocol, etc.
  • the MasterSiTable, VirtualChannelMapTable, VirtualChannelDescriptionTable, and SourceTable are logically conveyed through four separate flows, and may be pushed or pulled.
  • the MasterSiTable can be transmitted by multicast for version management, and the receiver can always monitor the version change by receiving the stream transmitting the MasterSiTable.
  • FIG. 22 is a diagram illustrating an example of a SourceReferenceType XML schema structure according to the present invention.
  • FIG. 22 is a diagram illustrating an XML schema of a SourceReferenceType according to an embodiment of the present invention.
  • the XML schema of SourceReferenceType is a structure for referencing a source element containing media source information of a virtual channel service.
  • SourceReferenceType includes SourceId, SourceVersion, and / or SourceLocator information.
  • SourceId is an identifier of a referenced source element.
  • SourceVersion is the version of the referenced Source element.
  • the SourceLocator provides a location to receive a SourceTable that contains the referenced Source element. In one embodiment, when the DefaultSourceLocator and the present element are present at the same time, this element overrides the default value.
  • FIG. 23 is a diagram illustrating an example of a SourceType XML schema structure according to the present invention.
  • FIG. 23 is a diagram illustrating an XML schema of SourceType according to an embodiment of the present invention.
  • the XML schema of SourceType includes information necessary to obtain a media source of a VirtualChannelService.
  • SourceType includes SourceId, SourceVersion, TypeOfSource, IpSourceDefinition and / or RfSourceDefinition information.
  • SourceId is an identifier of a referenced source element. In one embodiment, this identifier must uniquely identify this Source element.
  • SourceVersion is the version of the referenced Source element. In one embodiment, the value should increase whenever the content of the source element changes.
  • TypeOfSource is a value that indicates the nature of the source. See FIG. 24 for specific embodiment values for this value.
  • the Barker channel is a channel for advertisement or promotion, and when the channel cannot be viewed due to lack of authority of the channel, the Barker channel is automatically selected as the channel and serves as a promotion and subscription guide for the channel.
  • IpSourceDefinition provides access information of media source delivered over IP network.
  • IpSourceDefinition may inform the Multicast IP address, transport protocol and / or various parameters.
  • RfSourceDefinition can provide connection information of media source delivered through cable TV network.
  • FIG. 24 is a diagram illustrating an example of a TypeOfSourceType XML schema structure according to the present invention.
  • FIG. 24 is a diagram illustrating a TypeOfSourceType XML schema extended to signal information about a video image for 3D service according to an embodiment of the present invention.
  • a TypeOfSource value indicating a characteristic of a corresponding source is defined.
  • HD, SD, PIP, SdBarker, HdBarker, PipBarker, 3D HD, and 3D SD may be indicated according to the value.
  • the Barker channel is a channel for advertisement or promotion, and when the channel is not available because the authority of the channel is not available, the Barker channel is automatically selected as the channel and serves as a promotion and subscription guide for the channel.
  • IPSourceDefinition and RFSourceDefinition can be extended to provide stereo format information of 3D source. Providing such information is similar to providing stereo format information on a service basis in an ATSC or DVB system.
  • one service may be composed of various media sources, and as described above, a plurality of sources may be designated in a flexible structure. Accordingly, it is possible to provide information in units of services by extending the source level information and providing stereo format information.
  • FIG. 25 is a diagram illustrating an example of a StereoformatInformationType XML schema structure according to the present invention
  • FIG. 26 is a diagram illustrating another example of the StereoformatInformationType XML schema structure according to the present invention.
  • 25-26 illustrate elements and types thereof for stereo format information for 3D display in accordance with the present invention.
  • the StereoformatInformation Type is a newly defined type to include stereo format information. As described above, the stereoformat information of the stereoscopic video signal of the corresponding source of the service, the L / R signal arrangement method, and the priority output when setting the 2D mode output. It may include information about the view to be. The interpretation and use of these values are as described above.
  • StereoformatInformationType XML schema structure for example, as described above, the six elements of the StereoComposition type, LRFristFlag, LROutputFlag, LeftFlippingFlag, RightFlippingFlag, and SamplingFlag are illustrated.
  • FIGS. 25 and 26 may be the same as the field values of FIG. 13.
  • FIGS. 25 and 26 may be defined as defining XML schema in FIG. 12.
  • FIG. 27 is a diagram illustrating an example of an IpSourceDefinitionType XML schema structure according to the present invention.
  • FIG. 27 illustrates, for example, a StereoformatInformationType value according to the present invention in an IpSourceDefinition Type value in an XML schema.
  • IpSourceDefinition Type includes MediaStream element, RateMode element, ScteSourceId element, MpegProgramNumber element, VideoEncoding and AudioEncoding element (codec element), FecProfile element, and StereoformatInformation type element.
  • the MediaStream element contains an IP multicast session description for this source's media stream.
  • This media stream element contains the asBandwidth attribute.
  • the unit of the asBandwidth attribute may be expressed in kilobits per second.
  • the interpretation of the asBandwidth attribute is the maximum bit rate.
  • the RateMode element contains a programming source rate type. For example, it may be a constant bit rate (CBR) or a variable bit rate (VBR).
  • CBR constant bit rate
  • VBR variable bit rate
  • the ScteSourceId element may include a Source ID of MPEG-2 TS.
  • the MpegProgramNumber element may include an MPEG Program Number.
  • the VideoEncoding element indicates the video encoding format of the media source.
  • the AudioEncoding element may indicate a description of audio coding used in a programming source in the form of an audio MIME type registered in IANA.
  • the FecProfile element indicates an IP FEC Profile if possible.
  • Sub-elements of the StereoformatInformation type elements in the IpSourceDefinition Type include the elements shown in FIGS. 25 to 26.
  • the codec element may also define codec information for a 3D stereoscopic service.
  • FIG. 28 is a diagram illustrating an example of an RfSourceDefinitionType XML schema structure according to the present invention.
  • FIG. 28 exemplifies an RfSourceDefinitionType XML schema.
  • the same contents as those of FIG. 27 described above are referred to the above description and are omitted herein.
  • a FrequencyInKHz element a Modulation element, an RfProfile element, and a DvbTripleId element are further included in the characteristics of RfSourceDefinitionType.
  • the FrequencyInKHz element represents the RF frequency of the source in KHz. This represents the center frequency regardless of the modulation type.
  • the modulation element indicates the RF modulation type. For example, it may represent NTSC, QAM-64, QAM-256, or 8-VSB.
  • the RfProfile element may indicate an elementary stream format. For example, SCTE, ATSC, or DVB may be represented.
  • the DvbTripleId element represents a DVB Triplet identifier for a broadcast stream.
  • StereoFormatInformation elements which are elements of StereoFormatInformationType, to IpSourceDefinitionType and RfSourceDefinitionType, respectively, to display stereo format information for each source, as well as an arrangement method of an L / R signal, and information about a view to be output first when setting 2D mode output.
  • a method of providing is disclosed.
  • media of the IPTV are composed of MPEG-2 TSs similar to those of conventional digital broadcasting, and are transmitted through the IP network. The same may be applied to a method of providing stereo format information through a table.
  • the DVB IPTV system may provide stereo format information by extending IPService as shown in FIG. 29 to be described later.
  • 29 is a diagram illustrating an example of an IPService XML schema structure according to the present invention.
  • the IPService schema of FIG. 29 may include ServiceLocation, TextualIdentifier, DVBTripleID, MaxBitrate, DVB SI, AudioAttributes, VideoAttributes, and ServiceAvailability elements.
  • the ServiceLocation element indicates the location of the 3D stereoscopic service in the IP service.
  • the TextualIdentifier element indicates a textual identifier for the 3D stereoscopic service in the identified IP service.
  • the DvbTripleId element represents a DVB Triplet identifier for a broadcast stream.
  • the MaxBitrate element indicates the maximum bit rate of the broadcast stream.
  • the DVB SI element may contain service elements for attributes and services.
  • the DVB SI element may include a Name element, a Description element, a service description location element, a content genre element, a country availability element, a replacement service element, a mosaic description element, an announcement support element, and a StereoformatInformation element.
  • the Name element may indicate in text form the name of a service known to the user.
  • the Description element may indicate a character description of the service.
  • the ServiceDescriptionLocation element may indicate an identifier of a BCG record for the BCG discovery element that delivers the provision information.
  • the ContentGenre element may indicate the (main) genre of the service.
  • the CountryAvailability element may represent a list of countries where a service is available or unavailable.
  • the ReplacementService element may indicate details of the connection to another service if the SI record fails to provide the service referenced.
  • the MosaicDescription element may represent details of the service or service package displayed in the mosaic stream.
  • the AnnouncementSupport element may indicate the announcement supported by the service. It may also indicate link information about the location of the announcement.
  • StereoformatInformationType element For the StereoformatInformationType element, refer to the above description and a detailed description thereof will be omitted.
  • the AudioAttributes element represents attributes of audio data transmitted through a broadcast stream.
  • the VideoAttributes element represents attributes of video data transmitted through a broadcast stream.
  • the ServiceAvailability element indicates the availability of a service.
  • each IPTV service is expressed in DVB SD & S (Service Discovery and Selection) in IPService units, and the SI element provides additional detailed information about the service. This information provides much of the same content contained on the SDT on DVB SI. We want to extend this by providing a StereoFormat element as shown below. Through this, stereo format information that can be used for each service can be provided.
  • the DVB IPTV system may be configured in the form of MPEG2 TS and transmitted through the IP network to use DVB-SI information in the TS in the same form as the existing DVB broadcast. Therefore, other techniques proposed in the present invention can be used equally.
  • FIG. 30 is a diagram illustrating another example of a digital receiver for processing a 3D service according to the present invention.
  • FIG 30 illustrates an IPTV receiver according to an embodiment of the present invention.
  • an IPTV receiver includes a network interface 30010, a TPC / IP manager 30020, a service control manager 30030, and a service delivery manager.
  • Manager 30040 Content DB 30050, PVR Manager 30060, Service Discovery Manager 30070, Metadata Manager 30080, SI & Metadata DB 30090, SI decoder 30100, Demultiplexer (DEMUX) 30110, Audio and Video Decoder 30120, Native TV Application manager 30130 and / or And a display unit (A / V and OSD Displayer) 30140.
  • the network interface 30010 plays a role of transmitting / receiving an IPTV packet.
  • the network interface 30010 operates in a physical layer and / or a data link layer.
  • the TPC / IP Manager 30020 is involved in end to end packet transmission. That is, the TPC / IP Manager 30020 manages packet transmission from source to destination. The TPC / IP Manager 30020 classifies and transmits IPTV packets to appropriate managers.
  • the service control manager 30030 selects and controls a service.
  • the service control manager 30030 may play a role of managing a session.
  • the Service Control Manager 30030 may select a real time broadcast service using IGMP (Internet Group Management Protocol) or RTSP.
  • IGMP Internet Group Management Protocol
  • RTSP Video on Demand
  • VOD Video on Demand
  • IMS IP Multimedia Subsystem
  • the Service Control Manager 30030 performs session initialization and / or management through an IMS gateway using a session initiation protocol (SIP).
  • SIP session initiation protocol
  • the RTSP protocol is used to control transmission by TV broadcast or audio broadcast as well as on-demand transmission.
  • the RTSP protocol uses a persistent TCP connection and supports trick mode control for real-time media streaming.
  • the Service Delivery Manager 30040 is involved in the handling of live streaming and / or content download.
  • the service delivery manager 30040 retrieves content from the content DB 30050 for later use.
  • the service delivery manager 30040 may use Real-Time Transport Protocol (RTP) / RTP Control Protocol (RTCP) used with MPEG-2 Transport Stream (TS).
  • RTP Real-Time Transport Protocol
  • RTCP RTP Control Protocol
  • MPEG-2 packets are encapsulated using RTP.
  • the Service Delivery Manager 30040 parses the RTP packet and sends the parsed packet to the DEMUX 30110.
  • the service delivery manager 30040 may play a role of transmitting feedback for network reception using RTCP.
  • MPEG-2 transport packets can be directly transmitted using a user datagram protocol (UDP) without using RTP.
  • UDP user datagram protocol
  • the service delivery manager 30040 may use hypertext transfer protocol (HTTP) or file delivery over unidirectional transport (FLUTE) as a transport protocol for content downloading.
  • HTTP hypertext transfer protocol
  • FLUTE file delivery over unidirectional transport
  • the service delivery manager 30040 may serve to process a stream for transmitting 3D video composition information. That is, when the above-described 3D video composition information is transmitted in a stream, the processing thereof may be performed by the service delivery manager 30040.
  • the Service Delivery Manager 30040 may receive, process, or deliver a 3D Scene Depth information stream.
  • the content DB 30050 is a database about content transmitted by the content download system or content recorded from a live broadcast TV.
  • the PVR manager 30060 records and plays live streaming content. Collect all necessary metadata about the recorded content and gather additional information for a better user experience. For example, a thumbnail image or an index may be included.
  • the service discovery manager 30070 enables discovery of IPTV services through a bidirectional IP network. Provides all the information about the available services.
  • Metadata Manager 30080 manages the processing of metadata.
  • SI & Metadata DB (30090) manages metadata in association with metadata DB.
  • SI Decoder 30100 is a PSI control module. This may include not only PSI but also PSIP or DVB-SI, where PSI is used to include them. SI Decoder 30100 sets the PIDs for the PSI table and passes it to DEMUX 30110. Decode the PSI private section delivered from DEMUX 30110 and the result is used to demultiplex input TP by setting the audio and video PID.
  • DEMUX 30110 demultiplexes the audio, video, and PSI tables from input transport packets (TPs). It is controlled to demultiplex the PSI table by the SI Decoder 30100 and generates a PSI table section and outputs it to the SI Decoder 30100. It is also controlled to demultiplex A / V TP.
  • Audio and Video Decoder 30120 may decode video and / or audio elementary stream packets. Audio Decoder and / or Video Decoder. Audio Decoder decodes audio elementary stream packets.
  • Video Decoder decodes video elementary stream packets.
  • the Native TV Application manager 30130 includes a UI Manager 30140 and / or a Service Manager 30135.
  • the Native TV Application manager 30130 supports a Graphic User Interface on the TV screen.
  • the native TV application manager 30130 may receive a user key by a remote controller or a front panel.
  • the native TV application manager 30130 may manage the state of the TV system.
  • the Native TV Application manager 30130 may configure a 3D OSD and control the output.
  • the UI manager 30140 may perform a control for displaying a user interface on the TV screen.
  • the service manager 30135 controls the manager associated with the service.
  • the Service Manager 30135 may control the Service Control Manager 30030, the Service Delivery Manager 30040, the IG-OITF client, the Service Discovery Manager 30070, and / or the Metadata Manager 30080.
  • the service manager 30135 processes the information related to the 3D PIP display to control the display of the 3D video image.
  • the A / V and OSD Displayer 30150 receives the audio data and the video data, controls the display of the video data, and controls the reproduction of the audio data.
  • the A / V and OSD Displayer 30150 may perform video data processing such as resizing, video formatting, frame rate conversion, and the like by filtering the video data according to 3D PIP information.
  • the A / V and OSD Displayer 30150 controls the output of the OSD.
  • the A / V and OSD Displayer 30150 may serve as a 3D output formatter that receives left and right images and outputs them as stereoscopic video in the case of a 3D service as shown in FIG. 17. In this process, it will be possible to output the 3D OSD in combination.
  • the A / V and OSD Displayer 30150 may process the 3D depth information and transmit the processed 3D depth information to the UI manager 30140 to be used when outputting the 3D OSD.
  • 31 is a diagram illustrating another example of a digital receiver for processing a 3D service according to the present invention.
  • FIG 31 illustrates functional blocks of an IPTV receiver according to an embodiment of the present invention.
  • the functional blocks of the IPTV receiver are cable modem / DSL modem 31010, Ethernet NIC (Ethernet NIC, 31020), IP network stack (31030), XML parser (31040), file handler (file handler).
  • 31050 EPG processor 31060, SI processor 31070, storage device 31080, SI decoder 31090, EPG decoder 31100, ITF operation controller 31110, channel service manager 31120, application It may include a manager 31130, a demultiplexer 31140, an SI parser 31150, an audio / video decoder 31160, and / or a display module 31170.
  • Blocks mainly dealt with in the present invention are indicated by a thick line, a solid arrow indicates a data path, and a dotted arrow indicates a control signal path. Description of each part is as follows.
  • the cable modem / DSL modem 31010 demodulates the signal transmitted through the interface and the physical medium to which the ITF is connected to the IP network in the physical layer, and restores the digital signal.
  • the Ethernet NIC 31020 is a module for restoring a signal received through a physical interface to IP data.
  • the IP network stack 31030 is a processing module of each layer according to the IP protocol stack.
  • the XML parser 31040 is a module that parses an XML document among the received IP data.
  • the file processor 31050 is a module that processes data transmitted in the form of a file through FLUTE among the received IP data.
  • the EPG processor 31060 is a module that processes a portion corresponding to IPTV EPG data among the file type data received and stores it in a storage device.
  • the SI processor 31070 is a module that processes a portion corresponding to IPTV SI data among the received file type data and stores it in a storage device.
  • the storage device 31080 is a storage device that stores data that requires storage such as SI and EPG.
  • the SI decoder 31090 is a device that retrieves SI data from the storage device 18080 and restores necessary information when channel map information is needed.
  • the EPG decoder 31100 retrieves and analyzes EPG data from the storage device 31080 to restore necessary information.
  • the ITF operation controller 31110 is a main control unit for controlling the operation of the ITF such as a channel change and an EPG display.
  • the channel service manager 31120 is a module that receives an input from a user and manages a channel change operation.
  • the application manager 31130 is a module that manages application services such as an EPG display by receiving input from a user.
  • the demultiplexer 31140 is a module that extracts MPEG-2 transport stream data from the received IP datagram and delivers the data to a corresponding module according to each PID.
  • the SI parser 31150 is a module for extracting and parsing PSI / PSIP data containing information for accessing program elements, such as PID information of each data (audio / video, etc.) of the MPEG-2 transport stream in the received IP datagram. to be.
  • the audio / video decoder 31160 decodes the received audio and video data and delivers the decoded audio and video data to the display module.
  • the display module 31170 combines the received AV signal and the OSD signal, processes them, and outputs them through the screen and the speaker.
  • the display module 31170 may output the 3D PIP together with the 2D / 3D basic service according to the 3D PIP display related information.
  • the display module 31170 may perform video data processing such as resizing, video formatting, frame rate conversion, etc. through filtering on the video data according to 3D PIP information.
  • the display module 31170 separates the L / R image and outputs the 3D image through the formatter.
  • the 3D depth information may be used to process the OSD to be displayed together with the 3D image.
  • Method invention according to the present invention are all implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예에 따른 3D 비디오 데이터 처리 방법의 일 예는, 3D 비디오 데이터 및 서비스 정보를 포함한 방송 신호를 수신하는 단계; 상기 서비스 정보 내 제1 시그널링 테이블로부터 해당 가상 채널에서 3D 서비스 여부를 식별하는 단계; 상기 제1 시그널링 테이블로부터 서비스 식별자와 3D 서비스에 대한 제1 컴포넌트 정보를 포함한 스테레오 포맷 디스크립터를 추출하는 단계; 상기 가상 채널에 대한 서비스 식별자와 매핑되는 프로그램 넘버를 가진 제2 시그널링 테이블로부터 상기 제1 컴포넌트 정보에 대응되는 제2 컴포넌트 정보를 독출하고, 상기 독출된 제2 컴포넌트 정보에 기초하여 기본 PID 정보를 추출하는 단계; 스테레오 포맷 디스크립터로부터 스테레오 비디오 엘레멘트에 대한 스테레오 포맷 정보를 추출하는 단계; 및 추출된 스테레오 포맷 정보에 기초하여 스테레오 비디오 엘레멘트를 디코딩하여 출력하는 단계;를 포함하여 이루어진다.

Description

방송 수신기 및 3D 비디오 데이터 처리 방법
본 발명은 방송 신호를 처리하기 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 3D 방송 시스템에서 복수의 비디오 스트림(video stream)이 전송되는 경우 비디오 데이터를 처리하는 방송 수신기 및 3D 비디오 데이터 처리 방법에 관한 것이다.
일반적으로 3D(3-dimensional) 이미지(또는 입체 이미지)는 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 이미지는 좌안과 우안 각각이 연관된 평면 이미지를 보도록 이미지를 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 이미지를 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰 이미지(left view image)와 우안에서 시청되기 위한 라이트 뷰 이미지(right view image)를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 라이트 뷰 이미지를 시청함으로써 3D 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는, 3D 방송 시스템에서 스테레오스코픽 디스플레이를 위해 복수의 비디오 스트림을 전송하는 경우 3D 비디오 데이터에 대한 정보를 송신 및 수신하고 이를 이용하여 3D 비디오 데이터를 처리함으로써 사용자에게 더욱 편리하고 효율적인 방송 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 3D 비디오 데이터 처리 방법의 일 예는, 3D 비디오 데이터 및 서비스 정보를 포함한 방송 신호를 수신하는 단계; 상기 서비스 정보 내 제1 시그널링 테이블로부터 해당 가상 채널에서 3D 서비스 여부를 식별하는 단계; 상기 제1 시그널링 테이블로부터 서비스 식별자와 3D 서비스에 대한 제1 컴포넌트 정보를 포함한 스테레오 포맷 디스크립터를 추출하는 단계; 상기 가상 채널에 대한 서비스 식별자와 매핑되는 프로그램 넘버를 가진 제2 시그널링 테이블로부터 상기 제1 컴포넌트 정보에 대응되는 제2 컴포넌트 정보를 독출하고, 상기 독출된 제2 컴포넌트 정보에 기초하여 기본 PID 정보를 추출하는 단계; 스테레오 포맷 디스크립터로부터 스테레오 비디오 엘레멘트에 대한 스테레오 포맷 정보를 추출하는 단계; 및 추출된 스테레오 포맷 정보에 기초하여 스테레오 비디오 엘레멘트를 디코딩하여 출력하는 단계;를 포함하여 이루어진다.
또한, 본 발명의 일 실시예에 따른 3D 방송 수신기의 일 예는, 3D 비디오 데이터 및 서비스 정보를 포함한 방송 신호를 수신하는 수신 유닛; 상기 서비스 정보 내 제1 시그널링 테이블과 제2 시그널링 정보를 획득하고, 상기 제1 시그널링 테이블 및 제2 시그널링 테이블로부터 스테레오 포맷 정보를 획득하는 시스템 정보 처리부; 상기 제1 시그널링 테이블로부터 해당 가상 채널에서 3D 서비스 여부를 식별하고, 상기 제1 시그널링 테이블로부터 서비스 식별자와 상기 스테레오 포맷 정보로부터 3D 서비스에 대한 제1 컴포넌트 정보와 스테레오 비디오 엘레멘트에 대한 스테레오 포맷 정보, 상기 가상 채널에 대한 서비스 식별자와 매핑되는 프로그램 넘버를 가진 제2 시그널링 테이블로부터 상기 제1 컴포넌트 정보에 대응되는 제2 컴포넌트 정보를 독출하도록 제어하고, 상기 독출된 제2 컴포넌트 정보에 기초하여 기본 PID 정보를 추출하도록 제어하는 제어부; 추출된 스테레오 포맷 정보에 기초하여 스테레오 비디오 엘레멘트를 디코딩하는 디코더; 및 디스플레이 타입에 따라 디코딩된 3D 비디오 데이터를 출력하는 디스플레이부;를 포함한다.
본 발명에 따르면,
첫째, 3D 방송 서비스를 제공하는 경우 수신기에서 3D 방송 서비스 제작시 의도된 3D 효과를 반영하도록 수신한 3D 비디오 데이터를 처리할 수 있다.
둘째, 기존의 2D 방송 서비스에 주는 영향을 최소화하면서 효율적으로 3D 방송 서비스를 제공할 수 있다.
도 1은 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 탑-바텀 방식으로 스테레오스코픽 영상을 멀티플렉싱하여 영상을 구성하는 방법을 설명하기 위해 도시한 도면,
도 3은 본 발명의 일 실시예에 따른 사이드-바이-사이드 방식으로 스테레오스코픽 영상을 멀티플렉싱하여 영상을 구성하는 방법을 설명하기 위해 도시한 도면,
도 4는 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 TVCT의 신택스 구조를 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 TVCT 테이블 섹션에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면,
도 6은 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 PMT의 신택스 구조를 설명하기 위해 도시한 도면,
도 7은 본 발명의 일 실시예에 따른 PMT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면,
도 8은 본 발명의 일실시예에 따른 SDT 테이블 섹션의 비트스트림 신택스 구조를 설명하기 위해 도시한 도면,
도 9는 본 발명에 따른 service_type 필드 구성의 일 예를 설명하기 위해 도시한 도면,
도 10은 본 발명의 일 실시예에 따른 SDT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면,
도 11은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면,
도 12는 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도,
도 13은 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방송 수신기의 구성을 도시한 도면,
도 14는 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 스테레오 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면,
도 15는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면,
도 16은 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면,
도 17은, 본 발명의 일 실시예에 따라 quincunx 샘플링을 사용하는 3D 비디오 데이터 처리 방법을 도시한 도면,
도 18은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플렉싱 포맷을 변환하여 출력하는 방송 수신기의 구성을 도시한 도면,
도 19는, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플렉싱 포맷을 변환하여 출력하는 방송 수신기의 비디오 데이터 처리 방법을 도시한 도면,
도 20은 본 발명과 관련하여, IPTV 서비스 탐색 과정을 설명하기 위해 도시한 도면,
도 21은 본 발명에 따른 IPTV 서비스 SI 테이블 및 그 관계를 설명하기 위해 도시한 도면,
도 22는 본 발명에 따른 SourceReferenceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 23은 본 발명에 따른 SourceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 24는 본 발명에 따른 TypeOfSourceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 25는 본 발명에 따른 StereoformatInformationType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 26은 본 발명에 따른 StereoformatInformationType XML 스키마 구조의 다른 예를 설명하기 위해 도시한 도면,
도 27은 본 발명에 따른 IpSourceDefinitionType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 28은 본 발명에 따른 RfSourceDefinitionType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 29는 본 발명에 따른 IPService XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면,
도 30은 본 발명에 따른 3D 서비스를 처리하는 디지털 수신기의 다른 예를 설명하기 위해 도시한 도면, 그리고
도 31은 본 발명에 따른 3D 서비스를 처리하는 디지털 수신기의 또 다른 예를 설명하기 위해 도시한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 이미지 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 이미지(stereoscopic image) 방식과 3개 이상의 시점을 고려하는 멀티-뷰 이미지(multiple-view image) 방식을 포함한다. 이에 비해 종래의 싱글-뷰 이미지(single-view image) 방식은 모노스코픽(monoscopic) 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 이미지를 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있다. 또한 이하에서 용어 스테레오스코픽은 스테레오로 약칭할 수 있다.
스테레오스코픽 이미지 또는 다시점 이미지는 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.
예를 들어, 스테레오스코픽 이미지 또는 다시점 이미지는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때, 방송 수신기는 H.264/AVC 코딩 방식의 역으로 수신 이미지를 복호하여 3D 이미지를 얻을 수 있다.
또한, 스테레오스코픽 이미지의 레프트 뷰 이미지(left view image)와 라이트 뷰 이미지(right view image) 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer or enhanced layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
기존의 지상파 DTV 송수신 표준은 2D 비디오 컨텐트를 기준으로 하고 있다. 따라서, 3DTV 방송 컨텐트가 서비스되기 위해서는 3D 비디오 컨텐츠에 대한 송수신 표준이 추가로 정의되어야 한다. 수신기는 추가된 송수신 표준에 따라 방송 신호를 수신하고, 적절하게 처리하여 3D 방송 서비스를 지원할 수 있다.
본 발명에서 DTV 송수신 시스템은 ATSC(Advanced Television Systems Committee) 시스템과 DVB(Digital Video Broadcasting) 시스템을 일 실시예로서 설명하도록 한다.
ATSC 시스템과 DVB 시스템의 경우, 방송 컨텐트를 처리하기 위한 정보가 시스템 정보(system information; SI)에 포함되어 전송될 수 있다. 이러한 시스템 정보는 경우에 따라 서비스 정보(service information), 시그널링 정보(signaling information) 등으로 불리운다. 시스템 정보는 예를 들어, 방송을 위해 필요한 채널 정보, 이벤트 정보, 서비스 식별 정보, 3D 서비스를 위한 포맷 정보 등을 포함한다. ATSC 시스템에서는 시스템 정보를 PSI/PSIP(Program Specific Information/Program and System Information Protocol)에 포함하여 송수신하고, DVB 시스템에서는 DVB-SI에 포함하여 송수신할 수 있다.
PSI는, PAT(Program Assoication Table), PMT(Program Map Table) 등을 포함한다. PAT는 PID(Packet ID)가 ‘0’인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 마다 해당 PMT의 PID 정보를 전송한다. PMT는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림(bit stream)이 전송되는 트랜스포트 스트림 패킷(Transport Stream (TS) packet)의 PID 정보 및 PCR이 전달되는 PID 정보를 전송한다. 방송 수신기는, PAT로부터 획득한 PMT를 파싱하여 프로그램을 구성하는 구성 요소들간의 상관관계에 대한 정보를 획득할 수 있다.
PSIP은, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), MGT(Master Guide Table) 등을 포함할 수가 있다. VCT는 가상 채널에 대한 정보 예를 들어, 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 PID 등의 정보를 전송한다. 즉, 방송 수신기는 VCT를 파싱하여 채널 이름, 채널 번호 등과 함께 채널 내에 실려 오는 방송 프로그램의 오디오와 비디오의 PID를 획득할 수 있다. STT는 현재의 날짜와 시간 정보를 전송하고, RRT는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송할 수 있다. ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, EIT는 이벤트에 대한 정보를 전송할 수 있다. DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, MGT는 PSIP 내 각 테이블의 버전 및 PID 정보를 전송할 수 있다.
DVB-SI는, SDT(Service Description Table), EIT(Event Information Table) 등을 포함할 수 있다. SDT는 서비스에 대한 상세 정보를 제공하며, EIT는 서비스에 포함되는 프로그램에 대한 상세 정보를 제공한다.
후술하는 바와 같이, 본 발명에 따른 스테레오 포맷 정보, L/R 신호의 배치 방법, 2D 모드 출력시 우선 출력될 뷰(view)에 대한 정보, 스테레오스코픽 비디오 기본 스트림(ES)을 구성하는 L/R 영상에 대한 특정 뷰 이미지의 역방향 스캔 여부 등에 관한 정보는 상술한 시스템 정보 내 새롭게 정의된 테이블 또는 기 존재하는 테이블의 필드나 디스크립터 형식으로 정의될 수 있다. 본 명세서에서는 본 발명에 따른 상기 정보들이 PSI의 PMT, PSIP의 TVCT, DVB-SI의 SDT에 포함되는 것을 예로 하여 설명하나, 이에 한정되는 것은 아니고 다른 테이블 또는/및 다른 방식으로 정의될 수도 있다.
3D 방송 시스템에서 스테레오스코픽 디스플레이를 위해 레프트 뷰 이미지와 라이트 뷰 이미지를 하나의 비디오 스트림에 멀티플렉싱(multiplexing)하여 전송할 수 있는데, 이를 인터림 포맷(interim format)의 스테레오스코픽 비디오 데이터 또는 스테레오스코픽 비디오 신호로 지칭할 수 있다. 이렇게 레프트 뷰의 비디오 데이터와 라이트 뷰의 비디오 데이터가 멀티플렉싱된 스테레오스코픽 비디오 신호를 방송 채널을 통해 수신하여 효과적으로 출력하기 위해서는 기존의 방송 시스템 표준에서 해당 3D 방송 서비스를 시그널링(signaling)할 수 있어야 한다.
2개 뷰의 비디오 데이터를 공간적 레졸루션(spatial resolution) 측면에서 각각을 하프-레졸루션(half-resolution)으로 줄여 전송한 후 송신단에서 하나로 합치는 경우에, 2개의 하프-레졸루션의 비디오 데이터의 용량이 하나의 풀-레졸루션(full-resolution)의 비디오 데이터의 용량보다 커질 수 있다. 따라서, 전송단에서 데이터의 효율적인 압축을 위해 레프트 뷰의 비디오 데이터와 라이트 뷰의 비디오 데이터를 믹싱(mixing)하는 과정에서 레브트 뷰의 비디오 데이터 또는 라이트 뷰의 비디오 데이터를 뒤집어서 2개 뷰의 비디오 데이터를 구성할 수 있다. 따라서, 방송 수신기에서 이러한 비디오 데이터를 효과적으로 처리하려면 예를 들어, 상기와 같이 비디오 전송시의 비디오 데이터 구성에 대한 정보를 전송단에서 시그널링 해주어야 한다.
스테레오스코픽 영상의 전송 포맷에는, 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다. 싱글 비디오 스트림 포맷은 2 시점의 비디오 데이터를 하나의 비디오 스트림에 멀티플렉싱하여 전송하는 방식으로, 하나의 비디오 스트림에 비디오 데이터를 전송하므로 3D 방송 서비스를 제공함에 있어서 추가적으로 요구되는 대역폭이 크지 않은 이점이 있다. 한편, 멀티 비디오 스트림 포맷은 복수의 비디오 데이터를 복수의 비디오 스트림으로 전송하는 방식으로, 대역폭의 사용은 늘어나나 고용량의 데이터 전송이 가능하므로 고화질의 비디오 데이터를 디스플레이할 수 있는 이점이 있다.
도 1은 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
싱글 비디오 스트림 포맷에는 (a)의 사이드-바이-사이드(side-by-side) 포맷, (b)의 탑-바텀(top-bottom) 포맷, (c)의 인터레이스드(interlaced) 포맷, (d)의 프레임-시퀀셜(frame-sequential) 포맷, (e)의 체커 보드(checker board) 포맷, (f)의 애너글리프(anaglyph) 포맷 등이 있다.
(a)의 사이드-바이-사이드 포맷은, 좌 영상과 우 영상을 각각 수평 방향으로 1/2 다운샘플링(downsampling)하고, 샘플링한 하나의 영상을 좌측(left)에, 샘플링한 나머지 하나의 영상을 우측(right)에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (b)의 탑-바텀 방식은, 좌 영상과 우 영상을 각각 수직 방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 상부(top)에, 샘플링한 나머지 하나의 영상을 하부(bottom)에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (c)의 인터레이스드 방식은, 좌 영상과 우 영상을 각각 수평 방향으로 라인(line)마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하거나, 좌 영상과 우 영상을 각각 수직 방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (d)의 프레임-시퀀셜 방식은, 하나의 비디오 스트림에 좌영상과 우영상을 시간적으로 교차하여 구성한다. (e)의 체커 보드 포맷은, 좌 영상과 우 영상을 각각 수직 및 수평 방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (f)의 애너글리프 포맷은, 보색 대비를 이용하여 입체 효과를 내도록 영상을 구성한다.
방송 수신기에서 이러한 다양한 방식으로 전송된 비디오 데이터를 효율적으로 디멀티플렉싱하여 비디오 데이터를 처리하려면, 전송단에서 멀티플렉싱 포맷에 대한 정보를 전송해줄 필요가 있다.
도 1에서 특히, 사이드-바이-사이드 방식 및 탑-바텀 방식으로 비디오 데이터를 전송하는 경우 1/2 다운샘플링을 한 2개의 영상을 송신하므로 각각의 영상의 레졸루션은 1/2가 될 수 있다. 그러나 하프-레졸루션의 영상 2개를 전송하는 경우 비디오 데이터의 용량이 하나의 풀-레졸루션의 영상을 전송하는 경우의 비디오 데이터 용량보다 커질 수 있다. 예를 들면, 비디오 데이터를 기준 영상과 그에 대한 변화 및 차이를 나타내도록 코딩하는 경우 비디오 압축율이 상승할 수 있는데, 이러한 경우 하나의 풀-레졸루션의 비디오 데이터의 압축율에 비해 2개의 하프-레졸루션의 비디오 데이터의 압축율이 떨어지면 이러한 경우가 발생할 수 있다. 따라서, 송신 시스템에서 전송시 압축율을 높일 수 있도록 2개의 영상에서 하나를 상하로 인버팅(inverting)하거나 좌우로 미러링(mirroring)할 수 있다.
도 2는 본 발명의 일 실시예에 따른 탑-바텀 방식으로 스테레오스코픽 영상을 멀티플렉싱하여 영상을 구성하는 방법을 설명하기 위해 도시한 도면이다.
영상들(2010 내지 2030)은, 좌영상이 탑에, 우영상은 바텀에 배치되어 구성되며, 영상들(2040 내지 2060)은 좌영상이 바텀에, 우영상은 탑에 배치되어 구성되었다.
영상(2010)은 각각 탑과 바텀에 배치된 좌영상과 우영상이 모두 노멀(normal), 영상(2020)은 탑의 좌영상이 인버팅(inverting), 영상(2030)은 바텀의 우영상이 인버팅되었다.
영상(2040)은 각각 탑과 바텀에 배치된 우영상과 좌영상이 노멀, 영상(2050)은 바텀의 좌영상이 인버팅, 영상(2060)은 탑의 우영상이 인버팅되었다.
도 3은 본 발명의 일 실시예에 따른 사이드-바이-사이드 방식으로 스테레오스코픽 영상을 멀티플렉싱하여 영상을 구성하는 방법을 설명하기 위해 도시한 도면이다.
영상들(3010 내지 3030)은, 좌영상이 좌측에, 우영상은 우측에 배치되어 구성되며, 영상들(3040 내지 3060)은 좌영상이 우측에, 우영상은 좌측에 배치되어 구성되었다.
영상(3010)은 각각 좌측과 우측에 배치된 좌영상과 우영상이 노멀, 영상(3020)은 좌측의 좌영상이 미러링, 영상(3030)은 우측의 우영상이 미러링되었다.
영상(3040)은 각각 좌측과 우측에 배치된 우영상과 좌영상이 노멀, 영상(3050)은 우측의 좌영상이 미러링, 영상(3060)은 좌측의 우영상이 미러링되었다.
도 2 및 3에서 인버팅 또는/및 미러링된 영상은 데이터 압축율의 차이를 가져올 수 있다. 예를 들어, 한 화면을 기준 화소(pixel)로부터 주변 화소에 대한 데이터를 차분적으로(differentially) 압축하는 경우를 가정하자. 한 쌍의 스테레오스코픽 영상은 기본적으로 동일한 화면에 대한 3D 효과를 나타내는 영상의 쌍(pair)이므로 화면의 위치에 따른 정보가 유사할 개연성이 높다. 다시 말해, 노멀하게 배치된 영상들(2010, 2040, 3010, 3040)에서는 좌영상과 우영상이 이어지는 부분에서 완전히 새로운 영상 정보가 이어지고, 압축되는 차분값들이 크게 변화할 수 있다. 그러나 인버팅된 영상들(2020, 2030, 2050, 2060)의 경우 좌영상의 하부와 우영상의 하부(2030, 2050) 또는 좌영상의 상부가 우영상의 상부(2020, 2060)와 이어지게 되어 좌영상과 우영상이 이어지는 부분에서 코딩되는 데이터의 양이 줄어들 수 있다. 미러링된 영상들(3020, 3030, 3050, 3060)의 경우에도 좌영상의 우측과 우영상의 우측(3030, 3050)이 이어지거나 좌영상의 좌측과 우영상의 좌측(3020, 3060)이 이어지게 되어 좌영상과 우영상이 이어지는 부분에서 데이터의 유사성이 연속되므로 코딩(coded)되는 데이터의 양이 줄어들 수 있다.
방송 수신기에서 3D 비디오 스트림 내지는 3D 비디오 데이터를 수신하여 효율적으로 처리하려면, 상술한 멀티플렉싱 포맷에 대한 정보와 영상이 인버팅 또는/및 미러링된 경우 이에 관련된 정보를 알아야 한다.
이하에서는 이러한 정보를 3D 이미지 포맷 정보 또는 스테레오 포맷 정보라고 지칭할 수 있으며, 편의에 따라 테이블 또는 디스크립터로 정의할 수도 있다.
전술한 바와 같이, 본 발명에 따른 스테레오 포맷 정보는 PSIP의 VCT, PSI의 PMT, 및 DVB-SI의 SDT에 디스크립터 형태로 포함되어 전송되는 경우를 예로 하여 설명한다. 다만, 상기한 테이블뿐만 아니라 해당 시스템 정보 내 EIT와 같은 다른 테이블의 디스크립터 형태로 정의될 수도 있다.
도 4는 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
도 4를 참조하여, TVCT 테이블 섹션은, 기본적으로 가상 채널들의 속성 정보를 제공하기 위한 TVCT 테이블 섹션 내 포함된 필드들에 대해 상세하게 설명하면, 다음과 같다.
table_id 필드는, 테이블 섹션의 타입을 지시한다. 예를 들면, 해당 테이블 섹션이 TVCT 테이블을 구성하는 테이블 섹션인 경우에는 본 필드는 0xC8 값을 가질 수 있다. section_syntax_indicator 필드는, 1 비트로 구성되며 그 값은 1로 고정된다. private_indicator 필드는, 1로 설정된다. section_length 필드는, 12 비트로 구성되며, 처음 두 비트는 00이다. 본 필드는 본 필드 이후부터 CRC 필드까지의 섹션의 길이를 바이트로 나타낸다. transport_stream_id 필드는, 16 비트로 구성되며, MPEG-2 전송 스트림(Transport stream, TS) ID 이다. 이 필드에 의해 다른 TVCT와 구분이 가능하다. version_number 필드는, 테이블 섹션의 버전을 나타내며, 변경 사항이 있을 때마다 1씩 증가하여 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. current_next_indicator 필드는, 1 비트로 구성되며 VCT가 현재 적용 가능하면, 1로 설정된다. 만약 본 필드의 값이 0으로 설정되면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다. section_number 필드는, TVCT 테이블을 구성하는 섹션의 개수를 나타낸다. last_section_number 필드는, TVCT 테이블을 구성하는 가장 마지막 섹션을 지시한다. protocol_version 필드는, 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_channels_in_section 필드는, VCT 테이블 섹션에서 정의되는 가상 채널의 개수를 나타낸다. 이하에서는 num_channels_in_section 필드에서 정의된 가상 채널의 개수만큼 루프(loop) 형태로 각 해당 채널에 대한 정보를 정의한다. 이하 루프 형태로 해당 채널에 대해 정의되는 필드는 다음과 같다.
short_name 필드는, 가상 채널의 이름을 나타낸다.
major_channel_number 필드는, for 반복문 내에서 해당 가상 채널의 메이저(major) 채널 번호를 나타낸다. 각 가상 채널은 메이저 채널 번호와 마이너(minor) 채널 번호와 같이 멀티-파트(multi-part)로 이루어진다. 메이저 채널 번호는 마이너 채널 번호와 함께 해당 가상 채널에 대해 사용자에게 참조 번호로 동작한다. minor_channel_number 필드는, 0부터 999까지의 값을 갖는다. 마이너 채널 번호는 메이저 채널 번호와 함께 투-파트(two-part)채널 번호로 동작한다.
modulation_mode 필드는, 해당 가상 채널과 관련된 전송 캐리어의 변조 모드를 나타낸다.
carrier_frequency 필드는, 캐리어 주파수를 나타낼 수 있다.
channel_TSID 필드는, 0x0000으로부터 0xFFFF의 값을 가지며, 이 가상 채널에 의해 참조되는 MPEG-2 프로그램을 전달하는 TS와 관련된 MPEG-2 TSID이다.
program_number 필드는, TVCT에서 정의된 가상 채널과 MPEG-2의 PAT(Program Association Table) 및 PMT(Program Map Table)을 연관짓는다.
ETM_location 필드는, ETM(Extended Text Message)의 존재와 위치를 나타낸다.
access_controlled 필드는, 플래그 필드로써, 1인 경우 해당 가상 채널과 관련된 이벤트가 접근 제어됨을 나타낼 수 있다. 0인 경우 접근이 제한되지 않음을 나타낸다.
hidden 필드는, 플래그 필드로써, 1인 경우 사용자에 의해 해당 번호가 직접 입력되더라도 접근이 허용되지 않는다. 히든 가상 채널은 사용자가 채널 서핑을 하는 경우 스킵되며, 정의되지 않은 것처럼 보여진다.
hide_guide 필드는, 플래그 필드로써, 히든 채널(hidden channel)에 대해 0으로 설정되면 EPG 디스플레이에 그 가상 채널과 이벤트(event)가 보여질 수 있다. hidden 비트가 설정되지 않으면 이 필드는 무시된다. 따라서 non-hidden 채널과 그 이벤트는 hide_guide 비트의 상태와 관계없이 EPG 디스플레이에 속하게 된다.
service_type 필드는, 해당 가상 채널을 통해 전달되는 서비스의 타입을 식별한다. 특히, service_type 필드는 전술한 바와 같이, 본 발명에 따라 3D 스테레오스코픽 서비스가 제공되는 경우, 해당 채널을 통해 제공되는 서비스의 타입이 3D 서비스인지를 식별할 수 있다. 예컨대, 본 필드의 값이 0x13이면, 방송 수신기는 본 필드의 값으로부터 해당 가상 채널을 통해 제공되는 서비스가 3D 서비스임을 식별할 수 있게 된다.
source_id 필드는, 가상 채널과 관련된 프로그래밍 소스를 확인한다. 여기서, 소스는 비디오, 텍스트, 데이터, 또는 오디오 프로그래밍을 중 어느 하나 일 수 있다. source id 필드 값이 0은 예약된 값이며, 0x0001로부터 0x0FFF까지는 VCT를 전달하는 TS 내에서 유일한 값을 갖는다. 또한 0x1000로부터 0xFFFF까지는 지역 레벨에서 유일한 값을 갖는다.
descriptors_length 필드는, 해당 가상 채널을 위한 뒤따르는 디스크립터의 길이를 바이트 단위로 나타낸다.
descriptor() 내에는 디스크립터가 포함되어 있지 않거나 또는 1개 이상의 디스크립터가 포함될 수 있다. 본 descriptor() 필드는 후술하는 바와 같이, 본 발명에 따른 3D 스테레오스코픽 서비스와 관련된 stereo_format_descriptor 등을 포함할 수 있다.
additional_descriptors_length 필드는, 뒤따르는 VCT 디스크립터 리스트의 총 길이를 바이트 단위로 나타낸다.
CRC_32 필드는, 디코더 내의 레지스터의 제로 출력(zero output)이 되도록 하는 CRC 값(Cyclic Redundancy Check value)를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 TVCT 테이블 섹션에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면이다.
descriptor_tag 필드는, 해당 디스크립터를 식별하는 필드로서, 해당 디스크립터가 stereo_format_descriptor임을 지시하는 값을 가질 수 있다.
descriptor_length 필드는, 해당 디스크립터의 길이에 대한 정보를 제공한다.
number_elements 필드는, 해당 가상 채널을 구성하는 비디오 엘레멘트들의 수를 나타낸다. 방송 수신기는 스테레오 포맷 디스크립터를 수신하여 해당 가상 채널을 구성하는 비디오 엘레멘트들의 수만큼 이하의 필드들에 포함된 정보를 파싱할 수 있다.
Stream_type 필드는 비디오 엘레멘트의 스트림 타입을 지시한다.
elementary_PID 필드는 해당 비디오 엘레멘트의 PID를 나타낸다. 스테레오 포맷 디스크립터는 elementary_PID 필드의 PID를 갖는 비디오 엘레멘트에 대한 이하의 정보들을 정의한다. 방송 수신기는 스테레오 포맷 디스크립터로부터 해당 PID를 갖는 비디오 엘레멘트의 3D 비디오 디스플레이를 위한 정보를 획득할 수 있다.
stereo_composition_type 필드는 스테레오스코픽 영상을 멀티플렉싱하는 포맷을 나타내는 필드이다. 방송 수신기는 stereo_composition_type 필드를 파싱하여 해당 3D 영상이 사이드-바이-사이드, 탑-바텀, 인터레이스드, 프레임 시퀀셜, 체커 보드, 에너그리프 중 어느 멀티플렉싱 포맷으로 전송되었는지를 결정할 수 있다.
LR_first_flag 필드는 스테레오스코픽 영상을 멀티플렉싱하는 경우, 가장 좌측 최상단 픽셀이 레프트 이미지인지 또는 라이트 이미지인지를 나타낸다. 일 실시예로서, 레프트 이미지가 좌측 상단에 위치하는 경우 필드값을 ‘0’으로, 라이트 이미지가 좌측 상단에 위치하는 경우 필드값을 ‘1’로 설정할 수 있다. 예를 들면, 방송 수신기는 stereo_composition_type을 통해 수신된 3D 영상이 사이드-바이-사이드의 멀티플렉싱 포맷으로 수신된 것을 알 수 있고, LR_first_flag 필드값이 ‘0’인 경우 한 프레임 내에서 좌측 절반의 이미지는 레프트 이미지에 해당하고, 우측 절반의 이미지는 라이트 이미지에 해당한다는 것을 식별할 수 있다.
LR_output_flag 필드는 2D 방송 수신기와의 호환성을 위해 스테레오스코픽 이미지들 중 하나의 이미지만을 출력하는 애플리케이션에 대해 레코멘디드 아웃풋 뷰(recommended output view)를 나타내는 필드이다. 일 실시예로서, 2D 영상 출력시 필드값이 ‘0’이면 레프트 이미지를, 필드값이 ‘1’이면 라이트 이미지를 출력할 수 있다. LR_output_flag 필드는 사용자의 설정에 의해 무시될 수 있으나, 출력 영상과 관련한 사용자 입력이 없으면 2D 출력시 사용되는 디폴트 뷰(default view)의 이미지를 나타낼 수 있다. 예를 들면, LR_output_flag의 필드값이 ‘1’인 경우, 사용자의 다른 설정 또는 입력이 없는 한 방송 수신기는 라이트 이미지를 2D 출력으로 사용한다.
left_flipping_flag 필드 및 right_flipping_flag 필드는, 각각 레프트 이미지 및 라이트 이미지의 스캔 방향을 나타낸다. 전송 시스템에서 코딩시 압축 효율을 고려하여 레프트 이미지 또는 라이트 이미지를 역방향으로 스캔하여 코딩할 수 있다.
전송 시스템에서 스테레오스코픽 이미지를 도 2 및 도 3에서 설명한 바와 같이 탑-바텀 포맷 또는 사이드-바이-사이드 포맷으로 전송할 수 있다. 이때, 탑-바텀 포맷의 경우는 하나의 영상을 상하로 인버팅하거나 사이드-바이-사이드 포맷의 경우는 하나의 영상을 좌우로 미러링할 수 있다. 이렇게 상하로 인버팅 또는 좌우로 미러링된 경우 방송 수신기에서는 left_flipping_flag 필드를 파싱하여 스캔 방향을 판단할 수 있다. 일 실시예로서, left_flipping_flag 필드 및 right_flipping_flag 필드의 필드값이 ‘0’이면 원래의 스캔 방향대로 레프트 이미지 및 라이트 이미지의 픽셀들이 배열되어 있음을 나타내며, left_flipping_flag 필드 및 right_flipping_flag 필드의 필드값이 ‘1’이면 레프트 이미지 및 라이트 원래의 스캔 방향의 역방향으로 레프트 이미지 및 라이트 이미지의 픽셀들이 배열되어 있음을 나타낼 수 있다.
상술한 바와 같이 스캔 방향은 탑-바텀 포맷의 경우에는 수직 방향으로 역방향, 사이드-바이-사이드 포맷의 경우에는 수평 방향으로 역방향이다. 방송 수신기의 구현 실시예에 따라서, left_flipping_flag 필드 및 right_flipping_flag 필드는 탑-바텀 포맷 및 사이드-바이-사이드 포맷의 경우 외에는 그외의 멀티플렉싱 포맷에 대하여는 무시된다. 즉 방송 수신기는 stereo_composition_type 필드를 파싱하여, 멀티플렉싱 포맷을 판단하고, 멀티플렉싱 포맷이 탑-바텀 포맷 또는 사이드-바이-사이드 포맷인 경우에는 left_flipping_flag 필드 및 right_flipping_flag 필드를 파싱하여 스캔 방향을 결정하고, 다른 멀티플렉싱 포맷인 경우에는 left_flipping_flag 필드 및 right_flipping_flag 필드를 무시할 수 있다. 다만, 시스템 구현의 다른 실시예에 있어서, 탑-바텀 포맷 및 사이드-바이-사이드 포맷 외의 멀티플렉싱 포맷에 있어서도 역방향으로 이미지가 구성될 수 있으며, 이러한 경우 left_flipping_flag 필드 및 right_flipping_flag 필드를 통해 스캔 방향을 결정할 수 있다.
sampling_flag 필드는 전송 시스템에서 풀-레졸루션의 이미지를 하프-레졸루션으로 샘플링한 경우 샘플링 수행 여부를 나타낸다. 일 실시예로서, 전송 시스템에서는 수평 방향 또는 수직 방향으로 1/2 다운샘플링(또는 1/2 decimation)을 수행할 수 있으며, 채커보드 포맷의 형태와 같아 퀸퀑쓰(quincunx) 필터를 사용하여 대각 방향으로 1/2 다운샘플링(quincunx sampling 또는 quincunx filtering)을 수행할 수 있다. 일 실시예로서, sampling_flag 필드의 필드값이 ‘1’이면 송신 시스템에서 수평방향 또는 수직방향으로 1/2 다운샘플링이 수행되었음을 나태내며, sampling_flag 필드의 필드값이 ‘0’이면 quincunx 필터를 사용하여 다운샘플링이 수행되었음을 나타낼 수 있다. 방송 수신기는 sampling_flag 필드의 필드값이 ‘1’이면 quincunx 필터링을 역과정을 수행하여 영상을 복원할 수 있다.
예를 들어, 스테레오 포맷 디스크립터의 필드들에서 각각의 필드값들이 stereo_composition_type = ‘side-by-side’, LR_first_flag = ‘1’, left_flipping_flag = ‘1’, right_flipping_flag = ‘0’ 인 경우에는 비디오 스트림이 사이드-바이-사이드 포맷으로 멀티플렉싱되어 있으며, 라이트 이미지가 좌측에 위치하고, 레프트 이미지가 미러링되어 있음을 알 수 있다. 따라서 방송 수신기는 디스플레이하기 전에 레프트 이미지를 역방향으로 스캔하여 출력화면을 구성하도록 한다. 만약 sampling_flag = ‘1’ 인 경우에는 quincunx sampling되어 있음을 알 수 있으므로 방송 수신기에서는 quincunx reverse-sampling을 수행하여 적절한 포매팅을 수행한 후 출력 화면을 구성할 수 있다.
사용자가 2D 모드로 시청을 원하는 경우 또는 디스플레이 디바이스가 3D 디스플레이를 지원하지 않는 경우, 방송 수신기는 LR_output_flag 필드에 의해 지정된 뷰의 영상을 디폴트(default)로 출력할 수 있다. 이때, 다른 뷰의 이미지는 출력하지 않고 바이패스(bypass)할 수 있다. 이 과정에서, 방송 수신기는 left_flipping_flag 필드 및 right_flipping_flag 필드 등을 참고하여 이미지의 역방향 스캔을 수행할 수도 있다.
도 6은 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 PMT의 신택스 구조를 설명하기 위해 도시한 도면이다.
도 6을 참조하여, PMT 테이블 섹션 내 포함된 필드들에 대해 상세하게 설명하면, 다음과 같다.
table_id 필드는 테이블 식별자로서, PMT를 식별하는 식별자가 설정될 수 있다.
section_syntax_indicator 필드는 PMT의 섹션 형식을 정의하는 지시자이다.
section_length 필드는 PMT의 섹션 길이를 나타낸다.
program_number 필드는 PAT와 일치하는 정보로서 프로그램의 번호가 표시된다.
version_number 필드는 PMT의 버전 번호를 나타낸다.
current_next_indicator 필드는 현재 테이블 섹션이 적용가능한지 여부를 나타내는 인식자이다.
section_number 필드는 PMT가 하나 이상의 섹션으로 구분되어 전송될 경우, 현재 PMT 섹션의 섹션 번호를 나타낸다.
last_section_number 필드는 PMT의 마지막 섹션 번호를 나타낸다.
PCR_PID 필드는 현재 프로그램의 PCR(program clock reference)를 전달하는 패킷의 PID를 표시한다.
program_info_length 필드는 program_info_length 필드의 바로 뒤에 나오는 디스크립터(descriptor) 길이 정보를 바이트 수로 나타낸다. 즉, 첫 번째 루프에 포함되는 디스크립터들의 길이를 나타낸다.
stream_type 필드는 다음에 오는 elementary_PID 필드에서 표시된 PID 값을 갖는 패킷에 들어있는 요소 스트림의 종류 및 부호화 정보를 표시한다.
elementary_PID 필드는 상기 요소 스트림의 식별자 즉, 해당 요소 스트림이 포함되는 패킷의 PID 값을 나타낸다.
ES_Info_length 필드는 ES_Info_length 필드의 바로 뒤에 있는 디스크립터 길이 정보를 바이트 수로 나타낸다. 즉, 두 번째 루프에 포함되는 디스크립터들의 길이를 나타낸다.
상기 PMT의 첫 번째 루프의 descriptor() 영역에는 프로그램 레벨의 디스크립터들이 포함되고, 두 번째 루프의 descriptor() 영역에는 스트림 레벨의 디스크립터들이 포함된다. 즉, 상기 첫 번째 루프에 포함되는 디스크립터는 프로그램 각각에 개별적으로 적용되는 디스크립터이고, 상기 두 번째 루프에 포함되는 디스크립터는 각각의 기본 스트림(ES)에 개별적으로 적용되는 디스크립터이다.
본 발명은 상기 PMT의 program_number 필드 값에 해당하는 프로그램이 3D 콘텐츠이면 상기 PMT의 첫 번째 루프의 descriptor() 영역에 3D 영상이 수신되고 있음을 확인할 수 있는 식별 정보를 디스크립터 형태로 포함하는 것을 일 실시예로 한다. 본 발명은 이 디스크립터를 영상 포맷 디스크립터 Stereo_Format_descriptor()이라 하기로 한다.
즉, 방송 수신기에서는 상기 PMT에 영상 포맷 디스크립터가 포함되어 수신되면 상기 PMT의 프로그램 정보에 해당하는 프로그램이 3D 콘텐츠라고 판단한다.
도 7은 본 발명의 일 실시예에 따른 PMT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면이다.
도 7의 스테레오 포맷 디스크립터는 도 5의 스테레오 포맷 디스크립터와 유사하며, 동일한 필드에 대한 설명은 전술한 내용을 원용하여 여기서 상세한 설명은 생략한다. 다만, PMT의 경우 비디오 엘레멘트에 대한 stream_type 필드 및 elementary_PID 등의 정보는 도 5의 경우와 달리 PMT에 포함되며, 이 필드들에 대한 설명은 도 5와 관련하여 설명한 바와 같다.
이상 상술한 내용은 예컨대, ATSC 시스템의 경우에 대해 기술하였다. 한편, DVB 방식의 경우는 그 정의 내용이 조금 상이한데, 이하에서 DVB 방식에 대해 보다 상세하게 설명하면, 다음과 같다. 다만, 전술한 내용과 동일한 내용은 그를 원용하고 여기서 상세한 설명은 생략한다.
도 8은 본 발명의 일실시예에 따른 SDT 테이블 섹션의 비트스트림 신택스 구조를 설명하기 위해 도시한 도면이다.
SDT는 DVB 방식에서 특정 트랜스포트 스트림에 포함된 서비스들을 설명한다.
이하 도 8을 참조하여, SDT 테이블 섹션 내 각 필드에 대해 보다 상세하게 설명하면, 다음과 같다.
table_id 필드는, 테이블을 식별하는 식별자이다. 예를 들면, table_id 필드의 특정값이 이 섹션이 서비스 디스크립션 테이블에 속한다는 것을 나타낸다.
section_syntax_indicator 필드는, 1 비트 필드로써, 1로 설정된다.
section_length 필드는, 첫 두 비트는 00으로 설정된다. 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. transport_stream_id 필드는, TS (Transport Stream) 를 구별하는 레이블 역할을 한다. version_number 필드는, sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1씩 증가한다. current_next_indicator 필드는, sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다. section_number 필드는, 섹션의 번호를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일 original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다. last_section_number 필드는, 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉, 가장 높은 section_number)의 번호를 나타낸다.
original_network_id 필드는, 전송 시스템의 network_id를 확인하는 레이블이다. 본 SDT 테이블 섹션은 다수의 서비스에 대해 기술하는데, 각 서비스에 대해서는 다음과 같은 필드를 이용하여 시그널링한다.
service_id 필드는, TS 내에 포함된 다른 서비스와 구별 짓는 레이블 역할을 하는 식별자를 정의한다. 본 필드의 값은 예컨대, program_map_section의 program_number와 동일한 값을 가질 수 있다.
EIT_schedule_flag 필드는, 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT 스케쥴 정보가 포함되어 있음을 나타낸다. 본 필드의 값이 0이면 EIT 스케쥴 정보가 포함되어 있지 않음을 나타낸다.
EIT_present_following_flag 필드는, 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT_present_following 정보가 포함되어 있음을 나타낸다. 본 필드의 값이 0이면 EIT present/following 정보가 현재 TS에 포함되어 있지 않음을 나타낸다.
running_status 필드는, 서비스의 상태를 나타낸다.
free_CA_mode 필드는, 0으로 설정되면 해당 서비스의 모든 기본 스트림(Elementary Stream)들이 스크램블(scramble)되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템(Conditional Access system)에 의해 제어되고 있음을 의미한다.
descriptors_loop_length 필드는, 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32 필드는, 디코더에서 레지스터의 제로 아웃풋(zero output)을 위한 CRC 값을 나타낸다.
본 발명의 일 실시예에 따르면, descriptors_loop_length 필드를 뒤따르는 디스크립터 영역에는 DVB SI의 서비스 디스크립터(Service Descriptor)에 포함된 service_type 필드를 통하여, 본 서비스가 3D 방송 서비스 임을 나타낼 수 있다.
도 9는 본 발명에 따른 service_type 필드 구성의 일 예를 설명하기 위해 도시한 도면이다.
도 9의 service_type 필드는 예컨대, 도 8의 SDT 테이블 섹션에 포함되어 전송되는 service_descriptor에 정의된다.
본 발명과 관련하여, service_type 필드 값이 0x12인 경우에는 3D 스테레오스코픽 서비스임을 지시할 수 있다.
도 9를 참조하면, 2D 서비스와 3D 서비스와의 연계 및 기존 수신기와의 호환성을 고려하여 서비스 구성을 다음과 같이 할 수 있다.
2D 서비스와 3D 서비스를 각각 정의하여 이용한다. 이 경우 3D 서비스를 위한 서비스 타입은 상술한 값을 이용할 수 있다. 두 서비스간의 연계는 예컨대, 링키지 디스크립터(linkage descriptor)를 통한 연계 방안이 고려될 수 있다. 이 경우 3D를 위한 기본 스트림(ES)에 별도의 stream_content 및 component_type 값을 할당하여 기존 수신기는 이를 인지하지 못하여 무시하고 기본 서비스를 위한 스트림만으로 서비스를 문제없이 제공하는 것이 가능하다.
도 10은 본 발명의 일 실시예에 따른 SDT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 설명하기 위해 도시한 도면이다.
도 10의 스테레오 포맷 디스크립터의 비트스트림 신택스 구조는 예를 들어, 도 5에 도시된 스테레오 포맷 디스크립터와 동일한 구조를 가질 수 있다. 따라서, 이하에서는 전술한 도 5 설명 부분에서 설명한 각 필드의 설명을 원용하고 여기서 상세한 설명은 생략한다.
도 10의 스테레오 포맷 디스크립터는 예를 들어, 도시하진 않았으나, EIT의 디스크립터로 정의될 수 있으며, 이 경우 비트스트림 신택스 구조는 EIT의 특성에 따라 일부 필드가 생략되거나 추가될 수도 있다.
방송 송신기는, 3D 이미지에 대한 이미지 프로세싱을 수행하는 3D 이미지 프리-프로세서, 3D 이미지들을 처리하여 3D 비디오 데이터 또는 3D 비디오 스트림을 포매팅하는 비디오 포매터, 3D 비디오 데이터를 MPEG-2 등의 방식에 따라 인코딩하는 3D 비디오 인코더, 시스템 정보를 생성(generating)하는 SI 프로세서, 비디오 데이터 및 시스템 정보들을 멀티플렉싱하는 TS 멀티플렉서 및 멀티플렉싱된 방송 신호를 전송하는 전송 유닛을 포함하여 3D 이미지를 포함한 방송 신호를 전송할 수 있다. 다만, 실시 예에 따라서, 전송 유닛은 VSB/OFDM 인코더 및 모듈레이터를 더 포함할 수 있다.
방송 송신기의 3D 비디오 데이터 처리 방법을 설명하면, 다음과 같다.
먼저, 3D 이미지 프리-프로세서는 복수의 렌즈를 사용하여 촬영된 3D 이미지에 대해 필요한 처리를 수행하여, 복수의 3D 이미지 또는 비디오 데이터를 출력한다. 일 실시예로서, 스테레오스코픽 방식을 사용하여 3D 방송 서비스를 제공하는 경우, 2개의 시점에 대한 이미지 또는 비디오 데이터를 출력한다.
그리고 방송 송신기는 비디오 포매터를 사용하여 스테레오 비디오 데이터를 포매팅한다. 일 실시예로서, 방송 송신기는 스테레오 비디오 데이터를 멀티플렉싱 포맷에 따라서 리사이징을 수행하고, 멀티플렉싱하여 하나의 비디오 스트림으로 출력할 수 있다. 스테레오 비디오 데이터의 비디오 포매팅은 3D 방송 신호를 전송하는데 필요한 다양한 영상 처리(예를 들면, 리사이징(resizing), 데시메이션(decimation), 인터폴레이팅(interpolating), 멀티플렉싱(multiplexing) 등)를 포함한다.
방송 송신기는 3D 비디오 인코더를 사용하여 스테레오 비디오 데이터를 인코딩한다. 일 실시예로서, 방송 송신기는 스테레오 비디오 데이터를 JPEG, MPEG-2, MPEG-4, H.264/AVC, H.264/MVC 방식 등으로 인코딩할 수 있다.
방송 송신기는, SI 프로세서를 사용하여 3D 이미지 포맷 정보를 포함하는 시스템 정보를 생성한다. 3D 이미지 포맷 정보는 송신기에서 스테레오 비디오 데이터를 포매팅하는데 사용한 정보로서, 수신기에서 스테레오 비디오 데이터를 처리하여 출력하는데 필요한 정보들을 포함한다. 일 실시예로서, 3D 이미지 포맷 정보는 3D 비디오 데이터의 멀티플렉싱 포맷, 멀티플렉싱 포맷에 따른 레프트 이미지 및 라이트 이미지의 위치 및 스캔 방향, 멀티플렉싱 포맷에 따른 샘플링 정보 등을 포함할 수 있다. 일 실시예로서, 3D 이미지 포맷 정보는 시스템 정보 중 PSI/PSIP에 포함될 수 있으며, 각각 PSI의 PMT 및 PSIP의 VCT에 포함될 수 있다.
방송 송신기는, TS 멀티플렉서를 사용하여 3D 비디오 인코더에서 인코딩된 스테레오 비디오 데이터와 SI 프로세서에서 생성된 시스템 정보를 멀티플렉싱하고, 전송 유닛을 통해 전송할 수 있다.
도 11은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면이다.
도 11의 방송 수신기는, 방송 신호를 수신하는 수신 유닛, 방송 신호로부터 비디오 데이터, 시스템 정보 등의 데이터 스트림을 추출하여 출력하는 TS 디멀티플렉서(10030), 시스템 정보를 파싱하는 SI 프로세서(10040), 3D 비디오 데이터를 디코딩하는 3D 비디오 디코더(10050), 디코딩된 3D 비디오 데이터를 포매팅하여 출력하는 아웃풋 포매터(10060)를 포함한다. 실시예에 따라서, 수신 유닛은 튜너 및 디모듈레이터(10010) 및 VSB/OFDM 디코더(10020)를 더 포함할 수 있다. 방송 수신기의 각 구성 요소의 동작은, 이하의 도면을 참조하여 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
방송 수신기는 수신 유닛을 사용하여 스테레오 비디오 데이터 및 시스템 정보를 포함하는 방송 신호를 수신한다(S11010).
방송 수신기는 SI 프로세서(10040)를 사용하여 방송 신호에 포함된 시스템 정보를 파싱, 3D 이미지 포맷 정보를 획득한다(S11020). 일 실시예로서, 방송 수신기는 SI 프로세서(10040)를 사용하여 방송 신호에 포함된 PSI의 PMT, PSIP의 VCT, 및 DVB-SI의 SDT 중 어느 하나를 파싱하여 스테레오 포맷 정보를 획득할 수 있다. 스테레오 포맷 정보는 방송 수신기의 디코더(10050) 및 아웃풋 포매터(10060)에서 3D 비디오 데이터를 처리하는데 필요한 정보들이 포함된다. 일 실시예로서, 스트레오 포맷 정보는 3D 비디오 데이터의 멀티플렉싱 포맷, 멀티플렉싱 포맷에 따른 레프트 이미지 및 라이트 이미지의 위치 및 스캔 방향, 멀티플렉싱 포맷에 따른 샘플링 정보 등을 포함할 수 있다.
방송 수신기는 3D 비디오 디코더를 사용하여 스테레오 비디오 데이터를 디코딩한다(S10030). 이때, 방송 수신기는 획득된 스테레오 포맷 정보를 사용하여 디코딩을 수행할 수 있다.
그리고 방송 수신기는, 아웃풋 포매터(10060)를 사용하여 디코딩된 스테레오 비디오 데이터를 포매팅하여 출력한다(S10040). 스테레오 비디오 데이터의 포매팅은, 수신된 스테레오 비디오 데이터를 스테레오 포맷 정보를 사용하여 처리하는 것을 포함한다. 또한, 수신된 스테레오 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 일치하지 않는 경우 및 비디오 데이터를 출력 형태가 상이한 경우(2D 출력 또는 3D 출력)에 따라 필요한 영상 처리를 수행할 수 있다.
이하에서는 방송 수신기의 스테레오 비디오 데이터 포매팅에 대해 상세히 설명하도록 한다.
먼저, 스테레오 포맷 정보를 각 TVCT, PMT 및 SDT로부터 획득하는 경우의 방송 수신기의 동작에 대하여 설명하면, 다음과 같다.
(1) TVCT를 통해 3D 이미지 포맷 정보를 수신하는 경우
방송 수신기는 TVCT의 service_type 필드를 사용하여 해당 가상 채널에서의 3D 방송 서비스 제공 여부를 판단할 수 있다. 3D 방송 서비스를 제공하는 경우, 방송 수신기는 스테레오 포맷 정보(스테레오 포맷 디스크립터)를 사용하여 3D 스테레오 비디오의 elementary_PID 정보를 수신하고, 이 PID에 해당하는 3D 비디오 데이터를 수신하여 추출한다. 그리고 방송 수신기는, 스테레오 포맷 정보를 사용하여 3D 비디오 데이터에 대한 스테레오스코픽 이미지 구성 정보, 좌/우 배치, 좌/우 우선 출력, 좌/우 역스캔 여부, 리사이징 등에 대한 정보를 파악한다.
a) 2D 모드로 시청하는 경우에는 일단 3D 비디오 데이터를 디코딩한 후 LR_output_flag에 의해 지정된 뷰에 해당하는 비디오 데이터만을 추출하여 인터폴레이션/리사이징 등을 거쳐 디스플레이 디바이스로 출력한다.
b) 3D 모드로 시청하는 경우에는 3D 비디오 데이터를 디코딩한 후 스테레오 포맷 정보를 사용하여 디스플레이 출력을 제어한다. 이 과정에서 디스플레이 디바이스의 타입에 따라 리사이징, 리쉐이핑, 3D 포맷 컨버젼(conversion) 등을 수행하여 스테레오스코픽 이미지를 출력한다.
(2) PMT를 통해 3D 이미지 포맷 정보를 수신하는 경우
방송 수신기는 PMT의 stream_type 및 각 기본 스트림(elementary stream; ES)에 해당하는 스테레오 포맷 정보(스테레오 포맷 디스크립터)의 존재를 파악한다. 이때, 스테레오 포맷 정보의 존재를 통해 해당 프로그램이 3D 방송 서비스를 제공하는지 판단할 수 있다. 3D 방송 서비스를 제공하는 경우, 방송 수신기는 3D 비디오 데이터에 해당하는 PID를 획득하고, 이 PID에 해당하는 3D 비디오 데이터를 수신하여 추출한다.
방송 수신기는 스테레오 포맷 정보를 통해 3D 비디오 데이터에 대한 스테레오스코픽 이미지 구성 정보, 좌/우 배치, 좌/우 우선 출력, 좌/우 역스캔 여부, 리사이징 등에 대한 정보를 획득할 수 있다.
그리고 방송 수신기는 program_number 필드를 통해 TVCT를 통해 제공되는 정보와의 매핑(mapping)을 수행한다. 또는 방송 수신기는 program_number 필드를 통해 SDT의 service_id 필드와 매핑을 수행한다(이 프로그램이 어느 가상 채널 또는 서비스을 통해 제공되는지를 알 수 있음).
a) 2D 모드로 시청하는 경우에는 일단 3D 비디오 데이터를 디코딩한 후 LR_output_flag에 의해 지정된 뷰에 해당하는 비디오 데이터만을 추출하여 인터폴레이션/리사이징 등을 거쳐 디스플레이 디바이스로 출력한다.
b) 3D 모드로 시청하는 경우에는 3D 비디오 데이터를 디코딩한 후 3D 이미지 포맷 정보를 사용하여 디스플레이 출력을 제어한다. 이 과정에서 디스플레이 디바이스의 타입에 따라 리사이징, 리쉐이핑, 3D 포맷 컨버젼(conversion) 등을 수행하여 스테레오스코픽 이미지를 출력한다.
(3) 수신되는 3D 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 일치하지 않는 경우
수신되는 3D 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 상이할 수도 있다.
일 실시예로서, 수신되는 3D 비디오 데이터가 사이드-바이-사이드 포맷을 갖고 디스플레이 디바이스의 디스플레이 타입은 체커 보드 출력만 지원할 수 있다. 이러한 경우, 방송 수신기는 3D 이미지 포맷 정보를 사용하여 아웃풋 포매터(10060)를 통해 수신한 3D 비디오 스트림을 샘플링 및 디코딩하여 체커 보드 출력 신호로 변환하여 출력을 수행할 수 있다.
다른 일 실시예로서, 방송 수신기는 아웃풋 포매터(10060)를 통해 디스플레이 커패시티/타입(capacity/type)에 따라, 공간적으로 다중화된 포맷(spatially multiplexed format, 사이드-바이-사이드, 탑-바텀, 라인 인터레이싱 등)의 출력을 위해 리사이징을 수행하여 포매팅을 수행하거나, 시간적으로 다중화된 포맷(temporally multiplexed format, frame sequential, field sequential 등)의 출력을 위해 리사이징을 수행하여 포매팅을 수행할 수 있다. 또한, 디스플레이 디바이스가 지원하는 프레임 레이트를 일치시키기 위하여 프레임 레이트 컨버젼을 수행할 수도 있다.
(4) SDT를 통해 3D 메타데이터에 대한 시그널링 정보를 수신하는 경우
방송 수신기는 SDT의 서비스 디스크립터(Service Descriptor)의 service_type 필드를 이용해 해당 가상 채널에서 3DTV 서비스 제공 여부를 알아내거나 스테레오 포맷 디스크립터(stereo format descriptor)의 존재를 통해 3D 스테레오스코픽 비디오 서비스를 식별할 수 있다.
3DTV 서비스를 제공하는 경우, 스테레오 포맷 디스크립터를 이용해 3D 스테레오 비디오의 component_tag 정보를 수신한다(component_tag_S).
SDT의 service_id 필드의 값과 일치하는 program_number 필드를 가진 PMT를 찾아 파싱한다.
PMT의 기본 스트림들 중에서 ES_descriptor_loop의 스트림 식별자 디스크립터(Stream Identifier Descriptor)의 component_tag 필드의 값이 component_tag_S인 것을 찾아 3D 스테레오스코픽 비디오 컴포넌트(Stereoscopic video component)의 elementary PID 정보를 수신한다(PID_S).
SDT를 통해 획득한 스테레오 포맷 디스크립터를 통해 스테레오 비디오 엘레멘트(stereo video element)에 대한 스테레오 구성 정보, 좌/우 배치, 좌/우 우선 출력, 좌/우 역스캔 여부에 대한 정보를 획득한다.
2D 모드로 시청하는 경우에는 일단 스테레오 비디오 스트림을 디코딩한 후 LR_output_flag에 의해 지정된 뷰에 해당하는 데이터만을 데시메이션하여 인터폴레이션/리사이징 등을 거쳐 디스플레이부로 출력한다.
3D 모드로 시청하는 경우, 스테레오 비디오 스트림을 디코딩 한 후 스테레오 포맷 디스크립터 정보를 이용해 디스플레이부 출력을 제어한다. 이 과정에서 3DTV의 디스플레이 타입에 따라 리사이징, 3D 포맷 컨버젼 등을 수행하여 3D 스테레오스코픽 비디오를 출력한다.
도 13은 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방송 수신기의 구성을 도시한 도면이다.
도 13에서, 방송 수신기는 레프트 이미지와 라이트 이미지가 하나의 프레임으로 구성된 3D 비디오 데이터를 3D 이미지 정보를 사용하여 레프트 이미지 및 라이트 이미지 중 하나의 이미지만으로 구성된 프레임을 재구성하여 2D 영상을 출력할 수 있다.
도 13의 좌측에서, stereo_composition_type 필드의 필드값에 따라 3D 비디오 데이터의 멀티플렉싱 포맷을 알 수 있다. 즉, 방송 수신기는 시스템 정보를 파싱하여 stereo_composition_type 필드의 필드값이 ‘0’ 이면 탑-바텀 포맷, ‘1’이면 사이드-바이-사이드 포맷, ‘2’이면 horizontally interlaced 포맷, ‘3’이면 vertically interlaced 포맷, ‘4’이면 체커보드 포맷임을 식별할 수 있다.
우측의 도면에은, 방송 수신기의 아웃풋 포매터를 개념적으로 도시한 도면으로, 일 실시예에 있어서, 방송 수신기의 아웃풋 포매터는 스케일러(scaler)(13010), 리쉐이퍼(reshaper)(13020), 메모리(memory (DDR))(13030), 포매터(formatter)(13040)를 포함할 수 있다.
스케일러(13010)는 수신된 이미지에 대한 리사이징 및 인터폴레이팅을 수행한다. 예를 들어, 스케일러(13010)는 수신된 이미지의 포맷과 출력 이미지의 포맷에 따라 리사이징(예를 들어, 1/2 리사이징, 더블링(2/1 리사이징) 등 해상도 및 이미지의 사이즈에 따라 다양한 비율로 리사이징할 수 있다), 퀸퀑쓰(quincunx) 리버스 샘플링(reverse sampling)을 수행할 수 있다.
리쉐이퍼(13020)는 수신된 이미지로부터 좌/우 이미지를 추출하여 메모리(13030)에 저장하거나 메모리(13030)로부터 판독한 이미지를 추출한다. 또한, 메모리(13030)에 저장되는 영상의 맵과 출력하는 영상의 맵이 다른 경우 리쉐이퍼(13020)는 메모리에 저장된 영상을 판독하여 출력할 영상으로 매핑시켜주는 역할을 수행할 수도 있다.
메모리(13030)는 수신한 영상을 저장 또는 버퍼링하였다가 출력한다.
포매터(13040)는 디스플레이할 영상 포맷에 따라 영상의 포맷을 변환시킨다. 예를 들면, 포매터(13040)는 탑-바텀 포맷의 이미지를 인터레이스드 포맷으로 변환하는 등의 동작을 수행할 수 있다.
도 14내지 도 16은 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 2D 이미지로 출력하는 방법을 도시한 도면들이다.
도 14는 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 스테레오 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 14는, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다.
방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드 및 Right_flipping_flag 필드의 필드값이 모두 ‘0’이므로 이미지의 역스캔이 필요하지 않음을 알 수 있다. sampling_flag의 필드값은 ‘1’이므로 quincunx 샘플링이 수행되지 않았으며, 수평방향 또는 수직 방향으로 1/2 리사이징(예를 들면, 데시메이션)이 수행되었음을 알 수 있다.
탑-바텀 포맷의 이미지(14010)를 수신한 경우(stereo_composition_type=0), 리쉐이퍼는 출력해야 하는 상단의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 탑-바텀 포맷의 이미지의 경우, 출력 이미지의 맵과 메모리에 저장되는 이미지의 맵이 일치하므로, 별도의 매핑을 요구하지 않을 수 있다. 그리고 스케일러는 상단의 이미지를 인터폴레이션 또는 vertically 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다. 2D 이미지를 출력하는 경우, 이미지의 멀티플렉싱 포맷을 컨버젼할 필요가 없으므로, 포매터는 스케일러부터 수신한 이미지를 바이패스할 수 있다.
사이드-바이-사이드 포맷의 이미지(14020)를 수신한 경우(stereo_composition_type=1), 리쉐이퍼는 출력해야하는 좌측의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 사이드-바이-사이드 포맷의 이미지의 경우, 출력 이미지의 맵과 메모리에 저장되는 이미지의 맵이 일치하므로, 별도의 매핑을 요구하지 않을 수 있다. 그리고 스케일러는 죄측의 이미지를 인터폴레이션 또는 horizontally 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다.
horizontally interlaced 포맷의 이미지(14030)를 수신한 경우(stereo_composition_type=2), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. horizontally 인터레이스드 포맷의 이미지의 경우 출력되는 이미지는 인터레이스드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 인터레이싱된 화소들 사이의 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 스케일러로 출력할 수 있다. 스케일러는 인터레이스드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.
vertically interlaced 포맷의 이미지(14040)를 수신한 경우(stereo_composition_type=3), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. vertically 인터레이스드 포맷의 이미지의 경우 출력되는 이미지는 인터레이스드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 인터레이싱된 화소들 사이의 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 스케일러로 출력할 수 있다. 스케일러는 인터레이스드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.
체커보드 포맷의 이미지(14050)를 수신한 경우(stereo_composition_type=4), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. 체커보드 포맷의 이미지의 경우 출력되는 이미지는 체커보드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 출력할 때 체커보드 포맷의 이미지로 매핑을 수행하여 스케일러로 출력할 수 있다. 스케일러는 체커보드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.
도 15는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 15는, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 1, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다. 방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지의 역스캔이 필요함을 알 수있다. Right_flipping_flag 필드의 필드값은 ‘0’이고, 또한 2D 이미지를 출력하는 경우 레프트 이미지를 출력할 것이므로 방송 수신기에 따라 라이트 이미지는 정방향으로 스캔하거나, 스캔하지 않을 수도 있다. sampling_flag의 필드값은 ‘1’이므로 quincunx 샘플링이 수행되지 않았으며, 수평방향 또는 수직 방향으로 1/2 리사이징(예를 들면, 데시메이션)이 수행되었음을 알 수 있다.
탑-바텀 포맷의 이미지(15010)를 수신한 경우(stereo_composition_type=0), 리쉐이퍼는 출력해야하는 상단의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 이때 Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지를 판독하여 저장할 때 역방향으로 이미지를 스캔한다. 그리고 스케일러는 상단의 이미지를 vertically 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다. 2D 이미지를 출력하는 경우, 이미지의 멀티플렉싱 포맷을 컨버젼할 필요가 없으므로, 포매터는 스케일러부터 수신한 이미지를 바이패스할 수 있다.
사이드-바이-사이드 포맷의 이미지(15020)를 수신한 경우(stereo_composition_type=1), 리쉐이퍼는 출력해야하는 좌측의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 이때 Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지를 판독하여 저장할 때 역방향으로 이미지를 스캔한다. 그리고 스케일러는 죄측의 이미지를 horizontally 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다.
도 14에서, horizontally interlaced 포맷(14030), vertically interlaced 포맷(14040), 체커보드 포맷(14050)의 경우 시스템 구현의 실시예에 따라 방송 수신기는 Left_flipping_flag 필드 및 Right_flipping_flag 필드는 무시하고 처리하므로, 도 13에서 도시한 horizontally interlaced 포맷(13030), vertically interlaced 포맷(13040), 체커보드 포맷(13050)의 경우와 동일한 방법으로 비디오 데이터 처리를 수행한다. 관련된 동일한 설명은 생략하기로 한다. 다만, 시스템 구현의 실시예에 따라 멀티플렉싱 포맷과 별도로 Left_flipping_flag 필드 및 Right_flipping_flag 필드를 사용하여 이미지의 역스캔 여부를 결정할 수 있음은 상술한 바와 같다.
도 16은 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 16은, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다. 방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드의 필드값이 ‘0’이므로 레프트 이미지의 역스캔이 필요하지 않음을 알 수 있다. sampling_flag의 필드값은 ‘0’이므로 quincunx 샘플링이 수행되었음을 알 수 있다.
수신기에서 탑-바텀 포맷의 이미지(16010) 또는 사이드-바이-사이드 포맷의 이미지(16020)를 수신하여 리쉐이퍼에서 레프트 이미지를 판독하여 저장하는 할 수 있다. 이때 메모리에 저장된 이미지를 리쉐이퍼에서 판독하는 경우, 판독된 이미지는 수직방향으로 1/2 리사이징된 이미지 또는 수평방향으로 1/2 리사이징된 이미지가 아닌 체커보드와 같은 이미지를 판독하게 된다. 따라서 리쉐이퍼는 메모리로부터 레프트 이미지를 판독하는 경우 quincunx 샘플링된 체커보드 형태의 이미지를 매핑하여 출력한다. 스케일러는 체커보드 형태의 이미지를 수신하여 quincunx 리버스샘플링을 수행하여 풀 스크린의 레프트 이미지를 출력할 수 있다.
도 17은, 본 발명의 일 실시예에 따라 quincunx 샘플링을 사용하는 3D 비디오 데이터 처리 방법을 도시한 도면이다.
도 17(a)는 송신기의 인코더 측면(encoder side)에서의 이미지 프로세싱을 나타내며, 도 17(b)는 수신기의 디코더 측면(decoder side)에서의 이미지 프로세싱을 나타낸다.
도 17(a)를 참조하면, 방송 송신기는 사이드-바이-사이드 포맷의 이미지 전송을 위해 각각 풀 스크린의 레프트 이미지(17010)와 라이트 이미지(17020)를 quincunx 샘플링하며, 샘플링된 레프트 이미지(17030) 및 샘플링된 라이트 이미지(17040)를 획득한다. 방송 송신기는 샘플링된 레프트 이미지(17030) 및 샘플링된 라이트 이미지(17040)를 각각 픽셀 쉬프팅하여, 1/2 스크린으로 리사이징된 레프트 이미지(17050) 및 1/2 스크린으로 리사이징된 라이트 이미지(17060)를 획득한다. 리사이징된 이미지들(17050, 17060)를 하나의 스크린으로 구성하여, 전송할 사이드-바이-사이드 포맷의 이미지(17070)를 획득하게 된다. 도 17의 실시예에서는 사이드-바이-사이드 포맷을 예로 설명하며, 사이드-바이-사이드 포맷의 이미지를 획득하기 위해 quincunx 샘플링된 이미지를 수평방향으로 픽셀 쉬프팅하였으나, 탑-바텀 포맷의 이미지를 획득하는 경우라면 quincunx 샘플링된 이미지를 수직방향으로 픽셀 쉬프팅하여 이미지를 구성할 수 있을 것이다.
도 17(b)를 참조하면, 방송 수신기는 탑-바텀 포맷의 이미지(17080)를 수신한다. 그리고, 3D 이미지 포맷 정보의 sampling_flag 필드의 필드값이 ‘0’이므로 송신기에서 quincunx 샘플링이 수행되었음을 알 수 있다. 따라서, 방송 수신기는 수신된 탑-바텀 포맷의 이미지(17080)를 스캔하여 픽셀 쉬프팅할 때 quincunx 샘플링이 수행된 것과 같은 형상의 이미지들(17090, 17100)로 출력하고, 인터폴레이팅 수행시 quincunx 리버스 샘플링을 수행하여 풀 스크린의 레프트 이미지(17110)와 풀 스크린의 라이트 이미지(17020)를 획득할 수 있다.
도 18 및 19의 실시 예는, 방송 수신기에서 스테레오 포맷 정보를 사용하여 수신된 멀티플렉싱 포맷과 다른 멀티플렉싱 포맷으로 포맷 컨버젼을 수행하여 출력하는 방법을 나타낸다.
도 18은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플렉싱 포맷을 변환하여 출력하는 방송 수신기의 구성을 도시한 도면이다.
도 18의 경우 도 13과 동일한 설명은 생략하기로 한다. 도 13과 관련 실시예의 경우, 2D 이미지(한 시점의 이미지로 구성된 프레임)를 출력하므로 포매터는 수신한 이미지를 그대로 출력하였으나, 도 18의 경우, 포매터는 수신된 3D 비디오 데이터를 처리하여 디스플레이 장비 또는 방송 수신기에서 지정한 출력 포맷으로 변환하는 역할을 수행한다.
도 19(a) 내지 19(c)는, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플렉싱 포맷을 변환하여 출력하는 방송 수신기의 비디오 데이터 처리 방법을 도시한 도면이다.
먼저, 수신된 3D 이미지의 멀티플렉싱 포맷이 사이드-바이-사이드 포맷이고, 출력 포맷이 horizontally interlaced 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=1, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.
스케일러는 수신한 사이드바이사이트 포맷의 이미지(19010)를 vertically 1/2 리사이징하여 출력하고, 리쉐이퍼는 출력된 이미지를 메모리에 저장한후 탑-바텀 포맷으로 스캔하여 출력한다. 스케일러는, 탑-바텀 방식으로 수신한 이미지에 대해 horizontally 2/1 리사이징을 수행하고, 포매터는 수신한 풀 스크린의 탑-바텀 포맷의 이미지를 horizontally interlaced 포맷으로 변환하여 출력한다.
다음으로, 수신된 3D 이미지의 멀티플렉싱 포맷이 사이드-바이-사이드 포맷이고, 출력 포맷이 체커보드 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=1, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.
체커보드 포맷의 경우 사이드-바이-사이드 포맷 또는 탑-바텀 포맷의 이미지와 같이 1/2 리사이징된 이미지(19020)를 수신하면 이를 포맷 컨버젼만 수행하면 된다. 즉, 수신한 사이드-바이-사이드 포맷의 이미지(19020)에 스케일러, 리쉐이퍼의 별도의 이미지 처리 없이, 포매터에서 멀티플렉싱 포맷만을 컨버팅하여 출력한다. 또는, 실시예에 따라 수신한 사이드-바이-사이드 포맷의 이미지에서 레프트 이미지 및 라이트 이미지를 각각 판독하여 1/2 리사이징을 수행하고, 풀스크린의 레프트 이미지 및 라이트 이미지를 체커보드 포맷으로 각각 1/2 다운샘플링하여 두 영상을 믹싱할 수도 있다.
마지막으로, 수신된 3D 이미지의 멀티플렉싱 포맷이 체커보드 포맷이고, 출력 포맷이 horizontally interlaced 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=4, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.
체커보드 포맷의 이미지(19030)를 수신한 경우, 리쉐이퍼는 이미지를 스캔하여 horizontally 1/2 사이즈의 탑-바텀 포맷의 이미지로 리쉐이핑하고, 메모리에 저장한 후, 출력한다. 스케일러는 수신한 1/2 사이즈의 탑-바텀 포맷의 영상에 대해 horizontally 1/2 리사이징을 수행하여 풀 스크린의 탑-바텀 포맷 이미지를 출력한다. 포매터는 풀 스크린의 탑-바텀 포맷을 포맷 컨버팅하여 horizontally interlaced 포맷의 이미지를 출력한다.
도 20은 본 발명과 관련하여, IPTV 서비스 탐색 과정을 설명하기 위해 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른, IPTV에서의 3D 서비스 획득 과정을 나타낸 도면이다.
ITF(IPTV Terminal Function)는 Push/Pull 모드로 서비스 프로바이더로부터 서비스 프로바이더 디스커버리(Service Provider Discovery)를 위한 정보를 제공 받는다. 서비스 프로바이더 디스커버리는 IPTV를 제공하는 서비스 프로바이더들이 자신들의 서비스에 대한 정보를 제공하는 서버를 찾는 과정이다. 예를 들면, 서비스 프로바이더 디스커버리는 다음과 같은 방식으로 서비스 프로바이더 별 서비스 정보 서버를 제공한다. 즉, 수신기는 SD 서버(Service Discovery Server)에 대한 정보(SP 디스커버리 정보)를 받을 수 있는 주소 목록을 다음과 같은 방식으로 찾게 된다.
일실시예로, 수신기는 미리 자동 또는 수동 설정된 주소로부터 SP(Service Provider) 디스커버리 정보를 수신한다. 이때, ITF에 미리 설정된 주소로부터 해당 정보를 수신하거나, 사용자가 수동으로 특정 주소를 설정하여 사용자가 원하는 SP 디스커버리 정보를 수신할 수 있다.
다른 실시예로, 수신기는 DHCP 기반 SP 디스커버리를 수행할 수 있다. 즉, 수신기는 DHCP 옵션(option)을 사용하여 SP 디스커버리 정보를 얻을 수 있다.
또 다른 실시예로, 수신기는 DNS SRV 기반의 SP 디스커버리를 수행할 수 있다. 즉, 수신기는 DNS SRV 메커니즘을 이용하여 쿼리(query)를 던져 SP 디스커버리 정보를 얻어올 수 있다.
수신기는 위와 같은 방법으로 획득한 주소의 서버에 접속하여, SP 의 서비스 디스커버리(Service Discovery)에 필요한 정보를 담은 서비스 프로바이더 디스커버리 레코드(Service Provider Discovery Record)로 구성된 정보를 받는다. 수신기는 서비스 프로바이더 디스커버리 레코드로 구성된 정보를 통하여 서비스 탐색 단계를 진행한다. 서비스 프로바이더 디스커버리 레코드와 관련된 데이터는 Push 또는 Pull, 어느 형태로든 제공하는 것이 가능하다.
수신기는 서비스 프로바이더 디스커버리 레코드의 정보를 바탕으로, 서비스 프로바이더의 접속 주소 (예를 들면, SPAttachmentLocator로 지정된 주소) 의 SP 접속 서버(Attachment Server)에 접속하여 ITF 등록 절차(Service Attachment절차)를 수행한다. 이때, ITF에서 서버로 전달하는 정보는, 예를 들면, ITFRegistrationInputType 레코드의 형태로 전달될 수 있으며, ITF는 HTTP GET 메쏘드(method)의 쿼리 텀(query Term) 형태로 이러한 정보를 제공하여 서비스 접속(Service Attachment)을 수행할 수도 있다.
일실시예로, 수신기는 선택적으로 SPAuthenticationLocator로 지정되는 SP의 인증 서비스 서버(Authentication service server)에 접속하여 별도의 인증절차를 수행한 이후, 서비스 접속을 수행할 수도 있다. 이 경우 수신기는 상기 서비스 접속의 경우와 유사한 형태의 ITF 정보를 서버에 전송하여 인증을 수행할 수 있다.
수신기는 ProvisioningInfoTable의 형태의 데이터를 서비스 프로바이더로부터 수신할 수 있다. 이 과정은 생략될 수도 있다.
수신기는 ITFRegistrationInputType 레코드 등 서비스 접속 과정에서 서버로 전송하는 데이터에 자신의 ID와 위치정보를 포함하여 제공한다.
서비스 접속 서버는 수신기가 제공한 정보를 바탕으로 수신기가 가입한 서비스를 특정 지을 수 있다. 서비스 접속 서버는 이를 바탕으로 수신기가 받아야 할 서비스 정보(Service Information)을 획득할 수 있는 주소를 ProvisioningInfoTable 형태로 제공할 수 있다. 예를 들면, 이 주소를 MasterSiTable의 접속정보로 이용 가능하다. 이러한 방식은, 가입자 별로 맞춤형으로 서비스를 구성하여 제공하는 것이 가능하게 하는 효과가 있다.
수신기는 서비스 프로바이더로부터 수신한 정보를 바탕으로, VirtualChannelMap Table, VirtualChannelDescription Table 및/또는 SourceTable을 수신할 수 있다.
VirtualChannelMap Table은 VirtualChannelMap에 대한 접속 정보 및 버전을 관리하는 MasterSiTable과 패키지 형태의 서비스 목록을 제공한다.
VirtualChannelDescription Table은 각 채널의 상세 정보를 담고 있다.
SourceTable은 실제 서비스를 액세스(Access)할 수 있는 접속 정보를 담고 있다.
VirtualChannelMap Table, VirtualChannelDescription Table 및 SourceTable는 서비스 정보로 분류될 수 있다. 이러한 서비스 정보에는 전술한 디스크립터의 정보들이 더 포함될 수 있다. 다만, 이 경우에는 IPTV의 서비스 정보 스킴(service information scheme)에 맞도록 정보의 형태는 변경될 수 있다.
도 21은 본 발명에 따른 IPTV 서비스 SI 테이블 및 그 관계를 설명하기 위해 도시한 도면이다.
도 21은 본 발명의 일실시예에 따른, IPTV를 위한 SI(Service Information) 테이블의 구조를 나타낸 도면이다.
도 21은 서비스 프로바이더 디스커버리(Service Provider discovery), 접속 메타데이터 컴포넌트들(attachment metadata components), 서비스들 디스커버리 메타데이터 컴포넌트들(Services Discovery metadata components) 및 이들의 관계를 도시하고 있다. 도 21에 도시된 화살 표시 과정을 따라 수신기는 수신한 데이터를 처리할 수 있다.
ServiceProviderInfo는 서비스 프로바이더와 관련된 정보인 SP 설명 정보(SP descriptive information), 인증과 관련된 정보를 제공하는 위치에 대한 정보인 인증 로케이션(Authentication location), 접속(attachment) 위치와 관련된 정보인 접속 로케이션을 포함하고 있다.
수신기는 인증 위치 정보를 이용하여, 서비스 프로바이더와 관련된 인증을 수행할 수 있다.
접속 위치에 포함된 정보를 이용하여, ProvisioningInfo를 수신할 수 있는 서버에 접속할 수 있다. ProvisioningInfo에는 MasterSiTable을 수신할 수 있는 서버 주소를 포함하는 MasterSiTable 로케이션, 시청자가 제공받을 수 있는 채널에 대한 정보를 포함하는 이용 가능한 채널(Available channel), 서브스크라이브드(Subscribed) 채널에 관련한 정보를 포함하는 서브스크라이브드 채널(Subscribed channel), 긴급 상황 경보와 관련된 정보를 포함하는 EAS(Emergency Alert System) 위치 및/또는 EPG(Electronic Program Guide) 와 관련된 위치 정보를 포함하는 EPG 데이터 로케이션을 포함할 수 있다. 특히, 수신기는 Master SI Table location 정보를 이용하여, Master SI Table을 수신할 수 있는 주소로 접속할 수 있다.
MasterSiTable 레코드는 각 VirtualChannelMap을 받을 수 있는 위치 정보와 각 VitualChannelMap들의 버전 정보를 담고 있다.
VirtualChannelMap은 VirtualChannelMapIdentifier로 식별되며, VituralChannelMapVersion은 VictualChannelMap의 버전 정보를 가진다.
MasterSiTable로부터 시작된 화살표 방향으로 연결된 모든 테이블 중 어느 하나의 테이블이 변경될 경우 이러한 변경 여부는 해당 테이블의 버전 번호의 중가 및 그 상위의 모든 테이블(MasterSiTable까지)의 버전 번호의 증가를 수반하게 된다. 따라서 MasterSiTable을 모니터링 함으로써 전체 SI 테이블 상의 변화를 바로 파악할 수 있게 된다. 예를 들어 SourceTable에 변경이 발생할 경우, 이 변경은 SourceTable의 버전인 SourceVersion을 증가시키게 되고 이 변화는 SourceTable에 대한 레퍼런스를 포함하는 VirtualChannelDescriptionTable의 변경을 가져오게 된다. 이러한 식으로 하위 테이블의 변화는 상위 테이블로 전파되어 최종적으로 MasterSiTable의 변경을 가져온다.
MasterSiTable은 하나의 서비스 제공자를 위하여 하나만 존재할 수도 있다. 하지만 서비스의 구성이 지역별 혹은 가입자 (혹은 가입자 그룹) 별로 다를 경우, 이러한 각 단위별 맞춤형 서비스를 제공하기 위하여 이를 별도의 MasterSiTable Record를 구성하는 것이 효율적일 수 있다. 이 경우 Service Attachment 단계를 통해 가입자의 지역 및 가입 정보 등에 맞는 맞춤형 서비스를 MasterSitable을 통해 제공하는 것이 가능하다.
MasterSiTable Record는 VitrualChannelMap 목록을 제공한다.
VitrualChannelMap은 VirtualChannelMapIdentifier로 식별될 수 있다. 각 VirtualChannelMap은 하나 이상의 VirtualChannel을 가질 수 있으며, VirtualChannel에 대한 상세 정보를 얻을 수 있는 위치를 지정한다.
VirtualChannelDescriptionLocation은 채널 상세 정보를 담고 있는 VirtualChannelDescriptionTable의 위치를 지정하는 역할을 한다.
VirtualChannelDescriptionTable은 VirtualChannel의 상세 정보를 담고 있으며, VirtualChannelMap상의 VirtualChannelDescriptionLocation에 해당 정보를 제공하는 위치에 접속할 수 있다.
VirtualChannelServiceID는 VirtualChannelDescriptionTable에 포함되며, VirtualChanneldescription에 해당하는 서비스를 식별하는 역할을 한다. 수신기는 VirtualChannelServiceID 통해 VirtualChannelDescriptionTable를 찾을 수 있다. Multicast 방식으로 복수개의 VirtualChannelDescriptionTable들을 전달받는 경우, 해당 스트림에 join하여 테이블들을 계속 수신하면서 특정 VirtualChannelServiceID 에 의하여 식별되는 VirtualChannelDescriptionTable를 찾는다.
Unicast의 경우, VirtualChannelServiceID를 파라미터로서, 서버에 전달하여 원하는 VirtualChannelDescriptionTable 만을 받아올 수 있다.
SourceTable은 실제 서비스를 접속하는 데 필요한 접속 정보 (예를 들면, IP 주소, 포트, AV 코덱, 전송 프로토콜 등) 및/또는 서비스별 Source 정보를 제공한다. 하나의 Source가 여러 VirtualChannel 서비스를 위하여 활용될 수 있으므로, 서비스별로 Source 정보를 분리하여 제공하는 것이 효율적일 수 있다.
상기의 MasterSiTable, VirtualChannelMapTable, VirtualChannelDescriptionTable, 그리고 SourceTable는 논리적으로 네 개의 분리된 플로우를 통해 전달되며 Push/Pull의 어떤 방식이라도 무방하다.
그러나, MasterSiTable은 버전 관리를 위하여 멀티캐스트(Multicast)로 전송할 수 있으며, 수신기는 항상 MasterSiTable을 전송하는 스트림을 수신하여 버전 변화를 모니터링할 수 있다.
도 22는 본 발명에 따른 SourceReferenceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 22는 본 발명의 일실시예에 따른, SourceReferenceType의 XML 스키마를 나타낸 도면이다.
본 발명의 일실시예에 따른 SourceReferenceType의 XML 스키마는 Virtual Channel Service의 media source 정보를 담고 있는 source element를 레퍼런스하는 구조이다.
SourceReferenceType은 SourceId, SourceVersion 및/또는 SourceLocator 정보를 포함한다.
SourceId는 레퍼런스하는 Source element의 식별자이다.
SourceVersion은 레퍼런스하는 Source element의 버전이다.
SourceLocator는 레퍼런스하는 Source element를 포함하는 SourceTable을 받을 수 있는 위치를 제공한다. 일실시예로, DefaultSourceLocator와 본 element가 동시에 존재할 경우 본 element가 default값을 오버라이드(override)하게 된다.
도 23은 본 발명에 따른 SourceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 23은 본 발명의 일실시예에 따른, SourceType의 XML 스키마를 나타낸 도면이다.
본 발명에 따른 SourceType의 XML 스키마는 VirtualChannelService의 media source를 획득하는데 필요한 정보를 담고 있는 것을 일실시예로 한다.
SourceType은 SourceId, SourceVersion, TypeOfSource, IpSourceDefinition 및/또는 RfSourceDefinition 정보를 포함한다.
SourceId는 레퍼런스하는 Source element의 식별자이다. 일실시예로, 이 식별자는 유일하게 이 Source element를 식별할 수 있어야 한다.
SourceVersion은 레퍼런스하는 Source element의 버전이다. 일실시예로, Source element의 내용이 변경될 때마다 값이 증가하여야 한다.
TypeOfSource 는 해당 Source의 성격을 나타내는 값이다. 이 값에 대한 구체적인 실시예값은 도 24를 참조한다.
일실시예로, Barker 채널은 광고 혹은 홍보용의 채널로써 해당 채널의 권한이 없어서 시청할 수 없을 때, 이 채널로 자동 선택되며 해당 채널의 홍보와 가입 안내의 역할을 수행한다.
IpSourceDefinition은 IP망을 통해 전달되는 media source의 접속 정보를 제공한다. 일실시예로, IpSourceDefinition은 Multicast IP 주소, 전송 프로토콜 및/또는 각종 파라미터들을 알려줄 수 있다.
RfSourceDefinition은 케이블 TV망을 통해 전달되는 media source의 접속 정보를 제공할 수 있다.
도 24는 본 발명에 따른 TypeOfSourceType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 24는 본 발명의 일실시예에 따른, 3D 서비스를 위한 비디오 영상에 대한 정보를 시그널링하기 위해 확장한 TypeOfSourceType XML 스키마를 나타낸 도면이다.
도 24에서는 해당 Source의 성격을 나타내는 TypeOfSource 값을 정의하는데, 그 값에 따라 HD, SD, PIP, SdBarker, HdBarker, PipBarker, 3D HD 및 3D SD를 지시할 수 있다.
상기에서 Barker 채널은 광고 혹은 홍보용의 채널로써 해당 채널의 권한이 없어서 시청할 수 없을 때, 이 채널로 자동 선택되며 해당 채널의 홍보와 가입 안내의 역할을 수행한다.
3D 소스의 스테레오 포맷 정보를 제공해 주기 위하여 IPSourceDefinition과 RFSourceDefinition을 확장할 수 있다. 이러한 정보를 제공하는 것은 ATSC나 DVB 시스템의 경우 서비스 단위로 스테레오 포맷 정보를 제공해주는 것은 유사하다고 볼 수 있다. 또한, IPTV 시스템에서는 하나의 서비스가 다양한 미디어 소스로 구성될 수 있는바, 상술한 바와 같이 융통성 있는 구조로 다수의 소스를 지정할 수 있도록 하고 있다. 따라서, 이러한 Source 레벨의 정보를 확장하여 스테레오 포맷 정보를 제공함으로써 서비스 단위로 정보를 제공하는 것이 가능하다.
도 25는 본 발명에 따른 StereoformatInformationType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이고, 도 26은 본 발명에 따른 StereoformatInformationType XML 스키마 구조의 다른 예를 설명하기 위해 도시한 도면이다.
도 25 내지 26에서는 본 발명에 따라 3D 디스플레이를 위한 스테레오 포맷 정보들에 관한 엘레멘트와 그 타입을 예시한다.
StereoformatInformation Type은 스테레오 포맷 정보를 포함하기 위해 새롭게 정의한 타입으로 전술한 바와 같이, 서비스의 해당 소스의 스테레오스코픽 비디오 신호의 스테레오 포맷 정보와 더불어, L/R 신호의 배치 방법, 2D 모드 출력 설정시 우선 출력될 뷰에 대한 정보를 포함할 수 있다. 이러한 값들의 해석 및 이용 방법은 전술한 바와 같다.
이러한 StereoformatInformationType XML 스키마 구조에서는 예컨대, 전술한 바와 같이, StereoComposition type, LRFristFlag, LROutputFlag, LeftFlippingFlag, RightFlippingFlag 및 SamplingFlag 6개의 엘레멘트를 예시하고 있다.
여기서, 도 25와 26의 각 엘레멘트의 정의 및 속성은 예컨대, 도 13의 필드 값과 동일할 수 있다. 다시 말하면, 도 25와 26은 도 12를 XML 스키마 형태로 정의한 것이라고 볼 수 있다.
도 27은 본 발명에 따른 IpSourceDefinitionType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 27은 예컨대, IpSourceDefinition Type 값에 본 발명에 따른 StereoformatInformationType 값을 XML 스키마 형태로 구성한 것이다.
IpSourceDefinition Type에는 MediaStream 엘레멘트, RateMode 엘레멘트, ScteSourceId 엘레멘트, MpegProgramNumber 엘레멘트, VideoEncoding 및 AudioEncoding 엘레멘트(코덱 엘레멘트), FecProfile 엘레멘트 및 StereoformatInformation type 엘레멘트가 존재한다.
MediaStream 엘레먼트는 이 소스의 미디어 스트림을 위한 IP 멀티캐스트 세션 디스크립션을 포함한다. 이 미디어 스트림 엘레먼트는 asBandwidth 속성을 포함한다. asBandwidth 속성의 단위는 초당 킬로비트로 표현될 수 있다.
asBandwidth 속성의 해석은 최대 비트 레이트이다.
RateMode 엘레먼트는 프로그래밍 소스 레이트 타입을 포함한다. 예를 들면, constant Bit Rate (CBR) 또는 Variable Bit Rate (VBR)이 될 수 있다.
ScteSourceId 엘레먼트는 MPEG-2 TS의 Source ID를 포함할 수 있다.
MpegProgramNumber 엘레먼트는 MPEG Program Number를 포함할 수 있다.
VideoEncoding 엘레먼트는 미디어 소스의 비디오 인코딩 포맷을 나타낸다.
AudioEncoding 엘레먼트는 프로그래밍 소스에 사용된 오디오 코딩에 대한 디스크립션을 IANA에 등록된 오디오 MIME 타입의 형태로 나타낼 수 있다.
FecProfile 엘레먼트는 가능한 경우 IP FEC Profile을 나타낸다.
IpSourceDefinition Type 내 StereoformatInformation type 엘레멘트의 서브_엘레멘트로 도 25 내지 26과 같은 엘레멘트들이 포함된다.
상기에서 코덱 엘레멘트는 3D 스테레오스코픽 서비스에 대한 코덱 정보도 정의할 수 있다.
도 28은 본 발명에 따른 RfSourceDefinitionType XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 28은 RfSourceDefinitionType XML 스키마 구조를 예시한 것으로, 각 엘레멘트의 정의 및 내용 중 전술한 도 27과 동일한 내용은 전술한 내용을 참조 원용하고 여기서는 생략한다.
도 28에서는 RfSourceDefinitionType 의 특성상 FrequencyInKHz 엘레멘트, Modulation 엘레멘트, RfProfile 엘레멘트, 및 DvbTripleId 엘레멘트가 더 포함되어 있다.
FrequencyInKHz 엘레먼트는 소스의 RF 주파수를 KHz 단위로 나타낸다. 이는 모듈레이션 타입에 관계없이 중앙 주파수를 나타낸다.
Modulation 엘레먼트는 RF 모듈레이션 타입을 나타낸다. 예를 들어 NTSC, QAM-64, QAM-256, 또는 8-VSB 등을 나타낼 수 있다.
RfProfile 엘레먼트는 기본 스트림 형식을 나타낼 수 있다. 예를 들어 SCTE, ATSC, 또는 DVB 등을 나타낼 수 있다.
DvbTripleId 엘레먼트는 방송 스트림을 위한 DVB Triplet identifier를 나타낸다.
상술한 도 27 및 28은 각각 IpSourceDefinitionType과 RfSourceDefinitionType에 StereoFormatInformationType의 엘레멘트인 StereoFormatInformation 엘레멘트를 추가하여 각 소스별 스테레오 포맷 정보와 더불어 L/R 신호의 배치 방법, 2D 모드 출력 설정시 우선 출력될 뷰에 대한 정보를 제공하도록 하는 방법을 개시하고 있다.
상술한 IPTV의 새로운 시그널링단을 통한 스테레오 포맷 정보 제공 방법 이외에도, IPTV의 미디어들은 기존 디지털 방송과 유사한 형태의 MPEG-2 TS로 구성되어서 IP망을 통하여 전송되므로 본 발명에서 앞서 제안된 SI단의 각종 테이블을 통한 스테레오 포맷 정보 제공 방법도 동일하게 적용될 수 있다.
상술한 방법이 ATSC IPTV 시스템에 관한 것이라면, DVB IPTV 시스템에서는 후술할 도 29와 같이 IPService를 확장하여 스테레오 포맷 정보를 제공할 수 있다.
도 29는 본 발명에 따른 IPService XML 스키마 구조의 일 예를 설명하기 위해 도시한 도면이다.
도 29는 IP 서비스로 3D 스테레오스코픽 서비스 구현을 위한 정보를 제공하기 위한 것으로 본 발명에 따른 StereoformatInformation을 포함한다. 다만, sub_element의 내용 및 정의와 동일한 내용은 전술한 내용을 원용하고, 여기서 상세한 설명은 생략한다.
도 29의 IPService 스키마는, ServiceLocation, TextualIdentifier, DVBTripleID, MaxBitrate, DVB SI, AudioAttributes, VideoAttributes 및 ServiceAvailability 엘레멘트를 포함할 수 있다.
ServiceLocation 엘레멘트는, IP 서비스 내 3D 스테레오스코픽 서비스의 위치를 지시한다.
TextualIdentifier 엘레멘트는, 식별된 IP 서비스 내 3D 스테레오스코픽 서비스에 대한 텍스트 형식의 식별자를 지시한다.
DvbTripleId 엘레먼트는, 방송 스트림을 위한 DVB Triplet identifier를 나타낸다.
MaxBitrate 엘레멘트는, 방송 스트림의 최대 비트 레이트를 지시한다.
DVB SI 엘레멘트는 속성들과 서비스에 대한 서비스 엘레멘트를 포함할 수 있다.
DVB SI 엘레멘트는 Name 엘레멘트, Description 엘레멘트, service description location 엘레멘트, content genre 엘레멘트, country availability 엘레멘트, replacement service 엘레멘트, mosaic description 엘레멘트, announcement support 엘레멘트, StereoformatInformation 엘레멘트를 포함할 수 있다.
Name 엘레멘트는 사용자에게 알려진 서비스의 이름을 텍스트 형식으로 나타낼 수 있다.
Description 엘레멘트는 서비스의 문자 디스크립션을 나타낼 수 있다.
ServiceDescriptionLocation 엘레멘트는 제공 정보를 전달하는 BCG discovery 엘레먼트를 위한 BCG 레코드의 식별자를 나타낼 수 있다.
ContentGenre 엘레멘트는 서비스의 (주된) 장르를 나타낼 수 있다.
CountryAvailability 엘레멘트는 서비스가 가능 또는 불가능한 국가의 리스트를 나타낼 수 있다.
ReplacementService 엘레멘트는 SI 레코드가 참조하는 서비스를 제공하는데 실패한 경우 다른 서비스로의 연결에 대한 세부사항을 나타낼 수 있다.
MosaicDescription 엘레멘트는 모자익 스트림으로 디스플레이되는 서비스, 서비스 패키지에 대한 세부사항을 나타낼 수 있다.
AnnouncementSupport 엘레멘트는 서비스에 의해 지원되는 공고를 나타낼 수 있다. 또한 공고의 위치에 대한 링크 정보를 나타낼 수 있다.
StereoformatInformationType 엘레멘트는 전술한 내용을 참고하고 여기서 상세한 설명은 생략한다.
AudioAttributes 엘레멘트는, 방송 스트림을 통해 전송되는 오디오 데이터의 속성을 나타낸다.
VideoAttributes 엘레멘트는, 방송 스트림을 통해 전송되는 비디오 데이터의 속성을 나타낸다.
ServiceAvailability 엘레멘트는, 서비스의 이용 가능성을 나타낸다.
DVB IPTV 시스템에서는 각 IPTV 서비스는 IPService 단위로 DVB SD&S(Service Discovery and Selection) 내에서 표현되며, 그 중에서 SI 엘레멘트는 서비스에 대한 추가적인 상세한 정보를 제공하여 준다. 이 정보들은 DVB SI 상의 SDT 상에 포함된 내용을 대부분 동일하게 제공하고 있다. 이를 확장하여 하기에 보여준 바와 같이 StereoFormat 엘레멘트를 추가함으로써 이를 제공하고자 한다. 이를 통하여 서비스 별로 이용될 수 있는 스테레오 포맷 정보를 제공할 수 있다.
DVB IPTV 시스템도 상기 기술한 바와 마찬가지로 MPEG2 TS 형태로 구성하여 이를 IP 망을 통해 전송하여 TS내의 DVB-SI 정보를 기존 DVB 방송과 동일한 형태로 이용하는 것이 가능하다. 따라서 본 발명에서 제안한 다른 기법들도 동일하게 이용될 수 있다.
도 30은 본 발명에 따른 3D 서비스를 처리하는 디지털 수신기의 다른 예를 설명하기 위해 도시한 도면이다.
도 30은 본 발명의 일 실시예에 따른, IPTV 수신기를 나타낸 도면이다.
본 발명에 일 실시예에 따른 IPTV 수신기는 네트워크 인터페이스(Network Interface)(30010), TPC/IP 매니저(Manager) (30020), 서비스 제어 매니저(Service Control Manager)(30030), 서비스 전달 매니저(Service Delivery Manager)(30040), 컨텐트 데이터베이스(Content DB)(30050), PVR 매니저(manager)(30060), 서비스 디스커버리 매니저(Service Discovery Manager)(30070), 메타데이터 매니저(Metadata Manager)(30080), SI & Metadata DB(30090), SI 디코더(30100), 역다중화부(DEMUX)(30110), 오디오/비디오 디코더(Audio and Video Decoder)(30120), 애플리케이션 매니저(Native TV Application manager)(30130) 및/또는 디스플레이부(A/V and OSD Displayer)(30140)를 포함한다.
Network Interface(30010)는 IPTV 패킷을 송/수신하는 역할을 한다. Network Interface (30010)는 physical layer 및/또는 data link layer 에서 동작한다.
TPC/IP Manager (30020)는 end to end 패킷 전송에 관여한다. 즉, TPC/IP Manager (30020)는 source에서 destination까지의 패킷 전송을 관리하는 역할을 수행한다. TPC/IP Manager (30020)는 IPTV 패킷들을 적절한 매니저로 분류하여 전송하는 역할을 한다.
Service Control Manager (30030)는 서비스를 선택하고 제어하는 역할을 수행한다. Service Control Manager (30030)는 session을 관리하는 역할을 수행할 수도 있다. 예를 들면, Service Control Manager (30030)는 IGMP (Internet Group Management Protocol) 또는 RTSP을 이용하여 실시간 방송 서비스를 선택할 수 있다. 예를 들면, Service Control Manager (30030)는 RTSP를 이용하여 VOD (Video on Demand) 컨텐츠를 선택할 수 있다. 예를 들면, IMS (IP Multimedia Subsystem) 가 사용되는 경우, Service Control Manager (30030)는 SIP (session initiation protocol)를 사용하여 IMS 게이트웨이를 통한 세션 초기화 및/또는 매니징을 수행한다. 주문형 전송뿐만 아니라 TV 방송 또는 오디오 방송에 의한 전송을 제어하기 위해서는 RTSP 프로토콜이 사용된다. RTSP 프로토콜은 지속적인 TCP 컨넥션을 사용하며 실시간 미디어 스트리밍에 대해 트릭 모드 컨트롤을 지원한다.
Service Delivery Manager(30040)는 실시간 스트리밍 및/또는 컨텐트 다운로드의 핸들링에 관여한다. Service Delivery Manager(30040)는 추후 사용을 위하여 Content DB (30050)으로부터 컨텐츠를 retrieving한다. Service Delivery Manager(30040)는 MPEG-2 Transport Stream(TS)와 함께 사용되는 Real-Time Transport Protocol(RTP)/RTP Control Protocol(RTCP)를 이용할 수 있다. 이 경우, MPEG-2 패킷은 RTP를 이용하여 encapsulated 된다. Service Delivery Manager (30040)는 RTP 패킷을 파싱하고, 파싱된 패킷을 DEMUX (30110)으로 보낸다. Service Delivery Manager (30040)는 RTCP를 이용하여 네트워크 reception에 대한 피드백을 전송하는 역할을 수행할 수 있다. MPEG-2 Transport packets은 RTP의 사용 없이, UDP (user datagram protocol) 을 이용하여 직접 전송될 수 있다. Service Delivery Manager (30040)는 컨텐츠 다운로딩을 위하여, HTTP (hypertext transfer protocol) 또는 FLUTE (File Delivery over Unidirectional Transport) 을 전송 프로토콜으로 사용할 수 있다. Service Delivery Manager (30040)는 3D video composition 정보를 전송하는 스트림을 처리하는 역할을 수행할 수 있다. 즉, 전술한 3D video composition 정보가 스트림으로 전송되는 경우, 이에 대한 처리는 Service Delivery Manager (30040)에서 수행될 수 있다. 또한, Service Delivery Manager(30040)는 3D 씬 뎁쓰(Scene Depth) 정보 스트림을 수신하여 처리하거나 전달할 수도 있다.
Content DB (30050)는 컨텐츠 다운로드 시스템에 의해 전송된 컨텐츠나 생방송 미디어 티비로부터 녹화된 컨텐츠에 대한 데이터 베이스이다.
PVR manager (30060) 는 생방송 스트리밍 컨텐츠를 녹화하고 재생하는 역할을 한다. 녹화된 컨텐츠에 대해 필요한 모든 메타 데이터를 수집하고, 보다 나은 사용자 환경을 위한 추가적인 정보를 수집한다. 예를 들면 썸네일 이미지 또는 인덱스 등이 포함될 수 있다.
Service Discovery Manager (30070) 는 양방향 IP 네트워크를 통해 IPTV 서비스에 대한 탐색을 가능하게 한다. 선택 가능한 서비스에 대한 모든 정보를 제공한다.
Metadata Manager (30080)는 메타데이터의 처리를 관리한다.
SI & Metadata DB (30090) 는 메타 데이터 DB 와 연계하여 메타 데이터를 관리한다.
SI Decoder (30100)는 PSI 제어모듈이다. 여기에는 PSI 뿐만 아니라 PSIP 또는 DVB-SI도 포함될 수 있으며 아래에서 PSI는 이들을 포함하는 개념으로 사용된다. SI Decoder (30100)는 PSI 테이블을 위한 PID들을 세팅하고 이를 DEMUX (30110)로 전달한다. DEMUX (30110)로부터 전달된 PSI private 섹션을 디코딩하고 그 결과는 오디오 및 비디오 PID를 세팅하여 입력 TP를 역다중화에 사용된다.
DEMUX (30110)는 입력 TP(transport packets)로부터 오디오, 비디오 및 PSI 테이블을 역다중화한다. SI Decoder (30100)에 의해 PSI 테이블을 역다중화하도록 제어되며 PSI 테이블 섹션을 생성하고 이를 SI Decoder (30100)로 출력한다. 또한 A/V TP를 역다중화하도록 제어된다.
Audio and Video Decoder (30120)는 비디오 및/또는 오디오 elementary stream packets를 디코딩 할 수 있다. Audio Decoder 및/또는 Video Decoder를 포함한다. Audio Decoder는 오디오 elementary stream packets을 디코딩한다.
Video Decoder는 비디오 elementary stream packets을 디코딩한다.
Native TV Application manager (30130)는 UI Manager (30140) 및/또는 Service Manager (30135)를 포함한다. Native TV Application manager (30130)는 TV 스크린 위에 Graphic User Interface를 지원한다. Native TV Application manager (30130)는 리모트 컨트롤러 또는 front panel에 의한 사용자 키(key)를 수신할 수 있다. Native TV Application manager (30130)는 TV 시스템의 상태를 관리할 수 있다. Native TV Application manager (30130)는 3D OSD를 구성하고, 출력을 제어하는 역할을 할 수 있다.
UI Manager (30140)는 TV 스크린에 User Interface를 디스플레이하기 위한 제어를 수행할 수 있다.
Service Manager (30135)는 서비스와 관련된 매니저를 제어하는 역할을 수행한다. 예를 들면, Service Manager (30135)는 Service Control Manager (30030), Service Delivery Manager (30040), IG-OITF client, Service Discovery Manager (30070), 및/또는 Metadata manager (30080)을 제어할 수 있다. Service Manager (30135)는 3D PIP 디스플레이와 관련된 정보를 처리하여, 3D 비디오 영상의 디스플레이를 제어한다.
A/V and OSD Displayer (30150)는 오디오 데이터와 비디오 데이터를 수신하여, 비디오 데이터를 디스플레이하는 것을 제어하고, 오디오 데이터의 재생을 제어한다. A/V and OSD Displayer (30150)는 3D PIP 정보에 따라 비디오 데이터들을 필터링을 통한 리사이징, 비디오 포메팅, 프레임 레이트 컨버젼 등의 비디오 데이터 프로세싱을 수행할 수 있다. A/V and OSD Displayer (30150)는 OSD를 출력하는 것을 제어한다. A/V and OSD Displayer (30150)는 도 17과 같이 3D 서비스의 경우, 좌우 영상을 수신하여 이를 Stereoscopic video로 출력하는 3D Output Formatter의 역할을 수행할 수 있다. 이 과정에서 3D OSD도 함께 조합하여 출력하는 것이 가능할 것이다. 또한, A/V and OSD Displayer (30150)는 3D 뎁쓰 정보를 처리하여 이를 UI 매니저(30140)로 전달하여 3D OSD 출력시 이용하도록 전달할 수도 있다.
도 31은 본 발명에 따른 3D 서비스를 처리하는 디지털 수신기의 또 다른 예를 설명하기 위해 도시한 도면이다.
도 31은 본 발명의 일 실시예에 따른, IPTV 수신기의 기능 블록들을 나타낸 도면이다.
본 발명의 일실시예에 따른 IPTV 수신기의 기능 블록들은 케이블 모뎀/DSL 모뎀(31010), 이더넷 NIC(Ethernet NIC, 31020), IP 네트워크 스택(31030), XML 파서(31040), 파일 처리기(file handler)(31050), EPG 처리기(31060), SI 처리기(31070), 저장 장치(31080), SI 디코더(31090), EPG 디코더(31100), ITF 동작 제어기(31110), 채널 서비스 매니저(31120), 어플리케이션 매니저(31130), 역다중화기(31140), SI 파서(31150), 오디오/비디오 디코더(31160) 및/또는 디스플레이 모듈(31170)을 포함할 수 있다.
본 발명에서 주로 다루어지는 블록들은 굵은 선으로 표시되었으며, 실선 화살표는 Data path를, 점선 화살표는 Control signal path를 나타낸다. 각 부에 대한 설명은 다음과 같다.
케이블 모뎀/DSL 모뎀(31010)은 물리 계층에서 ITF가 IP Network과 연결되는 인터페이스, 물리적 매체을 통해서 전송된 신호를 복조하여, 디지털 신호를 복원한다.
이더넷 NIC(Ethernet NIC, 31020)는 물리 인터페이스를 통하여 전송 받은 신호를 IP 데이터로 복원하는 모듈이다.
IP 네트워크 스택(31030)은 IP 프로토콜 스택에 따른 각 layer의 처리 모듈이다.
XML 파서(31040)는 전송 받은 IP 데이터 중, XML 문서를 파싱하는 모듈이다.
파일 처리기(31050)는 전송 받은 IP 데이터 중, FLUTE 등을 통하여 파일 형태로 전송된 데이터를 처리하는 모듈이다.
EPG 처리기(31060)는 전송 받은 File 형태의 데이터 중, IPTV EPG 데이터에 해당하는 부분을 처리하여 저장 장치에 저장하도록 하는 모듈이다.
SI 처리기(31070)는 전송 받은 File 형태의 데이터 중, IPTV SI 데이터에 해당하는 부분을 처리하여 저장 장치에 저장하도록 하는 모듈이다.
저장 장치(31080)는 SI, EPG 등 저장이 필요한 데이터를 저장하는 저장 장치이다.
SI 디코더(31090)는 채널 맵(Channel Map) 정보가 필요할 경우, 저장 장치(18080)로부터 SI 데이터를 가져와 분석하여, 필요한 정보를 복원하는 장치이다.
EPG 디코더(31100)는 EPG 정보가 필요할 경우, 저장 장치(31080)로부터 EPG 데이터를 가져와 분석하여, 필요한 정보를 복원하는 장치이다.
ITF 동작 제어기(31110)는 채널 변경, EPG 디스플레이 등의 ITF의 동작을 제어하는 주제어부이다.
채널 서비스 매니저(31120)는 사용자로부터의 입력을 받아 채널 변경의 동작을 관장하는 모듈이다.
어플리케이션 매니저(31130)는 사용자로부터의 입력을 받아 EPG 디스플레이 등의 어플리케이션 서비스를 관장하는 모듈이다.
역다중화기(31140)는 전송받은 IP 데이터그램에서 MPEG-2 전송 스트림 데이터를 추출하여 각 PID에 따라 해당하는 모듈로 전달하는 모듈이다.
SI 파서(31150)는 전송받은 IP 데이터그램 내의 MPEG-2 전송 스트림의 각 data (오디오/비디오 등)의 PID 정보 등, 프로그램 엘리먼트를 접속할 수 있는 정보를 담은 PSI/PSIP 데이터를 추출 및 파싱하는 모듈이다.
오디오/비디오 디코더(31160)는 전달받은 오디오 및 비디오 데이터를 디코드하여 디스플레이 모듈로 전달하는 모듈이다.
디스플레이 모듈(31170)은 입력 받은 AV 신호 및 OSD 신호 등을 조합하여 처리하여 이를 화면과 스피커를 통하여 출력한다. 디스플레이 모듈(31170)은 3D PIP 디스플레이 관련 정보에 따라 2D/3D 기본 서비스와 함께 3D PIP를 출력할 수 있다. 디스플레이 모듈(31170)은 3D PIP 정보에 따라 비디오 데이터들에 대하여 필터링을 통한 리사이징, 비디오 포메팅, 프레임 레이트 컨버젼 등의 비디오 데이터 프로세싱을 수행할 수 있다. 또한, 디스플레이 모듈(31170)은 도 17과 같이 3D 비디오의 경우 L/R 영상을 분리하여 포맷터를 통하여 3D 영상으로 출력하는 등의 역할을 수행한다. 또한 3D depth 관련 정보를 이용하여, OSD를 3D 영상과 함께 디스플레이될 수 있도록 처리하는 역할을 수행할 수 있다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (20)

  1. 3D 비디오 데이터 및 서비스 정보를 포함한 방송 신호를 수신하는 단계;
    상기 서비스 정보 내 제1 시그널링 테이블로부터 해당 가상 채널에서 3D 서비스 여부를 식별하는 단계;
    상기 제1 시그널링 테이블로부터 서비스 식별자와 3D 서비스에 대한 제1 컴포넌트 정보를 포함한 스테레오 포맷 디스크립터를 추출하는 단계;
    상기 가상 채널에 대한 서비스 식별자와 매핑되는 프로그램 넘버를 가진 제2 시그널링 테이블로부터 상기 제1 컴포넌트 정보에 대응되는 제2 컴포넌트 정보를 독출하고, 상기 독출된 제2 컴포넌트 정보에 기초하여 기본 PID 정보를 추출하는 단계;
    스테레오 포맷 디스크립터로부터 스테레오 비디오 엘레멘트에 대한 스테레오 포맷 정보를 추출하는 단계; 및
    추출된 스테레오 포맷 정보에 기초하여 스테레오 비디오 엘레멘트를 디코딩하여 출력하는 단계;를 포함하여 이루어지는 3D 비디오 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 스테레오 포맷 정보는,
    스테레오 구성 정보, 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  3. 제2항에 있어서,
    상기 스테레오 포맷 정보는,
    비디오 스트림의 포맷 정보를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  4. 제3항에 있어서,
    상기 서비스 정보는,
    DVB-SI 정보를 포함하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  5. 제4항에 있어서,
    상기 제1 시그널링 테이블은 SDT이고, 제2 시그널이 테이블은 PMT인 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  6. 제5항에 있어서,
    상기 3D 서비스 여부 식별 단계는,
    상기 SDT의 service_type 필드 및 스테레오 포맷 디스크립터 중 적어도 하나를 통해 이루어지는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  7. 제6항에 있어서,
    상기 출력하는 단계에서,
    시청 모드가 2D 모드인 경우에는 상기 디코딩된 스테레오 비디오 엘레멘트 중 상기 스테레오 포맷 디스크립터 내 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나에 기초하여 선택된 뷰에 해당하는 데이터만을 데시메이션하여 출력하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  8. 제6항에 있어서,
    상기 출력하는 단계에서,
    시청 모드가 3D 모드인 경우에는 상기 디코딩된 스테레오 비디오 엘레멘트를 상기 스테레오 포맷 디스크립터 내 스테레오 구성 정보, 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나에 기초하여 디스플레이 타입에 따라 리사이징 또는/및 포맷 컨버젼하여 출력하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법
  9. 제4항에 있어서,
    상기 제1 시그널링 테이블은 EIT인 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  10. 제6항에 있어서,
    식별된 3D 서비스를 위한 비디오 스트림의 스트림 타입이 사이드-바이-사이드 및, 탑-바텀 방식 중 어느 방식인지 식별하는 단계;를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터 처리 방법.
  11. 3D 비디오 데이터 및 서비스 정보를 포함한 방송 신호를 수신하는 수신 유닛;
    상기 서비스 정보 내 제1 시그널링 테이블과 제2 시그널링 정보를 획득하고, 상기 제1 시그널링 테이블 및 제2 시그널링 테이블로부터 스테레오 포맷 정보를 획득하는 시스템 정보 처리부;
    상기 제1 시그널링 테이블로부터 해당 가상 채널에서 3D 서비스 여부를 식별하고,
    상기 제1 시그널링 테이블로부터 서비스 식별자와 상기 스테레오 포맷 정보로부터 3D 서비스에 대한 제1 컴포넌트 정보와 스테레오 비디오 엘레멘트에 대한 스테레오 포맷 정보, 상기 가상 채널에 대한 서비스 식별자와 매핑되는 프로그램 넘버를 가진 제2 시그널링 테이블로부터 상기 제1 컴포넌트 정보에 대응되는 제2 컴포넌트 정보를 독출하도록 제어하고, 상기 독출된 제2 컴포넌트 정보에 기초하여 기본 PID 정보를 추출하도록 제어하는 제어부;
    추출된 스테레오 포맷 정보에 기초하여 스테레오 비디오 엘레멘트를 디코딩하는 디코더; 및
    디스플레이 타입에 따라 디코딩된 3D 비디오 데이터를 출력하는 디스플레이부;를 포함하는 3D 방송 수신기.
  12. 제11항에 있어서,
    상기 스테레오 포맷 정보는,
    스테레오 구성 정보, 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 3D 방송 수신기.
  13. 제12항에 있어서,
    상기 스테레오 포맷 정보는,
    비디오 스트림의 포맷 정보를 더 포함하는 것을 특징으로 하는 3D 방송 수신기.
  14. 제13항에 있어서,
    상기 서비스 정보는,
    DVB-SI 정보를 포함하는 것을 특징으로 하는 3D 방송 수신기.
  15. 제14항에 있어서,
    상기 제1 시그널링 테이블은 SDT이고, 제2 시그널이 테이블은 PMT인 것을 특징으로 하는 3D 방송 수신기.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 SDT의 service_type 필드 및 스테레오 포맷 디스크립터 중 적어도 하나를 통해 상기 3D 서비스 여부 식별하는 것을 특징으로 하는 3D 방송 수신기.
  17. 제16항에 있어서,
    상기 제어부는,
    시청 모드가 2D 모드인 경우에는 상기 디코딩된 스테레오 비디오 엘레멘트 중 상기 스테레오 포맷 디스크립터 내 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나에 기초하여 선택된 뷰에 해당하는 데이터만을 데시메이션하여 출력하도록 디스플레이부를 제어하는 것을 특징으로 하는 3D 방송 수신기.
  18. 제16항에 있어서,
    상기 제어부는,
    시청 모드가 3D 모드인 경우에는 상기 디코딩된 스테레오 비디오 엘레멘트를 상기 스테레오 포맷 디스크립터 내 스테레오 구성 정보, 좌/우 배치 정보, 좌/우 우선 출력 정보 및 좌/우 역스캔 여부 식별 정보 중 적어도 하나에 기초하여 디스플레이 타입에 따라 리사이징 또는/및 포맷 컨버젼하여 출력하도록 디스플레이부를 제어하는 것을 특징으로 하는 3D 방송 수신기.
  19. 제14항에 있어서,
    상기 제1 시그널링 테이블은 EIT인 것을 특징으로 하는 3D 방송 수신기.
  20. 제16항에 있어서,
    상기 제어부는,
    상기 제1 시그널링 테이블, 제2 시그널링 테이블 및 스테레오 포맷 정보 중 적어도 하나로부터 식별된 3D 서비스를 위한 비디오 스트림의 스트림 타입이 사이드-바이-사이드 및, 탑-바텀 방식 중 어느 방식인지 식별하는 것을 특징으로 하는 3D 방송 수신기.
PCT/KR2011/006782 2010-09-19 2011-09-14 방송 수신기 및 3d 비디오 데이터 처리 방법 WO2012036464A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/822,668 US20130169753A1 (en) 2010-09-19 2011-09-14 Broadcast receiver and method for processing 3d video data
KR1020137002664A KR101844227B1 (ko) 2010-09-19 2011-09-14 방송 수신기 및 3d 비디오 데이터 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38430410P 2010-09-19 2010-09-19
US61/384,304 2010-09-19

Publications (2)

Publication Number Publication Date
WO2012036464A2 true WO2012036464A2 (ko) 2012-03-22
WO2012036464A3 WO2012036464A3 (ko) 2012-05-10

Family

ID=45832099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/006782 WO2012036464A2 (ko) 2010-09-19 2011-09-14 방송 수신기 및 3d 비디오 데이터 처리 방법

Country Status (3)

Country Link
US (1) US20130169753A1 (ko)
KR (1) KR101844227B1 (ko)
WO (1) WO2012036464A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407734A (zh) * 2021-07-14 2021-09-17 重庆富民银行股份有限公司 基于实时大数据的知识图谱系统的构建方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013206244A1 (en) 2012-06-07 2014-01-09 Samsung Electronics Co., Ltd. Apparatus and method for reducing power consumption in electronic device
WO2016047985A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
KR102454228B1 (ko) * 2016-04-29 2022-10-14 엘지전자 주식회사 멀티 비전 장치
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10659760B2 (en) * 2017-07-10 2020-05-19 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video
CN110519652B (zh) 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
TWI790560B (zh) * 2021-03-03 2023-01-21 宏碁股份有限公司 並排影像偵測方法與使用該方法的電子裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062216A (ko) * 2007-12-12 2009-06-17 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
WO2010076933A1 (ko) * 2008-12-30 2010-07-08 (주)엘지전자 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
RU2543954C2 (ru) * 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US8289998B2 (en) * 2009-02-13 2012-10-16 Samsung Electronics Co., Ltd. Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062216A (ko) * 2007-12-12 2009-06-17 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
WO2010076933A1 (ko) * 2008-12-30 2010-07-08 (주)엘지전자 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407734A (zh) * 2021-07-14 2021-09-17 重庆富民银行股份有限公司 基于实时大数据的知识图谱系统的构建方法
CN113407734B (zh) * 2021-07-14 2023-05-19 重庆富民银行股份有限公司 基于实时大数据的知识图谱系统的构建方法

Also Published As

Publication number Publication date
US20130169753A1 (en) 2013-07-04
KR101844227B1 (ko) 2018-04-02
KR20130108245A (ko) 2013-10-02
WO2012036464A3 (ko) 2012-05-10

Similar Documents

Publication Publication Date Title
WO2012030176A2 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2012023789A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2012036464A2 (ko) 방송 수신기 및 3d 비디오 데이터 처리 방법
WO2011136621A2 (en) An apparatus of processing an image and a method of processing thereof
WO2012030177A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리 방법
WO2012030158A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2015126214A1 (ko) 3d 방송 신호를 처리하는 방법 및 장치
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2019194573A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2013015596A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2012157999A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2010064853A2 (en) 3d caption display method and 3d display apparatus for implementing the same
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2012026746A2 (en) Method for providing 3d video data in a 3dtv
WO2011132879A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11825424

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase in:

Ref document number: 20137002664

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13822668

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11825424

Country of ref document: EP

Kind code of ref document: A2