[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015102462A1 - 다중 영상의 단일 비트 스트림 생성방법 및 생성장치 - Google Patents

다중 영상의 단일 비트 스트림 생성방법 및 생성장치 Download PDF

Info

Publication number
WO2015102462A1
WO2015102462A1 PCT/KR2015/000090 KR2015000090W WO2015102462A1 WO 2015102462 A1 WO2015102462 A1 WO 2015102462A1 KR 2015000090 W KR2015000090 W KR 2015000090W WO 2015102462 A1 WO2015102462 A1 WO 2015102462A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bit stream
individual
flag
merge
Prior art date
Application number
PCT/KR2015/000090
Other languages
English (en)
French (fr)
Inventor
임정연
서동범
신재섭
손세훈
김형덕
Original Assignee
에스케이텔레콤 주식회사
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140147846A external-priority patent/KR102111436B1/ko
Application filed by 에스케이텔레콤 주식회사, 주식회사 픽스트리 filed Critical 에스케이텔레콤 주식회사
Priority to CN201580002579.8A priority Critical patent/CN105723719B/zh
Publication of WO2015102462A1 publication Critical patent/WO2015102462A1/ko
Priority to US15/163,644 priority patent/US9749587B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Definitions

  • the present embodiment relates to a method and an apparatus for generating a single bit stream of multiple images.
  • each video content can be transmitted for each channel.
  • a multi-channel service has been provided that enables users to watch 4 channels of video in 1 channel.
  • a multi-view service is provided to allow a user to select and view images taken at various angles in a sports stadium such as baseball or soccer, and it is possible to simultaneously display and display several images at the same time as video sharing.
  • Such a service may receive video bit streams of each channel and play them separately in the user terminal.
  • the resources allocated to the user terminal are insufficient in receiving and playing the video images of the various channels, the video of multiple channels is usually transmitted from the transmitter. Are mixed to be transmitted on one channel.
  • each participant's image is received and laid out as a video suitable for each user by using a hardware or software mixing device. Then, the encoding code in the encoding state is transcoded (decoded again after decoding) so as to be transmitted through one channel.
  • A may have one video mixed with images of B, C, and D except for his own video.
  • B receives one image in which A, C, and D images are mixed except for the own image.
  • CCTV control system the images from each camera are received and mixed into one screen so that multiple images can be integrated and monitored on one screen.
  • the ROI (Region of Interest) for the entire video or a specific video may be set and encoded / transcoded. Is fixed, and even when transcoding by changing the position of the ROI, there is a problem of transcoding the entire image.
  • transcoding that needs to be decoded and then re-encoded in the encoding state of the received video is required, which not only increases the quality of the video but also causes coding time as the transcoding is performed. This delay causes a delay in the display time.
  • the information representing the plurality of bit streams and the header of each bit stream may be updated and provided as one merged screen without transcoding. It is a main object to provide a method and apparatus for generating a single bit stream of multiple images for generating a bit stream.
  • an image acquisition unit for obtaining a plurality of individual video streams;
  • An image information extracting unit which extracts individual image codes and individual header information from each individual video stream obtained by the image obtaining unit; And reconstructing each individual video code to correspond to a specific position in the set layout form of the display picture to generate a merged video code and using the respective header information, merge header information corresponding to the merged video code.
  • a bit stream generator for generating and generating a merge video stream including the merge image code and the merge header information.
  • a single bit stream generation method using a single bit stream generation apparatus of multiple images comprising: an image acquisition process of acquiring a plurality of individual video streams; An image information extraction process of extracting individual image codes and individual header information from each individual video stream obtained by the image acquisition unit; Generating a merged image code by reconstructing each individual video code to correspond to a specific position in the set layout form of the display picture; And generating a merge video stream including the merge image code and the merge header information by generating merge header information corresponding to the merge image code using each individual header information.
  • a bit stream generation method comprising: an image acquisition process of acquiring a plurality of individual video streams; An image information extraction process of extracting individual image codes and individual header information from each individual video stream obtained by the image acquisition unit; Generating a merged image code by reconstructing each individual video code to correspond to a specific position in the set layout form of the display picture; And generating a merge video stream including the merge image code and the merge header information by generating merge header information corresponding to the merge image code using each
  • the information representing the plurality of bit streams and the header of each bit stream is updated without transcoding. Can be provided as a merged screen.
  • FIG. 1 is a schematic diagram illustrating a state in which a single bit stream generation apparatus of multiple images is connected with user terminals through a network according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an apparatus for generating a single bit stream of multiple images according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of a display image divided into a tile structure of three rows and three columns.
  • FIG. 4 is a schematic diagram illustrating a structure of a NAL unit according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram illustrating a synchronization function of a multi-bit stream according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a method of generating a single image bit stream of multiple images according to an embodiment of the present invention.
  • 'unit' and 'module' refer to a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • FIG. 1 is a schematic diagram illustrating a state in which a single bit stream generation apparatus of multiple images is connected with user terminals through a network according to an embodiment of the present invention.
  • a single bit stream generation apparatus 110 of a multi image according to an embodiment of the present invention is connected to a plurality of user terminals 120, 130, and 140 through a network.
  • the device 110 for generating a single bit stream of multiple images may simultaneously display an image captured by the second user terminal 130 and an image captured by the third user terminal 140 on the first user terminal 120.
  • the image captured by the first user terminal 120 and the image captured by the third user terminal 140 may be simultaneously displayed on the second user terminal 130.
  • the image photographed by the first user terminal 120 and the image photographed by the second user terminal 130 are simultaneously displayed on the third user terminal 140.
  • the apparatus 110 for generating a single bit stream of multiple images transcodes a bit stream of an image input from another user terminal to one user terminal among the first user terminal 120 to the third user terminal 140. To be displayed without this.
  • the first user terminal 120 to the third user terminal 140 may be a personal computer (PC), a notebook computer, a tablet, a personal digital assistant (PDA), a game console, a portable multimedia player (PMP).
  • PC personal computer
  • PDA personal digital assistant
  • PMP portable multimedia player
  • User terminal such as Portable Multimedia Player
  • PSP PlayStation Portable
  • Wireless Communication Terminal Smart Phone, TV, Set-Top Box, Media Player, etc. Can be.
  • the single bit stream generating apparatus 110 of the multi-image is capable of outputting a plurality of video streams provided by multiple camera outputs or VoD in IPTV, terrestrial wave, cable TV, in-house broadcasting and internet broadcasting without transcoding. It is displayed on one screen.
  • the apparatus for generating a single bit stream of multiple images may include an image acquirer 210, an image information extractor 220, a bit stream generator 230, and a tile setter ( 240, an audio channel selector 250, a channel select input unit 260, an audio decoder 280, and an image requester 290 may be implemented.
  • the image acquisition unit 210 obtains a plurality of individual video streams input through multiple channels.
  • the plurality of individual video streams are encoded by respective images, and the unit picture of each individual video stream may be composed of one or more slices, and each slice may be generated in a structure having one or more tiles.
  • the slice and tile structure is a rectangular structure including a plurality of coding tree blocks (CTBs), and a data structure for encoding and decoding H.265 High Efficiency Video Coding (HEVC). to be.
  • Each tile structure is in the form of a matrix of CTBs.
  • one tile structure may be in the form of a 3 ⁇ 3 matrix of CTBs, but is not limited thereto, and may be a CTB matrix having various sizes.
  • the image information extractor 220 extracts image information including individual image codes and individual header information from each individual video stream obtained by the image acquirer 210.
  • the individual image code refers to a network abstract layer (NAL) having an actual video coding stream (VCL), and the individual header information includes, for example, the number of slices, the number of tiles per slice, the size of each tile, the picture.
  • NAL network abstract layer
  • VCL actual video coding stream
  • NVCL Non-Video Coding Layer
  • the bit stream generator 230 synchronizes a plurality of individual video streams by using the set layout form of the image displayed on the terminal and the image information extracted by the image information extractor 220 to generate one video stream.
  • the bit stream generator 230 is a layout configured to be displayed on one screen by synchronizing the bit streams of a plurality of encoded images using each individual image code extracted by the image information extractor 220.
  • the merged image code displayed on one screen is generated by inserting the image into a designated position corresponding to the respective video stream in the form.
  • the bit stream generator 230 generates merge header information corresponding to the merge image code by using the individual header information to generate a merge video stream including the merge image code and the merge header information.
  • the merge header information includes information on the number and width of the tiles in the picture, and information indicating the number of the horizontal samples and the number of the vertical samples of each tile.
  • Each individual picture code is reconstructed as a picture code of a tile at a predetermined position.
  • FIG. 3 is a schematic diagram of a display image divided into a tile structure of three rows and three columns.
  • the number of tiles displayed on the screen displaying one merged video stream may be designated as a preset number. This may be set to display an individual video screen of a number already set in a terminal to be displayed, or may be set in a single bit stream generating apparatus 110 of multiple images.
  • the number of tiles displayed on the screen displaying one merged video stream may be set by the user. In this case, the user may display the selected video stream on one screen by selecting individual images to be displayed using a predetermined selection device.
  • the channel selection input unit 260 may perform the selection function of the individual image to be displayed and transmit it to the bit stream generator 230.
  • the channel selection input unit 260 selects n channels to display on one screen among available channels.
  • three tiles may be set horizontally and three vertically on one display screen, and the number of CTBs is determined for each tile.
  • the number of CTBs of each tile is determined to be equal to the number of CTBs encoded in individual video streams.
  • the number of samples in the width direction of any one tile is equal to the number of samples in the width direction of a tile vertically adjacent thereto.
  • the number of samples in the height direction of any one tile is equal to the number of samples in the height direction of a tile adjacent thereto.
  • the number of samples in the horizontal direction of the tiles 410, 440, and 470 is set to be the same.
  • the number of samples in the vertical direction is set to be the same.
  • the size of each tile to be displayed may be set in a terminal or a single bit stream generator 110 of multiple images to be displayed, and the size of each tile to be displayed may be set using a predetermined device such as a keyboard provided by the user. It may be.
  • the tile setting unit 240 receives information on the number of tiles and the size of each tile as specified above, and sets the number of displayed tiles and the size of each tile. .
  • the bit stream generator 230 receives selection information regarding the configuration of the tile and selects a screen configuration of the display picture including the selected n tiles.
  • the bit stream generator 230 arranges each individual video stream in units of I-frames, and then configures a screen of the display picture using each individual video in units of tiles. Alignment on an I-frame basis may be performed by the bit stream generator 230, or may be performed by a demuxer (not shown) of a channel connected to the image acquirer 210. The demux aligns the time frame with respect to the I frame, and then corrects the presentation time stamp (PTS) values of the video and audio with the System Time Clock (STC) -Program Clock Reference (PCR) value to compensate for each individual video and audio. Synchronize.
  • PTS presentation time stamp
  • the bit stream of each channel has the same GoP (Group of Picture) structure.
  • bit streams of each channel When sorting the bit streams of each channel, it is necessary to arrange the frames at the same position in the order of the GOP structure for all channels. For example, the bit streams of all channels are aligned based on I frames on the GOP, or when B frames exist, the B frames in the same order are arranged or the P frames in the same order are arranged.
  • I frames may be applied to the bit stream of all images for a predetermined time. If the I frame does not come even after waiting, I give up sorting by the I frame and try to arrange the P frame.
  • n frames are formed after discarding I frames from the bit stream of each image and acquiring and aligning P frames. Also in this case, the alignment may be made with respect to the P frame at the same position on the GoP structure.
  • the bit streams of all the channels may be aligned based on I frames of the same positions on the same GOP structure, or B of the same positions may be used. After the bit streams of all the channels are aligned based on the frames or the bit streams of all the channels are aligned based on the P frames at the same position, the merge bitstream is generated.
  • the image information extracting unit 220 displays predetermined specific image information.
  • an additional video stream of an image such as an advertisement, is received from an image server or receives an advertisement image stored in the single bit stream generator 110 of multiple images.
  • Image information including individual image codes and individual header information is extracted from the image data.
  • the bit stream generator 230 receives the image information including the individual image code and the individual header information of the corresponding advertisement image from the image information extracting unit 220 and generates a merged video stream so that the corresponding advertisement image is positioned at the tile 490 position. To be displayed on the screen.
  • the tile area may be a black screen (black image) so that a screen without a service is output.
  • the bit stream generator 230 may receive an encoded advertisement image or a black image, but uses an advertisement, black image data, or the like stored in the single bit stream generator 110 of the multiple image. Alternatively, black images may be encoded and provided according to a corresponding size. In addition, the bit stream generator 230 may request an image or a black image corresponding to the size from the image server.
  • the image information extracting unit 220 may generate an advertisement image having the number of horizontal and vertical samples corresponding to the size of the corresponding tile of the position to be displayed.
  • the image information extracting unit 220 may generate an advertisement image having the number of horizontal and vertical samples corresponding to the size of the corresponding tile of the position to be displayed.
  • a number displayed on each CTB inside a tile represents an order of decoding when a terminal 120, 130, 140 receives and decodes a merged video stream.
  • the bit stream generator 230 sequentially generates a bit stream of an image from a tile of a row positioned above the display image to a tile of a row positioned below the image.
  • the image Since the image is in the form of three rows and three columns, it includes nine tiles (410, 420, 430, 440, 450, 460, 470, 480, 490), and each tile (410, 420, 430, 440) in FIG. , 450, 460, 470, 480 and 490 are separated by a thick line.
  • the size of each tile 410, 420, 430, 440, 450, 460, 470, 480, 490 may be the same or different from each other.
  • Each tile 410, 420, 430, 440, 450, 460, 470, 480, 490 includes a plurality of coding tree blocks (CTBs), each tile 410, 420, 430, 440, 450, 460 , 470, 480, and 490 may include the same or different numbers of CTBs.
  • CTBs coding tree blocks
  • the first tile 410 is composed of a total of 12 CTBs, and the scanning order may be set as a number in each CTB. That is, the display scanning order may be set in the CTB order of 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11.
  • the tile and the CTB is set to a specific number, but is not limited to this may be set to various numbers of course.
  • the tiles (or CTB) in the row located in the upper part of the image may be set to be sequentially scanned from the tiles (or CTB) in the row located in the lower part of the image, the present invention is not limited thereto and may be set in various scanning orders.
  • the tiles may be decoded in parallel.
  • the terminals 120, 130, and 140 decode the merged video stream through such scanning to generate a display screen, wherein the size and aspect ratio of the input image are adapted so that the image displayed on the user terminal is suitable for the screen layout of the user terminal.
  • the tile setting unit 240 checks the size of the screen generated in the terminal (120, 130, 140) in advance to match the size of the tile to the size of the screen generated in the terminal (120, 130, 140) in advance.
  • the audio channel selector 250 receives first selection information for selecting an individual video stream from which a plurality of individual video streams are to be listened to and selects one of the plurality of individual video streams according to the received first selection information.
  • the audio stream corresponding to the individual video streams of the audio stream is transmitted to the audio decoder 280, and the audio decoder 280 decodes the received audio stream and outputs audio.
  • any one audio stream selected by the audio channel selector 250 may be transmitted to the bit stream generator 230 to be output in synchronization with the merged video stream.
  • the bit stream generator 230 outputs the received audio stream in synchronization with the merged video stream and transmits the same to the terminals 120, 130, and 140.
  • the synchronized video stream and the audio stream may be multiplexed and output by applying MPEG-2 TS or other multiplexing techniques, or header information of a format including the synchronized time information may be added to the video stream and the audio stream, respectively. have.
  • the apparatus for generating a single bit stream of multiple images 110 may include a channel selection input unit 260 and may further include the following functions.
  • the bit stream generator 230 receives the selection information on the image of the specific channel from the channel selection input unit 260 and generates a bit stream for the input image of the specific channel which the channel selection input unit 260 receives the selection input.
  • the channel selection input unit 260 transmits the selection information of the user input from the terminals 120, 130, and 140 or the selection information set in the single bit stream generation apparatus 110 of the multiple image to the bit stream generation unit 230.
  • the NAL unit includes a NAL header and a Raw Bytes Sequence Payload (RBSP).
  • RBSP Raw Bytes Sequence Payload
  • Table 1 shows syntax related to SPS headers.
  • Table 2 is a table illustrating syntax associated with a PPS header.
  • Table 3 shows the syntax related to the Slice header.
  • slice_deblocking_filter_disabled_flag ⁇ slice_beta_offset_div2 se (v) slice_tc_offset_div2 se (v) ⁇ ⁇ if (pps_loop_filter_across_slices_enabled_flag && (slice_sao_luma_flag
  • Table 4 is a table showing the data syntax of the general slice segment.
  • Non-VCL NAL unit is a unit of a network abstract layer (NAL).
  • the NAL header of the NAL unit consists of a Non-Video Coding Unit (Non-VCL) NAL unit and a VCL NAL unit.
  • Non-VCL NAL unit is NAL (VPS) which means Video Parameter Set (VPS) NAL, NAL (SPS) which means Sequence Parameter Set (SPS) NAL, NAL (PPS) which means Picture Parameter Set (PPS) NAL And NAL (SEI), which stands for Supplemental Enhancement Information (SEI) NAL.
  • the SPS includes ON / OFF information of the encoding tool, and the PPS includes information related to tiles.
  • the bit stream generator 230 modifies the SPS and PPS information of the NAL header and converts the information into a tile structure, thereby converting the single bit of the multiple image. Create a stream.
  • the VCL NAL unit may include a plurality of frames such as a first frame (Frame 1), a second frame (Frame 2), and the like. Each frame contains three consecutive NALs (VCLs).
  • Tiles_enabled_flag which is information set in the PPS, is information indicating whether a tile structure exists in a picture.
  • the size of each tile in the merge video stream is set using num_tile_columns_minus1, num_tile_rows_minus1, and uniform_spacing_flag.
  • num_tile_columns_minus1 indicates the number of tiles in the merge video stream
  • num_tile_rows_minus1 indicates the number of tiles in the merge video stream.
  • the uniform_spacing_flag is information indicating whether the tiles have the same size.
  • the size of the tiles can be checked by referring to the num_tile_columns_minus1 and num_tile_rows_minus1 information. If the tiles are not the same size, each size of the horizontal tile is set to column_width_minus1 [i], and each size of the tile is set to row_height_minus1 [i] vertically.
  • each individual video stream has constraints in order to be able to generate a merged video stream.
  • the individual video streams encoded under these constraints are merged together with several individual video streams together to produce a merged video stream, so that loop filtering does not occur at the tile boundary, thereby preventing deterioration of image quality at the tile boundary.
  • one tile corresponding to one individual video stream is configured as one slice.
  • one tile may include a plurality of slices.
  • the individual video streams are encoded so that the motion vectors do not refer to the padding portion beyond the range of the image in the respective video stream in the case of encoding in the motion vector coding mode such as Merge, Mergeskip, etc. in the prediction unit. Therefore, when the motion vector is calculated in a mode such as merge or merge, it is prevented to refer to the motion information across the tile boundary to determine the motion vector candidate.
  • the motion vector coding mode such as Merge, Mergeskip, etc.
  • the range of motion estimation is encoded so as not to exceed the padding portion. This also prevents the case of motion prediction crossing the tile boundary when decoding the merged video stream.
  • the individual video stream is a motion vector (Temporal) of another picture existing at the same position as the block of the prediction unit currently encoded at the time of encoding the motion vector in the prediction unit before being input to the single bit stream generator 110.
  • the information indicating that the motion vector) cannot be referred to is included in the individual header information. Therefore, when any one individual stream is predicted by referring to a temporal motion vector, a problem may occur in that it is necessary to wait for another picture later or buffer data more than necessary. Therefore, since the temporal motion vector is set not to be referenced, the possibility of delay for synchronizing each individual video stream is reduced, thereby preventing the decoding performance of the entire merged video stream.
  • the header information of the merged video stream the following information is modified differently from the header information of other individual video streams in generating SPS, PPS, and slice header information corresponding to the merged video stream.
  • pic_width_in_luma_samples and pic_width_in_luma_samples are changed to the size of the video screen to be merged to set the horizontal size and the vertical size of the merged video.
  • Table 5 compares the change in values of some NAL headers in individual video streams and merged video streams.
  • Table 5 shows the parameters set in the PPS.
  • each individual video stream is divided into CTU units so that they can be merged into tiles.
  • each individual video stream one slice is allocated to one individual video stream (one tile) constituting the merged video stream by including information in a separate header information that does not allow a tile structure to be received. It can also be set. Otherwise, a problem arises in that all bit streams of the video must be parsed in order to modify the values of end_of_slice_segment_flag and end_of_sub_stream_one_bit.
  • slice_segment_address the position of each slice with respect to the entire picture is reset.
  • the slice_segment_address of the slice in each tile is used as an address indicating an absolute position on the entire integrated image of the first CTU in the slice.
  • slice_segment_address the order of the first CTU of the slice included in each tile in the merged all pictures.
  • This order is the order of the corresponding CTU in the raster scan order in all the merged pictures.
  • num_entry_point_offsets which means an offset of tiles in a slice, is set to 0.
  • the image information extracting unit 220 converts a second byte string of a predetermined type from the individual video streams into a first byte string and then generates a merged video stream. For example, if four bytes of 00 00 03 00 to 00 00 03 03 are parsed with hexadecimal code in an individual video stream, the third byte 03 is removed and a preset three byte first byte string (e.g. 00 00 00 to 00 00 03).
  • the bit stream generator 230 scans the merge video stream in the process of generating the merge video stream, and when the first byte byte string (eg, 00 00 00) of 3 bytes is found, the hexa code 0x03 between the second and third bytes. Add to convert a 4 byte preset second byte string (eg 00 00 03 00) to output the merged video stream.
  • FIG. 5 is a schematic diagram illustrating a synchronization function of a multi-bit stream according to an embodiment of the present invention.
  • first to fourth cameras terminals, 511, 512, 513, and 514
  • bit stream generator 520 terminals, 511, 512, 513, and 514
  • user terminal 530 user terminals
  • Images A, B, C, and D of various views of the soccer field are provided through the first to fourth cameras 511, 512, 513, and 514, and the bit stream generator 520 is photographed.
  • Receiving an image may provide an image (A, B, C, D) integrated in the user terminal 530.
  • the bit stream generator 520 determines whether the number of video bit streams and group of picture (GoP) information (Closed GoP) output from the camera waiting to be input. Call setup by sharing encoding information such as the number of GoP, resolution, etc. in advance.
  • the bit stream generator 520 transmits the bit stream to the user terminal 530.
  • the bit stream generating apparatus 520 synchronizes the decoding to be decoded into the same frame by using the transmission time of the transmission standard, payload type information of the transport protocol indicating the characteristics of the frame, and GoP information.
  • the bit stream generator 520 fits the input image through buffering of each transmitted bit stream, or if some of the frames are not previously synchronized, some of the frames are not synchronized before the payload type exceeds the threshold delay value. You can synchronize by deleting it.
  • the bit stream generator 520 converts individual bit streams of each image transmitted through the first to fourth cameras 511, 512, 513, and 514 into a tile structure, and sizes an image corresponding to the individual bit streams. If both are the same, the individual images may be arranged in accordance with the size of the image of the terminal having twice the width and length to provide a single image.
  • bit stream generator 520 may generate a bit stream at a required resolution and adjust it to the size of the user terminal 530 when the resolution of the provided bit streams is possible.
  • a sequence of bit streams are mixed and a tile structure is provided so that several images can be decoded simultaneously according to the order and decoding structure of the image on the tile structure.
  • the image requesting unit 290 in the bit stream generating apparatus 520 When the resolution is required when merging a plurality of image bit streams in a tile structure, firstly, the image requesting unit 290 in the bit stream generating apparatus 520 generates an image server or an image having a size corresponding to the resolution. There is a method of receiving a request by a terminal to encode a desired display size of an image and to transmit it as a bit stream.
  • the image requesting unit 290 requests the image server or the image generating terminal for an image having a size similar to the size to be displayed.
  • the bit stream generating apparatus 520 generates and outputs a plurality of received bit streams as a merge bit stream, and resizes and outputs the image of each tile to a resolution having a desired size in a terminal that receives the merge bit stream. Can be used.
  • the nth frame of the first camera 511 is the first in the scanning order
  • the nth frame of the second camera 512 is the first in the scanning order
  • the nth frame of the second camera 512 is the first in the scanning order
  • the n of the third camera 513 is the first in the scanning order
  • Frame number n, frame n + 1 of fourth camera 514, frame n + 1 of first camera 511, frame n + 1 of second camera 512, n + 1 of third camera 513 The second frame may be mixed in the same form as the n + 1 frame of the fourth camera 514.
  • FIG. 6 is a block diagram illustrating a method of generating a single image bit stream of multiple images according to an embodiment of the present invention.
  • a channel selection input process of selecting individual images to be displayed (S610), information about the number of tiles displayed on one screen and the size of each tile
  • a tile setting process for setting the number of tiles and the size of each tile to be displayed by receiving the signal (S620), an image acquiring process for acquiring a plurality of individual video streams (S630), an individual image code and an individual from each obtained individual video stream
  • Channel selection input process S610
  • tile setting process S620
  • image acquisition process S630
  • image information extraction process S640
  • channel selection input unit 260 corresponds to the operation of the image information extracting unit 220
  • process of generating the merged video code S650
  • process of generating the merged video stream S660
  • FIG. 6 processes S610 to S640 are described as being sequentially executed, but this is merely illustrative of the technical idea of the exemplary embodiment of the present invention.
  • a person of ordinary skill in the art to which an embodiment of the present invention belongs may execute the process described in FIG. 6 by changing the order described in FIG. 6 without departing from the essential characteristics of the embodiment of the present invention. Since the above processes may be variously modified and modified to be executed in parallel, FIG. 6 is not limited to the time series order.
  • 110, 520 device for generating a single bit stream of multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수의 개별 비디오 스트림을 획득하는 영상 획득부; 상기 영상 획득부가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출부; 및 각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림을 지정된 위치에 대응하도록 재구성하여 병합 영상 코드를 생성하고 각 개별 헤더 정보를 이용하여 상기 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 상기 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 비트 스트림 생성부를 포함하는 단일 비트 스트림 생성장치 및 방법을 제공한다.

Description

다중 영상의 단일 비트 스트림 생성방법 및 생성장치
본 실시예는 다중 영상의 단일 비트 스트림 생성방법 및 생성장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
방송서비스에서는 채널별로 각각의 영상 콘텐츠를 전송할 수 있는데, 최근에는 4채널의 영상을 1채널로 시청할 수 있게 하는 멀티 채널 서비스가 제공되고 있다. 또한, 야구나 축구 등 운동 경기장에서 다각도로 찍는 영상을 사용자가 선택하여 볼 수 있게 하는 멀티 뷰 서비스가 제공되고 있으며, 영상 공유와 같이 여러 개의 영상을 한 번에 디스플레이하여 동시에 재생하는 것이 가능하다. 이러한 서비스는 각 채널의 비디오 비트 스트림을 각각 받아 사용자 단말기에서 따로 재생되도록 할 수도 있으나, 여러 채널의 비디오 영상을 수신하여 재생함에 있어 사용자 단말기에 할당된 자원이 충분하지 않으므로 대개 송신단에서 여러 채널의 영상을 믹싱하여(mixing) 1개의 채널로 전송되도록 한다.
또한, 비디오 컨퍼런스 콜(video conference call) 또는 영상 그룹 콜을 하는 경우에는 각 참여자의 영상의 전송받아 하드웨어 또는 소프트웨어 형태의 믹싱 장비를 이용하여 각각 사용자에게 적합한 영상으로 레이아웃한다. 그리고, 1개의 채널로 전송 가능하도록 인코딩 상태의 부호화 코드를 트랜스코딩(디코딩 후 다시 인코딩)을 한다. 예를 들어, 4명(A, B, C, D)의 사용자가 비디오 컨퍼런스 콜 및 영상 그룹 콜을 하는 경우, A는 자신의 영상을 제외한 B, C, D의 영상이 혼합된 1개의 영상을 수신하고, B는 자신의 영상을 제외한 A, C, D의 영상이 혼합된 1개의 영상을 수신한다. CCTV 관제시스템에서도 다중 영상을 하나의 화면에서 통합하여 모니터링할 수 있도록 각 카메라로부터 전달된 영상을 전달받아 하나의 화면으로 믹싱하여 활용되고 있다.
또한, 다중 채널의 입력 영상에 대한 비트 스트림의 비트 전송률을 조정하여 비트 스트림을 최적화하는 과정에서도 전체 영상 또는 특정 영상에 대한 ROI(Region of Interest)를 설정하여 인코딩/트랜스코딩할 수 있으나 ROI의 위치가 고정되어 있으며, ROI의 위치를 변경하여 트랜스코딩하는 경우에도 전체 영상에 대해 트랜스코딩을 해야 하는 문제점이 있다.
이와 같은 비디오 컨퍼런스 콜 또는 영상 그룹 콜의 경우에는 제공받은 영상의 인코딩 상태에서 디코딩한 후 다시 인코딩을 해야하는 트랜스 코딩이 필요하므로 영상의 품질이 저하될 가능성이 높아질 뿐만 아니라 트랜스 코딩을 수행함에 따라 코딩 시간이 지연되어 이에 따라 디스플레이 시간이 지연되는 문제점이 있다.
본 실시예는 다중 채널로 다수의 입력 영상에 의한 비트 스트림을 수신하는 경우 트랜스 코딩없이 다수의 비트 스트림 자체와 각 비트 스트림의 헤더를 표현하는 정보를 갱신하여 하나의 병합된 화면으로 제공할 수 있는비트 스트림을 생성하는 다중 영상의 단일 비트 스트림 생성방법 및 생성장치를 제공하는데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 복수의 개별 비디오 스트림을 획득하는 영상 획득부; 상기 영상 획득부가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출부; 및 각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림을 지정된 위치에 대응하도록 재구성하여 병합 영상 코드를 생성하고 각 개별 헤더 정보를 이용하여 상기 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 상기 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 비트 스트림 생성부를 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치를 제공한다.
본 실시예의 다른 측면에 의하면, 다중 영상의 단일 비트 스트림 생성장치를 이용한 단일 비트 스트림 생성방법에 있어서, 복수의 개별 비디오 스트림을 획득하는 영상획득 과정; 상기 영상 획득부가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출 과정; 각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림을 지정된 위치에 대응하도록 재구성하여 병합 영상 코드를 생성하는 과정; 및 각 개별 헤더 정보를 이용하여 상기 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 상기 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 과정을 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성방법을 제공한다.
이상에서 설명한 바와 같이, 본 실시예에 의하면, 다중 채널로 다수의 입력 영상에 의한 비트 스트림을 수신하는 경우 트랜스 코딩없이 다수의 비트 스트림 자체와 각 비트 스트림의 헤더를 표현하는 정보를 갱신하여 하나의 병합된 화면으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치가 네트워크를 통해 사용자 단말기들과 연결된 상태를 나타낸 개략도이다.
도 2는 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치의 블록도이다.
도 3은 3행 3열의 타일 구조로 분할된 디스플레이 영상의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 NAL 유닛의 구조를 나타낸 개략도이다.
도 5는 본 발명의 일 실시예에 따른 멀티 비트 스트림의 동기화 기능을 설명하기 위한 개략도이다.
도 6은 본 발명의 일 실시예에 따른 다중 영상의 단일 영상 비트 스트림 생성방법을 나타낸 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치가 네트워크를 통해 사용자 단말기들과 연결된 상태를 나타낸 개략도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치(110)는 네트워크를 통해 복수의 사용자 단말기(120, 130, 140)와 연결되어 있음을 알 수 있다.
다중 영상의 단일 비트 스트림 생성장치(110)는 제2 사용자 단말기(130)에서 촬영된 영상과 제3 사용자 단말기(140)에서 촬영된 영상을 제1 사용자 단말기(120)에서 동시에 디스플레이되도록 하고, 제1 사용자 단말기(120)에서 촬영된 영상과 제3 사용자 단말기(140)에서 촬영된 영상을 제2 사용자 단말기(130)에서 동시에 디스플레이되도록 한다. 그리고, 제1 사용자 단말기(120)에서 촬영된 영상과 제2 사용자 단말기(130)에서 촬영된 영상을 제3 사용자 단말기(140)에서 동시에 디스플레이되도록 한다. 여기서, 다중 영상의 단일 비트 스트림 생성장치(110)는 제1 사용자 단말기(120) 내지 제3 사용자 단말기(140) 중 어느 하나의 사용자 단말기에 나머지 다른 사용자 단말기로부터 입력된 영상의 비트 스트림을 트랜스 코딩이 없이 디스플레이되도록 한다.
제1 사용자 단말기(120) 내지 제3 사용자 단말기(140)는 개인용 컴퓨터(PC : Personal Computer), 노트북 컴퓨터, 테블릿, 개인 휴대 단말기(PDA : Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP : Portable Multimedia Player), 플레이스테이션 포터블 (PSP : PlayStation Portable), 무선통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV, 셋탑박스(Set-Top Box), 미디어 플레이어 등과 같은 사용자 단말기일 수 있다.
전술한 바와 같은 다중 영상의 단일 비트 스트림 생성장치(110)는 IPTV, 지상파, 케이블 TV, 사내방송 및 인터넷 방송 등에서 여러 대의 카메라 출력 또는 VoD 등으로 제공되는 복수의 영상의 비트 스트림들을 트랜스 코딩이 없이 한 화면에 디스플레이되도록 한다.
도 2는 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치의 블록도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 다중 영상의 단일 비트 스트림 생성장치는 영상 획득부(210), 영상정보 추출부(220), 비트 스트림 생성부(230), 타일 설정부(240), 오디오채널 선택부(250), 채널선택 입력부(260), 오디오 복호부(280) 및 영상 요청부(290)를 포함하여 구현될 수 있다. 실시예에 따라서는 영상 획득부(210), 영상정보 추출부(220), 비트 스트림 생성부(230), 타일 설정부(240), 오디오채널 선택부(250), 채널선택 입력부(260), 오디오 복호부(280) 및 영상 요청부(290) 중에서 일부 구성요소는 생략되거나 다른 구성요소를 추가하여 구현될 수도 있다.
영상 획득부(210)는 다중 채널을 통해 입력되는 복수의 개별 비디오 스트림을 획득한다. 복수의 개별 비디오 스트림은 각 영상을 부호화한 것으로서 각 개별 비디오 스트림의 단위 픽처는 하나 또는 그 이상의 슬라이스로 구성되며 각 슬라이스는 하나 또는 그 이상의 타일을 갖는 구조로 생성될 수 있다.
슬라이스 및 타일 구조는 복수 개의 코딩 블록(CTB: Coding Tree Block)을 포함하는 직사각형 형태의 구조이고, H.265 HEVC(High Efficiency Video Coding)의 인코딩(encoding)과 디코딩(decoding)을 하기 위한 데이터 구조이다. 각 타일 구조는 CTB의 행렬(matrix) 형태이다. 예를 들어, 어느 한 타일 구조는 CTB의 3×3 행렬 형태일 수 있으며, 이에 한정되지 않고 다양한 크기의 CTB 행렬일 수 있음은 물론이다.
영상정보 추출부(220)는 영상 획득부(210)가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 포함하는 영상정보를 추출한다. 개별 영상 코드는 실제 비디오 코딩 스트림(VCL: Video Coding Layer)을 가지는 NAL(Network Abstract Layer)을 의미하며, 개별 헤더 정보는, 예컨대, 슬라이스의 개수, 슬라이스 당 타일의 개수, 타일 각각의 크기, 픽처의 화소샘플의 갯수 등의 헤더 정보를 포함하는 NVCL(Non Video Coding layer)을 포함한다.
비트 스트림 생성부(230)는 단말기에 디스플레이되는 영상에 대한 설정된 레이아웃 형태와 영상정보 추출부(220)가 추출한 영상정보를 이용하여, 복수의 개별 비디오 스트림에 대한 동기화를 수행하여 하나의 비디오 스트림을 생성한다. 상세하게는, 비트 스트림 생성부(230)는 영상정보 추출부(220)가 추출한 각각의 개별 영상 코드를 이용하여 복수의 인코딩된 영상의 비트 스트림을 동기화하여 하나의 화면에 디스플레이될 수 있도록 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림에 대응되는 지정된 위치로 삽입하여 하나의 화면으로 디스플레이되는 병합 영상 코드를 생성한다.
비트 스트림 생성부(230)는 각 개별 헤더 정보를 이용하여 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성한다.
여기서, 생성된 병합 비디오 스트림은 하나의 디스플레이 픽처당 복수의 타일 구조로 구성됨을 지시하는 정보가 병합 헤더 정보에 포함된다. 또한, 병합 헤더 정보에는 픽처 내 타일의 가로 개수 및 세로 개수에 대한 정보와 각 타일의 가로 샘플의 수 및 세로 샘플의 수를 나타내는 정보가 포함된다. 각 개별 영상 코드가 기설정된 위치의 타일의 영상 코드로서 재구성된다.
도 3은 3행 3열의 타일 구조로 분할된 디스플레이 영상의 개략도이다.
하나의 병합된 비디오 스트림을 디스플레이하는 화면에 디스플레이되는 타일의 개수는 기설정된 개수로 지정될 수 있다. 이는 디스플레이하고자 하는 단말기에서 이미 설정된 숫자의 개별 비디오 화면을 디스플레이하도록 설정될 수 있으며, 다중 영상의 단일 비트 스트림 생성장치(110)에서 설정할 수도 있다. 또한, 하나의 병합된 비디오 스트림을 디스플레이하는 화면에 디스플레이되는 타일의 개수는 사용자가 선택하여 설정될 수 있다. 이 경우, 사용자는 소정의 선택장치를 사용하여 디스플레이될 개별 영상을 선택함으로써 해당 선택된 비디오 스트림이 하나의 화면에 디스플레이될 수 있다. 이러한 디스플레이될 개별 영상을 선택 기능은 채널선택 입력부(260)가 수행하여 비트 스트림 생성부(230)에게 전송할 수도 있다.
채널선택 입력부(260)는 가용 채널 중에서 한 화면에 디스플레이하고자 하는 채널을 n 개 선택하도록 한다.
도 3의 경우와 같이 하나의 디스플레이 화면에 가로로 3개, 세로로 3개의 타일이 설정될 수 있으며 각 타일은 CTB의 개수가 결정된다. 각 타일의 CTB의 개수는 개별 비디오 스트림에서 부호화된 CTB의 개수와 동일하게 결정된다.
도 3에서, 어느 하나의 타일의 폭 방향의 샘플 개수는 그에 세로로 인접하는 타일의 폭 방향의 샘플 개수와 같다. 또한, 어느 하나의 타일의 높이 방향의 샘플 개수는 그에 가로로 인접하는 타일의 높이 방향의 샘플 개수와 같다.
예컨대, 타일 410, 440, 470의 가로 방향의 샘플 개수는 같도록 설정된다. 또한, 타일 410, 420, 430에서 세로 방향의 샘플 개수는 같도록 설정된다. 이와 같이 설정됨으로써 HEVC의 타일 구조를 적용할 수 있다.
각 디스플레이할 타일의 크기는 디스플레이하고자 하는 단말기 또는 다중 영상의 단일 비트 스트림 생성장치(110)에서 설정할 수도 있으며, 사용자가 구비된 키보드 등의 소정의 선택장치를 이용하여 각 디스플레이할 타일의 크기를 설정할 수도 있다.
다중 영상의 단일 비트 스트림 생성장치(110)에서 타일 설정부(240)가 위와 같이 지정되는 타일의 개수 및 각 타일의 크기에 대한 정보를 수신하여 디스플레이되는 타일의 개수 및 각 타일의 크기를 설정한다.
비트 스트림 생성부(230)는 타일의 구성에 대한 선택정보를 수신하여 선택된 n 개의 타일을 포함하는 디스플레이 픽처의 화면 구성을 선택한다.
비트 스트림 생성부(230)는 n개의 타일을 구성함에 있어서, 각 개별 비디오 스트림에 대하여 I-프레임 단위로 정렬 후, 각 개별 비디오를 타일 단위로 하여 디스플레이 픽처의 화면을 구성한다. I-프레임 단위로 정렬은 비트 스트림 생성부(230)에서 이루어질 수도 있지만, 영상 획득부(210)로 연결된 채널의 디먹서(Demuxer, 도시하지 않음)에서 이루어질 수도 있다. 디먹서에서는 I 프레임을 기준으로 시간축으로 동일하게 정렬 후에, STC(System Time Clock)-PCR(Program Clock Reference)값으로 비디오 및 오디오의 PTS(Presentation Time Stamp) 값을 보정하여 각 개별 비디오 및 오디오를 동기화 한다.
각 채널의 비트 스트림은 같은 GoP(Group of Picture) 구조를 갖도록 한다.
각 채널의 비트 스트림을 정렬할 때는, 모든 채널에 대하여 GOP 구조의 순서 상 같은 위치의 프레임끼리 정렬하도록 한다. 예를 들면, GOP 상 I 프레임을 기준으로 모든 채널의 비트 스트림을 정렬하거나 B 프레임이 존재하는 경우에는 같은 순서 상의 B 프레임끼리 정렬하거나 또는 같은 순서 상의 P 프레임끼리 정렬하도록 한다.
비트 스트림 생성부(230), GoP 구조가 IPPP 구조(즉, 비트 스트림이 I 프레임 하나와 나머지는 연속된 P 프레임만으로 구성된 픽처 구조)일 경우에는 모든 영상의 비트 스트림에 대하여 일정 시간동안 I 프레임을 기다려도 I 프레임이 오지 않는 경우에는 I 프레임 단위로 정렬하는 것을 포기하고 P 프레임으로 정렬을 시도한다. P 프레임으로 정렬하고자 하는 경우에는 각 영상의 비트 스트림에서 I 프레임을 버리고 P 프레임을 획득하여 정렬시킨 후에 n 개의 타일을 형성한다. 이 경우에도 GoP 구조 상의 같은 위치의 P 프레임에 대하여 정렬하도록 할 수도 있다.
비트 스트림 생성부(230), 비트스트림의 GoP 구조가 일정한 구조로 반복되는 형태인 경우 같은 GOP 구조상의 서로 같은 위치의 I 프레임을 기준으로 모든 채널의 비트 스트림을 정렬하도록 하거나, 서로 같은 위치의 B 프레임을 기준으로 모든 채널의 비트 스트림을 정렬하도록 하거나, 서로 같은 위치의 P 프레임을 기준으로 모든 채널의 비트 스트림을 정렬하도록 한 후, 병합 비트스트림을 생성한다.
만일, n 개의 타일의 선택으로서 디스플레이할 화면 구성이 직사각형을 이루지 못하는 경우에, 예컨대, 타일 490에 대응되는 비디오 스트림이 선택되지 않은 경우, 영상정보 추출부(220)는 기설정된 특정 영상정보를 디스플레이 픽처의 특정 위치에 대응되는 타일에 대응하는 비디오 스트림으로서 추가로 영상 서버로부터 입력받거나 다중 영상의 단일 비트 스트림 생성장치(110)의 내부에 저장된 광고 영상을 입력 받아 해당 광고 등과 같은 영상의 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 포함하는 영상정보를 추출한다.
비트 스트림 생성부(230)는, 영상정보 추출부(220)로부터 해당 광고 영상에 대한 개별 영상 코드 및 개별 헤더 정보를 포함하는 영상정보를 수신하고 병합 비디오 스트림을 생성하여 해당 광고 영상이 타일 490 위치에 디스플레이되도록 한다. 경우에 따라서는 해당 타일 영역은 검은 화면(블랙 영상)으로서 서비스가 없는 화면이 출력되도록 할 수도 있다.
비트 스트림 생성부(230)는, 인코딩되어 있는 형태의 광고 영상 또는 블랙 영상을 수신할 수도 있으나, 다중 영상의 단일 비트 스트림 생성장치(110)의 내부에 저장된 광고, 블랙 영상 데이터 등을 이용하여 광고나 블랙 영상을 해당 사이즈에 맞게 인코딩하여 제공할 수도 있다. 또한, 비트 스트림 생성부(230)는 해당 사이즈에 맞는 광고 영상 또는 블랙 영상을 영상 서버에게 요청하여 영상 서버로부터 이를 수신할 수도 있다.
한편, 영상정보 추출부(220)는 단일 비트 스트림 생성장치(110)의 내부에 저장된 광고 영상을 입력받는 경우 디스플레이시킬 위치의 해당 타일의 크기에 대응되는 가로 및 세로의 샘플 개수를 갖는 광고 영상을 선택적으로 수신한다.
도 3을 참조하면, 타일의 내부의 각 CTB에 표시된 번호는 단말기(120, 130, 140)에서 병합 비디오 스트림을 수신하여 복호화하는 경우 복호화되는 순서를 나타낸다.
비트 스트림 생성부(230)는, 디스플레이 영상의 상부에 위치한 행의 타일부터 영상의 하부에 위치한 행의 타일까지 순차적으로 영상의 비트 스트림을 생성한다.
영상은 3행 3열의 형렬 형태이므로 총 9개의 타일(410, 420, 430, 440, 450, 460, 470, 480, 490)을 포함하며, 도 3에서 각각의 타일(410, 420, 430, 440, 450, 460, 470, 480, 490)은 굵은 선으로 구분되어 있다. 각각의 타일(410, 420, 430, 440, 450, 460, 470, 480, 490)의 크기는 서로 동일하거나 다를 수 있다.
각각의 타일(410, 420, 430, 440, 450, 460, 470, 480, 490)은 복수의 CTB (Coding Tree Block)를 포함하며, 각각의 타일(410, 420, 430, 440, 450, 460, 470, 480, 490)에 포함되는 CTB의 개수는 서로 동일하거나 다를 수 있다.
제1 타일(410)은 총 12개의 CTB로 구성되고, 그 스캐닝 순서는 각각의 CTB 내의 숫자와 같이 설정될 수 있다. 즉, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11의 CTB 순서로 디스플레이 스캐닝 순서가 설정될 수 있다.
전술한 바에 의하면, 타일 및 CTB가 특정한 개수로 설정되었으나, 이에 한정되지 않고 다양한 개수로 설정될 수 있음은 물론이다. 또한, 영상의 상부에 위치한 행의 타일(또는 CTB)부터 영상의 하부에 위치한 행의 타일(또는 CTB)까지 차례로 스캐닝되도록 설정될 수 있으나, 이에 한정되지 않고 다양한 스캐닝 순서로 설정될 수 있으며, 각 타일을 병렬로 복호화 처리될 수도 있음은 물론이다.
한편, 단말기(120, 130, 140)에서는 이러한 스캐닝을 거쳐 병합 비디오 스트림을 복호화하여 디스플레이 화면을 생성하는데, 이때 사용자 단말기에 디스플레이되는 영상이 사용자 단말기의 화면 배치에 적합하도록 입력 영상의 크기 및 화면비율이 조정될 수 있다. 이 경우, 타일 설정부(240)에서 단말기(120, 130, 140)에서 생성되는 화면의 크기를 미리 확인하여 해당 타일의 크기를 미리 단말기(120, 130, 140)에서 생성되는 화면의 크기에 맞추어 설정하는 방법도 있고, 병합된 비트 스트림을 디코딩 후, 디스플레이 하는 단말기 내부에서 사용자 단말기의 화면 배치에 적합하도록 각 타일에 대응되는 영상을 원하는 크기로 리사이징하여 디스플레이하는 방법도 있다.
오디오채널 선택부(250)는 복수의 개별 비디오 스트림 중에서 오디오 신호를 듣고자 하는 개별 비디오 스트림을 선택하는 제1 선택정보를 수신하여 수신된 제1 선택정보에 따라 복수의 개별 비디오 스트림 중에서 선택된 어느 하나의 개별 비디오 스트림에 대응하는 오디오 스트림을 오디오 복호부(280)로 전송하고, 오디오 복호부(280)는 수신한 오디오 스트림을 복호화하여 오디오를 출력한다. 경우에 따라서는 오디오 채널 선택부(250)에서 선택된 어느 하나의 오디오 스트림이 비트 스트림 생성부(230)로 전송되어 병합 비디오 스트림과 동기화되어 출력될 수도 있다.
비트 스트림 생성부(230)는 수신한 오디오 스트림을 병합 비디오 스트림과 동기화하여 출력하여 단말기(120, 130, 140)에게 전송한다. 이때, 동기화된 비디오 스트림과 오디오 스트림은 MPEG-2 TS나 기타 다중화 기술을 적용하여 다중화되어 출력 되거나, 동기화된 시간 정보를 포함하는 포맷의 헤더 정보가 비디오 스트림, 오디오 스트림 각각에 추가되어 출력될 수도 있다.
전술한 바와 같은 다중 영상의 단일 비트 스트림 생성장치(110)는 채널선택 입력부(260)를 포함할 수 있고, 다음과 같은 기능을 추가적으로 포함할 수 있다.
비트 스트림 생성부(230)는 채널선택 입력부(260)로부터 특정 채널의 영상에 대한 선택 정보를 받아 채널선택 입력부(260)가 선택 입력을 받은 특정 채널의 입력 영상에 대한 비트 스트림을 생성한다.
채널선택 입력부(260)는 단말기(120, 130, 140)에서 입력한 사용자의 선택정보 또는 다중 영상의 단일 비트 스트림 생성장치(110)에서 설정된 선택정보를 비트 스트림 생성부(230)로 전송한다.
도 4는 본 발명의 일 실시예에 따른 NAL 유닛의 구조를 나타낸 개략도이다. 참고로, 도 4에서의 화살표는 참조 관계를 나타낸다. 도 4를 참조하면, NAL 유닛은 NAL 헤더(header)와 RBSP(Raw Bytes Sequence Payload)로 구성된다.
표 1은 SPS 헤더와 관련된 신택스를 도시한 표이다.
표 1
seq_parameter_set_rbsp(　) { Descriptor
sps_video_parameter_set_id u(4)
sps_max_sub_layers_minus1 u(3)
sps_temporal_id_nesting_flag u(1)
profile_tier_level(　sps_max_sub_layers_minus1　)
sps_seq_parameter_set_id ue(v)
chroma_format_idc ue(v)
if( chroma_format_idc =　= 3 )
separate_colour_plane_flag u(1)
pic_width_in_luma_samples ue(v)
pic_height_in_luma_samples ue(v)
conformance_window_flag u(1)
if( conformance_window_flag ) {
conf_win_left_offset ue(v)
conf_win_right_offset ue(v)
conf_win_top_offset ue(v)
conf_win_bottom_offset ue(v)
}
bit_depth_luma_minus8 ue(v)
bit_depth_chroma_minus8 ue(v)
log2_max_pic_order_cnt_lsb_minus4 ue(v)
sps_sub_layer_ordering_info_present_flag u(1)
for( i = ( sps_sub_layer_ordering_info_present_flag ? 0 : sps_max_sub_layers_minus1 ); i <= sps_max_sub_layers_minus1; i++ ) {
sps_max_dec_pic_buffering_minus1[　i　] ue(v)
sps_max_num_reorder_pics[　i　] ue(v)
sps_max_latency_increase_plus1[　i　] ue(v)
}
log2_min_luma_coding_block_size_minus3 ue(v)
log2_diff_max_min_luma_coding_block_size ue(v)
log2_min_transform_block_size_minus2 ue(v)
log2_diff_max_min_transform_block_size ue(v)
max_transform_hierarchy_depth_inter ue(v)
max_transform_hierarchy_depth_intra ue(v)
scaling_list_enabled_flag u(1)
if( scaling_list_enabled_flag ) {
sps_scaling_list_data_present_flag u(1)
if( sps_scaling_list_data_present_flag )
scaling_list_data(　)
}
amp_enabled_flag u(1)
sample_adaptive_offset_enabled_flag u(1)
pcm_enabled_flag u(1)
if( pcm_enabled_flag ) {
pcm_sample_bit_depth_luma_minus1 u(4)
pcm_sample_bit_depth_chroma_minus1 u(4)
log2_min_pcm_luma_coding_block_size_minus3 ue(v)
log2_diff_max_min_pcm_luma_coding_block_size ue(v)
pcm_loop_filter_disabled_flag u(1)
}
num_short_term_ref_pic_sets ue(v)
for( i = 0; i < num_short_term_ref_pic_sets; i++)
short_term_ref_pic_set(　i　)
long_term_ref_pics_present_flag u(1)
if( long_term_ref_pics_present_flag ) {
num_long_term_ref_pics_sps ue(v)
for( i = 0; i < num_long_term_ref_pics_sps; i++ ) {
lt_ref_pic_poc_lsb_sps[　i　] u(v)
used_by_curr_pic_lt_sps_flag[　i　] u(1)
}
}
sps_temporal_mvp_enabled_flag u(1)
strong_intra_smoothing_enabled_flag u(1)
vui_parameters_present_flag u(1)
if( vui_parameters_present_flag )
vui_parameters(　)
sps_extension_present_flag u(1)
if( sps_extension_present_flag ) {
for( i = 0; i < 1; i++ )
sps_extension_flag[　i　] u(1)
sps_extension_7bits u(7)
if( sps_extension_flag[　0　] ) {
transform_skip_rotation_enabled_flag u(1)
transform_skip_context_enabled_flag u(1)
intra_block_copy_enabled_flag u(1)
implicit_rdpcm_enabled_flag u(1)
explicit_rdpcm_enabled_flag u(1)
extended_precision_processing_flag u(1)
intra_smoothing_disabled_flag u(1)
high_precision_offsets_enabled_flag u(1)
fast_rice_adaptation_enabled_flag u(1)
cabac_bypass_alignment_enabled_flag u(1)
}
if( sps_extension_7bits )
while( more_rbsp_data(　) )
sps_extension_data_flag u(1)
}
rbsp_trailing_bits(　)
}
표 2는 PPS 헤더와 관련된 신택스를 도시한 표이다.
표 2
pic_parameter_set_rbsp(　) { Descriptor
pps_pic_parameter_set_id ue(v)
pps_seq_parameter_set_id ue(v)
dependent_slice_segments_enabled_flag u(1)
output_flag_present_flag u(1)
num_extra_slice_header_bits u(3)
sign_data_hiding_enabled_flag u(1)
cabac_init_present_flag u(1)
num_ref_idx_l0_default_active_minus1 ue(v)
num_ref_idx_l1_default_active_minus1 ue(v)
init_qp_minus26 se(v)
constrained_intra_pred_flag u(1)
transform_skip_enabled_flag u(1)
cu_qp_delta_enabled_flag u(1)
if( cu_qp_delta_enabled_flag )
diff_cu_qp_delta_depth ue(v)
pps_cb_qp_offset se(v)
pps_cr_qp_offset se(v)
pps_slice_chroma_qp_offsets_present_flag u(1)
weighted_pred_flag u(1)
weighted_bipred_flag u(1)
transquant_bypass_enabled_flag u(1)
tiles_enabled_flag u(1)
entropy_coding_sync_enabled_flag u(1)
if( tiles_enabled_flag ) {
num_tile_columns_minus1 ue(v)
num_tile_rows_minus1 ue(v)
uniform_spacing_flag u(1)
if( !uniform_spacing_flag ) {
for( i = 0; i < num_tile_columns_minus1; i++ )
column_width_minus1[　i　] ue(v)
for( i = 0; i < num_tile_rows_minus1; i++ )
row_height_minus1[　i　] ue(v)
}
loop_filter_across_tiles_enabled_flag u(1)
}
pps_loop_filter_across_slices_enabled_flag u(1)
deblocking_filter_control_present_flag u(1)
if( deblocking_filter_control_present_flag ) {
deblocking_filter_override_enabled_flag u(1)
pps_deblocking_filter_disabled_flag u(1)
if( !pps_deblocking_filter_disabled_flag ) {
pps_beta_offset_div2 se(v)
pps_tc_offset_div2 se(v)
}
}
pps_scaling_list_data_present_flag u(1)
if( pps_scaling_list_data_present_flag )
scaling_list_data(　)
lists_modification_present_flag u(1)
log2_parallel_merge_level_minus2 ue(v)
slice_segment_header_extension_present_flag u(1)
pps_extension_present_flag u(1)
if( pps_extension_present_flag ) {
for( i = 0; i < 1; i++ )
pps_extension_flag[　i　] u(1)
pps_extension_7bits u(7)
}
if( pps_extension_flag[　0　] ) {
if( transform_skip_enabled_flag )
log2_max_transform_skip_block_size_minus2 ue(v)
cross_component_prediction_enabled_flag u(1)
chroma_qp_adjustment_enabled_flag u(1)
if( chroma_qp_adjustment_enabled_flag ) {
diff_cu_chroma_qp_adjustment_depth ue(v)
chroma_qp_adjustment_table_size_minus1 ue(v)
for( i = 0; i <= chroma_qp_adjustment_table_size_minus1; i++ ) {
cb_qp_adjustment[　i　] se(v)
cr_qp_adjustment[　i　] se(v)
}
}
log2_sao_offset_scale_luma ue(v)
log2_sao_offset_scale_chroma ue(v)
}
if( pps_extension_7bits )
while( more_rbsp_data(　) )
pps_extension_data_flag u(1)
rbsp_trailing_bits(　)
}
표 3은 Slice 헤더와 관련된 신택스를 도시한 표이다.
표 3
slice_segment_header(　) { Descriptor
first_slice_segment_in_pic_flag u(1)
if( nal_unit_type >= BLA_W_LP && nal_unit_type <= RSV_IRAP_VCL23 )
no_output_of_prior_pics_flag u(1)
slice_pic_parameter_set_id ue(v)
if( !first_slice_segment_in_pic_flag ) {
if( dependent_slice_segments_enabled_flag )
dependent_slice_segment_flag u(1)
slice_segment_address u(v)
}
if( !dependent_slice_segment_flag ) {
for( i = 0; i < num_extra_slice_header_bits; i++ )
slice_reserved_flag[　i　] u(1)
slice_type ue(v)
if( output_flag_present_flag )
pic_output_flag u(1)
if( separate_colour_plane_flag =　= 1 )
colour_plane_id u(2)
if( nal_unit_type != IDR_W_RADL && nal_unit_type != IDR_N_LP ) {
slice_pic_order_cnt_lsb u(v)
short_term_ref_pic_set_sps_flag u(1)
if( !short_term_ref_pic_set_sps_flag )
short_term_ref_pic_set(　num_short_term_ref_pic_sets　)
else if( num_short_term_ref_pic_sets > 1 )
short_term_ref_pic_set_idx u(v)
if( long_term_ref_pics_present_flag ) {
if( num_long_term_ref_pics_sps > 0 )
num_long_term_sps ue(v)
num_long_term_pics ue(v)
for( i = 0; i < num_long_term_sps + num_long_term_pics; i++ ) {
if( i < num_long_term_sps ) {
if( num_long_term_ref_pics_sps > 1 )
lt_idx_sps[　i　] u(v)
} else {
poc_lsb_lt[　i　] u(v)
used_by_curr_pic_lt_flag[　i　] u(1)
}
delta_poc_msb_present_flag[　i　] u(1)
if( delta_poc_msb_present_flag[　i　] )
delta_poc_msb_cycle_lt[　i　] ue(v)
}
}
if( sps_temporal_mvp_enabled_flag )
slice_temporal_mvp_enabled_flag u(1)
}
if( sample_adaptive_offset_enabled_flag ) {
slice_sao_luma_flag u(1)
if( ChromaArrayType != 0 )
slice_sao_chroma_flag u(1)
}
if( slice_type =　= P |　| slice_type =　= B ) {
num_ref_idx_active_override_flag u(1)
if( num_ref_idx_active_override_flag ) {
num_ref_idx_l0_active_minus1 ue(v)
if( slice_type =　= B )
num_ref_idx_l1_active_minus1 ue(v)
}
if( lists_modification_present_flag && NumPocTotalCurr > 1 )
ref_pic_lists_modification(　)
if( slice_type =　= B )
mvd_l1_zero_flag u(1)
if( cabac_init_present_flag )
cabac_init_flag u(1)
if( slice_temporal_mvp_enabled_flag ) {
if( slice_type =　= B )
collocated_from_l0_flag u(1)
if( ( collocated_from_l0_flag && num_ref_idx_l0_active_minus1 > 0 ) |　| ( !collocated_from_l0_flag && num_ref_idx_l1_active_minus1 > 0 ) )
collocated_ref_idx ue(v)
}
if( ( weighted_pred_flag && slice_type =　= P ) |　| ( weighted_bipred_flag && slice_type =　= B ) )
pred_weight_table(　)
five_minus_max_num_merge_cand ue(v)
}
slice_qp_delta se(v)
if( pps_slice_chroma_qp_offsets_present_flag ) {
slice_cb_qp_offset se(v)
slice_cr_qp_offset se(v)
}
if( chroma_qp_adjustment_enabled_flag )
slice_chroma_qp_adjustment_enabled_flag u(1)
if( deblocking_filter_override_enabled_flag )
deblocking_filter_override_flag u(1)
if( deblocking_filter_override_flag ) {
slice_deblocking_filter_disabled_flag u(1)
if( !slice_deblocking_filter_disabled_flag ) {
slice_beta_offset_div2 se(v)
slice_tc_offset_div2 se(v)
}
}
if(　pps_loop_filter_across_slices_enabled_flag && ( slice_sao_luma_flag |　| slice_sao_chroma_flag |　| !slice_deblocking_filter_disabled_flag ) )
slice_loop_filter_across_slices_enabled_flag u(1)
}
if( tiles_enabled_flag |　| entropy_coding_sync_enabled_flag ) {
num_entry_point_offsets ue(v)
if( num_entry_point_offsets > 0 ) {
offset_len_minus1 ue(v)
for( i = 0; i < num_entry_point_offsets; i++ )
entry_point_offset_minus1[　i　] u(v)
}
}
if( slice_segment_header_extension_present_flag ) {
slice_segment_header_extension_length ue(v)
for( i = 0; i < slice_segment_header_extension_length; i++)
slice_segment_header_extension_data_byte[　i　] u(8)
}
byte_alignment(　)
}
표 4는 General slice segment의 데이터 신택스를 도시한 표이다.
표 4
slice_segment_data(　) { Descriptor
do {
coding_tree_unit(　)
end_of_slice_segment_flag ae(v)
CtbAddrInTs++
CtbAddrInRs = CtbAddrTsToRs[　CtbAddrInTs　]
if( !end_of_slice_segment_flag && ( ( tiles_enabled_flag && TileId[　CtbAddrInTs　] != TileId[　CtbAddrInTs　-　1　] ) |　| ( entropy_coding_sync_enabled_flag && CtbAddrInTs % PicWidthInCtbsY =　= 0 ) ) ) {
end_of_sub_stream_one_bit /* equal to 1 */ ae(v)
byte_alignment(　)
}
} while( !end_of_slice_segment_flag )
}
인코딩된 개별 영상의 비트 스트림은 NAL(Network Abstract Layer)의 단위인 NAL 유닛(unit)에 전달된다. NAL 유닛의 NAL 헤더는 Non-VCL(Non-Video Coding Unit) NAL 유닛 및 VCL NAL 유닛으로 구성된다. Non-VCL NAL 유닛은 VPS(Video parameter Set) NAL을 의미하는 NAL(VPS), SPS(Sequence Parameter Set) NAL을 의미하는 NAL(SPS), PPS(Picture Parameter Set) NAL을 의미하는 NAL(PPS), 및 SEI (Supplemental Enhancement Information) NAL을 의미하는 NAL(SEI)로 구성된다. 특히, SPS는 인코딩 툴(tool)의 온/오프(ON/OFF) 정보를 포함하고, PPS는 타일과 관련된 정보를 포함한다. 본 발명의 일 실시예에서는 디코더(decoder)의 사양에 맞추어 영상처리되도록 하기 위해 비트 스트림 생성부(230)는 NAL 헤더의 SPS와 PPS의 정보 등을 수정하여 타일구조로 변환함으로써 다중 영상의 단일 비트 스트림을 생성한다.
VCL NAL 유닛은 제1 프레임(Frame 1), 제2 프레임(Frame 2) 등의 복수의 프레임을 포함할 수 있다. 각 프레임은 3개의 연속적인 NAL(VCL)을 포함한다.
병합 비디오 스트림에서 타일에 관한 정보는 PPS에 설정된다. 예컨대. PPS에 설정되는 정보인 tiles_enabled_flag는 타일 구조가 픽처 내에 존재하는지 여부를 나타내는 정보이다.
병합 비디오 스트림에서 각 타일의 크기는 num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag를 사용하여 설정된다.
num_tile_columns_minus1는 병합 비디오 스트림에서 타일의 가로 개수를 나타내며, num_tile_rows_minus1는 병합 비디오 스트림에서 타일의 세로 개수를 나타낸다. uniform_spacing_flag는 타일의 크기가 모두 동일한지 여부를 나타내는 정보이다.
타일의 크기가 모두 동일한 경우에는 num_tile_columns_minus1와 num_tile_rows_minus1 정보를 참조함으로써 타일의 사이즈를 확인할 수 있도록 한다. 타일의 크기가 동일하지 않은 경우에는 가로 타일의 각 사이즈를 column_width_minus1[i]에 설정하고 세로로 타일의 각 사이즈를 row_height_minus1[i]에 설정한다.
한편, 각 개별 비디오 스트림은 병합 비디오 스트림을 생성 가능하도록 하기 위하여 제약 조건을 갖는다.
예컨대, 모든 개별 비디오 스트림의 개별 헤더 정보에는 슬라이스의 경계를 가로질러 루프 필터링을 수행할 수 없음을 지시하는 정보(예컨대, loop_filter_across_tiles_enabled_flag=0)가 포함된다. 이러한 한정조건 하에서 인코딩된 개별 비디오 스트림은 여러 개의 개별 비디오 스트림과 함께 하나로 병합되어 병합 비디오 스트림을 생성하는 경우에 타일의 경계에서 루프 필터링이 발생하지 않으므로 타일 경계에서 화질이 열화되는 것을 방지한다. 이 경우 하나의 개별 비디오 스트림에 대응되는 하나의 타일은 하나의 슬라이스로 구성되도록 한다. 경우에 따라서 하나의 타일에는 복수의 슬라이스가 포함될 수도 있다.
개별 비디오 스트림은, 인코딩 시에 예측 단위에서 머지(Merge), Mergeskip 등의 움직임벡터 코딩 모드인 경우에 움직임벡터가 해당 개별 비디오 스트림에서 영상의 범위를 넘는 패딩 부분을 참조하지 않도록 인코딩된다. 따라서, 머지(Merge) 또는 Mergeskip 등의 모드로 움직임 벡터를 산출하는 경우, 움직임벡터 후보로 결정하기 위하여 타일 경계를 넘어서 움직임 정보를 참조하는 것을 방지한다.
또한, 인코딩 시에, 예측 단위의 움직임 추정시에 움직임 추정의 범위가 패딩 부분을 넘어가지 않도록 인코딩된다. 이 역시 병합 비디오 스트림을 복호화하는 경우 타일 경계를 넘어 움직임 예측을 하는 경우가 발생하지 않도록 방지한다.
또한, 개별 비디오 스트림은 단일 비트 스트림 생성장치(110)에 입력되기 전의 인코딩 과정에서, 예측 단위에서 움직임 벡터 부호화 시에 현재 부호화하는 예측 단위의 블록과 동일한 위치에 존재하는 다른 픽처의 움직임 벡터(Temporal 움직임 벡터)를 참조할 수 없음을 지시하는 정보가 개별 헤더 정보에 포함된다. 따라서, 어느 하나의 개별 스트림이 Temporal 움직임 벡터를 참조하여 예측을 하는 경우 이후의 다른 픽처를 기다리거나 데이터를 필요 이상으로 버퍼링해야 하는 문제가 발생할 수 있다. 따라서, Temporal 움직임 벡터가 참조되지 않도록 설정됨으로 인하여 각 개별 비디오 스트림을 동기화하기 위한 딜레이가 발생할 가능성을 줄여 전체 병합 비디오 스트림의 복호화 성능 저하를 방지한다.
병합 비디오 스트림의 헤더 정보는 병합 비디오 스트림에 대응되는 SPS, PPS, 슬라이스 헤더 정보 등을 생성함에 있어서 아래에 해당하는 정보들은 다른 개별 비디오 스트림의 헤더 정보들과는 다르게 수정한다.
SPS에는 pic_width_in_luma_samples 및 pic_width_in_luma_samples를 병합될 영상 화면의 사이즈로 변경하여, 병합 영상의 가로 사이즈 및 세로 사이즈를 설정한다.
표 5는 개별 비디오 스트림과 병합 비디오 스트림에서 일부 NAL 헤더에서 가지는 값의 변화를 비교하여 나타낸 것이다. 특히 표 5는 PPS에서 설정되는 파라미터를 나타낸 것이다.
표 5
Syntax 필드 변경 이전 값(개별 비디오 스트림) 변경 이후 값(병합 비디오 스트림)
tiles_enabled_flag 0 1
num_tile_columns_minus1 해당 사항 없음 종축 방향 타일 개수
num_tile_rows_minus1 해당 사항 없음 횡축 방향 타일 개수
loop_filter_across_tiles_enabled_flag 해당 사항 없음 0
한편, 각 개별 비디오 스트림은 CTU 단위로 분할되도록 하여 타일로 병합 가능하도록 한다.
각 개별 비디오 스트림에서는 타일 구조가 가능하지 않도록 하는 정보를 개별 헤더 정보에 포함시켜 인코딩된 정보가 수신되도록 함으로써, 병합 비디오 스트림을 구성하는 한 개의 개별 비디오 스트림(하나의 타일)에는 한 개의 슬라이스가 할당되도록 설정할 수도 있다. 그렇지 않은 경우, end_of_slice_segment_flag, end_of_sub_stream_one_bit의 값을 수정하기 위해서 영상의 비트 스트림(Bit stream)을 전부 파싱(Parsing)해야 하는 문제가 생긴다.
병합 비디오 스트림의 병합 헤더 정보에는 첫번째 슬라이스 헤더에만 픽처 내에서 첫째 슬라이스인지 여부를 나타내는 정보 first_slice_segment_in_pic_flag를 포함하고, 병합 비디오 스트림 상의 병합된 전체 픽처 내의 첫번째 슬라이스인 경우에는 first_slice_segment_in_pic_flag를 1로 설정하고, 나머지 슬라이스에 대해서는 첫째 슬라이스가 아니라는 의미로 first_slice_segment_in_pic_flag=0으로 설정한다. 또한, slice_segment_address를 설정함으로써 전체 픽처를 기준으로 한 각 슬라이스의 위치를 재설정해 준다. 각 타일 내의 슬라이스의 slice_segment_address는 슬라이스 내의 첫번째 CTU의 전체 통합 영상 상의 절대 위치를 나타내는 주소로 사용된다. 즉, 병합된 전체 픽처에서 각 타일에 포함된 슬라이스의 첫번째 CTU의 순서를 slice_segment_address로 설정한다. 이 순서는 병합된 전체 픽처에서 순차스캔(raster scan) 순서상 해당 CTU의 순서이다. 또한, 모든 슬라이스 헤더에는 슬라이스 내의 타일의 오프셋을 의미하는 num_entry_point_offsets을 0으로 설정한다.
영상 정보 추출부(220)는 개별 비디오 스트림을 파싱하면서 개별 비디오 스트림에서 기설정 타입의 제2 바이트 스트링이 파싱되는 경우 이를 제1 바이트 스트링으로 변환한 후 병합 비디오 스트림을 생성한다. 예컨대, 개별 비디오 스트림에서 헥사 코드로 네 바이트의 00 00 03 00 내지 00 00 03 03이 파싱되는 경우, 여기서 세번째 바이트인 03을 제거하고 기설정된 3 바이트의 제1 바이트 스트링(예컨대, 00 00 00 내지 00 00 03)으로 변환한다.
비트 스트림 생성부(230)는 병합 비디오 스트림을 생성하는 과정에서 병합 비디오 스트림을 스캔하여 3 바이트의 제1 코드 바이트 스트링(예컨대, 00 00 00)이 발견되는 경우 두번째와 세번째 바이트 사이에 헥사 코드 0x03을 추가하여 4 바이트의 기설정 제2 바이트 스트링(예컨대 00 00 03 00)으로 변환하여 병합 비디오 스트림을 출력한다.
도 5는 본 발명의 일 실시예에 따른 멀티 비트 스트림의 동기화 기능을 설명하기 위한 개략도이다. 도 5를 살펴보면, 제1 내지 제4 카메라(단말기, 511, 512, 513, 514), 비트 스트림 생성장치(520) 및 사용자 단말기(530)가 도시되어 있다.
제1 내지 제4 카메라(511, 512, 513, 514)를 통해 축구장의 다양한 뷰 (view)를 촬영한 영상(A, B, C, D)이 제공되며, 비트 스트림 생성장치(520)가 촬영한 영상을 받아 사용자 단말기(530)에 통합된 영상(A, B, C, D)을 제공할 수 있다.
사용자 단말기(530)가 특정한 채널을 선택하여 멀티 뷰 서비스를 요청하면, 비트 스트림 생성장치(520)는 입력 대기 중인 카메라에서 출력되는 영상 비트 스트림의 수와 GoP(Group of Picture) 정보(Closed GoP 여부, GoP 수, 해상도) 등의 인코딩 정보를 미리 공유하여 콜 셋업(call setup)한다. 그리고, 비트 스트림 생성장치(520)와 사용자 단말기(530) 사이의 콜 셋업이 완료되면, 비트 스트림 생성장치(520)는 사용자 단말기(530)에 비트 스트림을 전송한다. 비트 스트림 전송 전에, 비트 스트림 생성장치(520)는 전송규격의 전송시간, 프레임의 특성을 나타내는 전송 프로토콜의 페이로드 타입(payload type) 정보 및 GoP 정보를 이용하여 동일한 프레임으로 디코딩되도록 동기화한다. 비트 스트림 생성장치(520)는 전달된 각각의 비트 스트림의 버퍼링(buffering)을 거쳐 입력 영상에 맞추거나, 페이로드 타입이 임계 지연값을 초과하는 경우 앞서 동기화된 프레임이 아닌 프레임 중 일부 프레임을 일부 삭제하는 형태로 동기화할 수 있다.
비트 스트림 생성장치(520)는 제1 내지 제4 카메라(511, 512, 513, 514)를 통해 전달된 각각의 영상의 개별 비트 스트림들을 타일 구조로 변환하고, 개별 비트 스트림에 대응되는 영상의 크기가 모두 같은 경우 가로 및 세로가 2배인 단말기의 영상의 크기에 맞추어 개별 영상들을 나열하여 하나의 영상으로 제공할 수 있다.
또한, 비트 스트림 생성장치(520)는 제공받은 비트 스트림들의 해상도 조절(spatial scalability)이 가능한 경우 필요한 해상도로 비트 스트림을 생성하여 사용자 단말기(530)의 크기에 맞게 조절할 수 있다. 이를 위해 타일 구조 상의 영상의 순서 및 디코딩 구조에 따라 여러 개의 영상이 동시에 디코딩될 수 있도록 비트 스트림의 시퀀스(sequence)를 혼합하고, 타일 구조를 셋팅하여 제공한다.
타일 구조로 여러 영상 비트 스트림을 병합시에 해상도 조절이 필요한 경우, 첫번째 방법으로, 비트 스트림 생성장치(520) 내의 영상 요청부(290)가 해당 해상도에 대응하는 크기의 영상을 영상 서버 또는 영상 생성 단말기에게 요청하여 영상의 원하는 디스플레이 사이즈로 인코딩하여 비트 스트림으로 전송하도록 하여 이를 수신하는 방법이 있다.
두번째 방법으로는, 해당 크기의 영상이 영상 서버 또는 영상 생성 단말기에 준비되어 있지 않은 경우에는 영상 요청부(290)는 디스플레이 하고자 하는 크기와 유사한 크기의 영상을 영상 서버 또는 영상 생성 단말기에게 요청하여 각 타일에 대응하는 비트 스트림을 수신한다. 이때, 비트 스트림 생성장치(520)는 수신된 복수의 비트 스트림을 병합 비트스트림으로 생성하여 출력하고 병합 비트 스트림을 수신한 단말기에서 각 타일의 영상을 원하는 크기의 해상도로 리사이즈하여 출력하는 방법 등을 사용할 수 있다.
예를 들어, 제1 카메라(511)의 타일이 스캐닝 순서상 첫 번째이므로, 제1 카메라(511)의 n번 프레임, 제2 카메라(512)의 n번 프레임, 제3 카메라(513)의 n번 프레임, 제4 카메라(514)의 n번 프레임, 제1 카메라(511)의 n+1번 프레임, 제2 카메라(512)의 n+1번 프레임, 제3 카메라(513)의 n+1번 프레임, 제4 카메라(514)의 n+1번 프레임과 같은 형태로 혼합될 수 있다.
도 6은 본 발명의 일 실시예에 따른 다중 영상의 단일 영상 비트 스트림 생성방법을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 다중 영상의 단일 영상 비트 스트림 생성방법은, 디스플레이될 개별 영상을 선택하는 채널선택 입력과정(S610), 한 화면에 디스플레이되는 타일의 개수 및 각 타일의 크기에 대한 정보를 수신하여 디스플레이되는 타일의 개수 및 각 타일의 크기를 설정하는 타일 설정과정(S620), 복수의 개별 비디오 스트림을 획득하는 영상획득 과정(S630), 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출 과정(S640), 각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림에 대응되는 지정된 위치로 삽입하여 병합 영상 코드를 생성하는 과정(S650) 및 각 개별 헤더 정보를 이용하여 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 과정(S660)을 포함한다.
채널선택 입력과정(S610), 타일 설정과정(S620), 영상획득 과정(S630), 영상정보 추출 과정(S640)은 각각 채널선택 입력부(260), 타일 설정부(240), 영상 획득부(210), 영상정보 추출부(220)의 동작에 대응되고, 병합 영상 코드를 생성하는 과정(S650) 및 병합 비디오 스트림을 생성하는 과정(S660)은 비트 스트림 생성부(230)의 동작에 대응되므로 상세한 설명은 생략한다.
도 6에서는 과정 S610 내지 과정 S640을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 과정 S610 내지 과정 S640 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
(부호의 설명)
110, 520 : 다중 영상의 단일 비트 스트림 생성장치
120 : 제1 사용자 단말기
130 : 제2 사용자 단말기
140 : 제3 사용자 단말기
210 : 영상 획득부
220 : 영상정보 추출부
230 : 비트 스트림 생성부
240 : 타일 설정부
250 : 오디오채널 선택부
260 : 채널선택 입력부
280 : 오디오 복호부
290 : 영상 요청부
511 : 제1 카메라
512 : 제2 카메라
513 : 제3 카메라
514 : 제4 카메라
530 : 사용자 단말기
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2014년 01월 06일 한국에 출원한 특허출원번호 제 10-2014-0001447 호, 2014년 10월 29일 한국에 출원한 특허출원번호 제 10-2014-0147846 호에 대해 미국 특허법 119(a)조(35 U.S.C 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (14)

  1. 복수의 개별 비디오 스트림을 획득하는 영상 획득부;
    상기 영상 획득부가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출부; 및
    각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림을 지정된 위치에 대응하도록 재구성하여 병합 영상 코드를 생성하고 각 개별 헤더 정보를 이용하여 상기 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 상기 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 비트 스트림 생성부
    를 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  2. 제1항에 있어서,
    상기 다중 영상의 단일 비트 스트림 생성장치는, 제1 선택정보를 수신하여 상기 제1 선택정보에 따라 상기 복수의 개별 비디오 스트림 중에서 어느 하나의 개별 비디오 스트림에 대응하는 오디오 스트림을 복호화하는 오디오 복호부를 더 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  3. 제1항에 있어서,
    상기 병합 비디오 스트림은 복수의 타일로 구성됨을 지시하는 정보가 상기 병합 헤더 정보에 포함되는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  4. 제3항에 있어서,
    각 개별 영상 코드가 기설정된 위치의 타일에 따라 재구성되는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  5. 제3항에 있어서,
    슬라이스의 경계를 가로질러 루프 필터링을 수행할 수 없음을 지시하는 정보가 모든 개별 헤더 정보에 포함되는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  6. 제3항에 있어서,
    상기 타일은 하나 또는 복수의 슬라이스로 구성되는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  7. 제1항에 있어서,
    상기 개별 비디오 스트림을 파싱하여 상기 개별 비디오 스트림에서 기설정 형태의 바이트 스트링이 파싱되는 경우 이를 제1 바이트 스트링으로 변환한 후 상기 병합 비디오 스트림을 생성하고, 상기 병합 비디오 스트림을 스캔하여 상기 제1 바이트 스트링이 발견되는 경우 이를 상기 기설정 바이트 스트링으로 변환하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  8. 제1항에 있어서,
    예측 단위에서 움직임 벡터 부호화 시에 현재 부호화하는 예측 단위의 블록과 동일한 위치에 존재하는 다른 픽처의 움직임 벡터를 참조할 수 없음을 지시하는 정보가 상기 개별 헤더 정보에 포함되는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  9. 제3항에 있어서,
    상기 비트 스트림 생성부는, 사용자의 선택정보를 수신하여 각 타일의 크기를 결정하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  10. 제3항에 있어서,
    상기 비트 스트림 생성부는, 사용자의 선택정보를 수신하여 n 개의 타일을 포함하는 상기 디스플레이 픽처의 화면 구성을 선택하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  11. 제10항에 있어서, 상기 비트 스트림 생성부는,
    상기 n 개의 타일의 선택으로서 상기 화면 구성이 직사각형을 이루지 못하는 경우에는 기설정된 특정 영상정보를 상기 디스플레이 픽처의 특정 위치에 대응되는 타일에 대응하는 비디오 스트림으로서 입력받아 상기 화면 구성이 직사각형으로 형성되도록 하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  12. 제3항에 있어서,
    상기 어느 하나의 타일의 폭 방향의 샘플 개수가 세로로 인접하는 타일의 폭 방향의 샘플 개수와 같고, 상기 어느 하나의 타일의 높이 방향의 샘플 개수가 가로로 인접하는 타일의 높이 방향의 샘플 개수와 같은 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  13. 제3항에 있어서,
    상기 병합 헤더 정보에는 상기 레이아웃에서 가로로 배치된 타일의 개수를 나타내는 정보와 세로로 배치된 타일의 개수를 나타내는 정보를 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성장치.
  14. 다중 영상의 단일 비트 스트림 생성장치를 이용한 단일 비트 스트림 생성방법에 있어서,
    복수의 개별 비디오 스트림을 획득하는 영상획득 과정;
    상기 영상 획득부가 획득한 각 개별 비디오 스트림으로부터 개별 영상 코드 및 개별 헤더 정보를 추출하는 영상정보 추출 과정;
    각 개별 영상 코드를 디스플레이 픽처의 설정된 레이아웃 형태 내에서 해당 개별 비디오 스트림을 지정된 위치에 대응하도록 재구성하여 병합 영상 코드를 생성하는 과정; 및
    각 개별 헤더 정보를 이용하여 상기 병합 영상 코드에 대응되는 병합 헤더 정보를 생성하여 병합 영상 코드 및 상기 병합 헤더 정보를 포함하는 병합 비디오 스트림을 생성하는 과정
    을 포함하는 것을 특징으로 하는 다중 영상의 단일 비트 스트림 생성방법.
PCT/KR2015/000090 2014-01-06 2015-01-06 다중 영상의 단일 비트 스트림 생성방법 및 생성장치 WO2015102462A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580002579.8A CN105723719B (zh) 2014-01-06 2015-01-06 用于多个图像的单个比特流生成方法和生成设备
US15/163,644 US9749587B2 (en) 2014-01-06 2016-05-24 Method and apparatus for generating combined video stream for multiple images

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0001447 2014-01-06
KR20140001447 2014-01-06
KR1020140147846A KR102111436B1 (ko) 2014-01-06 2014-10-29 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
KR10-2014-0147846 2014-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/163,644 Continuation US9749587B2 (en) 2014-01-06 2016-05-24 Method and apparatus for generating combined video stream for multiple images

Publications (1)

Publication Number Publication Date
WO2015102462A1 true WO2015102462A1 (ko) 2015-07-09

Family

ID=53493723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000090 WO2015102462A1 (ko) 2014-01-06 2015-01-06 다중 영상의 단일 비트 스트림 생성방법 및 생성장치

Country Status (1)

Country Link
WO (1) WO2015102462A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010012645A (ko) * 1997-05-23 2001-02-26 크리트먼 어윈 엠 디지털 데이터 포맷 변환 및 비트 스트림 생성을 위한시스템
KR20020014770A (ko) * 2000-08-18 2002-02-25 가부시키가이샤 미디어 글루 코드화된 신호를 분리 및 합병하는 방법과 그 장치 및컴퓨터 프로그램 제품
KR20020026169A (ko) * 2000-03-31 2002-04-06 요트.게.아. 롤페즈 디지털 비디오 기록물 편집 방법 및 장치, 및 이 방법에의해 제조된 기록물
KR20050032113A (ko) * 2002-08-06 2005-04-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 역방향 적응을 사용하는 비디오 코딩을 위한 속도-왜곡최적화된 데이터 분할 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010012645A (ko) * 1997-05-23 2001-02-26 크리트먼 어윈 엠 디지털 데이터 포맷 변환 및 비트 스트림 생성을 위한시스템
KR20020026169A (ko) * 2000-03-31 2002-04-06 요트.게.아. 롤페즈 디지털 비디오 기록물 편집 방법 및 장치, 및 이 방법에의해 제조된 기록물
KR20020014770A (ko) * 2000-08-18 2002-02-25 가부시키가이샤 미디어 글루 코드화된 신호를 분리 및 합병하는 방법과 그 장치 및컴퓨터 프로그램 제품
KR20050032113A (ko) * 2002-08-06 2005-04-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 역방향 적응을 사용하는 비디오 코딩을 위한 속도-왜곡최적화된 데이터 분할 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102111436B1 (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
TWI437887B (zh) Ｍｐｅｇ－２系統上多視角視訊編碼
US9591318B2 (en) Multi-layer encoding and decoding
AU2015330809B2 (en) Operation point for carriage of layered HEVC bitstreams
CN101218827B (zh) 对包括图像序列和标识的视频内容进行编码的方法和设备
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
US20080317124A1 (en) Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
WO2012064123A2 (ko) 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR20160106097A (ko) Mpeg-2 시스템들에 의한 hevc 확장판 비트스트림들 및 버퍼 모델의 운반
US11973957B2 (en) Mixed NAL unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
KR101053161B1 (ko) Ｈ.264/ａｖｃ 압축 영역에서의 동영상 합성 방법 및 장치
WO2014107029A1 (ko) 비디오 신호 처리 방법 및 장치
US7020205B1 (en) Sending progressive video sequences suitable for MPEG and other data formats
WO2013085245A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015102462A1 (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
KR101096802B1 (ko) 비디오 스트림 혼합장치 및 그 방법
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
WO2014042459A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014168445A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15733175

Country of ref document: EP

Kind code of ref document: A1