[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102439339B1 - Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data - Google Patents

Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data Download PDF

Info

Publication number
KR102439339B1
KR102439339B1 KR1020210019968A KR20210019968A KR102439339B1 KR 102439339 B1 KR102439339 B1 KR 102439339B1 KR 1020210019968 A KR1020210019968 A KR 1020210019968A KR 20210019968 A KR20210019968 A KR 20210019968A KR 102439339 B1 KR102439339 B1 KR 102439339B1
Authority
KR
South Korea
Prior art keywords
multimedia data
information
audio signal
channel
speaker
Prior art date
Application number
KR1020210019968A
Other languages
Korean (ko)
Other versions
KR20210019479A (en
Inventor
이용주
서정일
강경옥
박태진
최근우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190150586A external-priority patent/KR102217997B1/en
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210019968A priority Critical patent/KR102439339B1/en
Publication of KR20210019479A publication Critical patent/KR20210019479A/en
Priority to KR1020220108450A priority patent/KR102631005B1/en
Application granted granted Critical
Publication of KR102439339B1 publication Critical patent/KR102439339B1/en
Priority to KR1020240011159A priority patent/KR20240015706A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법이 개시된다. 멀티미디어 데이터 생성 장치는 멀티채널 오디오 신호의 각 채널별 공간 정보를 식별하는 공간 정보 식별부; 및 상기 공간 정보를 포함하는 멀티미디어 데이터를 생성하는 멀티미디어 데이터 생성부를 포함할 수 있다. 멀티미디어 데이터 재생 장치는 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 각 채널별 공간 정보를 분석하는 공간 정보 분석부; 및 상기 공간 정보에 기초하여 멀티미디어 데이터를 재생하는 멀티미디어 데이터 재생부를 포함할 수 있다.Disclosed are an apparatus and method for generating multimedia data, and an apparatus and method for reproducing multimedia data. The multimedia data generating apparatus includes: a spatial information identification unit for identifying spatial information for each channel of a multi-channel audio signal; and a multimedia data generator for generating multimedia data including the spatial information. A multimedia data reproducing apparatus includes: a spatial information analyzer for analyzing spatial information for each channel of a multi-channel audio signal included in multimedia data; and a multimedia data reproducing unit that reproduces multimedia data based on the spatial information.

Description

멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법{APPARATUS AND METHOD FOR GENERATING MULTIMEDIA DATA, METHOD AND APPARATUS FOR PLAYING MULTIMEDIA DATA}Apparatus and method for generating multimedia data, apparatus and method for reproducing multimedia data

아래의 설명은 멀티채널 오디오 신호의 채널별 공간 정보를 포함하는 멀티미디어 데이터를 생성하는 멀티미디어 데이터 생성 장치 및 방법과 그 멀티미디어 데이터를 재생하는 멀티미디어 데이터 재생 장치 및 방법에 관한 것이다.The following description relates to a multimedia data generating apparatus and method for generating multimedia data including spatial information for each channel of a multi-channel audio signal, and a multimedia data reproducing apparatus and method for reproducing the multimedia data.

오디오 신호를 멀티채널로 구현하기 위해서는 오디오 콘텐츠가 몇 개의 신호로 만들어져 있는지, 어떤 채널을 공간 상의 어떤 위치에 배치해야 하는지에 관한 정보가 필요하다. 현재 5.1채널 오디오 신호는 총 6개의 신호가 0, +30, +110, +250, +330, null 도 위치에서 제작 및 재생되는 것을 기본 조건으로 하고 있다.In order to implement an audio signal as a multi-channel, information on how many signals are made of audio content and which channels are to be placed at which positions in space is required. The current 5.1-channel audio signal is based on the basic condition that a total of 6 signals are produced and reproduced at 0, +30, +110, +250, +330, and null.

UHDTV 기술이 개발되고, HDTV에서 제공하던 5.1채널보다 많은 스피커를 사용하면서 보다 사실감이 높은 오디오 재생 방식에 대한 연구가 크게 관심을 받고 있다. 그리고, 최근 멀티미디어 콘텐츠의 품질에 대한 요구가 증가하면서, 5.1 채널보다 7.1 채널, 10.2 채널, 13.2 채널 등의 멀티채널 오디오 콘텐츠를 포함하는 멀티미디어 콘텐츠의 사용이 점차 증가하고 있다.With the development of UHDTV technology and the use of more speakers than the 5.1 channels provided by HDTV, research on a more realistic audio reproduction method is receiving great attention. In addition, as the demand for the quality of multimedia content increases in recent years, the use of multimedia content including multi-channel audio content such as 7.1 channel, 10.2 channel, and 13.2 channel rather than 5.1 channel is gradually increasing.

또한, 멀티채널 오디오를 재생하기 위한 스피커 배치에 관한 논의도 활발해지고 있다. 동일한 개수의 스피커를 사용하더라도 공간상에서 스피커의 배치는 다양할 수 있다. 멀티채널 오디오 콘텐츠를 재생하는 경우, 스피커의 배치 구성에 따라 사용자에게 들리는 오디오가 달라질 수 있다. 따라서, 멀티채널 오디오 콘텐츠를 재생하는 경우에는 오디오 콘텐츠를 재생하기 위한 스피커의 배치 가 중요할 수 있다.In addition, discussions on speaker arrangement for reproducing multi-channel audio are becoming active. Even if the same number of speakers is used, the arrangement of the speakers in a space may vary. When multi-channel audio content is reproduced, audio heard by a user may vary depending on the arrangement of speakers. Therefore, in the case of playing multi-channel audio content, the arrangement of speakers for playing the audio content may be important.

현재 이용되는 멀티채널 오디오 포맷은 멀티채널 오디오 콘텐츠와 스피커 배치와 관련된 정보를 포함하고 있지 아니하여 멀티채널 오디오 콘텐츠를 재생하는데에 어려움이 있다. 따라서, 멀티채널 오디오 콘텐츠를 효과적으로 표현하고, 재생하기 위한 방안이 요구된다.The currently used multi-channel audio format does not include multi-channel audio content and information related to speaker arrangement, so it is difficult to reproduce multi-channel audio content. Accordingly, there is a need for a method for effectively representing and reproducing multi-channel audio content.

일실시예에 따른 멀티미디어 데이터 생성 장치는, 멀티채널 오디오 신호의 각 채널별 공간 정보를 식별하는 공간 정보 식별부; 및 상기 공간 정보를 포함하는 멀티미디어 데이터를 생성하는 멀티미디어 데이터 생성부를 포함할 수 있다.A multimedia data generating apparatus according to an embodiment includes: a spatial information identification unit for identifying spatial information for each channel of a multi-channel audio signal; and a multimedia data generator for generating multimedia data including the spatial information.

일실시예에 따른 멀티미디어 데이터 재생 장치는, 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 각 채널별 공간 정보를 분석하는 공간 정보 분석부; 및 상기 공간 정보에 기초하여 멀티미디어 데이터를 재생하는 멀티미디어 데이터 재생부를 포함할 수 있다.A multimedia data reproducing apparatus according to an embodiment includes: a spatial information analyzer for analyzing spatial information for each channel of a multi-channel audio signal included in multimedia data; and a multimedia data reproducing unit that reproduces multimedia data based on the spatial information.

일실시예에 따른 멀티미디어 데이터 생성 방법은, 멀티채널 오디오 신호의 각 채널별 공간 정보를 식별하는 단계; 및 상기 공간 정보를 포함하는 멀티미디어 데이터를 생성하는 단계를 포함할 수 있다.A method for generating multimedia data according to an embodiment includes: identifying spatial information for each channel of a multi-channel audio signal; and generating multimedia data including the spatial information.

일실시예에 따른 멀티미디어 데이터 재생 방법은, 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 각 채널별 공간 정보를 분석하는 단계; 및 상기 공간 정보에 기초하여 멀티미디어 데이터를 재생하는 단계를 포함할 수 있다.A method for reproducing multimedia data according to an embodiment includes analyzing spatial information for each channel of a multi-channel audio signal included in multimedia data; and reproducing multimedia data based on the spatial information.

도 1은 일실시예에 따른 멀티미디어 데이터를 생성하고, 재생하는 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 멀티미디어 데이터 생성 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 멀티미디어 데이터 재생 장치의 세부 구성을 도시한 도면이다.
도 4는 일실시예에 따른 멀티미디어 데이터의 구조의 일례를 도시한 도면이다.
도 5는 일실시예에 따른 멀티미디어 데이터 생성 방법의 동작을 도시한 흐름도이다.
도 6은 일실시예에 따른 멀티미디어 데이터 재생 방법의 동작을 도시한 흐름도이다.1 is a diagram for explaining an operation of generating and playing multimedia data according to an embodiment.
2 is a diagram illustrating a detailed configuration of an apparatus for generating multimedia data according to an embodiment.
3 is a diagram illustrating a detailed configuration of a multimedia data reproducing apparatus according to an exemplary embodiment.
4 is a diagram illustrating an example of a structure of multimedia data according to an embodiment.
5 is a flowchart illustrating an operation of a method for generating multimedia data according to an embodiment.
6 is a flowchart illustrating an operation of a method for reproducing multimedia data according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 멀티미디어 데이터 생성 방법은 멀티미디어 데이터 생성 장치에 의해 수행될 수 있으며, 멀티미디어 데이터 재생 방법은 멀티미디어 재생 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The specific structural and functional descriptions below are only exemplified for the purpose of describing embodiments of the invention, and should not be construed as limiting the scope of the invention to the embodiments described herein. The multimedia data generating method according to an embodiment may be performed by a multimedia data generating apparatus, and the multimedia data reproducing method may be performed by the multimedia reproducing apparatus. Like reference numerals in each figure indicate like elements.

도 1은 일실시예에 따른 멀티미디어 데이터를 생성하고, 재생하는 동작을 설명하기 위한 도면이다.1 is a diagram for explaining an operation of generating and playing multimedia data according to an embodiment.

멀티미디어 데이터 생성 장치(110)는 멀티채널 오디오(multi-channel audio) 신호를 포함하는 멀티미디어 데이터를 생성할 수 있다. 또는, 멀티미디어 데이터 생성 장치(110)는 멀티채널 오디오 신호의 재생 정보를 포함하는 멀티미디어 데이터를 생성할 수 있다.The multimedia data generating apparatus 110 may generate multimedia data including a multi-channel audio signal. Alternatively, the multimedia data generating apparatus 110 may generate multimedia data including reproduction information of a multi-channel audio signal.

예를 들어, 멀티미디어 데이터 생성 장치(110)는 멀티채널 오디오 신호가 공간 상에서 어떻게 재생되어야 하는지를 나타내는 공간 정보를 포함하는 멀티미디어 데이터를 생성할 수 있다. 공간 정보는 멀티채널 오디오 신호의 재생에 적합한 스피커 배치 정보를 포함할 수 있다. 공간 정보는 멀티미디어 데이터가 생성되거나 편집되는 과정 또는 부호화되는 과정에서 멀티미디어 데이터에 포함될 수 있다. 멀티미디어 데이터 생성 장치(110)는 공간 정보를 멀티미디어 데이터의 헤더(header) 정보에 저장할 수 있다.For example, the multimedia data generating apparatus 110 may generate multimedia data including spatial information indicating how a multi-channel audio signal should be reproduced in space. The spatial information may include speaker arrangement information suitable for reproduction of a multi-channel audio signal. Spatial information may be included in multimedia data in a process in which the multimedia data is generated or edited or is encoded. The multimedia data generating apparatus 110 may store spatial information in header information of multimedia data.

예를 들어, 10.2 채널의 멀티채널 오디오 신호의 경우, 멀티미디어 데이터 생성 장치(110)는 멀티미디어 데이터의 헤더 정보에 12개의 스피커들의 위치 정보를 포함하는 멀티미디어 데이터를 생성할 수 있다.For example, in the case of a 10.2-channel multi-channel audio signal, the multimedia data generating apparatus 110 may generate multimedia data including location information of 12 speakers in header information of the multimedia data.

멀티미디어 데이터 생성 장치(110)는 멀티미디어 데이터를 비트스트림의 형태로 생성할 수 있다. 비트스트림은 멀티미디어 데이터와 멀티미디어 데이터와 관련된 헤더 정보를 포함할 수 있다. 헤더 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 재생될 위치 정보와 멀티채널 오디오 신호의 각 채널별 오디오 신호에 매칭되는 스피커에 관한 정보인 스피커 매칭(matching) 정보를 포함할 수 있다.The multimedia data generating apparatus 110 may generate multimedia data in the form of a bitstream. The bitstream may include multimedia data and header information related to the multimedia data. The header information may include location information at which an audio signal for each channel of the multi-channel audio signal is to be reproduced and speaker matching information, which is information about a speaker matched with an audio signal for each channel of the multi-channel audio signal.

멀티미디어 데이터 재생 장치(120)는 멀티미디어 데이터 생성 장치(110)에 의해 생성된 멀티미디어 데이터를 재생할 수 있다. 멀티미디어 데이터 재생 장치(120)는 멀티미디어 데이터에 포함된 공간 정보를 분석하고, 분석된 공간 정보에 기초하여 멀티채널 오디오 신호를 재생할 수 있다.The multimedia data reproducing apparatus 120 may reproduce the multimedia data generated by the multimedia data generating apparatus 110 . The multimedia data reproducing apparatus 120 may analyze spatial information included in the multimedia data and reproduce a multi-channel audio signal based on the analyzed spatial information.

예를 들어, 멀티미디어 데이터 재생 장치(120)는 공간 정보에 포함된 스피커 배치 정보에 기초하여 멀티미디어 데이터를 재생할 수 있다. 멀티미디어 데이터 재생 장치(120)는 공간 정보에 기초하여 어느 스피커가 어느 채널의 오디오 신호를 출력해야 하는지를 결정할 수 있다. 멀티미디어 데이터 재생 장치(120)는 각각의 스피커에 대응되는 채널별 오디오 신호를 해당 스피커를 이용하여 출력할 수 있다.For example, the multimedia data reproducing apparatus 120 may reproduce the multimedia data based on speaker arrangement information included in the spatial information. The multimedia data reproducing apparatus 120 may determine which speaker should output an audio signal of which channel based on spatial information. The multimedia data reproducing apparatus 120 may output an audio signal for each channel corresponding to each speaker using the corresponding speaker.

멀티미디어 데이터 재생 장치(120)는 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 채널별 공간 정보를 이용함으로써, 멀티채널 오디오 신호를 효과적으로 재생할 수 있다.The multimedia data reproducing apparatus 120 may effectively reproduce the multi-channel audio signal by using spatial information for each channel of the multi-channel audio signal included in the multimedia data.

도 2는 일실시예에 따른 멀티미디어 데이터 생성 장치의 세부 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of an apparatus for generating multimedia data according to an embodiment.

도 2를 참조하면, 멀티미디어 데이터 생성 장치(210)는 공간 정보 식별부(220) 및 멀티미디어 데이터 생성부(230)를 포함할 수 있다.Referring to FIG. 2 , the multimedia data generating apparatus 210 may include a spatial information identifying unit 220 and a multimedia data generating unit 230 .

공간 정보 식별부(220)는 멀티채널 오디오 신호의 각 채널별 공간 정보를 식별할 수 있다. 예를 들어, 공간 정보 식별부(220)는 멀티채널 오디오 신호에서 채널별 스피커의 위치 정보 또는 채널과 스피커의 매칭 정보를 식별할 수 있다.The spatial information identification unit 220 may identify spatial information for each channel of the multi-channel audio signal. For example, the spatial information identification unit 220 may identify location information of a speaker for each channel or matching information between a channel and a speaker in the multi-channel audio signal.

공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호의 재생과 관련된 위치 정보를 포함할 수 있다. 예를 들어, 위치 정보는 멀티채널 오디오 신호가 재생되어야 하는 스피커들의 위치를 나타낼 수 있다. 구체적으로, 위치 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 위치의 스피커에서 재생되어야 하는지를 나타낼 수 있다.The spatial information may include location information related to reproduction of an audio signal for each channel of the multi-channel audio signal. For example, the location information may indicate locations of speakers from which a multi-channel audio signal should be reproduced. Specifically, the location information may indicate in which position the audio signal for each channel of the multi-channel audio signal is to be reproduced.

위치 정보는 3차원 좌표의 형태로 구성될 수 있다. 구체적으로, 위치 정보는 3차원 공간상의 x축, y축, z축을 기준으로 하는 3차원 좌표의 형태를 가질 수 있다. 예를 들어, 멀티미디어 데이터 재생 장치가 위치하는 지점, 사용자의 위치 및 수평면에 기초하여 기준 축을 설정하고, 기준 축에 기초하여 나머지 두 축을 설정할 수 있다. 위치 정보는 설정된 3개의 축에 기초하여 (3m, 4m, 5m) 등의 형태로 저장될 수 있다. 멀티미디어 데이터 생성부(230)는 각각의 오디오 채널에 대응되는 위치 정보를 멀티미디어 데이터의 헤더 정보에 저장할 수 있다.The location information may be configured in the form of three-dimensional coordinates. Specifically, the location information may have the form of three-dimensional coordinates based on the x-axis, y-axis, and z-axis in the three-dimensional space. For example, a reference axis may be set based on a point where the multimedia data reproducing apparatus is located, a user's position, and a horizontal plane, and the other two axes may be set based on the reference axis. The location information may be stored in the form of (3m, 4m, 5m) based on three set axes. The multimedia data generator 230 may store location information corresponding to each audio channel in header information of the multimedia data.

또한, 위치 정보는 수평 방위각 정보, 수직 방위각 정보 및 거리 정보 중 적어도 어느 하나로 구성될 수 있다. 예를 들어, 위치 정보는 (330도, 0도, 4m) 등의 형태로 저장될 수 있다. 이는 기준 점(예를 들어, 멀티미디어 데이터 재생 장치의 위치)으로부터 4m의 거리만큼 떨어지고, 수평 방위각이 330도, 수직 방위각이 0도인 위치에서 해당 위치 정보에 대응하는 채널의 오디오 신호가 재생되어야 함을 나타낸다.Also, the location information may include at least one of horizontal azimuth information, vertical azimuth information, and distance information. For example, the location information may be stored in the form of (330 degrees, 0 degrees, 4m). This means that the audio signal of the channel corresponding to the location information should be reproduced at a position of 4 m away from the reference point (for example, the location of the multimedia data reproducing device) and a horizontal azimuth of 330 degrees and a vertical azimuth of 0 degrees. indicates.

만약, 기준점을 중심으로 스피커들이 동일한 거리로 배치되어 있는 경우, 위치 정보는 수평 방위각 정보 및 수직 방위각 정보의 형태를 가질 수도 있다. 예를 들어, 위치 정보는 (330도, 0도) 등의 형태로 저장될 수 있다. 이는 해당 위치 정보에 대응되는 오디오 채널이 수평 방위각 330도, 수직 방위각 0도인 위치에서 재생되어야 한다는 것을 나타낸다. 또는, (330도, 0도)는 해당 오디오 채널에 대응되는 스피커가 수평 방위각 330도, 수직 방위각 0도의 위치에 배치되어야 한다는 것을 나타낼 수도 있다. 멀티미디어 데이터 생성부(230)는 사용자가 정면을 바라볼 때, 지면에 수평한 면을 기준으로 정면을 기준점인 0도로 설정하고, 시계방향을 (+) 방향으로 하여 수평 방위각 및 수직 방위각을 설정할 수 있다.If the speakers are arranged at the same distance from the reference point, the location information may have the form of horizontal azimuth information and vertical azimuth information. For example, the location information may be stored in the form of (330 degrees, 0 degrees). This indicates that the audio channel corresponding to the corresponding position information should be reproduced at a position of 330 degrees in a horizontal azimuth and 0 degrees in a vertical azimuth. Alternatively, (330 degrees, 0 degrees) may indicate that the speaker corresponding to the corresponding audio channel should be disposed at a position of 330 degrees in a horizontal azimuth and 0 degrees in a vertical azimuth. When the user looks at the front, the multimedia data generating unit 230 sets the front to 0 degrees as a reference point based on a plane horizontal to the ground, and sets the horizontal azimuth and the vertical azimuth by turning the clockwise (+) direction. have.

또한, 공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 스피커에 매칭되는지를 나타내는 스피커 매칭 정보를 포함할 수 있다. 예를 들어, 스피커 매칭 정보는 각 채널별 오디오 신호들이 각각의 스피커들과 일대일로 매칭되도록 설정하는 정보를 포함할 수 있다.In addition, the spatial information may include speaker matching information indicating which speaker the audio signal for each channel of the multi-channel audio signal is matched to. For example, the speaker matching information may include information for setting audio signals for each channel to be matched one-to-one with each speaker.

멀티미디어 데이터 생성부(230)는 멀티채널 오디오 신호의 각 채널별 공간 정보를 포함하는 멀티미디어 데이터를 생성할 수 있다. 멀티미디어 데이터 생성부(230)는 멀티미디어 데이터의 헤더 정보에 멀티채널 오디오 신호의 각 채널별 공간 정보를 저장할 수 있다.The multimedia data generator 230 may generate multimedia data including spatial information for each channel of the multi-channel audio signal. The multimedia data generator 230 may store spatial information for each channel of the multi-channel audio signal in header information of the multimedia data.

멀티미디어 데이터 생성부(230)에서 생성된 멀티미디어 데이터는 부호화되거나 또는 멀티플렉싱(multiplexing) 처리되어 멀티미디어 데이터 재생 장치에 제공될 수 있다.The multimedia data generated by the multimedia data generator 230 may be encoded or multiplexed and provided to the multimedia data reproducing apparatus.

도 3은 일실시예에 따른 멀티미디어 데이터 재생 장치의 세부 구성을 도시한 도면이다.3 is a diagram illustrating a detailed configuration of a multimedia data reproducing apparatus according to an exemplary embodiment.

도 3을 참조하면, 멀티미디어 데이터 재생 장치(310)는 공간 정보 분석부(320) 및 멀티미디어 데이터 재생부(330)를 포함할 수 있다.Referring to FIG. 3 , the multimedia data reproducing apparatus 310 may include a spatial information analyzing unit 320 and a multimedia data reproducing unit 330 .

공간 정보 분석부(320)는 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 각 채널별 공간 정보를 분석할 수 있다. 예를 들어, 공간 정보 분석부(320)는 멀티미디어 데이터의 헤더 정보에 존재하는 공간 정보를 분석하여 멀티채널 오디오 신호의 재생 정보를 획득할 수 있다. 공간 정보 분석부(320)는 공간 정보에서 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어떤 스피커 배치 환경에서 재생되어야 하는지를 나타내는 스피커 배치 정보를 추출할 수 있다.The spatial information analyzer 320 may analyze spatial information for each channel of the multi-channel audio signal included in the multimedia data. For example, the spatial information analyzer 320 may obtain reproduction information of a multi-channel audio signal by analyzing spatial information existing in header information of multimedia data. The spatial information analyzer 320 may extract speaker arrangement information indicating in which speaker arrangement environment the audio signal for each channel of the multi-channel audio signal should be reproduced from the spatial information.

공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호의 재생과 관련된 위치 정보를 포함할 수 있다. 위치 정보는 3차원 좌표의 형태로 구성될 수 있으며, 각각의 오디오 채널에 대응되는 위치 정보가 존재할 수 있다. 예를 들어, 위치 정보는 3차원 공간상의 x축, y축, z축을 기준으로 (1m, 0m, 4m) 등의 형태로 저장될 수 있다.The spatial information may include location information related to reproduction of an audio signal for each channel of the multi-channel audio signal. The location information may be configured in the form of three-dimensional coordinates, and location information corresponding to each audio channel may exist. For example, the location information may be stored in the form of (1m, 0m, 4m) based on the x-axis, y-axis, and z-axis in the 3D space.

또는, 위치 정보는 수평 방위각 정보, 수직 방위각 정보 및 거리 정보 중 적어도 어느 하나로 구성될 수 있다. 예를 들어, 위치 정보는 (180도, 20도, 3m) 등의 형태로 저장될 수 있다. 만약, 기준점을 중심으로 스피커들이 동일한 거리로 배치되어 있는 경우, 위치 정보는 수평 방위각 정보 및 수직 방위각 정보의 형태를 가질 수도 있다. 예를 들어, 위치 정보는 (270도, 30도) 등의 형태로 저장될 수 있다. 이는 해당 위치 정보에 대응되는 오디오 채널이 수평 방위각 270도, 수직 방위각 30도인 위치에서 재생되어야 한다는 것을 나타낸다. 또는, (270도, 30도)는 해당 오디오 채널에 대응되는 스피커가 수평 방위각 270도, 수직 방위각 30도인 위치에 배치되어야 한다는 것을 나타낼 수도 있다.Alternatively, the location information may include at least one of horizontal azimuth information, vertical azimuth information, and distance information. For example, the location information may be stored in the form of (180 degrees, 20 degrees, 3m) or the like. If the speakers are arranged at the same distance from the reference point, the location information may have the form of horizontal azimuth information and vertical azimuth information. For example, the location information may be stored in the form of (270 degrees, 30 degrees) or the like. This indicates that the audio channel corresponding to the corresponding position information should be reproduced at a position of 270 degrees in a horizontal azimuth and 30 degrees in a vertical azimuth. Alternatively, (270 degrees, 30 degrees) may indicate that a speaker corresponding to the corresponding audio channel should be disposed at a position of 270 degrees in a horizontal azimuth and 30 degrees in a vertical azimuth.

또한, 공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호와 각 스피커가 대응되도록 설정하는 스피커 매칭 정보를 포함할 수 있다. 공간 정보 분석부(320)는 공간 정보에 포함된 스피커 매칭 정보를 이용하여 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 스피커에서 재생되어야 하는지를 결정할 수 있다.In addition, the spatial information may include speaker matching information for setting each speaker to correspond to an audio signal for each channel of the multi-channel audio signal. The spatial information analyzer 320 may determine from which speaker an audio signal for each channel of the multi-channel audio signal should be reproduced by using speaker matching information included in the spatial information.

멀티미디어 데이터 재생부(330)는 공간 정보 분석부(320)에서 분석한 공간 정보에 기초하여 멀티미디어 데이터를 재생할 수 있다. 멀티미디어 데이터 재생부(330)는 멀티미디어 데이터를 디멀티플렉싱(demultiplexing)하거나 복호화할 수 있다.The multimedia data reproducing unit 330 may reproduce multimedia data based on the spatial information analyzed by the spatial information analyzing unit 320 . The multimedia data playback unit 330 may demultiplex or decode multimedia data.

멀티미디어 데이터 재생부(330)는 멀티미디어 데이터의 오디오 재생 환경에 기초하여 스피커 매칭 정보를 변경하고, 변경된 스피커 매칭 정보에 기초하여 멀티미디어 데이터를 재생할 수 있다. 예를 들어, 멀티미디어 데이터 재생부(330)는 실제 스피커의 배치 환경과 스피커 매칭 정보에 포함된 스피커의 배치 정보가 일치하지 않는 경우, 실제 스피커들의 위치와 스피커 매칭 정보에 포함된 스피커의 위치를 서로 대응되도록 스피커 매칭 정보를 변경할 수 있다. 예를 들어, 멀티미디어 데이터 재생부(330)는 스피커 매칭 정보에 포함된 각각의 스피커들의 위치에서 가장 가까운 거리에 있는 실제의 스피커를 각 채널의 오디오 신호에 대응되는 스피커로 설정할 수 있다.The multimedia data reproduction unit 330 may change speaker matching information based on an audio reproduction environment of the multimedia data, and reproduce multimedia data based on the changed speaker matching information. For example, when the arrangement environment of the actual speakers and the arrangement information of the speakers included in the speaker matching information do not match, the multimedia data reproducing unit 330 compares the positions of the actual speakers and the positions of the speakers included in the speaker matching information to each other. The speaker matching information can be changed to correspond to it. For example, the multimedia data reproducing unit 330 may set an actual speaker closest to the positions of the respective speakers included in the speaker matching information as the speaker corresponding to the audio signal of each channel.

멀티미디어 데이터 재생부(330)는 멀티미디어 데이터의 오디오 재생 환경에 기초하여 멀티채널 오디오 신호를 변환하여 재생할 수 있다. 예를 들어, 멀티미디어 데이터 재생부(330)는 재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호를 다운믹싱(down mixing)할 수 있다. 예를 들어, 5.1 채널까지의 오디오 콘텐츠를 재생할 수 있는 멀티미디어 데이터 재생 장치(310)가 10.1 채널의 오디오 콘텐츠를 포함하는 멀티미디어 데이터를 수신하는 경우, 멀티미디어 데이터 재생부(330)는 10.1 채널의 오디오 콘텐츠를 다운믹싱하여 5.1 채널의 오디오 콘텐츠로 변환할 수 있다. 멀티미디어 데이터 재생부(330)는 멀티채널의 오디오 신호에서 각 채널의 오디오 신호를 조합하는 방식을 통해 멀티채널의 오디오 신호를 다운믹싱할 수 있다.The multimedia data reproducing unit 330 may convert and reproduce a multi-channel audio signal based on an audio reproduction environment of the multimedia data. For example, when the number of reproducible audio channels is lower than the number of audio channels included in the multimedia data, the multimedia data reproducing unit 330 may downmix the multi-channel audio signal included in the multimedia data. can For example, when the multimedia data reproducing apparatus 310 capable of reproducing audio content of up to 5.1 channels receives multimedia data including audio content of 10.1 channels, the multimedia data reproducing unit 330 receives audio content of 10.1 channels. can be downmixed to convert to 5.1 channel audio content. The multimedia data reproducing unit 330 may downmix the multi-channel audio signal through a method of combining the audio signal of each channel from the multi-channel audio signal.

도 4는 일실시예에 따른 멀티미디어 데이터의 구조의 일례를 도시한 도면이다.4 is a diagram illustrating an example of a structure of multimedia data according to an embodiment.

멀티미디어 데이터는 멀티미디어 콘텐츠(420) 및 멀티미디어 콘텐츠(420)와 관련된 헤더 정보(410)를 포함할 수 있다. 또한, 멀티미디어 콘텐츠(420)는 멀티채널의 오디오 콘텐츠를 포함할 수 있고, 헤더 정보(410)에는 멀티채널의 오디오 콘텐츠와 관련된 정보가 포함될 수 있다.The multimedia data may include the multimedia content 420 and header information 410 related to the multimedia content 420 . Also, the multimedia content 420 may include multi-channel audio content, and the header information 410 may include information related to the multi-channel audio content.

오디오 콘텐츠에 관한 헤더 정보(410)는 오디오 채널의 개수, 오디오 채널의 이름, 오디오 샘플링률, 샘플당 비트 수, 비트율, 부호화 방법 등과 관련된 정보를 포함할 수 있다. 예를 들어, 멀티미디어 콘텐츠(420)에 포함된 오디오 콘텐츠가 10.2 채널인 경우, 오디오 채널의 개수 '12', 오디오 채널의 이름 ' L, R, C, LH, RH, LS, RS, LB, RB, TC, LFE1, LFE2', 비트율 '192kbps' 등의 정보가 헤더 정보(410)에 포함될 수 있다.The header information 410 about the audio content may include information related to the number of audio channels, the name of the audio channel, the audio sampling rate, the number of bits per sample, the bit rate, the encoding method, and the like. For example, if the audio content included in the multimedia content 420 is 10.2 channels, the number of audio channels '12' and the names of audio channels 'L, R, C, LH, RH, LS, RS, LB, RB' , TC, LFE1, LFE2', and the bit rate '192kbps' may be included in the header information 410 .

멀티미디어 데이터 생성 장치는 헤더 정보(410)에 멀티채널 오디오 신호의 각 채널별 공간 정보를 추가적으로 포함시킬 수 있다. 예를 들어, 멀티미디어 데이터 생성 장치가 생성한 헤더 정보(410)에는 는 오디오 채널별 스피커의 위치를 나타내는 정보(채널별 스피커의 위치 정보(430))와 오디오 채널과 매칭되는 스피커를 나타내는 정보(채널과 스피커의 매칭 정보(440))가 포함될 수 있다.The multimedia data generating apparatus may additionally include spatial information for each channel of the multi-channel audio signal in the header information 410 . For example, the header information 410 generated by the multimedia data generating apparatus includes information indicating the location of a speaker for each audio channel (location information 430 of a speaker for each channel) and information indicating a speaker matching the audio channel (channel). and matching information 440 of the speaker) may be included.

채널별 스피커의 위치 정보(430)는 멀티채널 오디오 신호의 각 채널별 오디오 신호의 위치 정보를 포함할 수 있다. 채널별 스피커의 위치 정보(430)는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 공간 상의 어느 위치에서 재생되어야 하는지를 나타낼 수 있다. 예를 들어, 채널별 스피커의 위치 정보(430)는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 위치의 스피커에서 재생되어야 하는지를 나타낼 수 있다. 채널별 스피커의 위치 정보(430)는 3차원 좌표, 수평 방위각, 수직 방위각 및 거리 정보 중 적어도 어느 하나의 형태로 구성될 수 있다. 예를 들어, 채널별 스피커의 위치 정보(430)는 수평 방위각 정보, 수직 방위각 정보 및 거리 정보로 구성될 수도 있다. 기준점을 중심으로 스피커들이 동일한 거리로 배치되어 있는 경우, 채널별 스피커의 위치 정보(430)는 수평 방위각 정보 및 수직 방위각 정보의 형태를 가질 수도 있다.The location information 430 of the speaker for each channel may include location information of the audio signal for each channel of the multi-channel audio signal. The location information 430 of the speaker for each channel may indicate at which location in space the audio signal for each channel of the multi-channel audio signal should be reproduced. For example, the location information 430 of the speaker for each channel may indicate at which location the speaker of the multi-channel audio signal should be reproduced for the audio signal for each channel. The location information 430 of the speaker for each channel may be configured in the form of at least one of three-dimensional coordinates, a horizontal azimuth, a vertical azimuth, and distance information. For example, the location information 430 of the speaker for each channel may include horizontal azimuth information, vertical azimuth information, and distance information. When the speakers are arranged at the same distance from the reference point, the location information 430 of the speaker for each channel may have the form of horizontal azimuth information and vertical azimuth information.

채널과 스피커의 매칭 정보(440)는 멀티채널 오디오 신호의 각 채널별 오디오 신호에 매칭되는 스피커 매칭 정보를 포함할 수 있다. 채널과 스피커의 매칭 정보(440)는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 스피커에 매칭되는지를 나타낼 수 있다. 예를 들어, 채널과 스피커의 매칭 정보(440)는 각 채널별 오디오 신호들이 각각의 스피커들과 일대일로 매칭되도록 설정하는 정보를 포함할 수 있다.The channel and speaker matching information 440 may include speaker matching information that matches the audio signal for each channel of the multi-channel audio signal. The channel-speaker matching information 440 may indicate to which speaker an audio signal for each channel of the multi-channel audio signal is matched. For example, the channel-speaker matching information 440 may include information for setting the audio signals for each channel to be matched one-to-one with the respective speakers.

멀티미디어 데이터 재생 장치는 멀티미디어 데이터에 포함된 헤더 정보(410)를 이용함으로써 최적의 스피커 배치 환경에서 멀티미디어 데이터를 재생할 수 있다. 멀티미디어 재생 장치는 채널별 스피커의 위치 정보(430) 또는 채널과 스피커의 매칭 정보(440)를 이용하여 각 채널별 오디오 신호가 공간 상의 어느 위치에서 재생되어야 하는지를 판단할 수 있고, 어느 위치의 스피커에서 각 채널별 오디오 신호가 재생되어야 하는지를 판단할 수 있다.The multimedia data reproducing apparatus may reproduce the multimedia data in an optimal speaker arrangement environment by using the header information 410 included in the multimedia data. The multimedia reproducing apparatus may determine at which position in space an audio signal for each channel should be reproduced using the location information 430 of the speaker for each channel or the matching information 440 between the channel and the speaker, and at which location the speaker is located. It may be determined whether an audio signal for each channel should be reproduced.

도 5는 일실시예에 따른 멀티미디어 데이터 생성 방법의 동작을 도시한 흐름도이다.5 is a flowchart illustrating an operation of a method for generating multimedia data according to an embodiment.

단계(510)에서, 멀티미디어 데이터 생성 장치는 멀티채널 오디오 신호의 각 채널별 공간 정보를 식별할 수 있다. 예를 들어, 멀티미디어 데이터 생성 장치는 멀티채널 오디오 신호에서 채널별 스피커의 위치 정보 또는 채널과 스피커의 매칭 정보를 식별할 수 있다.In operation 510, the multimedia data generating apparatus may identify spatial information for each channel of the multi-channel audio signal. For example, the multimedia data generating apparatus may identify location information of a speaker for each channel or matching information between a channel and a speaker in a multi-channel audio signal.

공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호의 재생과 관련된 위치 정보를 포함할 수 있다. 예를 들어, 위치 정보는 멀티채널 오디오 신호가 재생되어야 하는 스피커들의 위치를 나타낼 수 있다. 위치 정보는 3차원 좌표의 형태로 구성될 수 있다. 구체적으로, 위치 정보는 3차원 공간상의 x축, y축, z축을 기준으로 하는 3차원 좌표의 형태를 가질 수 있다. 또한, 위치 정보는 수평 방위각 정보, 수직 방위각 정보 및 거리 정보 중 적어도 어느 하나로 구성될 수 있다.The spatial information may include location information related to reproduction of an audio signal for each channel of the multi-channel audio signal. For example, the location information may indicate locations of speakers from which a multi-channel audio signal should be reproduced. The location information may be configured in the form of three-dimensional coordinates. Specifically, the location information may have the form of three-dimensional coordinates based on the x-axis, y-axis, and z-axis in the three-dimensional space. Also, the location information may include at least one of horizontal azimuth information, vertical azimuth information, and distance information.

또한, 공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호와 각 스피커가 대응되도록 설정하는 스피커 매칭 정보를 포함할 수 있다. 예를 들어, 스피커 매칭 정보는 각 채널별 오디오 신호들이 각각의 스피커들과 일대일로 매칭되도록 설정하는 정보를 포함할 수 있다.In addition, the spatial information may include speaker matching information for setting each speaker to correspond to an audio signal for each channel of the multi-channel audio signal. For example, the speaker matching information may include information for setting audio signals for each channel to be matched one-to-one with each speaker.

단계(520)에서, 멀티미디어 데이터 생성 장치는 멀티채널 오디오 신호의 각 채널별 공간 정보를 포함하는 멀티미디어 데이터를 생성할 수 있다. 멀티미디어 데이터 생성 장치는 멀티미디어 데이터의 헤더 정보에 멀티채널 오디오 신호의 각 채널별 공간 정보를 저장할 수 있다.In operation 520, the multimedia data generating apparatus may generate multimedia data including spatial information for each channel of the multi-channel audio signal. The multimedia data generating apparatus may store spatial information for each channel of the multi-channel audio signal in header information of the multimedia data.

멀티미디어 데이터 생성 장치는 비트스트림의 형태로 멀티미디어 데이터를 생성할 수 있다. 비트스트림은 멀티미디어 데이터와 멀티미디어 데이터와 관련된 헤더 정보를 포함할 수 있다. 헤더 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 재생될 위치 정보와 멀티채널 오디오 신호의 각 채널별 오디오 신호와 각 스피커가 대응되도록 설정하는 스피커 매칭 정보를 포함할 수 있다.The multimedia data generating apparatus may generate multimedia data in the form of a bitstream. The bitstream may include multimedia data and header information related to the multimedia data. The header information may include location information at which the audio signal for each channel of the multi-channel audio signal is to be reproduced and speaker matching information for setting the audio signal for each channel of the multi-channel audio signal to correspond to each speaker.

도 6은 일실시예에 따른 멀티미디어 데이터 재생 방법의 동작을 도시한 흐름도이다.6 is a flowchart illustrating an operation of a method for reproducing multimedia data according to an embodiment.

단계(610)에서, 멀티미디어 데이터 재생 장치는 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 각 채널별 공간 정보를 분석할 수 있다. 예를 들어, 멀티미디어 데이터 재생 장치는 멀티미디어 데이터의 헤더 정보에 존재하는 공간 정보를 분석하여 멀티채널 오디오 신호의 재생 정보를 획득할 수 있다. 멀티미디어 데이터 재생 장치는 공간 정보에서 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어떤 스피커 배치 환경에서 재생되어야 하는지를 나타내는 스피커 배치 정보를 추출할 수 있다.In operation 610, the multimedia data reproducing apparatus may analyze spatial information for each channel of the multi-channel audio signal included in the multimedia data. For example, the multimedia data reproducing apparatus may obtain reproduction information of a multi-channel audio signal by analyzing spatial information existing in header information of the multimedia data. The multimedia data reproducing apparatus may extract speaker arrangement information indicating in which speaker arrangement environment the audio signal for each channel of the multi-channel audio signal should be reproduced from the spatial information.

공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 공간 상의 어느 위치에서 재생되어야 하는지를 나타내는 위치 정보를 포함할 수 있다. 또한, 공간 정보는 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 스피커에 매칭되는지를 나타내는 스피커 매칭 정보를 포함할 수 있다. 멀티미디어 데이터 재생 장치는 공간 정보에 포함된 스피커 매칭 정보를 이용하여 멀티채널 오디오 신호의 각 채널별 오디오 신호가 어느 스피커에서 재생되어야 하는지를 판단할 수 있다.The spatial information may include position information indicating at which position in space the audio signal for each channel of the multi-channel audio signal should be reproduced. In addition, the spatial information may include speaker matching information indicating which speaker the audio signal for each channel of the multi-channel audio signal is matched to. The multimedia data reproducing apparatus may determine from which speaker an audio signal for each channel of the multi-channel audio signal should be reproduced by using speaker matching information included in the spatial information.

단계(620)에서, 멀티미디어 데이터 재생 장치는 단계(610)에서 분석한 공간 정보에 기초하여 멀티미디어 데이터를 재생할 수 있다. 멀티미디어 데이터 재생 장치는 멀티미디어 데이터를 디멀티플렉싱하거나 복호화할 수 있다.In step 620 , the multimedia data reproducing apparatus may reproduce multimedia data based on the spatial information analyzed in step 610 . The multimedia data reproducing apparatus may demultiplex or decode multimedia data.

멀티미디어 데이터 재생 장치는 오디오 재생 환경에 기초하여 스피커 매칭 정보를 변경하고, 변경된 스피커 매칭 정보에 기초하여 멀티미디어 데이터를 재생할 수 있다. 예를 들어, 멀티미디어 데이터 재생 장치는 실제 스피커의 배치 환경과 스피커 매칭 정보에 포함된 스피커의 배치 정보를 비교할 수 있다. 멀티미디어 데이터 재생 장치는 스피커의 배치 환경과 스피커 매칭 정보에 포함된 스피커의 배치 정보가 일치하지 않는 경우, 실제 스피커들의 위치와 스피커 매칭 정보에 포함된 스피커의 위치를 서로 대응되도록 스피커 매칭 정보를 변경할 수 있다. 예를 들어, 멀티미디어 데이터 재생 장치는 스피커 매칭 정보에 포함된 각각의 스피커들에서 가장 가까운 거리에 있는 실제의 스피커가 스피커 매칭 정보에 대응되는 스피커가 되도록 스피커 매칭 정보를 변경할 수 있다.The multimedia data reproducing apparatus may change speaker matching information based on an audio reproduction environment and reproduce multimedia data based on the changed speaker matching information. For example, the multimedia data reproducing apparatus may compare the actual speaker arrangement environment with the speaker arrangement information included in the speaker matching information. If the arrangement environment of the speaker and the arrangement information of the speaker included in the speaker matching information do not match, the multimedia data reproducing apparatus may change the speaker matching information so that the actual location of the speakers and the location of the speaker included in the speaker matching information correspond to each other. have. For example, the multimedia data reproducing apparatus may change the speaker matching information so that an actual speaker closest to each speaker included in the speaker matching information becomes a speaker corresponding to the speaker matching information.

멀티미디어 데이터 재생 장치는 멀티미디어 데이터의 오디오 재생 환경에 기초하여 멀티채널 오디오 신호를 변환하여 재생할 수 있다. 예를 들어, 멀티미디어 데이터 재생 장치는 재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호를 다운믹싱할 수 있다. 멀티미디어 데이터 재생 장치는 멀티채널의 오디오 신호에서 각 채널의 오디오 신호를 조합하는 방식을 통해 멀티채널의 오디오 신호를 다운믹싱할 수 있다.The multimedia data reproducing apparatus may convert and reproduce a multi-channel audio signal based on an audio reproduction environment of the multimedia data. For example, when the number of reproducible audio channels is lower than the number of audio channels included in the multimedia data, the multimedia data reproducing apparatus may downmix the multi-channel audio signal included in the multimedia data. The multimedia data reproducing apparatus may downmix the multi-channel audio signal through a method of combining the audio signal of each channel from the multi-channel audio signal.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

110: 멀티미디어 데이터 생성 장치
120: 멀티미디어 데이터 재생 장치110: multimedia data generating device
120: multimedia data playback device

Claims (15)

멀티채널 오디오 신호의 각 채널별 공간 정보를 식별하는 단계; 및
상기 공간 정보를 포함하는 멀티미디어 데이터를 생성하는 단계
를 포함하고,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 재생을 위한 스피커의 위치 정보 및 상기 멀티 채널 오디오 신호의 재생에 필요한 스피커 배치 정보 중 적어도 하나를 포함하고,
상기 멀티미디어 데이터는,
재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호가 다운믹싱되는 멀티미디어 데이터 생성 방법.identifying spatial information for each channel of a multi-channel audio signal; and
generating multimedia data including the spatial information;
including,
The spatial information is
At least one of location information of a speaker for reproduction of the multi-channel audio signal and speaker arrangement information required for reproduction of the multi-channel audio signal,
The multimedia data is
When the number of playable audio channels is lower than the number of audio channels included in the multimedia data, a multimedia data generating method in which an audio signal of a multi-channel included in the multimedia data is downmixed. 제1항에 있어서,
상기 공간 정보는,
상기 공간 정보는, 상기 멀티 채널 오디오 신호가 공간 상에서 어떻게 재생되어야 하는지를 나타내는 정보인 멀티미디어 데이터 생성 방법.According to claim 1,
The spatial information is
The spatial information is information indicating how the multi-channel audio signal should be reproduced in space. 삭제delete 제1항에 있어서,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 각 채널별 오디오 신호와 스피커가 대응되도록 설정하는 스피커 매칭 정보를 더 포함하는 멀티미디어 데이터 생성 방법.According to claim 1,
The spatial information is
The method of generating multimedia data further comprising speaker matching information for setting the audio signal for each channel of the multi-channel audio signal to correspond to a speaker. 제1항에 있어서,
상기 위치 정보는,
수평 방위각 정보, 수직 방위각 정보 및 거리 정보 중 적어도 어느 하나로 구성되는 멀티미디어 데이터 생성 방법.According to claim 1,
The location information is
A method of generating multimedia data comprising at least one of horizontal azimuth information, vertical azimuth information, and distance information. 멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 공간 정보를 추출하는 단계; 및
상기 공간 정보에 기초하여 멀티미디어 데이터를 재생하는 단계
를 포함하고,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 재생을 위한 스피커의 위치 정보 및 상기 멀티 채널 오디오 신호의 재생에 필요한 스피커 배치 정보 중 적어도 하나를 포함하고,
재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호가 다운믹싱되는 멀티미디어 데이터 재생 방법.extracting spatial information of a multi-channel audio signal included in the multimedia data; and
Reproducing multimedia data based on the spatial information
including,
The spatial information is
At least one of location information of a speaker for reproduction of the multi-channel audio signal and speaker arrangement information required for reproduction of the multi-channel audio signal,
When the number of reproducible audio channels is lower than the number of audio channels included in the multimedia data, a multimedia data reproduction method in which multi-channel audio signals included in the multimedia data are downmixed. 제6항에 있어서,
상기 공간 정보는,
상기 공간 정보는, 상기 멀티 채널 오디오 신호가 공간 상에서 어떻게 재생되어야 하는지를 나타내는 정보인 멀티미디어 데이터 재생 방법.7. The method of claim 6,
The spatial information is
The spatial information is information indicating how the multi-channel audio signal should be reproduced in space. 삭제delete 제6항에 있어서,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 각 채널별 오디오 신호와 스피커가 대응되도록 설정하는 스피커 매칭 정보를 더 포함하는 멀티미디어 데이터 재생 방법.7. The method of claim 6,
The spatial information is
The multimedia data reproduction method further comprising speaker matching information for setting a speaker to correspond to an audio signal for each channel of the multi-channel audio signal. 제6항에 있어서,
상기 위치 정보는,
수평 방위각 정보, 수직 방위각 정보 및 거리 정보 중 적어도 어느 하나로 구성되는 멀티미디어 데이터 재생 방법.7. The method of claim 6,
The location information is
A multimedia data reproduction method comprising at least one of horizontal azimuth information, vertical azimuth information, and distance information. 제6항에 있어서,
상기 멀티미디어 데이터를 재생하는 단계는,
상기 멀티 채널 오디오 신호의 오디오 재생 환경에 기초하여 스피커 매칭 정보를 변경하고, 상기 스피커 매칭 정보에 기초하여 멀티미디어 데이터를 재생하는 멀티미디어 데이터 재생 방법.7. The method of claim 6,
The step of playing the multimedia data comprises:
A multimedia data reproduction method for changing speaker matching information based on an audio reproduction environment of the multi-channel audio signal, and reproducing multimedia data based on the speaker matching information. 제6항에 있어서,
상기 멀티미디어 데이터를 재생하는 단계는,
상기 멀티미디어 데이터를 재생하는 멀티미디어 데이터 재생 장치의 오디오 재생 환경에 기초하여 상기 멀티채널 오디오 신호를 변환하여 재생하는 멀티미디어 데이터 재생 방법.7. The method of claim 6,
The step of playing the multimedia data comprises:
A multimedia data reproduction method for converting and playing the multi-channel audio signal based on an audio reproduction environment of a multimedia data reproducing apparatus that reproduces the multimedia data. 멀티미디어 데이터가 기록된 기록 매체에 있어서,
상기 멀티미디어 데이터는, 멀티 채널 오디오 신호 및 상기 멀티 채널 오디오 신호의 공간 정보를 포함하고,
상기 멀티 채널 오디오 신호의 재생을 위한 스피커의 위치 정보, 상기 멀티 채널 오디오 신호의 재생에 필요한 스피커 배치 정보 및 상기 멀티 채널 오디오 신호의 각 채널별 오디오 신호와 스피커가 대응되도록 설정하는 스피커 매칭 정보 중 적어도 하나를 포함하고,
재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호가 다운믹싱되는 기록 매체.In the recording medium on which multimedia data is recorded,
The multimedia data includes a multi-channel audio signal and spatial information of the multi-channel audio signal,
At least among the location information of a speaker for reproduction of the multi-channel audio signal, speaker arrangement information required for reproduction of the multi-channel audio signal, and speaker matching information for setting the audio signal for each channel of the multi-channel audio signal to correspond to a speaker including one,
A recording medium in which multi-channel audio signals included in multimedia data are downmixed when the number of reproducible audio channels is lower than the number of audio channels included in multimedia data. 멀티미디어 데이터 생성 방법을 수행하는 멀티미디어 데이터 생성 장치에 있어서,
상기 멀티미디어 데이터 생성 장치는, 프로세서를 포함하고,
상기 프로세서는,
멀티채널 오디오 신호의 각 채널별 공간 정보를 식별하고, 상기 공간 정보를 포함하는 멀티미디어 데이터를 생성하고,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 재생을 위한 스피커의 위치 정보 및 상기 멀티 채널 오디오 신호의 재생에 필요한 스피커 배치 정보 중 적어도 하나를 포함하고,
재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호가 다운믹싱되는 멀티미디어 데이터 생성 장치.A multimedia data generating apparatus for performing a multimedia data generating method, comprising:
The multimedia data generating device includes a processor,
The processor is
Identifies spatial information for each channel of a multi-channel audio signal, and generates multimedia data including the spatial information;
The spatial information is
At least one of location information of a speaker for reproduction of the multi-channel audio signal and speaker arrangement information required for reproduction of the multi-channel audio signal,
A multimedia data generating apparatus for downmixing multi-channel audio signals included in multimedia data when the number of reproducible audio channels is lower than the number of audio channels included in multimedia data. 멀티미디어 데이터 재생 방법을 수행하는 멀티미디어 데이터 재생 장치에 있어서,
상기 멀티미디어 데이터 생성 장치는, 프로세서를 포함하고,
멀티미디어 데이터에 포함된 멀티채널 오디오 신호의 공간 정보를 추출하고,
상기 공간 정보에 기초하여 멀티미디어 데이터를 재생하고,
상기 공간 정보는,
상기 멀티 채널 오디오 신호의 재생을 위한 스피커의 위치 정보 및 상기 멀티 채널 오디오 신호의 재생에 필요한 스피커 배치 정보 중 적어도 하나를 포함하고,
재생 가능한 오디오 채널의 개수가 멀티미디어 데이터에 포함된 오디오 채널의 개수 보다 낮을 경우, 멀티미디어 데이터에 포함된 멀티채널의 오디오 신호가 다운믹싱되는 멀티미디어 데이터 재생 장치.A multimedia data reproducing apparatus for performing a multimedia data reproducing method, comprising:
The multimedia data generating device includes a processor,
Extracting spatial information of a multi-channel audio signal included in multimedia data,
Playing multimedia data based on the spatial information,
The spatial information is
At least one of location information of a speaker for reproduction of the multi-channel audio signal and speaker arrangement information required for reproduction of the multi-channel audio signal,
A multimedia data reproducing apparatus for downmixing multi-channel audio signals included in multimedia data when the number of reproducible audio channels is lower than the number of audio channels included in multimedia data.
KR1020210019968A 2019-11-21 2021-02-15 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data KR102439339B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210019968A KR102439339B1 (en) 2019-11-21 2021-02-15 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR1020220108450A KR102631005B1 (en) 2021-02-15 2022-08-29 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR1020240011159A KR20240015706A (en) 2021-02-15 2024-01-24 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190150586A KR102217997B1 (en) 2019-11-21 2019-11-21 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR1020210019968A KR102439339B1 (en) 2019-11-21 2021-02-15 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150586A Division KR102217997B1 (en) 2019-11-21 2019-11-21 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220108450A Division KR102631005B1 (en) 2021-02-15 2022-08-29 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data

Publications (2)

Publication Number Publication Date
KR20210019479A KR20210019479A (en) 2021-02-22
KR102439339B1 true KR102439339B1 (en) 2022-09-02

Family

ID=83281251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210019968A KR102439339B1 (en) 2019-11-21 2021-02-15 Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data

Country Status (1)

Country Link
KR (1) KR102439339B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1019349S1 (en) * 2022-06-28 2024-03-26 Qbic Technology Co., Ltd. Support frame

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542129B1 (en) * 2002-10-28 2006-01-11 한국전자통신연구원 Object-based three dimensional audio system and control method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100062784A (en) * 2008-12-02 2010-06-10 한국전자통신연구원 Apparatus for generating and playing object based audio contents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542129B1 (en) * 2002-10-28 2006-01-11 한국전자통신연구원 Object-based three dimensional audio system and control method

Also Published As

Publication number Publication date
KR20210019479A (en) 2021-02-22

Similar Documents

Publication Publication Date Title
US10674262B2 (en) Merging audio signals with spatial metadata
KR102049602B1 (en) Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
WO2009123409A2 (en) Method and apparatus for generating additional information bit stream of multi-object audio signal
US11924627B2 (en) Ambience audio representation and associated rendering
KR102149411B1 (en) Apparatus and method for generating audio data, apparatus and method for playing audio data
KR102439339B1 (en) Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR102370672B1 (en) Method and apparatus for providing audio data, method and apparatus for providing audio metadata, method and apparatus for playing audio data
KR102631005B1 (en) Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR102217997B1 (en) Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR102455549B1 (en) Apparatus and method for transforming audio signal using location of the user and the speaker
KR102370348B1 (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
US20230305800A1 (en) Video-informed Spatial Audio Expansion
KR102421292B1 (en) System and method for reproducing audio object signal
KR20220030983A (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
JP2006279555A (en) Signal regeneration apparatus and method
KR20180121452A (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
KR20170095105A (en) Apparatus and method for generating metadata of hybrid audio signal

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant