KR101410977B1

KR101410977B1 - Apparatus and method for designating speaker corresponding to object

Info

Publication number: KR101410977B1
Application number: KR1020130063044A
Authority: KR
Inventors: 김주한
Original assignee: 한국산업은행
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2014-07-01

Abstract

The present invention proposes an apparatus and a method for designating an object-oriented speaker. More particular, the apparatus for designating an object-oriented speaker according to the present invention includes a period extraction unit which extracts a time period in which a level of an audio signal corresponding to a sound source of an object exceeds a preset threshold; an interface unit which receives an input of location information of a speaker for outputting sound corresponding to the sound source of the object in accordance with the location of the object displayed on a screen among a plurality of speakers arranged in the form of an array on X and Y axes on a rear surface of the screen, with regard to the audio signal of the time period extracted by the period extraction unit; and a speaker information generation unit which selects a speaker corresponding to the location information among the speakers, and generates information on the selected speaker which is associated with the audio signal of the time period extracted by the period extraction unit.

Description

[0001] APPARATUS AND METHOD FOR DESIGNATING SPEAKER CORRESPONDING TO OBJECT [0002]

오브젝트 중심의 사운드를 출력하기 위한 장치 및 방법에 관한 것으로, 보다 상세하게는 오소링 툴(authoring tool)의 임포트(import)를 통해 입력된 오디오 신호에서 스크린에 디스플레이되는 오브젝트(object)의 음원에 해당하는 오디오 신호를 분리하고, 분리된 오브젝트의 음원에 해당하는 오디오 신호의 크기 레벨이 임계치를 초과하는 타임 구간을 추출하여, 스크린의 후면에 X, Y 축상으로 어레이(array) 형태로 배치되는 복수의 스피커들 중에서 해당 타임 구간에서의 오디오 신호를 출력하기 위한 스피커를 지정하는 오브젝트 중심의 스피커를 지정하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for outputting an object-oriented sound, and more particularly, to an apparatus and method for outputting sound corresponding to an object of an object displayed on a screen in an audio signal input through an import of an authoring tool A plurality of speakers arranged in the form of an array on the X axis and the Y axis on the rear surface of the screen to extract a time interval in which the audio signal corresponding to the sound source of the separated object exceeds the threshold level of the audio signal, To an apparatus and a method for designating an object-centered speaker that designates a speaker for outputting an audio signal in a corresponding time period among the plurality of speakers.

DVD 및 HDTV 등 기기의 보급과 디지털방송 추세에 맞추어 디스플레이 장치는 브라운관에서 LCD 및 PDP를 거쳐 OLED 방식으로 발전해 가고 있으며, 디스플레이 장치의 크기도 점점 더 대형화 되어 가고 있다.In accordance with the spread of devices such as DVD and HDTV and trend of digital broadcasting, display devices are being developed from CRTs through LCDs and PDPs to OLEDs, and the size of display devices is becoming larger and larger.

또한, 보다 고품질의 영상과 사운드로 영화 등을 즐기고자 하는 사람들의 수가 증가하면서, 보다 다이나믹하고 보다 실감나는 사운드의 중요성이 날로 증가하고 있다. 따라서, 프로젝션이나 대형 디스플레이 장치 및 다채널 스피커 장치 등을 구매하는데 비용을 아끼지 않는 사람들이 증가하고 있다.In addition, as the number of people who want to enjoy movies with higher quality video and sound increases, the importance of more dynamic and more realistic sound is increasing day by day. Accordingly, an increasing number of people are spending money on purchasing projection, large-screen display devices, and multi-channel speaker devices.

보다 생동감, 현장감이 있는 사운드를 제공하기 위해, 한국공개특허 제2009-0100566호를 통하여 "오브젝트 중심의 입체음향 좌표표시를 갖는 디스플레이 장치" 기술이 소개되었다. 상기 한국공개특허 제2009-0100566호에는 디스플레이 모니터의 뒤에 복수개의 소형 스피커들이 배열되어 있는 스피커 시스템이 개시되어 있다.In order to provide more lively and realistic sound, Korean Patent Laid-Open No. 2009-0100566, entitled " Display device with object-oriented stereoscopic coordinate display "has been introduced. Korean Patent Laid-Open Publication No. 2009-0100566 discloses a speaker system in which a plurality of small speakers are arranged behind a display monitor.

도 1은 상기 한국공개특허 제2009-0100566호에서 개시하고 있는 디스플레이 화면 및 그 후면에 배치되는 2차원 어레이 스피커를 나타낸 도면이다.FIG. 1 is a view showing a display screen and a two-dimensional array speaker disposed on the rear surface thereof, which is disclosed in Korean Patent Publication No. 2009-0100566.

도 1을 참조하면, 스크린(100) 후면에 2차원 어레이 스피커가 배치되고 화면에 디스플레이되는 영상의 객체(이하, '오브젝트'라 한다.)와 연동하여 사운드를 출력하는 것을 알 수 있다. 이때, 2차원 어레이 스피커는 가로(X 축) 및 세로(Y 축) 방향으로 적절한 개수로 어레이 형태로 배치된 복수 개의 스피커들(110, 120, 130, ...)로 구성된다.Referring to FIG. 1, a two-dimensional array speaker is disposed on the rear surface of the screen 100, and the sound is output in conjunction with an image object (hereinafter referred to as an 'object') displayed on the screen. At this time, the two-dimensional array speaker is composed of a plurality of speakers 110, 120, 130, ... arranged in an appropriate number array in the horizontal (X axis) and vertical (Y axis) directions.

도 2는 2차원 어레이 스피커 중 디스플레이 화면 상의 객체와 관련된 스피커들만이 선택되어 오브젝트의 음원에 해당하는 사운드를 출력하는 것을 나타낸 도면이다.FIG. 2 is a view showing only a speaker related to an object on a display screen among the two-dimensional array speakers, and outputting a sound corresponding to a sound source of the object.

도 2를 참조하면, 디스플레이 화면 상에 표시되는 영상의 오브젝트와 연동하여 2차원 어레이 스피커 중 오브젝트의 음원에 해당하는 사운드를 출력하는 스피커들이 선택되고, 선택된 스피커들만이 사운드를 출력하는 것을 알 수 있다. 즉, 디스플레이 화면 상에 말을 하는 사람이 표시되는 경우 그 사람의 입 부분에 위치한 스피커들에서 사운드가 출력된다.Referring to FIG. 2, in conjunction with an object of an image displayed on a display screen, speakers for outputting a sound corresponding to a sound source of an object among the two-dimensional array speakers are selected, and only the selected speakers output sound . That is, when a speaking person is displayed on the display screen, sounds are output from the speakers located at the mouth portion of the person.

통상의 AV 시스템을 위한 원본 비디오 및 오디오에 대해 오소링을 수행하는 과정에서 스크린에 디스플레이되는 오브젝트의 위치와 연동하여 출력 스피커를 지정하는 작업은 컨텐츠의 상영 시간이 길수록 매우 지루하고 힘든 작업이 될 수 있고, 영화 1편의 상영시간이 2시간에 가까운 점을 고려하면, 보다 효율적이고 보다 짧은 작업 시간을 들여 스크린에 디스플레이되는 오브젝트의 위치에 대응되어 위치하는 출력 스피커를 지정할 수 있는 기법을 제공하는 것은 2차원 어레이 스피커 시스템을 대중화하는데 너무나도 중요한 문제이다. The task of designating the output speaker in conjunction with the position of the object displayed on the screen in the course of performing the authoring on the original video and audio for the normal AV system can become a tedious and difficult task as the screening time of the content is long, Considering that the running time of movie 1 is close to 2 hours, it is more efficient to provide a technique for specifying an output speaker located in correspondence with the position of an object displayed on the screen with a shorter working time, This is a very important issue in popularizing speaker systems.

따라서, 2차원 어레이 스피커를 이용한 사운드 시스템을 갖춘 멀티미디어 시스템에서 스크린에 디스플레이되는 오브젝트의 위치에 대응되어 위치하는 출력 스피커를 보다 단축된 작업 시간을 들여 지정할 수 있도록 하기 위한 새로운 기법의 필요성이 절실하게 대두된다. Therefore, in a multimedia system equipped with a sound system using a two-dimensional array speaker, there is a need for a new technique for designating an output speaker positioned corresponding to the position of an object displayed on the screen with a shorter operation time do.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 오브젝트의 음원에 해당하는 오디오 신호의 출력 레벨이 임계치를 초과하는 타임 구간을 추출하고, 오브젝트의 음원에 해당하는 오디오 신호의 전체 타임 구간이 아닌 임계치를 초과한 타임 구간에 대해서만 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커 중 스크린에 디스플레이되는 오브젝트의 위치에 대응되어 위치하는 스피커를 지정하도록 함으로써, 오브젝트와 연동하는 스피커의 위치를 보다 효율적이고 보다 짧은 작업 시간들 들여 지정할 수 있도록 하는 장치 및 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the problems of the related art described above, and it is an object of the present invention to extract a time interval in which an output level of an audio signal corresponding to a sound source of an object exceeds a threshold value, And a speaker positioned corresponding to a position of an object displayed on the screen among a plurality of speakers arranged in an array on the X and Y axes on the rear surface of the screen only for a time period exceeding a threshold value other than the threshold, It is an object of the present invention to provide an apparatus and a method for allowing a speaker to be positioned more efficiently and at shorter working times.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치는, 오브젝트의 음원에 해당하는 오디오 신호의 크기 레벨이 기설정된 임계치를 초과하는 타임 구간을 추출하는 구간 추출부; 상기 구간 추출부에 의해 추출된 타임 구간의 오디오 신호에 대해, 스크린의 후면에 X, Y 축상으로 어레이(array) 형태로 배치되는 복수의 스피커들 중 상기 스크린에 디스플레이되는 오브젝트의 위치에 연동하여 상기 오브젝트의 음원에 해당하는 사운드를 출력하기 위한 스피커의 위치 정보를 입력받는 인터페이스부; 및 상기 복수의 스피커들 중 상기 위치 정보에 상응하는 스피커를 선택하고, 상기 구간 추출부에 의해 추출된 타임 구간의 오디오 신호와 연관된 상기 선택된 스피커의 정보를 생성하는 스피커 정보 생성부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for designating an object-oriented speaker, the apparatus comprising: a section extracting unit for extracting a time interval in which a magnitude level of an audio signal corresponding to a sound source of an object exceeds a preset threshold; Wherein the audio signal of the time interval extracted by the interval extracting unit is synchronized with the position of the object displayed on the screen among a plurality of speakers arranged in an array form on the X and Y axes on the rear surface of the screen, An interface unit for receiving position information of a speaker for outputting a sound corresponding to a sound source of the object; And a speaker information generating unit for selecting a speaker corresponding to the position information among the plurality of speakers and generating information of the selected speaker associated with the audio signal of the time section extracted by the section extracting unit.

바람직하게, 상기 구간 추출부는 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 각각에 대해, 상기 기설정된 임계치를 초과하는 타임 구간들을 추출할 수 있다.Preferably, the interval extracting unit may extract time intervals exceeding the preset threshold value for each of a plurality of audio signals corresponding to sound sources of two or more objects.

바람직하게, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치는, 상기 구간 추출부에 추출된 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들에 대한 타임 구간들을 비교하여, 중복되는 타임 구간이 존재하는지 여부를 판단하는 중복 구간 처리부를 더 포함할 수 있다.Preferably, the apparatus for designating an object-centered speaker according to the present invention further comprises: means for comparing time intervals of a plurality of audio signals corresponding to sound sources of two or more objects extracted by the section extracting unit, And a redundant section processor for determining whether or not the section exists.

바람직하게, 상기 중복 구간 처리부는, 상기 중복되는 타임 구간이 존재하는 경우에, 상기 중복되는 타임 구간에서 어느 하나의 오브젝트의 음원에 해당하는 오디오 신호를 선택할 수 있다.Preferably, the redundant section processing unit may select an audio signal corresponding to a sound source of one of the objects in the overlapping time interval, if the overlapping time interval exists.

바람직하게, 상기 중복 구간 처리부는 상기 중복되는 타임 구간에 대해, 상기 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 간의 평균 크기 레벨을 비교하여 평균 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다.Preferably, the overlap section processor may compare an average size level of a plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval, thereby selecting an audio signal having the highest average size level .

바람직하게, 상기 중복 구간 처리부는 상기 중복되는 타임 구간에 대해, 상기 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 간의 최대 크기 레벨을 비교하여 최대 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다.
Preferably, the overlap section processor may compare the maximum size level of the plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval, thereby selecting the audio signal having the maximum size level .

한편, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법은, 오브젝트의 음원에 해당하는 오디오 신호의 크기 레벨이 기설정된 임계치를 초과하는 타임 구간을 추출하는 단계; 상기 추출된 타임 구간의 오디오 신호에 대해, 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중 상기 스크린에 디스플레이되는 오브젝트의 위치에 연동하여 상기 오브젝트의 음원에 해당하는 사운드를 출력하기 위한 스피커의 위치 정보를 입력받는 단계; 및 상기 복수의 스피커들 중 상기 위치 정보에 상응하는 스피커를 선택하고, 상기 추출된 타임 구간의 오디오 신호와 연관된 상기 선택된 스피커의 정보를 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for designating an object-oriented speaker, comprising: extracting a time interval in which a magnitude level of an audio signal corresponding to a sound source of an object exceeds a preset threshold value; A sound corresponding to a sound source of the object in association with a position of an object displayed on the screen among a plurality of speakers arranged in an array on the X and Y axes on the rear surface of the screen with respect to the extracted time interval audio signal Receiving position information of a speaker for outputting; And selecting a speaker corresponding to the position information among the plurality of speakers and generating information of the selected speaker associated with the audio signal of the extracted time section.

바람직하게, 상기 타임 구간을 추출하는 단계는, 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 각각에 대해, 상기 기설정된 임계치를 초과하는 타임 구간들을 추출하는 단계를 포함할 수 있다.The extracting of the time interval may include extracting time intervals exceeding the predetermined threshold for each of a plurality of audio signals corresponding to sound sources of two or more objects.

바람직하게, 상기 타임 구간을 추출하는 단계는, 상기 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들에 대한 타임 구간들을 비교하여, 중복되는 타임 구간이 존재하는지 여부를 판단하는 단계를 더 포함할 수 있다.Preferably, the step of extracting the time interval further includes comparing time intervals of a plurality of audio signals corresponding to the sound sources of the two or more objects to determine whether or not there is an overlapping time interval can do.

바람직하게, 상기 타임 구간을 추출하는 단계는, 상기 중복되는 타임 구간이 존재하는 경우에, 상기 중복되는 타임 구간에서 어느 하나의 오브젝트의 음원에 해당하는 오디오 신호를 선택하는 단계를 더 포함할 수 있다.The step of extracting the time interval may further include the step of selecting an audio signal corresponding to a sound source of one of the objects in the overlapping time interval when the overlapping time interval exists .

바람직하게, 상기 오디오 신호를 선택하는 단계에서는, 상기 중복되는 타임 구간에 대해, 상기 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 간의 평균 크기 레벨을 비교하여 평균 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다.Preferably, in the step of selecting the audio signal, an average size level of a plurality of audio signals corresponding to the sound sources of the two or more objects is compared with respect to the overlapping time interval, Can be selected.

바람직하게, 상기 오디오 신호를 선택하는 단계에서는, 상기 중복되는 타임 구간에 대해, 상기 2 이상의 오브젝트의 음원들에 해당하는 복수의 오디오 신호들 간의 최대 크기 레벨을 비교하여 최대 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다.Preferably, in the step of selecting the audio signal, a maximum magnitude level between a plurality of audio signals corresponding to sound sources of the two or more objects is compared with respect to the overlapping time interval, Can be selected.

본 발명에 따르면, 스크린에 디스플레이되는 오브젝트의 음원에 해당하는 오디오 신호가 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중에서 스크린에 디스플레이되는 오브젝트의 위치에 대응되어 위치하는 스피커로 출력되도록 해당 스피커의 위치를 보다 효율적이고, 보다 짧은 작업 시간들 들여 지정할 수 있도록 하는 기술을 제공할 수 있다.According to the present invention, an audio signal corresponding to a sound source of an object to be displayed on a screen is displayed on a rear surface of a screen among a plurality of speakers arranged in an array on the X- and Y- It is possible to provide a technique for allowing the position of the speaker to be specified more efficiently and at shorter working times.

도 1은 디스플레이 화면 및 그 뒤에 배치되는 2차원 어레이 스피커를 나타낸 도면이다.
도 2는 2차원 어레이 스피커 중 디스플레이 화면 상의 오브젝트와 관련된 스피커들만이 선택되어 사운드를 출력하는 것을 나타낸 도면이다.
도 3은 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치의 구성을 설명하기 위한 블록도이다.
도 4 및 도 5는 오브젝트의 음원에 해당하는 오디오 신호의 시간 대 크기 파형을 나타낸 도면이다.
도 6은 도 3에 도시된 디스플레이부가 사용자에게 표시하는 화면을 나타낸 도면이다.
도 7 및 8은 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법을 설명하기 위한 흐름도이다.1 is a view showing a display screen and a two-dimensional array speaker disposed behind the display screen.
FIG. 2 is a diagram showing that only speakers among the two-dimensional array speakers related to objects on the display screen are selected and output sound.
3 is a block diagram for explaining a configuration of an apparatus for designating an object-oriented speaker according to the present invention.
4 and 5 are time-versus-magnitude waveforms of an audio signal corresponding to a sound source of an object.
6 is a view showing a screen displayed by the display unit shown in FIG. 3 to the user.
7 and 8 are flowcharts for explaining a method for designating an object-oriented speaker according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Hereinafter, an apparatus and method for designating an object-oriented speaker according to an embodiment of the present invention will be described with reference to the accompanying drawings. Prior to the detailed description of the present invention, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms. Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

이하에서는 도 3 내지 도 6을 참조하여, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치의 구성 및 그 동작에 대하여 설명하도록 한다.
Hereinafter, the configuration and operation of an apparatus for designating an object-centered speaker according to the present invention will be described with reference to FIGS. 3 to 6. FIG.

도 3은 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치의 구성을 설명하기 위한 블록도이다. 3 is a block diagram for explaining a configuration of an apparatus for designating an object-oriented speaker according to the present invention.

본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치(300)는 비디오 및 오디오에 대한 편집을 수행할 수 있는 기존의 오소링 툴(authoring tool)에 플러그 인 방식으로 임베디드(embedded)되어 구현될 수 있다. 이때, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치(300)는 오소링 과정 중 오소링 툴의 임포트(import)를 통해 입력되는 오디오 신호로부터 스크린에 디스플레이되는 오브젝트(object)의 음원에 해당하는 오디오 신호를 추출하고, 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중에서 오브젝트의 음원에 해당하는 오디오 신호를 출력하기 위한 스피커의 위치 정보를 입력받아 해당 오브젝트의 음원에 해당하는 오디오 신호와 연관된 스피커 정보를 생성한 후, 이를 오소링 툴의 익스포트(export)를 통해 외부로 출력할 수 있다.
The apparatus 300 for designating an object-oriented speaker according to the present invention may be embodied in a plug-in manner in an existing authoring tool capable of performing video and audio editing . At this time, an apparatus 300 for designating an object-oriented speaker according to the present invention extracts an audio signal corresponding to a sound source of an object displayed on a screen from an audio signal input through importing of an authoring tool during an authoring process, Extracts a signal and outputs position information of a speaker for outputting an audio signal corresponding to the sound source of the object among a plurality of speakers arranged in an array on the X and Y axes on the rear surface of the screen, After generating the speaker information associated with the audio signal, it can be exported to the outside through the exporting of the authoring tool.

도 3을 참조하면, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치(300)는 음원 분리부(310), 구간 추출부(320), 중복 구간 처리부(330), 디스플레이부(340), 인터페이스부(350) 및 스피커 정보 생성부(360)로 구성된다.3, an apparatus 300 for designating an object-centered speaker according to the present invention includes a sound source separation unit 310, an interval extraction unit 320, an overlapping interval processing unit 330, a display unit 340, An interface unit 350 and a speaker information generating unit 360.

음원 분리부(310)는 오소링 툴의 임포트를 통해 입력된 오디오 신호에서 스크린에 디스플레이되는 오브젝트의 음원에 해당하는 오디오 신호를 분리한다. 보다 구체적으로, 음원 분리부(310)는 편집을 위해 오소링 툴의 임포트를 통해 입력되는 비디오 신호, 상기 비디오 신호와 시간적으로 동기화된 오디오 신호 중에서 오디오 신호를 입력받고, 음원 분리부(310)는 입력된 오디오 신호에서 스크린에 디스플레이되는 오브젝트의 음원에 해당하는 오디오 신호만을 분리한다. 이때, 스크린에 디스플레이되는 오브젝트는 적어도 하나 이상일 수 있고, 음원 분리부(310)는 스크린에 디스플레이되는 오브젝트가 2 이상인 경우, 각각의 오브젝트의 음원에 해당하는 오디오 신호들을 따로 분리할 수 있다. 음원 분리부(310)는 분리한 오브젝트의 음원에 해당하는 하나 이상의 오디오 신호를 구간 추출부(320)로 전달한다.The sound source separation unit 310 separates the audio signal corresponding to the sound source of the object displayed on the screen from the audio signal input through importing the authoring tool. More specifically, the sound source separation unit 310 receives an audio signal from an audio signal input through the import of an authoring tool for editing and an audio signal synchronized in time with the video signal, and the sound source separation unit 310 separates Only the audio signal corresponding to the sound source of the object displayed on the screen is separated from the audio signal. At this time, the number of objects displayed on the screen may be at least one, and when the number of objects displayed on the screen is two or more, the sound source separation unit 310 may separate audio signals corresponding to the sound sources of the respective objects. The sound source separation unit 310 transmits one or more audio signals corresponding to the sound source of the separated object to the section extraction unit 320.

구간 추출부(320)는 음원 분리부(310)로부터 오브젝트의 음원에 해당하는 하나 이상의 오디오 신호를 수신하고, 수신된 오디오 신호의 크기 레벨(예를 들어, mV 단위의 크기)을 지속적으로 측정한다. 또한, 구간 추출부(320)는 지속적으로 측정한 오디오 신호의 크기 레벨에 대한 측정치에 기초하여, 크기 레벨이 미리 설정된 임계치(threshold value)를 초과하는 오디오 신호의 타임 구간을 추출한다. 보다 구체적으로, 도 4를 참조하면, 구간 추출부(320)는 음원 분리부(310)로부터 수신한 오브젝트의 음원에 해당하는 오디오 신호(400)에 대해 크기 레벨(L_o)이 미리 설정된 임계치(L_t)를 초과하는 타임 구간이 존재하는지 여부를 판단하고, 임계치(L_t)를 초과하는 타임 구간(T)이 존재하면 해당 타임 구간(T)에서의 오디오 신호를 추출한다. 이때, 구간 추출부(320)는 이전에 임계치(L_t)를 초과하는 크기 레벨이 측정된 시간과 다음에 임계치(L_t)를 초과하는 크기 레벨이 측정된 시간 사이의 간격이 미리 설정된 시간 간격(T_i) 이내에 해당하는지 여부를 판단하여, 하나 이상의 시간 간격(T_i)이 연속되는 타임 구간(T)을 추출할 수 있다. 한편, 오디오 신호(400)의 전체 타임 구간에서 미리 설정된 임계치(L_t)를 초과하는 타임 구간이 복수개 존재하는 경우, 구간 추출부(320)는 각각의 타임 구간에서의 오디오 신호들을 추출할 수 있다. 또한, 구간 추출부(320)는 음원 분리부(310)로부터 2 이상의 오브젝트의 음원 각각에 해당하는 복수의 오디오 신호들을 수신하는 경우, 각각의 오디오 신호들에 대해 크기 레벨(L_o)이 임계치(L_t)를 초과하는 타임 구간을 추출할 수 있다.The section extracting unit 320 receives one or more audio signals corresponding to the sound source of the object from the sound source separating unit 310 and continuously measures the magnitude level of the received audio signal (for example, the magnitude in units of mV) . The interval extracting unit 320 extracts a time interval of the audio signal whose size level exceeds a predetermined threshold value based on the measured value of the level of the audio signal continuously measured. 4, the interval extracting unit 320 extracts the audio signal 400 corresponding to the sound source of the object received from the sound source separating unit 310 with a predetermined threshold level (L _o ) L _t and if there is a time interval T exceeding the threshold value L _t , the audio signal in the time interval T is extracted. At this time, the interval extracting unit 320 extracts the interval between the time at which the magnitude level exceeding the threshold value L _t was previously measured and the time at which the magnitude level exceeding the threshold value L _{t at the} next time is measured, (T _i ), and extracts a time interval (T) in which one or more time intervals (T _i ) are consecutive. Meanwhile, when a plurality of time intervals exceeding a preset threshold value (L _t ) exist in the entire time interval of the audio signal 400, the interval extracting unit 320 may extract the audio signals in each time interval . Further, the interval extracting section 320 when receiving a plurality of audio signals corresponding to the sound sources, each of the two or more objects from the sound source separation unit 310, a size level (L _o) for each of the audio signal, the threshold ( L _t ) can be extracted.

중복 구간 처리부(330)는 구간 추출부(320)가 2 이상의 오브젝트의 음원 각각에 해당하는 복수의 오디오 신호들에 대해 크기 레벨(L_o)이 임계치(L_t)를 초과하는 타임 구간을 추출한 경우, 상호 시간적으로 중복되는 타임 구간이 존재하는지 여부를 판단한다. 이때, 상호 중복되는 타임 구간이 존재한다면, 해당 구간에서 어느 하나의 오브젝트의 음원에 해당하는 오디오 신호를 선택한다. 보다 구체적으로, 도 5를 참조하면, 어느 하나의 오브젝트의 음원에 해당하는 오디오 신호(500a)에 대해 추출된 타임 구간이 T_o1, 다른 하나의 오브젝트의 음원에 해당하는 오디오 신호(500b)에 대해 추출된 타임 구간이 T_o2 이고, 중복되는 타임 구간이 T_d 라고 하면, 중복되는 타임 구간 T_d 에 대하여 오디오 신호들(500a, 500b) 중 어느 하나의 오디오 신호만을 선택한다. 이때, 중복 구간 처리부(330)는 중복되는 타임 구간 T_d 에서 오디오 신호들(500a, 500b) 각각의 평균 크기 레벨을 비교하여, 평균 크기 레벨이 가장 높은 오디오 신호를 선택하거나, 또는 해당 구간에서 발생한 최대 크기 레벨을 비교하여, 최대 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다. 그러나, 상기 예시한 오디오 신호에 대한 선택 방식은 하나의 예시일 뿐 이에 국한되는 것은 아니고, 필요에 따라 다른 선택 방식이 이용될 수 있다. 중복 구간 처리부(330)는, 타임 구간 T_o1 중 중복되는 타임 구간 T_d 을 제외한 타임 구간 T_a 에 대해서는 해당 타임 구간 T_a 에 대한 정보와 함께 타임 구간 T_a 에 해당하는 오디오 신호(500a)를, 타임 구간 T_o2 중 중복되는 타임 구간 T_d 을 제외한 타임 구간 T_b 에 대해서는 해당 타임 구간 T_b 에 대한 정보와 함께 타임 구간 T_b 에 해당하는 오디오 신호(500b)를 디스플레이부(340)와 스피커 정보 생성부(360)로 각각 전달한다. 또한, 중복 구간 처리부(330)는, 중복되는 타임 구간 T_d 에 대해서는 해당 타임 구간 T_d 에 대한 정보와 함께 타임 구간 T_d 에서 선택한 오디오 신호(500a 또는 500b)를 디스플레이부(340)와 스피커 정보 생성부(360)로 각각 전달한다.The overlapping section processing section 330 extracts a time interval in which the size level L _o exceeds a threshold value L _t for a plurality of audio signals corresponding to sound sources of two or more objects , It is determined whether or not there is a time interval that overlaps temporally. At this time, if there are overlapping time intervals, an audio signal corresponding to a sound source of any one object is selected in the corresponding interval. More specifically, referring to FIG. 5, a time interval T _o1 extracted for an audio signal 500a corresponding to a sound source of one object, and an audio signal 500b corresponding to a sound source of another object If the extracted time interval is T _o2 and the overlapping time interval is T _d , only one of the audio signals 500a and 500b is selected for the overlapping time interval T _d . At this time, the overlap section processor 330 compares the average size levels of the audio signals 500a and 500b in the overlapping time section T _d to select the audio signal having the highest average size level, By comparing the maximum size level, it is possible to select the audio signal having the highest maximum size level. However, the above-described selection method for the audio signal is only one example, and the selection method is not limited thereto, and other selection methods may be used as needed. The redundant section processor 330 receives the audio signal 500a corresponding to the time section T _a together with the information on the corresponding time section T _a with respect to the time section T _a excluding the overlapped time section T _d of the time section T _o1 , An audio signal 500b corresponding to a time interval T _b with information on the corresponding time interval T _b is transmitted to the display unit 340 and the speaker 330 for the time interval T _b except for the overlapping time interval T _d of the time interval T _o2 , Information generating unit 360, respectively. In addition, the redundant section processing unit 330, the audio signal selected in the time interval T _d with the information about that for the overlap time interval T _d time period T _d (500a or 500b), the display unit 340 and the speaker information To the generation unit 360, respectively.

이상에서는 오브젝트의 음원이 2개인 경우를 가정하여 설명하였으나, 3개 이상인 경우에도 앞서 설명한 오브젝트의 음원이 2개인 경우와 유사한 방식으로, 중복 구간 처리부(300)가 각 오브젝트의 음원에 해당하는 신호들에 대해 추출된 크기 레벨(L_o)이 임계치(L_t)를 초과하는 타임 구간이 시간적으로 중복되는지 여부를 판단하고, 중복되는 타임 구간에서 3개 이상의 오브젝트의 음원에 해당하는 오디오 신호들 중 가장 높은 평균 또는 최대 크기 레벨을 갖는 오디오 신호를 선택하는 것은 당연하다.In the above description, it is assumed that there are two sound sources of the object. However, even if the number of sound sources is three or more, the overlap section processor 300 generates signals corresponding to the sound sources of the respective objects on whether the loudness level (L _o), this time interval that exceeds a threshold value (L _t) in time overlap in extraction is determined, and one of which corresponds to the sound source of the three or more objects in the overlapping time intervals audio signal most about It is natural to select an audio signal having a high average or maximum amplitude level.

디스플레이부(340)는 구간 추출부(320)에 추출된 타임 구간(T)에 해당하는 오디오 신호(하나의 오브젝트의 음원에 대해 타임 구간을 추출한 경우), 또는 중복 구간 처리부(330)에 의해 추출된 타임 구간들(T_d, T_a, T_b, … )에 해당하는 오디오 신호(2 이상의 오브젝트의 음원에 대해 타임 구간을 추출한 경우)에 대해, 도 6에 도시된 바와 같이 사용자에게 제공하는 화면 상에서 해당 타임 구간에서의 오디오 신호를 오디오 컨트롤 윈도우(60)를 통해 파형 등으로 시각적으로 표시한다. The display unit 340 displays an audio signal corresponding to the time interval T extracted by the interval extracting unit 320 (when a time interval is extracted for a sound source of one object) (A time interval is extracted for a sound source of two or more objects) corresponding to the time intervals T _d , T _a , T _b , ..., The audio signal at the corresponding time interval is visually displayed through the audio control window 60 with a waveform or the like.

아울러, 디스플레이부(340)는 오디오 컨트롤 윈도우(60)에 표시되는 오디오 신호와 시간적으로 싱크(sync)가 이루어진 비디오 영상을 비디오 컨트롤 윈도우(62)를 표시한다. 또한, 디스플레이부(340)는 다수의 버튼을 포함하는 출력 스피커 선택 윈도우(64)를 표시하는데, 각각의 버튼은 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들의 각각의 위치를 나타낸다. 이에 따라, 사용자는 비디오 컨트롤 윈도우(62)에 표시되는 비디오 영상에서 오브젝트의 위치를 확인하면서, 오디오 컨트롤 윈도우(60)에 표시된 오브젝트의 음원에 해당하는 오디오 신호에 대하여 해당 오브젝트의 위치에 상응하는 위치에 있는 스피커를 선택할 수 있다. 이때, 사용자는 인터페이스부(350)의 X-Y-Z 좌표 패너(panner), 마우스, 조이스틱 등을 사용하여 출력 스피커 선택 윈도우(64)에서 오브젝트에 대응되는 위치에 있는 하나 이상의 스피커를 선택할 수 있다. 한편, 디스플레이부(340)는 오디오 컨트롤 윈도우(60)에 표시된 오브젝트의 음원에 해당하는 오디오 신호에 대해, 그에 대응하는 스피커의 위치 좌표를 사용자로부터 직접 입력받기 위한 X-Y-Z 좌표 입력 윈도우(66)를 표시할 수도 있다. 이때, 디스플레이부(340)는 X-Y-Z 좌표 입력 윈도우(66)를 사용자에게 표시하고, 사용자로부터 스크린 후면에 어레이 배치되는 스피커들에 대해 오디오 컨트롤 윈도우(60)에 표시된 오브젝트의 음원에 해당하는 오디오 신호를 출력하고자 하는 스피커의 수평 위치(X) 및 수직 위치(Y)를 입력받거나, 해당 오디오 신호의 사운드가 출력되는 영상 상의 깊이 정보(Z)를 입력받을 수 있다.In addition, the display unit 340 displays a video control window 62 with a video image synchronized in time with the audio signal displayed in the audio control window 60. In addition, the display unit 340 displays an output speaker selection window 64 including a plurality of buttons, each of which is located at the rear of the screen, at each position of a plurality of speakers arranged in an array on the X, Y axis . Accordingly, while confirming the position of the object in the video image displayed on the video control window 62, the user can select the position corresponding to the position of the object corresponding to the audio signal corresponding to the sound source of the object displayed in the audio control window 60 You can select the speakers in the. At this time, the user can select one or more speakers corresponding to the object in the output speaker selection window 64 using an X-Y-Z coordinate panner, a mouse, a joystick, etc. of the interface unit 350. On the other hand, the display unit 340 displays an XYZ coordinate input window 66 for directly receiving the position coordinates of the speaker corresponding to the audio signal corresponding to the sound source of the object displayed in the audio control window 60 You may. At this time, the display unit 340 displays an XYZ coordinate input window 66 to the user, and displays an audio signal corresponding to the sound source of the object displayed in the audio control window 60 for the speakers arrayed in the rear of the screen from the user A horizontal position X and a vertical position Y of a speaker to be output, or depth information Z on an image on which a sound of the audio signal is output.

인터페이스부(350)는 디스플레이부(340)에 의해 오디오 컨트롤 윈도우(60)에 표시되는 타임 구간에서의 오디오 신호가 스크린의 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중에서 오브젝트에 연동하여 해당 사운드를 출력하도록 하기 위한 스피커의 위치를 지정하는 위치 정보(예를 들어, 스피커의 X, Y 좌표)를 사용자로부터 입력받는다. 여기서, 오브젝트에 연동되게 한다라는 것은 스크린 후면에 2차원 어레이 배열된 다수의 스피커 채널들 중에서 스크린 상에서 사람 또는 특정 사물 등과 같은 오브젝트가 발생시키는 사운드(대사 등)를 출력하는 스피커의 위치를 스크린 상의 오브젝트의 위치와 일치시킨다는 것을 의미한다. 예를 들어, 도 2에서와 같이 화면 상에서 등장인물들의 대사소리가 스크린 상에서 인물의 입이 위치하는 곳에 있는 스피커 채널에서 나오는 것을 나타내는 것을 오브젝트에 연동한다라고 할 수 있다. 이때, 인터페이스부(350)는 X-Y 좌표 패너(panner), 마우스, 조이스틱 등과 같이 사용자가 방향을 조작할 수 있는 수단을 구비하여, 사용자로부터 X-Y 좌표 패너, 마우스, 조이스틱 등의 조작에 따라, 스피커의 위치를 지정하기 위한 위치 정보를 입력받을 수 있다. 이에 따라, 사용자는 디스플레이부(340)에 의해 오디오 컨트롤 윈도우(60)에 표시되는 타임 구간에서의 오디오 신호에 대해, 스크린 후면에 어레이 배치되는 복수의 스피커들 중에서 비디오 컨트롤 윈도우(60)에 표시되는 비디오 영상에 포함된 오브젝트의 위치에 대응하는 스피커의 위치 정보를 입력할 수 있다. 경우에 따라, 인터페이스부(350)는 사용자의 X-Y 좌표 패너, 마우스, 조이스틱 등의 조작을 통해 사용자로부터 직접 오브젝트의 위치에 대응되는 스피커의 위치 정보를 입력받는 것이 아닌, 해당 스피커의 위치 정보를 외부의 오브젝트 위치 추정 장치(미도시)로부터 수신할 수 있도록 구성될 수 있다. 인터페이스부(350)는 입력받은 스피커의 위치 정보를 스피커 정보 생성부(360)로 전달한다.The interface unit 350 receives the audio signals from the plurality of speakers arranged in the form of an array on the X and Y axes on the rear surface of the screen in the time interval displayed on the audio control window 60 by the display unit 340 (For example, X and Y coordinates of the speaker) for specifying the position of the speaker for outputting the sound in cooperation with the user. Here, to be interlocked with an object refers to a position of a speaker outputting a sound (metabolism, etc.) generated by an object such as a person or a specific object on a screen among a plurality of speaker channels arrayed two-dimensionally on the rear surface of the screen, Position of the object. For example, as shown in FIG. 2, it can be said that the dialogue with the object indicates that the sound of the characters on the screen comes from the speaker channel on the screen where the mouth of the person is located. At this time, the interface unit 350 includes means for operating the direction of the user such as an XY coordinate panner, a mouse, a joystick, etc., so that the user can operate the XY coordinate panner, mouse, joystick, It is possible to receive position information for specifying a position. Accordingly, the user can view the audio signal from the audio control window 60 in the video control window 60 among the plurality of speakers arrayed on the rear side of the screen by the display unit 340 The position information of the speaker corresponding to the position of the object included in the video image can be inputted. In some cases, the interface unit 350 receives the position information of the speaker corresponding to the position of the object directly from the user through manipulation of the user's XY coordinate panner, mouse, joystick, etc., From an object position estimating apparatus (not shown) of the apparatus. The interface unit 350 transmits the position information of the input speaker to the speaker information generating unit 360.

스피커 정보 생성부(360)는 인터페이스부(350)로부터 수신한 스피커의 위치 정보에 기초하여 구간 추출부(320)로부터 수신한 타임 구간(T)에서의 오디오 신호, 또는 중복 구간 처리부(330)로부터 수신한 타임 구간(T_d, T_a, T_b)에 해당하는 오디오 신호를 출력하기 위한 스피커를 스크린 후면에 어레이 배치되는 복수의 스피커들 중에서 선택한다. 그리고, 스피커 정보 생성부(360)는 타임 구간(T, T_d, T_a, T_b)에서의 오디오 신호에 대해 선택된 스피커의 정보(예를 들어, 해당 스피커의 채널 정보 또는 고유 식별자)를 생성하여 오소링 툴의 익스포트(export)를 통해 외부로 출력한다. 이때, 스피커 정보 생성부(360)는 타임 구간(T, T_d, T_a, T_b)에서의 오디오 신호에 대 한 메타데이터(metadata) 형식으로 선택된 스피커의 정보를 생성할 수 있다.
The speaker information generating unit 360 generates an audio signal in the time interval T received from the interval extracting unit 320 or an audio signal in the time interval T received from the overlapping interval processing unit 330 based on the position information of the speaker received from the interface unit 350 And a speaker for outputting an audio signal corresponding to the received time interval (T _d , T _a , T _b ) is selected from among a plurality of speakers arrayed on the rear surface of the screen. Then, the speaker information generating unit 360 is the time interval (T, T _d, T _a, T _b) the speaker of the information selected for the audio signal (for example, channel information, or a unique identifier of the speaker) in the generation And outputs it to the outside through the export of the authoring tool. At this time, the speaker information generator 360 may generate a time interval (T, T _d, T _a, T _b) the metadata information of the selected speaker to the (metadata) about the audio signal format in the.

이하에서는 도 7 및 도 8을 참조하여, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법에 대하여 설명하도록 한다. 앞서, 도 3 내지 도 6을 참조하여 설명한 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 장치의 동작과 일부 중복되는 부분은 생략하여 설명하기로 한다.
Hereinafter, a method for designating an object-centered speaker according to the present invention will be described with reference to FIGS. 7 and 8. FIG. Hereinafter, a part of the operation of the apparatus for designating an object-centered speaker according to the present invention described with reference to FIGS. 3 to 6 will be partially described.

도 7은 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a method for designating an object-oriented speaker according to the present invention.

도 7을 참조하면, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법은, 먼저 음원 분리부(310)가 오소링 툴의 임포트를 통해 입력된 오디오 신호에서 스크린에 디스플레이되는 오브젝트의 음원에 해당하는 오디오 신호만을 분리한다(S700). 그리고, 음원 분리부(310)는 분리한 오디오 신호를 구간 추출부(320)로 출력한다.Referring to FIG. 7, a method for designating an object-oriented speaker according to the present invention includes a step of, first, a sound source separation unit 310 extracts, from an audio signal input through importing an authoring tool, Only the audio signal is separated (S700). The sound source separation unit 310 outputs the separated audio signal to the section extraction unit 320.

그 다음으로, 구간 추출부(320)는 음원 분리부(310)로부터 수신한 오브젝트의 음원에 해당하는 오디오 신호의 크기 레벨(L_o)이 미리 설정된 임계치(L_t)를 초과하는지 여부를 판단하고, 크기 레벨(L_o)이 미리 설정된 임계치(L_t)를 초과하는 타임 구간(T)을 추출한다(S710). Next, the section extractor 320 determines whether the level L _o of the audio signal corresponding to the sound source of the object received from the sound source separator 310 exceeds a predetermined threshold value L _t , A time interval T in which the magnitude level L _o exceeds a preset threshold value L _t is extracted (S710).

그리고, 디스플레이부(340)는 구간 추출부(320)에 의해 추출된 타임 구간(T)에서의 오디오 신호를 사용자에게 디스플레이하고, 인터페이스부(350)를 통해 해당 타임 구간(T)에서의 오디오 신호를 출력하기 위한 스피커의 위치 정보를 입력받는다(S720). 이때, 인터페이스부(350)를 통해 입력받는 스피커의 위치 정보는 스크린 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중, 스크린에 디스플레이되는 오브젝트의 위치에 대응하는 위치에서 해당 타임 구간(T)에서의 오디오 신호를 출력하도록 하는 스피커에 대한 위치 정보에 해당한다.The display unit 340 displays the audio signal at the time interval T extracted by the interval extracting unit 320 to the user and outputs the audio signal at the corresponding time interval T through the interface unit 350. [ (Step S720). At this time, the position information of the speaker input through the interface unit 350 may be displayed on the screen at a position corresponding to the position of the object displayed on the screen, among the plurality of speakers arranged in an array on the X and Y axes, Which corresponds to the position information of the speaker for outputting the audio signal at the time T.

그 다음으로, 상기 S720 단계에서 인터페이스부(350)를 통해 입력받은 스피커의 위치 정보에 기초하여, 스피커 정보 생성부(360)가 스크린 후면에 어레이 배치되는 복수의 스피커들 중에서 추출된 타임 구간(T)에서의 오디오 신호를 출력하기 위한 스피커를 선택한다. 그리고, 추출된 타임 구간(T)의 오디오 신호에 대해 선택된 스피커의 정보(예를 들어, 해당 스피커의 채널 정보 또는 고유 식별자를 포함하는 정보)를 생성하여 오소링 툴의 익스포트를 통해 외부로 출력한다(S730).
Next, based on the position information of the speaker inputted through the interface unit 350 in the step S720, the speaker information generating unit 360 generates the extracted time interval T The speaker for outputting the audio signal from the speaker (not shown) is selected. Then, information on the speaker selected for the extracted audio signal of the time interval T (for example, channel information of the speaker or information including a unique identifier) is generated and exported through the exporting of the authoring tool S730).

도 8은 오소링 툴의 임포트를 통해 입력되는 비디오 영상에 포함된 오브젝트가 2 이상인 경우에 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법을 보다 구체적으로 설명하기 위한 흐름도이다. 8 is a flowchart for explaining a method for specifying an object-oriented speaker according to the present invention in more detail when there are two or more objects included in a video image input through import of an authoring tool.

도 8을 참조하면, 비디오 영상에 포함된 오브젝트가 2 이상인 경우, 본 발명에 따른 오브젝트 중심의 스피커를 지정하기 위한 방법은, 먼저 음원 분리부(310)가 오소링 툴의 임포트를 통해 입력된 오디오 신호에서 스크린에 디스플레이되는 2 이상의 오브젝트의 음원에 해당하는 오디오 신호들(500a, 500b)을 각각 분리한다(S800). 그리고, 음원 분리부(310)는 분리한 2 이상의 오브젝트의 음원에 해당하는 오디오 신호들(500a, 500b)을 구간 추출부(320)로 출력한다.Referring to FIG. 8, in the case where there are two or more objects included in a video image, a method for designating an object-centered speaker according to the present invention includes: first, a sound source separation unit 310 extracts audio signals The audio signals 500a and 500b corresponding to sound sources of two or more objects displayed on the screen are separated from each other (S800). The sound source separation unit 310 outputs the audio signals 500a and 500b corresponding to the sound sources of the two or more separated objects to the section extraction unit 320. [

그 다음으로, 구간 추출부(320)는 음원 분리부(310)로부터 수신한 2 이상의 오브젝트의 음원에 해당하는 오디오 신호들(500a, 500b) 각각에 대해, 오디오 신호의 크기 레벨이 미리 설정된 임계치를 초과하는지 여부를 판단하고, 크기 레벨이 미리 설정된 임계치를 초과하는 타임 구간들(T_o1, T_o2)을 추출한다(S810). 이때, 구간 추출부(320)는 추출한 타임 구간들(T_o1, T_o2)에서의 오디오 신호들(500a, 500b)을 중복 구간 처리부(330)로 출력한다.Next, the interval extracting unit 320 extracts the audio signals 500a and 500b corresponding to the sound sources of the two or more objects received from the sound source separating unit 310, , And extracts time intervals (T _o1 , T _o2 ) in which the magnitude level exceeds a predetermined threshold (S810). At this time, the section extractor 320 outputs the audio signals 500a and 500b at the extracted time intervals T _o1 and T _o2 to the overlapped section processor 330.

그리고, 중복 구간 처리부(330)는 구간 추출부(320)로부터 수신한 오디오 신호들의 타임 구간들(T_o1, T_o2)을 비교하여 중복되는 타임 구간(T_d)이 존재하는지 여부를 판단한다(S820).The overlapped interval processing unit 330 compares the time intervals T _o1 and T _o2 of the audio signals received from the interval extracting unit 320 to determine whether there is an overlapping time interval T _d S820).

상기 S820 단계에서의 판단 결과, 중복되는 타임 구간(T_d)이 존재한다면, 중복 구간 처리부(330)는 해당 타임 구간(T_d)에서 어느 하나의 오브젝트의 음원에 해당하는 오디오 신호를 선택한다(S830). 상기 S830 단계에서, 중복 구간 처리부(330)는 중복되는 타임 구간(T_d)에서 2 이상의 오브젝트의 음원들에 해당하는 오디오 신호들(500a, 500b) 간의 평균 크기 레벨을 비교하여 평균 크기 레벨이 가장 높은 오디오 신호를 선택하거나, 또는 최대 크기 레벨을 비교하여 최대 크기 레벨이 가장 높은 오디오 신호를 선택할 수 있다. 그리고, 중복 구간 처리부(330)는 중복되는 타임 구간(T_d)에 대해서는 상기 S830 단계에서 선택된 오디오 신호를 디스플레이부(340)와 스피커 정보 생성부(360)로 출력하고, 중복되지 아니한 타임 구간(T_a, T_b)에 대해서는 각 타임 구간에 대응하는 오디오 신호(500a, 500b)를 디스플레이부(340)와 스피커 정보 생성부(360)로 출력한다. If it is determined in step S820 that there is an overlapping time interval T _d , the overlapped interval processing unit 330 selects an audio signal corresponding to a sound source of one of the objects in the corresponding time interval T _d S830). In step S830, the overlapped interval processing unit 330 compares the average size levels of the audio signals 500a and 500b corresponding to the sound sources of two or more objects in the overlapping time interval T _d , It is possible to select a high audio signal, or to compare the maximum magnitude level and select an audio signal having the highest magnitude level. The redundant section processor 330 outputs the audio signal selected in step S830 to the display unit 340 and the speaker information generator 360 for the overlapped time interval T _d and outputs the audio signal selected in the non- The audio signals 500a and 500b corresponding to the respective time periods are output to the display unit 340 and the speaker information generating unit 360 with respect to T _a and T _b .

그 다음으로, 디스플레이부(340)는 중복 구간 처리부(330)로부터 수신한 타임 구간들(T_d, T_a, T_b)에서의 오디오 신호를 사용자에게 디스플레이하고, 인터페이스부(350)를 통해 해당 타임 구간에서의 오디오 신호를 출력하기 위한 스피커의 위치 정보를 입력받는다(S840). 이때, 인터페이스부(350)를 통해 입력받는 스피커의 위치 정보는 스크린 후면에 X, Y 축상으로 어레이 형태로 배치되는 복수의 스피커들 중, 스크린에 디스플레이되는 오브젝트의 위치에 대응하는 위치에서 해당 타임 구간에서의 오디오 신호를 출력하도록 하는 스피커에 대한 위치 정보에 해당한다.To the next, the display unit 340 is the through display the audio signals at a time interval received from the redundant interval processing section (330) (T _d, T _a, T _b) to a user, the interface unit 350 And receives position information of a speaker for outputting an audio signal in a time interval (S840). At this time, the position information of the speaker input through the interface unit 350 may be displayed on the screen at a position corresponding to the position of the object displayed on the screen, among the plurality of speakers arranged in an array on the X and Y axes, And outputs the audio signal from the speaker to the speaker.

한편, 상기 S820 단계에서의 판단 결과, 중복되는 타임 구간(T_d)이 존재하지 않는다면, 중복 구간 처리부(330)는 중복되지 않는 각 타임 구간들(T_o1, T_o2)에 대응하는 오디오 신호들을 디스플레이부(340)와 스피커 정보 생성부(360)로 출력하고, 디스플레이부(340)는 중복 구간 처리부(330)로부터 수신한 각 타임 구간들에서의 오디오 신호를 사용자에게 디스플레이하고, 인터페이스부(350)를 통해 해당 타임 구간에서의 오디오 신호를 출력하기 위한 스피커의 위치 정보를 입력받는다(S850).On the other hand, unless the time period (T _d) is determined that the redundancy in the S820 step is present, the audio signal corresponding to the overlapping region of each time interval processing unit 330 are non-overlapping (T _o1, T _o2) The display unit 340 displays the audio signal in each time interval received from the overlapped interval processing unit 330 to the user and outputs the audio signal to the interface unit 350 (Step S850). In step S850, the position information of the speaker for outputting the audio signal in the corresponding time interval is input.

마지막으로, 상기 S840 또는 S850 단계에서 인터페이스부(350)를 통해 입력받은 스피커의 위치 정보에 기초하여, 스피커 정보 생성부(360)가 스크린 후면에 어레이 배치되는 복수의 스피커들 중에서 타임 구간에서의 오디오 신호를 출력하기 위한 스피커를 선택한다. 그리고, 타임 구간의 오디오 신호에 대해 선택된 스피커의 정보(예를 들어, 해당 스피커의 채널 정보 또는 고유 식별자를 포함하는 정보)를 생성하여 오소링 툴의 익스포트를 통해 외부로 출력한다(S860).
Lastly, in step S840 or S850, based on the position information of the speaker inputted through the interface unit 350, the speaker information generating unit 360 generates audio information in a time interval among a plurality of speakers arrayed on the rear side of the screen, And selects a speaker for outputting a signal. Then, information on the speaker selected for the audio signal in the time interval (for example, information including the channel information or the unique identifier of the speaker) is output to the outside through the exporting of the authoring tool (S860).

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

300 : 스피커 지정 장치
310 : 음원 분리부
320 : 구간 추출부
330 : 중복 구간 처리부
340 : 디스플레이부
350 : 인터페이스부
360 : 스피커 정보 생성부300: speaker designation device
310: sound source separation unit
320:
330: redundant section processor
340:
350:
360: speaker information generating unit

Claims

An interval extractor for extracting a time interval in which a magnitude level of an audio signal corresponding to a sound source of the object exceeds a preset threshold value;
Wherein the audio signal of the time interval extracted by the interval extracting unit is synchronized with the position of the object displayed on the screen among a plurality of speakers arranged in an array form on the X and Y axes on the rear surface of the screen, An interface unit for receiving position information of a speaker for outputting a sound corresponding to a sound source of the object; And
And a speaker information generating unit for selecting a speaker corresponding to the position information among the plurality of speakers and generating information of the selected speaker associated with the audio signal of the time section extracted by the section extracting unit , A device for specifying an object-centered speaker.

The method according to claim 1,
Wherein the interval extractor extracts time intervals exceeding the preset threshold value for each of a plurality of audio signals corresponding to sound sources of two or more objects.

The method of claim 2,
And a redundant section processing unit for comparing the time intervals of the plurality of audio signals corresponding to the sound sources of the two or more objects extracted by the section extracting unit and determining whether there is an overlapping time interval. A device for specifying an object-centered speaker.

The method of claim 3,
Wherein the redundant section processing section selects an audio signal corresponding to a sound source of one of the objects in the overlapping time interval when the overlapping time section exists. Device.

The method of claim 4,
Wherein the redundant section processor compares an average size level of a plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval and selects an audio signal having the highest average size level , A device for specifying an object-centered speaker.

The method of claim 4,
Wherein the redundant section processing unit compares the maximum size level of a plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval and selects an audio signal having the highest maximum size level , A device for specifying an object-centered speaker.

Extracting a time interval in which a magnitude level of an audio signal corresponding to a sound source of the object exceeds a preset threshold value;
A sound corresponding to a sound source of the object in association with a position of an object displayed on the screen among a plurality of speakers arranged in an array on the X and Y axes on the rear surface of the screen with respect to the extracted time interval audio signal Receiving position information of a speaker for outputting; And
Selecting a speaker corresponding to the position information among the plurality of speakers and generating information of the selected speaker associated with the extracted audio signal of the time interval, Lt; / RTI >

The method of claim 7,
The step of extracting the time interval includes:
Extracting time intervals exceeding the predetermined threshold for each of a plurality of audio signals corresponding to sound sources of two or more objects.

The method of claim 8,
The step of extracting the time interval includes:
Further comprising the step of comparing time intervals of a plurality of audio signals corresponding to the sound sources of the two or more objects to determine whether there is an overlapping time interval, Lt; / RTI >

The method of claim 9,
The step of extracting the time interval includes:
Further comprising the step of selecting an audio signal corresponding to a sound source of one of the objects in the overlapping time interval when the overlapping time interval exists, .

The method of claim 10,
Wherein the step of selecting the audio signal comprises:
And selects an audio signal having the highest average size level by comparing average size levels of a plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval, / RTI >

The method of claim 10,
Wherein the step of selecting the audio signal comprises:
And selects an audio signal having the highest maximum level level by comparing the maximum amplitude level between a plurality of audio signals corresponding to the sound sources of the two or more objects with respect to the overlapping time interval, / RTI >