[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100284768B1 - 다화면비디오디스플레이시스템에서의오디오데이타처리장치 - Google Patents

다화면비디오디스플레이시스템에서의오디오데이타처리장치 Download PDF

Info

Publication number
KR100284768B1
KR100284768B1 KR1019980012122A KR19980012122A KR100284768B1 KR 100284768 B1 KR100284768 B1 KR 100284768B1 KR 1019980012122 A KR1019980012122 A KR 1019980012122A KR 19980012122 A KR19980012122 A KR 19980012122A KR 100284768 B1 KR100284768 B1 KR 100284768B1
Authority
KR
South Korea
Prior art keywords
audio data
screen
video
additional information
processing apparatus
Prior art date
Application number
KR1019980012122A
Other languages
English (en)
Other versions
KR19990079486A (ko
Inventor
김상욱
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019980012122A priority Critical patent/KR100284768B1/ko
Publication of KR19990079486A publication Critical patent/KR19990079486A/ko
Application granted granted Critical
Publication of KR100284768B1 publication Critical patent/KR100284768B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치를 개시한다. 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치는, 다 화면중에서 소정의 기준 화면에 대한 기준 오디오 데이타 및 사용자가 원하는 화면에 상응하는 비디오 부가 정보를 전송하는 데이타 전송부, 전송된 비디오 부가 정보를 이용하여 기준 오디오 데이타를 원하는 화면에 상응하여 변경시키는 오디오 데이타 합성부 및 변경된 오디오 데이타로부터 원하는 화면에 해당하는 가상 음상을 형성하여 사용자에게 청취시키는 오디오 데이타 청취부를 구비한다.

Description

다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치{Audio data processing apparatus in mult-view display system}
본 발명은 오디오 데이타 처리에 관한 것으로서, 특히, 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치에 관한 것이다.
통상, TV등을 통해 제공되는 화면상의 비디오는 다양한 각도에서 촬영된 것이므로, 시청자들에게 임의로 선택된 다양한 각도에서의 비디오 정보가 제공된다. 종래의 비디오 프로그램 제공자는 하나의 비디오 화면만을 제공해주므로, 사용자가 원하는 위치 즉, 시각에서의 화면 각도를 선택하여 볼 수는 없다. 비디오 화면을 보는 사용자의 기호를 충족시키기 위해서는 사용자의 선택에 따라 다양한 각도로부터 잡힌 다양한 화면을 동시에 제공해주는 서비스가 요구된다. 즉, 사용자로 하여금 원하는 각도로부터 잡은 비디오를 선택해 볼 수 있도록 하는 서비스가 요구된다.
이를 위해 다양한 각도로부터 잡힌 다 화면 비디오(multi-view video)에 대한 처리방법이 적용된다. 이때, 여러 각도로부터 잡은 다 화면 비디오를 처리할 경우에, 다 화면을 제공하면서 하나의 위치에 대한 오디오 데이타 세트만을 제공해준다면, 화면은 바뀌더라도 오디오 채널은 바뀌지 않으므로, 화면에 따른 효과적인 음상이 제공될 수 없다. 또한, 효과적인 음상을 제공하기 위해 각 화면에 따라 오디오 채널 데이타를 제공해준다면, 실제로 사용되는 데이타 이외에 사용되지 않는 오디오 채널 데이타가 너무 많아진다. 즉, 하나의 비디오 화면에 각도만 달리하는 유사한 비디오 화면 모두에 대해 각각의 오디오 데이타 세트가 제공된다는 것은 비효율적이다.
본 발명이 이루고자하는 기술적 과제는, 다 화면 비디오를 디스플레이하는데 있어서, 하나의 비디오 화면에 대한 오디오 데이타 세트를 기준 오디오 데이타 세트라 할때, 비디오의 부가 정보를 이용하여 여러 화면에 상응하는 오디오 데이타를 발생시킴으로써 다 화면 비디오 각각에 상응하는 현실감있는 오디오 데이타를 처리하는, 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치를 제공하는데 있다.
도 1은 야구 경기 중계시의 다 화면 영상 디스플레이 시스템의 일예를 나타낸 도면이다.
도 2는 표준 5채널 음성 스피커의 배치도이다.
도 3 (a)~(d)는 인자들에 대한 시각 변화의 예를 나타낸 도면들이다.
도 4 (a) 및 (b)는 화면에 재생되는 시각 변화에 따른 예를 나타낸 도면들이다.
도 5 (a) 및 (b)는 스피커에서 출력되는 음성 출력 신호들을 개념적으로 나타낸 도면들이다.
도 6은 물리적 스피커를 이용한 가상 스피커의 구현예를 나타낸 도면이다.
도 7은 가상 음원 합성방법을 설명하기 위한 도면이다.
도 8 (a)~(c)는 가상 음상 형성방법을 설명하기 위한 도면들이다.
상기 과제를 이루기 위하여, 본 발명에 의한 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치는, 다 화면중에서 소정의 기준 화면에 대한 기준 오디오 데이타 및 사용자가 원하는 화면에 상응하는 비디오 부가 정보를 전송하는 데이타 전송부, 전송된 비디오 부가 정보를 이용하여 기준 오디오 데이타를 원하는 화면에 상응하여 변경시키는 오디오 데이타 합성부 및 변경된 오디오 데이타로부터 원하는 화면에 해당하는 가상 음상을 형성하여 사용자에게 청취시키는 오디오 데이타 청취부를 구비하는 것을 특징으로 한다.
이하, 본 발명에 의한 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치의 구성 및 동작을 첨부한 도면을 참조하여 설명한다.
먼저, 본 발명의 이해를 돕기 위해서 본 발명의 다 화면 영상 디스플레이시의 오디오 데이타 처리의 원리를 알아본다.
도 1은 야구 경기 중계시의 다 화면 영상 디스플레이 시스템의 일예를 나타낸 도면으로서, 현재의 주 비디오 화면으로 1루수측 장면이 디스플레이된다면 화면 아래에 예시된 바와 같이 사용자가 여러 각도에서의 다 화면을 선택할 수 있도록 메뉴가 제시된다. 도 1에서는 야구 경기 중계시를 예로 하였지만, 사용자의 다양한 욕구를 만족시켜주기 위해서 동시에 여러 시각에서 잡은 비디오 정보를 서비스해주고, 사용자로 하여금 원하는 각도로부터 잡은 비디오를 선택할 수 있도록 하는 다 화면 서비스가 다른 분야에도 적용될 수 있다.
이러한 다 화면 서비스는 특히, 삼차원 공간에서 여러 시각에 따른 영상을 즐길 수 있고, 화면중에서 관심있는 부분에 대한 시청을 보다 용이하게 한다. 또한, 스포츠 경기의 경우에 특히, 특정 위치의 장면 또는 선수를 중심으로 하는 재생을 가능케한다. 도 1을 참조하면, 예컨대, 인터넷등을 통한 새로운 방송에서는 다 화면 서비스와 같이 상호 작용에 의해 제공되는 여러 장면중 사용자가 원하는 장면을 선택하여, 선택적으로 재생되도록 하는 처리가 가능하다.
이때, 화면과 연관해서 제공되는 오디오는 모노, 스테레오 또는 다채널 오디오가 될 수 있다. 참고로, 모노, 스테레오 및 다채널 방송은 다음과 같은 차이를 갖는다. 모노는 음상이 스피커 사이에 존재하고, 스테레오는 음상이 오른쪽/왼쪽 스피커 사이에 존재한다. 다채널 방송은 청취자 주위를 둘러싸면서 음상이 존재하게 된다. 채널의 수가 많아지면서 동시에 있을 수 있는 음상의 수가 많아지고, 음상의 제공 범위가 넓어진다.
여러 각도로부터 잡은 다 화면에 대해, 각 화면에 따라 상응하는 오디오 채널 데이타들이 제공된다면 효과적인 음상이 제공될 수 있다. 그러나, 각 화면에 대한 정보 제공시에 실제로 선택되어 사용되는 데이타외에 사용되지 않는 오디오 채널 데이타가 너무 많아 효율적인 데이타의 전송 및 저장이 이뤄지지 않는다. 또한, 데이타의 중복을 줄여주기 위해, 여러 화면을 제공하면서도 하나의 기준 위치에 대한 오디오 데이타 세트만을 제공해주면, 화면은 바뀌더라도 오디오 채널은 변화가 없으므로, 여러 각도에서의 화면에 대한 효과적인 음상이 제공되지 않는다.
따라서, 본 발명은 다 화면에 대한 화상 정보를 제공시, 하나의 오디오 데이타 세트와 비디오의 부가 정보를 이용하여, 여러 화면에 상응하는 오디오 데이타를 생성함으로써 보다 현장감을 제공해 주기 위한 장치에 관한 것이다.
도 2는 표준 5채널 음성 스피커의 배치도로서, 오디오의 재생시에 기준이 되는 스피커 배치 정보를 나타낸다. 기준점(C)과, 기준점(C)에서 예컨대, ±30°각도에 위치한 정우측 및 정좌측 지점(R 및 L)과, 기준점(C)에서 예컨대, ±110°각도에 위치한 후우측 및 후좌측 지점(RS 및 LS)이 도시된다.
오디오 데이타는 미리 위치한 마이크들로부터 소리들이 모아진 후에, 믹싱 과정을 거치거나, 또는 거치지 않은 채로 특정 채널을 통해 소리로 소비자에게 전달된다. 또한, 재생 환경에서 이상적인 스피커 배치 조건이 갖춰져야 한다. 즉, 스피커의 위치와 해당되는 오디오 데이타 채널에 대한 오디오 신호는 미리 결정되어 전달된다. 여러 시각에 대한 영상을 제공해주는 다 화면 서비스시에, 각 비디오 화면에 대한 음원들의 분포는 시각을 어디에 두는가에 따라 달라진다. 비디오 정보와 오디오 정보가 상호 연관성이 있어야 현장감을 더욱 제공할 수 있다. 비디오 정보와 오디어 정보가 상호 연관성이 있도록 만들기 위해서는, 각 비디오 화면에 따른 음상을 각 비디오에 따른 독립된 오디오 다채널 데이타를 이용해 만들어 주는 경우가 있다. 이렇게 각 비디오에 따라 독립된 오디오 데이타를 이용해 준다면, 데이타의 양이 많아지는 문제점을 갖는다.
본 발명은 하나의 오디오 데이타 세트를 가지고, 여러 시각에 대한 비디오 정보를 이용하여, 여러 시각에 대한 오디오 데이타를 만들어 주는 방식에 대한 것으로, 비디오 정보와 연관되게 하나의 오디오 데이타를 변형시키 처리함으로써 현장감을 높여주는 특징이 있다. 본 발명에서 여러 시각에 대한 오디오 데이타를 만들어 주는데 사용되는 인자들은 다음과 같다. 다음의 인자들중 하나 또는 몇가지를 이용하여, 비디오 정보와 연관된 오디오 신호를 만들다. 기준점으로 부터의 좌우 각도, 기준점으로 부터의 상하 각도, 기준점으로 부터의 거리, 기준점으로부터 좌우로 움직인 거리, 기준점으로부터 전후로 움직인 거리, 기준점으로부터 상하로 움직인 거리 등이 있다.
상기한 시각들에 대한 정보들은 송신측에서 오디오 데이타를 전송할 시에 오디오 데이타를 압축 또는 포맷팅하여 전송해주는 데이타 형성 단계에서 포함시켜 주는 것을 특징으로 한다. 상기한 시각들에 대한 비디오 정보를 오디오 데이타와 함께 전송 데이타로서 포함시킴으로써, 수신측에서의 시청자의 요구에 따라 다른 시각으로 부터의 여러 화면이 재생될 시에 각 스피커로부터 출력되는 오디오 신호를 변형하는데 사용된다.
도 3 (a)~(d)는 인자들에 대한 시각 변화의 예를 나타낸 도면들로서, (a)는 기준점을, (b)는 이동시의 시각 변화의 일예를, (c)는 회전시의 시각 변화의 일예를, (d)는 상하 이동의 일예를 각각 나타낸다. 예컨대, 현재의 야구 경기 중계시에, 투수쪽을 비추는 카메라가 선택되는가 또는 1루수쪽을 비추는 비디오 화면이 선택되는가에 따라서 크게 보이는 화면이 변경된다. 시각이 바뀜에 따라 화면내의 배치와 시청자가 느끼는 배치는 도 4를 참조하면 알 수 있다. 도 4 (a) 및 (b)는 화면에 재생되는 시각의 변화에 따른 예를 나타낸 도면으로서, (a)는 투수측의 모습을 정면으로 재생해주는 경우를, (b)는 1루측을 화면으로 재생해주는 경우를 각각 나타낸다.
현재의 서비스상에서 이 일은 방송국측에서 하고 있는데, 다 화면 서비스에서는 소비자의 욕구를 예측하여, 미리 여러 시각으로 부터의 비디오 화면을 전달해주고, 사용자가 제공되는 비디오 화면들 가운데, 가장 맘에 드는 비디오 화면을 선택할 경우에 그 시각에 대한 비디오 화면을 재생시킨다. 제공되는 주 비디오가 투수측인가 1루수측인가에 따라 각 스피커를 통해 들리는 소리들도 변화시켜 주어야 한다. 도 5 (a) 및 (b)는 스피커에서 출력되는 음성 출력 신호들을 개념적으로 나타낸 도면들로서, (a)는 시야 변화를 고려하지 않은 경우를, (b)는 시야 변화를 고려한 경우를 각각 나타낸다. 바뀌는 화면 정보가 투수측에서 만일 1루수측으로 바뀔때에는 시각 변화를 고려하여 각 스피커에 가상 음상을 생성함으로써 결국 시청자가 생각하는 음상을 재현시킨다.
도 6은 물리적 스피커를 이용한 가상 스피커의 구현예를 나타낸 도면이다.
도 6을 참조하면, 기준점(C), 정우측 지점(R), 정좌측 지점(L), 후우측 지점(RS) 및 후좌측 지점(LS)에 위치한 물리적 스피커들 사이에 위치시키고자 하는 가상 스피커들의 위치(예컨대, VC,VR,VRS,VLS 및 VL)를 결정한 후에, 그 가상 스피커를 표현하는데 사용되는 오디오 데이타를 인접한 물리적 스피커들을 통해 재생시키고자 하는 것이 본 발명에서 다루고자하는 방법이다.
가상 스피커와 실제 스피커 사이의 관계는 다음 표 1과 같다.
실제 가상 30° 80° 140° 80° 30°
C - L L - LS LS - RS RS - R R - C
0≤θ＜30 C L LS RS R
30≤θ＜60 R C L LS RS X
60≤θ＜80 X R C L LS RS X
80≤θ＜110 X R C L LS X RS
110≤θ＜140 RS R C L LS X X
140≤θ＜220 X RS R C L LS X
220≤θ＜250 X X RS R C L LS
250≤θ＜280 LS X RS R C L X
280≤θ＜300 X LS RS R C L X
300≤θ＜330 X LS RS R C L
330≤θ＜360 L LS RS R C
도 7은 본 발명에 의한 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치의 블럭도로서, 오디오 데이타 및 비디오 부가 정보 전송부(700), 오디오 데이타 합성부(720) 및 오디오 데이타 청취부(740)로 구성된다.
여기서, 오디오 데이타 합성부(720)는 제1 내지 제4 곱셈기(722,724,726,728) 및 위치/가중치 조절부(730)로 구성되며, 오디오 데이타 청취부(740)는 제1 및 제2 스피커(742,744)로 구성된다. 이들 오디오 데이타 합성부(720)와 오디오 데이타 청취부(740)는 수신측에서의 다 화면에 대한 오디오 데이타 처리부분만을 나타낸다. 또한, 설명을 간단히 하기 위해 2개의 스피커에 한정하여 예를 들었지만, 복수개의 스피커가 사용된다면 그에 따라 복수개의 곱셈기들이 사용될 것이다.
도 7을 참조하면, 다 화면 서비스를 위해 본 발명에 의한 오디오 데이타 처리장치는 여러 시각에 대한 비디오 정보가 제공될 때, 하나의 오디오 데이타 세트 즉, 기준 오디오 데이타 세트와 비디오 부가 정보를 이용하여, 여러 시각에 대응하는 오디오 데이타를 생성한다. 결국, 생성된 오디오 데이타는 실제 스피커들의 출력값으로부터 변경된 값들이 되므로, 실제 스피커들의 출력값을 조절함으로써 가상 스피커들을 구현하게 된다.
구체적으로, 오디오 데이타 및 비디오 부가 정보 전송부(700)는 다 화면중에서 소정의 기준 화면에 대한 하나의 오디오 데이타 및 사용자가 원하는 화면에 상응하는 비디오 부가 정보를 전송한다. 여기서, 비디오 부가 정보는 기준 화면에 대한 상대적인 정보로서, 기준 화면에서의 기준점으로부터 좌우 각도값, 상하 각도값, 거리, 좌우로 움직인 거리, 상하로 움직인 거리등을 포함한다. 즉, 간략히 비디오 부가 정보는 기준 화면과 원하는 화면을 비교할 경우에 변경된 거리 및 각도를 포함한다. 비디오 부가 정보는 오디오 데이타를 압축 또는 포장하여 전송하는 데이타 형성단계에서 비트 스트림상에 포함된다.
오디오 데이타 합성부(720)는 전송된 비디오 부가 정보를 이용하여 오디오 데이타를 원하는 화면에 상응하여 변경한다. 구체적으로, 제1 및 제2 곱셈기(722 및 724)는 전송된 오디오 데이타에 제1 및 제2 각도 가중치(W_sp1 및 W_sp2)를 곱하고, 제3 및 제4 곱셈기(726 및 728)는 제1 및 제2 곱셈기(722 및 724)의 출력에 제1 및 제2 거리 가중치(D_sp1 및 D_sp2)를 곱한다. 여기서, 각도 가중치들 및 거리 가중치들은 위치/가중치 조절부(730)에서 발생된다. 즉, 위치/가중치 조절부(730)는 비디오 부가 정보로서 예컨대, 원하는 화면에 대한 기준 화면으로부터의 이동된 거리 및 각도를 입력하고, 이들 거리 및 각도에 상응하여 오디오 데이타를 변경시킨다. 오디오 데이타 청취부(740)는 변경된 오디오 데이타들을 제1 및 제2 스피커(742 및 744)를 통해 출력한다.
본 발명에 의한 오디오 데이타 처리장치는 결국 오디오 데이타 청취부(740)에서의 두개의 스피커들(742,744)로 전달되는 신호를 소정비로 조절해줌으로써, 공간상에 원하는 화면에 해당하는 가상 음상을 형성한다. 이에 대해 상세히 살펴본다.
도 7에서 예컨대, 특정한 화자의 마이크로 모아진 신호, 즉 오디오 데이타가 제1 및 제2 곱셈기(722 및 724)에서 제1 및 제2 각도 가중치(W_sp1 및 W_sp2)와 곱해짐으로써, 음상을 공간상에 위치시키는 예를 보인다. 여기서, 제1 및 제2 각도 가중치(W_sp1 및 W_sp2)는 전송된 오디오의 파워를 유지시키기 위해 합이 1이 되는것을 특징으로 한다. 곱해진 결과 신호는 제1 및 제2 곱셈기(726 및 728)에서 다시 제1 및 제2 거리 가중치(D_sp1 및 D_sp2)와 곱해진 후에, 제1 및 제2 스피커(742 및 744)를 통해 재생된다. 여기서, 제1 및 제2 거리 가중치(D_sp1 및 D_sp2)는 원하는 화면에 대한 기준 화면의 소정의 기준점으로부터 변경된 거리에 따른 증폭치 또는 감쇄치에 해당한다.
만약, 제1 및 제2 각도 가중치(W_sp1 및 W_sp2)가 동일하면, 두개의 스피커의 출력신호는 이상적으로는 같게 되고, 그 결과, 두개의 스피커 사이의 중앙부에 음상이 잡히게 된다. 여기서 예컨대, 제2 스피커(744)로의 출력신호의 제2 각도 가중치(W_sp2)를 2/3으로 하고, 제1 스피커(742)를 1/3으로 해준다면, 음상은 제2 스피커(744)쪽으로 더 이동하게 된다. 만약 제2 스피커(744)로의 출력신호의 제2 각도 가중치(W_sp2)를 1로 하고, 제1 스피커(742)를 0으로 하면, 제2 스피커(744)에서만 소리가 존재하는 것으로 느끼게 된다. 일반적으로 N명의 화자가 존재할때, 두개의 스피커로 소리를 표현해준다면, 음상은 180/(N-1)만큼의 각도차로 두개의 스피커사이에 위치된다. 도 8 (a)~(c)는 가상 음상 형성방법을 설명하기 위한 도면들이다. 도 8 (a)~(c)는 두개의 스피커를 사용할 경우에, 음성 합성에 의해 음상이 2개, 3개, 4개 잡히는 것을 각각 나타낸다.
한편, 위치/가중치 조절부(730)에서 발생되는 가중치들은 다음과 같이 계산된다. 제1 및 제2 스피커(742 및 744) 사이에 예컨대, 가상 음상으로서 VR이 존재 한다면, 제1 스피커(742)에 대한 제1 각도 가중치(W_sp1)와 제2 스피커(744)에 대한 제2 각도 가중치(W_sp2)는 다음과 같이 구할 수 있다.
W_sp1 = [Theta_sp12 - (Theta_vr - Theta_sp1)]/Theta_sp12
W_sp2 = 1 - W_sp1
여기서, 제1 스피커(742)에 대한 각도는 Theta_sp1이고, 제2 스피커(744)에 대한 각도는 Theta_sp2이고, 가상 음원에 대한 각도는 Theta_vr, 제1 및 제2 스피커(742 및 744) 사이의 각도는 Theta_sp12이다.
위의 식을 이용하여, 가상 음원 형성시에 필요한 가중치들을 구한다. 예컨대, 중심 스피커가 0인 각도에 위치하고, 오른쪽 스피커가 +30도인 위치에 존재할때, 가상 음원을 오른쪽으로 15도인 위치에 존재시키고자 한다면, Theta_sp12는 30, Theta_vr은 15, Theta_sp1은 0이 된다. 이 값들로부터 W_sp1과 W_sp2를 구하면, W_sp1 = [30-(15-0)]/30 = 0.5가 되고, W_sp2 = 0.5가 된다. 즉, 입력 신호를 두개의 스피커에 균등하게 나눠줌으로써 가상 음상을 두개의 스피커 사이의 중간에 위치시킬 수가 있다.
이와같이 하나의 가상 음원에 대한 정보를 인접한 스피커들을 통해 얻음으로써 다 채널로 확장시키는 예를 도 6에서 나타내고 있다. 각 가상 음상들에 대해 바로 인접한 스피커들의 각도를 각각 Theta_sp1 및 Theta_sp2(단, 여기서 Theta_sp1 및 Theta_sp2는 0~180도 이하가 된다.)라 하고, 그 사이의 각도를 Theta_sp12라 하고, 가상 음원에 해당하는 각도를 Theta_vr이라고 놓고 위의 식을 이용하여 연산하면 된다.
이상에서 설명한 바와 같이, 본 발명에 의한 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치는, 여러 각도에서 잡은 화면을 사용자에게 동시에 제공하여, 사용자로 하여금 원하는 각도에서의 화면을 즐길 수 있도록 하며, 여러 비디오 정보가 동시에 제공될때, 각 비디오에 대한 오디오 데이타 세트들이 독립적으로 제공되며, 하나의 오디오 데이타 세트와 각 비디오 화면에 따라 제공되는 각도 및 거리등의 비디오 부가 정보를 이용하여 화면과 연관된 가상 음상을 형성시켜 주며, 오디오 데이타 채널을 위치시키고자 하는 가상 스피커의 위치로 이동시키는 처리를 가능케하며, 사용자가 선호하는 시각의 화면을 선택하여 재생할때, 그 화면과 연관된 오디오 신호를 제공하며, 수신단에서 데이타를 조절해줌으로써 재생 환경을 고려한 최적 재생 처리를 가능케하는 이점이 있다.

Claims (6)

  1. 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치에 있어서,
    다 화면중에서 소정의 기준 화면에 대한 기준 오디오 데이타 및 상기 기준 화면과 사용자가 원하는 화면을 비교할 경우에 상대적인 정보를 포함한 비디오 부가 정보를 전송하는 데이타 전송부;
    전송된 비디오 부가 정보를 이용하여 상기 기준 오디오 데이타를 상기 원하는 화면에 상응하여 변경시키는 오디오 데이타 합성부; 및
    변경된 오디오 데이타로부터 상기 원하는 화면에 해당하는 가상 음상을 형성하여 상기 사용자에게 청취시키는 오디오 데이타 청취부를 포함하는 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치.
  2. 제1항에 있어서, 상기 비디오 부가 정보는,
    상기 기준 오디오 데이터를 압축 또는 포장하여 전송하는 데이터 형성과정에서 비트 스트림상에 포함되는 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이터 처리장치.
  3. 제1항에 있어서, 상기 상대적인 정보는,
    상기 기준 화면과 상기 원하는 화면을 비교할 때, 적어도 상기 기준 화면의 소정의 기준점으로부터 변경된 거리 및 각도를 포함하는 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치.
  4. 제1항에 있어서, 상기 오디오 데이타 합성부는,
    상기 데이타 전송부로부터 전송된 상기 오디오 데이타에 해당 각도 가중치를 각각 곱하는 제1 군의 복수개의 곱셈기들;
    상기 제1 군의 복수개의 곱셈기들중 대응하는 출력에 해당 거리 가중치를 각각 곱하여 상기 변경된 오디오 데이타를 출력하는 제2 군의 복수개의 곱셈기들; 및
    상기 데이타 전송부로부터 전송된 상기 비디오 부가 정보를 이용하여 상기 복수개의 각도 가중치 및 상기 복수개의 거리 가중치를 발생하는 위치/가중치 조절부를 구비하는 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치.
  5. 제4항에 있어서, 상기 위치/가중치 조절부는,
    상기 오디오 데이타 청취부를 구성하는 복수개의 스피커들 사이에 상기 가상 음상을 갖는 소정의 가상 스피커가 위치하도록, 상기 복수개의 스피커들 사이의 각도와, 상기 가상 스피커의 상기 복수개의 스피커들로부터의 상대적인 각도비를 이용하여 상기 복수개의 각도 가중치를 발생하며,
    상기 복수개의 각도 가중치의 합은 1인 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치.
  6. 제4항에 있어서, 상기 위치/가중치 조절부는,
    상기 비디오 부가 정보로서 상기 원하는 화면에 대해 상기 기준 화면의 소정의 기준점으로부터 변경된 거리를 입력하고, 상기 거리에 따른 증폭치 또는 감쇄치에 해당하는 상기 복수개의 거리 가중치를 발생하는 것을 특징으로 하는 다 화면 비디오 디스플레이 시스템에서의 오디오 데이타 처리장치.
KR1019980012122A 1998-04-06 1998-04-06 다화면비디오디스플레이시스템에서의오디오데이타처리장치 KR100284768B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980012122A KR100284768B1 (ko) 1998-04-06 1998-04-06 다화면비디오디스플레이시스템에서의오디오데이타처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980012122A KR100284768B1 (ko) 1998-04-06 1998-04-06 다화면비디오디스플레이시스템에서의오디오데이타처리장치

Publications (2)

Publication Number Publication Date
KR19990079486A KR19990079486A (ko) 1999-11-05
KR100284768B1 true KR100284768B1 (ko) 2001-03-15

Family

ID=42174465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980012122A KR100284768B1 (ko) 1998-04-06 1998-04-06 다화면비디오디스플레이시스템에서의오디오데이타처리장치

Country Status (1)

Country Link
KR (1) KR100284768B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208663B2 (en) 2008-11-04 2012-06-26 Samsung Electronics Co., Ltd. Apparatus for positioning screen sound source, method of generating loudspeaker set information, and method of reproducing positioned screen sound source
US8732768B2 (en) 2012-05-31 2014-05-20 Electronics And Telecommunications Research Institute System and method for providing virtual AV service
US9036842B2 (en) 2008-11-11 2015-05-19 Samsung Electronics Co., Ltd. Positioning and reproducing screen sound source with high resolution

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860964B1 (ko) * 2006-07-05 2008-09-30 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
CN101662693B (zh) * 2008-08-27 2014-03-12 华为终端有限公司 多视点媒体内容的发送和播放方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236199A (ja) * 1994-02-24 1995-09-05 Sanyo Electric Co Ltd 立体音場形成方法
JPH09298729A (ja) * 1996-05-01 1997-11-18 Tietech Co Ltd ケーブルテレビにおける放映方式及びその端末表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236199A (ja) * 1994-02-24 1995-09-05 Sanyo Electric Co Ltd 立体音場形成方法
JPH09298729A (ja) * 1996-05-01 1997-11-18 Tietech Co Ltd ケーブルテレビにおける放映方式及びその端末表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208663B2 (en) 2008-11-04 2012-06-26 Samsung Electronics Co., Ltd. Apparatus for positioning screen sound source, method of generating loudspeaker set information, and method of reproducing positioned screen sound source
US9036842B2 (en) 2008-11-11 2015-05-19 Samsung Electronics Co., Ltd. Positioning and reproducing screen sound source with high resolution
US8732768B2 (en) 2012-05-31 2014-05-20 Electronics And Telecommunications Research Institute System and method for providing virtual AV service

Also Published As

Publication number Publication date
KR19990079486A (ko) 1999-11-05

Similar Documents

Publication Publication Date Title
US6430535B1 (en) Method and device for projecting sound sources onto loudspeakers
US7336792B2 (en) Virtual acoustic image localization processing device, virtual acoustic image localization processing method, and recording media
KR101381396B1 (ko) 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
JP2009278381A (ja) 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
JP2000069391A (ja) 多画面受像装置
JP4602204B2 (ja) 音声信号処理装置および音声信号処理方法
JP2982627B2 (ja) サラウンド信号処理装置及び映像音声再生装置
JPH0259000A (ja) 音像定位再生方式
KR100284768B1 (ko) 다화면비디오디스플레이시스템에서의오디오데이타처리장치
US6754352B2 (en) Sound field production apparatus
US20020037084A1 (en) Singnal processing device and recording medium
Theile On the performance of two-channel and multi-channel stereophony
US6718042B1 (en) Dithered binaural system
JP3461055B2 (ja) 音声チャンネル選択合成方法およびこの方法を実施する装置
JPH1175151A (ja) 音声処理機能付き画像表示システム
IL96553A (en) Sound imaging system for video game
Theile Natural 5.1 music recording based on psychoacoustic principals
JP2006166362A (ja) 音響装置
JP2002176700A (ja) 信号処理装置および記録媒体
JP2007306114A (ja) 映像音声再生装置、及びその音像移動方法
JPH02296498A (ja) 立体音響再生装置および立体音響再生装置内蔵テレビセット
Wuttke General Considerations on Audio Multi-Channel Recording
JP2005086537A (ja) 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
JP2947456B2 (ja) サラウンド信号処理装置及び映像音声再生装置
JP2003164000A (ja) スピーカ装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee