KR20100063092A - 오디오 신호의 디코딩 방법 및 장치 - Google Patents
오디오 신호의 디코딩 방법 및 장치 Download PDFInfo
- Publication number
- KR20100063092A KR20100063092A KR1020107006644A KR20107006644A KR20100063092A KR 20100063092 A KR20100063092 A KR 20100063092A KR 1020107006644 A KR1020107006644 A KR 1020107006644A KR 20107006644 A KR20107006644 A KR 20107006644A KR 20100063092 A KR20100063092 A KR 20100063092A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- component signal
- spatial component
- spatial
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000694 effects Effects 0.000 claims abstract description 62
- 238000012937 correction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 19
- 238000012546 transfer Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
본 발명은 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 갖는 오디오 신호를 수신하는 단계; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호 및 상기 소스 성분 신호를 추출하는 단계; 서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 단계; 및 상기 수정된 공간 성분 신호와 상기 소스 성분 신호를 이용하여 복수의 채널을 포함하는 오디오 신호를 생성하는 단계를 포함하는 오디오 신호의 디코딩 방법이 개시된다.
본 발명의 오디오 신호의 디코딩 장치 및 방법에 따르면, 상관도에 기초하여 공간 성분 신호를 추출하여 수정하고, 수정된 공간 성분 신호 및 소스 성분 신호를 각각 다른 신호 출력부를 이용하여 출력함으로써, 오디오 신호의 입체감을 증대시킬 수 있으며, 공간 성분 신호를 출력하는 신호 출력부를 소스 성분 신호를 출력하는 신호 출력부와 출력방향이 상이하도록 배치함으로써, 청취자에게 공간음이 향상된 오디오 신호를 제공할 수 있다.
Description
본 발명은 오디오 신호의 디코딩 방법 및 장치에 관한 것으로, 보다 상세하게는 복수 채널 오디오 신호를 음장감을 갖도록 인코딩하거나 디코딩하는 오디오 신호 디코딩 방법 및 장치에 관한 것이다.
최근의 오디오 기술은 멀티 채널을 활용하는 규격이 확정되어 있지만, 2 채널로 이루어진 방대한 양의 과거의 컨텐츠, 신규 멀티채널 컨텐츠의 제작 비용, 실제 소비자의 사용 패턴 등의 다양한 이유로 2 채널을 이용하는 스테레오 시스템이 아직도 널리 활용되고 있다.
Technical Problem
그러나, 이와 같이 스테레오 시스템을 사용하는 경우, 사용자의 전면에서만 오디오가 재생되기 때문에, 사용자가 충분한 현장감을 느끼기에 제약이 있다. 또한, 멀티채널을 지원하는 멀티미디어 시스템에서 이를 활용하지 못하고, 단면적인 오디오만이 재생되어 사용자가 입체감을 느끼지 못하는 문제점이 있었다.
Technical Solution
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 입력 신호로부터 공간 성분 신호를 추출하고, 이를 수정함함으로써 현장감이 부여된 오디오 신호의 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 또 다른 목적은, 상기 수정된 공간 성분 신호와 입력 신호로부터 공간 성분 신호를 제거한 소스 성분 신호를 각기 다른 출력부를 통하여 출력함으로써, 입체감이 강화된 오디오 신호의 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.
Advantageous Effects
본 발명은 다음과 같은 효과와 이점을 제공한다.
첫째, 본 발명의 오디오 신호 디코딩 장치 및 방법은, 입력된 오디오 신호로부터 상관도에 기초하여 공간 성분 신호를 추출하고 서라운드 효과 정보를 이용하여 수정함으로써, 오디오 신호의 공간감을 향상시키는 효과를 얻을 수 있다.
둘째, 본 발명의 오디오 신호 디코딩 장치는, 수정된 공간 성분 신호 및 소스 성분 신호를 각각 다른 신호 출력부를 이용하여 출력함으로써, 오디오 신호의 입체감을 증대시킬 수 있다.
셋째, 본 발명의 오디오 신호 디코딩 장치는, 공간 성분 신호를 출력하는 신호 출력부를 소스 성분 신호를 출력하는 신호 출력부와 출력방향이 상이하도록 배치함으로써, 청취자에게 공간음이 강조된 오디오 신호를 제공할 수 있다.
도 1 및 도 2 는 일반적인 스테레오 녹음 환경을 나타내는 개략도이다.
도 3 은 도 1 및 도 2 와 같은 방법으로 녹음된 스트레오 신호를 출력하는 일반적인 출력 장치의 배치를 나타내는 개략도이다.
도 4 는 본 발명의 일 실시예에 따른 오디오 신호의 출력 방법을 나타내는 개략도이다.
도 5 는 본 발명의 일 실시예에 따른 스테레오 출력 신호를 분석하는 시간-주파수 도메인을 나타내는 그래프이다.
도 6 는 본 발명의 일 실시예에 따른 게인 팩터 A , 소스 성분 신호 S ,및 게인 팩터와 소스 성분 신호의 곱인 AS 의 정규화 파워를 나타내는 그래프이다.
도 7 은 본 발명의 일 실시예에 따른 가중치들 ω1, ω2 및 
에 대한 후 크기조정(post-scaling) 팩터를 나타내는 그래프이다.
도 8 은 본 발명의 일 실시예에 따른 가중치들 ω3, ω4 및 
에 대한 후 크기조정 팩터를 나타내는 그래프이다.
도 9 은 본 발명의 일 실시예에 따른 가중치들 ω5, ω6 및 
에 대한 후 크기조정 팩터를 나타내는 그래프이다.
도 10 은 본 발명의 일 실시예에 따른 중앙(center)에서 청취되는 오디오 신호에 대한 공간 분해를 나타내는 그래프이다.
도 11 은 본 발명의 일 실시예에 따른 오디오 신호의 디코딩 장치를 나타낸 개략적인 블록도이다.
도 12 는 일반적인 5.1 채널 구성과 이 때 청취자에게 유입되는 신호의 경로를 나타내는 것이다.
도 13 은 본 발명의 일 실시예에 따른 수정된 공간 성분 신호를 포함하는 스테레오 신호의 출력을 나타내는 것이다.
도 14 는 본 발명의 일 실시예에 따른 소스 성분 신호 수정부를 포함하는 오디오 신호의 디코딩 장치의 개략적인 블록도이다.
도 15 는 본 발명의 일 실시예에 따른 소스 성분 신호 확장부를 포함하는 오디오 신호의 디코딩 장치 중 일부를 나타내는 개략적인 블록도이다.
도16 은 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치를 나타내는 개략적인 블록도이다.
도 17 은 본 발명의 일 실시예에 따른 오디오 신호의 디코딩 장치에 포함되는 제 1 신호 출력부와 제 2 신호 출력부의 배치를 나타내는 그래프이다.
도 18 및 도 19 는 본 발명의 일 실시예에 따른 오디오 신호의 디코딩 장치의 출력 신호의 전달 경로를 나타내는 것이다.
도 20 은 본 발명의 일 실시예에 따른 오디오 신호의 디코딩 장치를 나타내는 개략도이다.
도 21 은 본 발명의 일 실시예에 따른 출력장치를 나타내는 것이다.
도 22 는 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치를 나타내는 개략도이다.
도 23 내지 도 25 는 본 발명의 일실시예 따른 오디오 신호의 디코딩 장치를 나타내는 개략적인 블록도이다.
Best Mode for Carrying Out the Invention
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오디오 신호의 디코딩 방법은, 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 갖는 오디오 신호를 수신하는 단계; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호 및 상기 소스 성분 신호를 추출하는 단계; 서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 단계; 및 상기 수정된 공간 성분 신호와 상기 소스 성분 신호를 이용하여 복수의 채널을 포함하는 오디오 신호를 생성하는 단계를 포함한다.
본 발명에 따르면, 상기 상관도는 일정 시간마다 또는 일정 주파수 밴드마다 추정될 수 있다.
본 발명에 따르면, 상기 공간 성분 신호는 상기 채널 각각에 서로 대응되도록 포함된 성분 신호간의 상관도가 낮은 신호인 것일 수 있다.
본 발명에 따르면, 상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 레벨 정보일 수 있다.
본 발명에 따르면, 상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 시간지연, 필터 또는 위상 정보일 수 있다.
본 발명에 따르면, 확장 효과 정보를 이용하여 상기 소스 성분 신호들을 수정하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 소스 성분 신호는 상기 수신된 오디오 신호로부터 상기 추출된 공간 성분 신호를 제거하여 획득할 수 있다.
본 발명의 또 다른 측면에 따르면, 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 수신하는 오디오 신호 수신부; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호를 추출하는 공간 성분 신호 추출부; 서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 공간 성분 신호 수정부; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 소스 성분 신호를 추출하는 소스 성분 신호 추출부; 및 상기 소스 성분 신호 및 상기 공간 성분 신호를 출력하는 신호 출력부를 포함한다.
본 발명의 또 다른 측면에 따르면, 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 갖는 오디오 신호를 수신하는 오디오 신호 수신부; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호를 추출하는 공간 성분 신호 추출부; 서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 공간 성분 신호 수정부; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 소스 성분 신호를 추출하는 소스 성분 신호 추출부; 상기 수정된 공간 성분 신호를 출력하는 제 1 신호 출력부; 및 상기 수신된 오디오 신호 또는 상기 소스 성분 신호를 출력하는 제 2 신호 출력부를 포함한다.
본 발명에 따르면, 상기 제 1 신호 출력부는 상기 제 2 신호 출력부의 출력방향과 평행이 아닌 출력방향을 가질 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부는 상기 제 2 신호 출력부의 출력방향과 동일한 평면 상에 위치하는 출력방향을 가질 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부는 하나의 출력장치를 구성할 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부는 각기 다른 주파수 밴드의 신호를 출력하는 복수개의 유닛을 포함할 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부는 상기 제 2 신호 출력부의 출력방향을 포함하는 평면과 직각을 이루는 출력방향을 가질 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부는 특성 정보에 따라 출력방향을 이동시킬 수 있다.
본 발명에 따르면, 환경 설정 정보를 생성하는 환경 설정 정보 생성부를 더 포함하고, 상기 공간 성분 신호 수정부는 상기 서라운드 효과 정보 및 상기 환경 설정 정보를 이용하여 소정의 공간 효과를 갖도록 수정할 수 있다.
본 발명에 따르면, 상기 환경 설정 정보 생성부는 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부와 청취 위치간의 공간 특성에 기초하여 상기 환경 설정 정보를 생성할 수 있다.
본 발명에 따르면, 상기 환경 설정 정보 생성부는 감지 센서를 이용하여 추정된 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부의 출력신호들의 반사위치, 반사량을 이용하여 상기 환경 설정 정보를 생성할 수 있다.
본 발명에 따르면, 상기 환경 설정 정보 생성부는 기 저장된 환경 설정 정보 중 하나를 채택할 수 있다.
본 발명에 따르면, 상기 제 1 신호 출력부는 상기 공간 성분 신호의 출력시 간을 지연시키는 출력지연부를 더 포함한다.
본 발명에 따르면, 상기 제 2 신호 출력부는 상기 소스 성분 신호의 출력에 확장효과를 적용하는 확장 효과 적용부를 더 포함한다.
본 발명의 또 다른 측면에 따르면, 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 갖는 오디오 신호를 수신하는 단계; 상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호 및 상기 소스 성분 신호를 추출하는 단계; 서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 단계; 및 상기 수정된 공간 성분 신호와 상기 소스 성분 신호를 각각 다른 출력장치를 통하여 출력하는 단계를 포함하는 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
특히, 본 발명에서 코딩이라 함은, 인코딩 및 디코딩을 모두 포함하는 개념으로 이해되어야 한다.
또한, 본 명세서에서 정보(information)란, 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다. 그리고, 본 명세서에서 오디오 신호의 일 예로 스테레오 신호를 설명하나, 이에 한정되지 아니하고, 3 개 이상의 복수 개의 채널을 갖는 오디오 신호일 수 있다.
일반적으로 스테레오 신호를 스테레오 채널을 갖는 출력장치를 이용하는 경우, 청취자는 왼쪽 및 오른쪽 채널로부터 오디오 신호를 수신한다. 상기 오디오 신호는 크게 왼쪽 채널 신호 및 오른쪽 채널 신호로 나눌수 있고, 상기 각각의 채널 신호는 방향성을 갖는 소스 성분 신호와 방향성을 가지지 않고 공간감을 부여하는 공간 성분 신호을 포함할 수 있다.
상기 소스 성분 신호는, 예를 들어, 무대위의 가수, 악기 등의 소리일 수 있고, 영화 등의 경우에는 눈 앞에서 벌어지는 대화, 각종 효과음 등일 수 있으며, 이로 인하여 청취자가 소리의 방향을 느낄 수 있다. 반면, 상기 공간 성분 신호는, 청취자가 위치한 물리적 환경에 의하여 발생하는 잔향음, 객석의 박수 소리, 잡음 등을 포함하고, 청취자가 자신이 위치한 공간에 대한 느낌이나 입체감 등을 느낄 수 있도록 하는 역할을 한다. 즉, 상기 소스 성분 신호는 특정 방향에서 들리는 신호이고, 일반적으로 청취자의 전면에서 발생한며, 상기 공간 성분 신호는 방향성 없이 사방에서 들리는 신호이다.
본 명세서에서 사용되는 전면이라는 용어는 앞면, 앞쪽을 지칭하는 것으로, 예를 들어, 장치의 전면은 장치의 화면부가 바라보는 앞쪽을 나타낸다. 또한, 출력장치가 측후면에 배치된다는 것은, 출력장치가 오디오 신호의 디코딩 장치의 화면부가 존재하는 면을 기준으로 45°내지 135°의 출력방향을 갖도록 배치된다는 것을 나타내며, 측전면에 배치된다는 것은, 출력장치가 오디오 신호의 디코딩 장치의 화면부가 존재하는 면을 기준으로 0°내지 45°또는 135°내지 180°의 출력방향을 갖도록 배치된다는 것을 의미한다.
도 1 및 도 2 는 일반적인 스테레오 녹음 환경을 나타내는 개략도이다. 도 1 에 나타난 바와 같이, 청취자가 위치할 수 있는 환경 및 위치를 설정하여 스테레오 채널의 신호를 녹음할 수 있고, 도 2 에 나타난 바와 같이, 소스 성분 신호를 발생하는 개체에 여러 개의 마이크를 이용하여 신호를 취득한 후, 믹서를 이용하여 이를 적절히 조합하여 스테레오 신호를 생성할 수 있다.
도 3 은 도 1 및 도 2 와 같은 방법으로 녹음된 스트레오 신호를 출력하는 일반적인 출력 장치의 배치를 나타내는 개략도이다. 도 3 에 나타난 바와 같이, 스테레오 신호를 재생하는 경우, 일반적으로 스테레오 신호의 출력 장치가 청취자의 전면에 위치하기 때문에, 청취자는 모든 소리가 전면에서 들리는 것처럼 인지한다. 이러한 경우, 전면에 위치하는 소스 성분 신호는 청취자에게 왜곡없이 전달되지만, 녹음 환경에서 청취자의 측면, 후면에서 들리는 공간 성분 신호는 전달될 수 없다. 물론, 출력장치에서 출력된 스테레오 신호가 청취자가 위치한 환경에 따라 반사 또 는 흡수되어 잔향이 들릴 수 있지만, 이는 녹음 환경의 공간 성분 신호와 상이한 것으로, 청취자는 녹음시의 공간 성분 신호를 청취할 수 없게 된다.
본 발명에 따른 오디오 신호의 디코딩 방법 및 장치는 스테레오 신호에 포함된 공간 성분 신호를 추출하여 이용함으로써, 공간감을 향상시킨 오디오 신호를 얻을 수 있게 한다.
도 4 는 본 발명의 일 실시예에 따른 오디오 신호의 출력 방법을 나타내는 개략도이다. 앞서 설명한 바와 같이, 공간 성분 신호는 방향성을 가지지 않는 반면, 소스 성분 신호는 방향성을 갖는 특성이 존재한다. 청취자가 방향성을 인지하는 것은, 동일한 신호가 레벨의 차이(Level Difference) 또는 시간 지연(Time Difference)를 가지고 청취자의 양 귀에 전달되거나, 또는 레벨 차이 및 시간 지연을 모두 가지고 청취자의 양 귀에 전달되는 경우이다. 따라서, 방향성을 갖는 소스 성분 신호는 상기 소스 성분 신호를 포함하는 두 채널간에 높은 상관도를 갖게 하는 반면, 공간 성분 신호는 두 채널이 낮은 상관도를 갖도록 기여한다. 따라서, 본 발명의 일 실시예에 따른 오디오 신호의 디코딩 방법은 상기 공간 성분 신호를 추출하기 위하여 스테레오 채널에 포함된 성분 신호 중 채널간의 상관도가 낮은 성분 신호를 추출한다.
도 4 에 있어서, 소스 성분 신호 s 는 게인 팩터 α 에 의하여 결정된 방향에 위치하는 직접음을 나타내는 신호를 지칭하며, 공간 성분 신호 n 1,n 2 는 녹음 환경에서의 공간음을 지칭하고, x 1 , x 2 는 스트레오 채널 중 왼쪽 및 오른쪽 채널의 출력신호를 각각 지칭한다. 또한, 상기 스테레오 신호는 특정한 방향 정보를 가지고 스테레오 채널로 출력될 수 있으며, 상기 방향 정보는 레벨차 정보, 시간차 정보 등일 수 있다. 반면, 상기 공간 성분 신호는 재생 환경 또는 청각적으로 느껴지는 너비 등에 의하여 결정될 수 있다. 이러한 도 4 의 스테레오 출력 신호는 소스 성분 신호s, 공간 성분 신호 n 1,n 2 및 소스 성분 신호의 방향을 결정하는 게인 팩터 α를 이용하여 하기 수학식 1 으로 표현할 수 있다.
[수학식 1]
동시에 활성화된 다수 개의 오브젝트 신호를 포함하는 비선형적인 스테레오 신호를 효과적으로 분석하기 위하여는, 상기 수학식 1 을 다수 개로 분할된 주파수 밴드 및 시간 영역을 이용하여 독립적으로 분석하여야 하며, 이러한 경우 상기 x 1(n)및 x 2(n) 는 다음과 같이 나타낼 수 있다.
[수학식 2]
상기 i 는 주파수 밴드 인덱스를 나타내며, k 는 시간 밴드 인덱스를 나타낸다.
도 5 은 스테레오 출력 신호를 분석하는 시간-주파수 도메인을 나타내는 그래프이다. 각각의 시간-주파수 영역은 인덱스 i 및 k 를 포함하며, 소스 성분 신호 S, 공간 성분 신호 N 1 및 N 2, 게인 펙터 A 는 독립적으로 추정될 수 있다. 하기에서는 주파수 밴드 인덱스 i 와 시간 밴드 인덱스 k 를 생략하고자 한다.
또한, 하기 수학식 3 과 같은 신호 모델을 이용할 수 있다.
[수학식 3]
여기서, h_head_Li, h_head_Ri 는 i 번째 개체가 L,R 채널에 포함되는 관계를 나타내는 전달함수의 초기부분에 해당하며, h_tail_Li,h_tail_Ri 는 전달함수의 뒷부분에 해당하며, 이는 각 채널로 유입되는 s_i 의 잔향 성분을 포함하게 된다. * 는 컨볼루션(convolulion)을 의미한다. 이 경우, 공간 성분 신호는 상기 수학식 3 의 우변 중 (
) 에 해당한다.
또한, 이밖의 다양한 신호 모델을 통하여 소스 성분 신호와 공간 성분 신호를 수학적으로 모델링(modeling) 할 수 있다. 그러나, 본 발명의 오디오 신호의 디코딩 장치 및 방법에서는 상기 수학식 1 및 2 로 나타난 신호 모델을 이용하여 소스 성분 신호 및 공간 성분 신호를 추정, 수정하는 방법을 기술하도록 하며, 이에 본 발명이 한정되는 것은 아니다.
스테레오 신호의 분석을 위한 주파수 밴드의 대역폭은 특정 밴드와 동일하도록 선택될 수 있으며, 스테레오 신호의 특성에 따라 결정될 수 있다. 각각의 주파 수 밴드에서 S, N 1, N 2, A 는 t 밀리초마다 추정될 수 있으며, X 1 및 X 2 가 스테레오 신호로서 주어지는 경우, 도 5 의 시간-주파수 도메인별 분석에 의하여 S, N 1, N 2,A 의 추정값이 결정될 수 있다. X 1 의 파워(power)는 하기 수학식 4 과 같이 추정될 수 있다.
[수학식 4]
여기서, E{.} 은 평균을 나타낸다.
N 1 및 N 2 의 파워는 동일한 것으로 가정하고, 외부에서 영향을 미치는 종속적인 신호들 또한, 스테레오 채널의 왼쪽 및 오른쪽 채널에서 동일한 파워를 갖는 것으로 가정한다(P N = P N1 = P N2).
P N = P N1 = P N2 이외에도 예를 들어, A 2 P N1 = P N2 등의 가정이 이용될 수 있다.
또한, 스테레오 신호가 시간-주파수 도메인으로 표현되는 경우, 게인 정보(A), 소스 성분 신호의 파워(P S), 공간 성분 신호의 파워(P N), 및 정규화된 교차 상관 관계(normalized cross-correlation, 
)를 추정할 수 있게 된다. 스테레오 채널간의 정규화된 교차 상관 관계는 하기 수학식 5 와 같이 나타낼 수 있다.
[수학식 5]
A,P S,P N 는 추정된 P X1,P X2,
를 이용하여 결정될 수 있다. 상기 P X1,P X2,
에 관한 관계식은 다음 수학식 6 와 같다.
[수학식 6]
상기 수학식 6 를 A,P S,P N 에 대하여 정리하면 하기 수학식 7 과 같다.
[수학식 7]
그리고, 상기 B, C 의 값은 하기 수학식 8 과 같다.
[수학식 8]
소스 성분 신호 S,N 1 그리고 N 2의 최소 제곱 추정치들 A , P S, 그리고 P N 의 함수로 계산된다. 각각의 i 그리고 k 에 대하여, 소스 성분 신호 S 는 다음과 같이 추정된다.
[수학식 9]
여기서, ω1, ω2 는 실수 가중치들이다. 이때, 추정 에러 (estimation error)는 하기 수학식 10 와 같다.
[수학식 10]
상기 가중치들 ω 1와 ω 2 는 상기 추정 에러 E 가 X 1, X 2 에 대하여 직교할 때 최소 평균 제곱(least mean square)에서 최적이 된다. 즉,
[수학식 11]
일 때, 상기 수학식 10 및 수학식 11 으로부터 하기 수학식 12 의 두 개의 방정식을 얻을 수 있다.
[수학식 12]
상기 수학식 12 로부터 가중치 ω 1, ω 2 들은 다음 수학식 13 와 같이 계산된다.
[수학식 13]
이와 유사하게, N 1, N 2 도 추정된다. N 1 의 추정치는 하기 수학식 14 과 같다.
[수학식 14]
또한, 추정 에러(estimation error)는 다음과 같이 계산될 수 있다.
[수학식 15]
상기 가중치들 ω 3 와 ω 4 는 상기 추정 에러 E 가 X 1, X 2에 대하여 직교하도록 계산되어 하기 수학식 16 와 같이 계산된다.
[수학식 16]
또한, N 2 의 추정치도 N 1 과 유사하게 계산되며, N 2 는 하기 수학식 17 과 같이 표현되고, N 2 의 가중치들은 하기 수학식 18 과 같이 계산된다.
[수학식 17]
[수학식 18]
상기와 같이, 
, 
, 
의 최소 제곱 추정치들이 계산된 후, 이들은 후 크기조정(post-scaling) 되어 상기 추정치들(
, 
, 
)의 파워는 P S 및 P N = P N1 = P N2 와 동일하게 된다. P S 의 파워는 하기 수학식 19 과 같다.
[수학식 19]
상기 수학식 19 과 같은 파워 
를 갖는 S 의 추정치를 획득하기 위하여, 
는 하기 수학식 20 와 같이 조정(scale) 된다.
[수학식 20]
상기 
와 같은 방법으로, 
및 
도 하기 수학식 21 및 22 과 같이 조정된다.
[수학식 21]
[수학식 22]
한편, 도 6 내지 10 은 상기 
, 
, 및 
를 획득하기 까지 계산된 여러가지 변수들의 관계를 나타내는 그래프이다. 먼저, 상기 게인팩터 A, S, 및 AS 의 정규화 파워는 스테레오 신호의 레벨 차이 및 정규화된 교차 상관 관계 Φ의 함수로 나타낼 수 있으며, 이는 도 6 에 도시된 바와 같다.
도 7 에서는 S 의 최소 제곱 추정치를 계산하기 위한 가중치들 ω 1 및 ω 2 를 스테레오 신호의 레벨 차이 및 정규화된 교차 상관 관계 Φ의 함수로 상단 두개의 그래프에서 나타냈고, 상기 수학식 19 의 
에 대한 후 크기조정(post-scaling) 팩터를 하단의 그래프상에 나타내었다.
또한, 도 8 에서는 N 1의 최소 제곱 추정치를 계산하기 위한 가중치들 ω 3 및 ω 4를 스테레오 신호의 레벨 차이 및 정규화된 교차 상관 관계 Φ의 함수로 상단 두 개의 그래프에서 나타냈고, 상기 수학식 19 의 
에 대한 후 크기조정 팩터를 하단의 그래프상에 나타내었다.
도 9 에서는 N 2 의 최소 제곱 추정치를 계산하기 위한 가중치들 ω 5 및 ω 6 를 스테레오 신호의 레벨 차이 및 정규화된 교차 상관 관계 Φ의 함수로 상단 두개의 그래프에서 나타냈고, 상기 수학식 19 의 
에 대한 후 크기조정 팩터를 하단의 그래프상에 나타내었다.
도 10 은 스테레오 신호가 출력장치를 통하여 출력되는 경우, 중앙(center)에서 청취되는 음성(예를 들어, 보컬, 음성)을 포함하는 스테레오 신호(예를 들어, 가요)에 대한 공간 분해를 나타내는 그래프이고, 추정된 s, A, n 1, 및 n 2 를 도시하였다. 상기 스테레오 음악 신호에 포함된 소스 성분 신호 s (예로, 보컬)및 공간 성분 신호 n 1, n 2,(예로, BGM)들은 시간 영역상에 도시하였고, 게인 팩터 A 는 모든 시간-주파수 타일에 대하여 도시하였다.
도 10 에 나타난 바와 같이, 공간 성분 신호 n 1, n 2, 에 비하여, 추정된 소스 성분 신호 s 가 상대적으로 강한 것으로 나타났다. 이는 녹음시 중앙(center)에서 소스 성분 신호가 우세하였던 사실과 일치한다. 이와 같이, 본 발명의 오디오 신호의 디코딩 방법에 의하여 스테레오 신호의 녹음시 포함된 소스 성분 신호 및 공간 성분 신호를 추정하는 것은 본 발명의 당업자에게 자명하다.
본 발명의 오디오 신호의 디코딩 장치는 상기에서 언급한 바와 같이 공간 성 분 신호 및 소스 성분 신호를 추정하며, 추정된 신호들을 이용하여 공간 성분 신호를 추출하고 이를 수정함으로써, 입체적인 공간감이 더욱 향상된 오디오 신호를 얻을 수 있게 된다.
도 11 은 본 발명의 오디오 신호의 디코딩 장치(1100)의 일실시예를 나타낸 개략도이다. 먼저, 오디오 신호 수신부(1110)은 오디오 신호의 디코딩 장치의 외부로부터 입력된 오디오 신호를 수신한다. 입력되는 오디오 신호는 복수의 채널을 포함하며, 이는 스테레오 채널일 수도 있고, 3 개 이상의 멀티 채널일 수 있다. 또한, 상기 오디오 신호는 공간 성분 신호들 및 소스 성분 신호들을 포함할 수 있으며, 이들은 채널 각각에 서로 대응되도록 포함될 수 있다. 예를 들어, 2 개의 소스 성분 신호(예, vocal1, vocal2)를 포함하는 경우, 상기 소스 성분 신호는 시간 지연(Time difference) 및/또는 레벨 차(Level difference)를 가지고 각각의 채널에 포함된다.
공간 성분 신호 추출부(1120)는 상기 오디오 신호를 입력받아 서로 대응되도록 포함된 신호들 사이의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호를 추출한다. 이 때, 상기 공간 성분 신호 추출부(1120)는 상기 수학식 1 내지 22 를 이용하여 공간 성분 신호를 추정할 수 있으며, 이에 한정되지 아니한다. 상기 공간 성분 신호를 추출하기 위하여 이용되는 상관도는, 일정 시간마다 추정될 수 있으며, 또는 일정 주파수 밴드마다 추정될 수 있다. 일반적으로, 공간 성분 신호는 각 채널에 포함된 성분 신호간에 상관도(correlation)이 낮으며, 반대로 소스 성분 신호는 상관도가 높게 나타난다.
공간 성분 신호 수정부(1130)는 상기 추출된 공간 성분 신호를 입력받아 서라운드 효과 정보를 이용하여 상기 공간 성분 신호가 소정의 공간 효과를 갖도록 수정할 수 있다. 상기 서라운드 효과 정보는 상기 오디오 신호 수신부(1110)에 입력된 오디오 신호를 나타내는 비트스트림에 포함될 수 있고, 본 발명에 따른 오디오 신호의 디코딩 장치 중 공간 성분 신호 수정부(1130)내에 저장되어 있을 수 있다. 또한, 청취자로부터 청취자 입력장치(미도시)를 통하여 입력될 수 있다.
상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 레벨 정보이거나 딜레이 효과, 필터, 및 게인 값 중 어느 하나 이상일 수 있으며, 상기 공간 성분 신호를 조절함으로써 도 3 에 나타난 바와 같이 스테레오 신호가 전면에서만 재생됨으로써 발생하는 공간감의 저하를 개선할 수 있게 된다. 상기 레벨 정보는 상기 추출된 공간 성분 신호의 레벨 크기를 적용하여 레벨이 적거나 크게 수정된 공간 성분 신호를 생성할 수 있게 한다. 또한, 상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 위상 정보일 수 있으며, 상기 위상 정보는 상기 공간 성분 신호의 위상을 조절함으로써 상기 공간 성분 신호의 공간감을 향상시킬 수 있다. 특히, 서라운드 효과 정보의 일 예인 딜레이 효과를 상기 공간 성분 신호에 적용하여 상기 공간 성분 신호의 출력을 지연시킴으로써, 반향(reverb)을 증가시켜 오디오 신호의 공간감을 개선할 수 있다. 이와 관련한 상기 공간 성분 신호 수정부(1130)의 구체적인 기능 및 역할은 이하에서 도 12 및 도 13 을 참조하여 살펴보기로 한다.
소스 성분 신호 추출부(1140)는 상기 오디오 신호 수신부(1110)에 입력된 오 디오 신호 및 상기 공간 성분 신호 추출부(1120)에서 추출된 공간 성분 신호를 입력받고, 상기 오디오 신호로부터 상기 공간 성분 신호를 제거함으로써 소스 성분 신호를 추출한다. 또한, 상기 오디오 신호 수신부(1110)에 입력된 오디오 신호에 대하여 상기 수학식 1 내지 22 의 과정을 거침으로써 추정된 소스 성분 신호(S)를 상기 소스 성분 신호 추출부(1140)에서 추출된 소스 성분 신호로 이용할 수 있다.
신호 출력부(1150)는 상기 소스 성분 신호 추출부(1140)에서 추출된 소스 성분 신호와 상기 공간 성분 신호 수정부(1130)에서 수정된 공간 성분 신호를 입력받아 결합하여 본 발명의 오디오 신호의 디코딩 장치 외부로 스테레오 신호를 출력한다. 상기 신호 출력부(1150)는 상기 소스 성분 신호 추출부(1140)에서 추출된 소스 성분 신호 대신에, 오디오 신호 수신부(1110)에 수신된 오디오 신호, 즉, 채널 신호를 출력할 수 있으며, 상기 소스 성분 신호 및 상기 수신된 오디오 신호를 공간 성분 신호와 함께 출력할 수 있다. 또한, 상기 오디오 신호 수신부(1110)에 수신되는 오디오 신호는 상기 신호 출력부(1150)에서 소스 성분 신호 및 오디오 신호 중 어느 하나 이상을 출력하는지 여부를 나타내는 플래그 정보를 포함할 수 있다. 상기 신호 출력부(1150)는 하나의 출력장치일 수 있고, 2 이상의 출력장치로 이루어질 수 있다. 또한, 상기 신호 출력부(1150)가 2 이상의 출력장치로 이루어지는 경우, 각 출력장치의 기능 및 구성이 동일하지 아니할 수 있으며, 여러가지 형태로 배치하는 것도 가능하다. 상기 신호 출력부(1150)와 관련된 구체적인 내용은 이하에서 도 16 내지 도 25 를 참조하여 서술하기로 한다.
본 발명의 오디오 신호의 디코딩 장치의 다른 일실시예에 따르면, 상기 공간 정보 신호 수정부(1130)는 공간 정보 신호에 서라운드 효과 정보 중 일예로 필터를 적용함으로써, 상기 신호 출력부(1150)에서 출력되는 스테레오 신호를 일반적인 5.1 채널의 출력신호를 청취자가 듣는 신호(L 0,R 0)와 유사하도록 수정할 수 있다.
도 12 는 일반적인 5.1 채널 구성과 이 때 청취자에게 유입되는 신호의 경로를 나타내는 것이다. 도 12 에 나타난 바와 같이, GX_Y 는 X 스피커에서 Y 귀로 신호가 전달되는 전달 함수를 나타낸다. 예를 들면, GL_R은 L 채널의 소리가 청취자의 오른쪽 귀로 들어오기까지의 전달 함수를 나타내며, GC_R 은 C 채널의 소리가 청취자의 오른쪽 귀로 들어오기까지의 전달 함수를 나타낸다. 상기 GX_Y 를 머리전달함수(Head-related Transfer Function, 이하 'HRTF'라 함)라 한다.
도 12 를 참조하여, 청취자의 귀로 들어오는 신호(L 0,R 0)를 하기 수학식 23 과 같이 나타낼 수 있다.
[수학식 23]
이를 참고하여, 본 발명의 오디오 신호의 디코딩 장치로부터 출력되는 스테레오 신호(L',R')를 하기 수학식 24 와 같이 나타낼 수 있다.
[수학식 24]
상기 L',R' 은 각 채널의 출력 신호를 나타내고, D(L),D(R)은 L 채널 및 R 채널 입력신호의 소스 성분 신호를 나타내며, A(L),A(R) 은 공간 성분 신호를 나타낸다. G_L,G_R 은 각 채널의 공간음 성분에 적용되는 필터를 나타낸다.
이와 같이, 공간 성분 신호 수정부(1130)는 공간 성분 신호에 적용되는 필터를 이용하여 상기 공간 성분 신호가 소정의 공간 효과를 갖도록 수정할 수 있다. 상기 필터는 상기 오디오 신호 수신부(1110)에 입력된 오디오 신호를 나타내는 비트스트림에 포함될 수 있고, 본 발명에 따른 오디오 신호의 디코딩 장치 중 공간 성분 신호 수정부(1130) 내에 저장되어 있을 수 있으며, 청취자로부터 청취자 입력장치(미도시)를 통하여 입력될 수 있다. 상기 G_X 는 고정된 값일 수 있고, 청취자의 요구에 따라 변화되는 가변적인 값일 수 있다. G_X 는 상기 공간 성분 신호가 기존의 L,R 출력장치의 위치가 아닌, 임의의 가상의 위치에서 재생된 것과 같은 효과를 획득할 수 있다. 따라서, G_X 는 HRTF 를 이용할 수 있고, 또는 HRTF 에 누화(cross-talk)를 고려한 형태일 수 있으나, 이에 한정되지 아니한다.
도 13 은 상기 수학식 24 의 필터를 이용하여 수정된 공간 성분 신호를 포함하는 스테레오 신호의 출력을 나타내는 것이다. 도 13 에 나타난 바와 같이, 본 발명의 일실시예에 따라 디코딩된 오디오 신호가 두 개로 구성된 출력부(1310, 1320)에 의하여 출력되는 경우, 청취자는 청취자의 전면에 배치된 상기 출력부(1310, 1320)로부터 소스 성분 신호를 들을 수 있다. 반면, 필터가 적용된 공간 성분 신호는 가상 출력부(1330, 1340)가 있는 위치로부터 출력되는 것처럼 느낄 수 있게 된다. 따라서, 공간감의 개선을 위하여 공간 성분 신호를 위한 측/후면 출력장치를 추가로 사용한 것과 같은 효과를 얻을 수 있으므로, 스테레오 신호 및 장치를 이용하여 효과적으로 입체 음향을 즐길 수 있게 된다.
본 발명의 다른 일실시예에 따른 오디오 신호의 디코딩 장치는 추출된 소스 성분을 수정함으로써, 오디오 신호에 입체감을 부여할 수 있으며, 이와 관련한 오디오 신호의 디코딩 장치를 도 14 및 도 15 를 참고하여 살펴보기로 한다.
도 14 는 본 발명의 다른 일실시예에 따른 소스 성분 신호 수정부를 포함하는 오디오 신호의 디코딩 장치(1400)의 개략도이다. 상기 오디오 신호의 디코딩 장치(1400)는 크게 오디오 신호 수신부(1410), 공간 성분 신호 추출부(1420), 공간 성분 신호 수정부(1430), 소스 성분 신호 추출부(1440), 소스 성분 신호 수정부(1450), 신호 출력부(1460)를 포함한다. 상기 오디오 신호 수신부(1410), 공간 성분 신호 추출부(1420), 공간 성분 신호 수정부(1430), 소스 성분 신호 추출부(1440), 및 신호 출력부(1460)는 도 11 의 오디오 신호의 디코딩 장치(1100)의 명칭이 동일한 구성요소와 동일한 기능 및 역할을 수행함으로 이와 관련된 상세한 설명은 생략하기로 한다.
소스 신호 성분 수정부(1420)는 상기 소스 성분 신호 추출부(1440)에서 추출된 소스 성분 신호를 입력받아 공간감을 증대시키기 위하여 상기 소스 성분 신호를 수정할 수 있다. 상기 소스 신호 성분 수정부(1420)는 상기 소스 성분 신호에 서라운드 효과 또는 확장 효과를 부여할 수 있는 필터를 이용할 수 있고, 본 발명은 이에 한정되지 아니한다.
도 15 는 확장 효과를 부여하는 필터를 이용하여 소스 신호를 수정하는 오디 오 신호의 디코딩 장치 중 일부를 나타내는 개략도이다. 본 발명에서 확장 효과란 공간상에서 채널 신호에 포함된 소스 성분 신호들의 거리를 더 넓히는 효과를 지칭하며, 확장 효과가 적용된 소스 성분 신호들을 포함하는 출력 신호는, 예를 들어, 강당, 스타디움(stadium) 등과 같이 넓은 공간에서 청취하는 듯한 공간감을 갖게 된다. 도 11 의 소스 성분 신호 추출부(1140)과 동일한 기능 및 역할을 하는 소스 성분 신호 추출부(1540)는 입력된 오디오 신호로부터 소스 성분 신호를 추출한다. 한편, 소스 성분 신호 확장부(1550)는 상기 소스 성분 신호를 입력받아, 확장 효과를 부여하는 필터를 적용함으로써, 상기 소스 성분 간의 거리가 확장된 소스 성분 신호를 생성한다.
이와 같이, 본 발명의 오디오 신호의 디코딩 장치에 따르면 오디오 신호로부터 공간 성분 신호 및/또는 소스 성분 신호를 추출하여 수정하고, 수정된 공간 성분 신호 및/또는 소스 성분 신호를 믹싱하여 출력함으로써, 녹음 환경에서 공간 또는 환경적인 영향에 의하여 생성되는 공간감을 증대시킬 수 있게 된다. 또한, 스테레오 신호 및 장치만을 이용하여 멀티채널을 이용하는 것과 같이 공간감이 향상된 오디오 신호를 얻을 수 있다.
본 발명의 다른 일실시예에서는 스테레오 신호의 공간감을 더욱 증가시키기 위하여 수정된 공간 성분 신호와 소스 성분 신호를 믹싱하여 하나의 출력장치를 통해 출력하는 상기 실시예와 달리, 공간 성분 신호를, 소스 성분 신호 및/또는 채널 신호를 포함하는 오디오 신호와 별도로 출력하는 출력장치를 갖는 오디오 신호의 디코딩 장치를 제안한다.
도 16 은 본 발명의 다른 일실시예에 따른 오디오 신호의 디코딩 장치(1600)를 나타내는 개략도이다. 상기 오디오 신호의 디코딩 장치(1600)는 도 11 의 디코딩 장치(1100)와 일부 단위의 기능 및 역할이 동일하다. 따라서, 오디오 신호 수신부(1610), 공간 성분 신호 추출부(1620), 공간 성분 신호 수정부(1630), 소스 성분 신호 추출부(1640)에 대한 상세한 설명은 생략하기로 한다. 또한, 도 16 에서 나타나지는 아니하였지만, 상기 소스 성분 신호 추출부(1640)로부터 소스 성분 신호를 입력받아 확장 효과 또는 서라운드 효과를 부여하는 필터를 적용하여 상기 소스 성분 신호의 공간감을 증대시키는 소스 성분 신호 수정부(미도시)를 더 포함할 수 있다.
공간 성분 신호 수정부(1630)에서 수정된 공간 성분 신호는 제 1 신호 출력부(1650)를 통하여 출력되고, 소스 성분 신호 추출부(1640)에서 추출된 소스 성분 신호 또는 오디오 신호 수신부(1610)에서 수신된 오디오 신호는 제 2 신호 출력부(1660)를 통하여 각각 출력되고, 소스 성분 신호 및 오디오 신호 모두 제 2 신호 출력부(1660)를 통하여 출력될 수 있다. 또한, 상기 오디오 신호 수신부(1610)에 수신되는 오디오 신호는 상기 신호 출력부(1650)에서 소스 성분 신호 및 오디오 신호 중 어느 하나 이상을 출력하는지 여부를 나타내는 플래그 정보를 포함할 수 있다. 이하, 제 2 신호 출력부(1660)는 소스 성분 신호를 출력하는 것에 한정되지 아니하며, 소스 성분 신호 및 오디오 신호를, 또는 오디오 신호를 출력하는 것으로 이해되어야 할 것이다. 또한, 본 발명에서의 오디오 신호는 소스 성분 신호 및 공간 성분 신호를 포함하는 복수의 채널 신호를 포함하는 것이다. 상기 제 1 신호 출 력부(1650) 및 상기 제 2 신호 출력부(1660)는 각각 하나의 단위로 구성될 수 있으나, 각각 2 이상의 단위로 구성될 수 있다. 예를 들어, 오디오 신호의 출력 시스템이 스테레오 시스템인 경우, 상기 제 1 신호 출력부(1650)는 좌, 우 채널에 해당하는 제 1 신호 출력부 두 개로 구성될 수 있으며, 상기 제 2 신호 출력부(1660) 또한, 좌, 우, 채널에 해당하는 제 2 신호 출력부 두 개로 구성될 수 있다. 본 발명에서는 상기 오디오 신호의 출력 시스템이 스테레오 시스템인 경우에 대하여 설명하지만, 상기 제 1 신호 출력부(1650) 및 상기 제 2 신호 출력부(1660)가 각각 3 개 이상의 단위로 구성된 멀티 채널 시스템일 수도 있다. 본 발명의 일실시예에 따르면, 오디오 신호의 디코딩 장치가 오디오 신호 또는 소스 성분 신호를 출력하는 제 2 신호 출력부 이외에 수정된 공간 성분 신호만을 출력하는 제 1 신호 출력부를 더 포함하여 오디오 신호의 공간감을 증대시킬 수 있다. 또한, 상기 제 1 신호 출력부의 출력방향이 상기 제 2 신호 출력부의 출력방향과 상이하도록 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부를 배치하여 청취자로 하여금 공간감이 개선된 오디오 신호를 청취할 수 있도록 한다. 상기와 같이 공간감이 개선된 오디오 신호를 제공하는 제 1 신호 출력부 및 상기 제 2 신호 출력부에 대하여 이하 도 17 내지 도 22 에서 살펴보기로 한다.
TV, 오디오 시스템 등 오디오 신호의 디코딩 장치에 있어서, 신호 출력부는 상기 디코딩 장치와 분리된 별개의 출력장치를 이용하지 아니하는 이상, 한정된 공간내에 배치되어야 한다. 일반적으로 오디오 신호 또는 소스 성분 신호를 출력하는 제 2 신호 출력부는 청취자를 향한(이하 '전면'이라고 함)출력방향을 갖는다. 또 한, 공간 성분 신호를 출력하는 제 1 신호 출력부는 청취자의 측면이나 후면에 배치하는 것이 공간감을 전달하는데 효과적이나, 상기에 언급한 바와 같이 한정된 공간내에 배치하여야 하는 한계가 있으므로, 제 2 신호 출력부의 주변에 배치하게 된다.
도 17 은 제 1 신호 출력부와 제 2 신호 출력부의 배치를 나타내는 그래프이고, 제 2 신호 출력부(1710)는 x축 방향으로의 출력방향을 갖는 것을 나타내고, 제 1 신호 출력부(1720a, 1720b)는 상기 제 2 신호 출력부(1710)의 출력방향과 상이한 출력방향을 갖는 것을 나타낸다. 도 17 에서 나타난 바와 같이, 공간 성분 신호를 출력하는 제 1 신호 출력부(1720a)는 오디오 신호 또는 소스 성분 신호를 출력하는 제 2 신호 출력부(1710)의 출력방향과 평행이 아닌 출력방향을 갖도록 위치할 수 있으며, 상기 제 2 신호 출력부(1710)가 위치하는 평면 상에 존재하지 아니할 수 있다. 또한, 도 17 를 참조하면, 상기 제 1 신호 출력부(1720b)는 상기 제 2 신호 출력부(1710)가 위치하는 x-y 평면과 동일한 평면상에 위치하며, 상기 제 2 신호 출력부(1710)의 출력방향과 평행이 아닌 출력방향을 가질 수 있다.
상기 제 2 신호 출력부(1710)는 오디오 신호 또는 소스 성분 신호의 재생을 담당하고, 상기 제 2 신호 출력부(1710)와 평행이 아닌 출력방향을 갖는 제 1 신호 출력부(1720a 또는 1720b) 는 공간 성분 신호의 재생을 담당하게 된다. 따라서, 상기 제 2 신호 출력부(1710)만을 이용하여 스테레오 신호를 재생하는 경우에 비하여 청취자에게 공간감이 개선된 오디오 신호를 제공할 수 있다.
도 18 및 도 19 는 공간 성분 신호를 출력하는 제 1 신호 출력부를 오디오 신호 또는 소스 성분 신호를 출력하는 제 2 신호 출력부의 출력방향과 상이한 출력방향을 갖도록 배치한 오디오 신호의 디코딩 장치 및 이를 이용하는 경우, 오디오 신호가 재생되는 방법에 대하여 간략하게 나타낸 것이다. 도 18 및 도 19 에서의 채널신호는 본 발명의 오디오 신호 수신부에 입력되는 오디오 신호의 일예로, 공간 성분 신호와 소스 성분 신호를 포함하고 각 채널로 출력되는 신호를 나타낸다.
도 18 을 참조하면, 제 1 신호 출력부(1850a, 1850b)는 제 2 신호 출력부(1860a, 1860b)의 출력방향을 기준으로 측후면으로의 출력방향을 가지며, 상기 제 1 신호 출력부(1850a, 1850b) 는 공간 성분 신호 수정부(1830)로부터 공간 성분 신호가 입력되고, 상기 제 2 신호 출력부(1860a, 1860b) 는 소스 성분 신호 추출부(1840)로부터 소스 성분 신호, 또는 오디오 신호 수신부(미도시)로부터 오디오 신호가 입력된다. 상기 공간 성분 신호 수정부(1830) 및 상기 소스 성분 신호 추출부(1840)에 대하여는 도 11 에 개시된 성분 신호 수정부(1130) 및 소스 성분 신호 추출부(1140)에서 설명된 바 있으므로, 자세한 설명을 생략하기로 한다.
상기 제 1 신호 출력부(1850a, 1850b)는 측후면으로의 출력방향을 갖기 때문에, 측후면 방향으로 출력되는 공간 성분 신호는 후면의 벽 또는 측면의 벽과 반사되는 효과를 더 크게 만들 수 있다. 또한, 청취자에게 공간 성분 신호가 전달되는 경로를 더욱 다양하게 제공할 수 있으므로 자연적인 딜레이 효과 등이 발생하여 출력된 오디오 신호의 공간감을 증대시킬 수 있다.
도 19 를 참조하면, 제 1 신호 출력부(1950a, 1950b)가 도 18의 제 1 신호 출력부(1850a, 1850b)와 제 2 신호 출력부(1960a, 1960b)의 출력방향을 기준으로 측전면으로의 출력방향을 갖는다. 상기 제 1 신호 출력부(1950a, 1950b)는 공간 성분 신호 수정부(1930)로부터 공간 성분 신호가 입력되고, 상기 제 2 신호 출력부(1960a, 1960b)는 소스 성분 신호 추출부(1940)로부터 소스 성분 신호, 또는 오디오 신호 수신부(미도시)로부터 오디오 신호가 입력된다. 상기 공간 성분 신호 수정부(1930) 및 상기 소스 성분 신호 추출부(1940)에 대하여도 자세한 설명을 생략하기로 한다.
상기 제 1 신호 출력부(1950a, 1950b) 또한, 측전면으로의 출력방향을 갖기 때문에, 측전면 방향으로 출력되는 공간 성분 신호는 측면의 벽과 반사되는 효과를 더 크게 만들 수 있다. 또한, 도 18 의 오디오 신호의 디코딩 장치에 비하여, 상기 제 1 신호 출력부(1950a, 1950b) 및 상기 제 2 신호 출력부(1960a, 1960b)가 필요로하는 공간이 좁기 때문에, 출력부를 위한 공간이 좁은 오디오 신호의 디코딩 장치에 유용하게 이용될 수 있다.
또한, 본 발명의 오디오 신호의 디코딩 장치는 공간 성분 신호 및 소스 성분 신호를 출력하는 제 1 신호 출력부 및 제 2 신호 출력부가 연속하여 하나의 출력장치를 이를 수 있다. 도 20 은 하나의 출력장치에 상기 제 1 신호 출력부 및 상기 제 2 신호 출력부를 갖는 오디오 신호의 디코딩 장치를 포함하는 TV 를 나타내는 것이다. 본 명세서에서는 TV 를 일예로 설명하나, 오디오 신호의 디코딩 장치를 포함하는 장치(device)에서 광범위하게 이용될 수 있다.
도 20 을 참조하면, 출력장치(2010, 2020)는 L, R 두 개로 구성되어 있고, 이들은 수직으로 배치된다. 상기 출력장치(2010, 2020)은 공간 성분 신호를 출력하 는 제 1 신호 출력부 및 오디오 신호 또는 소스 성분 신호를 출력하는 제 2 신호 출력부를 포함하고 있으며, 화면부 왼쪽에 위치한 출력장치(2010)를 확대한 내부도를 도 20 의 하단에 나타내었다. 상기 왼쪽 출력장치(2010)는 제 1 신호 출력부(2011) 및 제 2 신호 출력부(2012)를 포함하고 있으며, 상기 제 1 신호 출력부(2011) 및 상기 제 2 신호 출력부(2012)의 출력방향을 서로 상이하게 배치할 수 있다. 예를 들면, 상기 제 2 신호 출력부(2012)의 출력방향은 전면을 향하도록 배치하는 반면, 상기 제 1 신호 출력부(2011)의 출력방향은 측후면 또는 측전면을 향하도록 배치할 수 있다.
또한, 상기 제 1 신호 출력부(2011) 및 상기 제 2 신호 출력부(2012)의 출력방향을 특성 정보에 기초하여 변환 또는 이동시킬 수 있다. 상기 특성 정보는 음원의 특성 또는 동작 모드에 따라 결정될 수 있고, 상기 음원의 특성 또는 동작 모드는 오디오 신호의 디코딩 장치에 입력된 오디오 신호를 나타내는 비트스트림에 포함될 수 있으며, 본 발명에 따른 오디오 신호의 디코딩 장치 중 공간 성분 신호 수정부(1130) 내에 저장되어 있을 수 있다. 또한, 청취자로부터 청취자 입력장치(미도시)를 통하여 입력될 수 있다.
일 예로, 청취자가 서라운드 효과가 없는 스테레오 신호만을 재생하고 싶어 하는 경우, 청취자는 리모컨 등을 이용하여 기 설정된 2ch 모드를 입력하고, 상기 오디오 신호의 디코딩 장치는 이를 수신받아 상기 제 1 신호 출력부(2011)의 출력방향이 상기 제 2 신호 출력부(2012)의 출력방향과 동일하도록 상기 제 1 신호 출력부(2011)의 배치 방향을 변환시킬 수 있다. 이러한 배치 방향의 변환은 기계적인 회전을 통하여 획득하거나 신호처리적인 방법을 이용하여 획득할 수 있다.
본 발명의 다른 일실시예에 따르면, 제 1 신호 출력부 및 제 2 신호 출력부를 포함하는 출력장치는 여러 가지 형태로 이루어질 수 있다. 도 21 은 상기 출력장치의 일예를 나타낸 것으로, 출력장치는 복수 개의 유닛을 포함할 수 있고, 각 유닛은 제 1 신호 출력부 또는 제 2 신호 출력부일 수 있다. 도 21 에 나타난 바와 같이, 원통형으로 이루어진 출력장치는, 회전이 용이하고 각 분할된 영역에서 각각 다른 신호를 출력하여 공간감을 증대시킬 수 있으며, 상기 특성 정보에 따라서 각 유닛의 출력방향을 조절할 수 있다. 그러나, 본 발명의 출력장치는 원통형에 한정되는 것은 아니고, 복수 개의 유닛을 포함하며, 회전이 가능한 형태이면 무방하다.
또한, 본 발명의 오디오 신호의 디코딩 장치는 출력장치뿐 아니라, 제 1 신호 출력부 또는 제 2 신호 출력부 각각이 복수 개의 유닛을 포함하는 형태로 이루어질 수 있다. 이러한 경우, 상기 복수 개의 유닛은 각기 다른 주파수 밴드의 신호를 출력할 수 있으며, 상기 유닛은 유닛 특성 정보에 따라 출력방향이 조절될 수 있다. 상기 유닛 특성 정보는 음원의 특성에 따라 결정될 수 있고, 상기 음원의 특성은 오디오 신호의 디코딩 장치에 입력된 오디오 신호를 나타내는 비트스트림에 포함될 수 있으며, 본 발명에 따른 오디오 신호의 디코딩 장치 중 공간 성분 신호 수정부(1130) 내에 저장되어 있을 수 있다. 또한, 청취자로부터 청취자 입력장치(미도시)를 통하여 입력될 수 있다.
본 발명의 또다른 일실시예에 따르면, 공간 성분 신호를 출력하는 제 1 신호 출력부를 화면부 상측에 배치함으로써, 오디오 신호의 공간감을 향상시킬 수 있다. 도 22 는 상기 제 1 신호 출력부와 상기 제 2 신호 출력부가 화면부가 위치하는 전면에서 서로 수직을 이루고, 상기 제 1 신호 출력부가 상기 화면부의 상측에 배치된 오디오 신호의 디코딩 장치의 일예인 TV 를 나타낸 것이다. 도 22 에 나타난 바와 같이, 출력장치는 공간 성분 신호를 출력하는 제 1 신호 출력부(2210) 및 소스 성분 신호를 출력하는 제 2 신호 출력부(2220, 2230)를 포함하고 있으며, 상기 제 2 신호 출력부는 화면부(2240)좌측 및 우측에 각각 위치할 수 있다. 또한, 상기 제 1 신호 출력부(2210)는 상기 제 2 신호 출력부(2220, 2230) 및 상기 화면부(2240)와 동일 평면상에 위치하며, 상기 제 2 신호 출력부(2220, 2230) 와 수직을 이루면서 상기 화면부(2240) 상측에 배치될 수 있다.
도 22 를 참조하면, TV 의 상기 제 1 신호 출력부(2210)가 화면부(2240) 상단에 상기 제 2 신호 출력부(2220, 2230)과 수직을 이루면서 위치하는 경우, 공간 성분 신호는 상기 제 1 신호 출력부(2210)에서 출력된 후 천장을 이용하여 반사될 수 있다. 이와 같이, 상기 제 1 신호 출력부(2210)가 상단에 위치하는 경우는, 제 1 신호 출력부가 제 2 신호 출력부의 측후면 또는 측전면에 위치하는 경우에 비하여, 천장과 부딪혀 반사되는 단계를 더 포함하게 되므로 오디오 신호의 공간감을 더욱 향상시키게 된다. 또한, 상기 제 1 신호 출력부(2210)는 상기 제 2 신호 출력부(2220, 2230)과 수직을 이루며 화면부(2240) 상단에 위치하는 것에 한정되지 아니하고, 화면부(2240) 상단에서 다양한 각도를 이루며 배치될 수 있다.
도 22 에서는 상기 제 1 신호 출력부(2210)가 상기 화면부(2240) 상측에 위치하는 경우에 대하여 개시하였으나, 화면부 및 제 2 신호 출력부가 포함된 전면과 수직을 이루는 오디오 신호의 디코딩 장치의 상단, 또는 전면과 대응하는 후면의 상단에 위치할 수 있다. 또한, 물리적 또는 전기적인 방법을 이용하여 상기 제 1 신호 출력부가 평면과 특정 각을 이루도록 배치하는 것도 가능하다.
또한, 본 발명의 또다른 일실시예에서는 오디오 신호의 디코딩 장치가 이용되는 환경을 고려하여 공간 성분 신호를 재수정함으로써, 오디오 신호의 공간감을 향상시키는 디코딩 장치 및 방법을 제안한다. 이와 관련하여, 이하에서 도 23 를 참조하여 자세히 살펴보기로 한다.
도 23 을 참조하면, 본 발명의 오디오 신호의 디코딩 장치는 크게 오디오 신호 추출부(2310), 공간 성분 신호 추출부(2320), 환경 설정 정보 생성부(2330), 공간 성분 신호 수정부(2340), 소스 성분 신호 추출부(2350), 제 1 신호 출력부(2360), 및 제 2 신호 출력부(2370)를 포함한다. 상기 오디오 신호 추출부(2310), 상기 공간 성분 신호 추출부(2320), 상기 소스 성분 신호 추출부(2350), 상기 제 1 신호 출력부(2360), 및 상기 제 2 신호 출력부(2370)는 도 11 에 도시된 오디오 신호 추출부(1110), 공간 성분 신호 추출부(1120), 소스 성분 신호 추출부(1140), 및 도 16 에 도시된 제 1 신호 출력부(1650), 제 2 신호 출력부(1660)의 기능 및 역할과 동일하므로 상세한 설명을 생략하기로 한다. 또한, 소스 성분 신호수정부(미도시)를 더 포함하여 추출된 소스 성분 신호를 수정함으로써, 오디오 신호의 공간감을 향상시킬 수 있다.
상기 환경 설정 정보 생성부(2330)는 기 설정된 여러가지 모드를 청취자 입력장치(미도시)로 송출하여, 청취자가 선택한 모드에 대응하는 기 설정된 환경 설 정 정보를 출력할 수 있다. 상기 기 설정된 모드의 예로, TV 의 경우, 벽걸이 모드 또는 스탠드 모드가 있을 수 있다. 상기 환경 설정 정보 생성부(2330)는 벽걸이 모드 또는 스탠드 모드에 대응하는 환경 설정 정보를 공간 성분 신호 수정부(2340)로 출력하는데, 벽걸이 모드에 대응하는 환경 설정 정보는 스탠드 모드에 비하여 오디오 신호의 디코딩 장치와 반사면간의 좁은 거리로 설정되어 있을 수 있다. 한편, 상기 환경 설정 정보 생성부(2330)는 청취자로부터 환경 설정 정보를 직접 입력받을 수 있다. 예를 들어, 청취자는 입력장치를 이용하여 오디오 신호의 디코딩 장치의 후면과 반사면과의 거리, 장치의 상단과 천장과의 거리, 장치의 측면과 반사면과의 거리 등을 입력할 수 있고, 상기 환경 설정 정보 생성부(2330)는 이를 이용하여 환경 설정 정보를 생성할 수 있다.
또한, 상기 환경 설정 정보는 오디오 신호의 디코딩 장치와 청취 위치간의 공간 특성에 관한 정보를 포함할 수 있으며, 예를 들어, 상기 공간 특성에 관한 정보는 디코딩 장치와 청취 위치간의 거리일 수 있다. 상기 오디오 신호의 디코딩 장치와 청취 위치간의 거리에 의하여 오디오 신호의 공간감을 최대화할 수 있는 최적의 시청위치가 달리질 수 있다. 따라서, 상기 환경 설정 정보 생성부(2330)는 청취자 입력장치를 통하여 상기 거리를 입력받아 환경 설정 정보를 생성하여 상기 공간 성분 신호 수정부(2340)로 출력할 수 있다. 또한, 상기 환경 설정 정보 생성부(2330)는 별개의 감지장치(미도시)를 이용하여 청취자의 위치를 추정할 수 있다. 예를 들어, 마이크와 같은 별개의 음향 센서 또는 리모컨 등을 이용하여 상기 오디오 신호의 디코딩 장치로부터 청취자까지의 거리를 추정할 수 있다.
본 발명의 오디오 신호의 디코딩 장치 및 방법은 상기와 같이 생성된 환경 설정 정보에 기초하여 공간 성분 신호를 수정함으로써, 오디오 신호의 공간감을 더욱 증대시킬 수 있게 된다.
또한, 본 발명의 또다른 일실시예에 따르면, 공간 성분 신호를 소스 성분 신호에 비하여 지연된 시간에 출력하거나, 소스 성분 신호에 확장 효과를 부여함으로써, 오디오 신호의 공간감을 향상시킬 수 있다. 도 24 는 출력 지연부(2451)를 더 포함하는 오디오 신호의 디코딩 장치를 나타내는 개략도이다. 도 24 에 나타난 바와 같이, 공간 성분 신호를 출력하는 제 1 신호 출력부(2450)는 출력지연부(2451) 및 출력부(2452)를 포함하며, 상기 출력지연부(2451)에 의하여 제 2 신호 출력부(2460)에서 출력되는 소스 성분 신호보다 지연된 시간에 공간 성분 신호를 출력할 수 있게 된다. 따라서, 오디오 신호의 잔향(reverb) 효과를 극대화시킴으로써 공간감을 부여하는 효과를 얻게 된다.
도 25 는 확장 효과 적용부(2561)를 더 포함하는 오디오 신호의 디코딩 장치를 나타내는 개략도이다. 도 25 에 나타난 바와 같이, 소스 성분 신호를 출력하는 제 2 신호 출력부(2560)는 확장 효과 적용부(2561) 및 출력부(2562)를 포함하며, 상기 확장 효과 적용부(2561)에 의하여 제 2 신호 출력부(2560)에서 출력되는 각 소스 성분 신호의 거리가 확장된 효과를 가지므로 더 넓은 공간에서 오디오 신호를 청취하는 효과를 얻게 된다.
또한, 본 발명의 오디오 신호의 디코딩 장치는 제 1 신호 출력부 내부에 출력지연부와 제 2 신호 출력부 내부에 확장효과 적용부를 동시에 포함하여, 오디오 신호의 공간감을 개선하는 효과를 얻을 수 있다.
본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.
Claims (15)
- 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 갖는 오디오 신호를 수신하는 단계;상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호 및 상기 소스 성분 신호를 추출하는 단계;서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 단계; 및상기 수정된 공간 성분 신호와 상기 소스 성분 신호를 이용하여 복수의 채널을 포함하는 오디오 신호를 생성하는 단계를 포함하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 상관도는 일정 시간 및 일정 주파수 밴드마다 추정되는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 공간 성분 신호는 상기 채널 각각에 포함된 성분 신호간의 상관도가 낮은 신호인 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 레벨 정보인 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 서라운드 효과 정보는 상기 공간 성분 신호에 적용되는 시간지연, 필터 또는 위상 정보인 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,확장 효과 정보를 이용하여 상기 소스 성분 신호들을 수정하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 소스 성분 신호는 상기 수신된 오디오 신호로부터 상기 추출된 공간 성분 신호를 제거하여 획득하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 오디오 신호는 방송 신호를 통해 수신된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 제 1 항에 있어서,상기 오디오 신호는 디지털 매체를 통해 수신된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
- 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널 신호를 수신하는 오디오 신호 수신부;상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호를 추출하는 공간 성분 신호 추출부;서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 공간 성분 신호 수정부;및상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 소스 성분 신호를 추출하는 소스 성분 신호 추출부; 및상기 소스 성분 신호 및 상기 공간 성분 신호를 출력하는 신호 출력부를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
- 제 10 항에 있어서,상기 공간 성분 신호 추출부는 일정 시간 및 일정 주파수 마다 추정되는 상관도에 기초하여 상기 공간 성분 신호를 추출하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
- 제 10 항에 있어서,상기 서라운드 효과 정보는 레벨 정보, 시간 지연, 필터, 위상 정보 중 어느하나 이상인 것을 특징으로 하는 오디오 신호의 디코딩 장치.
- 제 10 항에 있어서,상기 추출된 소스 성분 신호에 확장 효과를 적용하여 상기 소스 성분 신호들간의 거리를 넓히는 소스 성분 신호 수정부를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
- 공간 성분 신호 및 소스 성분 신호를 포함하는 복수의 채널을 갖는 오디오 신호를 수신하는 오디오 신호 수신부;상기 채널 신호간의 상관도에 기초하여 상기 각 채널의 상기 공간 성분 신호를 추출하는 공간 성분 신호 추출부;서라운드 효과 정보를 이용하여 상기 공간 성분 신호를 수정하는 공간 성분 신호 수정부;상기 오디오 신호 수신부에 입력된 신호로부터 상기 추출된 공간 성분 신호를 제거하는 소스 성분 신호 추출부; 및상기 소스 성분 신호 및 상기 공간 성분 신호를 출력하는 신호 출력부를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
- 제 1 항에 기재된 단계를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US97052407P | 2007-09-06 | 2007-09-06 | |
| US60/970,524 | 2007-09-06 | ||
| US98471307P | 2007-11-01 | 2007-11-01 | |
| US60/984,713 | 2007-11-01 | ||
| US7876108P | 2008-07-07 | 2008-07-07 | |
| US61/078,761 | 2008-07-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100063092A true KR20100063092A (ko) | 2010-06-10 |
| KR101569032B1 KR101569032B1 (ko) | 2015-11-13 |
Family
ID=40429078
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020107006645A Expired - Fee Related KR101572894B1 (ko) | 2007-09-06 | 2008-09-08 | 오디오 신호의 디코딩 방법 및 장치 |
| KR1020107006644A Expired - Fee Related KR101569032B1 (ko) | 2007-09-06 | 2008-09-08 | 오디오 신호의 디코딩 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020107006645A Expired - Fee Related KR101572894B1 (ko) | 2007-09-06 | 2008-09-08 | 오디오 신호의 디코딩 방법 및 장치 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US8422688B2 (ko) |
| EP (2) | EP2191463B1 (ko) |
| JP (2) | JP2010538572A (ko) |
| KR (2) | KR101572894B1 (ko) |
| CN (2) | CN101836249B (ko) |
| AU (1) | AU2008295723B2 (ko) |
| BR (1) | BRPI0816669A2 (ko) |
| CA (1) | CA2699004C (ko) |
| MX (1) | MX2010002572A (ko) |
| WO (2) | WO2009031871A2 (ko) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080082916A (ko) | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 이의 장치 |
| CN101675472B (zh) | 2007-03-09 | 2012-06-20 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| MX2010002572A (es) | 2007-09-06 | 2010-05-19 | Lg Electronics Inc | Un metodo y un aparato para descodificar una señal de audio. |
| KR101648203B1 (ko) * | 2008-12-23 | 2016-08-12 | 코닌클리케 필립스 엔.브이. | 스피치 캡처링 및 스피치 렌더링 |
| KR101196410B1 (ko) * | 2009-07-07 | 2012-11-01 | 삼성전자주식회사 | Ｔｖ 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 ｔｖ |
| JP5307770B2 (ja) * | 2010-07-09 | 2013-10-02 | シャープ株式会社 | 音声信号処理装置、方法、プログラム、及び記録媒体 |
| TWI733583B (zh) | 2010-12-03 | 2021-07-11 | 美商杜比實驗室特許公司 | 音頻解碼裝置、音頻解碼方法及音頻編碼方法 |
| US9253574B2 (en) * | 2011-09-13 | 2016-02-02 | Dts, Inc. | Direct-diffuse decomposition |
| US20140050325A1 (en) * | 2012-08-16 | 2014-02-20 | Parametric Sound Corporation | Multi-dimensional parametric audio system and method |
| JP6186436B2 (ja) * | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
| US9826328B2 (en) | 2012-08-31 | 2017-11-21 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
| JP5591423B1 (ja) | 2013-03-13 | 2014-09-17 | パナソニック株式会社 | オーディオ再生装置およびオーディオ再生方法 |
| EP2878515B1 (en) * | 2013-11-29 | 2017-03-08 | Harman Becker Automotive Systems GmbH | Generating an audio signal with a configurable distance cue |
| US10468036B2 (en) * | 2014-04-30 | 2019-11-05 | Accusonus, Inc. | Methods and systems for processing and mixing signals using signal decomposition |
| JP6463955B2 (ja) * | 2014-11-26 | 2019-02-06 | 日本放送協会 | 三次元音響再生装置及びプログラム |
| CN105898667A (zh) | 2014-12-22 | 2016-08-24 | 杜比实验室特许公司 | 从音频内容基于投影提取音频对象 |
| KR102128281B1 (ko) * | 2017-08-17 | 2020-06-30 | 가우디오랩 주식회사 | 앰비소닉 신호를 사용하는 오디오 신호 처리 방법 및 장치 |
| CN109036456B (zh) * | 2018-09-19 | 2022-10-14 | 电子科技大学 | 用于立体声的源分量环境分量提取方法 |
| CN109640242B (zh) * | 2018-12-11 | 2020-05-12 | 电子科技大学 | 音频源分量及环境分量提取方法 |
| CN118398020A (zh) * | 2019-05-15 | 2024-07-26 | 苹果公司 | 用于回放捕获的声音的方法和电子设备 |
| CN116325696A (zh) * | 2020-10-02 | 2023-06-23 | 谷歌有限责任公司 | 实时的且基于文件的音频数据处理 |
| CN113518299B (zh) * | 2021-04-30 | 2022-06-03 | 电子科技大学 | 一种改进的源分量及环境分量提取方法、设备及计算机可读存储介质 |
| CN113194400B (zh) * | 2021-07-05 | 2021-08-27 | 广州酷狗计算机科技有限公司 | 音频信号的处理方法、装置、设备及存储介质 |
Family Cites Families (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3783192A (en) * | 1971-12-30 | 1974-01-01 | Sansui Electric Co | Decoder for use in matrix four-channel system |
| JPS5192101U (ko) * | 1975-01-23 | 1976-07-23 | ||
| JPS5192101A (en) | 1975-02-10 | 1976-08-12 | Jidodochojushinki ni okeru shuhasuhojikairo | |
| US4251688A (en) | 1979-01-15 | 1981-02-17 | Ana Maria Furner | Audio-digital processing system for demultiplexing stereophonic/quadriphonic input audio signals into 4-to-72 output audio signals |
| JPH03163997A (ja) | 1989-11-21 | 1991-07-15 | Mitsubishi Electric Corp | 多チャンネル音声信号再生装置 |
| US6026167A (en) * | 1994-06-10 | 2000-02-15 | Sun Microsystems, Inc. | Method and apparatus for sending secure datagram multicasts |
| JP2766466B2 (ja) | 1995-08-02 | 1998-06-18 | 株式会社東芝 | オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法 |
| JP2993418B2 (ja) | 1996-01-19 | 1999-12-20 | ヤマハ株式会社 | 音場効果装置 |
| DE19646055A1 (de) | 1996-11-07 | 1998-05-14 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher |
| US6026168A (en) * | 1997-11-14 | 2000-02-15 | Microtek Lab, Inc. | Methods and apparatus for automatically synchronizing and regulating volume in audio component systems |
| JP3743640B2 (ja) | 1997-11-28 | 2006-02-08 | 日本ビクター株式会社 | オーディオディスク及びオーディオ信号のデコード装置 |
| US6952677B1 (en) | 1998-04-15 | 2005-10-04 | Stmicroelectronics Asia Pacific Pte Limited | Fast frame optimization in an audio encoder |
| US7103187B1 (en) * | 1999-03-30 | 2006-09-05 | Lsi Logic Corporation | Audio calibration system |
| SE514214C2 (sv) * | 1999-05-28 | 2001-01-22 | Sca Hygiene Prod Ab | Absorberande alster med förbättrad vätskehanteringsförmåga |
| JP3307375B2 (ja) * | 1999-10-04 | 2002-07-24 | 日本電気株式会社 | 半導体装置の製造方法 |
| JP4277151B2 (ja) * | 2000-01-31 | 2009-06-10 | ソニー株式会社 | 全地球測位システムの受信装置及び復調処理制御方法 |
| EP1134724B1 (en) | 2000-03-17 | 2008-07-23 | Sony France S.A. | Real time audio spatialisation system with high level control |
| EP1295511A2 (en) | 2000-07-19 | 2003-03-26 | Koninklijke Philips Electronics N.V. | Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal |
| JP4775529B2 (ja) | 2000-12-15 | 2011-09-21 | オンキヨー株式会社 | 遊戯機 |
| US7095455B2 (en) * | 2001-03-21 | 2006-08-22 | Harman International Industries, Inc. | Method for automatically adjusting the sound and visual parameters of a home theatre system |
| US7116787B2 (en) | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
| EP1459596A2 (en) | 2001-12-05 | 2004-09-22 | Koninklijke Philips Electronics N.V. | Circuit and method for enhancing a stereo signal |
| RU2363116C2 (ru) | 2002-07-12 | 2009-07-27 | Конинклейке Филипс Электроникс Н.В. | Аудиокодирование |
| EP1427252A1 (en) | 2002-12-02 | 2004-06-09 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for processing audio signals from a bitstream |
| JP2004193877A (ja) | 2002-12-10 | 2004-07-08 | Sony Corp | 音像定位信号処理装置および音像定位信号処理方法 |
| CN1748443B (zh) | 2003-03-04 | 2010-09-22 | 诺基亚有限公司 | 多声道音频扩展支持 |
| JP4124702B2 (ja) | 2003-06-11 | 2008-07-23 | 日本放送協会 | 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム |
| US7257372B2 (en) * | 2003-09-30 | 2007-08-14 | Sony Ericsson Mobile Communications Ab | Bluetooth enabled hearing aid |
| US6937737B2 (en) * | 2003-10-27 | 2005-08-30 | Britannia Investment Corporation | Multi-channel audio surround sound from front located loudspeakers |
| JP2005286828A (ja) | 2004-03-30 | 2005-10-13 | Victor Co Of Japan Ltd | オーディオ再生装置 |
| US7490044B2 (en) | 2004-06-08 | 2009-02-10 | Bose Corporation | Audio signal processing |
| JP2006003580A (ja) | 2004-06-17 | 2006-01-05 | Matsushita Electric Ind Co Ltd | オーディオ信号符号化装置及びオーディオ信号符号化方法 |
| WO2006022124A1 (ja) | 2004-08-27 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | オーディオデコーダ、方法及びプログラム |
| US7787631B2 (en) | 2004-11-30 | 2010-08-31 | Agere Systems Inc. | Parametric coding of spatial audio with cues based on transmitted channels |
| US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
| JP2006211206A (ja) | 2005-01-27 | 2006-08-10 | Yamaha Corp | サラウンドシステム |
| JP4414905B2 (ja) | 2005-02-03 | 2010-02-17 | アルパイン株式会社 | オーディオ装置 |
| EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| JP4935091B2 (ja) | 2005-05-13 | 2012-05-23 | ソニー株式会社 | 音響再生方法および音響再生システム |
| JP4711743B2 (ja) | 2005-05-26 | 2011-06-29 | Ｎｔｎ株式会社 | 軸継手 |
| JP4988717B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| US8917874B2 (en) | 2005-05-26 | 2014-12-23 | Lg Electronics Inc. | Method and apparatus for decoding an audio signal |
| EP1946294A2 (en) | 2005-06-30 | 2008-07-23 | LG Electronics Inc. | Apparatus for encoding and decoding audio signal and method thereof |
| JP2007008715A (ja) | 2005-07-04 | 2007-01-18 | Fujifilm Holdings Corp | 平版刷版の自動供給装置 |
| JP4778737B2 (ja) | 2005-07-05 | 2011-09-21 | 昭和電工株式会社 | 圧力容器 |
| CN101233569B (zh) | 2005-07-29 | 2010-09-01 | Lg电子株式会社 | 分拆信息的信令化方法 |
| TWI396188B (zh) | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
| JP2007058930A (ja) | 2005-08-22 | 2007-03-08 | Funai Electric Co Ltd | ディスク再生装置 |
| JP4402632B2 (ja) | 2005-08-29 | 2010-01-20 | アルパイン株式会社 | オーディオ装置 |
| US7761303B2 (en) | 2005-08-30 | 2010-07-20 | Lg Electronics Inc. | Slot position coding of TTT syntax of spatial audio coding application |
| JP4896029B2 (ja) | 2005-09-22 | 2012-03-14 | パイオニア株式会社 | 信号処理装置、信号処理方法、信号処理プログラムおよびコンピュータに読み取り可能な記録媒体 |
| KR100754220B1 (ko) | 2006-03-07 | 2007-09-03 | 삼성전자주식회사 | Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법 |
| US8364497B2 (en) | 2006-09-29 | 2013-01-29 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel |
| CA2874454C (en) | 2006-10-16 | 2017-05-02 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
| EP2082397B1 (en) | 2006-10-16 | 2011-12-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
| EP2102858A4 (en) | 2006-12-07 | 2010-01-20 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL |
| WO2008089593A1 (fr) | 2007-01-18 | 2008-07-31 | Standard Chem. & Pharm. Co., Ltd. | Preparation de tamsulosine a liberation prolongee et procede de production associe |
| MX2010002572A (es) | 2007-09-06 | 2010-05-19 | Lg Electronics Inc | Un metodo y un aparato para descodificar una señal de audio. |
| EP2083584B1 (en) | 2008-01-23 | 2010-09-15 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
-
2008
- 2008-09-08 MX MX2010002572A patent/MX2010002572A/es not_active Application Discontinuation
- 2008-09-08 JP JP2010523960A patent/JP2010538572A/ja active Pending
- 2008-09-08 BR BRPI0816669 patent/BRPI0816669A2/pt not_active IP Right Cessation
- 2008-09-08 JP JP2010523959A patent/JP2010538571A/ja active Pending
- 2008-09-08 KR KR1020107006645A patent/KR101572894B1/ko not_active Expired - Fee Related
- 2008-09-08 CA CA2699004A patent/CA2699004C/en not_active Expired - Fee Related
- 2008-09-08 EP EP08829743.7A patent/EP2191463B1/en not_active Not-in-force
- 2008-09-08 WO PCT/KR2008/005292 patent/WO2009031871A2/en active Application Filing
- 2008-09-08 EP EP08829565A patent/EP2191462A4/en not_active Withdrawn
- 2008-09-08 KR KR1020107006644A patent/KR101569032B1/ko not_active Expired - Fee Related
- 2008-09-08 US US12/676,730 patent/US8422688B2/en not_active Expired - Fee Related
- 2008-09-08 CN CN2008801124983A patent/CN101836249B/zh not_active Expired - Fee Related
- 2008-09-08 CN CN2008801121720A patent/CN101828219B/zh not_active Expired - Fee Related
- 2008-09-08 US US12/676,848 patent/US8532306B2/en not_active Expired - Fee Related
- 2008-09-08 WO PCT/KR2008/005291 patent/WO2009031870A1/en active Application Filing
- 2008-09-08 AU AU2008295723A patent/AU2008295723B2/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN101828219A (zh) | 2010-09-08 |
| EP2191463B1 (en) | 2016-01-13 |
| KR101569032B1 (ko) | 2015-11-13 |
| US8422688B2 (en) | 2013-04-16 |
| BRPI0816669A2 (pt) | 2015-03-17 |
| CN101828219B (zh) | 2012-05-09 |
| CN101836249A (zh) | 2010-09-15 |
| WO2009031871A2 (en) | 2009-03-12 |
| CA2699004A1 (en) | 2009-03-12 |
| KR101572894B1 (ko) | 2015-11-30 |
| US20100250259A1 (en) | 2010-09-30 |
| CA2699004C (en) | 2014-02-11 |
| US20100241438A1 (en) | 2010-09-23 |
| US8532306B2 (en) | 2013-09-10 |
| AU2008295723A1 (en) | 2009-03-12 |
| CN101836249B (zh) | 2012-11-28 |
| MX2010002572A (es) | 2010-05-19 |
| AU2008295723B2 (en) | 2011-03-24 |
| JP2010538571A (ja) | 2010-12-09 |
| WO2009031870A1 (en) | 2009-03-12 |
| EP2191463A1 (en) | 2010-06-02 |
| EP2191462A2 (en) | 2010-06-02 |
| WO2009031871A3 (en) | 2009-04-30 |
| JP2010538572A (ja) | 2010-12-09 |
| EP2191462A4 (en) | 2010-08-18 |
| KR20100081300A (ko) | 2010-07-14 |
| EP2191463A4 (en) | 2010-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101569032B1 (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
| US10674262B2 (en) | Merging audio signals with spatial metadata | |
| US8081762B2 (en) | Controlling the decoding of binaural audio signals | |
| TWI489887B (zh) | 用於喇叭或耳機播放之虛擬音訊處理技術 | |
| US8374365B2 (en) | Spatial audio analysis and synthesis for binaural reproduction and format conversion | |
| TWI686794B (zh) | 以保真立體音響格式所編碼聲訊訊號為ｌ個揚聲器在已知位置之解碼方法和裝置以及電腦可讀式儲存媒體 | |
| AU2018204427B2 (en) | Method and apparatus for rendering acoustic signal, and computer-readable recording medium | |
| JP2014506416A (ja) | オーディオ空間化および環境シミュレーション | |
| JP2015509212A (ja) | 空間オーディオ・レンダリング及び符号化 | |
| US20110109722A1 (en) | Apparatus for processing a media signal and method thereof | |
| KR20190060464A (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR20080078907A (ko) | 양 귀 오디오 신호들의 복호화 제어 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20100326 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20130903 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150204 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150813 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20151109 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20151110 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20181012 Start annual number: 4 End annual number: 4 |
|
| PC1903 | Unpaid annual fee |