KR20150013913A - 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 - Google Patents
적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20150013913A KR20150013913A KR1020147037035A KR20147037035A KR20150013913A KR 20150013913 A KR20150013913 A KR 20150013913A KR 1020147037035 A KR1020147037035 A KR 1020147037035A KR 20147037035 A KR20147037035 A KR 20147037035A KR 20150013913 A KR20150013913 A KR 20150013913A
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- monophonic
- metadata
- playback
- speaker
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 133
- 238000009877 rendering Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims description 89
- 230000005236 sound signal Effects 0.000 title claims description 46
- 238000012545 processing Methods 0.000 claims abstract description 48
- 239000000203 mixture Substances 0.000 claims description 64
- 230000000694 effects Effects 0.000 claims description 37
- 238000002156 mixing Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004091 panning Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000004806 packaging method and process Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000007620 mathematical function Methods 0.000 claims 2
- 230000009977 dual effect Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 230000001965 increasing effect Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012858 packaging process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Liquid Crystal Substances (AREA)
- Inverter Devices (AREA)
Abstract
복수의 독립적인 모노포닉(monophonic) 오디오 스트림들을 포함하는 오디오 데이터를 처리하는 적응형 오디오 시스템을 위한 실시예들이 설명된다. 하나 이상의 스트림들은 스트림이 채널-기반인지 오브젝트-기반 스트림인지의 여부를 특정하는 메타데이터와 연관시켰다. 채널-기반 스트림들은 채널명의 수단으로 인코딩된 렌더링 정보를 갖고; 오브젝트-기반 스트림들은 연관 메타데이터에 인코딩된 위치 표현들을 통해 인코딩된 위치 정보를 갖는다. 코덱은 독립 오디오 스트림들을 모든 오디오 데이터를 포함하는 단일 시리얼 비트스트림으로 패키징한다. 이 구성은 사운드의 렌더링 위치가 믹서의 의도에 대응하도록 재생 환경의 특성(예를 들면, 룸 사이즈, 외형 등)에 기초하는, 타자(他者) 중심 레퍼런스 프레임에 따라 사운드가 렌더링되도록 허용한다. 오브젝트 위치 메타데이터는 적응형 오디오 콘텐트를 재생하도록 셋 업되는 룸의 이용가능한 스피커 위치들을 이용하여 사운드를 정확하게 재생하도록 요구된 적합한 타자 중심 레퍼런스 프레임 정보를 포함한다.
Description
관련 출원들에 대한 상호-참조
본 출원은 2011년 7월 1일 출원된 미국 임시 출원 제 61/504,005호 및 2012년 4월 20일 출원된 미국 임시 출원 번호 제 61/636,429호에 대한 우선권을 주장하고, 두 출원들은 본 명세서에 모든 목적들을 위해 전체가 참고로 통합된다.
하나 이상의 구현들은 일반적으로 오디오 신호 처리에 관한 것이고, 보다 구체적으로는 하이브리드 오브젝트, 및 시네마, 가정 및 기타 환경들에서 이용하기 위한 채널 기반의 오디오 처리에 관한 것이다.
배경기술의 논의 주제는 배경기술에서 단지 기재의 결과로서 종래 기술이라고 가정되어서는 안된다. 마찬가지로, 배경기술에서 언급되거나 배경기술의 주제와 연관된 문제는 이전에 종래 기술에서 인식된 것으로 가정되어서는 안된다. 배경기술의 주제는 단지 상이한 방식들을 나타내고, 이들도 또한 자체적인 발명들일 수 있다.
지금까지 영화와 사운드의 도입 이후, 영화의 사운드 트랙에 대한 창작자의 예술적 의도를 포착하고 시네마 환경에서 정확하게 재현하는데 이용되는 기술의 꾸준한 발전이 있었다. 시네마 사운드의 기본적인 역할은 스크린 상에 보여주는 스토리를 지원하는 것이다. 일반적인 시네마 사운드 트랙들은 스크린 상의 요소들 및 이미지들, 대화, 노이즈들, 및 사운드 효과들에 대응하고, 상이한 온(on)-스크린 요소들로부터 발산하고 배경 음악 및 분위기 효과들과 결합하여 전반적인 청중 경험을 창조하는 상이한 많은 사운드 요소들을 포함한다. 창작자들 및 창작자들의 예술적 의도는 이러한 사운드들이 음원 위치, 강도, 움직임 및 기타 유사한 파라미터들과 관련하여 스크린 상에 보여지는 것과 가능한 밀접하게 대응하는 방식으로 재생되도록 하는 그들의 욕구를 나타낸다.
현재의 영화 저작, 유통 및 재생은 진정한 몰입과 생생한 오디오의 생성을 제약하는 제한들을 겪고 있다. 기존의 채널-기반 오디오 시스템들은 스피커 피드(feed)들의 형태로 오디오 콘텐트를 스테레오 및 5.1 시스템들과 같은 재생 환경에서 개개의 스피커들에 전송한다. 디지털 시네마의 도입은 콘텐트 창작자에 대한 더 큰 창의성과 관객에 대한 보다 포위적이고 현실적인 청각 경험을 허용하는 오디오의 최대 16 채널의 결합과 같은 영화의 사운드에 대한 새로운 표준들을 생성했다. 7.1 서라운드 시스템들의 도입은 기존 좌우측 서라운드 채널들을 네 개의 영역들로 분할함으로써 서라운드 채널들의 수를 증가시키는 새로운 포맷을 제공했고, 그에 따라 극장 내 오디오 요소들의 위치를 제어하기 위해 사운드 디자이너들 및 믹서들의 범위를 증가시켰다.
청취자 경험을 더욱 개선하기 위해, 가상 3차원 환경들 내의 사운드의 재생은 증가된 연구와 개발의 영역이 되었다. 사운드의 공간 표현은 분명한 소스 위치(예를 들면, 3차원 좌표들), 분명한 소스 폭 및 기타 파라미터들의 연관된 파라미터 소스 설명을 갖는 오디오 신호들인 오디오 오브젝트들을 이용한다. 오브젝트-기반 오디오는 디지털 영화, 비디오 게임, 시뮬레이터, 및 3D 비디오와 같은 현재의 많은 멀티미디어 애플리케이션들에 대해 증가적으로 이용되고 있다.
공간 오디오를 배포하기 위한 수단으로서 기존 스피커 피드들 및 채널-기반 오디오를 초과 확장하는 것은 중요하고, 청취자/전시자에게 그들 개개의 필요 또는 예산에 맞는 재생 구성을 선택하는 자유를 허용하는 약속을 잡는 모델-기반 오디오 디스크립션에 상당한 관심이 있어왔고, 이러한 오디오는 구체적으로 그들의 선택된 구성을 위해 렌더링된다. 고 레벨에서, 현재 네 개의 주요 공간 오디오 디스크립션 포맷들이 있다: 명목상의 스피커 위치들에서 오디오가 스피커들을 위해 의도된 신호들로서 설명되는 스피커 피드; 미리 규정된 어레이에서 오디오가 가상 또는 실제 마이크로폰들에 의해 캡쳐된 신호들로서 설명되는 마이크로폰 피드; 설명된 위치들에서 오디오가 오디오 이벤트들의 시퀀스의 관점에서 설명되는 모델-기반 디스크립션; 및 오디오가 청취자의 귀에 도달하는 신호들에 의해 설명되는 바이노럴(binaural). 이들 네 개의 디스크립션 포맷들은 종종 오디오 신호들을 스피커 피드들로 변환하는 하나 이상의 렌더링 기술들과 연관된다. 현재의 렌더링 기술들은 패닝(panning) 규칙의 세트 및 (일반적으로 배포 이전에 렌더링되는) 알려져 있거나 가정된 스피커 위치들을 이용하여 오디오 스트림이 스피커 피드들로 변환되는 패닝; 마이크로폰 신호들이 (일반적으로 배포 이후 렌더링되는) 스피커들의 확장가능한 어레이를 위해 피드들로 변환되는 앰비소닉스(Ambisonics); (일반적으로 배포 이후 렌더링되는) 음장(sound field)을 합성하기 위해 사운드 이벤트들이 적합한 스피커 신호들로 변환되는 WFS(wave field synthesis; 음장 합성); 및 (배포 이전 또는 이후 렌더링되는) 일반적으로 헤드폰을 이용하지만 스피커 및 크로스토크(crosstalk) 제거를 이용하여, 좌우측(L/R) 바이노럴 신호들이 좌우측 귀에 전달되는 바이노럴을 포함한다. 이들 포맷들 중, 스피커-피드 포맷은 단순하고 효과적이므로 가장 일반적이다. (가장 정확하고 가장 신뢰성 있는) 최고의 음질은 콘텐트 창작자와 청취자 사이에 처리가 없기 때문에, 믹싱/모니터링하고 스피커 피드들에 직접 분배함으로써 달성된다. 재생 시스템이 미리 알려져 있다면, 스피커 피드 디스크립션은 일반적으로 가장 높은 충실도를 제공한다. 그러나, 많은 실제 응용들에서, 재생 시스템은 알려져 있지 않다. 모델-기반 디스크립션은 렌더링 기술에 대해 어떠한 가정도 하지 않으므로 가장 쉽게 렌더링 기술에 적용되기 때문에, 가장 적응력있다고 고려된다. 모델-기반 디스크립션은 공간 정보를 효율적으로 캡쳐하지만, 오디오 소스들의 수가 증가하므로 매우 비효율적이다.
여러 해 동안, 시네마 시스템들은 왼쪽, 중앙, 오른쪽 및 때때로 '내부 왼쪽' 및 '내부 오른쪽' 채널들의 형태로 개별적인 스크린 채널들의 특색을 이루었다. 이들 개별적인 소스들은 일반적으로 사운드들이 스크린의 서로 다른 영역들에 정확하게 배치되도록 허용하기 위해, 및 사운드들이 위치들 사이에서 이동하거나 패닝될 때 음색 매칭을 허용하기 위해 충분한 주파수 응답 및 파워 핸들링을 갖는다. 청취자 경험을 개선하는 최근 개발들은 청취자에 대한 사운드의 위치를 정확하게 재현하도록 시도한다. 5.1 설정에서, 서라운드 '존(zone)들'은 각각의 좌우측 서라운드 존 내에서 동일한 오디오 정보를 운반하는 스피커들의 어레이를 포함한다. 그러한 어레이들은 '주변' 또는 확산 서라운드 효과들로 효과적일 수 있지만, 일상 생활에서 많은 사운드 효과들은 무작위 배치 지점의 소스들로부터 발생한다. 예를 들면, 식당에서 주변 음악은 명백한 모든 주위에서 재생될 수 있지만, 미묘하고 개별적인 사운드들은 특정한 지점들로부터 발생한다: 하나의 지점으로부터의 개인 잡담, 다른 지점으로부터의 접시 상의 칼 소리. 강당의 주위에 그러한 사운드들을 이산적으로 배치할 수 있는 것은 눈에 띄는 분명함 없이 현실의 고조 감각을 추가할 수 있다. 오버헤드 사운드들은 또한 서라운드 규정의 중요한 성분이다. 현실 세계에서, 사운드들은 모든 방향들로부터 발생하고, 늘 단일 수평면으로부터 발생하는 것은 아니다. 사운드를 오버헤드로부터, 즉 '상부 반구'로부터 들을 수 있다면, 현실감의 부가가 달성될 수 있다. 그러나, 현재 시스템들은 다양한 서로 다른 재생 환경에서 상이한 오디오 유형들에 대해 실제로 정확한 사운드의 재생을 제공하지 않는다. 위치 특정 사운드들의 정확한 표현을 시도하기 위해 기존 시스템들을 이용하고, 실제 재생 환경의 많은 처리, 지식, 및 구성이 요구되고, 따라서 현재의 시스템들을 대부분의 응용들에 대해 비현실적인 것으로 만든다.
스크린에서 방으로의 시청각 전이를 개선하기 위해 서라운드 존(zone)들 내의 어느 위치에서 소스들을 정밀하게 배치하는 능력과, 온(on)-스크린 사운드 또는 대화에 대해 증가된 규정 및 개선된 시청각 코히어런스를 가져오는, 다수의 스크린 채널들을 지원하는 시스템이 필요하다. 예를 들면, 스크린 상의 캐릭터가 룸(room) 내부에서 음원쪽으로 향한다면, 사운드 엔지니어("믹서")는 사운드를 정밀하게 배치하여, 사운드가 캐릭터의 시선과 매칭하고 효과가 청중을 통해 일관되도록 하는 능력을 구비해야 한다. 그러나, 기존 5.1 또는 7.1 서라운드 사운드 믹스에서, 효과는 대부분의 대규모 청취 환경에 불리한 청취자의 자리 위치에 매우 의존한다. 증가된 서라운드 해상도는, "스위트 스팟(sweet spot)"에서의 단일 청취자를 가정하여 콘텐트가 생성되는, 전통적인 방식에 반대인 방-중심의 방식으로 사운드를 이용하기 위한 새로운 기회들을 생성한다.
공간 문제 이외에, 관련 기술 시스템의 현재의 멀티-채널 상태는 음색에 관한 문제를 겪는다. 예를 들면, 깨진 파이프 밖으로 쉿하는 증기 소리와 같은 몇몇 사운드들의 음질은 스피커들의 어레이에 의해 재생되는 것으로 문제를 겪을 수 있다. 단일 스피커에 특정 사운드들을 향하게 하는 능력은 어레이 재생의 아티팩트들을 제거하고 관객에게 보다 현실적인 경험을 전달할 수 있는 기회를 믹서에게 제공한다. 전통적으로, 서라운드 스피커들은 대형 스크린 채널들이 지원하는 오디오 주파수 및 레벨의 동일한 전체 범위를 지원하지 않는다. 역사적으로, 이것은 믹서들에 대해, 전체 범위의 사운드들을 스크린에서 방으로 자유롭게 이동시키는 그들의 능력을 감소시키는 문제들을 일으켰다. 결과적으로, 극장 소유자들은 자신들의 서라운드 채널 구성을 업그레이드해야 된다고 생각하지 않아, 보다 높은 품질 설비들의 광범위한 채택을 방지하였다.
시네마 사운드 포맷, 및 새로운 스피커 레이아웃 (채널 구성) 및 연관된 공간 디스크립션 포맷을 포함하는 처리 시스템을 위한 시스템들 및 방법들이 설명된다. 적응형 오디오 시스템 및 포맷은 다수의 렌더링 기술들을 지원한다고 규정된다. 오디오 스트림들은 오디오 스트림의 희망 위치를 포함하는 "믹서의 의도"를 설명하는 메타데이터(metadata)와 함께 송신된다. 위치는 (미리 규정된 채널 구성 내에서) 명명된 채널로서 또는 3차원 위치 정보로서 표현될 수 있다. 이러한 채널들 플러스 오브젝트들 포맷은 최적 채널-기반 및 모델-기반 오디오 장면 디스크립션 방법들을 결합시킨다. 적응형 오디오 시스템을 위한 오디오 데이터는 복수의 독립적인 모노 오디오 스트림들을 포함한다. 각각의 스트림은 스트림이 채널-기반인지 오디오-기반 스트림인지를 특정하는 메타데이터를 연관시켰다. 채널-기반 스트림들은 채널 이름에 의해 인코딩된 렌더링 정보를 갖고; 오브젝트-기반 스트림들은 다른 연관된 메타데이터 내에 인코딩된 수학적 표현들을 통해 인코딩된 위치 정보를 갖는다. 오리지널 독립 오디오 스트림들은 오디오 데이터를 모두 포함하는 단일 시리얼 비트 스트림으로 패키징된다. 이 구성은 타자(他者) 중심 레퍼런스 프레임(allocentric frame of reference)에 따라 사운드가 렌더링되는 것을 허용하고, 여기서 사운드의 렌더링 위치는 재생 환경 특성들(예를 들면, 방 사이즈, 형상 등)에 기초하여, 믹서의 의도에 대응한다. 오브젝트 위치 메타데이터는 적응 오디오 콘텐트를 재생하도록 설정되는 룸(room) 내의 이용가능한 스피커 위치들을 이용하여 사운드를 올바르게 재생하도록 요구된 적합한 타자 중심 레퍼런스 프레임 정보를 포함한다. 이것은 사운드 엔지니어가 경험한 믹스 환경과 상이할 수 있는 특정 재생 환경에 대해 사운드가 최적으로 믹싱되는 것을 가능하게 한다.
적응형 오디오 시스템은 개선된 룸 이퀄라이제이션 및 서라운드 베이스(bass) 관리 등의 혜택들을 통해 상이한 룸들 내의 오디오 품질을 개선시키고, 이에 따라 스피커들은 (온-스크린이든 오프-스크린이든) 음색 매칭에 대해 생각하지 않고 믹서에 의해 자유롭게 어드레싱될 수 있다. 적응형 오디오 시스템은 기존 채널-기반 워크플로우(workflow)들에 동적 오디오 오브젝트들의 유연성 및 파워를 부가한다. 이들 오디오 오브젝트들은 창작자들이 오버헤드 스피커들을 포함하는 임의의 특정 재생 스피커 구성들과 무관하게 개별적인 사운드 요소들을 제어하는 것을 허용한다. 또한, 상기 시스템은 포스트프로덕션(postproduction) 프로세스에 새로운 효율들을 도입하여, 사운드 엔지니어들이 그들의 모든 의도를 효율적으로 캡쳐하고 또는 이후에 실시간 모니터에서 서라운드-사운드 7.1 및 5.1 버전들을 자동으로 생성하는 것을 허용한다.
적응형 오디오 시스템은 극장 구성들의 넓은 범위에서 충실하게 재생될 수 있는, 디지털 시네마 프로세서 내의 하나의 트랙 파일에서 오디오 본질과 예술적 의도를 캡슐화하여 배포를 간소화한다. 상기 시스템은 믹스 및 렌더(render)가 렌더링 구성에 대한 하향 적응, 즉 다운믹싱으로 동일 채널 구성 및 단일 목록을 이용할 때 예술적 의도의 최적 재생을 제공한다.
이들 및 다른 이점들은 시네마 사운드 플랫폼에 관한 실시예들을 통해 제공되고, 현재의 시스템 한계를 해결하고 현재 이용가능한 시스템들을 넘어 오디오 경험을 전달한다.
본 명세서의 도면에서, 유사한 도면 부호는 유사한 요소들을 나타낸다. 도면들은 다양한 예들을 도시했지만, 하나 이상의 구현 예들은 도면에 도시된 실시예들로 한정되지 않는다.
도 1은 일 실시예에 따라, 적응형 오디오 시스템을 이용하는 오디오 생성 및 재생 환경의 고 레벨 개요도.
도 2는 일 실시예에 따라, 적응 오디오 믹스를 생성하기 위해 채널 및 오브젝트-기반의 데이터의 결합을 도시한 도면.
도 3은 일 실시예에 따라, 적응 오디오 콘텐트의 생성, 패키징 및 렌더링의 워크플로우(workflow)를 도시하는 블록도.
도 4는 일 실시예에 따라, 적응형 오디오 시스템의 렌더링 스테이지의 블록도.
도 5는 일 실시예에 따라, 적응형 오디오 시스템에 대해 메타데이터 유형들 및 연관된 메타데이터 요소들을 나열한 표를 도시한 도면.
도 6은 일 실시예에 따라, 적응형 오디오 시스템을 위한 포스트(post)-프로덕션 및 마스터링을 도시한 다이어그램.
도 7은 일 실시예에 따라, 적응형 오디오 파일들을 이용하는 디지털 시네마 패키징 프로세스에 대한 일 예시적인 워크플로우의 다이어그램.
도 8은 일반적인 강당에서 적응형 오디오 시스템에 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 오버헤드 뷰를 도시한 도면.
도 9는 일반적인 강당에서 이용하기 위한 스크린에서 제안된 스피커 위치의 예시적인 배치의 정면도.
도 10은 일반적인 강당에서, 적응형 오디오 시스템에서 함께 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 측면도.
도 11은 일 실시예에 따라, 기준점에 대하여 위쪽 서라운드 스피커들 및 측면 서라운드 스피커들의 배치의 예를 도시한 도면.
도 2는 일 실시예에 따라, 적응 오디오 믹스를 생성하기 위해 채널 및 오브젝트-기반의 데이터의 결합을 도시한 도면.
도 3은 일 실시예에 따라, 적응 오디오 콘텐트의 생성, 패키징 및 렌더링의 워크플로우(workflow)를 도시하는 블록도.
도 4는 일 실시예에 따라, 적응형 오디오 시스템의 렌더링 스테이지의 블록도.
도 5는 일 실시예에 따라, 적응형 오디오 시스템에 대해 메타데이터 유형들 및 연관된 메타데이터 요소들을 나열한 표를 도시한 도면.
도 6은 일 실시예에 따라, 적응형 오디오 시스템을 위한 포스트(post)-프로덕션 및 마스터링을 도시한 다이어그램.
도 7은 일 실시예에 따라, 적응형 오디오 파일들을 이용하는 디지털 시네마 패키징 프로세스에 대한 일 예시적인 워크플로우의 다이어그램.
도 8은 일반적인 강당에서 적응형 오디오 시스템에 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 오버헤드 뷰를 도시한 도면.
도 9는 일반적인 강당에서 이용하기 위한 스크린에서 제안된 스피커 위치의 예시적인 배치의 정면도.
도 10은 일반적인 강당에서, 적응형 오디오 시스템에서 함께 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 측면도.
도 11은 일 실시예에 따라, 기준점에 대하여 위쪽 서라운드 스피커들 및 측면 서라운드 스피커들의 배치의 예를 도시한 도면.
적응형 오디오 시스템과, 다수의 렌더링 기술들을 지원하는 연관된 오디오 신호 및 데이터 포맷을 위한 시스템들 및 방법들이 설명된다. 본 명세서에 설명된 하나 이상의 실시예들의 양태들은 소프트웨어 지시들을 실행하는 하나 이상의 컴퓨터들 또는 처리 디바이스들을 포함하는 믹싱, 렌더링 및 재생 시스템에서 소스 오디오 정보를 처리하는 오디오 또는 시청각 시스템 내에 구현될 수 있다. 임의의 설명된 실시예들은 단독으로 또는 임의의 결합으로 함께 이용될 수 있다. 다양한 실시예들은 본 명세서의 하나 이상의 장소들에서 논의되거나 암시된, 종래 기술의 여러 결함들에 의해 동기 부여되었지만, 실시예들은 임의의 이러한 결함들을 반드시 해결하는 것은 아니다. 즉, 상이한 실시예들은 본 명세서에서 논의된 상이한 결함들을 해결할 수 있다. 몇몇 실시예들은 본 명세서에서 논의된 단지 하나의 결함 또는 몇몇 결함들을 부분적으로 해결할 수 있고, 일부 실시예들은 이러한 결함들 중 어느 것도 해결하지 않을 수 있다.
본 발명의 목적을 위해, 다음의 용어들은 관련 의미를 갖는다:
채널 또는 오디오 채널: 예를 들면, 좌측 전방 또는 우측 상단 서라운드처럼 위치가 채널 ID로서 코딩되는 모노포닉(monophonic) 오디오 신호 또는 오디오 스트림 플러스 메타데이터. 채널 오브젝트는 다수의 스피커들을 구동할 수 있는데, 예를 들면, 좌측 서라운드 채널들(Ls)은 Ls 배열의 모든 스피커들을 공급할 것이다.
채널 구성: 5.1, 7.1 등과 같이 연관된 공칭 위치들을 갖는 스피커 존(zone)들의 미리 규정된 세트; 5.1은 좌우측 전방 채널들, 센터 채널, 두 개의 서라운드 채널들, 및 서브우퍼 채널을 갖는 6채널 서라운드 사운드 오디오 시스템을 참조하고; 7.1은 5.1 시스템에 두 개의 추가 서라운드 채널들을 부가하는 8채널 서라운드 시스템을 참조한다. 5.1 및 7.1 구성들의 예들은 돌비(Dolby)® 서라운드 시스템들을 포함한다.
스피커: 오디오 신호를 렌더링하는 오디오 변환기 또는 변환기들의 세트.
스피커 존: 하나 이상의 스피커들의 어레이는, 예를 들면, 일반적으로 시네마에서 발견되는 좌측 서라운드처럼, 특히 오브젝트 렌더링을 위한 배제 또는 포함을 위해, 유일하게 참조되고 단일 오디오 신호를 수신할 수 있다.
스피커 채널 또는 스피커-피드(Speaker-feed) 채널: 규정된 스피커 구성 내에서 명명된 스피커 또는 스피커 존과 연관되는 오디오 채널. 스피커 채널은 연관된 스피커 존을 이용하여 명목상 렌더링된다.
스피커 채널 그룹: 채널 구성(예를 들면, 스테레오 트랙, 모노 트랙 등)에 대응하는 하나 이상의 스피커 채널들의 세트.
오브젝트 또는 오브젝트 채널: 분명한 소스 위치(예를 들면, 3D 좌표들), 분명한 소스 폭 등과 같이, 파라미터 소스 디스크립션을 갖는 하나 이상의 오디오 채널들. 위치가 공간적으로 3D 위치로서 코딩되는 오디오 스트림 플러스 메타데이터.
오디오 프로그램: 스피커 채널들 및/또는 오브젝트 채널들 및 원하는 공간 오디오 프리젠테이션을 설명하는 연관된 메타데이터의 완전한 세트.
타자(他者) 중심 레퍼런스(allocentric reference): 오디오 오브젝트들이 방(room) 벽들 및 코너들, 표준 스피커 위치, 및 스크린 위치 (예를 들면, 방의 전방 좌측 코너)와 같은 렌더링 환경 내의 특징들에 관하여 규정되는 공간 레퍼런스.
자기중심(Egocentric) 레퍼런스: 오디오 오브젝트들이 (청중) 청취자의 관점에 대해 규정되고 종종 청취자에 대한 각도들(예를 들면, 청취자의 30도 우측)에 관하여 지정되는 공간 레퍼런스.
프레임: 프레임들은 짧고, 전체 오디오 프로그램이 분할된 독립적으로 디코딩가능한 세그먼트들이다. 오디오 프레임 레이트(rate) 및 경계는 일반적으로 비디오 프레임들과 함께 정렬된다.
적응 오디오: 재생 환경에 기초하여 오디오 신호들을 렌더링하는, 채널-기반 및/또는 오브젝트-기반 오디오 신호들 플러스 메타데이터.
본 명세서에 설명된 시네마 사운드 포맷 및 처리 시스템은 "적응형(적응형) 오디오 시스템"이라고도 지칭되고, 강화된 관객 몰입, 보다 예술적인 제어, 시스템 유연성 및 확장성, 및 설치 및 유지 보수의 용이성을 허용하기 위해 새로운 공간 오디오 디스크립션 및 렌더링 기술을 이용한다. 시네마 오디오 플랫폼의 실시예들은 믹싱 도구들, 팩커(packer)/인코더, 언팩(unpack)/디코더, 극장 내의 최종 믹스 및 렌더링 구성요소들, 새로운 스피커 디자인, 및 네트워킹된 증폭기들을 포함하는 몇몇 이산적인 구성요소들을 포함한다. 상기 시스템은 콘텐트 창작자들 및 전시자들에 의해 이용될 신규 채널 구성을 위한 권장 사항들을 포함한다. 상기 시스템은 렌더링 구성에 대한 하향 및 상향 적응, 즉 이용가능한 스피커들의 지연 렌더링 및 인에이블링 최적 이용을 갖는 단일 인벤토리; 채널 간 상관 관계를 피하기 위해 최적화된 다운믹싱을 포함하는 개선된 사운드 환경; 조종-스루(steer-thru) 어레이들(예를 들면, 서라운드 어레이 내의 하나 이상의 스피커들에 동적으로 할당된 오디오 오브젝트)을 통한 증가된 공간 해상도; 및 대안의 렌더링 방법들을 위한 지원과 같은 몇몇 특징들을 지원하는 모델-기반 디스크립션을 이용한다.
도 1은 일 실시예에 따라, 적응형 오디오 시스템을 이용하는 오디오 생성 및 재생 환경의 고 레벨 개요도이다. 도 1에 도시된 바와 같이, 종합적인 엔드-투-엔드(end-to-end) 환경(100)은 광범위한 다수의 엔드-포인트 디바이스들 및 이용 사례들을 통한 콘텐트 생성, 패키징(packaging), 배포 및 재생 렌더링 구성요소들을 포함한다. 전체 시스템(100)은 상이한 이용자 경험들(112)을 포함하는 다수의 상이한 이용 사례들로부터 및 이들 사례들에 대해 캡쳐된 콘텐트로 시작된다. 콘텐트 캡쳐 요소(102)는 예를 들면, 시네마, TV, 라이브 방송, 이용자 생성 콘텐트, 기록된 콘텐트, 게임들, 음악 등을 포함하고, 시청각 또는 순수 오디오 콘텐트를 포함할 수도 있다. 콘텐트는 시스템(100)을 통해 캡쳐 스테이지(102)에서 최종 이용자 경험(112)으로 진행함에 따라, 개별적인 시스템 구성요소들을 통해 몇몇 키 처리 단계들을 통과한다. 이들 처리 단계들은 오디오(104)의 전(pre)처리, 저작 도구들 및 프로세스들(106), 예를 들면, 오디오 데이터, 부가적인 메타데이터 및 재생 정보, 및 오브젝트 채널들을 캡쳐하는 오디오 코덱(108)에 의한 인코딩을 포함한다. 압축 (손실 또는 무손실), 암호화 등과 같은 여러 처리 효과들은 여러 매체들을 통해 효율적이고 안전한 배포를 위한 오브젝트 채널들에 적용될 수 있다. 이후, 적합한 엔드포인트-특정 디코딩 및 렌더링 프로세스들(110)은 특정 적응형 오디오 이용자 경험(112)을 재생하고 전달하도록 적용된다. 오디오 경험(112)은 적절한 스피커들 및 재생 디바이스들을 통한 오디오 또는 시청각 콘텐트의 재생을 나타내고, 시네마, 콘서트 홀, 야외 극장, 집이나 방, 청취 부스(booth), 자동차, 게임 콘솔, 헤드폰 또는 헤드셋 시스템, 장내 방송(public address; PA) 시스템 등 기타 재생 환경과 같이, 청취자가 캡쳐된 콘텐트의 재생을 경험하는 임의의 환경을 나타낼 수도 있다.
시스템(100)의 실시예는 멀티채널 오디오 프로그램들을 효율적으로 배포하고 저장할 수 있는 오디오 코덱(108)을 포함하고, 따라서 이 코덱은 '하이브리드' 코덱이라 지칭될 수 있다. 코덱(108)은 전통적인 채널-기반 오디오 데이터와 연관된 메타데이터를 결합하여, 믹싱 환경과는 상이할 수도 있는 환경에서의 렌더링 및 재생을 위해 구성되고 최적화된 오디오의 생성 및 전달을 용이하게 하는 오디오 오브젝트들을 생성한다. 이것은 사운드 엔지니어가 최종 오디오가 청취자의 실제 청취 환경에 기초하여 청취자에 의해 어떻게 들려야 하는지에 관한 자신의 의도를 인코딩하는 것을 허용한다.
종래의 채널-기반 오디오 코덱들은 오디오 프로그램이 청취자에 대한 미리 결정된 위치들의 스피커들의 어레이에 의해 재생되리라는 가정 하에 동작한다. 완전한 멀티채널 오디오 프로그램을 생성하기 위해, 사운드 엔지니어들은 일반적으로 대다수의 개별적인 오디오 스트림들(예를 들면, 대화, 음악, 효과들)을 믹싱하여 전체적인 원하는 인상을 생성한다. 일반적으로 오디오 믹싱 결정들은 예를 들면, 특정 극장에서의 특정 5.1 또는 7.1 시스템과 같이, 미리 결정된 위치들 내의 스피커들의 어레이에 의해 재생되는 오디오 프로그램을 청취하여 수행된다. 최종 믹싱된 신호는 오디오 코덱으로의 입력으로서 제공된다. 재생을 위해, 공간적으로 정확한 사운드 필드들은 스피커들이 미리 결정된 위치들에 배치될 때에만 달성된다.
오디오 오브젝트 코딩이라 불리는 오디오 코딩의 새로운 형태는 별개의 음원들(오디오 오브젝트들)을 개별적인 오디오 스트림들의 형태로 인코더에 대한 입력으로서 제공한다. 오디오 오브젝트들의 예들은 대화 트랙들, 싱글 악기들, 개개의 사운드 효과들 등의 포인트 소스들을 포함한다. 각각의 오디오 오브젝트는 사운드 위치, 사운드 폭, 및 속도 정보 등을 포함할 수 있지만 이에 국한되지 않는 공간 파라미터들과 연관된다. 이후, 오디오 오브젝트들 및 연관된 파라미터들은 배포 및 저장을 위해 코딩된다. 최종 오디오 오브젝트 믹싱 및 렌더링은 오디오 프로그램 재생의 일부로서 오디오 분포 체인의 수신 단에서 수행된다. 이 단계는 실제 스피커 위치들의 지식에 기초할 수 있고, 결과적으로 이용자별 청취 조건들에 따라 주문가능할 수 있는 오디오 분포 시스템이 된다. 채널-기반 및 오브젝트-기반의 두 코딩 형태들은 상이한 입력 신호 조건들에 대해 최적으로 수행한다. 일반적으로, 채널-기반 오디오 코더들은 상이한 오디오 소스들의 조밀한 혼합물들을 포함하는 코딩 입력 신호들에 대해 및 확산 소리들에 대해 보다 효율적이다. 반대로, 오디오 오브젝트 코더들은 적은 수의 고 지향성 음원들의 코딩에 대하여 보다 효율적이다.
일 실시예에서, 시스템(100)의 방법들 및 구성요소들은 종래의 채널-기반 오디오 요소들 및 오디오 오브젝트 코딩 요소들을 둘 다 포함하는 하나 이상의 비트스트림들을 생성하도록 구성되는 오디오 인코딩, 배포, 및 디코딩 시스템을 포함한다. 그러한 결합된 방식은 따로따로 취해지는 채널-기반 또는 오브젝트-기반 방식들에 비해 보다 높은 코딩 효율 및 렌더링 유연성을 제공한다.
설명된 실시예들의 다른 양태들은 역호환가능한 방식으로 미리 규정된 채널-기반 오디오 코덱을 확장하는 것을 포함하여 오디오 오브젝트 코딩 요소들을 포함한다. 오디오 오브젝트 코딩 요소들을 포함하는 새로운 '확장 층'이 규정되고, 채널-기반 오디오 코덱 비트스트림의 '베이스(base)' 또는 '역호환가능한' 층에 부가된다. 이러한 방식은 새로운 디코더들로 이용자들에 대한 강화된 청취자 경험을 제공하면서, 상기 확장 층을 포함하는 하나 이상의 비트스트림들이 기존의 디코더들에 의해 처리되는 것을 가능하게 한다. 강화된 이용자 경험의 하나의 예는 오디오 오브젝트 렌더링의 제어를 포함한다. 이러한 방식의 부가적인 이점은 오디오 오브젝트들이 채널-기반 오디오 코덱으로 인코딩된 멀티채널 오디오를 디코딩/믹싱/재인코딩하지 않고 배포 체인(chain)에 따라 어디서나 부가되거나 변경될 수 있다는 점이다.
레퍼런스 프레임에 관하여, 오디오 신호들의 공간 효과들은 청취자를 위한 몰입 경험을 제공하는데 중요하다. 뷰잉 스크린 또는 방의 특정 영역에서 발산하는 것을 의미할 수 있는 사운드들은 그 동일한 상대적 위치에 위치한 스피커(들)를(을) 통해 재생되어야 한다. 따라서, 사이즈, 방향, 속도 및 음향 분산 등의 다른 파라미터들도 설명될 수 있더라도, 모델-기반 디스크립션 내의 사운드 이벤트의 주요 오디오 메타데이터는 위치이다. 위치를 전달하기 위해, 모델-기반의 3D 오디오 공간 디스크립션은 3D 좌표 시스템을 요구한다. (유클리드(Euclidean) 구면 등) 송신을 위해 이용된 상기 좌표 시스템은 일반적으로 편의 또는 소형화를 위해 선택되지만, 다른 좌표 시스템들은 렌더링 처리를 위해 이용될 수 있다. 좌표 시스템뿐만 아니라, 공간적으로 오브젝트들의 위치들을 나타내기 위해 레퍼런스 프레임이 요구된다. 다양한 상이 환경들에서 위치-기반 사운드를 정확하게 재생하기 위한 시스템들에 대하여, 적합한 레퍼런스 프레임을 선택하는 것은 중요한 요소일 수 있다. 타자 중심 레퍼런스 프레임과 함께, 오디오 소스 위치는 방 벽들 및 코너들, 표준 스피커 위치들, 및 스크린 위치와 같은 렌더링 환경 내의 특징들에 관하여 규정된다. 자기중심 레퍼런스 프레임에서, 위치들은 "내 앞, 약간 좌측으로" 등과 같이 청취자의 시각에 대하여 표현된다. (오디오 및 그렇지 않으면) 공간 지각의 과학적 연구들은 거의 보편적으로 자기중심 관점이 이용됨을 보여주었다. 그러나, 시네마에 대해, 타자 중심이 일반적으로 몇몇 이유들로 인해 보다 적합하다. 예를 들면, 오디오 오브젝트의 정확한 위치는 스크린 상에 연관된 오브젝트가 있을 때 가장 중요하다. 모든 청취 위치에 대해, 및 임의의 스크린 사이즈에 대해, 타자 중심 레퍼런스를 이용하여, 사운드는 스크린 상의 동일한 상대적 위치, 예를 들면, 스크린 중간의 3분의 1 왼쪽에 국한될 것이다. 다른 이유는 믹서들이 타자 중심 측면에서 생각하고 믹싱하는 경향이 있고, 패닝(panning) 도구들이 타자 중심 프레임에 배치되고 (방 벽들), 믹서들은 그들이 그 방식으로 렌더링되는 것을 예상한다는 점, 예를 들면, 이 사운드는 스크린 상에 있어야 하거나, 이 사운드는 스크린으로부터 벗어나야 하거나, 좌측 벽으로부터 발생해야 한다는 등으로 예상한다.
시네마 환경에서 레퍼런스의 타자 중심 프레임의 이용에도 불구하고, 자기중심 레퍼런스 프레임이 유용하고 보다 적합할 수 있는 몇몇 경우들이 있다. 이들은 외재음(non-diegetic sound)들, 즉 자기중심적으로 균일한 프리젠테이션이 바람직할 수 있는 무드(mood) 음악 등과 같이 "이야기 공간"에 존재하지 않는 음들을 포함한다. 다른 경우는 자기중심적 표현을 요구하는 근접장(near-field) 효과들(예를 들면, 청취자의 좌측 귀에서 윙윙거리는 모기)이다. 현재 헤드폰 또는 아주 가까운 필드 스피커들을 이용하지 않는 한 그러한 짧은 음장을 렌더링하는 수단은 존재하지 않는다. 게다가, 무한 거리의 음원들(및 결과적인 평면파들)은 일정한 자기중심적 위치(예를 들면, 좌측으로 30도)에서 시작되는 것처럼 보이고, 그러한 사운드들은 타자 중심 관점에서보다 자기중심의 관점에 설명하는 것이 더욱 용이하다.
몇몇 경우들에서, 명목상의 청취 위치가 규정되는 한, 타자 중심 레퍼런스 프레임을 이용하는 것이 가능하지만, 몇몇 예들은 아직 렌더링하기에 불가능한 자기중심적 표현을 요구한다. 타자 중심 레퍼런스가 보다 유용하고 적합하더라도, 자기중심적 표현을 포함하는 많은 새로운 특징들이 특정 응용들 및 청취 환경들에서 보다 바람직할 수 있기 때문에, 오디오 표시는 확장가능해야 한다. 적응형 오디오 시스템의 실시예들은 최적 충실도를 위해, 및 증가된 공간 해상도 및 확장성을 효율적으로 인에이블하기 위해 자기중심 레퍼런스 플러스 타자 중심의 모델-기반 사운드 디스크립션을 이용하는 산개되거나 복잡한 멀티-포인트 소스들(예를 들면, 스타디움 관중, 분위기)의 렌더링을 위해, 추천된 채널 구성을 포함하는 하이브리드 공간 디스크립션 방식을 포함한다.
시스템 구성요소들
도 1에 관하여, 오리지널 사운드 콘텐트 데이터(102)는 처음에 전(pre)처리 블록(104)에서 처리된다. 시스템(100)의 전처리 블록(104)은 오브젝트 채널 필터링 구성요소를 포함한다. 많은 경우들에서, 오디오 오브젝트들은 사운드들의 독립적인 패닝을 인에이블하도록 개개의 음원들을 포함한다. 자연 또는 "저작" 사운드를 이용하여 오디오 프로그램들을 생성할 때와 같은 몇몇 경우들에서, 다수의 음원들을 포함하는 기록으로부터 개개의 사운드 오브젝트들을 추출하는 것이 필요할 수도 있다. 실시예들은 보다 복잡한 신호로부터 독립적인 소스 신호들을 분리하기 위한 방법을 포함한다. 독립적인 소스 신호들로부터 분리될 바람직하지 않은 요소들은 다른 독립적인 음원들 및 배경 잡음 등을 포함할 수 있지만, 이에 국한되지 않는다. 게다가, 잔향(reverb)은 "건조한(dry)" 음원들을 복구하기 위해 제거될 수 있다.
전처리기(104)는 또한 소스 분리 및 콘텐트 유형 검출 기능을 포함한다. 상기 시스템은 입력 오디오의 분석을 통한 자동화된 메타데이터의 생성을 위해 제공된다. 위치 메타데이터는 채널 쌍들 사이의 상관된 입력의 상대적인 레벨들의 분석을 통해 멀티-채널 기록으로부터 유도된다. "음성" 또는 "음악"과 같은 콘텐트 유형의 검출은 예를 들면, 특징 추출 및 분류에 의해 달성될 수 있다.
저작 도구들
저작 도구 블록(106)은 사운드 엔지니어의 창작 의도의 입력 및 체계화를 최적화하여 오디오 프로그램들의 저작을 향상시키기 위한 특징들을 포함하여, 엔지니어가 실제적으로 임의의 재생 환경에서의 재생을 위해 최적화된 최종 오디오 믹스를 생성하는 것을 허용한다. 이것은 오디오 오브젝트들, 및 오리지널 오디오 콘텐트와 연관되고 인코딩되는 위치 데이터의 이용을 통해 성취된다. 강당 주위에 사운드들을 정확하게 배치하기 위해, 사운드 엔지니어는 사운드가 재생 환경의 실제 제약들 및 특징들에 기초하여 궁극적으로 렌더링되는 방법을 제어할 필요가 있다. 적응형 오디오 시스템은 사운드 엔지니어가 오디오 콘텐트가 오디오 오브젝트들 및 위치 데이터의 이용을 통해 디자인되고 믹싱되는 방법을 변경하는 것을 허용하여 그러한 제어를 제공한다.
오디오 오브젝트들은 강당 내의 특정 물리적 위치 또는 위치들에서 발산한다고 인식될 수 있는 사운드 요소들의 그룹들로서 고려될 수 있다. 이러한 오브젝트들은 고정적이거나 이동할 수 있다. 적응형 오디오 시스템(100)에서, 오디오 오브젝트들은 무엇보다도 시간적으로 주어진 포인트에서 사운드의 위치를 상술하는 메타데이터에 의해 제어된다. 오브젝트들이 극장에서 모니터링되거나 재생될 때, 반드시 물리 채널에 출력되기보다는 오히려, 존재하는 스피커들을 이용하여 위치 메타데이터에 따라 렌더링된다. 세션 내의 트랙은 오디오 오브젝트일 수 있고, 표준 패닝 데이터는 위치 메타데이터와 유사하다. 이 방식으로, 스크린 상에 놓인 콘텐트는 채널-기반 콘텐트와 동일한 방식으로 효과적으로 패닝될 수 있지만, 서라운드 내에 놓인 콘텐트는 원하는 경우 개개의 스피커로 렌더링될 수 있다. 오디오 오브젝트들의 이용이 개별 효과들을 위한 원하는 제어를 제공하지만, 영화 사운드트랙의 다른 양태들은 채널-기반 환경에서 효과적으로 동작한다. 예를 들면, 많은 주위 효과들 또는 잔향은 실제로 스피커들의 어레이들에 공급되는 것으로 이득을 본다. 비록 이들이 어레이를 채우기에 충분한 폭을 갖는 오브젝트들로 취급될 수 있더라도, 일부 채널-기반 기능을 보유하는 것이 유리하다.
일 실시예에서, 적응형 오디오 시스템은 오디오 오브젝트들 뿐만 아니라 '베드(bed)들'을 지원하고, 상기 베드들은 효과적인 채널-기반의 서브-믹스들 또는 스템들이다. 이들은 콘텐트 창작자의 의도에 의존하여, 최종 재생(렌더링)을 위해 개별적으로 또는 단일 베드에 결합되어 전달될 수 있다. 이들 베드들은 5.1, 7.1과 같은 상이한 채널-기반 구성들로 생성될 수 있고, 9.1, 및 오버헤드 스피커들을 포함하는 어레이들과 같은 보다 광범위한 포맷들로 확장될 수 있다.
도 2는 일 실시예에 따라, 적응형 오디오 믹스를 생성하기 위한, 채널 및 오브젝트-기반 데이터의 결합을 도시한다. 프로세스(200)에 도시된 바와 같이, 예를 들면, 펄스-코드 변조(pulse-code modulated; PCM) 데이터의 형태로 제공된 5.1 또는 7.1 서라운드 사운드 데이터일 수 있는 채널-기반 데이터(202)는 적응형 오디오 믹스(208)를 생성하기 위해 오디오 오브젝트 데이터(204)와 결합된다. 오디오 오브젝트 데이터(204)는 오리지널 채널-기반 데이터의 요소들과 오디오 오브젝트들의 위치에 속하는 특정 파라미터들을 특정하는 연관된 메타데이터를 결합하여 생성된다.
도 2에 개념적으로 도시된 바와 같이, 저작 도구들은 동시적으로 스피커 채널 그룹들 및 오브젝트 채널들의 결합을 포함하는 오디오 프로그램들을 생성할 수 있는 기능을 제공한다. 예를 들면, 오디오 프로그램은 선택적으로 그룹들(또는 스테레오나 5.1 트랙 등의 트랙들)로 조직된 하나 이상의 스피커 채널들, 하나 이상의 스피커 채널들을 위한 기술적인(descriptive) 메타데이터, 하나 이상의 오브젝트 채널들, 및 하나 이상의 오브젝트 채널들을 위한 기술적인 메타데이터를 포함할 수 있다. 하나의 오디오 프로그램 내에서, 각각의 스피커 채널 그룹, 및 각각의 오브젝트 채널은 하나 이상의 상이한 샘플 레이트들을 이용하여 표현될 수 있다. 예를 들면, 디지털 시네마(D-시네마) 애플리케이션들은 48 kHz 및 96 kHz 샘플 레이트들을 지원하지만, 다른 샘플 레이트들도 또한 지원될 수 있다. 게다가, 상이한 샘플 레이트들을 갖는 채널들의 수집, 저장 및 편집이 또한 지원될 수 있다.
오디오 프로그램의 생성은 새로운 원하는 사운드 효과를 생성하기 위해 레벨 조정된 구성의 사운드 요소들의 합으로서 사운드 요소들을 결합하는 것을 포함하는 사운드 디자인의 단계를 요구한다. 적응형 오디오 시스템의 저작 도구들은 공간-시각의 사운드 디자인 그래픽 이용자 인터페이스를 이용하여 상대적 위치들을 갖는 사운드 오브젝트들의 수집으로서 사운드 효과들의 생성을 가능하게 한다. 예를 들면, 사운드 생성 오브젝트(예를 들면, 자동차)의 시각적 표현은 (테일 파이프(tail pipe), 타이어, 후드에서) 사운드 및 적절한 공간 위치를 포함하는 오브젝트 채널들로서 오디오 요소들(배출 노트, 타이어 험(hum), 엔진 소음)을 어셈블링하기 위한 템플릿으로서 이용될 수 있다. 개개의 오브젝트 채널들은 이후 그룹으로서 링크되고 조작될 수 있다. 저작 도구(106)는 사운드 엔지니어가 제어 정보를 입력하고 믹스 파라미터들을 뷰잉하고 시스템 기능을 향상시키는 것을 허용하기 위해 몇몇 이용자 인터페이스 요소들을 포함한다. 사운드 디자인 및 저작 프로세스는 또한 오브젝트 채널들 및 스피커 채널들이 그룹으로서 링크되고 조작되는 것을 허용함으로써 향상된다. 하나의 예는 분리된 드라이 사운드 소스를 갖는 오브젝트 채널과, 연관된 리버브(reverb) 신호를 포함하는 스피커 채널들의 세트를 결합하는 것이다.
오디오 저작 도구(106)는 일반적으로 믹싱이라 불리는 다수의 오디오 채널들을 결합하는 기능을 지원한다. 다수의 믹싱 방법들은 지원되고, 종래의 레벨-기반 믹싱 및 음량 기반 믹싱을 포함할 수 있다. 레벨-기반 믹싱에서, 광대역 스케일링이 오디오 채널들에 적용되고, 스케일링된 오디오 채널들은 이후 서로 합계된다. 각각의 채널에 대한 광대역 스케일 인자들은 결과적인 믹싱된 신호의 절대적인 레벨을 제어하도록 선택되고, 또한 믹싱된 신호 내에서 믹싱된 채널들의 상대적인 레벨들을 선택하도록 선택된다. 음량-기반 믹싱에서, 하나 이상의 입력 신호들은 주파수 의존 진폭 스케일링을 이용하여 변경되고, 상기 주파수 의존 진폭은 입력 사운드의 인식된 음색을 유지하면서, 원하는 인식된 절대 및 상대 음량을 제공하도록 선택된다.
저작 도구들은 기능이 스피커 채널들 및 스피터 채널 그룹들을 생성하도록 허용한다. 이는 메타데이터가 각각의 스피커 채널 그룹과 연관되는 것을 허용한다. 각각의 스피커 채널 그룹은 콘텐트 유형에 따라 태깅(tagging)될 수 있다. 콘텐트 유형은 텍스트 디스크립션을 통해 확장가능하다. 콘텐트 유형들은 대화, 음악, 및 효과들 등을 포함할 수 있지만, 이에 국한되지 않는다. 각각의 스피커 채널 그룹은 하나의 채널 구성으로부터 다른 채널 구성으로 업믹싱(upmixing)하는 방법에 관한 할당된 고유 지시들일 수 있고, 상기 업믹싱은 N개의 채널들로부터 M개의 오디오 채널들의 생성으로서 규정되고, M＞N이다. 입믹스 지시들은 다음 등을 포함할 수 있고, 이들로 제한되지 않는다: 업믹싱이 허용되는지를 나타내기 위한 인에이블/디스에이블 플래그(flag); 각각의 입력 및 출력 채널 사이의 맵핑(mapping)을 제어하기 위한 업믹스 매트릭스; 및 디폴트 인에이블 및 매트릭스 설정은 콘텐트 유형에 기초하여 할당될 수 있는데, 예를 들면, 음악만에 대해서는 업믹싱을 인에이블한다. 각각의 스피커 채널 그룹은 또한 하나의 채널 구성으로부터 다른 채널 구성으로 다운믹싱(downmixing)하는 방법에 관한 할당된 고유 지시들일 수 있고, 상기 다운믹싱은 X개의 채널들로부터 Y개의 오디오 채널들의 생성으로서 규정되고, Y＜X이다. 다운믹스 지시들은 다음 등을 포함할 수 있고, 이들로 제한되지 않는다: 각각의 입력 및 출력 채널 사이의 맵핑을 제어하기 위한 매트릭스; 및 디폴트 매트릭스 설정은 콘텐트 유형에 기초하여 할당될 수 있는데, 예를 들면, 대화는 스크린 상으로 다운믹싱될 것이고, 효과들은 스크린 밖으로 다운믹싱될 것이다. 각각의 스피커 채널은 또한 렌더링 동안 베이스(bass) 관리를 디스에이블하기 위해 메타데이터 플래그와 연관될 수 있다.
실시예들은 오브젝트 채널들 및 오브젝트 채널 그룹들의 생성을 가능하게 하는 특징을 포함한다. 이 발명은 메타데이터가 각각의 오브젝트 채널 그룹과 연관되는 것을 허용한다. 각각의 오브젝트 채널 그룹은 콘텐트 유형에 따라 태깅될 수 있다. 상기 콘텐트 유형은 텍스트 디스크립션을 통해 확장가능하고, 콘텐트 유형들은 대화, 음악, 및 효과들 등을 포함할 수 있지만, 이에 국한되지 않는다. 각각의 오브젝트 채널 그룹은 오브젝트(들)가(이) 렌더링되는 방법을 설명하기 위한 할당된 메타데이터일 수 있다.
위치 정보는 원하는 명백한 소스 위치를 나타내도록 제공된다. 위치는 자기중심 또는 타자 중심 레퍼런스 프레임을 이용하여 표시될 수 있다. 자기중심 레퍼런스는 소스 위치가 청취자에게 참조되어야 할 때 적합하다. 자기중심 위치에 대하여, 위치 설명에 대해 구면 좌표계가 유용하다. 타자 중심 레퍼런스는 시네마 또는 다른 오디오/비디오 프리젠테이션들에 대한 전형적인 레퍼런스 프레임이고, 여기서 소스 위치는 비주얼 디스플레이 스크린이나 방 경계들과 같은 프리젠테이션 환경에서 오브젝트들에 관하여 참조된다. 3차원(3D) 궤도 정보는 위치의 보간을 가능하게 하기 위해 또는 "모드로의 스냅(snap)" 활성화와 같은 다른 렌더링 결정들의 이용을 위해 제공된다. 사이즈 정보는 원하는 명백한 인식된 오디오 소스 사이즈를 나타내기 위해 제공된다.
공간 양자화는 (공간의 정확성에 대한 특정 잠재적인 희생으로) 정확히 하나의 스피커에 의해 렌더링된 오브젝트를 갖도록 사운드 엔지니어 또는 믹서에 의한 의도를 나타내는 "가장 가까운 스피커로의 스냅" 제어를 통해 제공된다. 허용된 공간 왜곡으로의 제한은 고도 및 방위각 오차 문턱치들을 통해 표시될 수 있어서, 문턱치를 초과하면, "스냅" 기능은 발생하지 않을 것이다. 거리 문턱치들 외에도, 크로스페이드 레이트(crossfade rate) 파라미터는 원하는 위치가 스피커들 사이에 교차할 때, 움직이는 대상이 하나의 스피커로부터 다른 스피커로 얼마나 신속하게 전이하거나 점프하는지를 제어하도록 표시될 수 있다.
일 실시예에서, 종속적인 공간 메타데이터는 특정 위치 메타데이터를 위해 이용된다. 예를 들면, 메타데이터는 슬레이브(slave) 오브젝트가 뒤따르는 "마스터" 오브젝트와 슬레이브 오브젝트를 연관시킴으로써 "슬레이브" 오브젝트에 대해 자동으로 생성될 수 있다. 시간 지연 또는 상대적인 속도가 슬레이브 오브젝트에 할당될 수 있다. 메커니즘들은 또한 오브젝트들의 세트들 또는 그룹들에 대한 음향 중심의 규정을 고려하도록 제공될 수 있고, 그래서 오브젝트는 다른 오브젝트 주위에 움직이는 것이 인식되도록 렌더링될 수 있다. 이러한 경우에서, 하나 이상의 오브젝트들은 룸(room)의 지배적인 포인트, 또는 드라이(dry) 영역과 같은 오브젝트 또는 규정된 영역 주위를 선회할 수 있다. 이후, 궁극적인 위치 정보가 다른 오브젝트에 관한 위치와 반대로 룸에 관한 위치로서 표현될지라도, 중력의 음향 중심은 각각의 적절한 오브젝트-기반 사운드에 대한 위치 정보를 결정하는 것을 돕기 위해 렌더링 단계에서 이용될 것이다.
오브젝트가 렌더링될 때, 재생 스피커들의 위치, 및 위치 메타데이터에 따른 하나 이상의 스피커들에 할당된다. 부가적인 메타데이터는 이용될 스피커들을 제한하기 위해 오브젝트와 연관될 수 있다. 제한들의 이용은 지시된 스피커들의 이용을 금하거나 단지 지시된 스피커들을 억제할 수 있다(달리 적용되는 것보다 스피커(들)로 향한 보다 적은 에너지를 허용한다). 제한될 스피커 세트들은 룸 내에서 전방 벽, 후방 벽, 좌측 벽, 우측 벽, 천정, 바닥 스피커들 등과 같이, 임의의 명명된 스피커들 또는 스피커 존(zone)들(예를 들면, L, C, R 등), 또는 스피커 영역들 등을 포함할 수 있지만, 이에 국한되지 않는다. 마찬가지로, 다수의 사운드 요소들의 원하는 믹스를 지정하는 과정에서, 하나 이상의 사운드 요소들이 다른 "마스킹(masking)" 사운드 요소들의 존재에 기인하여 안들리게 되거나 마스킹되게 하는 것이 가능하다. 예를 들면, 마스킹된 요소들이 검출될 때, 그들은 그래픽 디스플레이를 통해 이용자에게 식별될 수 있다.
다른 곳에서 기술한 바와 같이, 오디오 프로그램 디스크립션은 매우 다양한 스피커 설비들 및 채널 구성들 상에서 렌더링하도록 구성될 수 있다. 오디오 프로그램이 저작될 때, 원하는 결과들이 달성되는 것을 확인하기 위해, 예상된 재생 구성들 상의 프로그램 렌더링 효과를 모니터링하는 것이 중요하다. 이 발명은 타겟 재생 구성들을 선택하고 결과를 모니터링하는 기능을 포함한다. 게다가, 시스템은 각각의 예상된 재생 구성에서 생성될 최악의 경우의 (즉, 가장 높은) 신호 레벨들을 자동으로 모니터링하고, 클리핑(clipping) 또는 제한이 발생할 경우의 표시를 제공할 수 있다.
도 3은 일 실시예에 따라, 적응(adaptive) 오디오 콘텐트의 생성, 패키징 및 렌더링의 워크플로우(workflow)를 도시하는 블록도이다. 도 3의 워크플로우(300)는 생성/저작, 패키징, 및 전시로 분류되는 세 개의 별개의 태스크 그룹들로 분할된다. 일반적으로, 도 2에 도시된 베드(bed)들 및 오브젝트들의 하이브리드 모델은 대부분의 사운드 디자인, 편집, 사전(pre)-믹싱, 및 최종 믹싱이 오늘날과 동일한 방식으로 및 현재의 프로세스들에 과도한 오버헤드를 부가하지 않고 수행되는 것을 허용한다. 일 실시예에서, 적응형 오디오 기능은 사운드 저작 및 처리 장비와 함께 이용되는 소프트웨어, 펌웨어 또는 회로의 형태로 제공되고, 그러한 장비는 새로운 하드웨어 시스템들 또는 기존 시스템들의 업데이트들일 수 있다. 예를 들면, 플러그-인(plug-in) 애플리케이션들은 디지털 오디오 워크스테이션들을 위해 제공되어 사운드 디자인 및 편집에서 기존 패닝(panning) 기술들이 불변으로 유지되도록 허용할 수 있다. 이 방식으로, 베드들 및 오브젝트들 모두를 5.1의 워크스테이션 또는 유사한 서라운드-장비의 편집실들 내에 배치하는 것이 가능하다. 오브젝트 오디오 및 메타데이터는 더빙(dubbing) 극장에서 사전- 및 최종- 믹스 단계들에 대비하여 세션(session) 내에 기록된다.
도 3에 도시된 바와 같이, 생성 또는 저작 태스크들은 다음 예의 사운드 엔지니어 등의 이용자에 의해 믹싱 제어들을 믹싱 콘솔 또는 오디오 워크스테이션(304)에 입력하는 단계(302)를 포함한다. 일 실시예에서, 메타데이터는 믹싱 콘솔 표면 내에 통합되어, 채널 스트립들의 페이더(fader)들, 패닝 및 오디오 처리가 베드들 또는 스템(stem)들 및 오디오 오브젝트들 모두와 함께 동작하도록 허용한다. 상기 메타데이터는 콘솔 표면 또는 워크스테이션 이용자 인터페이스를 이용하여 편집될 수 있고, 사운드는 렌더링 및 마스터링 유닛(rendering and mastering unit; RMU)(306)을 이용하여 모니터링된다. 베드 및 오브젝트 오디오 데이터 및 연관된 메타데이터는 마스터링 세션 동안 기록되어 적응형 오디오 믹스(310) 및 (서라운드 7.1 또는 5.1 극장 믹스 등의) 임의의 다른 렌더링된 결과물들(308)을 포함하는 '프린트 마스터'를 생성한다. (프로 툴즈(Pro Tools)와 같은 디지털 오디오 워크스테이션들 등의) 기존 저작 도구들은 사운드 엔지니어들이 믹스 세션 내에서 개개의 오디오 트랙들을 라벨링하는 것을 허용하도록 이용될 수 있다. 실시예들은 이용자들이 오디오 요소들을 발견하거나 신속하게 식별하는 것을 돕기 위해 트랙 내에서 개개의 서브(sub)-세그먼트들을 라벨링(labeling)하는 것을 허용함으로써 그러한 개념을 확장시킨다. 메타데이터의 규정 및 생성을 가능하게 하는 믹싱 콘솔에 대한 이용자 인터페이스는 그래픽 이용자 인터페이스 요소들, 물리적인 제어들(예를 들면, 슬라이더들 및 노브(knob)들), 또는 이들의 임의의 결합을 통해 구현될 수 있다.
패키징 단계에서, 프린트 마스터 파일은 디지털 시네마 패키징 설비로의 배달을 위한 오디오 콘텐트의 무결성을 보장하기 위해, 산업-표준 MXF 포장 절차들을 이용하여 포장되고, 해싱(hashing)되고 선택적으로 암호화된다. 이 단계는 표준 서라운드-사운드 장비의 극장(318), 적응형 오디오-인에이블된 극장(320), 또는 임의의 다른 재생 환경과 같은 궁극적인 재생 환경에 의존하는 디지털 시네마 프로세서(digital cinema processor; DCP)(312) 또는 임의의 적합한 오디오 프로세서에 의해 수행될 수 있다. 도 3에 도시된 바와 같이, 프로세서(312)는 전시 환경에 의존하여 적합한 오디오 신호들(314 및 316)을 출력한다.
일 실시예에서, 적응형 오디오 프린트 마스터는 표준 DCI-규격 펄스 코드 변조된(Pulse Code Modulated; PCM) 믹스와 함께 적응형 오디오 믹스를 포함한다. PCM 믹스는 더빙 극장에서 렌더링 및 마스터링 유닛에 의해 렌더링될 수 있거나, 원한다면 별도의 믹스 단계에 의해 생성될 수 있다. PCM 오디오는 디지털 시네마 프로세서(312) 내에서 표준 메인 오디오 트랙 파일을 형성하고, 적응형 오디오는 부가적인 트랙 파일을 형성한다. 그러한 트랙 파일은 기존 산업 표준들을 따를 수 있고, 그것을 이용할 수 없는 DCI-규격 서버들에 의해 무시된다.
예시적인 시네마 재생 환경에서, 적응형 오디오 트랙 파일을 포함하는 DCP는 서버에 의해 유효 패키지로 인식되고, 상기 서버에 수집되고 이후 적응형 오디오 시네마 프로세서로 스트리밍(streaming)된다. 선형 PCM 및 이용가능한 적응형 오디오 파일들을 모두 구비한 시스템은 필요에 따라 그들 사이를 전환할 수 있다. 전시 단계로의 배포를 위해, 적응형 오디오 패키징 방식은 단일 유형의 패키지를 시네마에 전달하는 것을 허용한다. DCP 패키지는 PCM 및 적응형 오디오 파일들을 모두 포함한다. 키 전달 메시지(key delivery message; KDM)와 같은 보안 키들의 이용은 영화 콘텐트 또는 다른 유사 콘텐트의 안전한 배포를 가능하게 하도록 통합될 수 있다.
도 3에 도시된 바와 같이, 적응형 오디오 방법론은 사운드 엔지니어가 오디오 워크스테이션(304)을 통한 오디오 콘텐트의 렌더링 및 재생에 관하여 자신의 의도를 표현하는 것을 가능하게 함으로써 실현된다. 특정 입력 제어들을 제어함으로써, 엔지니어는 오디오 오브젝트들 및 사운드 요소들이 청취 환경에 의존하여 재생되는 장소 및 방법을 지정할 수 있다. 메타데이터는 공간 파라미터들(예를 들면, 위치, 속도, 강도, 음색 등)을 제어하고 청취 환경 내의 어느 스피커(들) 또는 스피커 그룹들이 전시 기간 동안 각각의 사운드들을 재생하는가를 지정하는 렌더링 큐(queue)들을 제공하기 위해 엔지니어의 믹싱 입력들(302)에 응답하여 오디오 워크스테이션(304) 내에 생성된다. 상기 메타데이터는 DCP(312)에 의한 패키징 및 송신을 위해 워크스테이션(304) 또는 RMU(306) 내의 각각의 오디오 데이터와 연관된다.
엔지니어에 의한 워크스테이션(304)의 제어를 제공하는 그래픽 이용자 인터페이스 및 소프트웨어 도구들은 도 1의 저작 도구들(106)의 적어도 일부를 포함한다.
하이브리드 오디오 코덱
도 1에 도시된 바와 같이, 시스템(100)은 하이브리드 오디오 코덱(108)을 포함한다. 이 구성요소는 종래의 채널-기반 오디오 요소들 및 오디오 오브젝트 코딩 요소들을 모두 포함하는 단일 비트스트림을 생성하도록 구성되는 오디오 인코딩, 배포, 및 디코딩 시스템을 포함한다. 하이브리드 오디오 코딩 시스템은 (채널-기반의) 제 1 인코딩 프로토콜에 따라 인코딩된 오디오 데이터를 디코딩하도록 구성된 제 1 디코더 및 (오브젝트-기반의) 하나 이상의 보조 인코딩 프로토콜들에 따라 인코딩된 오디오 데이터를 디코딩하도록 구성된 하나 이상의 보조 디코더들과 동시에 호환되는 (즉, 그 디코더(들)에 의해 디코딩가능한) 단일 (통합) 비트스트림을 생성하도록 구성되는 채널-기반 인코딩 시스템 주위에 구축된다. 상기 비트스트림은, (임의의 보조 디코더들에 의해 무시되고) 제 1 디코더에 의해 디코딩가능한 (데이터 버스트(burst)들의 형태의) 인코딩된 데이터 및 (제 1 디코더에 의해 무시되고) 하나 이상의 보조 디코더들에 의해 디코딩가능한 인코딩된 데이터(예를 들면, 다른 데이터 버스트들)를 모두 포함할 수 있다. 이후, 제 1 디코더 및 하나 이상의 보조 디코더들로부터의 디코딩된 오디오 및 연관된 정보(메타데이터)는 채널-기반 및 오브젝트-기반 정보가 둘 다 동시에 렌더링되어, 하이브리드 코딩 시스템에 제공된 (즉, 3D 공간 또는 청취 환경 내의) 오브젝트들, 채널들, 공간 정보, 및 환경의 팩시밀리를 재생성하는 방식으로 결합될 수 있다.
코덱(108)은 코딩된 오디오 정보 및 다수의 채널 위치들(스피커들)의 세트들에 관한 정보를 포함하는 비트스트림을 생성한다. 하나의 실시예에서, 하나의 채널 위치들의 세트는 채널 기반 인코딩 프로토콜을 위해 고정되고 이용되지만, 다른 채널 위치들의 세트는 오디오 오브젝트 기반 인코딩 프로토콜을 위해 적응되고 이용되어, 오디오 오브젝트를 위한 채널 구성은 (오브젝트가 음장 내에 배치되는 장소에 의존하여) 시간의 함수로서 변경될 수 있다. 따라서, 하이브리드 오디오 코딩 시스템은 재생을 위해 두 세트들의 스피커 위치들에 관한 정보를 운반할 수 있고, 여기서 하나의 세트는 고정되고 다른 하나의 세트의 서브세트일 수 있다. 기존의 코딩된 오디오 정보를 지원하는 디바이스들은 고정된 서브세트로부터의 오디오 정보를 디코딩하고 렌더링할 것이지만, 보다 큰 세트를 지원할 수 있는 디바이스는 상기 보다 큰 세트로부터 상이한 스피커들에 시변적으로 할당될 부가적인 코딩된 오디오 정보를 디코딩하고 렌더링할 수 있다. 더욱이, 상기 시스템은 시스템 및/또는 디바이스 내에 동시에 존재하는 상기 제 1 디코더 및 상기 하나 이상의 보조 디코더들에 의존하지 않는다. 따라서, 제 1 프로토콜을 지원하는 디코더만을 포함하는 레거시(legacy) 및/또는 기존 디바이스/시스템은 기존 채널-기반 재생 시스템들을 통해 렌더링되도록 완벽하게 호환성 있는 음장을 생산할 것이다. 이 경우에서, 하이브리드-비트스트림 프로토콜의 알 수 없거나 지원되지 않는 부분(들)(즉, 보조 인코딩 프로토콜이 나타내는 오디오 정보)은 제 1 하이브리드 인코딩 프로토콜을 지원하는 시스템 또는 디바이스 디코더에 의해 무시될 것이다.
또 다른 실시예에서, 코덱(108)은 (제 1 프로토콜을 지원하는) 제 1 인코딩 서브시스템이 하이브리드 인코더 내에 존재하는 상기 제 1 인코더 서브시스템 및 하나 이상의 보조 인코더 서브시스템들에서 모두 나타나는 모든 음장 정보(채널들 및 오브젝트들)의 결합된 표현을 포함하는 모드에서 동작하도록 구성된다. 이것은 하이브리드 비트스트림이 (일반적으로 하나 이상의 보조 인코더 프로토콜들 내에 운반되는) 오디오 오브젝트들이 제 1 프로토콜만을 지원하는 디코더들 내에서 표현되고 렌더링되는 것을 허용함으로써 제 1 인코더 서브시스템의 프로토콜만을 지원하는 디코더들의 역호환성을 포함하는 것을 보장한다.
또 다른 실시예에서, 코덱(108)은 둘 이상의 인코딩 서브시스템들을 포함하고, 이들 서브시스템들 각각은 다른 프로토콜에 따라 오디오 데이터를 인코딩하도록 구성되고, 하이브리드-포맷 (통합) 비트스트림을 생성하기 위해 서브시스템들의 출력들을 결합하도록 구성된다.
실시예들의 이점들 중 하나는 하이브리드 코딩된 오디오 비트스트림이 광범위한 콘텐트 배포 시스템들에 걸쳐 운반될 수 있는 기능이고, 통상적으로 상기 배포 시스템들 각각은 제 1 인코딩 프로토콜에 따라 인코딩된 데이터만을 지원한다. 이것은 하이브리드 코딩 시스템을 구체적으로 지원하기 위해 임의의 시스템 및/또는 송신 레벨 프로토콜 변경들/변화들의 필요성을 제거한다.
일반적으로 오디오 인코딩 시스템들은 비트스트림 자체 내에서 부가적인 (임의의) 데이터의 송신을 인에이블하기 위해 표준화된 비트스트림 요소들을 이용한다. 이 부가적인 (임의의) 데이터는 비트스트림에 포함된 인코딩된 오디오의 디코딩 동안 일반적으로 생략되지만(즉, 무시되지만), 디코딩 이외의 목적으로 이용될 수 있다. 상이한 오디오 코딩 표준들은 고유 명칭을 이용하여 이들 부가적인 데이터 필드들을 표현한다. 이러한 일반적인 유형의 비트스트림 요소들은 보조 데이터, 스킵(skip) 필드들, 데이터 스트림 요소들, 채우기 요소들, 부수(ancillary) 데이터, 및 서브스트림 요소들 등을 포함할 수 있지만, 이에 국한되지 않는다. 달리 지적되지 않는다면, 본 명세서에서 "보조 데이터"라는 표현의 이용은 부가적인 데이터의 특정 유형 또는 포맷을 함축하지 않고, 오히려 본 발명과 연관된 임의의 예시(들)를(을) 모두 포괄하는 일반적인 표현으로서 해석되어야 한다.
결합된 하이브리드 코딩 시스템 비트스트림 내에서 제 1 인코딩 프로토콜의 "보조" 비트스트림 요소들을 통해 인에이블된 데이터 채널은 (하나 이상의 보조 인코딩 프로토콜들에 따라 인코딩된) 하나 이상의 보조의 (독립적인 또는 종속하는) 오디오 비트스트림들을 운반할 수 있다. 상기 하나 이상의 보조 오디오 비트스트림들은 N개의 샘플 블록들로 분할될 수 있고, 제 1 비트스트림의 "보조 데이터" 필드들로 멀티플렉싱될 수 있다. 상기 제 1 비트스트림은 적절한 (보완) 디코더에 의해 디코딩가능하다. 게다가, 상기 제 1 비트스트림의 보조 데이터는 추출되고, 하나 이상의 보조 오디오 비트스트림들에 재결합되고, 하나 이상의 보조 비트스트림들의 신택스(syntax)를 지원하는 프로세서에 의해 디코딩되고, 이후 함께 또는 독립적으로 결합되고 렌더링될 수 있다. 더욱이, 제 1 및 제 2 비트스트림들의 역할들을 반대로 하는 것이 또한 가능해서, 제 1 비트스트림의 데이터의 블록들은 제 2 비트스트림의 보조 데이터에 멀티플렉싱된다.
보조 인코딩 프로토콜과 연관된 비트스트림 요소들은 또한, 원하는 음원 위치, 속도, 및 사이즈 등을 포함할 수 있는, 기본 오디오의 정보 (메타데이터) 특성들을 운반하고 전달할 수 있다. 이 메타데이터는 적용가능한 비트스트림 내에서 운반되는 연관된 오디오 오브젝트에 대한 적절한 (즉, 오리지널) 위치를 재생성하기 위해 디코딩 및 렌더링 프로세스들 동안 이용된다. 제 1 인코딩 프로토콜과 연관된 비트스트림 요소들 내에서, 하이브리드 스트림에 내재하는 하나 이상의 보조 비트스트림들에 포함된 오디오 오브젝트들에 적용가능한, 전술한 메타데이터를 운반하는 것이 또한 가능하다.
하이브리드 코딩 시스템의 제 1 및/또는 제 2 인코딩 프로토콜들과 연관된 비트스트림 요소들은 공간 파라미터들(즉, 신호 속성들의 본질 자체)을 식별하는 전후 관계상의 메타데이터 및 하이브리드 코딩된 오디오 비트스트림 내에서 운반되는 특정 오디오 클래스들의 형태로 기본 오디오 본질 유형을 설명하는 추가 정보를 운반/전달한다. 그러한 메타데이터는 예를 들면, 음성 대화, 음악, 음악을 통한 대화, 박수, 노래 소리 등의 존재를 나타낼 수 있고, 하이브리드 코딩 시스템의 업스트림 또는 다운스트림의 상호접속된 사전 또는 사후 처리 모듈들의 거동을 적응적으로 변경하도록 이용될 수 있다.
일 실시예에서, 코덱(108)은 코딩을 위해 이용가능한 비트들이 하나 이상의 프로토콜들을 지원하는 모든 또는 일부의 인코딩 서브시스템들 사이에 "공유되는" 공유된 또는 공통의 비트 풀(bit pool)과 동작하도록 구성된다. 그러한 코덱은 통합된 비트스트림의 전반적인 오디오 품질을 최적화하기 위해, 인코딩 서브시스템들 사이에 (공통의 "공유된" 비트 풀로부터) 이용가능한 비트들을 배포할 수 있다. 예를 들면, 제 1 시간 간격 동안, 코덱은 보다 많은 이용가능한 비트들을 제 1 인코딩 서브시스템에 할당할 수 있고, 보다 적은 이용가능한 비트들을 나머지 서브시스템들에 할당할 수 있는 반면, 제 2 시간 간격 동안, 상기 코덱은 보다 적은 이용가능한 비트들을 제 1 인코딩 서브시스템에 할당할 수 있고, 보다 많은 이용가능한 비트들을 나머지 서브시스템들에 할당할 수 있다. 인코딩 서브시스템들 사이에 비트들을 할당하는 방법의 결정은 예를 들면, 공유된 비트 풀의 통계적 분석, 및/또는 각각의 서브시스템에 의해 인코딩된 오디오 콘텐트의 분석의 결과들에 의존할 수 있다. 상기 코덱은 인코딩 서브시스템들의 출력들을 멀티플렉싱하여 구축되는 통합된 비트스트림이 특정 시간 간격 동안 일정한 프레임 길이/비트레이트를 유지하는 방법으로, 공유된 풀로부터의 비트들을 할당할 수 있다. 몇몇 경우들에서, 통합된 비트스트림의 프레임 길이/비트레이트가 특정 시간 간격 동안 변화하는 것이 또한 가능하다.
일 대안적인 실시예에서, 코덱(108)은 (제 1 인코딩 프로토콜을 지원하는 디코더가 디코딩할) 인코딩된 데이터 스트림의 독립적인 서브스트림으로서 구성되고 송신된 제 1 인코딩 프로토콜에 따라 인코딩된 데이터, 및 (제 1 프로토콜을 지원하는 디코더가 무시할) 인코딩된 데이터 스트림의 독립적인 또는 종속적인 서브스트림으로서 송신된 제 2 프로토콜에 따라 인코딩된 데이터를 포함하는 통합된 비트스트림을 생성한다. 보다 일반적으로, 한 부류의 실시예들에서, 상기 코덱은 둘 이상의 독립적인 또는 종속적인 서브스트림들(각각의 서브스트림은 상이하거나 동일한 인코딩 프로토콜에 따라 인코딩된 데이터를 포함한다)을 포함하는 통합된 비트스트림을 생성한다.
또 다른 대안적인 실시예에서, 코덱(108)은 (고유 비트스트림 식별자와 연관된 제 1 인코딩 프로토콜을 지원하는 디코더가 디코딩할) 상기 고유 비트스트림 식별자와 함께 구성되고 송신된 제 1 인코딩 프로토콜에 따라 인코딩된 데이터, 및 제 1 프로토콜을 지원하는 디코더가 무시할, 고유 비트스트림 식별자와 함께 구성되고 송신된 제 2 프로토콜에 따라 인코딩된 데이터를 포함하는 통합된 비트스트림을 생성한다. 보다 일반적으로, 한 부류의 실시예들에서, 상기 코덱은 둘 이상의 서브스트림들(각각의 서브스트림은 상이하거나 동일한 인코딩 프로토콜에 따라 인코딩된 데이터를 포함하고 고유 비트스트림 식별자를 운반한다)을 포함하는 통합된 비트스트림을 생성한다. 전술된 통합된 비트스트림을 생성하기 위한 방법들 및 시스템들은 어느 인터리빙(interleaving) 및/또는 프로토콜이 하이브리드 비트스트림 내에서 이용되었는지를 (디코더에게) 명확하게 시그널링할 수 있는 기능을 제공한다(예를 들면, AUX 데이터, SKIP, DSE 또는 설명된 서브스트림 방식이 이용되는지의 여부를 시그널링(signaling)하는 것).
하이브리드 코딩 시스템은 매체 전달 시스템에 걸쳐 발견되는 임의의 처리 포인트에서 (제 1 프로토콜을 지원하는) 제 1 비트스트림으로 하나 이상의 보조 프로토콜들을 지원하는 비트스트림들의 디(de)-인터리빙/디멀티플렉싱 및 재(re)-인터리빙/재-멀티플렉싱을 지원하도록 구성된다. 또한, 하이브리드 코덱은 상이한 샘플 레이트들로 하나의 비트스트림으로의 오디오 입력 스트림들을 인코딩할 수 있도록 구성된다. 이것은 본질적으로 상이한 대역폭들을 갖는 신호들을 포함하는 오디오 소스들을 효율적으로 코딩하고 배포하기 위한 수단을 제공한다. 예를 들면, 대화 트랙들은 일반적으로 음악 및 효과들 트랙들보다 본질적으로 더 낮은 대역폭을 갖는다.
렌더링
일 실시예에 따라, 적응형 오디오 시스템은 다수(예를 들면, 최대 128개)의 트랙들이 보통 베드(bed)들 및 오브젝트들의 결합으로서 패키징되는 것을 허용한다. 적응형 오디오 시스템에 대한 오디오 데이터의 기본 형식은 복수의 독립적인 모노포닉(monophonic) 오디오 스트림들을 포함한다. 각각의 스트림은 스트림이 채널-기반 스트림인지 오브젝트-기반 스트림인지를 지정하는 메타데이터를 연관시켰다. 채널-기반 스트림들은 채널 명 또는 라벨에 의해 인코딩된 렌더링 정보를 갖고; 오브젝트-기반 스트림들은 추가 관련 메타데이터 내에 인코딩된 수학적 표현들을 통해 인코딩된 위치 정보를 갖는다. 오리지널 독립 오디오 스트림들은 이후, 정렬 방식의 모든 오디오 데이터를 포함하는 단일 시리얼 비트스트림으로서 패키징된다. 이러한 적응형 데이터 구성은 사운드가 타자(他者) 중심의 레퍼런스 프레임에 따라 렌더링되도록 허용하고, 여기서 사운드의 최종 렌더링 위치는 믹서의 의도에 대응하도록 재생 환경에 기초한다. 따라서, 사운드는 특정 라벨의 스피커 또는 스피커 그룹(예를 들면, 좌측 서라운드)보다는 오히려 재생 룸의 레퍼런스 프레임(예를 들면, 좌측 벽의 중앙)에서 발생하도록 특정될 수 있다. 오브젝트 위치 메타데이터는 적응형 오디오 콘텐트를 재생하도록 설정되는 룸 내의 이용가능한 스피커 위치들을 이용하여 사운드를 정확하게 재생하도록 요구된 적절한 타자 중심 레퍼런스 프레임 정보를 포함한다.
렌더러(renderer)는 오디오 트랙들을 인코딩하는 비트스트림을 취하고, 신호 유형에 따라 콘텐트를 처리한다. 베드들은 개개의 오브젝트들과 상이한 지연들 및 등화(equalization) 처리를 잠재적으로 요구할 어레이들에 공급된다. 프로세스는 다수(최대 64개)의 스피커 출력들에 이들 베드들 및 오브젝트들의 렌더링을 지원한다. 도 4는 일 실시예에 따른 적응형 오디오 시스템의 렌더링 스테이지의 블록도이다. 도 4의 시스템(400)에 도시된 바와 같이, 적응형 오디오 신호들(402)을 포함하는 최대 128개의 오디오 트랙들과 같은 다수의 입력 신호들은 RMU(306) 및 프로세서(312)와 같은, 시스템(300)의 생성, 저작 및 패키징 스테이지들의 특정 구성요소들에 의해 제공된다. 이들 신호들은 렌더러(404)에 의해 이용된 채널-기반 베드들 및 오브젝트들을 포함한다. 채널-기반 오디오 (베드들) 및 오브젝트들은 상이한 오디오 구성요소들의 출력 레벨들 또는 진폭들을 제어하는 레벨 매니저(406)에 입력된다. 특정 오디오 구성요소들은 어레이 정정 구성요소(408)에 의해 처리될 수 있다. 이후, 적응형 오디오 신호들은 다수(예를 들면, 최대 64개)의 스피커 피드(feed) 출력 신호들을 생성하는 B-체인 처리 구성요소(410)를 통해 통과된다. 일반적으로, B-체인 피드들은 필름 스톡(film stock) 상의 사운드 트랙을 구성하는 A-체인 콘텐트와는 반대로, 전력 증폭기들, 크로스오버(crossover)들 및 스피커들에 의해 처리된 신호들을 참조한다.
일 실시예에서, 렌더러(404)는 극장 내의 서라운드 스피커들을 그들의 최상의 능력까지 지능적으로 이용하는 렌더링 알고리즘을 실행한다. 서라운드 스피커들의 전력 처리 및 주파수 응답을 개선시키고, 극장 내의 각각의 출력 채널 또는 스피커에 대한 동일한 모니터링 레퍼런스 레벨을 유지함으로써, 스크린 및 서라운드 스피커들 사이에 패닝되는 오브젝트들은 극장 내의 전체 음압 레벨을 중대하게 증가시키지 않고, 그들의 음압 레벨을 유지할 수 있으며, 보다 가까운 음색 매칭을 갖는다. 적절히-특정된 서라운드 스피커들의 어레이는 전형적으로 서라운드 7.1 또는 5.1 사운드트랙 내에서 이용가능한 최대 동적 범위(즉, 기준 레벨 이상으로 20dB)를 재생하기에 충분한 헤드룸(headroom)을 가질 것이지만, 단일 서라운드 스피커가 대형 멀티-방식 스크린 스피커의 동일한 헤드룸을 갖지는 않을 것이다. 결과적으로, 서라운드 필드 내에 배치된 오브젝트가 단일 서라운드 스피커를 이용하여 달성 가능한 것보다 큰 음압을 요구하는 경우들이 존재할 가능성이 높을 것이다. 이들 경우들에서, 렌더러는 요구된 음압 레벨을 달성하기 위해, 적절한 수의 스피커들에 걸쳐 사운드를 전파할 것이다. 적응형 오디오 시스템은 렌더링의 충실도를 향상시키기 위해 서라운드 스피커들의 품질 및 전력 처리를 개선시킨다. 그것은 각각의 서라운드 스피커가 향상된 전력 처리를 달성하는 것을 허용하는 선택적인 후방 서브우퍼들의 이용을 통해, 그리고 동시에 보다 작은 스피커 캐비넷들을 잠재적으로 이용하여, 서라운드 스피커들의 베이스(bass) 관리를 위한 지원을 제공한다. 그것은 또한, 오브젝트들이 부드럽게 스크린에서 서라운드로 전환할 수 있음을 보장하기 위해, 현재의 관행보다 스크린에 더 가까운 측면 서라운드 스피커들의 부가를 허용한다.
특정 렌더링 프로세스들과 함께 오디오 오브젝트들의 위치 정보를 특정하기 위한 메타데이터의 이용을 통해, 시스템(400)은 콘텐트 창작자들이 기존 시스템들의 제약들을 극복하도록 포괄적인 유연한 방법을 제공한다. 전술한 바와 같이, 현재의 시스템들은 오디오 본질(재생되는 오디오의 일부) 내에 전달되는 콘텐트 유형의 제한된 지식으로 특정 스피커 위치들에 고정되는 오디오를 생성하고 배포한다. 적응형 오디오 시스템(100)은 스피커 위치 특정 오디오 (좌채널, 우채널 등) 및 위치, 사이즈 및 속도 등을 포함할 수 있지만, 이에 국한되지 않는 공간 정보를 일반화한 오브젝트 지향 오디오 요소들 모두에 대한 옵션을 포함하는 새로운 하이브리드 방식을 제공한다. 이 하이브리드 방식은 (고정된 스피커 위치들에 의해 제공된) 충실도 및 (일반화된 오디오 오브젝트들의) 렌더링의 유연성을 위한 균형있는 접근을 제공한다. 상기 시스템은 또한, 콘텐트 생성시 콘텐트 창작자에 의해 오디오 본질과 한 쌍이 되는 오디오 콘텐트에 관한 부가적인 유용 정보를 제공한다. 이 정보는 렌더링 동안 매우 영향력 있는 방법들로 이용될 수 있는 오디오의 속성들에 관한 강력한 세부 정보를 제공한다. 그러한 속성들은 콘텐트 유형(대화, 음악, 효과, 효과음(Foley), 배경/분위기 등), 공간 속성들(3D 위치, 3D 사이즈, 속도), 및 렌더링 정보(스피커 위치에 스냅, 채널 무게, 이득, 베이스(bass) 관리 정보 등) 등을 포함할 수 있다.
본 발명에 설명된 적응형 오디오 시스템은 매우 다양한 수들의 엔드 포인트(end point)들에 의한 렌더링을 위해 이용될 수 있는 강력한 정보를 제공한다. 많은 경우들에서, 적용되는 최적 렌더링 기술은 엔드 포인트 디바이스에 매우 의존한다. 예를 들면, 홈 씨어터 시스템들 및 사운드바(soundbar)들은 2, 3, 5, 7 또는 심지어 9개의 분리된 스피커들을 가질 수 있다. 텔레비전, 컴퓨터, 음악 독(dock) 등의 시스템들의 많은 다른 유형들은 단지 두 개의 스피커들을 갖고, 거의 모든 일반적으로 이용되는 디바이스들은 바이노럴(binaural) 헤드폰 출력을 갖는다(PC, 랩톱, 태블릿, 셀 폰, 음악 재생기 등). 그러나, 오늘날 배포되는 종래의 오디오에 대해(모노, 스테레오, 5.1, 7.1 채널), 종점 디바이스들은 종종, 채널/스피커의 특정 형태로 지금 배포되는 오디오를 렌더링하고 재생하기 위한 단순한 결정 및 타협을 할 필요가 있다. 게다가, 배포되고 있는 실제 콘텐트(대화, 음악, 분위기 등)에 관하여 전달되는 정보 및 오디오 재생을 위한 콘텐트 창작자의 의도에 관한 정보가 거의 없거나 아예 없다. 그러나, 적응형 오디오 시스템(100)은 이러한 정보, 및 강력한 차세대 이용자 경험을 생성하도록 이용될 수 있는 오디오 오브젝트들에 대한 잠재적인 액세스를 제공한다.
시스템(100)은 콘텐트 창작자가 독특하고 강력한 메타데이터 및 적응형 오디오 송신 포맷을 통해 위치, 사이즈, 속도 등과 같은 메타데이터를 이용하여 비트스트림 내에서 믹스의 공간적인 의도를 임베딩하는 것을 허용한다. 이것은 오디오의 공간 재생에서 상당한 유연성을 허용한다. 공간 렌더링 관점으로부터, 적응형 오디오는 재생 시스템의 기하 구조가 저작 시스템과 동일하지 않을 때 발생하는 공간 왜곡을 피하기 위해, 특정 룸 내의 스피커들의 정확한 위치에 대한 믹스의 적응을 가능하게 한다. 스피커 채널에 대한 오디오만이 송신되는 현재의 오디오 재생 시스템에서, 콘텐트 창작자의 의도는 알려지지 않는다. 시스템(100)은 생성 및 배포 파이프라인 전반에 걸쳐 전달된 메타데이터를 이용한다. 적응형 오디오-인식 재생 시스템은 이러한 메타데이터 정보를 이용하여, 콘텐트 창작자의 오리지널 의도와 매칭하는 방식으로 콘텐트를 재생할 수 있다. 마찬가지로, 믹스는 재생 시스템의 정확한 하드웨어 구성에 적응될 수 있다. 현재, 텔레비전, 홈 씨어터, 사운드바, 휴대용 음악 재생기 독 등과 같은 장비를 렌더링하는데 많은 상이한 가능한 스피커 구성들 및 유형들이 있다. 오늘날 이들 시스템들이 채널 특정 오디오 정보(즉, 좌우 채널 오디오 또는 멀티채널 오디오)를 송신할 때, 시스템은 오디오를 렌더링 장비의 성능들에 적절히 매칭하도록 처리해야 한다. 일 예는 둘 이상의 스피커들로 사운드바로 송신되는 표준 스테레오 오디오이다. 스피커 채널에 대한 오디오만이 송신되는 현재의 오디오 재생에서, 콘텐트 창작자의 의도를 알 수 없다. 생성 및 배포 파이프라인 전반에 걸쳐 전달된 메타데이터의 이용을 통해, 적응형 오디오 인식 재생 시스템은 콘텐트 창작자의 원래 의도에 매칭하는 방식으로 콘텐트를 재생하기 위해 그러한 정보를 이용할 수 있다. 예를 들면, 몇몇 사운드바들은 임장감 느낌(sense of envelopment)를 생성하기 위해 측면 방사식(firing) 스피커들을 갖는다. 적응형 오디오와 함께, (주위 효과들과 같은) 공간 정보 및 콘텐트 유형은 적절한 오디오만을 그들 측면 방사식 스피커들로 송신하기 위해 사운드바에 의해 이용될 수 있다.
적응형 오디오 시스템은 모든 전방/후방, 좌측/우측, 위/아래, 근처/멀리의 차원들에서 시스템 내의 스피커들의 무제한 보간을 허용한다. 현재의 오디오 재생 시스템들에서, 청취자에 의해 두 스피커들 사이에 있다고 인식될 정도로 오디오를 위치시키도록 요구될 수 있는 오디오를 처리하는 방법에 대한 아무런 정보도 존재하지 않는다. 현재, 단지 특정 스피커에 할당되는 오디오와 함께, 공간 양자화 요소가 도입된다. 적응형 오디오와 함께, 오디오의 공간 위치는 정확히 알려지고 그에 따라 오디오 재생 시스템 상에 재생될 수 있다.
헤드폰 렌더링에 관하여, 창작자의 의도는 헤드 관련 전달 함수(Head Related Transfer Functions; HRTF)를 공간 위치에 매칭시킴으로써 실현된다. 오디오가 헤드폰을 통해 재생될 때, 공간적 가상화는 헤드폰이 아닌 3D 공간에서 재생되는 오디오의 인식을 생성하는 지각적인 큐(cue)들을 부가하여, 오디오를 처리하는, 헤드 관련 전달 함수의 애플리케이션에 의해 달성될 수 있다. 공간 재생의 정확도는 공간 위치를 포함하는 몇몇 요소들에 기초하여 변화할 수 있는, 적합한 HRTF의 선택에 의존한다. 적응형 오디오 시스템에 의해 제공된 공간 정보를 이용하는 것은 재생 경험을 매우 향상시키기 위해 하나 또는 지속적으로 변화하는 수의 HRTF들의 선택에 이를 수 있다.
적응형 오디오 시스템에 의해 전달된 공간 정보는 강력한 엔터테인먼트 경험(영화, 텔레비전, 음악 등)을 생성하도록 콘텐트 창작자에 의해 이용될 수 있을 뿐만 아니라, 청취자가 빌딩들 또는 관심 지역 지점들과 같은 물리적 오브젝트들에 대해 위치되는 장소를 나타낼 수 있다. 이것은 이용자가 실세계와 관련되는 가상화된 오디오 경험 즉, 증강된 현실과 상호작용하는 것을 허용할 것이다.
실시예들은 또한, 오브젝트 오디오 데이터가 이용가능하지 않은 경우에만 메타데이터를 판독하여 강화된 업믹싱(upmixing)을 수행함으로써, 공간 업믹싱을 활성화한다. 모든 오브젝트들의 위치 및 그들의 유형들을 아는 것은 업믹서가 채널-기반 트랙들 내에서 요소들을 보다 양호하게 구별하는 것을 허용한다. 기존 업믹싱 알고리즘들은 가청 인공 잡음들이 거의 없는 고품질 업믹스를 생성하기 위해 오디오 스트림 내에서 상이한 요소들의 위치 뿐만 아니라, 오디오 콘텐트 유형(연설, 음악, 주위 효과들)과 같은 정보를 추론해야 한다. 많은 경우에, 추론된 정보는 부정확하거나 부적합할 수 있다. 적응형 오디오와 함께, 예를 들면, 오디오 콘텐트 유형, 공간 위치, 속도, 오디오 오브젝트 사이즈 등과 관련된 메타데이터로부터 이용가능한 부가 정보는 고품질 재생 결과를 생성하기 위해 업믹싱 알고리즘에 의해 이용될 수 있다. 상기 시스템은 또한, 스크린의 오디오 오브젝트를 시각적 요소들에 정확하게 위치시킴으로써 오디오를 비디오에 공간적으로 매칭시킨다. 이 경우, 몇몇 오디오 요소들의 재생된 공간 위치가 스크린 상의 이미지 요소들에 매칭하면, 특히 보다 큰 스크린 사이즈들로 하여, 강력한 오디오/비디오 재생 경험이 가능하다. 일례는 영화 또는 텔레비전 프로그램 내의 대화를 스크린 상에 말하는 사람 또는 캐릭터와 공간적으로 일치시키는 것이다. 정상적인 스피커 채널 기반 오디오에 대해, 대화가 스크린 상의 사람 또는 캐릭터의 위치에 매칭하도록 공간적으로 위치되는 장소를 결정하기 위해 용이한 방법이 없다. 적응형 오디오와 더불어 이용가능한 오디오 정보를 통해, 그러한 오디오/비주얼 정렬은 달성될 수 있다. 시각 위치 및 오디오 공간 정렬은 또한, 자동차, 트럭, 애니메이션 등과 같은 비(non)-캐릭터/대화 오브젝트들을 위해 이용될 수 있다.
적응형 오디오 메타데이터를 통한 믹스의 공간 의도의 지식이 믹스가 임의의 스피커 구성에 적응될 수 있음을 의미하므로, 공간 마스킹 처리는 시스템(100)에 의해 용이하게 된다. 그러나, 재생 시스템 제한들 때문에, 동일한 또는 거의 동일한 위치에서 오브젝트들을 다운믹싱(downmixing)하는 위험을 감수한다. 예를 들면, 서라운드 채널들이 존재하지 않으면, 좌측 후방에서 패닝될 오브젝트는 좌측 전방으로 다운믹싱될 수도 있지만, 보다 큰 소리를 내는 요소가 동시에 좌측 전방에서 발생하면, 다운믹싱된 오브젝트는 마스킹되고 믹스로부터 사라질 것이다. 적응형 오디오 메타데이터를 이용하여, 공간 마스킹은 렌더러에 의해 예상될 수 있고, 각각의 오브젝트의 공간 및/또는 큰 소리 다운믹스 파라미터들은 조정될 수 있어서, 믹스의 모든 오디오 요소들은 오리지널 믹스에서만큼 지각할 수 있도록 남게 된다. 렌더러가 믹스와 재생 시스템 사이의 공간 관계를 이해하기 때문에, 둘 이상의 스피커들 사이에 환영(phantom) 이미지를 생성하는 대신 오브젝트들을 가장 가까운 스피커들에 "스냅"하는 기능을 갖는다. 이것은 믹스의 공간 표현을 약간 왜곡시킬 수 있지만, 렌더러가 의도되지 않은 환영 이미지를 피하는 것을 또한 허용한다. 예를 들면, 믹싱 스테이지의 좌측 스피커의 각도 위치가 재생 시스템의 좌측 스피커의 각도 위치에 대응하지 않으면, 가장 가까운 스피커로의 스냅 기능을 이용하는 것은 재생 시스템으로 하여금 믹싱 스테이지의 좌측 채널의 일정한 환영 이미지를 재생하게 하는 것을 피할 수 있다.
콘텐트 처리에 관하여, 적응형 오디오 시스템(100)은 콘텐트 창작자가 개개의 오디오 오브젝트들을 생성하고, 재생 시스템에 전달될 수 있는 콘텐트에 관한 정보를 부가하는 것을 허용한다. 이것은 재생에 앞서 오디오 처리에 다량의 유연성을 허용한다. 콘텐트 처리 및 렌더링 관점으로부터, 적응형 오디오 시스템은 처리가 오브젝트 유형에 적응되도록 인에이블한다. 예를 들면, 대화 강화는 대화 오브젝트들에만 적용될 수 있다. 대화 강화는 대화의 가청도 및/또는 명료도가 증가되고 및/또는 개선될 수 있도록 대화를 포함하는 오디오를 처리하는 방법을 참조한다. 많은 경우들에서, 대화에 적용되는 오디오 처리는 비(non)-대화 오디오 콘텐트(즉, 음악, 주위 효과들 등)에 부적절하고, 불쾌한 가청 인공 잡음들을 발생시킬 수 있다. 적응형 오디오와 함께, 오디오 오브젝트는 한 조각의 콘텐트 내의 대화만을 포함할 수 있고, 그에 따라 라벨링될 수 있어서, 렌더링 솔루션은 대화 강화를 대화 콘텐트에만 선택적으로 적용할 수 있다. 게다가, 오디오 오브젝트가 대화 뿐이라면(그리고 흔한 경우인 대화와 다른 콘텐트의 혼합물이 아니라면), 대화 강화 처리는 대화를 배타적으로 처리할 수 있다(이에 따라 임의의 다른 콘텐트 상에 수행되는 임의의 처리를 제한한다). 마찬가지로, 베이스 관리(필터링, 감쇠, 이득)는 특정 오브젝트들을 이들의 유형에 기초하여 대상으로 할 수 있다. 베이스 관리는 특정 한 조각의 콘텐트 내의 베이스 (또는 더 낮은) 주파수들만을 선택적으로 분리하고 처리하는 것을 참조한다. 현재의 오디오 시스템들 및 전달 메커니즘들에 대해, 이것은 모든 오디오에 적용되는 "블라인드" 처리이다. 적응형 오디오에 대해, 베이스 관리가 적합한 특정 오디오 오브젝트들은 메타데이터에 의해 식별될 수 있고, 렌더링 처리는 적절히 적용될 수 있다.
적응형 오디오 시스템(100)은 또한 오브젝트 기반 동적 범위 압축 및 선택적인 업믹싱에 대비한다. 종래의 오디오 트랙들은 콘텐트 자체와 동일한 지속 기간을 갖지만, 오디오 오브젝트는 콘텐트 내의 제한된 시간의 양 동안에만 발생할 수 있다. 오브젝트와 연관된 메타데이터는 (특히 임시 재료에 대한) 개시 또는 어택(attack) 시간 뿐만 아니라, 평균 및 피크(peak) 신호 진폭에 관한 정보를 포함할 수 있다. 이 정보는 압축기가 압축 및 시간 상수들(공격, 해제 등)을 콘텐트에 더욱 알맞도록 더욱 양호하게 적응시키는 것을 허용할 것이다. 선택적인 업믹싱에 대하여, 콘텐트 창작자들은 적응형 오디오 비트스트림에서, 오브젝트가 업믹싱되어야 하는지의 여부를 나타내도록 선택할 수도 있다. 이 정보는 창작자의 의도를 존중하여, 적응형 오디오 렌더러 및 업믹서가 어느 오디오 요소들이 안전하게 업믹싱될 수 있는지를 구별하는 것을 허용한다.
실시예들은 또한, 적응형 오디오 시스템이 서라운드 사운드 포맷들 및/또는 다수의 이용가능한 렌더링 알고리즘들로부터 바람직한 렌더링 알고리즘을 선택하는 것을 허용한다. 이용가능한 렌더링 알고리즘들의 예들은: 바이노럴, 스테레오 다이폴(dipole), 앰비소닉스(Ambisonics), 웨이브 필드 합성(Wave Field Synthesis; WFS), 멀티-채널 패닝, 위치 메타데이터를 갖는 미가공 스템들(raw stems)을 포함한다. 다른 것들은 듀얼 밸런스, 및 벡터-기반 진폭 패닝을 포함한다.
바이노럴 배포 포맷은 좌측 및 우측 귀들에 있는 신호의 관점에서 음장의 2-채널 표현을 이용한다. 바이노럴 정보는 HRTF 모델들의 귀 내 기록 또는 합성된 이용을 통해 생성될 수 있다. 바이노럴 표현의 재생은 일반적으로 헤드폰을 통해, 또는 크로스-토크(cross-talk) 제거를 이용하여 수행된다. 임의의 스피커 설정을 통한 재생은 연관된 음장 및/또는 신호 소스(들)를(을) 결정하기 위해 신호 분석을 요구할 것이다.
스테레오 다이폴 렌러딩 방법은 스테레오 스피커들을 통해 (예를 들면, 중앙에서 ±10도 떨어져서) 재생가능한 바이노럴 신호들을 만들기 위한 트랜스오럴(transaural) 크로스-토크 제거 과정이다.
앰비소닉스는 B-포맷이라 불리는 4 채널 형태로 인코딩되는 (배포 포맷 및 렌더링 방법)이다. 제 1 채널, W는 무지향성 압력 신호이고; 제 2 채널, X는 전방 및 후방 정보를 포함하는 지향성 압력 그라디언트(gradient)이고; 제 3 채널, Y는 좌측 및 우측을 포함하고, Z는 상측 및 하측을 포함한다. 이들 채널들은 포인트에서 완전한 음장의 1차 샘플을 규정한다. 앰비소닉스는 몇몇 스피커들이 밀 때 다른 스피커들은 당기도록, 스피커 어레이 내에서 샘플링된 (또는 합성된) 음장을 재생성하기 위해 모든 이용가능한 스피커들을 이용한다.
웨이브 필드 합성은 보조 소스들에 의한 원하는 웨이브 필드의 정확한 구조에 기초하여, 사운드 재생의 렌더링 방법이다. WFS는 호이겐스(Huygens)의 원리에 기초하고, 청취 공간을 링잉(ringing)하고 각각의 개개의 사운드 웨이브를 재생성하기 위해 조정, 단계적 방식으로 동작하는 (수십 또는 수백의) 스피커 어레이들로서 구현된다.
멀티-채널 패닝은 배포 포맷 및/또는 렌더링 방법이고, 채널-기반 오디오라 불릴 수 있다. 이 경우에, 사운드는 청취자로부터 규정된 각도들에서 동일한 수의 스피커들을 통해 재생될 다수의 별개의 소스들로서 표현된다. 콘텐트 창작자/믹서는 방향 큐(cue)들을 제공하기 위해 인접 채널들 사이에 신호들을 패닝함으로써 가상 이미지들을 생성할 수 있고; 초기 반사들, 잔향 등은 방향 및 환경 큐들을 제공하기 위해 많은 채널들 내에 믹싱될 수 있다.
위치 메타데이터를 갖는 미가공 스템들은 배포 포맷이고, 또한 오브젝트-기반 오디오라 불릴 수 있다. 이 포맷에서, 별개의, "클로스 마이크'드(close mic'ed)" 음원들은 위치 및 환경 메타데이터와 함께 표현된다. 가상 소스들은 메타데이터 및 재생 장비 및 청취 환경에 기초하여 렌더링된다.
적응형 오디오 포맷은 멀티-채널 패닝 포맷 및 미가공 스템들 포맷의 하이브리드이다. 현재 실시예에서의 렌더링 방법은 멀티-채널 패닝이다. 오디오 채널들에 대하여, 렌더링(패닝)은 저작시 일어나지만, 오브젝트들에 대해 렌더링(패닝)은 재생시 일어난다.
메타데이터 및 적응형 오디오 송신 포맷
전술한 바와 같이, 메타데이터는 오디오 오브젝트들에 대한 특정 위치 정보를 인코딩하기 위해, 및 오디오 프로그램 렌더링을 원조하도록 오디오 프로그램과 동반하기 위해, 그리고 특히 광범위하게 다양한 재생 장비 및 재생 환경들 상의 오디오 프로그램 렌더링을 인에이블하는 방법으로 오디오 프로그램을 설명하기 위해, 저작 스테이지 동안 생성된다. 메타데이터는 포스트(post)-프로덕션 동안 오디오를 생성하고, 수집하고, 편집하고 조작하는 주어진 프로그램 및 편집기들 및 믹서들에 대해 생성된다. 적응형 오디오 포맷의 중요한 특징은 오디오가 믹스 환경과 다른 재생 시스템들 및 환경들로 어떻게 변환될지를 제어하는 기능이다. 특히, 주어진 시네마는 믹스 환경보다 적은 기능들을 가질 수 있다.
적응형 오디오 렌더러는 믹서의 의도를 재생성하기 위해 이용가능한 장비를 최대한 이용하도록 설계된다. 또한, 적응형 오디오 저작 도구들은 믹스가 다양한 재생 구성들 상에 렌더링될 방법을 믹서가 프리뷰하고 조정하는 것을 허용한다. 모든 메타데이터 값들은 재생 환경 및 스피커 구성 상에 조절될 수 있다. 예를 들면, 주어진 오디오 요소의 다른 믹스 레벨은 재생 구성 또는 모드에 기초하여 특정될 수 있다. 일 실시예에서, 조절된 재생 모드들의 리스트는 확장가능하고, 다음을 포함한다: (1) 채널-기반만의 재생: 5.1, 7.1, 7.1 (하이트(height)), 9.1; 및 (2) 개별적인 스피커 재생: 3D, 2D (노우 하이트(no height)).
일 실시예에서, 메타데이터는 적응형 오디오 콘텐트의 상이한 특징들을 제어하거나 지시하고, 프로그램 메타데이터, 오디오 메타데이터, 및 (채널 및 오브젝트에 대한) 렌더링 메타데이터를 포함하는 상이한 유형들에 기초하여 조직화된다. 메타데이터의 각각의 유형은 식별자(ID)에 의해 참조되는 특성들에 대한 값들을 제공하는 하나 이상의 메타데이터 아이템들을 포함한다. 도 5는 일 실시예에 따라, 적응형 오디오 시스템에 대한 메타데이터 유형들 및 연관된 메타데이터 요소들을 나열하는 표이다.
도 5의 표(500)에 도시된 바와 같이, 제 1 유형의 메타데이터는 프레임 레이트, 트랙 카운트, 확장가능한 채널 디스크립션, 및 믹스 스테이지 디스크립션을 특정하는 메타데이터 요소들을 포함하는 프로그램 메타데이터이다. 프레임 레이트 메타데이터 요소는 초당 프레임들(fps)의 단위들로 오디오 콘텐트 프레임들의 레이트를 특정한다. 미가공 오디오 포맷은 오디오가 오디오 세그먼트들(오브젝트의 지속기간)보다는 오히려 완전한 트랙들(릴(reel) 또는 전체 기능의 지속기간)로서 제공되기 때문에, 오디오 또는 메타데이터의 프레이밍(framing)을 포함할 필요가 없다. 미가공 포맷은 실제 프레임 레이트를 포함하여, 적응형 오디오 인코더가 오디오 및 메타데이터를 프레이밍하도록 인에이블하기 위해 요구된 모든 정보를 운반할 필요가 있다. 표 1은 프레임 레이트 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여준다.
트랙 카운트 메타데이터 요소는 프레임 내의 오디오 트랙들의 수를 나타낸다. 예시적인 적응형 오디오 디코더/프로세서는 최대 128개의 동시적인 오디오 트랙들을 지원할 수 있지만, 적응형 오디오 포맷은 임의의 수의 오디오 트랙들을 지원할 것이다. 표 2는 트랙 카운트 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여준다.
채널-기반 오디오는 비-표준 채널들에 할당될 수 있고, 확장가능한 채널 디스크립션 메타데이터 요소는 믹스들이 새로운 채널 위치들을 이용하도록 활성화한다. 각각의 확장 채널에 대해 다음의 메타데이터가 표 3처럼 제공될 것이다.
믹스 스테이지 디스크립션 메타데이터 요소는 특정 스피커가 통과대역의 절반 전력을 생산하는 주파수를 특정한다. 표 4는 믹스 스테이지 디스크립션 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여주고, LF = 저 주파수; HF = 고 주파수; 3dB 포인트 = 스피커 통과대역의 에지(edge)이다.
도 5에 도시된 바와 같이, 제 2 유형의 메타데이터는 오디오 메타데이터이다. 각각의 채널-기반 또는 오브젝트-기반 오디오 요소는 오디오 본질 및 메타데이터로 구성된다. 오디오 본질은 많은 오디오 트랙들 중 하나 상에 운반된 모노포닉 오디오 스트림이다. 연관된 메타데이터는 오디오 본질이 저장되는 방법을 설명하고(오디오 메타데이터, 예를 들면, 샘플 레이트), 또는 렌더링되는 방법을 설명한다(렌더링 메타데이터, 예를 들면, 원하는 오디오 소스 위치). 일반적으로, 오디오 트랙들은 오디오 프로그램의 지속기간을 통해 지속적이다. 프로그램 편집기 또는 믹서는 오디오 요소들을 트랙들에 할당할 의무가 있다. 트랙 이용은 부족하다고 예상되는데, 즉 중앙의 동시적인 트랙 이용은 단지 16 내지 32일 수 있다. 전형적인 구현에서, 오디오는 무손실 인코더를 이용하여 효율적으로 송신될 것이다. 그러나, 대안의 구현들은 가능한데, 예를 들면, 코딩되지 않은 오디오 데이터 또는 손실 방법으로 코딩된 오디오 데이터를 송신하는 것이다. 전형적인 구현에서, 포맷은 최대 128 오디오 트랙들로 구성되고, 각각의 트랙은 단일 샘플 레이트 및 단일 코딩 시스템을 갖는다. 각각의 트랙은 특징의 지속기간 동안 지속된다(명시적인 릴(reel) 지원이 없다). 오브젝트들의 트랙들로의 맵핑(시간 멀티플렉싱)은 콘텐트 창작자(믹서)의 의무이다.
도 3에 도시된 바와 같이, 오디오 메타데이터는 샘플 레이트, 비트 깊이, 및 코딩 시스템들의 요소들을 포함한다. 표 5는 샘플 레이트 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여준다.
표 6은 (PCM 및 무손실 압축에 대한) 비트 깊이 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여준다.
표 7은 코딩 시스템 메타데이터 요소의 ID, 예시적인 값들 및 디스크립션을 보여준다.
도 5에 도시된 바와 같이, 제 3 유형의 메타데이터는 렌더링 메타데이터이다. 렌더링 메타데이터는 재생 환경과는 무관하게 렌더러가 오리지널 믹서 의도에 가능한 밀접하게 매칭하는 것을 돕는 값들을 특정한다. 메타데이터 요소들의 세트는 채널-기반 오디오 및 오브젝트-기반 오디오에 대해 상이하다. 표 8에서 나타난 바와 같이, 제 1 렌더링 메타데이터 필드는 두 유형들의 오디오 - 채널-기반 또는 오브젝트-기반 사이에서 선택한다.
채널-기반 오디오에 대한 렌더링 메타데이터는 하나 이상의 스피커 위치들로서 오디오 소스 위치를 특정하는 위치 메타데이터 요소를 포함한다. 표 9는 채널-기반의 경우에 대해 위치 메타데이터 요소에 대한 ID, 값들을 보여준다.
표 10에 나타난 바와 같이, 채널-기반 오디오에 대한 렌더링 메타데이터는 또한, 채널-기반 오디오의 재생에 관하여 특정 특성들을 특정하는 렌더링 제어 요소를 포함한다.
오브젝트-기반 오디오에 대해, 메타데이터는 채널-기반 오디오에 대한 경우와 유사한 요소들을 포함한다. 표 11은 오브젝트 위치 메타데이터 요소에 대한 ID 및 값들을 제공한다. 오브젝트 위치는 세 가지 방법들 중 하나로 설명된다: 3차원 좌표계; 평면 및 2차원 좌표계; 또는 라인 및 1차원 좌표. 렌더링 방법은 위치 정보 유형에 기초하여 구성될 수 있다.
오브젝트 렌더링 제어 메타데이터 요소들에 대한 ID 및 값들이 표 12에 나타나 있다. 이들 값들은 오브젝트-기반 오디오에 대한 렌더링을 제어하거나 최적화하기 위한 부가적인 수단을 제공한다.
일 실시예에서, 도 5에 도시된 전술한 메타데이터는 대응 오디오 콘텐트와 연관되거나 인덱싱(indexing)되는 하나 이상의 파일들로서 생성되고 저장되어서, 오디오 스트림들은 믹서에 의해 생성된 메타데이터를 해석하는 적응형 오디오 시스템에 의해 처리된다. 전술한 메타데이터는 ID들, 값들, 및 규정들의 예시적인 세트이고, (다른) 부가적인 메타데이터 요소들은 적응형 오디오 시스템에 이용을 위해 포함될 수 있음을 주목해야 한다.
일 실시예에서, 메타데이터 요소들의 둘 이상의 세트들은 채널 및 오브젝트 기반 오디오 스트림들 각각과 연관된다. 제 1 세트의 메타데이터는 재생 환경의 제 1 조건에 대한 복수의 오디오 스트림들에 적용되고, 제 2 세트의 메타데이터는 재생 환경의 제 2 조건에 대한 복수의 오디오 스트림들에 적용된다. 제 2 또는 이후의 세트의 메타데이터 요소들은 재생 환경의 조건에 기초하여 주어진 오디오 스트림에 대한 제 1 세트의 메타데이터 요소들을 대체한다. 상기 조건은 재생 환경의 사운드 또는 심지어 분위기에 영향을 미칠 수 있는 룸 사이즈, 형상, 룸 내의 물질의 구성, 룸 내 사람들의 현재 점유율 및 밀도, 주위 잡음 특성들, 주변 광 특성들 등과 같은 인자들을 포함할 수 있다.
포스트(post)-프로덕션 및 마스터링
적응형 오디오 처리 시스템(100)의 렌더링 스테이지(110)는 최종 믹스의 생성으로 이어지는 오디오 포스트-프로덕션 단계들을 포함할 수 있다. 시네마 애플리케이션에서, 영화 믹스에서 이용된 사운드의 3개의 주요 카테고리들은 대화, 음악, 및 효과들이다. 효과들은 대화나 음악이 아닌 사운드들로 구성된다(예를 들면, 주변 잡음, 배경/장면 잡음). 사운드 효과들은 사운드 디자이너에 의해 기록되거나 합성될 수 있고, 또는 효과 라이브러리들로부터 공급될 수 있다. 특정 잡음원들(예를 들면, 발소리, 도어 등)을 포함하는 효과들의 서브-그룹은 폴리(Foley)로서 알려져 있고 폴리 배우들에 의해 수행된다. 이에 따라, 상이한 유형들의 사운드는 레코딩 엔지니어들에 의해 마킹되고 패닝된다.
도 6은 일 실시예에 따라, 적응형 오디오 시스템 내의 포스트-프로덕션 프로세스에 대한 일 예시적인 워크플로우를 도시한다. 다이어그램(600)에 나타난 바와 같이, 음악, 대화, 폴리, 및 효과들의 모든 개개의 사운드 구성요소들은 최종 믹스(606) 동안 더빙 극장에서 함께 초래되고, 재기록 믹서(들)(604)는(은) 예를 들면, 대화, 음악, 효과들, 폴리 및 배경 사운드들을 그룹화 방식으로서 스템들을 생성하기 위해, 개개의 사운드 오브젝트들 및 위치 데이터와 함께 ('믹스 마이너스'라고도 공지된) 프리믹스(premix)들을 이용한다. 최종 믹스(606)를 형성할 뿐만 아니라, 음악 및 모든 효과 스템들은 영화의 더빙된 언어 버전들을 생성하기 위한 토대로서 이용될 수 있다. 각각의 스템은 메타데이터를 갖는 몇몇 오디오 오브젝트들 및 채널-기반 베드로 구성된다. 스템들은 최종 믹스를 형성하도록 결합한다. 오디오 워크스테이션 및 믹싱 콘솔의 둘 모두로부터 오브젝트 패닝 정보를 이용하여, 렌더링 및 마스터링 유닛(608)은 더빙 극장에서 스피커 위치들에 오디오를 렌더링한다. 이 렌더링은 믹서들이 채널-기반 베드들 및 오디오 오브젝트들이 어떻게 결합하는지를 듣도록 허용하고, 또한 상이한 구성들에 렌더링하는 능력을 제공한다. 믹서는 콘텐트가 서라운드 채널들에 어떻게 렌더링되는지를 제어하기 위해, 관련 프로파일들에 디폴팅(defaulting)하는 조건부 메타데이터를 이용할 수 있다. 이 방법으로, 믹서들은 영화가 모든 확장가능 환경들에서 재생되는 방법의 완전한 제어를 유지한다. 모니터링 단계는 재기록 단계(604) 및/또는 최종 믹스 단계(606) 이후에 포함되어, 믹서가 이들 스테이지들 각각 동안 생성된 중간 콘텐트를 듣고 평가하는 것을 허용할 수 있다.
마스터링 세션 동안, 스템들, 오브젝트들, 및 메타데이터는 프린트마스터(610)에 의해 생산되는 적응형 오디오 패키지(614) 내에 함께 초래된다. 이 패키지는 또한 (기존 5.1 또는 7.1의) 역호환가능한 서라운드 사운드 극장 믹스(612)를 포함한다. 렌더링/마스터링 유닛(rendering/mastering unit; RMU)(608)은 원한다면 이 출력을 렌더링할 수 있고; 그에 따라 기존 채널-기반 결과물들의 생성에서 임의의 부가적인 워크플로우 단계들에 대한 필요성을 제거한다. 일 실시예에서, 오디오 파일들은 표준 매체 교환 포맷(Material Exchange Format; MXF) 래핑을 이용하여 패키징된다. 적응형 오디오 믹스 마스터 파일은 또한, 소비자 멀티-채널 또는 스테레오 믹스들과 같은 다른 결과물들을 생성하도록 이용될 수 있다. 지능형 프로파일들 및 조건부 메타데이터는 그러한 믹스들을 생성하도록 요구되는 시간을 상당히 줄일 수 있는 제어된 렌더링들을 허용한다.
일 실시예에서, 패키징 시스템은 적응형 오디오 믹스를 포함하는 결과물들에 대한 디지털 시네마 패키지를 생성하도록 이용될 수 있다. 오디오 트랙 파일들은 적응형 오디오 트랙 파일들과의 동기화 에러들을 방지하는 것을 돕도록 함께 잠길 수 있다. 특정 지역들은 패키징 페이즈 동안, 트랙 파일들의 부가, 예를 들면, 메인 오디오 트랙 파일에 대한 청각 장애(Hearing Impaired; HI) 또는 시각 장애 해설(Visually Impaired Narration; VI-N) 트랙들의 부가를 요구한다.
일 실시예에서, 재생 환경에서의 스피커 어레이는 확립된 서라운드 사운드 표준들에 따라 배치되고 지정된 임의의 수의 서라운드-사운드 스피커들을 포함할 수 있다. 오브젝트-기반 오디오 콘텐트의 정확한 렌더링을 위한 임의의 수의 부가 스피커들은 또한 재생 환경 조건에 기초하여 배치될 수 있다. 이들 부가적인 스피커들은 사운드 엔지니어에 의해 설정될 수 있고, 이 설정은 전체 스피커 어레이 내에서 특정 스피커 또는 스피커들에 적응형 오디오의 오브젝트-기반 구성요소들을 렌더링하기 위해 시스템에 의해 이용된 셋-업 파일의 형태로 시스템에 제공된다. 상기 셋-업 파일은 적어도, 스피커 지정들의 리스트 및 개개의 스피커들로의 채널들의 맵핑, 스피커들의 그룹화에 관한 정보, 및 재생 환경에 대한 스피커들의 관련 위치에 기초하는 런-타임(run-time) 맵핑을 포함한다. 상기 런-타임 맵핑은, 사운드 엔지니어에 의해 의도되어 사운드의 인식된 위치에 가장 가까운 특정 스피커에 포인트 소스 오브젝트-기반 오디오 콘텐트를 렌더링하는 시스템의 스냅-투(snap-to) 특징에 의해 이용된다.
도 7은 일 실시예에 따라, 적응형 오디오 파일들을 이용하는 디지털 시네마 패키징 프로세스에 대한 일 예시적인 워크플로우의 다이어그램이다. 다이어그램(700)에 도시된 바와 같이, 적응형 오디오 파일들 및 5.1 또는 7.1 서라운드 사운드 오디오 파일들을 모두 포함하는 오디오 파일들은 래핑/암호화 블록(704)에 입력된다. 일 실시예에서, 블록(706) 내의 디지털 시네마 패키지의 생성시, (추가된 적절한 부가 트랙들을 갖는) PCM MXF 파일은 기존의 관행에 따라 SMPTE 스펙(spec)들을 이용하여 암호화된다. 적응형 오디오 MXF는 보조 트랙 파일로서 패키징되고, SMPTE 스펙마다 대칭 콘텐트 키를 이용하여 선택적으로 암호화된다. 이 단일한 DCP(708)은 이후 임의의 디지털 시네마 이니셔티브들(Digital Cinema Initiatives; DCI) 호환 서버에 배달될 수 있다. 일반적으로, 적합하게 장착되지 않은 임의의 설비들은 적응형 오디오 사운드트랙을 포함하는 부가 트랙 파일을 단순히 무시할 것이고, 표준 재생을 위해 기존 메인 오디오 트랙 파일을 이용할 것이다. 적합한 적응형 오디오 프로세서들이 장착된 설비들은 필요에 따라 표준 오디오 트랙에 복귀하여, 적용가능한 경우 적응형 오디오 사운드트랙을 수집(ingest)하고 재생할 수 있을 것이다. 래핑/암호화 요소(704)는 또한, 디지털 시네마 서버에서의 이용을 위한 적합한 보안 키를 생성하기 위해 배포 KDM 블록(710)에 직접적으로 입력을 제공할 수 있다. 서브타이틀들(714) 및 이미지들(716)과 같은 다른 영화 요소들 또는 파일들은 오디오 파일들(702)과 함께 포장되고 암호화될 수 있다. 이 경우에, 이미지 파일들(716)의 경우의 압축(712)과 같은 특정 처리 단계들이 포함될 수 있다.
콘텐트 관리에 관하여, 적응형 오디오 시스템(100)은 콘텐트 창작자가 개개의 오디오 오브젝트들을 생성하고, 재생 시스템에 전달될 수 있는 콘텐트에 관한 정보를 부가하는 것을 허용한다. 이것은 오디오의 콘텐트 관리에서 상당한 유연성을 허용한다. 콘텐트 관리 관점에서, 적응형 오디오 방법들은 몇몇 상이한 특징들을 활성화한다. 이들은 단지 공간 절약, 다운로드 효율성, 지리적 재생 적응 등을 위한 대화 오브젝트를 대신함으로써 콘텐트 언어를 변경하는 것을 포함한다. 영화, 텔레비전 및 다른 엔터테인먼트 프로그램들은 일반적으로 국제적으로 배포된다. 흔히 이것은 콘텐트의 조각 내의 언어가 재생될 장소에 의존하여 변경되는 것을 요구한다(프랑스에서 상영되는 영화들에 대한 불어, 독일에서 상영되는 TV 프로그램들에 대한 독일어 등). 흔히 오늘날 이것은 완전한 독립 오디오 사운드트랙이 생성되고, 패키징되고 배포될 것을 요구한다. 적응형 오디오 및 오디오 오브젝트들의 고유 개념과 함께, 한 조각의 콘텐트를 위한 대화는 독립적인 오디오 오브젝트일 수 있다. 이것은 음악, 효과들 등과 같은 오디오 사운드트랙의 다른 요소들을 갱신하거나 변경하지 않고 콘텐트의 언어가 용이하게 변경되는 것을 허용한다. 이것은 외국어들뿐만 아니라, 특정 청중들(예를 들면, 아이들의 TV 쇼, 항공사 영화 등), 타겟 광고 등에 대한 부적절한 언어에도 적용될 것이다.
설비 및 장비 고려 사항들
적응형 오디오 파일 포맷 및 연관된 프로세서들은 극장 장비가 설치되고, 교정 및 유지되는 방법의 변화를 고려한다. 보다 잠재적인 많은 스피커 출력들의 도입과 더불어, 각각의 출력은 개별적으로 등화되고 균형 잡혀 있으며; 임의의 자동화된 룸 이퀄라이제이션을 수동으로 조정할 수 있는 능력을 통해 수행될 수 있는, 지능적이고 시간-효율적인 자동 룸 이퀄라이제이션을 위한 필요성이 존재한다. 일 실시예에서, 적응형 오디오 시스템은 최적화된 1/12th 옥타브 밴드(band) 이퀄라이제이션 엔진을 이용한다. 극장 내 사운드를 보다 정확하게 밸런싱하도록 최대 64 출력들이 처리될 수 있다. 상기 시스템은 또한, 시네마 프로세서 출력에서 곧바로 강당에서 재생된 소리에 이르기까지, 개개의 스피커 출력들의 스케줄된 모니터링을 허용한다. 로컬 또는 네트워크 경보들은 적절한 행위가 취해지는 것을 보장하도록 생성될 수 있다. 유연한 렌더링 시스템은 재생 체인으로부터 손상된 스피커 또는 증폭기를 자동으로 제거하고 그 주위에 렌더링할 수 있어서, 쇼가 계속될 수 있도록 한다.
시네마 프로세서는 기존 8xAES 메인 오디오 접속들, 및 적응형 오디오 데이터 스트리밍을 위한 이더넷 접속으로 디지털 시네마 서버에 접속될 수 있다. 서라운드 7.1 또는 5.1 콘텐트의 재생은 기존 PCM 접속들을 이용한다. 적응형 오디오 데이터는 이더넷을 통해, 디코딩 및 렌더링을 위한 시네마 프로세서에 스트리밍되고, 서버와 시네마 프로세서 간의 통신은 오디오가 식별되고 동기화되도록 허용한다. 적응형 오디오 트랙 재생과의 모든 문제의 경우에, 사운드는 돌비 서라운드 7.1 또는 5.1 PCM 오디오로 다시 복귀된다.
실시예들은 5.1 및 7.1 서라운드 사운드 시스템들에 관하여 설명되었지만, 많은 다른 현재 및 장래의 서라운드 구성들이 9.1, 11.1 및 13.1 이상을 포함하는 실시예들과 함께 이용될 수 있음을 주목해야 한다.
적응형 오디오 시스템은 콘텐트 창작자들 및 전시자들 모두가 사운드 콘텐트가 상이한 재생 스피커 구성들에서 렌더링될 방법을 결정하는 것을 허용하도록 설계된다. 이용된 이상적인 스피커 출력 채널들의 수는 룸 사이즈에 따라 다를 것이다. 따라서, 추천된 스피커 배치는 사이즈, 구성, 좌석 구성, 환경, 평균 관객 사이즈 등과 같은 많은 인자들에 의존한다. 예시적인 또는 대표하는 스피커 구성들 및 레이아웃들은 본 명세세에서 단지 예를 위해 제공되고, 임의의 청구된 실시예들의 범위를 제한하도록 의도되지 않는다.
적응형 오디오 시스템을 위해 권장하는 스피커들의 레이아웃은 기존 시네마 시스템들과 호환성을 유지하고, 이는 기존 5.1 및 7.1 채널-기반 포맷들의 재생을 손상시키지 않기 위해 중요하다. 적응형 오디오 사운드 엔지니어의 의도, 및 7.1 및 5.1 콘텐트의 믹서들의 의도를 보존하기 위해, 기존 스크린 채널들의 위치들은 새로운 스피커 위치들의 도입을 높히거나 강조하기 위한 노력으로 너무 과격하게 변경되지 말아야 한다. 모든 이용가능한 64 출력 채널들을 이용하는 것과 대조적으로, 적응형 오디오 포맷은 시네마에서 7.1과 같은 스피커 구성들에 정확하게 렌더링될 수 있어서, 심지어 포맷 (및 연관 이점들)이 증폭기들 또는 스피커들에 대한 변경 없이 기존 극장들 내에 이용되는 것을 허용한다.
상이한 스피커 위치들은 극장 설계에 의존하여 상이한 효과를 가질 수 있으므로, 현재 채널들의 산업-지정된 이상적인 수 또는 배치가 없다. 적응형 오디오는 이들이 한정된 수의 재생 채널들을 갖든 매우 유연한 구성들로 많은 채널들을 갖든, 다양한 강당들에서 진정으로 적응력 있고 정확한 재생을 할 수 있도록 의도된다.
도 8은 일반적인 강당에서 적응형 오디오 시스템과 함께 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 오버헤드 뷰(800)를 도시한 도면이고, 도 9는 강당의 스크린에서 제안된 스피커 위치들의 예시적인 배치의 정면도(900)이다. 이후에 참조되는 기준 위치는 스크린의 중심선 상에서, 스크린에서 뒤로 후면 벽으로의 거리의 위치 2/3에 대응한다. 표준 스크린 스피커들(801)이 스크린에 대한 그들의 보통 위치들에 도시되었다. 스크린 평면 내의 높이 인식의 연구들은 (70mm 필름 형식들로 좌측 여분 및 우측 여분 채널들의 위치들 내의) 좌측 중앙(Lc) 및 우측 중앙(Rc) 스크린 스피커들과 같은, 스크린 뒤의 부가 스피커들(804)이 스크린을 가로질러 보다 부드러운 팬(pan)들을 만드는데 도움이 될 수 있음을 보여주었다. 따라서, 그러한 선택적인 스피커들은 특히 12m(40피트) 폭보다 큰 스크린들을 갖는 강당에서 권장된다. 모든 스크린 스피커들은 기준 위치를 향해 겨냥되도록 각도가 맞춰져야 한다. 스크린 뒤에 서브우퍼(810)의 권장 배치는 정재파들의 자극을 방지하기 위해, 룸의 중앙에 대해 비대칭 캐비넷 위치의 유지를 포함하여 변경되지 말아야 한다. 부가적인 서브우퍼들(816)은 극장의 후방에 배치될 수 있다.
서라운드 스피커들(802)은 개별적으로 증폭기 랙(rack) 뒤에 연결되어야 하고, 가능하다면 제조자의 스펙에 따라 스피커의 전력 취급에 매칭하는 전력 증폭의 전용 채널을 통해, 개별적으로 증폭되어야 한다. 이상적으로, 서라운드 스피커들은 각각의 개개의 스피커에 대해, 그리고 또한 가능하다면, 보다 넓은 주파수 응답을 갖는, 증가된 SPL을 다루도록 특정되어야 한다. 평균 사이즈의 극장에 대한 경험으로, 서라운드 스피커들의 간격은 대칭적으로 배치된 좌측 및 우측 서라운드 스피커들과 함께, 2 내지 3 m(6'6" 내지 9'9")이어야 한다. 그러나, 서라운드 스피커들의 간격은 스피커들 사이의 절대 거리들을 이용하는 것과 반대로, 인접 스피커들 사이의 주어진 청취자로부터 끼인 각들로서 가장 효과적으로 고려된다. 강당 전반에 걸쳐 최적 재생을 위해, 인접 스피커들 사이의 각도 거리는 프라임 청취 영역의 네 구석들 각각으로부터 참조되어, 30도 이하이어야 한다. 최대 50도의 간격으로 양호한 결과들이 달성될 수 있다. 각각의 서라운드 존에 대하여, 스피커들은 가능한 곳에서 좌석 영역에 인접하는 동일한 선형 간격을 유지해야 한다. 예를 들면, 앞쪽 열과 스크린 사이의, 청취 영역을 넘은 선형 간격은 약간 더 클 수 있다. 도 11은 일 실시예에 따라, 기준 위치에 대한 꼭대기 서라운드 스피커들(808) 및 측면 서라운드 스피커들(806)의 배치의 예이다.
부가적인 측면 서라운드 스피커들(806)은 강당의 뒷면까지의 거리의 약 1/3을 시작하는 현재 권장된 실습보다 스크린에 더 가까이 장착되어야 한다. 이들 스피커들은 돌비 서라운드 7.1 또는 5.1 사운드트랙들의 재생 동안 측면 서라운드들로서 이용되지 않지만, 오브젝트들을 스크린 스피커들에서 서라운드 존들로 패닝할 때 매칭하는 매끄러운 전이 및 향상된 음색을 인에이블할 것이다. 공간 감동을 최대화하기 위해, 서라운드 어레이들은 다음 제약들에 따라 낮게 실용적으로 배치되어야 한다: 어레이의 앞에서 서라운드 스피커들의 수직 배치는 스크린 스피커 음향 센터의 높이에 합당하게 가까워야 하고, 스피커의 지향성에 따라 좌석 영역을 가로질러 양호한 커버리지를 유지하도록 충분히 높아야 한다. 서라운드 스피커들의 수직 배치는 전후방으로 일직선을 형성하도록 해야 하고, (일반적으로) 위로 기울어져야 해서, 일반적인 강당에서 적응형 오디오 시스템과 함께 이용하기 위한 제안된 스피커 위치들의 예시적인 레이아웃의 측면도인 도 10에 도시된 바와 같이, 청취자들 위의 서라운드 스피커들의 상대적 높이는 좌석 높이가 증가함에 따라 시네마의 뒤를 향하여 유지되어야 한다. 실제로, 이것은 최전방 및 최후방 측면 서라운드 스피커들에 대한 높이를 선택하고, 이들 포인트들 사이의 라인에 나머지 스피커들을 배치함으로써 가장 단순하게 달성될 수 있다.
좌석 영역 위의 각각의 스피커에 대한 최적 커버리지를 제공하기 위해, 측면 서라운드(806) 및 후방 스피커들(816) 및 상단 서라운드들(808)은 간격, 위치, 각도 등에 관한 규정된 가이드라인들 하에, 극장 내의 기준 위치를 향하여 겨냥되어야 한다.
적응형 오디오 시네마 시스템 및 포맷의 실시예들은 강력한 새로운 저작 도구들을 믹서들에게 제공하고, 사운드트랙의 오디오 품질 및 사운드 효과들을 최적화하는 유연한 렌더링 엔진을 특징으로 하는 새로운 시네마 프로세서를 각각의 룸의 스피커 레이아웃 및 특성들에 제공함으로써 본 시스템들을 통해 향상된 레벨들의 관객 몰입 및 참여를 달성한다. 게다가, 상기 시스템은 역호환성을 유지하고, 현재의 저작 및 배포 워크플로우들에 미치는 영향을 최소화한다.
실시예들이 적응형 오디오 콘텐트가 디지털 시네마 처리 시스템들에 이용하기 위한 영화 콘텐트와 연관되는 시네마 환경에서의 예시들 및 구현들에 관하여 설명되었지만, 실시예들은 또한 비(non)-시네마 환경들에서 구현될 수 있음을 주목해야 한다. 오브젝트-기반 오디오 및 채널-기반 오디오를 포함하는 적응형 오디오 콘텐트는 임의의 관련 콘텐트(연관된 오디오, 비디오, 그래픽 등)와 함께 이용될 수 있고, 또는 독립 오디오 콘텐트를 구성할 수 있다. 재생 환경은 헤드폰 또는 근처의 필드 모니터들로부터 작거나 큰 룸, 자동차, 야외 경기장, 콘서트 홀 등에 이르기까지 임의의 적절한 청취 환경일 수 있다.
시스템(100)의 양태들은 디지털 또는 디지털화된 오디오 파일들을 처리하기 위해 적합한 컴퓨터-기반 사운드 처리 네트워크 환경에 구현될 수 있다. 적응형 오디오 시스템의 일부들은 컴퓨터들 사이로 송신된 데이터를 버퍼링하고 라우팅(routing)하도록 서비스하는 하나 이상의 라우터들(도시되지 않음)을 포함하는, 임의의 원하는 개수의 개별적인 기계들을 포함하는 하나 이상의 네트워크들을 포함할 수 있다. 그러한 네트워크는 다양하고 상이한 네트워크 프로토콜들 상에 구축될 수 있고, 인터넷, 광역 네트워크(Wide Area Network; WAN), 로컬 영역 네트워크(Local Area Network; LAN), 또는 이들의 임의의 결합일 수 있다. 네트워크가 인터넷을 포함하는 일 실시예에서, 하나 이상의 기계들은 웹 브라우저 프로그램들을 통해 인터넷에 액세스하도록 구성될 수 있다.
하나 이상의 구성요소들, 블록들, 프로세스들 또는 다른 기능 요소들은 시스템의 프로세서-기반 컴퓨팅 디바이스의 실행을 제어하는 컴퓨터 프로그램을 통해 구현될 수 있다. 또한, 본 명세서에 설명된 다양한 기능들은 하드웨어, 펌웨어의 임의의 다수의 조합들을 이용하여, 및/또는 다양한 기계-판독가능 또는 컴퓨터-판독가능 매체에서, 이들의 동작, 레지스터 송신, 로직 컴포넌트, 및/또는 다른 특성들의 관점에서 구현된 데이터 및/또는 지시어들로서 설명될 수 있음을 주목해야 한다. 그러한 포맷된 데이터 및/또는 지시어들이 구현될 수 있는 컴퓨터-판독가능 매체는 광학, 자기 또는 반도체 저장 매체와 같은, 물리적인 (비-일시적인) 비휘발성 저장 매체 등을 다양한 형태들로 포함한다.
본 발명의 상세한 설명 및 청구범위 전반에 걸쳐, 문맥상 명확하게 다른 경우를 요구하지 않는다면, "포함한다(comprise)", "포함하는(comprising)" 등의 용어들은 배타적 또는 남김없는 의미와는 반대로 포괄적인 의미로, 즉 "비제한적으로 포함하는"의 의미로 해석되어야 한다. 단수 또는 복수를 이용하는 단어들은 또한 복수 또는 단수를 각각 포함한다. 게다가, "여기에", "이하에", "위에", "아래에", 및 이들과 유사한 취지의 용어들은 본 출원을 전체적으로 참조하고, 어느 특정 부분들을 참조하는 것은 아니다. 둘 이상의 아이템들의 리스트에 대하여 "또는"의 용어가 이용될 때, 이 용어는 다음의 해석들을 모두 망라한다: 리스트 내의 아이템들 중 어느 하나, 리스트 내의 모든 아이템들 및 리스트 내의 아이템들의 임의의 결합.
하나 이상의 구현들이 예시적으로 개시되었고 특정 실시예들의 측면에서 개시되었지만, 하나 이상의 구현들은 설명된 실시예들로 제한되지 않음을 이해해야 한다. 반대로, 다양한 변형들 및 유사한 배치들을 망라하도록 의도되고, 이는 본 기술의 당업자들에게 명백할 것이다. 따라서, 첨부된 청구항들의 범위는 모든 그러한 변형들 및 유사 배치들을 포괄하도록 광범위하게 해석되어야 한다.
100: 시스템 102: 콘텐트 캡쳐 요소
104: 전처리 블록 106: 저작 도구 블록
108: 오디오 코덱 304: 오디오 워크스테이션
306: 렌더링 및 마스터링 유닛 312: 디지털 시네마 프로세서
404: 렌더러 406: 레벨 매니저
408: 어레이 정정 구성요소 410: B-체인 처리 구성요소
802: 서라운드 스피커들 806: 측면 서라운드 스피커들
808: 꼭대기 서라운드 스피커들 810: 서브우퍼
816: 부가적인 서브우퍼들
104: 전처리 블록 106: 저작 도구 블록
108: 오디오 코덱 304: 오디오 워크스테이션
306: 렌더링 및 마스터링 유닛 312: 디지털 시네마 프로세서
404: 렌더러 406: 레벨 매니저
408: 어레이 정정 구성요소 410: B-체인 처리 구성요소
802: 서라운드 스피커들 806: 측면 서라운드 스피커들
808: 꼭대기 서라운드 스피커들 810: 서브우퍼
816: 부가적인 서브우퍼들
Claims (49)
- 오디오 신호들을 처리하기 위한 시스템에 있어서:
복수의 오디오 신호들을 수신하고, 복수의 모노포닉(monophonic) 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 포함하는 적응형 오디오 믹스를 생성하도록 구성된 저작 컴포넌트로서, 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 3차원 공간의 위치를 포함하고; 또한, 제 1 메타데이터 세트가 디폴트로 상기 복수의 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 재생 환경의 특정 조건에 연관되고, 재생 환경의 조건이 상기 재생 환경의 특정 조건에 매칭하면, 상기 제 1 메타데이터 세트 대신에 상기 복수의 모노포닉 오디오 스트림들의 하나 이상에 인가되는, 상기 저작 컴포넌트; 및
상기 저작 컴포넌트에 결합된 렌더링 시스템으로서, 상기 복수의 모노포닉 오디오 스트림들 및 상기 메타데이터 세트들을 캡슐화하는 비트스트림을 수신하고, 상기 재생 환경의 조건에 기초하여 상기 메타데이터 세트들에 따라 상기 복수의 모노포닉 오디오 스트림들을 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드(feed)들에 렌더링하도록 구성된, 상기 렌더링 시스템을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
각각의 메타데이터 세트는 각각의 오브젝트-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 각각의 오브젝트-기반 스트림에 대한 상기 메타데이터 요소들은 대응하는 오브젝트-기반 사운드의 재생을 제어하는 공간 파라미터들을 특정하고, 사운드 위치, 사운드 폭, 및 사운드 속도 중 하나 이상을 포함하고; 또한, 각각의 메타데이터 세트는 각각의 채널-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 상기 스피커 어레이는 규정된 서라운드 사운드 구성으로 배열된 스피커들을 포함하고, 각각의 채널-기반 스트림과 연관된 상기 메타데이터 요소들은 규정된 서라운드-사운드 표준에 따라 상기 스피커 어레이의 스피커들의 서라운드-사운드 채널들의 지정들을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 스피커 어레이는 상기 재생 환경의 조건에 기초하여 이용자로부터의 셋 업(set up) 지시들에 따라 상기 재생 환경에 위치되는 오브젝트-기반 스트림들의 재생을 위한 추가적인 스피커들을 포함하고, 상기 재생 조건은 상기 재생 환경의 룸(room)의 사이즈 및 형상, 점유율, 물질 구성, 및 주변 소음을 포함하는 변수들에 의존하고; 또한, 상기 시스템은 스피커 지정들의 리스트 및 상기 스피커 어레이의 개개의 스피커들로의 채널들의 맵핑, 스피커들의 그룹화에 관한 정보, 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초하는 맵핑을 적어도 포함하는 상기 이용자로부터의 셋-업 파일을 수신하는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 저작 컴포넌트는 오리지널 오디오 콘텐트를 포함하는 상기 복수의 모노포닉 오디오 스트림들의 재생 레벨들을 특정하기 위해 이용자에 의해 동작가능한 제어들을 갖는 믹싱 콘솔(mixing console)을 포함하고, 각각의 오브젝트-기반 스트림과 연관된 상기 메타데이터 요소들은 상기 이용자에 의한 상기 믹싱 콘솔 제어들로의 입력시 자동으로 생성되는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 메타데이터 세트들은 상기 스피커 어레이의 제 1 구성으로부터의 상기 스피커 어레이의 제 2 구성으로의 변화에 따라 상기 채널-기반 모노포닉 오디오 스트림들 및 상기 오브젝트-기반 모노포닉 오디오 스트림들 중 적어도 하나의 업믹싱(upmixing) 또는 다운믹싱(downmixing)을 인에이블하기 위한 메타데이터를 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 3 항에 있어서,
상기 메타데이터 세트들은 모노포닉 오디오 스트림의 콘텐트 유형을 나타내는 메타데이터를 포함하고, 상기 콘텐트 유형은 대화, 음악, 및 효과들로 구성되는 그룹으로부터 선택되고, 각각의 콘텐트 유형은 채널-기반 스트림들 또는 오브젝트-기반 스트림들 각각의 세트에 구현되고, 또한, 각각의 콘텐트 유형의 사운드 컴포넌트들은 상기 스피커 어레이 내에서 지정된 하나 이상의 스피커 그룹들 중 규정된 스피커 그룹들로 송신되는, 오디오 신호들을 처리하기 위한 시스템. - 제 6 항에 있어서,
상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 위치 메타데이터에 의해 지시된, 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링되는 것을 특정하는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 재생 위치는 상기 재생 환경 내의 스크린에 대한 공간 위치, 또는 상기 재생 환경을 둘러싸는 표면을 포함하고, 상기 표면은 전면, 후면, 좌측면, 우측면, 상면, 및 하면을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 저작 컴포넌트 및 상기 렌더링 컴포넌트에 결합된 코덱으로서, 상기 복수의 모노포닉 오디오 스트림들 및 메타데이터를 수신하고 정렬된 방식으로 복수의 모노포닉 오디오 스트림들을 포함하는 단일 디지털 비트스트림을 생성하도록 구성된, 상기 코덱을 추가로 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 9 항에 있어서,
상기 렌더링 컴포넌트는 상기 렌더링 컴포넌트에 의해 이용된 렌더링 알고리즘을 선택하기 위한 수단을 추가로 포함하고, 상기 렌더링 알고리즘은 바이노럴(binaural), 스테레오 다이폴(dipole), 앰비소닉스(Ambisonics), 웨이브 필드 합성(Wave Field Synthesis; WFS), 멀티-채널 패닝(panning), 위치 메타데이터를 갖는 미가공 스템들(raw stems), 듀얼 밸런스, 및 벡터-기반 진폭 패닝으로 구성되는 그룹으로부터 선택되는, 오디오 신호들을 처리하기 위한 시스템. - 제 1 항에 있어서,
상기 복수의 모노포닉 오디오 스트림들 각각에 대한 상기 재생 위치는 자기중심 레퍼런스 프레임 또는 타자 중심(allocentric) 레퍼런스 프레임에 관하여 독립적으로 특정되고, 자기중심 레퍼런스 프레임은 상기 재생 환경의 청취자에 대해 취해지고, 상기 타자 중심 레퍼런스 프레임은 상기 재생 환경의 특성에 대해 취해지는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서:
복수의 오디오 신호들을 수신하고, 복수의 모노포닉 오디오 스트림들 및 상기 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하도록 구성된 저작 컴포넌트로서, 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 3차원 공간에서의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링되는, 상기 저작 컴포넌트; 및
상기 저작 컴포넌트에 결합된 렌더링 시스템으로서, 상기 복수의 모노포닉 오디오 스트림들 및 메타데이터를 캡슐화하는 비트스트림을 수신하고, 상기 복수의 모노포닉 오디오 스트림들을 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 렌더링하도록 구성된 상기 렌더링 시스템을 포함하며, 상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 모노포닉 오디오 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링되는 것을 특정하여, 오브젝트-기반 모노포닉 스트림이 상기 의도된 재생 위치에 가장 가까운 상기 스피커에 의해 효과적으로 렌더링되는, 오디오 신호들을 처리하기 위한 시스템. - 제 12 항에 있어서,
상기 메타데이터는 둘 이상의 메타데이터 세트들을 포함하고, 상기 렌더링 시스템은 상기 재생 환경의 조건에 기초하여 상기 둘 이상의 메타데이터 세트들 중 하나에 따라 상기 복수의 모노포닉 오디오 스트림들을 렌더링하고, 제 1 메타데이터 세트는 상기 재생 환경의 제 1 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 상기 재생 환경의 제 2 조건에 대해 상기 복수의 오디오 스트림들 중 상기 하나 이상에 인가되고; 각각의 메타데이터 세트는 각각의 오브젝트-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 각각의 오브젝트-기반 스트림에 대한 상기 메타데이터 요소들은 대응하는 오브젝트-기반 사운드의 재생을 제어하는 공간 파라미터들을 특정하고, 사운드 위치, 사운드 폭, 및 사운드 속도 중 하나 이상을 포함하고; 또한, 각각의 메타데이터 세트는 각각의 채널-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 상기 스피커 어레이는 규정된 서라운드 사운드 구성으로 배치된 스피커들을 포함하고, 각각의 채널-기반 스트림과 연관된 상기 메타데이터 요소들은 규정된 서라운드-사운드 표준에 따라 상기 스피커 어레이의 스피커들의 서라운드-사운드 채널들의 지정들을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 12 항에 있어서,
상기 스피커 어레이는 상기 재생 환경의 조건에 기초하여 이용자로부터의 셋 업 지시들에 따라 상기 재생 환경에 위치되는 오브젝트-기반 스트림들의 재생을 위한 부가적인 스피커들을 포함하고, 상기 재생 조건은 상기 재생 환경의 룸의 사이즈 및 형상, 점유율, 물질 구성, 및 주변 소음을 포함하는 변수들에 의존하고; 또한, 상기 시스템은 스피커 지정들의 리스트 및 상기 스피커 어레이의 개개의 스피커들로의 채널들의 맵핑, 스피커들의 그룹화에 관한 정보, 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초하는 런-타임 맵핑을 적어도 포함하는 상기 이용자로부터의 셋-업 파일을 수신하고, 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링된 오브젝트 스트림은 상기 부가적인 스피커들 중 단일 스피커로 스냅하는, 오디오 신호들을 처리하기 위한 시스템. - 제 14 항에 있어서,
상기 의도된 재생 위치는 상기 재생 환경 내의 스크린에 대한 공간 위치, 또는 상기 재생 환경을 둘러싸는 표면을 포함하고, 상기 표면은 전면, 후면, 좌측면, 윗면, 및 바닥면을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서:
복수의 오디오 신호들을 수신하고, 복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각에 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하도록 구성된 저작 컴포넌트로서, 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링되는, 상기 저작 컴포넌트; 및
상기 저작 컴포넌트에 결합된 렌더링 시스템으로서, 상기 재생 환경 내에서 하나의 리스트의 스피커들 및 상기 스피커들 각각의 위치들을 포함하는 오디오 채널들에 대한 스피커들의 제 1 맵(map), 및 상기 복수의 모노포닉 오디오 스트림들 및 메타데이터를 캡슐화하는 비트스트림을 수신하도록 구성되고, 상기 재생 환경의 조건 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초하는 맵핑에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성되는, 상기 렌더링 시스템을 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 16 항에 있어서,
상기 재생 환경의 조건은 상기 재생 환경의 룸의 사이즈 및 형상, 점유율, 물질 구성, 및 주변 소음을 포함하는 변수들에 의존하는, 오디오 신호들을 처리하기 위한 시스템. - 제 17 항에 있어서,
상기 제 1 맵은 스피커 지정들의 리스트 및 상기 스피커 어레이의 개개의 스피커들로의 채널들의 맵핑, 및 스피커들의 그룹화에 관한 정보를 적어도 포함하는 셋-업 파일에서 특정되는, 오디오 신호들을 처리하기 위한 시스템. - 제 18 항에 있어서,
상기 재생 위치는 상기 재생 환경 내의 스크린에 대한 공간 위치, 또는 상기 재생 환경을 포함하는 인클로저(enclosure)의 표면을 포함하고, 상기 표면은 상기 인클로저의 전면, 후면, 측면, 윗면, 및 바닥면 중 하나를 포함하는, 오디오 신호들을 처리하기 위한 시스템. - 제 19 항에 있어서,
상기 스피커 어레이는 규정된 서라운드 사운드 구성으로 배치된 스피커들을 포함하고, 각각의 채널-기반 스트림과 연관된 상기 메타데이터 요소들은 규정된 서라운드-사운드 표준에 따라 상기 스피커 어레이의 스피커들의 서라운드-사운드 채널들의 지정들을 포함하고, 또한 특정 오브젝트-기반 스트림들은 상기 스피커 어레이의 부가적인 스피커들을 통해 재생되고, 상기 런-타임 맵핑은 상기 스피커 어레이의 어느 개개의 스피커들이 재생 프로세스 동안 대응 오브젝트-기반 스트림을 재생하는지를 동적으로 결정하는, 오디오 신호들을 처리하기 위한 시스템. - 렌더링을 위한 오디오 신호들을 저작하는 방법에 있어서:
복수의 오디오 신호들을 수신하는 단계;
복수의 모노포닉 오디오 스트림들, 및 상기 복수의 모노포닉 오디오 스트림들 각각에 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 포함하는 적응형 오디오 믹스를 생성하는 단계로서, 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대한 3차원 공간의 위치를 포함하고; 또한, 제 1 메타데이터 세트는 상기 재생 환경의 제 1 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 상기 재생 환경의 제 2 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중의 하나 이상에 인가되는, 상기 생성하는 단계; 및
상기 재생 환경의 조건에 기초하여 적어도 2개의 상기 메타데이터 세트들에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위한 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 상기 하나 이상의 메타데이터 세트들을 캡슐화하는 단계를 포함하는, 렌더링을 위한 오디오 신호들을 저작하는 방법. - 제 21 항에 있어서,
각각의 메타데이터 세트는 각각의 오브젝트-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 각각의 오브젝트-기반 스트림에 대한 상기 메타데이터 요소들은 대응하는 오브젝트-기반 사운드의 재생을 제어하는 공간 파라미터들을 특정하고, 사운드 위치, 사운드 폭, 및 사운드 속도 중 하나 이상을 포함하고; 또한, 각각의 메타데이터 세트는 각각의 채널-기반 스트림과 연관된 메타데이터 요소들을 포함하고, 상기 스피커 어레이는 규정된 서라운드 사운드 구성으로 배치된 스피커들을 포함하고, 각각의 채널-기반 스트림과 연관된 상기 메타데이터 요소들은 규정된 서라운드-사운드 표준에 따라 상기 스피커 어레이의 스피커들의 서라운드-사운드 채널들의 지정들을 포함하는, 렌더링을 위한 오디오 신호들을 저작하는 방법. - 제 21 항에 있어서,
상기 스피커 어레이는 상기 재생 환경에 위치되는 오브젝트-기반 스트림들의 재생을 위한 추가적인 스피커들을 포함하고, 상기 방법은 또한 상기 재생 환경의 조건에 기초하여 이용자로부터 셋 업 지시들을 수신하는 단계를 포함하고, 상기 재생 조건은 상기 재생 환경의 룸의 사이즈 및 형상, 점유율, 물질 구성, 및 주변 소음을 포함하는 변수들에 의존하고; 상기 셋 업 지시들은 또한 스피커 지정들의 리스트 및 상기 스피커 어레이의 개개의 스피커들로의 채널들의 맵핑, 스피커들의 그룹화에 관한 정보, 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초하는 맵핑을 적어도 포함하는, 렌더링을 위한 오디오 신호들을 저작하는 방법. - 제 23 항에 있어서,
오리지널 오디오 콘텐트를 포함하는 상기 복수의 모노포닉 오디오 스트림들의 재생 레벨들을 특정하기 위해 이용자에 의해 동작되는 제어들을 갖는 믹싱 콘솔로부터 수신하는 단계; 및
상기 이용자 입력의 수신시 생성된 각각의 오브젝트-기반 스트림과 연관된 상기 메타데이터 요소들을 자동으로 생성하는 단계를 추가로 포함하는, 렌더링을 위한 오디오 신호들을 저작하는 방법. - 오디오 신호들을 렌더링하는 방법에 있어서:
복수의 오디오 신호들을 수신하고, 복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 생성하도록 구성된 저작 컴포넌트로부터 비트스트림에 복수의 모노포닉 오디오 스트림들 및 적어도 2개의 메타데이터 세트들을 캡슐화하는 비트스트림을 수신하는 단계로서, 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고; 또한, 제 1 메타데이터 세트가 상기 재생 환경의 제 1 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 상기 재생 환경의 제 2 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중의 하나 이상에 인가되는, 상기 비트스트림을 수신하는 단계; 및
상기 재생 환경의 조건에 기초하여 적어도 2개의 상기 메타데이터 세트들에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하는 단계를 포함하는, 오디오 신호들을 렌더링하는 방법. - 저작 컴포넌트에서 처리되는 복수의 모노포닉 오디오 스트림들을 포함하는 오디오 콘텐트를 생성하는 방법으로서, 상기 복수의 모노포닉 오디오 스트림들은 적어도 하나의 채널-기반 오디오 스트림 및 적어도 하나의 오브젝트-기반 오디오 스트림을 포함하는, 상기 방법에 있어서:
상기 복수의 모노포닉 오디오 스트림들 중 각각의 모노포닉 오디오 스트림에 대해 상기 각각의 모노포닉 오디오 스트림이 채널-기반 스트림인지 오디오-기반 스트림인지의 여부를 나타내는 단계;
재생 환경 내에서 각각의 채널-기반 스트림을 하나 이상의 스피커들에 렌더링하기 위해 채널 위치를 특정하는 메타데이터 요소와 상기 각각의 채널-기반 스트림을 연관시키는 단계;
상기 재생 환경의 사이즈 및 치수들에 관하여 규정된 타자 중심 레퍼런스 프레임에 대해 상기 재생 환경 내에서 각각의 오브젝트-기반 스트림을 하나 이상의 스피커들에 렌더링하기 위해 오브젝트-기반 위치를 특정하는 하나 이상의 메타데이터 요소들과 상기 각각의 오브젝트-기반 스트림을 연관시키는 단계; 및
상기 복수의 모노포닉 스트림들 및 연관된 메타데이터를 신호로 어셈블링하는 단계를 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 26 항에 있어서,
상기 재생 환경은 상기 재생 환경을 구체화하는 인클로저의 기준 포인트에 대해 규정된 위치들에 및 방향들로 배치된 스피커들의 어레이를 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 27 항에 있어서,
상기 스피커들의 어레이의 스피커들의 제 1 세트는 규정된 서라운드 사운드 시스템에 따라 배치된 스피커들을 포함하고, 상기 스피커들의 어레이의 스피커들의 제 2 세트는 적응형 오디오 방식에 따라 배치된 스피커들을 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 28 항에 있어서,
상기 복수의 모노포닉 오디오 스트림들의 세트들에 대한 오디오 유형을 규정하는 단계로서, 상기 오디오 유형은 대화, 음악, 및 효과들로 구성되는 그룹으로부터 선택되는, 상기 오디오 유형을 규정하는 단계; 및
각각의 세트의 모노포닉 오디오 스트림들에 대한 상기 오디오 유형에 기초하여, 상기 모노포닉 오디오 스트림들의 세트들을 스피커들의 특정 세트들로 송신하는 단계를 추가로 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 29 항에 있어서,
상기 모노포닉 오디오 스트림들의 재생 레벨들을 특정하기 위해 이용자에 의해 동작가능한 제어들을 갖는 믹싱 콘솔에 구현된 저작 컴포넌트를 통해 상기 메타데이터 요소들을 자동으로 생성하는 단계를 추가로 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 30 항에 있어서,
상기 복수의 모노포닉 오디오 스트림들 및 연관된 메타데이터 요소들을 인코더 내에서 단일 디지털 비트스트림으로 패키징하는 단계를 추가로 포함하는, 오디오 콘텐트를 생성하는 방법. - 오디오 콘텐트를 생성하는 방법에 있어서:
채널-기반 및 오브젝트-기반 오디오 콘텐트를 둘 다 핸들링(handling)하는 하이브리드 오디오 시스템에서 처리하기 위한 상기 오디오 콘텐트의 프로그래밍과 연관된 제 1 메타데이터 그룹에서 하나 이상의 메타데이터 요소들의 값들을 결정하는 단계;
저장과 연관되고 상기 하이브리드 오디오 시스템에서 상기 오디오 콘텐트의 특성들을 렌더링하는 제 2 메타데이터 그룹에서 하나 이상의 메타데이터 요소들의 값들을 결정하는 단계; 및
오디오 소스 위치, 및 상기 채널-기반 및 오브젝트-기반 오디오 콘텐트를 렌더링하기 위한 제어 정보와 연관된 제 3 메타데이터 그룹에서 하나 이상의 메타데이터 요소들의 값들을 결정하는 단계를 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 32 항에 있어서,
상기 채널-기반 오디오 콘텐트를 렌더링하기 위한 상기 오디오 소스 위치는 서라운드 사운드 스피커 시스템의 스피커들과 연관된 네임(name)들을 포함하고, 상기 네임들은 재생 환경에서 하나 이상의 기준 위치들에 대한 각각의 스피커들의 위치를 규정하는, 오디오 콘텐트를 생성하는 방법. - 제 33 항에 있어서,
상기 채널-기반 오디오 콘텐트를 렌더링하기 위한 상기 제어 정보는 상이한 서라운드 사운드 구성들에서 오디오 콘텐트를 렌더링하기 위한 업믹스 및 다운믹스 정보를 포함하고, 상기 메타데이터는 업믹스 및/또는 다운믹스 기능을 인에이블하거나 디스에이블하기 위한 메타데이터를 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 32 항에 있어서,
상기 오브젝트-기반 오디오 콘텐트를 렌더링하기 위한 상기 오디오 소스 위치는 상기 오브젝트-기반 오디오 콘텐트의 사운드 컴포넌트의 재생을 위한 의도된 재생 위치를 특정하는 하나 이상의 수학적 함수들과 연관된 값들을 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 35 항에 있어서,
상기 수학적 함수들은 x, y, z 좌표값들로 특정되는 3차원 좌표, 표면 규정 플러스 2차원 좌표 세트, 및 곡선 규정 플러스 1차원 선형 위치 좌표, 및 상기 재생 환경에서 스크린 상의 스칼라(scalar) 위치로 구성되는 그룹으로부터 선택되는, 오디오 콘텐트를 생성하는 방법. - 제 36 항에 있어서,
상기 오브젝트-기반 오디오 콘텐트를 렌더링하기 위한 상기 제어 정보는 상기 사운드 컴포넌트가 재생되는 상기 재생 환경 내에서 개개의 스피커들 또는 스피커 그룹들을 특정하는 값들을 포함하는, 오디오 콘텐트를 생성하는 방법. - 제 37 항에 있어서,
상기 오브젝트-기반 오디오 콘텐트를 렌더링하기 위한 상기 제어 정보는 또한 상기 재생 환경 내에서 가장 가까운 스피커 또는 가장 가까운 스피커 그룹에 스냅될 상기 사운드 소스를 특정하는 이진 값을 포함하는, 오디오 콘텐트를 생성하는 방법. - 오디오 송신 프로토콜을 규정하는 방법에 있어서:
채널-기반 및 오브젝트-기반 오디오 콘텐트를 둘 다 핸들링하는 하이브리드 오디오 시스템에서 처리하기 위한 오디오 콘텐트의 프로그래밍과 연관된 제 1 메타데이터 그룹에서 하나 이상의 메타데이터 요소들의 값들을 규정하는 단계;
저장과 연관된 제 2 메타데이터 그룹에서 하나 이상의 메타데이터 요소들의 값들을 규정하고 상기 하이브리드 오디오 시스템에서 상기 오디오 콘텐트의 특성들을 렌더링하는 하는 단계; 및
오디오 소스 위치, 및 상기 채널-기반 및 오브젝트-기반 오디오 콘텐트를 렌더링하기 위한 제어 정보와 연관된 하나 이상의 메타데이터 요소들의 값들을 제 3 메타데이터 그룹에서 규정하는 단계를 포함하는, 오디오 송신 프로토콜을 규정하는 방법. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
저작 컴포넌트를 포함하며, 상기 저작 컴포넌트는:
복수의 오디오 신호들을 수신하고;
복수의 모노포닉 오디오 스트림들, 및 상기 복수의 모노포닉 오디오 스트림들 각각에 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 포함하는 적응형 오디오 믹스를 생성하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대한 3차원 공간의 위치를 포함하고, 또한, 제 1 메타데이터 세트는 상기 재생 환경의 제 1 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 상기 재생 환경의 제 2 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중의 하나 이상에 인가됨 - ;
상기 재생 환경의 조건에 기초하여 적어도 2개의 상기 메타데이터 세트들에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위한 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 적어도 2개의 상기 메타데이터 세트들을 캡슐화하도록 구성되는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
렌더링 시스템을 포함하며, 상기 렌더링 시스템은:
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 생성하도록 구성된 저작 컴포넌트로부터 비트스트림에 복수의 모노포닉 오디오 스트림들 및 적어도 2개의 메타데이터 세트들을 캡슐화하는 비트스트림을 수신하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 또한, 제 1 메타데이터 세트가 상기 재생 환경의 제 1 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중 하나 이상에 인가되고, 제 2 메타데이터 세트는 상기 재생 환경의 제 2 조건에 대해 상기 복수의 모노포닉 오디오 스트림들 중의 하나 이상에 인가됨 - ;
상기 재생 환경의 조건에 기초하여 적어도 2개의 상기 메타데이터 세트들에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성되는, 오디오 신호들을 렌더링하는 방법. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
저작 컴포넌트를 포함하며, 상기 저작 컴포넌트는:
복수의 오디오 신호들을 수신하고;
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각에 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ;
재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위해 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 상기 메타데이터를 캡슐화하도록 구성되고, 상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 모노포닉 오디오 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링되는 것을 특정하여, 오브젝트-기반 모노포닉 스트림이 상기 의도된 재생 위치에 가장 가까운 상기 스피커에 의해 효과적으로 렌더링 되는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
렌더링 시스템을 포함하며, 상기 렌더링 시스템은:
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 캡슐화하는 비트스트림을 수신하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ;
상기 복수의 모노포닉 오디오 스트림들을 재생 환경 내 스피커들에 대응하는 복수의 스피커 피드들에 렌더링하도록 구성되고, 상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 모노포닉 오디오 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링 되는 것을 특정하여, 오브젝트-기반 모노포닉 스트림이 상기 의도된 재생 위치에 가장 가까운 상기 스피커에 의해 효과적으로 렌더링되는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
저작 컴포넌트를 포함하고, 상기 저작 컴포넌트는:
복수의 오디오 신호들을 수신하고;
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ;
재생 환경의 조건 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초한 맵핑에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위해 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 상기 메타데이터를 캡슐화하도록 구성되는, 오디오 신호들을 처리하기 위한 시스템. - 오디오 신호들을 처리하기 위한 시스템에 있어서,
렌더링 시스템을 포함하며, 상기 렌더링 시스템은:
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 캡슐화하는 비트스트림을 수신하고 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ;
하나의 리스트의 스피커들 및 상기 재생 환경 내에서 상기 스피커들 각각의 위치들을 포함하는 오디오 채널들에 대한 스피커들의 제 1 맵(map), 및 상기 복수의 모노포닉 오디오 스트림들 및 메타데이터를 캡슐화하는 비트스트림을 수신하고;
재생 환경의 조건 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초한 맵핑에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성되는, 오디오 신호들을 처리하기 위한 시스템. - 렌더링을 위한 오디오 콘텐트를 저작하는 방법에 있어서,
복수의 오디오 신호들을 수신하는 단계;
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각에 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하는 단계 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ; 및
재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위해 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 상기 메타데이터를 캡슐화하는 단계를 포함하고, 상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 모노포닉 오디오 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링되는 것을 특정하여, 오브젝트-기반 모노포닉 스트림이 상기 의도된 재생 위치에 가장 가까운 상기 스피커에 의해 효과적으로 렌더링 되는, 렌더링을 위한 오디오 콘텐트를 저작하는 방법. - 오디오 신호들을 렌더링하기 위한 방법에 있어서,
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 캡슐화하는 비트스트림을 수신하는 단계 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ; 및
상기 복수의 모노포닉 오디오 스트림들을 재생 환경 내 스피커들에 대응하는 복수의 스피커 피드들에 렌더링하는 단계를 포함하고, 상기 스피커 어레이의 스피커들은 상기 재생 환경 내의 특정 위치들에 배치되고, 각각의 오브젝트-기반 모노포닉 오디오 스트림과 연관된 메타데이터 요소들은 하나 이상의 사운드 컴포넌트들이 상기 사운드 컴포넌트의 의도된 재생 위치에 가장 가까운 스피커를 통해 재생하기 위한 스피커 피드에 렌더링 되는 것을 특정하여, 오브젝트-기반 모노포닉 스트림이 상기 의도된 재생 위치에 가장 가까운 상기 스피커에 의해 효과적으로 렌더링되는, 오디오 신호들을 렌더링하기 위한 방법. - 렌더링하기 위한 오디오 콘텐트를 저작하는 방법에 있어서,
복수의 오디오 신호들을 수신하는 단계;
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 생성하는 단계 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ; 및
재생 환경의 조건 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초한 맵핑에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하도록 구성된 렌더링 시스템으로의 송신을 위해 비트스트림에 상기 복수의 모노포닉 오디오 스트림들 및 상기 메타데이터를 캡슐화하는 단계를 포함하는, 렌더링하기 위한 오디오 콘텐트를 저작하는 방법. - 오디오 신호들을 렌더링하기 위한 방법에 있어서,
복수의 모노포닉 오디오 스트림들 및 상기 복수의 모노포닉 오디오 스트림들 각각과 연관되고 각각의 모노포닉 오디오 스트림의 재생 위치를 특정하는 메타데이터를 포함하는 적응형 오디오 믹스를 캡슐화하는 비트스트림을 수신하는 단계 - 상기 복수의 모노포닉 오디오 스트림들 중 적어도 일부는 채널-기반 오디오로서 식별되고 상기 복수의 모노포닉 오디오 스트림들 중 다른 모노포닉 오디오 스트림들은 오브젝트-기반 오디오로서 식별되고, 상기 채널-기반 오디오의 재생 위치는 스피커 어레이의 스피커들의 스피커 지정들을 포함하고, 상기 오브젝트-기반 오디오의 재생 위치는 상기 스피커 어레이를 포함하는 재생 환경에 대해 3차원 공간의 위치를 포함하고, 각각의 오브젝트-기반 모노포닉 오디오 스트림은 상기 스피커 어레이의 적어도 하나의 특정 스피커에서 렌더링 됨 - ;
하나의 리스트의 스피커들 및 상기 재생 환경 내에서 상기 스피커들 각각의 위치들을 포함하는 오디오 채널들에 대한 스피커들의 제 1 맵(map), 및 상기 복수의 모노포닉 오디오 스트림들 및 메타데이터를 캡슐화하는 비트스트림을 수신하는 단계; 및
재생 환경의 조건 및 상기 재생 환경에 대한 스피커들의 상대적 위치에 기초한 맵핑에 따라 상기 재생 환경의 스피커들에 대응하는 복수의 스피커 피드들에 상기 복수의 모노포닉 오디오 스트림들을 렌더링하는 단계를 포함하는, 오디오 신호들을 렌더링하기 위한 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161504005P | 2011-07-01 | 2011-07-01 | |
| US61/504,005 | 2011-07-01 | ||
| US201261636429P | 2012-04-20 | 2012-04-20 | |
| US61/636,429 | 2012-04-20 | ||
| PCT/US2012/044388 WO2013006338A2 (en) | 2011-07-01 | 2012-06-27 | System and method for adaptive audio signal generation, coding and rendering |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137034894A Division KR101685447B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187008804A Division KR101946795B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150013913A true KR20150013913A (ko) | 2015-02-05 |
| KR101845226B1 KR101845226B1 (ko) | 2018-05-18 |
Family
ID=46604526
Family Applications (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041109A KR20230170110A (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020207034194A KR102406776B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020147037035A KR101845226B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020137034894A KR101685447B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020227018617A KR102608968B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020187008804A KR101946795B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020207014372A KR102185941B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020197020510A KR102115723B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020197003234A KR102003191B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041109A KR20230170110A (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020207034194A KR102406776B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
Family Applications After (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137034894A KR101685447B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020227018617A KR102608968B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020187008804A KR101946795B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020207014372A KR102185941B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020197020510A KR102115723B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
| KR1020197003234A KR102003191B1 (ko) | 2011-07-01 | 2012-06-27 | 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법 |
Country Status (22)
| Country | Link |
|---|---|
| US (13) | US9179236B2 (ko) |
| EP (3) | EP3893521B1 (ko) |
| JP (11) | JP5912179B2 (ko) |
| KR (9) | KR20230170110A (ko) |
| CN (2) | CN105792086B (ko) |
| AR (1) | AR086775A1 (ko) |
| AU (7) | AU2012279357B2 (ko) |
| BR (2) | BR112013033386B1 (ko) |
| CA (3) | CA2837893C (ko) |
| DK (1) | DK2727383T3 (ko) |
| ES (2) | ES2984840T3 (ko) |
| HK (1) | HK1219604A1 (ko) |
| HU (1) | HUE054452T2 (ko) |
| IL (9) | IL313393A (ko) |
| MX (1) | MX2013014684A (ko) |
| MY (1) | MY165933A (ko) |
| PL (1) | PL2727383T3 (ko) |
| RU (3) | RU2617553C2 (ko) |
| SG (1) | SG10201604679UA (ko) |
| TW (6) | TWI792203B (ko) |
| UA (1) | UA124570C2 (ko) |
| WO (1) | WO2013006338A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016148552A3 (ko) * | 2015-03-19 | 2016-11-10 | (주)소닉티어랩 | 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 |
| WO2017126895A1 (ko) * | 2016-01-19 | 2017-07-27 | 지오디오랩 인코포레이티드 | 오디오 신호 처리 장치 및 처리 방법 |
Families Citing this family (317)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE534980C2 (sv) | 2009-08-26 | 2012-03-06 | Svenska Utvecklings Entreprenoeren Susen Ab | Metod för att väcka en insomnad motorfordonsförare |
| UA124570C2 (uk) | 2011-07-01 | 2021-10-13 | Долбі Лабораторіс Лайсензін Корпорейшн | Система та спосіб для генерування, кодування та представлення даних адаптивного звукового сигналу |
| EP2862370B1 (en) * | 2012-06-19 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
| EP2875511B1 (en) * | 2012-07-19 | 2018-02-21 | Dolby International AB | Audio coding for improving the rendering of multi-channel audio signals |
| JP6045696B2 (ja) * | 2012-07-31 | 2016-12-14 | インテレクチュアル ディスカバリー シーオー エルティディＩｎｔｅｌｌｅｃｔｕａｌ Ｄｉｓｃｏｖｅｒｙ Ｃｏ．，Ｌｔｄ． | オーディオ信号処理方法および装置 |
| EP2891335B1 (en) | 2012-08-31 | 2019-11-27 | Dolby Laboratories Licensing Corporation | Reflected and direct rendering of upmixed content to individually addressable drivers |
| US9826328B2 (en) | 2012-08-31 | 2017-11-21 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
| US9622011B2 (en) | 2012-08-31 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Virtual rendering of object-based audio |
| CN104604258B (zh) | 2012-08-31 | 2017-04-26 | 杜比实验室特许公司 | 用于呈现器与可独立寻址的驱动器的阵列之间的通信的双向互连 |
| ES2606678T3 (es) | 2012-08-31 | 2017-03-27 | Dolby Laboratories Licensing Corporation | Presentación de sonido reflejado para audio con base de objeto |
| BR122021021506B1 (pt) * | 2012-09-12 | 2023-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d |
| KR20140047509A (ko) * | 2012-10-12 | 2014-04-22 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
| WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
| US9805725B2 (en) | 2012-12-21 | 2017-10-31 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
| TWI635753B (zh) | 2013-01-07 | 2018-09-11 | 美商杜比實驗室特許公司 | 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器 |
| WO2014112793A1 (ko) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
| CN108806706B (zh) * | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
| KR102160218B1 (ko) * | 2013-01-15 | 2020-09-28 | 한국전자통신연구원 | 사운드 바를 위한 오디오 신호 처리 장치 및 방법 |
| EP2757558A1 (en) * | 2013-01-18 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Time domain level adjustment for audio signal decoding or encoding |
| US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
| US9609452B2 (en) | 2013-02-08 | 2017-03-28 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
| US9883310B2 (en) | 2013-02-08 | 2018-01-30 | Qualcomm Incorporated | Obtaining symmetry information for higher order ambisonic audio renderers |
| US9685163B2 (en) * | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
| WO2014151092A1 (en) * | 2013-03-15 | 2014-09-25 | Dts, Inc. | Automatic multi-channel music mix from multiple audio stems |
| US10038957B2 (en) * | 2013-03-19 | 2018-07-31 | Nokia Technologies Oy | Audio mixing based upon playing device location |
| US9900720B2 (en) | 2013-03-28 | 2018-02-20 | Dolby Laboratories Licensing Corporation | Using single bitstream to produce tailored audio device mixes |
| RU2630955C9 (ru) | 2013-03-28 | 2017-09-29 | Долби Лабораторис Лайсэнзин Корпорейшн | Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей |
| TWI530941B (zh) * | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
| WO2014163657A1 (en) * | 2013-04-05 | 2014-10-09 | Thomson Licensing | Method for managing reverberant field for immersive audio |
| JP6204684B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| JP6204681B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| JP6204680B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP2014204316A (ja) * | 2013-04-05 | 2014-10-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP6204683B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP6204682B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| US20160066118A1 (en) * | 2013-04-15 | 2016-03-03 | Intellectual Discovery Co., Ltd. | Audio signal processing method using generating virtual object |
| KR102547902B1 (ko) * | 2013-04-26 | 2023-06-28 | 소니그룹주식회사 | 음성 처리 장치, 정보 처리 방법, 및 기록 매체 |
| CN105075294B (zh) * | 2013-04-30 | 2018-03-09 | 华为技术有限公司 | 音频信号处理装置 |
| JP6515087B2 (ja) * | 2013-05-16 | 2019-05-15 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオ処理装置及び方法 |
| US9860669B2 (en) | 2013-05-16 | 2018-01-02 | Koninklijke Philips N.V. | Audio apparatus and method therefor |
| WO2014184618A1 (en) * | 2013-05-17 | 2014-11-20 | Nokia Corporation | Spatial object oriented audio apparatus |
| US10499176B2 (en) * | 2013-05-29 | 2019-12-03 | Qualcomm Incorporated | Identifying codebooks to use when coding spatial components of a sound field |
| KR101410976B1 (ko) | 2013-05-31 | 2014-06-23 | 한국산업은행 | 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치 |
| TWI615834B (zh) * | 2013-05-31 | 2018-02-21 | Sony Corp | 編碼裝置及方法、解碼裝置及方法、以及程式 |
| CN105264914B (zh) * | 2013-06-10 | 2017-03-22 | 株式会社索思未来 | 音频再生装置以及方法 |
| US9705953B2 (en) * | 2013-06-17 | 2017-07-11 | Adobe Systems Incorporated | Local control of digital signal processing |
| CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
| EP3474575B1 (en) * | 2013-06-18 | 2020-05-27 | Dolby Laboratories Licensing Corporation | Bass management for audio rendering |
| TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
| US9883311B2 (en) | 2013-06-28 | 2018-01-30 | Dolby Laboratories Licensing Corporation | Rendering of audio objects using discontinuous rendering-matrix updates |
| KR102084646B1 (ko) * | 2013-07-04 | 2020-04-14 | 삼성전자주식회사 | 음성 인식 장치 및 음성 인식 방법 |
| EP3020042B1 (en) | 2013-07-08 | 2018-03-21 | Dolby Laboratories Licensing Corporation | Processing of time-varying metadata for lossless resampling |
| EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| TWI560699B (en) * | 2013-07-22 | 2016-12-01 | Fraunhofer Ges Forschung | Apparatus and method for efficient object metadata coding |
| EP2830047A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
| EP2830335A3 (en) * | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, and computer program for mapping first and second input channels to at least one output channel |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| CN105432098B (zh) | 2013-07-30 | 2017-08-29 | 杜比国际公司 | 针对任意扬声器布局的音频对象的平移 |
| JP6543627B2 (ja) | 2013-07-30 | 2019-07-10 | ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． | 一定出力ペアワイズパニングによるマトリクスデコーダ |
| JP6388939B2 (ja) | 2013-07-31 | 2018-09-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 |
| JP2016533114A (ja) | 2013-08-21 | 2016-10-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 視線方向によって制御されるパン機能を有するビデオディスプレイ |
| US9483228B2 (en) | 2013-08-26 | 2016-11-01 | Dolby Laboratories Licensing Corporation | Live engine |
| EP3039674B1 (en) * | 2013-08-28 | 2019-04-17 | Landr Audio Inc. | System and method for performing automatic audio production using semantic data |
| JP6001814B1 (ja) | 2013-08-28 | 2016-10-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイブリッドの波形符号化およびパラメトリック符号化発話向上 |
| CN109979472B (zh) | 2013-09-12 | 2023-12-15 | 杜比实验室特许公司 | 用于各种回放环境的动态范围控制 |
| EP4379714A3 (en) | 2013-09-12 | 2024-08-14 | Dolby Laboratories Licensing Corporation | Loudness adjustment for downmixed audio content |
| US8751832B2 (en) * | 2013-09-27 | 2014-06-10 | James A Cashin | Secure system and method for audio processing |
| US9067135B2 (en) | 2013-10-07 | 2015-06-30 | Voyetra Turtle Beach, Inc. | Method and system for dynamic control of game audio based on audio analysis |
| US10063982B2 (en) | 2013-10-09 | 2018-08-28 | Voyetra Turtle Beach, Inc. | Method and system for a game headset with audio alerts based on audio track analysis |
| US9338541B2 (en) | 2013-10-09 | 2016-05-10 | Voyetra Turtle Beach, Inc. | Method and system for in-game visualization based on audio analysis |
| US9716958B2 (en) * | 2013-10-09 | 2017-07-25 | Voyetra Turtle Beach, Inc. | Method and system for surround sound processing in a headset |
| US8979658B1 (en) | 2013-10-10 | 2015-03-17 | Voyetra Turtle Beach, Inc. | Dynamic adjustment of game controller sensitivity based on audio analysis |
| CN105637582B (zh) | 2013-10-17 | 2019-12-31 | 株式会社索思未来 | 音频编码装置及音频解码装置 |
| KR102231755B1 (ko) * | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
| US9933989B2 (en) * | 2013-10-31 | 2018-04-03 | Dolby Laboratories Licensing Corporation | Binaural rendering for headphones using metadata processing |
| US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
| CN105723740B (zh) | 2013-11-14 | 2019-09-17 | 杜比实验室特许公司 | 音频的屏幕相对呈现和用于这样的呈现的音频的编码和解码 |
| ES2710774T3 (es) * | 2013-11-27 | 2019-04-26 | Dts Inc | Mezcla de matriz basada en multipletes para audio de múltiples canales de alta cantidad de canales |
| WO2015080967A1 (en) | 2013-11-28 | 2015-06-04 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
| EP2892250A1 (en) | 2014-01-07 | 2015-07-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a plurality of audio channels |
| US9704491B2 (en) | 2014-02-11 | 2017-07-11 | Disney Enterprises, Inc. | Storytelling environment: distributed immersive audio soundscape |
| US9578436B2 (en) * | 2014-02-20 | 2017-02-21 | Bose Corporation | Content-aware audio modes |
| KR102370031B1 (ko) * | 2014-03-18 | 2022-03-04 | 코닌클리케 필립스 엔.브이. | 시청각 콘텐트 아이템 데이터 스트림들 |
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| KR102201726B1 (ko) * | 2014-03-21 | 2021-01-12 | 돌비 인터네셔널 에이비 | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 |
| US10412522B2 (en) | 2014-03-21 | 2019-09-10 | Qualcomm Incorporated | Inserting audio channels into descriptions of soundfields |
| CN109036441B (zh) | 2014-03-24 | 2023-06-06 | 杜比国际公司 | 对高阶高保真立体声信号应用动态范围压缩的方法和设备 |
| JP6313641B2 (ja) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | チャンネル数変換装置 |
| EP2928216A1 (en) * | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
| EP2925024A1 (en) | 2014-03-26 | 2015-09-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
| BR112016023716B1 (pt) | 2014-04-11 | 2023-04-18 | Samsung Electronics Co., Ltd | Método de renderização de um sinal de áudio |
| WO2015164572A1 (en) | 2014-04-25 | 2015-10-29 | Dolby Laboratories Licensing Corporation | Audio segmentation based on spatial metadata |
| HK1195445A2 (en) * | 2014-05-08 | 2014-11-07 | 黃偉明 | Endpoint mixing system and reproduction method of endpoint mixed sounds |
| US20170195819A1 (en) * | 2014-05-21 | 2017-07-06 | Dolby International Ab | Configuring Playback of Audio Via a Home Audio Playback System |
| ES2699657T3 (es) * | 2014-05-30 | 2019-02-12 | Qualcomm Inc | Obtención de información de dispersión para renderizadores de audio ambisónicos de orden superior |
| RU2019122989A (ru) * | 2014-05-30 | 2019-09-16 | Сони Корпорейшн | Устройство обработки информации и способ обработки информации |
| WO2015186535A1 (ja) * | 2014-06-06 | 2015-12-10 | ソニー株式会社 | オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム |
| US10139907B2 (en) * | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
| JP7080007B2 (ja) * | 2014-06-30 | 2022-06-03 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
| RU2687065C2 (ru) * | 2014-07-18 | 2019-05-07 | Сони Корпорейшн | Устройство передачи, способ передачи, устройство приема и способ приема |
| US9875751B2 (en) | 2014-07-31 | 2018-01-23 | Dolby Laboratories Licensing Corporation | Audio processing systems and methods |
| WO2016024847A1 (ko) * | 2014-08-13 | 2016-02-18 | 삼성전자 주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
| CN105657633A (zh) * | 2014-09-04 | 2016-06-08 | 杜比实验室特许公司 | 生成针对音频对象的元数据 |
| US9782672B2 (en) * | 2014-09-12 | 2017-10-10 | Voyetra Turtle Beach, Inc. | Gaming headset with enhanced off-screen awareness |
| WO2016048762A1 (en) * | 2014-09-24 | 2016-03-31 | Dolby Laboratories Licensing Corporation | Overhead speaker system |
| US9774974B2 (en) | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
| US20160094914A1 (en) * | 2014-09-30 | 2016-03-31 | Alcatel-Lucent Usa Inc. | Systems and methods for localizing audio streams via acoustic large scale speaker arrays |
| US10856042B2 (en) | 2014-09-30 | 2020-12-01 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items |
| RU2696952C2 (ru) * | 2014-10-01 | 2019-08-07 | Долби Интернешнл Аб | Аудиокодировщик и декодер |
| KR102226817B1 (ko) * | 2014-10-01 | 2021-03-11 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
| WO2016050854A1 (en) | 2014-10-02 | 2016-04-07 | Dolby International Ab | Decoding method and decoder for dialog enhancement |
| JP6812517B2 (ja) * | 2014-10-03 | 2021-01-13 | ドルビー・インターナショナル・アーベー | パーソナル化されたオーディオへのスマート・アクセス |
| US10089991B2 (en) * | 2014-10-03 | 2018-10-02 | Dolby International Ab | Smart access to personalized audio |
| EP3540732B1 (en) | 2014-10-31 | 2023-07-26 | Dolby International AB | Parametric decoding of multichannel audio signals |
| WO2016077320A1 (en) * | 2014-11-11 | 2016-05-19 | Google Inc. | 3d immersive spatial audio systems and methods |
| US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
| CN105895086B (zh) * | 2014-12-11 | 2021-01-12 | 杜比实验室特许公司 | 元数据保留的音频对象聚类 |
| US10057705B2 (en) * | 2015-01-13 | 2018-08-21 | Harman International Industries, Incorporated | System and method for transitioning between audio system modes |
| JP6550756B2 (ja) * | 2015-01-20 | 2019-07-31 | ヤマハ株式会社 | オーディオ信号処理装置 |
| US10057707B2 (en) | 2015-02-03 | 2018-08-21 | Dolby Laboratories Licensing Corporation | Optimized virtual scene layout for spatial meeting playback |
| EP3254477A1 (en) | 2015-02-03 | 2017-12-13 | Dolby Laboratories Licensing Corporation | Adaptive audio construction |
| CN111866022B (zh) | 2015-02-03 | 2022-08-30 | 杜比实验室特许公司 | 感知质量比会议中原始听到的更高的后会议回放系统 |
| CN114554387A (zh) * | 2015-02-06 | 2022-05-27 | 杜比实验室特许公司 | 用于自适应音频的混合型基于优先度的渲染系统和方法 |
| CN105992120B (zh) * | 2015-02-09 | 2019-12-31 | 杜比实验室特许公司 | 音频信号的上混音 |
| CN105989845B (zh) | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
| US9933991B2 (en) * | 2015-03-10 | 2018-04-03 | Harman International Industries, Limited | Remote controlled digital audio mixing system |
| TWI758146B (zh) | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| JP6777071B2 (ja) * | 2015-04-08 | 2020-10-28 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| WO2016172111A1 (en) * | 2015-04-20 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
| US10257636B2 (en) | 2015-04-21 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Spatial audio signal manipulation |
| US20160315722A1 (en) * | 2015-04-22 | 2016-10-27 | Apple Inc. | Audio stem delivery and control |
| EP3288025A4 (en) * | 2015-04-24 | 2018-11-07 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
| WO2016183379A2 (en) | 2015-05-14 | 2016-11-17 | Dolby Laboratories Licensing Corporation | Generation and playback of near-field audio content |
| WO2016190460A1 (ko) * | 2015-05-26 | 2016-12-01 | 삼성전자 주식회사 | 입체 음향 재생 방법 및 장치 |
| US9985676B2 (en) * | 2015-06-05 | 2018-05-29 | Braven, Lc | Multi-channel mixing console |
| JP6578383B2 (ja) | 2015-06-17 | 2019-09-18 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | オーディオ符号化システムにおけるユーザー対話のためのラウドネス制御 |
| TWI607655B (zh) | 2015-06-19 | 2017-12-01 | Sony Corp | Coding apparatus and method, decoding apparatus and method, and program |
| DE102015008000A1 (de) * | 2015-06-24 | 2016-12-29 | Saalakustik.De Gmbh | Verfahren zur Schallwiedergabe in Reflexionsumgebungen, insbesondere in Hörräumen |
| US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
| US10334387B2 (en) | 2015-06-25 | 2019-06-25 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
| GB2540225A (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio capture and mixing control |
| CN105187625B (zh) * | 2015-07-13 | 2018-11-16 | 努比亚技术有限公司 | 一种电子设备及音频处理方法 |
| GB2540407B (en) * | 2015-07-16 | 2020-05-20 | Powerchord Group Ltd | Personal audio mixer |
| GB2540404B (en) * | 2015-07-16 | 2019-04-10 | Powerchord Group Ltd | Synchronising an audio signal |
| GB2529310B (en) * | 2015-07-16 | 2016-11-30 | Powerchord Group Ltd | A method of augmenting an audio content |
| US9934790B2 (en) * | 2015-07-31 | 2018-04-03 | Apple Inc. | Encoded audio metadata-based equalization |
| CN105070304B (zh) * | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
| JP6918777B2 (ja) | 2015-08-14 | 2021-08-11 | ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． | オブジェクトベースのオーディオのための低音管理 |
| KR102423753B1 (ko) | 2015-08-20 | 2022-07-21 | 삼성전자주식회사 | 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
| US9832590B2 (en) * | 2015-09-12 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Audio program playback calibration based on content creation environment |
| CN108292142B (zh) * | 2015-09-28 | 2021-07-06 | 雷蛇(亚太)私人有限公司 | 计算机、控制计算机的方法及计算机可读介质 |
| US10341770B2 (en) | 2015-09-30 | 2019-07-02 | Apple Inc. | Encoded audio metadata-based loudness equalization and dynamic equalization during DRC |
| US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
| US9877137B2 (en) * | 2015-10-06 | 2018-01-23 | Disney Enterprises, Inc. | Systems and methods for playing a venue-specific object-based audio |
| WO2017069055A1 (ja) | 2015-10-21 | 2017-04-27 | 富士フイルム株式会社 | 映像音響システム |
| US9807535B2 (en) | 2015-10-30 | 2017-10-31 | International Business Machines Corporation | Three dimensional audio speaker array |
| EP3378240B1 (en) | 2015-11-20 | 2019-12-11 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
| CN105979349A (zh) * | 2015-12-03 | 2016-09-28 | 乐视致新电子科技（天津）有限公司 | 一种音频数据处理的方法和装置 |
| US10587982B2 (en) | 2015-12-18 | 2020-03-10 | Dolby Laboratories Licensing Corporation | Dual-orientation speaker for rendering immersive audio content |
| WO2017130210A1 (en) * | 2016-01-27 | 2017-08-03 | Indian Institute Of Technology Bombay | Method and system for rendering audio streams |
| US10778160B2 (en) | 2016-01-29 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Class-D dynamic closed loop feedback amplifier |
| JP7023848B2 (ja) | 2016-01-29 | 2022-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | バイノーラル・ダイアログ向上 |
| CN105656915B (zh) * | 2016-01-29 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 即时通话方法、装置和系统 |
| US11290819B2 (en) | 2016-01-29 | 2022-03-29 | Dolby Laboratories Licensing Corporation | Distributed amplification and control system for immersive audio multi-channel amplifier |
| WO2017132594A2 (en) | 2016-01-29 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Multi-channel amplifier with continuous class-d modulator and embedded pld and resonant frequency detector |
| US9924291B2 (en) * | 2016-02-16 | 2018-03-20 | Sony Corporation | Distributed wireless speaker system |
| US10573324B2 (en) * | 2016-02-24 | 2020-02-25 | Dolby International Ab | Method and system for bit reservoir control in case of varying metadata |
| CN105898669B (zh) * | 2016-03-18 | 2017-10-20 | 南京青衿信息科技有限公司 | 一种声音对象的编码方法 |
| EP3434023B1 (en) | 2016-03-24 | 2021-10-13 | Dolby Laboratories Licensing Corporation | Near-field rendering of immersive audio content in portable computers and devices |
| US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
| GB2550877A (en) * | 2016-05-26 | 2017-12-06 | Univ Surrey | Object-based audio rendering |
| US10231073B2 (en) | 2016-06-17 | 2019-03-12 | Dts, Inc. | Ambisonic audio rendering with depth decoding |
| US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
| US10951985B1 (en) * | 2016-07-01 | 2021-03-16 | Gebre Waddell | Method and system for audio critical listening and evaluation |
| US9956910B2 (en) * | 2016-07-18 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Audible notification systems and methods for autonomous vehicles |
| US10944999B2 (en) | 2016-07-22 | 2021-03-09 | Dolby Laboratories Licensing Corporation | Network-based processing and distribution of multimedia content of a live musical performance |
| CN106375778B (zh) * | 2016-08-12 | 2020-04-17 | 南京青衿信息科技有限公司 | 一种符合数字电影规范的三维音频节目码流传输的方法 |
| GB201615538D0 (en) * | 2016-09-13 | 2016-10-26 | Nokia Technologies Oy | A method , apparatus and computer program for processing audio signals |
| CN109716794B (zh) * | 2016-09-20 | 2021-07-13 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
| JP6693569B2 (ja) * | 2016-09-28 | 2020-05-13 | ヤマハ株式会社 | ミキサ、ミキサの制御方法およびプログラム |
| GB2554447A (en) * | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Gain control in spatial audio systems |
| WO2018064410A1 (en) * | 2016-09-29 | 2018-04-05 | Dolby Laboratories Licensing Corporation | Automatic discovery and localization of speaker locations in surround sound systems |
| US10349196B2 (en) * | 2016-10-03 | 2019-07-09 | Nokia Technologies Oy | Method of editing audio signals using separated objects and associated apparatus |
| US10419866B2 (en) | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
| US9980078B2 (en) * | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
| US10516914B2 (en) * | 2016-10-19 | 2019-12-24 | Centurylink Intellectual Property Llc | Method and system for implementing automatic audio optimization for streaming services |
| EP3470976A1 (en) | 2017-10-12 | 2019-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience |
| US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
| US10535355B2 (en) | 2016-11-18 | 2020-01-14 | Microsoft Technology Licensing, Llc | Frame coding for spatial audio data |
| EP4322551A3 (en) | 2016-11-25 | 2024-04-17 | Sony Group Corporation | Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program |
| JP6993774B2 (ja) * | 2016-12-07 | 2022-01-14 | シャープ株式会社 | 音声出力制御装置 |
| CN110326310B (zh) | 2017-01-13 | 2020-12-29 | 杜比实验室特许公司 | 串扰消除的动态均衡 |
| CN110383856B (zh) * | 2017-01-27 | 2021-12-10 | 奥罗技术公司 | 用于平移音频对象的处理方法和系统 |
| DE102017102234A1 (de) | 2017-02-06 | 2018-08-09 | Visteon Global Technologies, Inc. | Verfahren und Vorrichtung zur räumlichen Darstellung virtueller Geräuschquellen in einem Fahrzeug |
| WO2018150774A1 (ja) * | 2017-02-17 | 2018-08-23 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
| JP6868093B2 (ja) * | 2017-03-24 | 2021-05-12 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
| RU2763391C2 (ru) * | 2017-04-13 | 2021-12-28 | Сони Корпорейшн | Устройство, способ и постоянный считываемый компьютером носитель для обработки сигналов |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| US11595774B2 (en) | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
| US9843883B1 (en) * | 2017-05-12 | 2017-12-12 | QoSound, Inc. | Source independent sound field rotation for virtual and augmented reality applications |
| US20180357038A1 (en) * | 2017-06-09 | 2018-12-13 | Qualcomm Incorporated | Audio metadata modification at rendering device |
| WO2018231185A1 (ru) * | 2017-06-16 | 2018-12-20 | Василий Васильевич ДУМА | Способ синхронизации звуковых сигналов |
| US10028069B1 (en) | 2017-06-22 | 2018-07-17 | Sonos, Inc. | Immersive audio in a media playback system |
| US10516962B2 (en) | 2017-07-06 | 2019-12-24 | Huddly As | Multi-channel binaural recording and dynamic playback |
| CN110998724B (zh) | 2017-08-01 | 2021-05-21 | 杜比实验室特许公司 | 基于位置元数据的音频对象分类 |
| WO2019067620A1 (en) | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | SPEECH REDUCTION AUDIO MIXING |
| CN111108760B (zh) | 2017-09-29 | 2021-11-26 | 苹果公司 | 用于空间音频的文件格式 |
| US11595056B2 (en) | 2017-10-05 | 2023-02-28 | Sony Corporation | Encoding device and method, decoding device and method, and program |
| FR3072840B1 (fr) * | 2017-10-23 | 2021-06-04 | L Acoustics | Arrangement spatial de dispositifs de diffusion sonore |
| WO2019094027A1 (en) | 2017-11-10 | 2019-05-16 | Hewlett-Packard Development Company, L.P. | Conferencing environment monitoring |
| US10440497B2 (en) * | 2017-11-17 | 2019-10-08 | Intel Corporation | Multi-modal dereverbaration in far-field audio systems |
| US10511909B2 (en) * | 2017-11-29 | 2019-12-17 | Boomcloud 360, Inc. | Crosstalk cancellation for opposite-facing transaural loudspeaker systems |
| WO2019116890A1 (ja) * | 2017-12-12 | 2019-06-20 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| TWI702594B (zh) | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
| SG11202007182UA (en) * | 2018-02-01 | 2020-08-28 | Fraunhofer Ges Forschung | Audio scene encoder, audio scene decoder and related methods using hybrid encoder/decoder spatial analysis |
| KR102482960B1 (ko) | 2018-02-07 | 2022-12-29 | 삼성전자주식회사 | 듀얼 스피커를 이용한 오디오 데이터 재생 방법 및 그의 전자 장치 |
| DE102018206025A1 (de) * | 2018-02-19 | 2019-08-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering |
| US10514882B2 (en) | 2018-02-21 | 2019-12-24 | Microsoft Technology Licensing, Llc | Digital audio processing system for adjoining digital audio stems based on computed audio intensity/characteristics |
| WO2019199359A1 (en) | 2018-04-08 | 2019-10-17 | Dts, Inc. | Ambisonic depth extraction |
| KR20240033290A (ko) * | 2018-04-11 | 2024-03-12 | 돌비 인터네셔널 에이비 | 오디오 렌더링을 위한 사전 렌더링된 신호를 위한 방법, 장치 및 시스템 |
| EP3782152A2 (en) * | 2018-04-16 | 2021-02-24 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for encoding and decoding of directional sound sources |
| US10672405B2 (en) * | 2018-05-07 | 2020-06-02 | Google Llc | Objective quality metrics for ambisonic spatial audio |
| US10630870B2 (en) * | 2018-06-20 | 2020-04-21 | Gdc Technology (Shenzhen) Limited | System and method for augmented reality movie screenings |
| EP3588988B1 (en) * | 2018-06-26 | 2021-02-17 | Nokia Technologies Oy | Selective presentation of ambient audio content for spatial audio presentation |
| US12020718B2 (en) | 2018-07-02 | 2024-06-25 | Dolby International Ab | Methods and devices for generating or decoding a bitstream comprising immersive audio signals |
| US20200007988A1 (en) * | 2018-07-02 | 2020-01-02 | Microchip Technology Incorporated | Wireless signal source based audio output and related systems, methods and devices |
| US10445056B1 (en) * | 2018-07-03 | 2019-10-15 | Disney Enterprises, Inc. | System for deliverables versioning in audio mastering |
| CN110675889A (zh) | 2018-07-03 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、客户端和电子设备 |
| US10455078B1 (en) * | 2018-07-11 | 2019-10-22 | International Business Machines Corporation | Enhancing privacy in mobile phone calls by caller controlled audio delivering modes |
| GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
| US11159327B2 (en) * | 2018-08-06 | 2021-10-26 | Tyson York Winarski | Blockchain augmentation of a material exchange format MXF file |
| US11929085B2 (en) | 2018-08-30 | 2024-03-12 | Dolby International Ab | Method and apparatus for controlling enhancement of low-bitrate coded audio |
| US10404467B1 (en) * | 2018-09-09 | 2019-09-03 | Tyson York Winarski | Blockchain digest augmention of media files including group-of-pictures video streams for MXF files |
| US20200081681A1 (en) * | 2018-09-10 | 2020-03-12 | Spotify Ab | Mulitple master music playback |
| WO2020066681A1 (ja) * | 2018-09-28 | 2020-04-02 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US10932344B2 (en) | 2018-10-09 | 2021-02-23 | Rovi Guides, Inc. | Systems and methods for emulating an environment created by the outputs of a plurality of devices |
| JP7413267B2 (ja) | 2018-10-16 | 2024-01-15 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 低音マネジメントのための方法及び装置 |
| EP4498706A2 (en) | 2018-10-24 | 2025-01-29 | Otto Engineering Inc. | Directional awareness audio communications system |
| EP4344194A3 (en) * | 2018-11-13 | 2024-06-12 | Dolby Laboratories Licensing Corporation | Audio processing in immersive audio services |
| JP7553355B2 (ja) | 2018-11-13 | 2024-09-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ信号及び関連するメタデータによる空間オーディオの表現 |
| CN109451417B (zh) * | 2018-11-29 | 2024-03-15 | 广州艾美网络科技有限公司 | 多声道音频处理方法及系统 |
| EP3900373A4 (en) * | 2018-12-18 | 2022-08-10 | Intel Corporation | DISPLAY-BASED AUDIO DIVISION IN MULTIMEDIA ENVIRONMENTS |
| KR20210106546A (ko) | 2018-12-24 | 2021-08-30 | 디티에스, 인코포레이티드 | 딥 러닝 이미지 분석을 사용한 룸 음향 시뮬레이션 |
| US11503422B2 (en) * | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
| CN111508507B (zh) * | 2019-01-31 | 2023-03-03 | 华为技术有限公司 | 一种音频信号处理方法及装置 |
| KR102758939B1 (ko) * | 2019-03-08 | 2025-01-23 | 엘지전자 주식회사 | 음향 객체 추종을 위한 방법 및 이를 위한 장치 |
| CN113853803A (zh) * | 2019-04-02 | 2021-12-28 | 辛格股份有限公司 | 用于空间音频渲染的系统和方法 |
| JP7419666B2 (ja) | 2019-04-03 | 2024-01-23 | ヤマハ株式会社 | 音信号処理装置および音信号処理方法 |
| US11803351B2 (en) * | 2019-04-03 | 2023-10-31 | Dolby Laboratories Licensing Corporation | Scalable voice scene media server |
| US11087738B2 (en) * | 2019-06-11 | 2021-08-10 | Lucasfilm Entertainment Company Ltd. LLC | System and method for music and effects sound mix creation in audio soundtrack versioning |
| CN112233647A (zh) * | 2019-06-26 | 2021-01-15 | 索尼公司 | 信息处理设备和方法以及计算机可读存储介质 |
| US11841899B2 (en) | 2019-06-28 | 2023-12-12 | Apple Inc. | Spatial audio file format for storing capture metadata |
| CN112153530B (zh) * | 2019-06-28 | 2022-05-27 | 苹果公司 | 用于存储捕获元数据的空间音频文件格式 |
| WO2021001358A1 (en) | 2019-07-02 | 2021-01-07 | Dolby International Ab | Methods, apparatus and systems for representation, encoding, and decoding of discrete directivity data |
| US10972852B2 (en) * | 2019-07-03 | 2021-04-06 | Qualcomm Incorporated | Adapting audio streams for rendering |
| US11580213B2 (en) | 2019-07-03 | 2023-02-14 | Qualcomm Incorporated | Password-based authorization for audio rendering |
| JP7332781B2 (ja) | 2019-07-09 | 2023-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオコンテンツのプレゼンテーションに依存しないマスタリング |
| KR102725738B1 (ko) * | 2019-07-19 | 2024-11-05 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
| US12165657B2 (en) | 2019-08-30 | 2024-12-10 | Dolby Laboratories Licensing Corporation | Channel identification of multi-channel audio signals |
| FR3100680B1 (fr) * | 2019-09-09 | 2022-11-04 | L Acoustics | Dispositif de diffusion sonore a directivite large bande controlee |
| JP2021048500A (ja) * | 2019-09-19 | 2021-03-25 | ソニー株式会社 | 信号処理装置、信号処理方法および信号処理システム |
| TWI735968B (zh) * | 2019-10-09 | 2021-08-11 | 名世電子企業股份有限公司 | 音場型自然環境音效系統 |
| JP7373724B2 (ja) * | 2019-10-28 | 2023-11-06 | パナソニックＩｐマネジメント株式会社 | 環境制御システム |
| TW202123220A (zh) | 2019-10-30 | 2021-06-16 | 美商杜拜研究特許公司 | 使用方向性元資料之多通道音頻編碼及解碼 |
| US11096006B1 (en) * | 2019-11-04 | 2021-08-17 | Facebook Technologies, Llc | Dynamic speech directivity reproduction |
| CN110782865B (zh) * | 2019-11-06 | 2023-08-18 | 上海音乐学院 | 一种三维声音创作交互式系统 |
| US11533560B2 (en) * | 2019-11-15 | 2022-12-20 | Boomcloud 360 Inc. | Dynamic rendering device metadata-informed audio enhancement system |
| WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
| WO2021099363A2 (en) * | 2019-11-20 | 2021-05-27 | Dolby International Ab | Methods and devices for personalizing audio content |
| RU2721180C1 (ru) * | 2019-12-02 | 2020-05-18 | Самсунг Электроникс Ко., Лтд. | Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его |
| US12094476B2 (en) | 2019-12-02 | 2024-09-17 | Dolby Laboratories Licensing Corporation | Systems, methods and apparatus for conversion from channel-based audio to object-based audio |
| KR102712458B1 (ko) * | 2019-12-09 | 2024-10-04 | 삼성전자주식회사 | 오디오 출력 장치 및 오디오 출력 장치의 제어 방법 |
| KR20220108076A (ko) * | 2019-12-09 | 2022-08-02 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 잡음 메트릭 및 스피치 명료도 메트릭에 기초한 오디오 및 비-오디오 특징의 조정 |
| CN115299079A (zh) | 2020-03-19 | 2022-11-04 | 松下电器（美国）知识产权公司 | 音响再现方法、计算机程序及音响再现装置 |
| JP7443870B2 (ja) * | 2020-03-24 | 2024-03-06 | ヤマハ株式会社 | 音信号出力方法および音信号出力装置 |
| US11900412B2 (en) * | 2020-03-25 | 2024-02-13 | Applied Minds, Llc | Audience participation application, system, and method of use |
| CN111586553B (zh) * | 2020-05-27 | 2022-06-03 | 京东方科技集团股份有限公司 | 显示装置及其工作方法 |
| US11275629B2 (en) * | 2020-06-25 | 2022-03-15 | Microsoft Technology Licensing, Llc | Mixed reality complementary systems |
| WO2022010454A1 (en) * | 2020-07-06 | 2022-01-13 | Hewlett-Packard Development Company, L.P. | Binaural down-mixing of audio signals |
| JP2022017880A (ja) * | 2020-07-14 | 2022-01-26 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
| MX2023001152A (es) * | 2020-07-30 | 2023-04-05 | Fraunhofer Ges Forschung | Aparato, metodo y programa de computadora para codificar una se?al de audio o para decodificar una escena de audio codificada. |
| CN112398455B (zh) * | 2020-10-21 | 2022-09-27 | 头领科技（昆山）有限公司 | 一种自适应功率放大器芯片及其自适应控制方法 |
| CN112312298A (zh) | 2020-11-19 | 2021-02-02 | 北京小米松果电子有限公司 | 音频播放方法及装置、电子设备和存储介质 |
| JP7536735B2 (ja) * | 2020-11-24 | 2024-08-20 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
| KR102508815B1 (ko) | 2020-11-24 | 2023-03-14 | 네이버 주식회사 | 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법 |
| JP7536733B2 (ja) * | 2020-11-24 | 2024-08-20 | ネイバー コーポレーション | オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法 |
| US11521623B2 (en) | 2021-01-11 | 2022-12-06 | Bank Of America Corporation | System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording |
| CN114915874B (zh) * | 2021-02-10 | 2023-07-25 | 北京全景声信息科技有限公司 | 音频处理方法、装置、设备及介质 |
| RU2759666C1 (ru) * | 2021-02-19 | 2021-11-16 | Общество с ограниченной ответственностью «ЯЛОС СТРИМ» | Система воспроизведения аудио-видеоданных |
| US12192738B2 (en) | 2021-04-23 | 2025-01-07 | Samsung Electronics Co., Ltd. | Electronic apparatus for audio signal processing and operating method thereof |
| KR20220146165A (ko) * | 2021-04-23 | 2022-11-01 | 삼성전자주식회사 | 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법 |
| US11581862B2 (en) | 2021-04-30 | 2023-02-14 | That Corporation | Passive sub-audible room path learning with noise modeling |
| WO2022245076A1 (ko) * | 2021-05-21 | 2022-11-24 | 삼성전자 주식회사 | 다채널 오디오 신호 처리 장치 및 방법 |
| WO2022250772A1 (en) * | 2021-05-28 | 2022-12-01 | Dolby Laboratories Licensing Corporation | Dynamic range adjustment of spatial audio objects |
| CN113938811A (zh) * | 2021-09-01 | 2022-01-14 | 赛因芯微(北京)电子科技有限公司 | 基于音床音频通道元数据和生成方法、设备及存储介质 |
| CN113905321A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于对象音频通道元数据和生成方法、设备及存储介质 |
| CN113905322A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于双耳音频通道元数据和生成方法、设备及存储介质 |
| CN113923584A (zh) * | 2021-09-01 | 2022-01-11 | 赛因芯微(北京)电子科技有限公司 | 基于矩阵音频通道元数据和生成方法、设备及存储介质 |
| KR20240049682A (ko) | 2021-09-03 | 2024-04-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 공간 메타데이터 출력을 이용하는 음악 신디사이저 |
| CN113963724A (zh) * | 2021-09-18 | 2022-01-21 | 赛因芯微(北京)电子科技有限公司 | 音频内容元数据和产生方法、电子设备及存储介质 |
| CN114143695A (zh) * | 2021-10-15 | 2022-03-04 | 赛因芯微(北京)电子科技有限公司 | 一种音频流元数据和生成方法、电子设备及存储介质 |
| CN114363791A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频元数据生成方法、装置、设备及存储介质 |
| CN114363792A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 传输音轨格式串行元数据生成方法、装置、设备及介质 |
| CN114363790A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频块格式元数据生成方法、装置、设备及介质 |
| US11902771B2 (en) * | 2021-12-27 | 2024-02-13 | Spatialx Inc. | Audio space simulation in a localized audio environment |
| CN114510212B (zh) * | 2021-12-31 | 2023-08-08 | 赛因芯微(北京)电子科技有限公司 | 一种基于串行数字音频接口的数据传输方法、装置及设备 |
| CN114509043B (zh) * | 2022-02-15 | 2024-04-30 | 深圳须弥云图空间科技有限公司 | 空间对象编码方法、装置、设备及介质 |
| CN117581566A (zh) * | 2022-05-05 | 2024-02-20 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
| KR102504081B1 (ko) * | 2022-08-18 | 2023-02-28 | 주식회사 킨트 | 사운드 파일 마스터링 시스템 |
| WO2024076828A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby Laboratories Licensing Corporation | Method, apparatus, and medium for encoding and decoding of audio bitstreams with parametric flexible rendering configuration data |
| WO2024074282A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for encoding and decoding of audio bitstreams |
| WO2024074284A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for efficient encoding and decoding of audio bitstreams |
| WO2024074283A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for decoding of audio signals with skippable blocks |
| KR102608935B1 (ko) * | 2023-04-06 | 2023-12-04 | 뉴튠(주) | 사용자 정보에 기초한 실시간 오디오 믹싱 서비스 제공 방법 및 장치 |
| CN116594586B (zh) * | 2023-07-18 | 2023-09-26 | 苏州清听声学科技有限公司 | 一种车载自适应调节的音频播放系统及方法 |
| CN117809697B (zh) * | 2024-01-23 | 2024-12-31 | 深圳蔓延科技有限公司 | 依据音频生成可视动画的方法以及电子装置 |
| CN119136131A (zh) * | 2024-11-08 | 2024-12-13 | 广州飞达音响有限公司 | 一种基于音响的质量测试系统及方法 |
Family Cites Families (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5155510A (en) | 1990-11-29 | 1992-10-13 | Digital Theater Systems Corporation | Digital sound system for motion pictures with analog sound track emulation |
| RU1332U1 (ru) | 1993-11-25 | 1995-12-16 | Магаданское государственное геологическое предприятие "Новая техника" | Гидромонитор |
| US5602923A (en) | 1994-03-07 | 1997-02-11 | Sony Corporation | Theater sound system with upper surround channels |
| JPH0951600A (ja) * | 1995-08-03 | 1997-02-18 | Fujitsu Ten Ltd | 効果音再生システム |
| US5642423A (en) | 1995-11-22 | 1997-06-24 | Sony Corporation | Digital surround sound processor |
| US5970152A (en) * | 1996-04-30 | 1999-10-19 | Srs Labs, Inc. | Audio enhancement system for use in a surround sound environment |
| US6229899B1 (en) | 1996-07-17 | 2001-05-08 | American Technology Corporation | Method and device for developing a virtual speaker distant from the sound source |
| US6164018A (en) | 1997-12-08 | 2000-12-26 | Shopro, Inc. | Cinematic theater and theater multiplex |
| US6624873B1 (en) | 1998-05-05 | 2003-09-23 | Dolby Laboratories Licensing Corporation | Matrix-encoded surround-sound channels in a discrete digital sound format |
| US6931370B1 (en) | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
| US6771323B1 (en) | 1999-11-15 | 2004-08-03 | Thx Ltd. | Audio visual display adjustment using captured content characteristics |
| EP1134724B1 (en) * | 2000-03-17 | 2008-07-23 | Sony France S.A. | Real time audio spatialisation system with high level control |
| CA2406926A1 (en) * | 2000-04-19 | 2001-11-01 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions |
| US7212872B1 (en) | 2000-05-10 | 2007-05-01 | Dts, Inc. | Discrete multichannel audio with a backward compatible mix |
| US6970822B2 (en) | 2001-03-07 | 2005-11-29 | Microsoft Corporation | Accessing audio processing components in an audio generation system |
| KR20030015806A (ko) | 2001-08-17 | 2003-02-25 | 최해용 | 극장용 영상,음향 광학계(劇場用 映像,音響 光學係) |
| WO2003085643A1 (en) * | 2002-04-10 | 2003-10-16 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
| US20030223603A1 (en) | 2002-05-28 | 2003-12-04 | Beckman Kenneth Oren | Sound space replication |
| JP2003348700A (ja) * | 2002-05-28 | 2003-12-05 | Victor Co Of Japan Ltd | 臨場感信号の生成方法、及び臨場感信号生成装置 |
| DE10254404B4 (de) * | 2002-11-21 | 2004-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals |
| GB0301093D0 (en) * | 2003-01-17 | 2003-02-19 | 1 Ltd | Set-up method for array-type sound systems |
| GB0304126D0 (en) * | 2003-02-24 | 2003-03-26 | 1 Ltd | Sound beam loudspeaker system |
| FR2853802B1 (fr) | 2003-04-11 | 2005-06-24 | Pierre Denis Rene Vincent | Installation pour la projection d'oeuvres cinematographiques ou numeriques sonores |
| WO2005004114A1 (en) | 2003-07-07 | 2005-01-13 | Koninklijke Philips Electronics N.V. | System and method for audio signal processing |
| US6972828B2 (en) | 2003-12-18 | 2005-12-06 | Eastman Kodak Company | Method and system for preserving the creative intent within a motion picture production chain |
| SE0400997D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding of multi-channel audio |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| US7106411B2 (en) | 2004-05-05 | 2006-09-12 | Imax Corporation | Conversion of cinema theatre to a super cinema theatre |
| EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| CA2598575A1 (en) * | 2005-02-22 | 2006-08-31 | Verax Technologies Inc. | System and method for formatting multimode sound content and metadata |
| DE102005008342A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Speichern von Audiodateien |
| DE102005008366A1 (de) | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
| DE102005008343A1 (de) * | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System |
| JP2006304165A (ja) * | 2005-04-25 | 2006-11-02 | Yamaha Corp | スピーカアレイシステム |
| DE102005033238A1 (de) * | 2005-07-15 | 2007-01-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP |
| KR100897971B1 (ko) * | 2005-07-29 | 2009-05-18 | 하르만 인터내셔날 인더스트리즈, 인코포레이티드 | 오디오 튜닝 시스템 |
| KR100733965B1 (ko) | 2005-11-01 | 2007-06-29 | 한국전자통신연구원 | 객체기반 오디오 전송/수신 시스템 및 그 방법 |
| KR100991795B1 (ko) * | 2006-02-07 | 2010-11-04 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
| EP1843635B1 (en) * | 2006-04-05 | 2010-12-08 | Harman Becker Automotive Systems GmbH | Method for automatically equalizing a sound system |
| DE102006022346B4 (de) * | 2006-05-12 | 2008-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Informationssignalcodierung |
| US8150065B2 (en) | 2006-05-25 | 2012-04-03 | Audience, Inc. | System and method for processing an audio signal |
| EP1879293B1 (en) | 2006-07-10 | 2019-02-20 | Harman Becker Automotive Systems GmbH | Partitioned fast convolution in the time and frequency domain |
| AU2007300812B2 (en) | 2006-09-29 | 2010-06-10 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| EP2437257B1 (en) | 2006-10-16 | 2018-01-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Saoc to mpeg surround transcoding |
| CN101001485A (zh) * | 2006-10-23 | 2007-07-18 | 中国传媒大学 | 一种有限声源多通道声场系统及声场模拟方法 |
| EP2122612B1 (en) | 2006-12-07 | 2018-08-15 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| US7788395B2 (en) | 2007-02-14 | 2010-08-31 | Microsoft Corporation | Adaptive media playback |
| KR20080082924A (ko) | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 장치 |
| EP2143101B1 (en) | 2007-03-30 | 2020-03-11 | Electronics and Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
| JP5291096B2 (ja) | 2007-06-08 | 2013-09-18 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
| ES2377719T3 (es) | 2007-07-13 | 2012-03-30 | Dolby Laboratories Licensing Corporation | Procesamiento de audio utilizando un análisis de escenas auditivas y oblicuidad espectral. |
| US8194882B2 (en) | 2008-02-29 | 2012-06-05 | Audience, Inc. | System and method for providing single microphone noise suppression fallback |
| CN101978424B (zh) * | 2008-03-20 | 2012-09-05 | 弗劳恩霍夫应用研究促进协会 | 扫描环境的设备、声学显示的设备和方法 |
| JP5174527B2 (ja) * | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
| EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
| US7996422B2 (en) * | 2008-07-22 | 2011-08-09 | At&T Intellectual Property L.L.P. | System and method for adaptive media playback based on destination |
| US7796190B2 (en) | 2008-08-15 | 2010-09-14 | At&T Labs, Inc. | System and method for adaptive content rendition |
| US8793749B2 (en) | 2008-08-25 | 2014-07-29 | Broadcom Corporation | Source frame adaptation and matching optimally to suit a recipient video device |
| US8798776B2 (en) | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
| JP5629429B2 (ja) | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | オーディオ再生装置及びオーディオ再生方法 |
| EP2194527A3 (en) * | 2008-12-02 | 2013-09-25 | Electronics and Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
| US8786682B2 (en) * | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
| US8984501B2 (en) | 2009-06-19 | 2015-03-17 | Dolby Laboratories Licensing Corporation | Hierarchy and processing order control of downloadable and upgradeable media processing applications |
| US8136142B2 (en) | 2009-07-02 | 2012-03-13 | Ericsson Television, Inc. | Centralized content management system for managing distribution of packages to video service providers |
| US8396576B2 (en) * | 2009-08-14 | 2013-03-12 | Dts Llc | System for adaptively streaming audio objects |
| US9037674B2 (en) * | 2009-09-22 | 2015-05-19 | Thwapr, Inc. | Hybrid transcoding for mobile media sharing |
| US20110088076A1 (en) * | 2009-10-08 | 2011-04-14 | Futurewei Technologies, Inc. | System and Method for Media Adaptation |
| WO2011045813A2 (en) | 2009-10-15 | 2011-04-21 | Tony Joy | A method and product to transparently deliver audio through fusion of fixed loudspeakers and headphones to deliver the sweet spot experience |
| WO2011061174A1 (en) * | 2009-11-20 | 2011-05-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter |
| KR20120105497A (ko) | 2009-12-02 | 2012-09-25 | 톰슨 라이센싱 | 가정 극장을 위한 최적화 컨텐트 보정 |
| UA124570C2 (uk) * | 2011-07-01 | 2021-10-13 | Долбі Лабораторіс Лайсензін Корпорейшн | Система та спосіб для генерування, кодування та представлення даних адаптивного звукового сигналу |
| US20130163794A1 (en) * | 2011-12-22 | 2013-06-27 | Motorola Mobility, Inc. | Dynamic control of audio on a mobile device with respect to orientation of the mobile device |
| RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
| EP2830336A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
-
2012
- 2012-06-27 UA UAA201702759A patent/UA124570C2/uk unknown
- 2012-06-27 DK DK12743261.5T patent/DK2727383T3/da active
- 2012-06-27 KR KR1020237041109A patent/KR20230170110A/ko not_active Application Discontinuation
- 2012-06-27 JP JP2014518958A patent/JP5912179B2/ja active Active
- 2012-06-27 TW TW110107115A patent/TWI792203B/zh active
- 2012-06-27 EP EP21169907.9A patent/EP3893521B1/en active Active
- 2012-06-27 US US14/130,386 patent/US9179236B2/en active Active
- 2012-06-27 TW TW107142737A patent/TWI722342B/zh active
- 2012-06-27 CN CN201610142870.1A patent/CN105792086B/zh active Active
- 2012-06-27 WO PCT/US2012/044388 patent/WO2013006338A2/en active Application Filing
- 2012-06-27 KR KR1020207034194A patent/KR102406776B1/ko active IP Right Grant
- 2012-06-27 AU AU2012279357A patent/AU2012279357B2/en active Active
- 2012-06-27 HU HUE12743261A patent/HUE054452T2/hu unknown
- 2012-06-27 CN CN201280032058.3A patent/CN103650539B/zh active Active
- 2012-06-27 RU RU2013158054A patent/RU2617553C2/ru active
- 2012-06-27 RU RU2017112527A patent/RU2731025C2/ru active
- 2012-06-27 EP EP12743261.5A patent/EP2727383B1/en active Active
- 2012-06-27 CA CA2837893A patent/CA2837893C/en active Active
- 2012-06-27 KR KR1020147037035A patent/KR101845226B1/ko active IP Right Grant
- 2012-06-27 KR KR1020137034894A patent/KR101685447B1/ko active IP Right Grant
- 2012-06-27 TW TW112102919A patent/TWI853425B/zh active
- 2012-06-27 ES ES21169907T patent/ES2984840T3/es active Active
- 2012-06-27 IL IL313393A patent/IL313393A/en unknown
- 2012-06-27 CA CA3157717A patent/CA3157717A1/en active Pending
- 2012-06-27 IL IL302167A patent/IL302167B2/en unknown
- 2012-06-27 KR KR1020227018617A patent/KR102608968B1/ko active IP Right Grant
- 2012-06-27 KR KR1020187008804A patent/KR101946795B1/ko active IP Right Grant
- 2012-06-27 PL PL12743261T patent/PL2727383T3/pl unknown
- 2012-06-27 ES ES12743261T patent/ES2871224T3/es active Active
- 2012-06-27 KR KR1020207014372A patent/KR102185941B1/ko active IP Right Grant
- 2012-06-27 TW TW105113526A patent/TWI603632B/zh active
- 2012-06-27 KR KR1020197020510A patent/KR102115723B1/ko active Application Filing
- 2012-06-27 AR ARP120102308A patent/AR086775A1/es active IP Right Grant
- 2012-06-27 IL IL295733A patent/IL295733B2/en unknown
- 2012-06-27 BR BR112013033386-3A patent/BR112013033386B1/pt active IP Right Grant
- 2012-06-27 TW TW106125585A patent/TWI651005B/zh active
- 2012-06-27 MY MYPI2013004181A patent/MY165933A/en unknown
- 2012-06-27 CA CA2973703A patent/CA2973703C/en active Active
- 2012-06-27 MX MX2013014684A patent/MX2013014684A/es active IP Right Grant
- 2012-06-27 KR KR1020197003234A patent/KR102003191B1/ko active IP Right Grant
- 2012-06-27 TW TW101123003A patent/TWI543642B/zh active
- 2012-06-27 IL IL291043A patent/IL291043B2/en unknown
- 2012-06-27 BR BR122020001361-3A patent/BR122020001361B1/pt active IP Right Grant
- 2012-06-27 SG SG10201604679UA patent/SG10201604679UA/en unknown
- 2012-06-27 EP EP24181312.0A patent/EP4404594A3/en active Pending
-
2013
- 2013-12-19 IL IL230046A patent/IL230046A/en active IP Right Grant
-
2015
- 2015-09-25 US US14/866,350 patent/US9467791B2/en active Active
-
2016
- 2016-03-31 JP JP2016072282A patent/JP6174184B2/ja active Active
- 2016-04-11 AU AU2016202227A patent/AU2016202227B2/en active Active
- 2016-05-10 IL IL245574A patent/IL245574A0/en active IP Right Grant
- 2016-06-28 HK HK16107493.9A patent/HK1219604A1/zh unknown
- 2016-09-12 US US15/263,279 patent/US9622009B2/en active Active
-
2017
- 2017-04-10 US US15/483,806 patent/US9800991B2/en active Active
- 2017-07-05 JP JP2017131759A patent/JP6486995B2/ja active Active
- 2017-08-09 US US15/672,656 patent/US9942688B2/en active Active
-
2018
- 2018-02-26 US US15/905,536 patent/US10057708B2/en active Active
- 2018-05-28 AU AU2018203734A patent/AU2018203734B2/en active Active
- 2018-07-13 US US16/035,262 patent/US10165387B2/en active Active
- 2018-11-30 US US16/207,006 patent/US10327092B2/en active Active
-
2019
- 2019-02-20 JP JP2019028442A patent/JP6523585B1/ja active Active
- 2019-04-01 IL IL265741A patent/IL265741B/en active IP Right Grant
- 2019-04-25 JP JP2019084101A patent/JP6637208B2/ja active Active
- 2019-06-07 AU AU2019204012A patent/AU2019204012B2/en active Active
- 2019-06-17 US US16/443,268 patent/US10477339B2/en active Active
- 2019-11-11 US US16/679,945 patent/US10904692B2/en active Active
- 2019-12-19 JP JP2019229648A patent/JP6759442B2/ja active Active
-
2020
- 2020-08-18 RU RU2020127493A patent/RU2741738C1/ru active
- 2020-08-31 AU AU2020226984A patent/AU2020226984B2/en active Active
- 2020-09-02 JP JP2020147539A patent/JP6821854B2/ja active Active
- 2020-10-01 IL IL277736A patent/IL277736B/en unknown
-
2021
- 2021-01-06 JP JP2021000842A patent/JP6882618B2/ja active Active
- 2021-01-22 US US17/156,459 patent/US11412342B2/en active Active
- 2021-05-06 JP JP2021078508A patent/JP7009664B2/ja active Active
- 2021-07-04 IL IL284585A patent/IL284585B/en unknown
- 2021-10-28 AU AU2021258043A patent/AU2021258043B2/en active Active
-
2022
- 2022-01-12 JP JP2022002776A patent/JP7348320B2/ja active Active
- 2022-08-08 US US17/883,440 patent/US11962997B2/en active Active
-
2023
- 2023-01-31 AU AU2023200502A patent/AU2023200502B2/en active Active
- 2023-09-07 JP JP2023145272A patent/JP2023164976A/ja active Pending
-
2024
- 2024-04-12 US US18/634,825 patent/US20240349010A1/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016148552A3 (ko) * | 2015-03-19 | 2016-11-10 | (주)소닉티어랩 | 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 |
| WO2017126895A1 (ko) * | 2016-01-19 | 2017-07-27 | 지오디오랩 인코포레이티드 | 오디오 신호 처리 장치 및 처리 방법 |
| US10419867B2 (en) | 2016-01-19 | 2019-09-17 | Gaudio Lab, Inc. | Device and method for processing audio signal |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2023200502B2 (en) | System and method for adaptive audio signal generation, coding and rendering | |
| AU2012279357A1 (en) | System and method for adaptive audio signal generation, coding and rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20141230 Application number text: 1020137034894 Filing date: 20131230 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20170623 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170710 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20171228 |
|
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20180328 Application number text: 1020137034894 Filing date: 20131230 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180329 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180330 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210226 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220223 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240226 Start annual number: 7 End annual number: 7 |