[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170109456A - 블록 기반의 오디오 부호화/복호화 장치 및 그 방법 - Google Patents

블록 기반의 오디오 부호화/복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR20170109456A
KR20170109456A KR1020160033627A KR20160033627A KR20170109456A KR 20170109456 A KR20170109456 A KR 20170109456A KR 1020160033627 A KR1020160033627 A KR 1020160033627A KR 20160033627 A KR20160033627 A KR 20160033627A KR 20170109456 A KR20170109456 A KR 20170109456A
Authority
KR
South Korea
Prior art keywords
encoding
block
frames
intra
audio signal
Prior art date
Application number
KR1020160033627A
Other languages
English (en)
Other versions
KR102546098B1 (ko
Inventor
백승권
이태진
성종모
이미숙
장대영
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160033627A priority Critical patent/KR102546098B1/ko
Priority to US16/081,169 priority patent/US10839819B2/en
Priority to PCT/KR2017/002995 priority patent/WO2017164606A2/ko
Publication of KR20170109456A publication Critical patent/KR20170109456A/ko
Application granted granted Critical
Publication of KR102546098B1 publication Critical patent/KR102546098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록 기반의 오디오 부호화/복호화 장치 및 그 방법이 개시된다.
오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및 상기 2D 인트라 블록을 부호화하는 단계를 포함하고, 상기 2D 인트라 블록은, 상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.

Description

블록 기반의 오디오 부호화/복호화 장치 및 그 방법{APPARATUS AND METHOD FOR ENCODING / DECODING AUDIO BASED ON BLOCK}
본 발명은 오디오 신호의 부호화/복호화 장치 및 방법에 관한 것이다.
오디오 신호의 부호화/복호화 기술은 오디오 신호를 압축 전송하기 위한 기술로 지난 수십 년간 많은 기술적 진보를 달성하였다.
1세대 MPEG 오디오 부호화/복호화 기술인 MPEG-1 Layer III (MP3)는 지각적 음질 손실을 최소화하기 위하여 인간의 심리음향 모델에 근거한 양자화기를 설계하고 데이터를 압축하는 방식이다.
2세대 MPEG 오디오 부호화/복호화 기술인 MPEG-2 Advanced Audio Coding (AAC)는 MP3와 호환성을 제공하지 않으며, MDCT기반의 전대역 오디오 주파수 계수에 대해서 심리음향 모델을 적용함으로써, 압축 성능을 향상시킨 방식이다.
3세대 MPEG 오디오 부호화/복호화 기술인MPEG-4 Parametric coding 기술은 파라메트릭 부호화/복호화(parametric coding) 기술을 이용하여 48kbps 이하의 저 비트 레이트에서 압축율을 높인 방식이다. 예를 들어, 파라메트릭 부호화/복호화 기술에는 스테레오 채널을 부호화/복호화하기 위한 PS(Parametric Stereo), 고대역 신호를 부호화/복호화하기 위한 SBR(Spectral Band Replication) 기술이 있다.
4세대 MPEG 오디오 부호화/복호화 기술인 Unified Speech and Audio Coding (USAC)는 저 비트율 음성의 음질을 개선하기 위한 USAC 오디오 코덱 기술이나, CD급의 고음질을 제공하기 위해서는 AAC 128kbps와 유사한 압축 성능을 가지고 있다.
즉, 종래의 오디오 부호화/복호화 기술들은 심리음향 모델을 활용하여 압축 성능을 높였으나, 일차원적 심리음향 모델 기반의 양자화로 인한 성능의 한계에 도달한 것으로 해석될 수 있다.
따라서, 일차원적 심리음향 모델이 아닌 다른 방법을 이용하여 오디오 신호를 부호화/복호화 함으로써, 부호화 효율을 높일 수 있는 방법이 요청되고 있다.
본 발명은 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높이는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 유연해지도록 하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및 상기 2D 인트라 블록을 부호화하는 단계를 포함하고, 상기 2D 인트라 블록은, 상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 주파수 영역으로 변환하는 단계는, 오버랩을 고려하여 상기 서브 프레임들을 그룹화하는 단계; 그룹화한 서브 프레임들에 윈도우를 적용하는 단계; 및 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 그룹화하는 단계는, 상기 입력 프레임 중 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 부호화하는 단계는. 상기 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할하는 단계; 상기 서브 밴드 신호들간의 상관도를 예측하는 단계; 상기 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화하는 단계; 상기 서브 밴드 신호들 중 대역값이 상기 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계; 및 양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 수신한 비트스트림에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계; 상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들을 생성하는 단계; 및 입력 프레임들을 이용하여 오디오 신호를 복호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화하는 단계; 그룹화한 입력 프레임들에 윈도우를 적용하는 단계; 윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환하는 단계 주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 및 상기 2D 인터 블록을 부호화하는 단계를 포함하고, 상기 2D 인터 블록은, 상기 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 부호화하는 단계는. 상기 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할하는 단계; 상기 서브 밴드 신호들간의 상관도를 예측하는 단계; 상기 서브 밴드 신호들 각각을 양자화하는 단계; 및 상기 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 수신한 비트스트림에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성하는 단계; 상기 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환하는 단계; 및 상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들로 구성된 오디오 신호를 복호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 상기 2D 인터 블록을 부호화하는 단계; 부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원하는 단계; 상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성하는 단계; 상기 2D 인트라 블록을 부호화하는 단계; 및 부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인터 블록을 형성하는 단계는, 오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화하는 단계; 그룹화한 제1 입력 프레임들에 윈도우를 적용하는 단계; 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환하는 단계; 및 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인트라 블록을 형성하는 단계는, 상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 및 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원하는 단계; 복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계; 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록에서 잔차 신호를 복원하는 단계; 및 상기 잔차 신호와 상기 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계; 2D 인트라 블록들을 부호화하는 단계; 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원하는 단계; 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성하는 단계; 상기 제2 입력 프레임들과 상기 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계; 상기 2D 인터 블록을 부호화하는 단계; 및 부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인터 블록을 부호화하는 단계는 상기 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정하는 단계; 매크로 블록들 간의 상관도를 예측하는 단계; 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행하는 단계; 상기 매크로 블록들 각각을 양자화하는 단계; 및 상기 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계; 상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성하는 단계; 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록에서 제2 입력 프레임을 생성하는 단계; 및 상기 제2 입력 프레임과 상기 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법의 제2 입력 프레임을 생성하는 단계는, 상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계; 상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 및 상기 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계; 2D 인트라 블록들을 부호화하는 단계; 상기 2D 인트라 블록들과 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계; 2D 인터 블록을 부호화하는 단계; 및 상기 2D 인터 블록과 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계; 상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원하는 단계; 부호화된 2D 인트라 블록과 상기 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원하는 단계; 및 상기 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법의 잔차 신호의 프레임 그룹들을 복원하는 단계는, 상기 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성하는 단계; 상기 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환하는 단계; 및 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다.
또한, 본 발명의 일실시예에 의하면, 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화 장치 및 오디오 복호화 장치를 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 3은 본 발명의 제1 실시예에 따른 오디오 부호화 과정의 일례이다.
도 4는 본 발명의 제1 실시예에 따른 양자화 방법의 일례이다.
도 5는 본 발명의 제1 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 6은 본 발명의 제1 실시예에 따른 오디오 복호화 과정의 일례이다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 제2 실시예에 따른 오디오 부호화 과정의 일례이다.
도 9는 본 발명의 제2 실시예에 따른 양자화 방법의 일례이다.
도 10은 본 발명의 제2 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 제2 실시예에 따른 오디오 복호화 과정의 일례이다.
도 12는 본 발명의 제3 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 13은 본 발명의 제3 실시예에 따른 오디오 부호화 과정의 일례이다.
도 14는 본 발명의 제3 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 15는 본 발명의 제3 실시예에 따른 오디오 복호화 과정의 일례이다.
도 16은 본 발명의 제4 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 17은 본 발명의 제4 실시예에 따른 오디오 부호화 과정의 일례이다.
도 18은 본 발명의 제4 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 19는 본 발명의 제4 실시예에 따른 오디오 복호화 과정의 일례이다.
도 20은 본 발명의 제5 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 21은 본 발명의 제5 실시예에 따른 오디오 부호화 과정의 일례이다.
도 22는 본 발명의 제5 실시예에 따른 양자화 방법의 일례이다.
도 23은 본 발명의 제5 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 24는 본 발명의 제5 실시예에 따른 오디오 복호화 과정의 일례이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 부호화 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 오디오 복호화 방법은 오디오 복호화 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화 장치 및 오디오 복호화 장치를 나타내는 도면이다.
오디오 부호화 장치(100)는 도 1에 도시된 바와 같이 부호화부(111)와 송신부(112)를 포함할 수 있다.
부호화부(111)는 입력 오디오 신호를 2차원 신호로 재구성할 수 있다. 그리고, 부호화부(111)는 2차원 신호로 재구성된 입력 오디오 신호를 부호화하여 비트스트림을 출력할 수 있다.
이때, 부호화부(111)는 입력 오디오 신호를 구성하는 오디오 프레임들 중 하나의 오디오 프레임을 블록화하여 양자화 하는 인트라(intra) 블록 부호화 방식을 기초로 2차원 신호인 인트라 블록을 생성하고, 인트라 블록을 부호화할 수 있다. 인트라 블록 부호화 방식을 기초로 부호화하는 구체적인 동작은 이하 도 2 내지 도 4를 참조로 상세히 설명한다.
또한, 부호화부(111)는 입력 오디오 신호를 구성하는 오디오 프레임들을 블록화하여 양자화 하는 인터(inter) 블록 부호화 방식을 기초로 2차원 신호인 인터 블록을 생성하고, 인터 블록을 부호화할 수 있다. 인터 블록 부호화 방식을 기초로 부호화하는 구체적인 동작은 이하 도 7 내지 도 8을 참조로 상세히 설명한다.
그리고, 부호화부(111)는 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 입력 오디오 신호를 부호화할 수 있다.
일례로, 부호화부(110)는 입력 오디오 신호를 인터 블록 부호화 방식으로 부호화하고, 부호화된 오디오 신호와 복원한 오디오 신호 간의 차분 신호를 인트라 블록 부호화 방식으로 부호화할 수 있다. 인터 블록 부호화 방식을 적용한 후 인트라 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 12 내지 도 13을 참조로 상세히 설명한다.
다른 일례로, 부호화부(110)는 입력 오디오 신호를 인트라 블록 부호화 방식으로 부호화하고, 부호화된 오디오 신호를 복원한 복원 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화할 수 있다. 인트라 블록 부호화 방식을 적용한 후 인터 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 16 내지 도 17을 참조로 상세히 설명한다.
또 다른 일례로, 부호화부(110)는 입력 오디오 신호를 인트라 블록 부호화 방식으로 부호화하고, 부호화 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화할 수 있다. 인트라 블록 부호화 방식을 적용한 후 부호화 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 20 내지 도 22를 참조로 상세히 설명한다.
송신부(112)는 부호화부(111)에서 출력된 비트스트림을 오디오 복호화 장치(120)로 전송할 수 있다.
오디오 복호화 장치(120)는 오디오 부호화 장치(110)로부터 수신한 비트스트림에서 오디오 신호를 복호화하여 출력할 수 있다.
수신부(121)는 송신부(112)로부터 비트스트림을 수신하여 복호화부(122)로 전달할 수 있다. 이때, 수신부(121)가 수신하는 비트스트림은 인터 블록 비트스트림, 또는 인트라 블록 비트스트림, 또는 인트라 블록 비트스트림과 인터 블록 비트스트림이 믹싱된 비트스트림일 수 있다.
복호화부(122)는 비트스트림에서 입력 오디오 신호에 대응하는 출력 오디오 신호를 복호화할 수 있다.
이때, 복호화부(122)는 부호화부(111)가 인트라 블록 부호화 방식을 기초로 부호화한 경우, 오버랩을 이용하여 원본 인트라 프레임을 합성하고, 원본 인트라 프레임에서 출력 오디오 신호를 복호화할 수 있다. 인트라 블록 부호화 방식을 기초로 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 5 내지 도 6을 참조로 상세히 설명한다.
또한, 복호화부(122)는 부호화부(111)가 인터 블록 부호화 방식을 기초로 부호화한 경우, 인터 블록을 이용하여 입력 프레임들을 복원하고, 입력 프레임들을 오버랩하여 출력 오디오 신호를 복호화할 수 있다. 인터 블록 부호화 방식을 기초로 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 10 내지 도 11을 참조로 상세히 설명한다.
그리고, 복호화부(122)는 부호화부(111)가 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 입력 오디오 신호를 부호화한 경우, 인터 블록 비트스트림과 인트라 블록 비트스트림을 각각 복호화한 후 통합하여 출력 오디오 신호를 복호화할 수 있다. 부호화부(111)가 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 14, 도 15, 도 18, 도 19, 도 23, 도 24를 참조로 상세히 설명한다.
오디오 부호화 장치(110)는 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다. 또한, 오디오 부호화 장치(110)는 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(210)에서 부호화부(111)는 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할할 수 있다.
단계(220)에서 부호화부(111)는 단계(210)에서 분할된 서브 프레임들을 주파수 영역으로 변환할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 서브 프레임들을 그룹화할 수 있다. 그리고, 부호화부(111)는 그룹화한 서브 프레임들에 윈도우를 적용할 수 있다. 다음으로, 부호화부(111)는 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환할 수 있다.
이때, 부호화부(111)는 현재 처리 중인 입력 프레임인 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화할 수 있다.
단계(230)에서 부호화부(111)는 단계(220)에서 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성할 수 있다.
이때, 2D 인트라 블록은 입력 프레임을 주파수 영역에서 2D로 표현한 블록일 수 있다. 예를 들어, 2D 인트라 블록은 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
단계(240)에서 부호화부(111)는 단계(230)에서 형성된 2D 인트라 블록을 부호화할 수 있다. 이때, 부호화부(111)는 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할할 수 있다. 그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다.
다음으로, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화할 수 있다. 또한, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다.
그리고, 부호화부(111)는 양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 오디오 부호화 과정의 일례이다.
도 3에서 / 해칭으로 표시된 신호는 시간 영역의 오디오 신호이고, \ 해칭으로 표시된 신호는 주파수 영역의 오디오 신호일 수 있다.
입력 오디오 신호(300)는 도 3에 도시된 바와 같이 복수의 입력 프레임(301)들을 포함할 수 있다. 이때, 입력 프레임은 통상적인 1D 오디오 프레임일 수 있다. 예를 들어, 입력 프레임은 인트라 프레임(Intra-frame)일 수 있다.
부호화부(111)는 도 3에 도시된 바와 같이 스플리터(Splitter)(310)를 사용하여 입력 프레임(310)를 복수의 서브 프레임(302)들로 분할할 수 있다.
다음으로, 부호화부(111)는 오버랩을 고려하여 서브 프레임(302)들을 그룹화할 수 있다. 예를 들어, 부호화부(111)는 서브 프레임(302)들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 서브 프레임(302)들을 2개씩 그룹화할 수 있다. 구체적으로, 부호화부(111)는 도 3에 도시된 바와 같이 입력 프레임 중 현재 프레임의 첫 번째 서브 프레임 1과 두 번째 서브 프레임 2를 그룹화할 수 있다. 다음으로, 부호화부(111)는 입력 프레임 중 현재 프레임의 두 번째 서브 프레임 2와 세 번째 서브 프레임 3을 그룹화할 수 있다. 즉, 부호화부(111)는 그룹에 포함된 서브 프레임들 중 일부가 다른 그룹에도 중복으로 포함되도록 서브 프레임들을 그룹화할 수 있다.
또한, 부호화부(111)는 입력 프레임의 현재 프레임과 다음 프레임 간의 연결을 위하여 현재 프레임의 마지막 서브 프레임인 b를 다음 프레임의 첫 번째 프레임인 b+1과 그룹화할 수 있다.
그 다음으로, 부호화부(111)는 그룹화한 서브 프레임들에 윈도우를 적용할 수 있다. 예를 들어, 부호화부(111)는 그룹화한 서브 프레임들에 신(sine) 윈도우, 또는 카이저 베셀(Kaiser Bessel) 윈도우를 적용할 수 있다.
다음으로, 부호화부(111)는 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 서브 프레임들에 적용함으로써, 서브 프레임들을 주파수 영역으로 변환할 수 있다.
그 다음으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임(320)들을 적분기(integrator)(320)에 입력하여 2D 인트라(intra) 블록(303)을 형성할 수 있다.
예를 들어, 주파수 영역으로 변환된 서브 프레임(320)의 주파수 계수의 개수가 N이고, 시간축 분해능이 W이며, 주파수 분해능이 H인 경우, 2D 인트라 블록(303)은 N = W x H로 표시될 수 있다. 이때, W는 2D 인트라 블록(303)의 폭(width)이고, H는 2D 인트라 블록(303)의 높이(height)일 수 있다.
다음으로 부호화부(111)는 서브 프레임들을 각각 양자화하지 않고, 하나의 2D 인트라 블록(303)을 양자화함으로써, 서브 프레임들을 독립적으로 양자화하는 방식 보다 부호화 효율을 높일 수 있다.
이때, 부호화부(111)는 2D 인트라 블록(303)으로부터 서브 프레임(302) 간의 상관도를 예측함으로써, 2D 인트라 블록(303)의 정보량을 최소화하여 양자화를 수행할 수 있다. 2D 인트라 블록(303)의 양자화 방법은 이하 도 4를 참조하여 상세히 설명한다.
마지막으로 부호화부(111)는 인코더(330)를 이용하여 양자화 인덱스 및 관련 정보에 대해서 엔트로피 인부호화/복호화(entropy encoding)을 수행함으로써, 비트스트림(bit stream)을 출력할 수 있다.
도 4는 본 발명의 제1 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할할 수 있다. 예를 들어, 2D 인트라 블록의 서브 프레임 1은 도 4에 도시된 바와 같이 서브 밴드 xf(0,1) 내지 서브 밴드 xf(k,1)로 분할될 수 있다. 이때, index k는 서브 밴드의 개수일 수 있다.
그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다. 예를 들어, 부호화부(111)는 DPCM(Differential Pulse Code Modulation)을 이용하여 1차 예측을 수행하거나, LPC(Linear Prediction Coefficient) 방식을 이용하여 고차 예측을 수행할 수 있다.
다음으로, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터(scale-factor)를 이용하여 코스(coarse)한 양자화를 수행할 수 있다. 예를 들어, 기준값은 4kHz일 수 있다.
또한, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다. 이때, 부호화부(111)는 양자화된 저대역의 예측 개수 및 잔차 신호에 무손실 압축 과정을 적용하여 비트스트림으로 변환할 수 있다.
그리고, 부호화부(111)는 무손실 압축 방식(entropy coding)으로 양자화 인덱스를 비트스트림으로 변환할 수 있다. 또한, 양자화 인덱스는 스케일 펙터에 고대역 신호, 양자화 인덱스와는 별도의 양자화를 수행하고, 무손실 압축 과정을 통해 비트스트림으로 변환할 수 있다.
도 5는 본 발명의 제1 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(510)에서 복호화부(122)는 수신부(121)가 수신한 비트스트림에서 2D 인트라 블록을 복호화할 수 있다.
단계(520)에서 복호화부(122)는 단계(510)에서 복호화한 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다.
단계(530)에서 복호화부(122)는 단계(520)에서 생성한 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다.
단계(540)에서 복호화부(122)는 단계(520)에서 변환한 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임을 생성할 수 있다.
이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들을 복원할 수 있다. 그리고, 복호화부(122)는 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행할 수 있다.
또한, 복호화부(122)는 입력 프레임들을 이용하여 출력 오디오 신호를 복호화할 수 있다.
도 6은 본 발명의 제1 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 디코더(610)를 이용하여 비트스트림(601)에서 2D 인트라 블록(602)을 복호화할 수 있다.
다음으로, 복호화부(122)는 스플리터(620)로 2D 인트라 블록(602)을 분할하여 주파수 영역의 서브 프레임(603)들을 생성할 수 있다.
그 다음으로 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임으로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들(604)을 복원할 수 있다. 그리고, 복호화부(122)는 오버랩부(630)를 이용하여 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행할 수 있다. 예를 들어, 복호화부(122)는 서브 프레임 1과 서브 프레임 2가 포함된 그룹과 서브 프레임 2와 서브 프레임 3이 포함된 그룹을 오버랩 애드하여 서브 프레임 1, 서브 프레임 2 및 서브 프레임 3이 포함된 입력 프레임(605)을 생성할 수 있다.
이때, 현재 프레임의 마지막 서브 프레임인 b과 그룹화된 다음 프레임의 첫 번째 서브 프레임인 b+1는 다음 프레임의 첫 번째 그룹과 오버랩 애드될 수 있다. 구체적으로, 현재 프레임의 마지막 그룹(b,b+1)는 다음 프레임의 첫 번째 그룹인 (b+1, b+2)과 오버랩 애드될 수 있다.
마지막으로 복호화부(122)는 상기 과정들을 반복하여 입력 프레임(605)들을 순차적으로 생성함으로써, 도 6에 도시된 바와 같이 입력 프레임(605)들로 구성된 출력 오디오 신호(600)를 복호화할 수 있다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(710)에서 부호화부(111)는 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화할 수 있다. 이때, 부호화부(111)는 입력 프레임들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 입력 프레임들을 2개씩 그룹화할 수 있다.
단계(720)에서 부호화부(111)는 단계(710)에서 그룹화한 입력 프레임들에 윈도우를 적용할 수 있다.
단계(730)에서 부호화부(111)는 단계(720)에서 윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 입력 프레임들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다.
단계(740)에서 부호화부(111)는 단계(730)에서 주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
단계(750)에서 부호화부(111)는 단계(740)에서 형성된 2D 인터 블록을 부호화할 수 있다.
이때, 부호화부(111)는 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할할 수 있다. 그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다. 다음으로, 부호화부(111)는 서브 밴드 신호들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다.
도 8은 본 발명의 제2 실시예에 따른 오디오 부호화 과정의 일례이다.
도 8에서 / 해칭으로 표시된 신호는 시간 영역의 오디오 신호이고, \ 해칭으로 표시된 신호는 주파수 영역의 오디오 신호일 수 있다.
입력 오디오 신호는 도 8에 도시된 바와 같이 복수의 입력 프레임(801)들을 포함할 수 있다.
부호화부(111)는 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 적어도 2개 이상씩 그룹화하여 그룹(802)들을 생성할 수 있다. 이때, 부호화부(111)는 입력 프레임들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 입력 프레임들을 2개씩 그룹화할 수 있다.
다음으로, 부호화부(111)는 그룹(802)들에 윈도우를 적용할 수 있다. 예를 들어, 부호화부(111)는 그룹(802)들에 신(sine) 윈도우, 또는 카이저 베셀(Kaiser Bessel) 윈도우를 적용할 수 있다.
그 다음으로 부호화부(111)는 윈도우가 적용된 입력 프레임들을 시간 영역에서 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 입력 프레임들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다.
다음으로 부호화부(111)는 주파수 영역으로 변환된 입력 프레임(803)들을 적분기(integrator)(810)에 입력하여 2D 인터(inter) 블록(804)을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
그 다음으로 부호화부(111)는 입력 프레임(801)들을 각각 양자화하지 않고, 하나의 2D 인터 블록(804)을 양자화함으로써, 입력 프레임(801)들을 독립적으로 양자화하는 방식 보다 부호화 효율을 높일 수 있다.
이때, 부호화부(111)는 2D 인터 블록(804)으로부터 입력 프레임(801) 간의 상관도를 예측함으로써, 2D 인터 블록(804)의 정보량을 최소화하여 양자화를 수행할 수 있다. 2D 인터 블록(804)의 양자화 방법은 이하 도 9를 참조하여 상세히 설명한다.
마지막으로 부호화부(111)는 인코더(330)를 이용하여 양자화 인덱스 및 관련 정보에 대해서 엔트로피 인부호화/복호화(entropy encoding)을 수행함으로써, 비트스트림(bit stream)을 출력할 수 있다.
도 9는 본 발명의 제2 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할할 수 있다. 예를 들어, 2D 인터 블록의 입력 프레임 Frame 0은 도 9에 도시된 바와 같이 서브 밴드 sf(0,0) 내지 서브 밴드 sf(N/2,0)로 분할될 수 있다. 이때, N은 주파수 계수의 개수일 수 있다.
그리고, 부호화부(111)는 서브 밴드 신호들 각각을 양자화할 수 있다. 이때, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다.
그 다음으로, 부호화부(111)는 상관도를 기초로 예측 이득(prediction gain)을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다. 이때, 부호화부(111)는 DPCM과 LPC 방식으로 예측 이득을 계산할 수 있다.
마지막으로 부호화부(111)는 잔차 신호에 스케일 펙터를 적용하여 양자화를 한 후, 무손실 압축을 수행할 수 있다.
도 10은 본 발명의 제2 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1010)에서 복호화부(122)는 수신부(121)가 수신한 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
단계(1020)에서 복호화부(122)는 단계(1010)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성할 수 있다.
단계(1030)에서 복호화부(122)는 단계(1020)에서 생성한 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹들을 복원할 수 있다.
단계(1040)에서 복호화부(122)는 단계(1020)에서 변환한 시간 영역의 입력 프레임들의 그룹에 오버랩 애드(overlap add)를 수행하여 오디오 신호를 구성하는 원본 입력 프레임을 생성할 수 있다. 또한, 복호화부(122)는 원본 입력 프레임들을 이용하여 출력 오디오 신호를 복호화할 수 있다.
도 11은 본 발명의 제2 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 디코더(610)를 이용하여 비트스트림에서 2D 인터 블록(1101)을 복호화할 수 있다.
다음으로, 복호화부(122)는 스플리터(1120)로 2D 인터 블록(1101)을 분할하여 주파수 영역의 입력 프레임(1102)들을 생성할 수 있다.
그 다음으로 복호화부(122)는 주파수 영역의 입력 프레임들(1102)을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹(1130)들을 복원할 수 있다.
마지막으로 복호화부(122)는 오버랩부(1130)를 이용하여 그룹(1103)들에 오버랩 애드를 수행함으로써, 입력 프레임들로 구성된 오디오 신호(1100)를 복원할 수 있다.
도 12는 본 발명의 제3 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(1210)에서 부호화부(111)는 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화할 수 있다. 다음으로, 부호화부(111)는 그룹화한 제1 입력 프레임들에 윈도우를 적용할 수 있다. 그 다음으로 부호화부(111)는 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(1220)에서 부호화부(111)는 단계(1210)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(1230)에서 부호화부(111)는 단계(1220)에서 부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원할 수 있다. 이때, 제2 입력 프레임은 단계(1220)에서 부호화한 2D 인터 블록에 복호화 과정을 수행한 결과일 수 있다.
단계(1240)에서 부호화부(111)는 단계(1230)에서 복원한 제2 입력 프레임과 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성할 수 있다.
이때, 부호화부(111)는 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할할 수 있다. 다음으로, 부호화부(111)는 서브 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라 블록을 형성할 수 있다.
단계(1250)에서 부호화부(111)는 단계(1240)에서 형성한 2D 인트라 블록을 부호화할 수 있다.
단계(1260)에서 부호화부(111)는 단계(1250)에서 부호화한 2D 인터 블록과 단계(1220)에서 부호화한 2D 인트라 블록을 믹싱하여 비트스트림으로 변환할 수 있다.
도 13은 본 발명의 제3 실시예에 따른 오디오 부호화 과정의 일례이다.
입력 오디오 신호(1300)는 도 13에 도시된 바와 같이 복수의 제1 입력 프레임(1301)들을 포함할 수 있다.
부호화부(111)는 오버랩을 고려하여 복수의 제1 입력 프레임(1301)들을 그룹화할 수 있다. 이때, 부호화부(111)는 그룹화한 제1 입력 프레임들에 윈도우를 적용할 수 있다. 그 다음으로 부호화부(111)는 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성할 수 있다.
다음으로, 부호화부(111)는 인터 블록 인코더(1310)를 이용하여 2D 인터 블록을 부호화할 수 있다. 이때, 인터 블록 인코더(1310)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
그 다음으로, 부호화부(111)는 인터 블록 통합기(1320)를 이용하여 2D 인터 블록에서 제2 입력 프레임들을 복원할 수 있다. 구체적으로, 부호화부(111)는 인터 블록을 복수의 입력 프레임들로 분할하고, 통합하는 복호화 과정을 수행하여 제2 입력 프레임을 생성할 수 있다.
다음으로, 부호화부(111)는 차분 신호 생성기(1330)를 이용하여 제2 입력 프레임과 제1 입력 프레임 간의 잔차 신호(1302)를 생성할 수 있다.
그 다음으로, 부호화부(111)는 잔차 신호(1302)를 이용하여 2D 인트라 블록을 형성할 수 있다. 이때, 부호화부(111)는 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할할 수 있다. 다음으로, 부호화부(111)는 서브 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라 블록을 형성할 수 있다.
다음으로, 부호화부(111)는 인트라 블록 인코더(1340)를 이용하여 2D 인트라 블록을 부호화할 수 있다. 이때, 인트라 블록 인코더(1340)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 14는 본 발명의 제3 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1410)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(1420)에서 복호화부(122)는 단계(1410)에서 복호화한 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(1420)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹들을 복원할 수 있다.
단계(1430)에서 복호화부(122)는 단계(1420)에서 복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
단계(1440)에서 복호화부(122)는 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화할 수 있다.
단계(1450)에서 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록에서 잔차 신호를 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 잔차 신호를 생성할 수 있다.
단계(1460)에서 복호화부(122)는 단계(1450)에서 생성한 잔차 신호와 단계(1430)에서 생성한 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(1240)에서 생성된 바와 같이 부호화된 2D 인터 블록에서 복원한 입력 프레임인 제2 입력 프레임과 원본 입력 프레임인 제1 입력 프레임 간의 차이일 수 있다.
따라서, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복원할 수 있다.
도 15는 본 발명의 제3 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(1510)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
이때, 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록에서 잔차 신호(1501)를 복원할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(1530)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
다음으로, 복호화부(122)는 복호화한 2D 인터 블록에서 입력 프레임 신호의 그룹(1502)들을 복원할 수 있다.
그 다음으로, 복호화부(122)는 입력 프레임들의 그룹(1502)들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
마지막으로 복호화부(122)는 결합부(1520)로 제2 입력 프레임에 잔차 신호(1501)를 합하여 제1 입력 프레임들로 구성된 오디오 신호(1500)를 복호화할 수 있다.
도 16은 본 발명의 제4 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(1610)에서 부호화부(111)는 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다.
단계(1620)에서 부호화부(111)는 단계(1610)에서 형성한 2D 인트라 블록들을 부호화할 수 있다.
이때, 부호화부(111)는 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정할 수 있다. 그리고, 부호화부(111)는 매크로 블록들 간의 상관도를 예측할 수 있다. 다음으로, 부호화부(111)는 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행할 수 있다. 그 다음으로, 부호화부(111)는 매크로 블록들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화할 수 있다.
단계(1630)에서 부호화부(111)는 단계(1620)에서 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원할 수 있다.
단계(1640)에서 부호화부(111)는 단계(1630)에서 복원한 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성할 수 있다.
단계(1650)에서 부호화부(111)는 단계(1640)에서 생성한 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호들을 생성할 수 있다. 그리고, 부호화부(111)는 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(1660)에서 부호화부(111)는 단계(1650)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(1670)에서 부호화부(111)는 단계(1660)에서 부호화한 상기 2D 인터 블록과 단계(1620)에서 부호화한 2D 인트라 블록을 믹싱한 비트스트림을 출력할 수 있다.
도 17은 본 발명의 제4 실시예에 따른 오디오 부호화 과정의 일례이다.
부호화부(111)는 오디오 신호(1700)를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다. 그리고, 부호화부(111)는 인트라 블록 인코더(1710)를 이용하여 2D 인트라 블록들을 부호화할 수 있다. 이때, 인트라 블록 인코더(1710)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
다음으로, 부호화부(111)는 단계(1620)에서 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원할 수 있다. 이때, 부호화부(111)는 인트라 블록 통합기(1720)로 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성할 수 있다.
그 다음으로 부호화부(111)는 잔차 신호 생성기(1730)를 이용하여 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호(1701)들을 생성할 수 있다.
다음으로, 부호화부(111)는 오버랩을 고려하여 잔차 신호(1701)를 구성하는 프레임들을 적어도 2개 이상씩 그룹화하여 그룹(1702)들을 생성할 수 있다.
그 다음으로, 부호화부(111)는 그룹(1702)들을 이용하여 2D 인터 블록을 형성할 수 있다.
이때, 부호화부(111)는 그룹(1702)들에 윈도우를 적용할 수 있다. 그리고, 부호화부(111)는 단계(720)에서 윈도우가 적용된 그룹(1702)들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT를 그룹(1702) 들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 그룹(1702)에 포함된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
마지막으로, 부호화부(111)는 인터 블록 인코더(1740)를 이용하여 2D 인터 블록을 부호화할 수 있다. 이때, 인터 블록 인코더(1740)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 18은 본 발명의 제4 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1810)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(1820)에서 복호화부(122)는 단계(1810)에서 복호화한 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(1820)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다.
단계(1830)에서 복호화부(122)는 단계(1820)에서 복원한 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성할 수 있다.
단계(1840)에서 복호화부(122)는 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화할 수 있다.
단계(1850)에서 복호화부(122)는 단계(1840)에서 복호화한 2D 인트라 블록에서 제2 입력 프레임을 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
단계(1860)에서 복호화부(122)는 단계(1850)에서 생성한 제2 입력 프레임과 단계(1830)에서 생성한 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(1650)에서 생성된 바와 같이 부호화된 2D 인트라 블록에서 복원한 입력 프레임인 제2 입력 프레임과 원본 입력 프레임인 제1 입력 프레임 간의 차이일 수 있다. 따라서, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복원할 수 있다.
도 19는 본 발명의 제4 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(1910)를 이용하여 인터 블록 비트스트림에서 잔차 신호들의 그룹(1901)을 복호화할 수 있다.
다음으로 복호화부(122)는 복원한 잔차 신호의 프레임들의 그룹(1901)들에 오버랩 애드를 수행하여 프레임들로 구성된 잔차 신호(1902)를 생성할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(1930)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
이때, 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록을 이용하여 제2 입력 프레임을 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
마지막으로, 복호화부(122)는 결합부(1940)로 제2 입력 프레임에 잔차 신호(1902)를 합하여 제1 입력 프레임들로 구성된 오디오 신호(1900)를 복호화할 수 있다.
이때, 제2 입력 프레임은 제1 입력 프레임을 부호화하고, 복호화한 결과이므로, 제2 입력 프레임만으로도 오디오 신호를 생성할 수 있다. 다만, 부호화 및 복호화 과정에서 신호의 변화가 발생하므로, 제2 입력 프레임은 원본 오디오 신호에 포함된 프레임인 제1 입력 프레임과 차이가 있을 수 있다. 잔차 신호는 제1 입력 프레임과 제2 입력 프레임 간의 차이를 나타내는 정보이므로, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복호화함으로써, 복호화한 오디오 신호(1900)의 품질을 향상시킬 수 있다
도 20은 본 발명의 제5 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(2010)에서 부호화부(111)는 오디오 신호를 구 성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다.
단계(2020)에서 부호화부(111)는 단계(2010)에서 형성한 2D 인트라 블록들을 부호화할 수 있다.
단계(2030)에서 부호화부(111)는 단계(2010)에서 형성한 2D 인트라 블록들과 단계(2020)에서 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(2040)에서 부호화부(111)는 단계(2030)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(2050)에서 부호화부(111)는 단계(2040)에서 부호화한 2D 인터 블록과 단계(2020)에서 부호화한 2D 인트라 블록을 믹싱할 수 있다.
도 21은 본 발명의 제5 실시예에 따른 오디오 부호화 과정의 일례이다.
부호화부(111)는 오디오 신호(2100)에 인트라 블록 변환기(2110)를 사용하여 2D 인트라 블록들을 형성할 수 있다.
구체적으로, 인트라 블록 변환기(21110)는 도 21에 도시된 바와 같이 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하고, 서브 프레임들을 주파수 영역으로 변환하여 2D 인트라 블록들(2101)을 생성할 수 있다.
다음으로, 부호화부(111)는 인트라 블록 인코더(2120)를 이용하여 2D 인트라 블록들을 부호화할 수 있다. 이때, 인트라 블록 인코더(2120)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
그 다음으로, 부호화부(111)는 2D 인트라 블록(2101)들과 인트라 블록 인코더(2120)가 부호화한 2D 인트라 블록들 간의 잔차 신호들을 생성할 수 있다.
다음으로, 부호화부(111)는 인터 블록 변환기(2130)에 잔차 신호를 입력하여 2D 인터 블록(2102)을 형성할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 잔차 신호를 구성하는 프레임들을 적어도 2개 이상씩 그룹화하여 그룹들을 생성할 수 있다. 그리고, 부호화부(111)는 그룹들에 윈도우를 적용할 수 있다. 다음으로, 부호화부(111)는 윈도우가 적용된 그룹들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 그룹에 포함된 입력 프레임들을 이용하여 2D 인터 블록(2102)을 형성할 수 있다. 이때, 2D 인터 블록(2102)은 2D 인트라 블록(2101)이 서브블록 단위의 주파수 계수로 표현된 블록일 수 있다.
마지막으로 부호화부(111)는 인터 블록 인코더(2140)로 2D 인터 블록(2102)을 부호화할 수 있다. 이때, 인터 블록 인코더(2140)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
이때, 송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 22는 본 발명의 제5 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정할 수 있다. 그리고, 부호화부(111)는 매크로 블록들 간의 상관도를 예측할 수 있다.
예를 들어, 부호화부(111)는 도 22에 도시된 바와 같이 첫 번째 매크로 블록인 1과 매크로 블록 1에 인접한 다른 서브 프레임들 간의 상관도를 예측할 수 있다. 또한, 부호화부(111)는 네 번째 매크로 블록인 4와 매크로 블록 4에 인접한 다른 서브 프레임들 간의 상관도를 예측할 수 있다
또한, 부호화부(111)는 도 22에 도시된 바와 같이 인접한 매크로 블록 이외에도 일정 간격 이격된 매크로 블록과 현재 처리 중인 매크로 블록 간의 상관도를 예측할 수도 있다. 예를 들어, 부호화부(111)는 현재 처리 중인 매크로 블록을 기준으로 복수의 매크로 블록들만큼 이격된 다른 매크로 블록과 현재 처리 중인 매크로 블록 간의 상관도를 예측할 수 있다. 이때, 최적의 상관도를 가지는 매크로 블록을 찾을 확률이 증가하나, 복수의 매크로 블록들만큼 이격된 다른 매크로 블록의 위치 정보와 같은 부가 정보를 더 필요로 할 수 있다. 따라서, 상관도를 측정하는 매크로 블록들 간의 거리와 최적의 상관도를 가지는 매크로 블록을 찾을 확률 간에 트레이드 오프(trade-off)가 있을 수 있다.
다음으로, 부호화부(111)는 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행할 수 있다. 그 다음으로, 부호화부(111)는 매크로 블록들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화할 수 있다.
도 23은 본 발명의 제5 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(2310)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(2320)에서 복호화부(122)는 단계(2310)에서 복호화한 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(2320)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다.
단계(2330)에서 복호화부(122)는 단계(2320)에서 복원한 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원할 수 있다.
단계(2340)에서 복호화부(122)는 인트라 블록 비트스트림을 부호화된 2D 인트라 블록으로 변환할 수 있다.
단계(2350)에서 복호화부(122)는 단계(2340)에서 변환한 부호화된 2D 인트라 블록과 단계(2330)에서 생성한 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(2030)에서 생성된 바와 같이 단계(2010)에서 형성한 2D 인트라 블록들과 단계(2020)에서 부호화한 2D 인트라 블록들 간의 차이일 수 있다. 따라서, 복호화부(122)는 부호화된 2D 인트라 블록에 잔차 신호를 합하여 부호화 하기 전의 2D 인트라 블록을 복원할 수 있다.
단계(2360)에서 복호화부(122)는 단계(2350)에서 복원한 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원할 수 있다. 구체적으로, 복호화부는 도 5의 단계(520) 내지 단계(540)를 수행하여 2D 인트라 블록에서 입력 프레임들로 구성된 오디오 신호를 복원할 수 있다.
도 24는 본 발명의 제5 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(2410)를 이용하여 인터 블록 비트스트림에서 잔차 신호(2401)를 생성할 수 있다.
구체적으로, 복호화부(122)는 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다. 마지막으로 복호화부(122)는 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호(2401)를 복원할 수 있다.
그리고, 복호화부(122)는 인터 블록 스플리터(2420)를 이용하여 잔차 신호(2401)를 인트라 블록 단위로 분할할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(2430)를 이용하여 인터 블록 비트스트림을 부호화된 2D 인터 블록으로 변환할 수 있다.
이때, 복호화부(122)는 부호화된 2D 인트라 블록과 인트라 블록 단위로 분할한 잔차 신호들을 이용하여 부호화 전의 2D 인트라 블록을 복원할 수 있다. 구체적으로, 복호화부(122)는 부호화된 2D 인트라 블록에 잔차 신호를 합하여 부호화 하기 전의 2D 인트라 블록(2402)을 복원할 수 있다.
이때, 부호화 하기 전의 2D 인트라 블록(2402)은 도 24에 도시된 바와 같이 복수의 서브 프레임들로 구성된 인트라 블록일 수 있다.
마지막으로 복호화부(122)는 인트라 블록 통합기(2440)로 부호화 하기 전의 2D 인트라 블록(2402)들을 통합하여 오디오 신호를 복원할 수 있다. 구체적으로, 복호화부는 2D 인트라 블록(2402)에 포함된 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임으로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들을 복원할 수 있다. 그리고, 복호화부(122)는 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행하여 오디오 신호(2400)를 구성하는 입력 프레임 1 내지 12들을 순차적으로 생성함으로써, 도 24에 도시된 바와 같이 입력 프레임들로 구성된 오디오 신호(2400)를 복호화할 수 있다.
본 발명은 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다. 또한, 본 발명은 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 오디오 부호화 장치
111: 부호화부
120: 오디오 복호화 장치
122: 복호화부

Claims (19)

  1. 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계;
    상기 서브 프레임들을 주파수 영역으로 변환하는 단계;
    주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및
    상기 2D 인트라 블록을 부호화하는 단계
    를 포함하고,
    상기 2D 인트라 블록은,
    상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록인 오디오 신호의 부호화 방법.
  2. 제1항에 있어서,
    상기 주파수 영역으로 변환하는 단계는,
    오버랩을 고려하여 상기 서브 프레임들을 그룹화하는 단계;
    그룹화한 서브 프레임들에 윈도우를 적용하는 단계; 및
    윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  3. 제2항에 있어서,
    상기 그룹화하는 단계는,
    상기 입력 프레임 중 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화하는 오디오 신호의 부호화 방법.
  4. 제1항에 있어서,
    상기 부호화하는 단계는.
    상기 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할하는 단계;
    상기 서브 밴드 신호들간의 상관도를 예측하는 단계;
    상기 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화하는 단계;
    상기 서브 밴드 신호들 중 대역값이 상기 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계; 및
    양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  5. 수신한 비트스트림에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계;
    상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계;
    상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들을 생성하는 단계; 및
    입력 프레임들을 이용하여 오디오 신호를 복호화하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  6. 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화하는 단계;
    그룹화한 입력 프레임들에 윈도우를 적용하는 단계;
    윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환하는 단계;
    주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 및
    상기 2D 인터 블록을 부호화하는 단계
    를 포함하고,
    상기 2D 인터 블록은,
    상기 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록인 오디오 신호의 부호화 방법.
  7. 제6항에 있어서,
    상기 부호화하는 단계는.
    상기 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할하는 단계;
    상기 서브 밴드 신호들간의 상관도를 예측하는 단계;
    상기 서브 밴드 신호들 각각을 양자화하는 단계; 및
    상기 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  8. 수신한 비트스트림에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성하는 단계;
    상기 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환하는 단계; 및
    상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들로 구성된 오디오 신호를 복호화하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  9. 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계;
    상기 2D 인터 블록을 부호화하는 단계;
    부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원하는 단계;
    상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성하는 단계;
    상기 2D 인트라 블록을 부호화하는 단계; 및
    부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  10. 제9항에 있어서,
    상기 2D 인터 블록을 형성하는 단계는,
    오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화하는 단계;
    그룹화한 제1 입력 프레임들에 윈도우를 적용하는 단계;
    윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환하는 단계; 및
    주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  11. 제9항에 있어서,
    상기 2D 인트라 블록을 형성하는 단계는,
    상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할하는 단계;
    상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 및
    주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  12. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원하는 단계;
    복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계;
    부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록에서 잔차 신호를 복원하는 단계; 및
    상기 잔차 신호와 상기 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  13. 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계;
    2D 인트라 블록들을 부호화하는 단계;
    부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원하는 단계;
    제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성하는 단계;
    상기 제2 입력 프레임들과 상기 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계;
    상기 2D 인터 블록을 부호화하는 단계; 및
    부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  14. 제13항에 있어서,
    상기 2D 인터 블록을 부호화하는 단계는,
    상기 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정하는 단계;
    매크로 블록들 간의 상관도를 예측하는 단계;
    예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행하는 단계
    상기 매크로 블록들 각각을 양자화하는 단계; 및
    상기 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  15. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계;
    상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성하는 단계
    부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록에서 제2 입력 프레임을 생성하는 단계; 및
    상기 제2 입력 프레임과 상기 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  16. 제15항에 있어서,
    상기 제2 입력 프레임을 생성하는 단계는,
    상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계;
    상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 및
    상기 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  17. 오디오 신호를 구성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계;
    2D 인트라 블록들을 부호화하는 단계;
    상기 2D 인트라 블록들과 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계;
    2D 인터 블록을 부호화하는 단계; 및
    상기 2D 인터 블록과 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  18. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계;
    상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원하는 단계
    부호화된 2D 인트라 블록과 상기 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원하는 단계; 및
    상기 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  19. 제18항에 있어서,
    상기 잔차 신호의 프레임 그룹들을 복원하는 단계는,
    상기 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성하는 단계;
    상기 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환하는 단계; 및
    시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
KR1020160033627A 2016-03-21 2016-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법 KR102546098B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160033627A KR102546098B1 (ko) 2016-03-21 2016-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법
US16/081,169 US10839819B2 (en) 2016-03-21 2017-03-21 Block-based audio encoding/decoding device and method therefor
PCT/KR2017/002995 WO2017164606A2 (ko) 2016-03-21 2017-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160033627A KR102546098B1 (ko) 2016-03-21 2016-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170109456A true KR20170109456A (ko) 2017-09-29
KR102546098B1 KR102546098B1 (ko) 2023-06-22

Family

ID=59900470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160033627A KR102546098B1 (ko) 2016-03-21 2016-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Country Status (3)

Country Link
US (1) US10839819B2 (ko)
KR (1) KR102546098B1 (ko)
WO (1) WO2017164606A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546098B1 (ko) * 2016-03-21 2023-06-22 한국전자통신연구원 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108685A (ko) * 2004-05-13 2005-11-17 삼성전자주식회사 2차원 데이터 처리를 이용한 음성 신호 압축 및 복원장치와 그 방법
KR20150032614A (ko) * 2012-06-04 2015-03-27 삼성전자주식회사 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US7418394B2 (en) * 2005-04-28 2008-08-26 Dolby Laboratories Licensing Corporation Method and system for operating audio encoders utilizing data from overlapping audio segments
KR100846795B1 (ko) 2006-11-24 2008-07-16 삼성전자주식회사 Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
KR101531910B1 (ko) * 2007-07-02 2015-06-29 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101513028B1 (ko) * 2007-07-02 2015-04-17 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101405972B1 (ko) * 2007-07-02 2014-06-12 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101405971B1 (ko) * 2007-07-02 2014-06-12 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101490246B1 (ko) * 2007-07-02 2015-02-05 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101441896B1 (ko) * 2008-01-29 2014-09-23 삼성전자주식회사 적응적 ｌｐｃ 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치
US8380523B2 (en) * 2008-07-07 2013-02-19 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8290782B2 (en) 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
WO2010028292A1 (en) * 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
KR101137652B1 (ko) 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
BRPI1100024A2 (pt) * 2010-02-17 2016-05-03 Zte Usa Inc métodos e sistemas para transmissão csi-rs em sistemas avançados lte
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
JP5942358B2 (ja) * 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
CN105247613B (zh) * 2013-04-05 2019-01-18 杜比国际公司 音频处理系统
RU2676041C1 (ru) * 2013-05-24 2018-12-25 Долби Интернэшнл Аб Аудиокодер и аудиодекодер
US9489227B2 (en) 2013-06-10 2016-11-08 Electronics And Telecommunications Research Institute Apparatus and method for virtual desktop service
KR102546098B1 (ko) * 2016-03-21 2023-06-22 한국전자통신연구원 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108685A (ko) * 2004-05-13 2005-11-17 삼성전자주식회사 2차원 데이터 처리를 이용한 음성 신호 압축 및 복원장치와 그 방법
KR20150032614A (ko) * 2012-06-04 2015-03-27 삼성전자주식회사 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기

Also Published As

Publication number Publication date
KR102546098B1 (ko) 2023-06-22
WO2017164606A3 (ko) 2018-08-02
WO2017164606A2 (ko) 2017-09-28
US20190035412A1 (en) 2019-01-31
US10839819B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
JP6691093B2 (ja) オーディオエンコーダ、符号化方法およびコンピュータプログラム
JP7391930B2 (ja) 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP5404412B2 (ja) 符号化装置、復号装置およびこれらの方法
CN101432802A (zh) 使用有损编码的数据流和无损扩展数据流对源信号进行无损编码的方法以及设备
US8515770B2 (en) Method and apparatus for encoding and decoding excitation patterns from which the masking levels for an audio signal encoding and decoding are determined
WO2012053150A1 (ja) 音声符号化装置および音声復号化装置
US9454972B2 (en) Audio and speech coding device, audio and speech decoding device, method for coding audio and speech, and method for decoding audio and speech
JP6027538B2 (ja) 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
US20130103394A1 (en) Device and method for efficiently encoding quantization parameters of spectral coefficient coding
KR102546098B1 (ko) 블록 기반의 오디오 부호화/복호화 장치 및 그 방법
KR101387808B1 (ko) 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
CN104380377A (zh) 用于可缩放低复杂度编码/解码的方法和装置
KR101449432B1 (ko) 신호 부호화 및 복호화 방법 및 장치
KR101457897B1 (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
KR101434207B1 (ko) 오디오/스피치 신호 부호화방법
KR101434206B1 (ko) 신호 복호화 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160321

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210128

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160321

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221007

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230425

PG1601 Publication of registration