[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100928967B1 - 오디오 신호의 부호화/복호화 방법 및 장치 - Google Patents

오디오 신호의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100928967B1
KR100928967B1 KR1020070067132A KR20070067132A KR100928967B1 KR 100928967 B1 KR100928967 B1 KR 100928967B1 KR 1020070067132 A KR1020070067132 A KR 1020070067132A KR 20070067132 A KR20070067132 A KR 20070067132A KR 100928967 B1 KR100928967 B1 KR 100928967B1
Authority
KR
South Korea
Prior art keywords
signal
encoding
channel
signals
spectral components
Prior art date
Application number
KR1020070067132A
Other languages
English (en)
Other versions
KR20090002842A (ko
Inventor
김미영
김중회
오은미
콘스탄틴 오시포브
보리스 쿠드야쇼브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070067132A priority Critical patent/KR100928967B1/ko
Publication of KR20090002842A publication Critical patent/KR20090002842A/ko
Application granted granted Critical
Publication of KR100928967B1 publication Critical patent/KR100928967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 부호화/복호화 방법 및 장치에 관한 것으로, 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서, 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하고, 채널 스펙트럼 신호들 사이의 유사도에 따라 채널 스펙트럼 신호들을 결합하며, 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화함으로써, 부호화에 할당되는 비트를 줄여서 오디오 신호를 효율적으로 부호화할 수 있다.

Description

오디오 신호의 부호화/복호화 방법 및 장치{Method and Apparatus for Encoding and Decoding Audio Signal}
본 발명은 오디오 신호의 부호화 및 복호화 방법에 관한 것으로, 더욱 상세하게는 스테레오 오디오 신호의 부호화 및 복호화 방법 및 장치에 관한 것이다.
단일 채널로부터 제공되는 모노(mono) 신호에 비해 복수개의 채널로부터 각각 제공되는 스테레오(stereo) 신호는 입체적인 사운드를 제공할 수 있다. 그러나, 스테레오 신호를 저장하거나 전송하기 위해서는 모노 신호에 비해 많은 노력과 비용이 소요된다. 이는 복수개의 채널로부터 제공받은 모노 신호를 각 채널 별로 독립적으로 부호화할 경우 데이터의 크기가 채널의 수만큼 커지게 되기 때문이다.
종래의 스테레오 신호를 부호화하는 방법으로는 좌채널 신호 및 우채널 신호의 합과 차를 이용하여 부호화하는 MS(Mid-Side) 스테레오 방식과 좌채널 신호 및 우채널 신호에 대해 하나의 신호로만 부호화하는 인텐시티(Intensity) 스테레오 방식이 있다. 이러한 MS 스테레오 방식은 좌채널 신호 및 우채널 신호 사이의 유사도가 높은 경우에는 효율적이지만, 좌채널 신호 및 우채널 신호 사이의 유사도가 높지 않을 경우에는 효율성이 떨어지는 문제점이 있다. 또한, 인텐시티 스테레오 방 식은 고주파수 대역에서만 적용 가능한 문제점이 있다.
본 발명이 해결하고자 하는 과제는 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 채널 신호들 사이의 유사도 및 주파수 대역에 상관없이 적은 비트를 이용하여 효율적으로 부호화할 수 있는 부호화 방법 및 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 적어도 두 개의 채널 신호를 포함하는 오디오 비트 스트림을 효율적으로 복호화할 수 있는 복호화 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서, (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계; (b) 상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합하는 단계; 및 (c) 상기 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화하는 단계를 포함한다.
또한, 상기 다른 기술적 과제는 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서, (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계; (b) 상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합하는 단계; 및 (c) 상기 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서, (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계; (b) 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들 사이의 유사도에 따른 한가지 부호화 모드를 결정하는 단계; (c) 상기 채널 스펙트럼 신호들 각각의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 단계; 및 (d) 상기 선택된 중요 스펙트럴 성분들을 상기 결정된 부호화 모드에 따라 결합하여 부호화하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서, (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계; (b) 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들 사이의 유사도에 따른 한가지 부호화 모드를 결정하는 단계; (c) 상기 채널 스펙트럼 신호들 각각의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 단계; 및 (d) 상기 선택된 중요 스펙트럴 성분들을 상기 결정된 부호화 모드에 따라 결합하여 부호화하는 단계를 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 오디오 비트 스트림을 복호화하는 방법에 있어서, (a) 상기 부호화된 스펙트럴 성분들을 복호화하는 단계; (b) 상기 부호화 모드 정보에 따라 상기 복호화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리하는 단계; 및 (c) 상기 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 오디오 비트 스트림을 복호화하는 방법에 있어서, (a) 상기 부호화된 스펙트럴 성분들을 복호화하는 단계; (b) 상기 부호화 모드 정보에 따라 상기 복호화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리하는 단계; 및 (c) 상기 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 장치에 있어서, 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 변환부; 상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합함으로써 결합 스펙트럼 신호를 생성하는 결 합 스펙트럼 신호 생성부; 및 상기 결합 스펙트럼 신호의 스펙트럴 성분들을 양자화하는 양자화부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 장치에 있어서, 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 변환부; 상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합함으로써 결합 스펙트럼 신호를 생성하는 결합 스펙트럼 신호 생성부; 상기 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 주파수 성분 선택부; 및 상기 선택된 중요 스펙트럴 성분들을 양자화하는 양자화부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 오디오 비트 스트림을 복호화하는 장치에 있어서, (a) 상기 부호화된 스펙트럴 성분들을 역양자화하는 역양자화부; (b) 상기 부호화 모드 정보를 기초로 상기 역양자화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리하는 분리부; 및 (c) 상기 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성하는 역변환부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및 상기 스펙트럼 신호들로부터 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및 상기 스펙트럼 신호들로부터 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및 상기 스펙트럼 신호들 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및 상기 스펙트럼 신호들 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계; 상기 역양자화된 스펙트럼 성분들을 시 간 도메인으로 역변환하는 단계; 및 상기 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계; 상기 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환하는 단계; 및 상기 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 좌채널 신호 및 우채널 신호의 합에 해당하는 제1 신호 및 상기 좌채널 신호 및 상기 우채널 신호의 차에 해당하는 제2 신호를 생성하는 합/차 신호 생성부; 상기 제1 및 제2 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 변환부; 및 상기 스펙트럼 신호들로부터 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 부호화부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 좌채널 신호 및 우채널 신호의 합에 해당하는 제1 신호 및 상기 좌채널 신호 및 상기 우채널 신호의 차에 해당하는 제2 신호를 생성하는 합/차 신호 생성부; 상기 제1 및 제2 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 변환부; 상기 스펙트럼 신호들 중 중요 스펙트럴 성분들을 선택하는 주파수 성분 선택부; 및 상기 선택된 중요 스펙트럴 성분들을 양자화하는 양 자화부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 역양자화부; 상기 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환하는 역변환부; 및 상기 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리하는 신호 분리부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부화화 방법은 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계; 상기 선택된 스펙트럼 신호의 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계; 상기 선택된 스펙트럼 신호의 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계; 상기 선택된 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계; 상기 선택된 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계; 상기 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환하는 단계; 및 부호화된 위치 정보를 이용하여 상기 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리하는 단계를 포함한다.
또한, 상기 또 다른 기술적 과제는 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계; 상기 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환하는 단계; 및 부호화된 위치 정보를 이용하여 상기 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하는 변환부; 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 선택부; 상기 선택된 스펙트럼 신호의 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 스펙트럼 부호화부; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 위치 정보 부호화부를 포함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼신호 및 우채널 스펙트럼 신호를 생성하는 변환부; 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 선택부; 상기 선택된 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 스펙트럼 부호화부; 및 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 위치 정보 부호화부를 포 함한다.
또한, 상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 역양자화부; 상기 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환하는 역변환부; 및 부호화된 위치 정보를 이용하여 상기 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리하는 신호 분리부를 포함한다.
본 발명에 따르면, 적어도 두 개의 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하고, 채널 스펙트럼 신호들 사이의 유사도에 따라 채널 스펙트럼 신호들을 결합하며, 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화함으로써, 부호화에 할당되는 비트를 효율적으로 줄일 수 있으며, 채널 신호들 사이의 유사도에 관계 없이 부호화 및 복호화를 수행할 수 있고, 고주파수 대역뿐 아니라 저주파수 대역에도 효율적으로 적용할 수 있다.
또한, 본 발명에 따르면, 채널 간의 위치 정보와 크기 정보의 중복성을 제거할 수 있으므로 주파수 성분 기반의 스테레오 부호화 기술에 효과적으로 적용할 수 있다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 오디오 신호의 부호화 장치는 변환부(11), 결합 스펙트럼 신호 생성부(12), 주파수 성분 선택부(13), 양자화부(14) 및 다중화부(15)를 포함 한다. 변환부(11)는 제1 변환부(111) 및 제2 변환부(112)를 포함하고, 결합 스펙트럼 신호 생성부(12)는 스테레오 부호화 모드 결정부(121) 및 스펙트럼 결합부(122)를 포함한다.
변환부(11)는 시간 도메인의 적어도 두 개의 채널 신호를 포함하는 스테레오 신호를 수신하여 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호를 생성한다. 구체적으로, 제1 변환부(111)는 좌채널 신호(L)를 수신하여 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호(LS)를 생성하고, 제2 변환부(112)는 우채널 신호(R)를 수신하여 주파수 도메인으로 변환하여 우채널 스펙트럼 신호(RS)를 생성한다. 예를 들어, 변환부(11)는 적어도 두 개의 채널 신호 각각에 대해 MDCT(Modified Discrete Cosine Transform)를 수행하여 적어도 두 개의 채널 신호를 각각 주파수 도메인으로 변환한다.
결합 스펙트럼 신호 생성부(12)는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 각각 수신하고, 서브 밴드 별로 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS) 사이의 유사도에 따라 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS)를 결합하여 결합 스펙트럼 신호를 생성한다.
구체적으로, 스테레오 부호화 모드 결정부(121)는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 각각 수신하여, 서브 밴드 별로 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS)의 상관 계수(correlation coefficient, Corr)를 계산한다. 스테레오 부호화 모드 결정부(121)는 계산된 상관 계수를 소정의 임계 값과 비교하여 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 한 가지로 부호화 모드를 결정한다. 스펙트럼 결합부(122)는 결정된 부호화 모드를 기초로 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 결합하여 결합 스펙트럼 신호를 생성한다.
도 2는 도 1의 오디오 신호의 부호화 장치에 포함된 스테레오 부호화 모드 결정부에서 스테레오 부호화 모드를 결정하는 과정을 나타내는 흐름도이다.
도 1 및 도 2를 참조하면, 제21 단계에서 스테레오 부호화 모드 결정부(121)는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 수신한다.
제22 단계에서 스테레오 부호화 모드 결정부(121)는 서브 밴드 별로 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS) 사이의 상관 계수(Corr)를 계산한다.
제23 단계에서 스테레오 부호화 모드 결정부(121)는 상관 계수(Corr)와 제1 임계 값(threshold value, T1)를 비교한다. 비교 결과, 상관 계수(Corr)가 제1 임계 값(T1)보다 큰 경우 스테레오 부호화 모드 결정부(121)는 부호화 모드를 하프섬(half-sum) 모드(25)로 결정한다. 여기서, 하프섬 모드는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)의 평균 값을 부호화하는 방식이다. 비교 결과, 상관 계수(Corr)가 제1 임계 값(T1)보다 작은 경우 제24 단계를 수행한다.
제24 단계에서 스테레오 부호화 모드 결정부(121)는 상관 계수(Corr)와 제2 임계 값(T2)를 비교한다. 비교 결과, 상관 계수(Corr)가 제2 임계 값(T2)보다 큰 경우, 스테레오 부호화 모드 결정부(121)는 부호화 모드를 페어(pair) 모드(26)로 결정한다. 여기서, 페어 모드는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신 호(RS)의 위치 정보는 공유하고, 크기 정보를 각각 부호화하는 방식이다. 비교 결과, 상관 계수(Corr)가 제2 임계 값(T2)보다 작은 경우, 스테레오 부호화 모드 결정부(121)는 부호화 모드를 듀얼(dual) 모드(27)로 결정한다. 여기서, 듀얼 모드는 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 각각 부호화하는 방식이다.
도 3은 도 1의 오디오 신호의 부호화 장치에 포함된 스테레오 부호화 모드 결정부가 스테레오 신호의 유사도에 따라 스테레오 부호화 모드를 결정하는 예를 나타낸다.
도 1 내지 도 3을 참조하면, 스테레오 부호화 모드 결정부(121)는 주파수 도메인으로 변환된 스테레오 신호에 대하여 주파수 영역 별로 스테레오 신호의 유사도를 계산하여 부호화 모드를 결정할 수 있다. 예를 들어, 스테레오 부호화 모드 결정부(121)는 스테레오 부호화 모드 결정부(121)는 제1 주파수(f1)보다 작은 주파수 영역을 제1 영역, 제1 주파수(f1)보다 크고 제2 주파수(f2)보다 작은 주파수 영역을 제2 영역, 제2 주파수(f2)보다 큰 주파수 영역을 제3 영역으로 나눌 수 있다.
스테레오 부호화 모드 결정부(121)는 제1 내지 제3 영역 각각에서 좌채널 신호와 우채널 신호의 파형을 분석하여 유사도를 판단할 수 있다. 또한, 스테레오 부호화 모드 결정부(121)는 제1 내지 제3 영역 각각에서 판단된 유사도에 따라 부호화 모드를 결정할 수 있다.
구체적으로, 스테레오 부호화 모드 결정부(121)는 제1 영역에서 좌채널 신호 및 우채널 신호의 파형(31)을 분석하여 유사도를 판단할 수 있다. 도시된 바와 같 이, 좌채널 신호와 우채널 신호는 파형이 서로 달라 유사도가 낮으므로, 이 경우 제1 영역의 부호화 모드는 듀얼 모드로 결정할 수 있다.
스테레오 부호화 모드 결정부(121)는 제2 영역에서 좌채널 신호와 우채널 신호의 파형(32)을 분석하여 유사도를 판단할 수 있다. 도시된 바와 같이, 좌채널 신호와 우채널 신호의 파형이 비슷하여 유사도가 높으므로, 이 경우 제2 영역의 부호화 모드는 페어 모드로 결정할 수 있다.
스테레오 부호화 모드 결정부(121)는 제3 영역에서 좌채널 신호와 우채널 신호의 파형(33)을 분석하여 유사도를 판단할 수 있다. 도시된 바와 같이, 좌채널 신호와 우채널 신호의 파형이 매우 비슷하여 유사도가 매우 높으므로, 이 경우 제3 영역의 부호화 모드는 하프섬 모드로 결정할 수 있다.
도 4는 도 1의 오디오 신호의 부호화 장치에 포함된 스펙트럼 결합부가 부호화 모드에 따라 스테레오 신호를 결합하는 예를 나타낸다.
도 1, 2 및 4를 참조하면, 41은 좌채널 스펙트럼 신호를 나타내고, 42는 우채널 스펙트럼 신호를 나타내며, 43은 좌채널 스펙트럼 신호와 우채널 스펙트럼 신호가 결합된 결합 스펙트럼 신호를 나타낸다. 각각의 스펙트럼 신호는 복수의 스펙트럴 성분을 포함한다.
상술한 바와 같이, 스펙트럼 결합부(122)는 결정된 부호화 모드를 기초로 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 결합하여 결합 스펙트럼 신호를 생성한다.
먼저 부호화 모드가 듀얼 모드인 경우, 좌채널 스펙트럴 성분들과 우채널 스 펙트럴 성분들은 유사도가 낮으며, 선택될 주파수 성분의 위치와 크기가 각각 다르다. 이 경우, 스펙트럼 결합부(122)는 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS)를 결합하여 각 스펙트럴 성분들의 위치 및 그 위치에서의 크기를 각각 합한 결합 스펙트럼 신호를 생성한다.
다음으로 부호화 모드가 페어 모드인 경우, 좌채널 스펙트럴 성분들과 우채널 스펙트럴 성분들은 유사도가 높으며, 각각 중요 주파수 성분의 위치는 거의 비슷하고, 크기는 조금씩 서로 다르다. 이 경우, 스펙트럼 결합부(122)는 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS)를 결합하여 각 스펙트럴 성분들의 위치는 공유하고, 각 스펙트럴 성분들의 크기는 합한 결합 스펙트럼 신호를 생성한다.
마지막으로 부호화 모드가 하프섬 모드인 경우, 좌채널 스펙트럴 성분들과 우채널 스펙트럴 성분들은 유사도가 매우 높으며, 각각 중요 주파수 성분의 위치 및 그 위치에서의 크기가 거의 동일하다. 이 경우, 스펙트럼 결합부(122)는 좌채널 스펙트럼 신호(LS)와 우채널 스펙트럼 신호(RS)를 결합하여 각 스펙트럴 성분들의 평균 값을 결합 스펙트럼 신호로 생성한다. 이를 수학식으로 표현하면 다음 수학식 1과 같다.
CS= (LS + RS)/2
여기서 CS는 결합 신호(Combined Signal)이고, LS는 좌채널 스펙트럼 신호이며, RS는 우채널 스펙트럼 신호이다.
도 1 및 4를 참조하면, 주파수 성분 선택부(13)는 결합 스펙트럼 신호를 수신하고, 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택한다. 주파수 성분 선택부(13)는 부호화 모드를 기초로 결합된 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하고, 선택된 중요 스펙트럴 성분들만 부호화하여 부호화에 할당되는 비트를 줄일 수 있다.
주파수 성분 선택부(13)가 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 방법으로 다음과 같은 것들이 있다. 첫째, 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 할당된 SMR(Signal-to-Mask Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택할 수 있다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택할 수 있다. 셋째, 각 서브 밴드 별로 SNR(Signal-to-Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정의 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택할 수 있다. 이러한 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상의 방법을 결합하여 조합함으로써 실시할 수도 있다.
구체적으로, 부호화 모드가 듀얼 모드인 경우, 결합 스펙트럼 신호의 스펙트럴 성분들은 채널 스펙트럴 성분들 각각의 위치 및 해당 위치에서의 크기가 결합되어 있는바, 주파수 성분 선택부(13)는 도 4에 도시된 43의 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하여 부호화에 할당되는 비트를 줄일 수 있다.
부호화 모드가 페어 모드인 경우, 결합 스펙트럼 신호의 스펙트럴 성분들은 채널 스펙트럴 성분들의 위치에서의 크기가 결합되어 있는바, 주파수 성분 선택부(13)는 도 4에 도시된 43의 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하여 부호화에 할당되는 비트를 줄일 수 있다.
부호화 모드가 하프섬 모드인 경우, 결합 스펙트럼 신호의 스펙트럴 성분들은 채널 스펙트럴 성분들의 평균 값으로 이루어져있는바, 부호화에 할당되는 비트가 많지 않다. 따라서, 주파수 성분 선택부(13)는 도 4에 도시된 43의 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하지 않고 결합 스펙트럼 신호의 스펙트럴 성분들을 그대로 출력할 수 있다. 그러나, 다른 실시예에서 주파수 성분 선택부(13)는 도 4에 도시된 43의 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하여 부호화에 할당되는 비트를 더 줄일 수 있다.
다시 말해, 부호화 모드가 듀얼 모드 또는 페어 모드인 경우에 비하여 부호화 모드가 하프섬 모드인 경우에는 결합 스펙트럼 신호는 각 스펙트럴 성분들의 평균 값으로 생성되었으므로, 부호화에 할당되는 비트가 적지만, 이 경우에도 중요 스펙트럴 성분들을 선택하여 부호화에 할당되는 비트는 더 줄일 수 있다.
이상에서는 주파수 성분 선택부(13)가 좌채널 스펙트럼 신호(LS) 및 우채널 스펙트럼 신호(RS)를 결합한 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 동작에 대하여 설명하였다. 그러나, 이는 본 발명의 일 실시예에 불과하고, 당업자에 의하여 다양한 변형이 가능하다.
예를 들어, 주파수 성분 선택부(13)는 좌채널 스펙트럼 신호(LS)의 스펙트럴 성분들 및 우채널 스펙트럼 신호(RS)의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택할 수 있다. 이 경우에는 스펙트럼 결합부(122)는 주파수 성분 선택부(13)에서 선택된 좌채널의 중요 스펙트럴 성분들과 우채널의 중요 스펙트럴 성분들을 부호화 모드를 기초로 결합하여 결합 스펙트럼 신호를 생성할 수 있다. 다시 말해, 주파수 성분 선택부(13)와 스펙트럼 결합부(122)의 위치는 서로 변경이 가능하다.
다시 도 1을 참조하면, 양자화부(14)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 할당된 SMR 값으로 주파수 성분 선택부(13)에서 출력된 중요 스펙트럴 성분들을 양자화한다. 여기서, 심리 음향 모델은 인간의 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다. 구체적으로, 양자화부(14)는 중요 스펙트럴 성분들의 위치 정보 및 크기 정보를 양자화한다.
다중화부(15)는 양자화부(14)의 출력 및 스테레오 부호화 모드 결정부(121)에서 결정된 스테레오 부호화 모드 정보를 다중화한 비트 스트림을 생성하여 출력한다. 이 경우, 생성된 비트 스트림에 포함된 부호화 모드 정보는 비트 스트림의 복호화 시 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 5를 참조하면, 오디오 신호의 복호화 장치는 역다중화부(51), 역양자화부(52), 분리부(53) 및 역변환부(54)를 포함한다. 역변환부(54)는 제1 역변환부(541) 및 제2 역변환부(542)를 포함한다.
역다중화부(51)는 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 비트 스트림을 수신하여 역다중화한다. 여기서, 부호화 모드 정보는 오디오 신호의 부호화 장치에서 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 채널 스펙트럼 신호들 사이의 유사도에 따라 결정된 부호화 모드를 나타낸다. 이러한 부호화 모드 정보는 비트 스트림에 포함되어 복호화 장치로 전송될 수 있으며, 오디오 신호의 복호화 장치에서 복호화 모드 정보로 이용될 수 있다.
역양자화부(52)는 역다중화부(51)에서 출력된 부호화된 스펙트럴 성분들을 역양자화한다. 구체적으로, 역양자화부(52)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 할당된 SMR 값으로 부호화된 스펙트럴 성분들을 역양자화한다. 여기서, 심리 음향 모델은 인간의 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
분리부(53)는 역다중화부(51)로부터 추출한 복호화 모드 정보에 따라 서브 밴드 별로 복호화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리한다. 예를 들어, 분리부(53)는 역다중화부(51)로부터 추출한 복호화 모드 정보에 따라 서브 밴드 별로 복호화된 스펙트럴 성분들을 각각 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호로 분리한다.
역변환부(54)는 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성한다. 구체적으로, 제1 역변환부(541)는 좌채널 스펙트럼 신호를 수신하여 시간 도메인으로 역변환하여 좌채널 신호를 생성하고, 제2 역변환부(542)는 우채널 스펙트럼 신호를 수신하여 시간 도 메인으로 역변환하여 우채널 신호를 생성한다.
도 6은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 6을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 1에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
61 단계에서 변환부(11)는 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성한다.
62 단계에서 결합 스펙트럼 생성부(12)는 채널 스펙트럼 신호들 사이의 유사도에 따라 채널 스펙트럼 신호들을 결합한다. 구체적으로, 스테레오 부호화 모드 결정부(121)는 채널 스펙트럼 신호들의 서브 밴드 별로 채널 스펙트럼 신호들의 상관 계수를 계산하고, 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 계산된 상관 계수에 따른 한가지 부호화 모드를 결정한다. 예를 들어, 스테레오 부호화 모드 결정부(121)는 계산된 상관 계수를 제1 임계 값(threshold value) 및 제1 임계 값보다 작은 제2 임계 값과 비교하여, 다수의 부호화 모드들 중 한가지 부호화 모드를 결정할 수 있다. 스펙트럼 결합부(122)는 결정된 부호화 모드에 따라 채널 스펙트럼 신호들을 결합한다.
63 단계에서 양자화부(14)는 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화한다.
도 7은 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 7을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 1에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
71 단계에서 변환부(11)는 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성한다.
72 단계에서 스테레오 부호화 모드 결정부(121)는 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 채널 스펙트럼 신호들 사이의 유사도에 따른 한가지 부호화 모드를 결정한다. 구체적으로, 스테레오 부호화 모드 결정부(121)는 채널 스펙트럼 신호들의 서브 밴드 별로 채널 스펙트럼 신호들의 상관 계수를 계산하고, 다수의 부호화 모드들 중 계산된 상관 계수에 따른 한가지 부호화 모드를 결정한다. 예를 들어, 스테레오 부호화 모드 결정부(121)는 계산된 상관 계수를 제1 임계 값 및 제1 임계 값보다 작은 제2 임계 값과 비교하여, 부호화 모드를 결정할 수 있다.
73 단계에서 주파수 성분 선택부(13)는 채널 스펙트럼 신호들 각각의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택한다.
74 단계에서 스펙트럼 결합부(122)는 선택된 중요 스펙트럴 성분들을 결정된 부호화 모드에 따라 결합하여 부호화한다.
도 8은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 8을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 5에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 5에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
81 단계에서 스펙트럴 성분 복호화부(53)는 부호화된 스펙트럴 성분들을 복호화한다.
82 단계에서 분리부(54)는 부호화 모드 정보에 따라 복호화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리한다.
83 단계에서 역변환부(55)는 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성한다.
도 9는 본 발명의 일 실시예에 따른 MS(Mid-Side) 스테레오 방식을 이용한 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 9를 참조하면, 오디오 신호의 부호화 장치는 합/차 신호 생성부(91), 변환부(92), 주파수 성분 선택부(93), 양자화부(94) 및 다중화부(95)를 포함한다. 여기서, 합/차 신호 생성부(91)는 가산부(91) 및 감산부(92)를 포함하며, 변환부(92) 는 제1 변환부(921) 및 제2 변환부(922)를 포함하고, 주파수 성분 선택부(93)는 제1 주파수 성분 선택부(931) 및 제2 주파수 성분 선택부(932)를 포함하며, 양자화부(94)는 제1 양자화부(941) 및 제2 양자화부(942)를 포함한다.
합/차 신호 생성부(91)는 시간 도메인의 좌채널 신호(L) 및 우채널 신호(R)의 합과 차에 해당하는 제1 및 제2 신호를 생성한다. 구체적으로, 가산부(911)는 시간 도메인의 좌채널 신호(L) 및 우채널 신호(R)의 합을 구하여 제1 신호를 생성한다. 본 발명의 다른 실시예에서, 가산부(911)는 좌채널 신호(L) 및 우채널 신호(R)의 합을 2로 나누어 제1 신호를 생성할 수 있다. 감산부(912)는 시간 도메인의 좌채널 신호(L) 및 우채널 신호(R)의 차를 구하여 제2 신호를 생성한다. 본 발명의 다른 실시예에서, 감산부(912)는 좌채널 신호(L) 및 우채널 신호(R)의 차를 2로 나누어 제2 신호를 생성할 수 있다.
변환부(92)는 제1 신호 및 제2 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하여 채널 스펙트럼 신호를 생성한다. 구체적으로, 제1 변환부(921)는 제1 신호를 시간 도메인에서 주파수 도메인으로 변환하여 제1 채널 스펙트럼 신호를 생성하고, 제2 변환부(922)는 제2 신호를 시간 도메인에서 주파수 도메인으로 변환하여 제2 채널 스펙트럼 신호를 생성할 수 있다.
주파수 성분 선택부(93)는 제1 및 제2 채널 스펙트럼 신호 각각에서 소정의 스펙트럴 성분을 선택한다. 구체적으로, 제1 주파수 성분 선택부(931)는 제1 채널 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 제2 주파수 성분 선택부(932)는 제2 채널 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택할 수 있다. 그러나, 이는 본 발명의 일 실시예에 불과하고, 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 장치는 주파수 성분 선택부(93)를 포함하지 않을 수 있다.
양자화부(94)는 제1 및 제2 주파수 성분 선택부(931, 932)에서 각각 선택된 스펙트럴 성분의 위치 정보 및 크기 정보를 양자화하여 부호화한다. 구체적으로, 제1 양자화부(941)는 제1 주파수 성분 선택부(931)에서 선택된 스펙트럴 성분의 위치 정보 및 크기 정보를 양자화하여 부호화하고, 제2 양자화부(942)는 제2 주파수 성분 선택부(932)에서 선택된 스펙트럴 성분의 위치 정보 및 크기 정보를 양자화하여 부호화할 수 있다.
다중화부(95)는 제1 및 제2 양자화부(941, 942)에서 양자화된 결과를 다중화하여 비트 스트림을 생성하여 출력한다.
도 10은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 10을 참조하면, 오디오 신호의 복호화 장치는 역다중화부(101), 역양자화부(102), 역변환부(103) 및 신호 분리부(104)를 포함한다.
역다중화부(101)는 부호화단으로부터 비트 스트림을 수신하여 역다중화한다. 여기서, 비트 스트림은 위치 정보 및 크기 정보의 파라미터, 부호화된 스펙트럴 성분들 및 좌/우채널 신호에 대한 분리 정보를 포함할 수 있다.
역양자화부(102)는 역다중화부(101)에서 출력된 부호화된 위치 정보 및 크기 정보의 파라미터를 이용하여 양자화된 스펙트럴 성분을 역양자화한다.
역변환부(103)는 역양자화부(102)에서 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환한다.
신호 분리부(104)는 역변환부(103)에서 시간 도메인으로 역변환된 신호로부터 좌채널 신호(L) 및 우채널 신호(R)를 분리한다. 여기서, 신호 분리부(104)는 역다중화부(101)에서 출력된 분리 정보를 이용하여 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리할 수 있다.
도 11은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 11을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 9에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 9에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
111 단계에서 합/차 신호 생성부(91)는 좌채널 신호와 우채널 신호의 합과 차에 해당하는 신호를 생성하고, 변환부(92)는 합과 차에 해당하는 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성한다.
112 단계에서 양자화부(94)는 스펙트럼 신호들로부터 위치 정보 및 크기 정보의 파라미터를 추출하여 부호화한다.
도 12는 본 발명의 다른 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 12를 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 9에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 9에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
121 단계에서 합/차 신호 생성부(91)는 좌채널 신호와 우채널 신호의 합과 차에 해당하는 신호를 생성하고, 변환부(92)는 합과 차에 해당하는 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성한다.
122 단계에서 주파수 성분 선택부(93)는 스펙트럼 신호들 중 소정의 스펙트럴 성분을 선택하고, 양자화부(94)는 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 양자화하여 부호화한다.
도 13은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 13을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 10에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 10에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
131 단계에서 역양자화부(102)는 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화한다.
132 단계에서 역변환부(103)는 역양자화된 스펙트럼 성분들을 시간 도메인으 로 역변환한다.
133 단계에서 신호 분리부(104)는 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리한다.
도 14는 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 14를 참조하면, 오디오 신호의 부호화 장치는 변환부(141), 선택부(142), 스펙트럼 부호화부(143), 위치 정보 부호화부(144) 및 다중화부(145)를 포함한다. 여기서, 변환부(141)는 제1 변환부(1411) 및 제2 변환부(1412)를 포함한다.
변환부(141)는 시간 도메인의 좌채널 신호(L) 및 우채널 신호(R)를 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호를 생성한다. 구체적으로, 제1 변환부(1411)는 시간 도메인의 좌채널 신호(L)를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호를 생성하고, 제2 변환부(1412)는 시간 도메인의 우채널 신호(R)를 주파수 도메인으로 변환하여 우채널 스펙트럼 신호를 생성할 수 있다.
선택부(142)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호 중 하나를 선택한다.
스펙트럼 부호화부(143)는 선택부(142)에서 선택된 스펙트럼 신호의 위치 정보 및 크기 정보의 파라미터를 추출하여 부호화한다.
위치 정보 부호화부(144)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호의 위치 정보를 부호화한다.
다중화부(145)는 스펙트럼 부호화부(142)에서 부호화된 결과 및 위치 정보 부호화부(144)에서 부호화된 결과를 다중화하여 비트 스트림을 생성하여 출력한다.
도 15는 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 15를 참조하면, 오디오 신호의 복호화 장치는 역다중화부(151), 역양자화부(152), 역변환부(153) 및 신호 분리부(154)를 포함한다.
역다중화부(151)는 부호화단으로부터 비트 스트림을 수신하여 역다중화한다. 여기서, 비트 스트림은 위치 정보 및 크기 정보의 파라미터, 부호화된 스펙트럴 성분들 및 좌/우채널 스펙트럼 신호의 위치 정보를 포함할 수 있다.
역양자화부(152)는 역다중화부(151)에서 출력된 부호화된 위치 정보 및 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화한다.
역변환부(153)는 역양자화부(152)에서 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환한다.
신호 분리부(154)는 역변환부(153)에서 시간 도메인으로 역변환된 신호로부터 좌채널 신호(L) 및 우채널 신호(R)를 분리한다. 여기서, 신호 분리부(154)는 역다중화부(151)에서 출력된 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호의 위치 정보를 이용하여 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리할 수 있다.
도 16은 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 16을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 14에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 14에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
161 단계에서 변환부(141)는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하고, 선택부(142)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호 중 하나를 선택한다.
162 단계에서 스펙트럼 부호화부(143)는 선택된 스펙트럼 신호의 위치 정보 및 크기 정보의 파라미터를 추출하여 부호화한다.
163 단계에서 위치 정보 부호화부(144)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호의 위치 정보를 부호화한다.
도 17은 본 발명의 다른 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 17을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 14에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 14에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
171 단계에서 변환부(141)는 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하고, 선택 부(142)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호 중 하나를 선택한다.
172 단계에서 스펙트럼 부호화부(143)는 선택된 스펙트럼 성분 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보 및 크기 정보를 부호화한다.
173 단계에서 위치 정보 부호화부(144)는 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호의 위치 정보를 부호화한다.
도 18은 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 18을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 15에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 15에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
181 단계에서 역양자화부(152)는 부호화된 위치 정보 및 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화한다.
182 단계에서 역변환부(153)는 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환한다.
183 단계에서 신호 분리부(154)는 부호화된 위치 정보를 이용하여 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리한다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상 내에서 당업자 에 의한 변형이 가능함은 물론이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 2는 도 1의 오디오 신호의 부호화 장치에 포함된 스테레오 부호화 모드 결정부에서 스테레오 부호화 모드를 결정하는 과정을 나타내는 흐름도이다.
도 3은 도 1의 오디오 신호의 부호화 장치에 포함된 스테레오 부호화 모드 결정부가 스테레오 신호의 유사도에 따라 스테레오 부호화 모드를 결정하는 예를 나타낸다.
도 4는 도 1의 오디오 신호의 부호화 장치에 포함된 스펙트럼 결합부가 부호화 모드에 따라 스테레오 신호를 결합하는 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 MS(Mid-Side) 스테레오 방식을 이용한 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 10은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 11은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 MS 스테레오 방식을 이용한 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 15는 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 17은 본 발명의 다른 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 18은 본 발명의 일 실시예에 따른 인텐시티 스테레오 방식을 이용한 오디오 신호의 복호화 방법을 나타내는 흐름도이다.

Claims (51)

  1. 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서,
    (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계;
    (b) 상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합하는 단계; 및
    (c) 상기 채널 스펙트럼 신호들이 결합된 결합 스펙트럼 신호의 스펙트럴 성분들을 부호화하는 단계를 포함하고,
    상기 (c) 단계는 상기 스펙트럴 성분들의 위치 정보 및 크기 정보 중 적어도 하나를 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는
    (b1) 상기 채널 스펙트럼 신호들의 서브 밴드 별로 상기 채널 스펙트럼 신호들의 상관 계수(correlation coefficient)를 계산하는 단계;
    (b2) 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 상관 계수에 따른 한가지 부호화 모드를 결정하는 단계; 및
    (b3) 상기 결정된 부호화 모드에 따라 상기 채널 스펙트럼 신호들을 결합하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  3. 제1항에 있어서,
    상기 (c) 단계는
    상기 스펙트럴 성분들으로부터 소정의 파라미터를 추출하고, 상기 추출된 파라미터를 부호화하고,
    상기 파라미터는 선택된 주파수에서 위치 정보와 크기 정보인 것을 특징으로 하는 오디오 신호의 부호화 방법.
  4. 제1항에 있어서,
    상기 (c) 단계는
    상기 스펙트럴 성분들 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  5. 제2항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제1 임계 값 보다 큰 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들의 평균 값을 부호화하는 방식을 나타내는 하프섬(half-sum) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  6. 제5항에 있어서,
    상기 (c) 단계는
    상기 결정된 하프섬 모드에 따라 상기 결합 스펙트럼 신호의 상기 스펙트럴 성분들의 평균 값을 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  7. 제5항에 있어서,
    상기 (c) 단계는
    상기 결정된 하프섬 모드에 따라 상기 결합 스펙트럼 신호의 상기 스펙트럴 성분들 중 중요 스펙트럴 성분들(important spectral components)을 선택하고, 상기 선택된 중요 스펙트럴 성분들의 평균 값을 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  8. 제2항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제1 임계 값 보다 작고 상기 제1 임계 값 보다 작은 제2 임계 값 보다 큰 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들의 위치 정보는 공유하고, 상기 채널 스펙트럼 신호들의 크기 정보는 각각 부호화하는 방식을 나타내는 페어(pair) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  9. 제8항에 있어서,
    상기 (c) 단계는
    상기 결합 스펙트럼 신호의 상기 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하고, 상기 결정된 페어 모드에 따라 상기 선택된 중요 스펙트럴 성분들의 위치 정보를 공유하고, 상기 선택된 중요 스펙트럴 성분들의 크기 정보를 각각 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  10. 제2항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제2 임계 값보다 작은 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들을 각각 부호화하는 방식을 나타내는 듀얼(dual) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  11. 제10항에 있어서,
    상기 (c) 단계는
    상기 결합 스펙트럼 신호의 상기 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하고, 상기 결정된 듀얼 모드에 따라 상기 선택된 중요 스펙트럴 성분들의 위치 정보 및 크기 정보를 각각 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  12. 제1항 내지 제11항 중 어느 한 항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  13. 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 방법에 있어서,
    (a) 상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 단계;
    (b) 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들 사이의 유사도에 따른 한가지 부호화 모드를 결정하는 단계;
    (c) 상기 채널 스펙트럼 신호들 각각의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 단계; 및
    (d) 상기 선택된 중요 스펙트럴 성분들을 상기 결정된 부호화 모드에 따라 결합하여 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  14. 제13항에 있어서,
    상기 (b) 단계는
    (b1) 상기 채널 스펙트럼 신호들의 서브 밴드 별로 상기 채널 스펙트럼 신호들의 상관 계수(correlation coefficient)를 계산하는 단계; 및
    (b2) 상기 다수의 부호화 모드들 중 상기 상관 계수에 따른 한가지 부호화 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  15. 제12항에 있어서,
    상기 (d) 단계는
    상기 중요 스펙트럴 성분들로부터 소정의 파라미터를 추출하고, 상기 추출된 파라미터를 부호화하고,
    상기 파라미터는 선택된 주파수에서 위치 정보와 크기 정보인 것을 특징으로 하는 오디오 신호의 부호화 방법.
  16. 제12항에 있어서,
    상기 (d) 단계는
    상기 스펙트럴 성분들 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  17. 제14항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제1 임계 값보다 큰 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들의 평균 값을 부호화하는 방식을 나타내는 하프섬(half-sum) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  18. 제17항에 있어서,
    상기 (d) 단계는
    상기 결정된 하프섬 모드에 따라 상기 결합된 중요 스펙트럴 성분들의 평균 값을 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  19. 제14항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제1 임계 값 보다 작고 상기 제1 임계 값 보다 작은 제2 임계 값 보다 큰 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들의 위치 정보는 공유하고, 상기 채널 스펙트럼 신호들의 크기 정보는 각각 부호화하는 방식을 나타내는 페어(pair) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  20. 제19항에 있어서,
    상기 (d) 단계는
    상기 결정된 페어 모드에 따라 상기 결합된 중요 스펙트럴 성분들의 위치 정보를 공유하고, 상기 선택된 중요 스펙트럴 성분들의 크기 정보를 각각 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  21. 제14항에 있어서,
    상기 (b2) 단계는
    상기 상관 계수가 제2 임계 값보다 작은 경우 상기 다수의 부호화 모드들 중 상기 채널 스펙트럼 신호들을 각각 부호화하는 방식을 나타내는 듀얼(dual) 모드로 결정하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  22. 제21항에 있어서,
    상기 (d) 단계는
    상기 결정된 듀얼 모드에 따라 상기 결합된 중요 스펙트럴 성분들의 위치 정보 및 크기 정보를 각각 부호화하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  23. 제13항 내지 제22항 중 어느 한 항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  24. 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 오디오 비트 스트림을 복호화하는 방법에 있어서,
    (a) 상기 부호화된 스펙트럴 성분들을 복호화하는 단계;
    (b) 상기 부호화 모드 정보에 따라 상기 복호화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리하는 단계; 및
    (c) 상기 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  25. 제24항에 있어서,
    상기 (b) 단계는
    상기 부호화 모드 정보가 상기 스펙트럴 성분들의 평균 값이 부호화된 하프섬 모드인 경우 상기 복호화된 스펙트럴 성분들을 각각 위치 및 크기가 동일한 상기 채널 스펙트럼 신호들로 분리하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  26. 제24항에 있어서,
    상기 (b) 단계는
    상기 부호화 모드 정보가 상기 스펙트럴 성분들의 위치 정보는 공유하고, 크기 정보는 각각 부호화된 페어 모드인 경우 상기 복호화된 스펙트럴 성분들을 각각 위치는 동일하고, 크기가 서로 다른 상기 채널 스펙트럼 신호들로 분리하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  27. 제24항에 있어서,
    상기 (b) 단계는
    상기 부호화 모드 정보가 상기 스펙트럴 성분들의 위치 정보 및 크기 정보가 각각 부호화된 듀얼 모드인 경우 상기 복호화된 스펙트럴 성분들을 각각 위치 및 크기가 서로 다른 상기 채널 스펙트럼 신호들로 출력하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  28. 제24항 내지 제27항 중 어느 한 항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  29. 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 장치에 있어서,
    상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 변환부;
    상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합함으로써 결합 스펙트럼 신호를 생성하는 결합 스펙트럼 신호 생성부; 및
    상기 결합 스펙트럼 신호의 스펙트럴 성분들을 양자화하는 양자화부를 포함하고,
    상기 양자화부는 상기 스펙트럴 성분들의 위치 정보 및 크기 정보 중 적어도 하나를 양자화하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  30. 제29항에 있어서,
    상기 결합 스펙트럼 신호 생성부는
    상기 채널 스펙트럼 신호들의 서브 밴드 별로 상기 채널 스펙트럼 신호들의 상관 계수를 계산하고, 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 상관 계수에 따른 한가지 부호화 모드를 결정하는 스테레오 부호화 모드 결정부; 및
    상기 결정된 부호화 모드에 따라 상기 채널 스펙트럼 신호들을 결합하는 스펙트럼 결합부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  31. 적어도 두 개의 채널 신호를 포함하는 오디오 신호를 부호화하는 장치에 있어서,
    상기 채널 신호들을 각각 주파수 도메인으로 변환하여 채널 스펙트럼 신호들을 생성하는 변환부;
    상기 채널 스펙트럼 신호들 사이의 유사도에 따라 상기 채널 스펙트럼 신호들을 결합함으로써 결합 스펙트럼 신호를 생성하는 결합 스펙트럼 신호 생성부;
    상기 결합 스펙트럼 신호의 스펙트럴 성분들 중 중요 스펙트럴 성분들을 선택하는 주파수 성분 선택부; 및
    상기 선택된 중요 스펙트럴 성분들을 양자화하는 양자화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  32. 제31항에 있어서,
    상기 결합 스펙트럼 신호 생성부는
    상기 채널 스펙트럼 신호들의 서브 밴드 별로 상기 채널 스펙트럼 신호들의 상관 계수를 계산하고, 서로 다른 방식으로 부호화하는 다수의 부호화 모드들 중 상기 상관 계수에 따른 한가지 부호화 모드를 결정하는 부호화 모드 결정부; 및
    상기 결정된 부호화 모드에 따라 상기 채널 스펙트럼 신호들을 결합하는 스펙트럼 결합부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  33. 부호화된 스펙트럴 성분들 및 부호화 모드 정보를 포함하는 오디오 비트 스트림을 복호화하는 장치에 있어서,
    (a) 상기 부호화된 스펙트럴 성분들을 역양자화하는 역양자화부;
    (b) 상기 부호화 모드 정보를 기초로 상기 역양자화된 스펙트럴 성분들을 적어도 두 개의 채널 스펙트럼 신호들로 분리하는 분리부; 및
    (c) 상기 적어도 두 개의 채널 스펙트럼 신호들을 각각 시간 도메인으로 역변환하여 적어도 두 개의 채널 신호들을 생성하는 역변환부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  34. 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및
    상기 스펙트럼 신호들로부터 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  35. 제34항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴 퓨터로 읽을 수 있는 기록 매체.
  36. 좌채널 신호 및 우채널 신호의 합과 차를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 단계; 및
    상기 스펙트럼 신호들 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  37. 제36항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  38. 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계;
    상기 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환하는 단계; 및
    상기 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  39. 제38항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  40. 좌채널 신호 및 우채널 신호의 합에 해당하는 제1 신호 및 상기 좌채널 신호 및 상기 우채널 신호의 차에 해당하는 제2 신호를 생성하는 합/차 신호 생성부;
    상기 제1 및 제2 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 변환부; 및
    상기 스펙트럼 신호들로부터 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  41. 좌채널 신호 및 우채널 신호의 합에 해당하는 제1 신호 및 상기 좌채널 신호 및 상기 우채널 신호의 차에 해당하는 제2 신호를 생성하는 합/차 신호 생성부;
    상기 제1 및 제2 신호를 각각 주파수 도메인으로 변환하여 스펙트럼 신호들을 생성하는 변환부;
    상기 스펙트럼 신호들 중 중요 스펙트럴 성분들을 선택하는 주파수 성분 선택부; 및
    상기 선택된 중요 스펙트럴 성분들을 양자화하는 양자화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  42. 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 역양자화부;
    상기 역양자화된 스펙트럼 성분들을 시간 도메인으로 역변환하는 역변환부; 및
    상기 역변환된 신호로부터 좌채널 신호 및 우채널 신호를 분리하는 신호 분리부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  43. 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계;
    상기 선택된 스펙트럼 신호의 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 단계; 및
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  44. 제43항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  45. 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼신호 및 우채널 스펙트럼 신호를 생성하고, 상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 단계;
    상기 선택된 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 단계; 및
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부 호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  46. 제45항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  47. 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 단계;
    상기 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환하는 단계; 및
    부호화된 위치 정보를 이용하여 상기 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  48. 제47항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  49. 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼 신호 및 우채널 스펙트럼 신호를 생성하는 변환부;
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 선택부;
    상기 선택된 스펙트럼 신호의 위치 정보와 크기 정보의 파라미터를 추출하여 부호화하는 스펙트럼 부호화부; 및
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 위치 정보 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  50. 좌채널 신호 및 우채널 신호를 주파수 도메인으로 변환하여 좌채널 스펙트럼신호 및 우채널 스펙트럼 신호를 생성하는 변환부;
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호 중 하나를 선택하는 선택부;
    상기 선택된 스펙트럼 신호 중 소정의 스펙트럴 성분을 선택하고, 선택된 스펙트럴 성분의 위치 정보와 크기 정보를 부호화하는 스펙트럼 부호화부; 및
    상기 좌채널 스펙트럼 신호 및 상기 우채널 스펙트럼 신호의 위치 정보를 부호화하는 위치 정보 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  51. 부호화된 위치 정보와 크기 정보의 파라미터를 이용하여 양자화된 스펙트럼 성분을 역양자화하는 역양자화부;
    상기 역양자화된 스펙트럼 성분을 시간 도메인으로 역변환하는 역변환부; 및
    부호화된 위치 정보를 이용하여 상기 역변환된 신호를 좌채널 신호 및 우채널 신호로 분리하는 신호 분리부를 포함하는 것을 특징으로 하는 오디오 신호의 복 호화 장치.
KR1020070067132A 2007-07-04 2007-07-04 오디오 신호의 부호화/복호화 방법 및 장치 KR100928967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070067132A KR100928967B1 (ko) 2007-07-04 2007-07-04 오디오 신호의 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070067132A KR100928967B1 (ko) 2007-07-04 2007-07-04 오디오 신호의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090002842A KR20090002842A (ko) 2009-01-09
KR100928967B1 true KR100928967B1 (ko) 2009-11-26

Family

ID=40485766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070067132A KR100928967B1 (ko) 2007-07-04 2007-07-04 오디오 신호의 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100928967B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530446B (zh) * 2019-09-18 2023-10-20 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
CN115346540B (zh) * 2022-08-18 2025-02-14 北京百瑞互联技术股份有限公司 一种联合立体声音频编解码方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
122nd AES Convention paper 'MPEG surround-the ISO/MPEG standard for efficient and compatible multi-channel audio coding'(2007.05.5-8)*
Jeroen Breetbaart,‘Spatial psychoacoustics as the basis for innovations in the field of audio coding and precessing' (2007.09.2-7)*

Also Published As

Publication number Publication date
KR20090002842A (ko) 2009-01-09

Similar Documents

Publication Publication Date Title
JP4506039B2 (ja) 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
KR101435893B1 (ko) 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
KR101428487B1 (ko) 멀티 채널 부호화 및 복호화 방법 및 장치
US8612215B2 (en) Method and apparatus to extract important frequency component of audio signal and method and apparatus to encode and/or decode audio signal using the same
KR101411901B1 (ko) 오디오 신호의 부호화/복호화 방법 및 장치
US20080077412A1 (en) Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
KR101444102B1 (ko) 스테레오 오디오의 부호화, 복호화 방법 및 장치
CN103765509B (zh) 编码装置及方法、解码装置及方法
EP3340244A1 (en) Signal processing apparatus and method, and program
KR20090043921A (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치
JP4296753B2 (ja) 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
KR101346358B1 (ko) 대역폭 확장 기법을 이용한 오디오 신호의 부호화/복호화방법 및 장치
JP2000515266A (ja) オーディオ信号コーディング中にノイズ置換を信号で知らせる方法
KR20080044707A (ko) 오디오/스피치 신호 부호화 및 복호화 방법 및 장치
KR100695125B1 (ko) 디지털 신호 부호화/복호화 방법 및 장치
KR20080082142A (ko) 노이즈 신호 부호화 및 복호화 장치 및 방법
US10269361B2 (en) Encoding device, decoding device, encoding method, decoding method, and non-transitory computer-readable recording medium
US9830919B2 (en) Acoustic signal coding apparatus, acoustic signal decoding apparatus, terminal apparatus, base station apparatus, acoustic signal coding method, and acoustic signal decoding method
KR100952065B1 (ko) 부호화 방법 및 장치, 및 복호 방법 및 장치
KR20140026279A (ko) 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법
KR100928967B1 (ko) 오디오 신호의 부호화/복호화 방법 및 장치
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치
KR20210133554A (ko) 선형 예측 코딩을 이용한 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기
CN103733256A (zh) 音频信号处理方法、音频编码设备、音频解码设备和采用所述方法的终端
JP2005196029A (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070704

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090430

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20091031

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20091120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20091123

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20121030

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20131030

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20141030

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20161009