[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20100007749A - 음성/음악 통합 신호의 부호화/복호화 방법 및 장치 - Google Patents

음성/음악 통합 신호의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20100007749A
KR20100007749A KR1020090062070A KR20090062070A KR20100007749A KR 20100007749 A KR20100007749 A KR 20100007749A KR 1020090062070 A KR1020090062070 A KR 1020090062070A KR 20090062070 A KR20090062070 A KR 20090062070A KR 20100007749 A KR20100007749 A KR 20100007749A
Authority
KR
South Korea
Prior art keywords
signal
input signal
encoding
music
encoder
Prior art date
Application number
KR1020090062070A
Other languages
English (en)
Other versions
KR101261677B1 (ko
Inventor
이태진
백승권
김민제
장대영
서정일
강경옥
홍진우
박호종
박영철
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to EP09798082.5A priority Critical patent/EP2302345B1/en
Priority to CN201410479883.9A priority patent/CN104299618B/zh
Priority to CN200980135842.5A priority patent/CN102150024B/zh
Priority to US13/054,376 priority patent/US8990072B2/en
Priority to PCT/KR2009/003861 priority patent/WO2010008179A1/ko
Priority to EP17173025.2A priority patent/EP3249373A1/en
Publication of KR20100007749A publication Critical patent/KR20100007749A/ko
Application granted granted Critical
Publication of KR101261677B1 publication Critical patent/KR101261677B1/ko
Priority to US14/605,006 priority patent/US9711159B2/en
Priority to US15/618,689 priority patent/US10121482B2/en
Priority to US16/179,120 priority patent/US10777212B2/en
Priority to US17/018,295 priority patent/US11456002B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2207/00—Indexing scheme relating to arrangements for writing information into, or reading information out from, a digital store
    • G11C2207/16—Solid state audio

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

음성/음악 통합 신호의 부호화/복호화 방법 및 장치가 개시된다. 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 LPC (Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
음성, 음악, 복호화, 부호화, 입력신호분석

Description

음성/음악 통합 신호의 부호화/복호화 방법 및 장치{APPARATUS AND METHOD FOR ENCODING AND DECODING OF INTEGRATED VOICE AND MUSIC}
음성/음악 통합 신호의 부호화/복호화 방법 및 장치에 관한 것으로 특히, 음성과 음악 신호에 대해 서로 다른 구조로 동작하는 부/복호화 모듈을 가지고 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택하여, 음성/음악 모든 신호에 대해 효과적으로 부호화하는 방법 및 장치에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술개발].
음성 신호와 음악 신호는 서로 다른 특성을 가지며, 각 신호의 고유 특성을 활용하여 각 신호에 특화된 음성 코덱과 음악 코덱이 독립적으로 연구되고 각각의 표준 코덱이 개발되었다. 현재 널리 사용되는 음성 코덱(AMR-WB+)은 CELP 구조를 가지며, 음성의 발성 모델에 따라 LPC 기반으로 음성 파라미터를 추출하고 양자화 하는 구조를 가진다. 반면, 현재 널리 사용되는 음악 코덱(HE-AAC V2)은 주파수 영역에서 인간의 청각 특성을 고려하여 심리음향 측면에서 최적으로 주파수 계수를 양자화 하는 구조를 가지고 있다.
따라서, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택하여, 음성/음악 모든 신호에 대해 효과적으로 부호화하는 기술이 요구된다.
본 발명은 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공하는 장치 및 방법을 제공한다.
본 발명은 다양한 비트율에서 음성 부호화기와 음악 보호화기를 적절하게 조합함으로써, 다양한 입력 신호에 모두 우수한 음질을 제공하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 제1 변환 부호화부의 출력 신호 및 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 일측면에 따르면, 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부 및 상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 스테레오 부호화부는, 상기 입력 신호의 특성에 따라 스트레오 부호화를 위한 파라미터 값을 제어하고, 상기 주파수 대역 확장부는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다.
본 발명의 일측면에 따르면, 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 LPC 부호화부는, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부 및 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 입력 신호 분석부는, 상기 입력 신호를 상기 음악 특성 신호, 상기 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류할 수 있다.
본 발명의 일측면에 따르면, 상기 음성 특성 신호는, 하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류하고, 상기 음악 특성 신호는, 복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류할 수 있다.
본 발명의 다른 일실시예에 따른 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부, 상기 입력 신호를 고주파 대역신호로 확장하기 위한 정보를 생성하는 주파수 대역 확장부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 고주파 대역신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 고주파 대역신호를 LPC (Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 스트레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 음성/음악 통합 신호의 복호화 장치는, 입력된 비트스트림 신호를 분석하는 비트스트림 분석부, 상기 비트스트림 신호가 음악 비트스트림 신호인 경우, 상기 비트스트림 신호를 주파수 영역으로 변환하여 복호화하는 변환 복호화부, 상기 비트스트림 신호가 음성 비트스트림인 경우, 상기 비트스트림 신호를 LPC(Linear Predictive Coding)기반 복호화하는 LPC 복호화부, 상기 비트스트림 신호의 주파수 대역을 합성하는 주파수 대역 합성부 및 상기 비트스트림 신호를 스트레오 신호로 복호화하는 스트레오 복호화부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공하는 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 다양한 비트율에서 음성 부호화기와 음악 보호화기를 적절하게 조합함으로써, 다양한 입력 신호에 모두 우수한 음질을 제공하 는 장치 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 1을 참고하면, 음성/음악 통합 신호의 부호화 장치(100)는 입력 신호 분석부(110), 제1 변환 부호화부(120), LPC 부호화부(130), 및 비트스트림 생성부(140)를 포함할 수 있다.
입력 신호 분석부(110)는 입력 신호의 특성을 분석할 수 있다. 이때, 입력 신호 분석부(110)는 상기 입력 신호를 분석하여 음악 특성 신호, 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류할 수 있다.
여기서, 상기 음성 특성 신호는, 하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류할 수 있다. 또한, 상기 음악 특성 신호는, 복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류할 수 있다.
상기 입력 신호의 상태는 다음과 더욱 상세하게 분류될 수 있다. 첫번째는, Steady-Harmonic(SH) State로서, 신호의 하모닉(Harmonic) 성분이 분명하며, 안정되게 나타나는 신호구간이 이에 해당할 수 있다. 일예로, 음성의 유성음 구간이 대표적으로 포함될 수 있으며, 싱글 톤(Single-ton)의 정현파 신호들도 본 상태로 분류될 수 있다.
두번째는, Low Steady Harmonic(LSH) State로서, 상기 SH와 유사하나, 하모닉의 주기성이 상대적으로 길고, 낮은 주파수 대역에서 강한 steady 특성을 나타내는 상태가 이에 해당할 수 있다. 특히, 남성 음성의 유성음 구간이 이에 포함될 수 있다.
세번째는, Steady-Noise(SN) State로서, 백색성 잡음이 이에 해당될 수 있으며, 그 예로 음성의 무성음 구간이 기본적으로 포함될 수 있다.
네번째는, Complex-Harmonic(CH) State로서, 여러 톤 성분들이 섞여 복잡한 하모닉 구조를 이루는 신호구간이 이에 해당하며, 일반적인 음악의 연주구간들이 이에 포함될 수 있다.
다섯번째는, Complex-Noisy(CN) State로서, 안정적이지 못한 잡음 성분들이 포함된 신호는 본 상태로 분류될 수 있다. 일예로, 일상의 주변 잡음들, 혹은 음악의 연주구간에서 attack성의 신호등이 이에 해당될 수 있다.
여섯번째는, Silence(Si) State로서, 에너지 세기가 작은 구간이 본 상태로 분류될 수 있다.
입력 신호 분석부(110)의 출력 결과는 제1 변환 부호화부(120) 및 LPC 부호화부(130) 중 하나를 선택할 때 이용하고, LPC 기반의 부호화 시 시간 영역 부호화부(131) 및 제2 변환 부호화부(132)의 동작 중 하나를 선택할 때 이용할 수 있다
제1 변환 부호화부(120)는 입력 신호가 음악 특성 신호인 경우, 입력 신호의 코어 대역을 주파수 영역으로 변환하여 부호화할 수 있다.
LPC 부호화부(130)는 입력 신호가 음성 특성 신호인 경우, 입력 신호의 코어 대역에 대하여 LPC(Linear Predictive Coding)기반 부호화할 수 있다. 여기서, LPC 부호화부(130)는 시간 영역 부호화부(131) 및 제2 변환 부호화부(132)를 포함할 수 있다.
시간 영역 부호화부(131)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화할 수 있다.
제2 변환 부호화부(132)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화할 수 있다.
비트스트림 생성부(140)는 제1 변환 부호화부(120)의 정보 및 LPC 부호화부(130)의 정보를 이용하여 비트스트림을 생성할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부(미도시)를 더 포함할 수 있다. 상기 스테레오 부호화부는, 상기 입력 신호의 특성에 따라 하나 이상의 파라미터를 선택적으로 적용할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부(미도시)를 더 포함할 수 있다. 상기 주파수 대역 확장부는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부(미도시)를 더 포함할 수 있다.
도 2는 본 발명의 다른 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 2를 참고하면, 음성/음악 통합 신호의 부호화 장치(200)는 입력 신호 분석부(210), 제1 변환 부호화부(220), LPC 부호화부(230), 비트스트림 생성부(240), 스테레오 부호화부(250), 및 주파수 대역 확장부(260)를 포함할 수 있다.
입력 신호 분석부(210)는 입력 신호의 특성을 분석할 수 있다.
스테레오 부호화부(250)는 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출할 수 있다. 즉, 입력 신호가 스테레오인 경우, 스테레오 부호화부(250)는 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상에 대한 정보를 추출할 수 있다. 스테레오 부호화부(250)의 동작은 도 3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 3은 도 2에 도시된 스트레오 부호화부의 일례를 도시한 도면이다.
도 3을 참고하면, 스테레오 부호화부(250)는 기본 처리부(351), 음성신호 처리부(352), 음악신호 처리부(353)를 포함할 수 있다. 여기서, 스테레오 부호화부(250)는 분석된 입력 신호의 특성에 따라 부호화 모듈을 달리할 수 있다. 즉, 입력 신호 분석부(210)에서 분석된 입력 신호의 정보는 스테레오 부호화부(250)에서 활용할 수 있고, 분석된 입력 신호에 따라 스테레오 부호화부(250)에서 사용되 는 파라미터를 조절할 수 있다. 예를 들어, 입력 신호가 Complex state인 경우 음악적 특성이 강한 입력신호이므로, 음악신호 처리부(353)에서는, 스트레오 이미지(stereo image)를 보다 분명하게 재현하기 위하여 스테레오 부호화부(250)에서 사용되는 기본 파라미터를 높은 분해능(high resolution)으로 전송되도록 할 수 있고, 스테레오 음상을 위한 추가적인 정보도 전송할 수 있다. . 일예로, complex state에 대해서, 스테레오 부호화부(250)에서 8-level 양자화기를 사용하는 ICC 파라미터에 대해서 16-level까지 확장하여 전송함으로써 음상의 특성을 향상 시킬 수 있다.
한편, 입력 신호가 steady state의 특성일 경우에는 음성신호 처리부(352)에서 입력 신호를 처리할 수 있다. 또한, 그 밖의 신호는 기본 처리부(351)에서 처리되도록 할 수 있다.
주파수 대역 확장부(260)는 상기 입력 신호를 고주파 대역신호로 확장하기 위한 정보를 생성할 수 있다. 주파수 대역 확장부(260)는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다. 여기서, 주파수 대역 확장부(260)는 도 4를 참고하여 이하에서 더욱 상세하게 설명한다.
도 4는 도 2에 도시된 주파수 대역 확장부의 일례를 도시한 도면이다.
도 4를 참고하면, 주파수 대역 확장부(260)는, 음악신호 처리부(461), SH 처리부(462), LSH 처리부(463)를 포함할 수 있다. 즉, 주파수 대역 확장부(260)에서도 입력 신호 분석부(210)에서 분석한 정보의 활용이 가능하다. 이때, Complex state의 경우 음악신호 처리부(461)에서 기존의 부호화 방법과 동일하게 부호화를 처리할 수 있다.
또한, 음악신호 처리부(461)에서는, 입력 신호가 complex-noise state인 경우 고주파 대역에 많은 정보가 있는 상태이므로, 상대적으로 많은 비트를 할당하여 처리할 수 있다. 반면, 입력신호가 speech인 경우는, 고주파 대역의 신호가 무성음 잡음성인 경우가 대부분이다. 따라서, steady state의 경우 주파수 대역 확장부(260)의 동작을 complex state와는 다르게 적용할 수 있다. 즉, 백색성 잡음을 잘 표현하기 위한 주파수 대역 확장 규격의 적용이 필요하다. 특히, 남성과 여성의 음성은 하모닉 성분이 뚜렷이 구분되므로, 남성의 음성이 여성의 음성에 비하여 고주파 대역 정보가 상대적으로 덜 민감하다. 따라서 SH 처리부(462)에서는 남성 음성에 대해서는 백색성 잡음 부호화를 약하게 할 뿐만 아니라, 과도하게 고주파 영역의 부호화 예측되지 않도록 설정할 수 있다. 반면, LSH 처리부(463)에서는 여성의 음성 특성에 맞도록 부호화를 처리할 수 있다.
제1 변환 부호화부(220)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 고주파 대역신호를 주파수 영역으로 변환하여 부호화할 수 있다. 여기서, 제1 변환 부호화부(220)는 입력 신호가 음악 특성(complex state)을 가지는 신호인 경우, 주파수 대역 확장을 하지 않는 코어 대역에 대해 부호화를 수행할 수 있다. 일예로, 제1 변환 부호화부(220)는 MDCT기반의 부호화 방식을 이용할 수 있다.
LPC 부호화부(230)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 고주파 대역신호를 LPC(Linear Predictive Coding)기반 부호화할 수 있다. 여기서, LPC 부호화부(230)는 입력 신호가 음성 특성(steady state)을 가지는 신호인 경우, 주파수 대역 확장을 하지 않는 코어 대역에 대해 LPC 기반의 부호화를 수행할 수 있다. 한편, LPC 부호화부(230)는 시간 영역 부호화부(231) 및 제2 변환 부호화부(232)를 포함할 수 있다.
시간 영역 부호화부(231)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화할 수 있다. 즉, 시간 영역 부호화부(231)는 하모닉 성분의 강/약에 따라(ex. steady state의 결과에 따라) LPC를 거친 신호에 대해 CELP와 같은 시간 영역 부호화를 수행할 수 있다.
제2 변환 부호화부(232)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화할 수 있다. 즉, 제2 변환 부호화부(232)는 하모닉 성분의 강/약에 따라 FFT와 같은 주파수 영역으로 변환하는 방법을 사용하여 주파수 영역에서 부호화를 수행할 수 있다. 여기서, 제2 변환 부호화부(232)는 입력 신호의 특성에 따라 분해능(resolution)을 다양하게 구성할 수 있다.
비트스트림 생성부(240)는 상기 스트레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 정보 및 LPC 부호화부의 정보를 이용하여 비트스트림을 생성할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(200)는 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부(270)를 더 포함할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 복호화 장치 를 도시한 도면이다.
도 5를 참고하면, 음성/음악 통합 신호의 복호화 장치(500)는 비트스트림 분석부(510), 제1 변환 복호화부(500), LPC 복호화부(530), 주파수 대역 합성부(540), 및 스트레오 복호화부(550)를 포함할 수 있다.
비트스트림 분석부(510)는 입력된 비트스트림 신호를 분석할 수 있다.
제1 변환 복호화부(500)는 상기 비트스트림 신호가 음악 비트스트림 신호인 경우, 상기 비트스트림 신호를 주파수 영역으로 변환하여 복호화할 수 있다.
LPC 복호화부(530)는 상기 비트스트림 신호가 음성 비트스트림인 경우, 상기 비트스트림 신호를 LPC(Linear Predictive Coding)기반 복호화할 수 있다. 여기서, LPC 복호화부(530)는 입력된 비트스트림의 특성에 따라 시간 영역에서 복호화하기 위한 시간 영역 복호화부(531) 및 주파수 영역에서 복호화하기 위한 제2 변환 복호화부(532)를 포함할 수 있다.
주파수 대역 합성부(540)는 상기 비트스트림 신호의 주파수 대역을 합성할 수 있다.
스트레오 복호화부(550)는 상기 비트스트림 신호를 스트레오 신호로 복호화할 수 있다.
즉, 음성/음악 통합 신호의 복호화 장치(500)는 음성/음악 통합 신호의 부호화 장치(100, 200)의 동작을 역으로 수행할 수 있다.
상기와 같이, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 2는 본 발명의 다른 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 3은 도 2에 도시된 스트레오 부호화부의 일례를 도시한 도면이다.
도 4는 도 2에 도시된 주파수 대역 확장부의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 복호화 장치를 도시한 도면이다.

Claims (15)

  1. 입력 신호의 특성을 분석하는 입력 신호 분석부;
    상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부;
    상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부; 및
    상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하는 음성/음악 통합 신호의 부호화 장치.
  2. 제1항에 있어서,
    상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부
    를 더 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  3. 제2항에 있어서,
    상기 스테레오 부호화부는,
    상기 입력 신호의 특성에 따라 스트레오 부호화를 위한 파라미터 값을 제어하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  4. 제1항에 있어서,
    상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부
    를 더 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  5. 제4항에 있어서,
    상기 주파수 대역 확장부는,
    상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  6. 제1항에 있어서,
    인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부
    를 더 포함하는 음성/음악 통합 신호의 부호화 장치.
  7. 제1항에 있어서,
    상기 LPC 부호화부는,
    상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부; 및
    상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부;
    를 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  8. 제1항에 있어서,
    상기 입력 신호 분석부는,
    상기 입력 신호를 상기 음악 특성 신호, 상기 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  9. 제8항에 있어서,
    상기 음성 특성 신호는,
    하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류하고,
    상기 음악 특성 신호는,
    복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  10. 입력 신호의 특성을 분석하는 입력 신호 분석부;
    상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부;
    상기 입력 신호를 고주파 대역신호로 확장하기 위한 정보를 생성하는 주파수 대역 확장부;
    상기 입력 신호가 음악 특성 신호인 경우, 상기 고주파 대역신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부;
    상기 입력 신호가 음성 특성 신호인 경우, 상기 고주파 대역신호를 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부; 및
    상기 스트레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하는 음성/음악 통합 신호의 부호화 장치.
  11. 제10항에 있어서,
    인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부
    를 더 포함하는 음성/음악 통합 신호의 부호화 장치.
  12. 제10항에 있어서,
    상기 스테레오 부호화부는,
    상기 입력 신호의 특성에 따라 스트레오 부호화를 위한 파라미터 값을 제어하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  13. 제10항에 있어서,
    상기 주파수 대역 확장부는,
    상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  14. 제10항에 있어서,
    상기 LPC 부호화부는,
    상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부; 및
    상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부
    를 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  15. 입력된 비트스트림 신호를 분석하는 비트스트림 분석부;
    상기 비트스트림 신호가 음악 비트스트림 신호인 경우, 상기 비트스트림 신 호를 주파수 영역으로 변환하여 복호화하는 변환 복호화부;
    상기 비트스트림 신호가 음성 비트스트림인 경우, 상기 비트스트림 신호를 LPC(Linear Predictive Coding)기반 복호화하는 LPC 복호화부;
    상기 비트스트림 신호의 주파수 대역을 합성하는 주파수 대역 합성부; 및
    상기 비트스트림 신호를 스트레오 신호로 복호화하는 스트레오 복호화부
    를 포함하는 음성/음악 통합 신호의 복호화 장치.
KR1020090062070A 2008-07-14 2009-07-08 음성/음악 통합 신호의 부호화/복호화 장치 KR101261677B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201410479883.9A CN104299618B (zh) 2008-07-14 2009-07-14 统合地编码语音信号和音频信号的编码方法和解码方法
CN200980135842.5A CN102150024B (zh) 2008-07-14 2009-07-14 编码和解码统合的语音与音频信号的设备与方法
US13/054,376 US8990072B2 (en) 2008-07-14 2009-07-14 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander to output the audio or speech to a frequency domain encoder or an LPC encoder
PCT/KR2009/003861 WO2010008179A1 (ko) 2008-07-14 2009-07-14 음성/음악 통합 신호의 부호화/복호화 방법 및 장치
EP09798082.5A EP2302345B1 (en) 2008-07-14 2009-07-14 Apparatus for encoding and decoding of integrated speech and audio
EP17173025.2A EP3249373A1 (en) 2008-07-14 2009-07-14 Apparatus and method for encoding and decoding of integrated speech and audio
US14/605,006 US9711159B2 (en) 2008-07-14 2015-01-26 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication to output the audio or speech to a frequency domain encoder or an LPC encoder
US15/618,689 US10121482B2 (en) 2008-07-14 2017-06-09 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal characteristic
US16/179,120 US10777212B2 (en) 2008-07-14 2018-11-02 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal characteristic
US17/018,295 US11456002B2 (en) 2008-07-14 2020-09-11 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080068369 2008-07-14
KR1020080068369 2008-07-14
KR20080071218 2008-07-22
KR1020080071218 2008-07-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120076634A Division KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100007749A true KR20100007749A (ko) 2010-01-22
KR101261677B1 KR101261677B1 (ko) 2013-05-06

Family

ID=41816656

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090062070A KR101261677B1 (ko) 2008-07-14 2009-07-08 음성/음악 통합 신호의 부호화/복호화 장치
KR1020120076634A KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120076634A KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Country Status (5)

Country Link
US (5) US8990072B2 (ko)
EP (2) EP2302345B1 (ko)
KR (2) KR101261677B1 (ko)
CN (2) CN104299618B (ko)
WO (1) WO2010008179A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115409B2 (en) 2015-08-11 2018-10-30 Samsung Electronics Co., Ltd Adaptive processing of sound data

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261677B1 (ko) 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
US20120095729A1 (en) * 2010-10-14 2012-04-19 Electronics And Telecommunications Research Institute Known information compression apparatus and method for separating sound source
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
US9111531B2 (en) * 2012-01-13 2015-08-18 Qualcomm Incorporated Multiple coding mode signal classification
KR101717006B1 (ko) 2013-04-05 2017-03-15 돌비 인터네셔널 에이비 오디오 프로세싱 시스템
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技（深圳）有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
ES2702455T3 (es) 2014-02-24 2019-03-01 Samsung Electronics Co Ltd Procedimiento y dispositivo de clasificación de señales, y procedimiento y dispositivo de codificación de audio que usan los mismos
AU2014391078B2 (en) 2014-04-17 2020-03-26 Voiceage Evs Llc Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
CN110895943B (zh) 2014-07-01 2023-10-20 韩国电子通信研究院 处理多信道音频信号的方法和装置
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
KR20220009563A (ko) 2020-07-16 2022-01-25 한국전자통신연구원 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기
KR20220158395A (ko) 2021-05-24 2022-12-01 한국전자통신연구원 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE504010C2 (sv) * 1995-02-08 1996-10-14 Ericsson Telefon Ab L M Förfarande och anordning för prediktiv kodning av tal- och datasignaler
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
JP3211762B2 (ja) * 1997-12-12 2001-09-25 日本電気株式会社 音声及び音楽符号化方式
DE69926821T2 (de) 1998-01-22 2007-12-06 Deutsche Telekom Ag Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
EP2019391B1 (en) * 2002-07-19 2013-01-16 NEC Corporation Audio decoding apparatus and decoding method and program
JP4445328B2 (ja) 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
JP4871501B2 (ja) * 2004-11-04 2012-02-08 パナソニック株式会社 ベクトル変換装置及びベクトル変換方法
DE102005032724B4 (de) * 2005-07-13 2009-10-08 Siemens Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
TW200737738A (en) * 2006-01-18 2007-10-01 Lg Electronics Inc Apparatus and method for encoding and decoding signal
KR20070077652A (ko) * 2006-01-24 2007-07-27 삼성전자주식회사 적응적 시간/주파수 기반 부호화 모드 결정 장치 및 이를위한 부호화 모드 결정 방법
KR101393298B1 (ko) 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
WO2008035949A1 (en) 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
US20080114608A1 (en) * 2006-11-13 2008-05-15 Rene Bastien System and method for rating performance
KR101434198B1 (ko) 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
JP5377974B2 (ja) * 2006-11-30 2013-12-25 パナソニック株式会社 信号処理装置
KR100964402B1 (ko) * 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
KR101411901B1 (ko) * 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
KR101261677B1 (ko) * 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
PT3067890T (pt) * 2013-01-29 2018-03-08 Fraunhofer Ges Forschung Codificador de áudio, descodificador de áudio, método para fornecer uma informação de áudio codificada, método para fornecer uma informação de áudio descodificado, programa de computador e representação codificada utilizando uma extensão da largura de banda adaptável ao sinal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115409B2 (en) 2015-08-11 2018-10-30 Samsung Electronics Co., Ltd Adaptive processing of sound data

Also Published As

Publication number Publication date
US20190074022A1 (en) 2019-03-07
EP2302345B1 (en) 2017-06-21
KR101261677B1 (ko) 2013-05-06
CN104299618B (zh) 2019-07-12
EP2302345A4 (en) 2012-10-24
US20170345435A1 (en) 2017-11-30
US10121482B2 (en) 2018-11-06
US20200411022A1 (en) 2020-12-31
US8990072B2 (en) 2015-03-24
US20110112829A1 (en) 2011-05-12
US9711159B2 (en) 2017-07-18
KR20120089221A (ko) 2012-08-09
US10777212B2 (en) 2020-09-15
KR101565633B1 (ko) 2015-11-13
US20150154974A1 (en) 2015-06-04
EP3249373A1 (en) 2017-11-29
CN104299618A (zh) 2015-01-21
US11456002B2 (en) 2022-09-27
CN102150024B (zh) 2014-10-22
EP2302345A1 (en) 2011-03-30
CN102150024A (zh) 2011-08-10
WO2010008179A1 (ko) 2010-01-21

Similar Documents

Publication Publication Date Title
KR101261677B1 (ko) 음성/음악 통합 신호의 부호화/복호화 장치
US11705137B2 (en) Apparatus for encoding and decoding of integrated speech and audio
KR101785885B1 (ko) 적응적 대역폭 확장 및 그것을 위한 장치
US9489962B2 (en) Sound signal hybrid encoder, sound signal hybrid decoder, sound signal encoding method, and sound signal decoding method
MX2011000362A (es) Esquema de codificacion/decodificacion de audio a baja velocidad binaria y conmutadores en cascada.
Kim et al. Spatial audio object coding with two-step coding structure for interactive audio service
Lu et al. Dual-mode switching used for unified speech and audio codec
Tai et al. MPEG-4 parametric audio coding and its implementation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090708

PG1501 Laying open of application
A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120712

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090708

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20120712

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20090708

Patent event code: PA03021R01I

Comment text: Patent Application

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20120713

Patent event code: PA01071R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120823

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130125

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120823

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20130125

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20121123

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20130426

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20130329

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130125

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20121123

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130430

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130430

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160330

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170327

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180406

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190325

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200326

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210325

Start annual number: 9

End annual number: 9