[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100530853B1 - Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법 - Google Patents

Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법 Download PDF

Info

Publication number
KR100530853B1
KR100530853B1 KR10-1999-0012597A KR19990012597A KR100530853B1 KR 100530853 B1 KR100530853 B1 KR 100530853B1 KR 19990012597 A KR19990012597 A KR 19990012597A KR 100530853 B1 KR100530853 B1 KR 100530853B1
Authority
KR
South Korea
Prior art keywords
information
block
merged
separation
image
Prior art date
Application number
KR10-1999-0012597A
Other languages
English (en)
Other versions
KR20000065873A (ko
Inventor
권지헌
문주희
신동규
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR10-1999-0012597A priority Critical patent/KR100530853B1/ko
Publication of KR20000065873A publication Critical patent/KR20000065873A/ko
Application granted granted Critical
Publication of KR100530853B1 publication Critical patent/KR100530853B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상정보 부호화 장치 및 그 방법, 특히 블록내 및 블록간에 존재하는 원영상정보 및 영상오차정보의 공간 잉여성을 이용한 물체경계블록 합병/분리 기술이 적용된 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법에 관한 것으로서, 본 발명에 의한 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법에 의하면 영역기반의 영상정보 부호화시 물체경계블록을 합병할 것인지 분리할 것인지의 여부를 복원된 모양정보를 이용하여 판단한 후 그에 따른 물체 경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부를 물체경계블록 합병부 및 합병된 블록분리부와 분리시켜 구성하므로써 중복된 구성을 피할 수 있어 시스템 구현시 복잡도를 줄일 수 있도록 한다는 뛰어난 효과가 있다.

Description

ＭＰＥＧ­4 부호화기의 영상정보 부호화장치 및 그 방법{DEVICE FOR ENCODING VIDEO INFORMATION OF MPEG-4 ENCODER AND THEREOF METHOD}
본 발명은 영상정보 부호화 장치 및 그 방법에 관한 것으로, 특히 블록내 및 블록간에 존재하는 원영상정보 및 영상오차정보의 공간 잉여성을 이용한 물체경계블록 합병/분리 기술이 적용된 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법에 관한 것이다.
최근에 영상 및 음향부호화기술과 이에 따른 시스템 구성에 관한 국제 표준안인 MPEG-1 및 MPEG-2를 개발하고 의결한 MPEG 그룹이 차세대 영상 및 음향부호화 기술과 이에 따른 시스템 구성에 관한 국제표준안인 MPEG-4를 연구 및 개발중에 있다.
MPEG-4의 개발은 기존의 표준안으로는 지원할 수 없는 차세대 영상 및 음향 응용물들을 지원할 필요성에서 출발하게 되었으며, 영상 및 음향 데이터 통신과 접속, 그리고 조작을 위한 새로운 방법들(예를 들어, 특성이 다른 네트워크를 통한 물체중심 대화형 기능 및 접속등)을 제공하며, 에러가 쉽게 발생되는 통신환경과 저전송율의 통신환경에서도 유용하게 동작하는 특성을 제공한다.
또한, 상기 MPEG-4 기술은 컴퓨터 그래픽기술을 통합하여 자연/인공 영상 및 음향을 함께 부호화하고 조작할 수 있는 기능들을 제공하며, 멀티미디어 정보의 급팽창과 기술향상에 의해 새롭게 개발됐거나 개발예정인 저가, 고기능의 응용분야들에 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방적인 구조를 가지게 되며, 그중에는 전송 및 저장기능과 비용절감에 필요한 부호화 효과의 향상기능(IMPROVED COMPRESSION EFFICIENCY)이 있다.
현재 MPEG-4 기술이 응용될 것으로 기대되는 응용물로는 인터넷 멀티미디어(IMM; INTERNET MULTIMEDIA), 대화형 비디오 게임(IVG; INTERACTIVE VIDEO GAMES), 영상회의 및 영상전화등의 상호통신(IPC; INTERPERSONAL COMMUNICATIONS), 쌍방향 저장매체(ISM; INTERACTIVE STORAGE MEDIA), 멀티미디어 전자우편(MMM; MULTIMEDIA MAILING), 무선멀티미디어(WMM; WIRELESS MULTIMEDIA), ATM망을 이용한 네트웍 데이터베이스서비스(NDB; NETWORKED DATABASE SERVICE), 원격응급시스템(RES; REMOTE EMERGENCY SYSTEM) 및 원격영상감시(RVS; REMOTE VIDEO SURVEILLANCE)등이 있다.
또한, MPEG-4 기술은 기존의 응용물이나 앞으로 기대되는 응용물들을 지원하기 위해서는 사용자들이 영상내의 원하는 객체만을 통신할 수 있고, 검색하고 읽을 수 있도록 접근가능해야 하며, 자르고 붙일 수 있도록 하는 편집기능을 지원해야 한다.
도 1은 일반적인 MPEG-4 영상부호화기의 하드웨어적인 블록구성도로서, 기존의 영상 부호화 세계표준인 H.261, MPEG-1, H.263 및 MPEG-2의 영상부호화기 구조와는 상이한 구조를 지니며, 일반적인 MPEG-4에 대해 도 1을 참조하여 상세히 설명하기로 한다.
VOP(VIDEO OBJECT PLANE; 이하, VOP라 명명함.)형성부(100)는 시간축상의 한 시점의 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물 객체를 의미하는 VOP를 형성시키는 역할을 하고, 움직임추정부(200)는 상기 VOP 형성부(100)에서 형성된 VOP의 영상정보를 입력받고 VOP 검출부(800)에서 재현된 이전 VOP의 영상정보를 입력받으며, 모양정보 부호화부(300)에서 복원된 모양정보 또는 원 모양정보를 입력받아 매크로블록 단위로 움직임을 추정한 움직임정보를 출력한다.
움직임보상부(400)는 상기 움직임추정부(200)에서 추정된 움직임정보를 입력받고, 모양정보 부호화부(300)에서 복원된 모양정보를 입력받으며, VOP 검출부(800)에서 재현된 이전 VOP의 영상정보를 입력받아 움직임이 보상된 VOP의 영상정보를 출력하고, 감산기(500)는 상기 움직임보상부(400)에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 VOP 형성부(100)에서 형성된 VOP의 영상정보를 입력받아 두 신호의 차를 구하는 역할을 한다.
영상정보 부호화부(600)는 상기 감산기(500)에서 차이값을 입력받아 매크로블록의 8×8 블록단위로 부호화하는 역할을 하고, 가산기(700)는 상기 움직임보상부(400)에서 움직임이 보상된 VOP의 영상정보와 상기 영상정보 부호화부(600)에서 부호화된 대상물의 내부정보를 입력받아 가산하는 역할을 한다.
VOP 검출부(800)는 상기 가산기(700)에서 가산값을 입력받아 이전 VOP의 영상정보를 검출하는 역할을 하고, 그 검출된 이전 VOP의 영상정보는 상기 움직임추정부(200) 및 움직임보상부(400)에 입력되어 움직임추정 및 움직임보상에 사용된다.
모양정보 부호화부(300)는 상기 VOP 형성부(100)에서 VOP의 모양정보를 입력받아 부호화 및 복호화하여 출력하는 동시에 현재 입력되는 원래의 모양정보를 출력하는 역할을 한다.
상기 부호화된 모양정보는 다중화부(900)에 입력되어 부호화된 영상정보와 다중화되어 전송되며, 복호화된 모양정보(복원된 모양정보) 및 원래의 모양정보는 점선으로 표시된 바와같이 움직임추정부(200), 움직임보상부(400) 및 영상정보 부호화부(600)에 입력되어 움직임추정, 움직임보상 및 대상물의 내부 영상정보를 부호화 하는데 사용할 수 있다.
다중화부(900)는 상기 움직임추정부(200)에서 추정된 움직임정보, 상기 영상정보 부호화부(600)에서 부호화된 대상물의 영상정보 및 모양정보 부호화부(300)에서 부호화된 모양정보를 다중화 하는 역할을 하고, 버퍼(910)는 상기 다중화부(900)에서 다중화된 신호를 비트스트림으로 전송하는 역할을 한다.
MPEG-4 영상부호화기의 가장 큰 특징은 모양정보 부호화부(300)와 VOP라는 개념의 도입이 기존영상정보 부호화 세계표준과는 다르다는 것이다.
도 2는 임의의 영상에서 전체영상이나 그 영상을 이루는 의미있는 물체영역내의 정보만으로 구성된 영상인 VOP를 나타낸 도면으로서, 영상부호화를 위해 도 3과같이 16×16 픽셀들로 구성된 매크로블록들로 재구성된다.
도 3은 VOP내의 매크로블록의 종류를 도시한 도면으로서, VOP가 매크로블록으로 재구성되면, 세가지 종류의 매크로블록이 존재하게 되는데, 물체내의 정보만으로 구성된 물체내 매크로블록과, 물체내의 정보를 하나도 갖지 않는 물체밖 매크로블록과, 물체내의 정보를 부분적으로 갖는 물체경계매크로블록이 그것이다.
도 4는 VOP내의 블록 종류를 도시한 도면으로서, 물체내의 정보만으로 구성된 물체내 블록과, 물체내의 정보를 갖지않는 물체밖블록과, 물체내의 정보를 부분적으로 갖는 물체경계블록이 존재한다.
상기 물체내 매크로블록은 물체내 블록으로만 구성되고, 상기 물체밖 매크로블록은 물체밖블록으로만 구성되며, 상기 물체경계매크로블록은 8×8 픽셀들로 구성된 세가지종류의 블록이 존재할 수 있는 데, 물체내블록, 물체밖블록, 물체경계블록이 그것이다.
한편, 물체경계블록의 원영상정보 및 영상오차정보를 부호화하기 위해서는 물체밖 영역에 있는 픽셀들의 픽셀값이 먼저 결정되어야 하며, 이러한 영상간 신호인 영상오차신호(RESIDUAL TEXTURE DATA)와 원영상정보(INTRA TEXTURE DATA)를 텍스처(TEXTURE) 정보라고 한다.
최근까지 고려된 임의 모양의 VOP 텍스처 정보부호화기술로는 패딩을 이용한 패딩기술과 패딩을 이용하지 않는 기술이 있는데, 패딩기술로는 영상내 영상정보 부호화시 적용되는 저주파확장(LPE; LOW PASS EXTRAPOLATION)기술과 영상간 영상정보 부호화시 제로(ZERO)값을 채우는 제로패딩(ZERO PADDING)기술이 있고, 패딩없이 부호화하는 기술로는 물체밖 정보에 대해서 패딩하지 않고 객체내 정보만을 이용하는 모양적응형 DCT(SHAPE ADAPTIVE DISCRETE COSINE TRANSFORM)기술이 있다.
도 5는 영역기반의 영상부호화 방법시의 저주파성분 확장 패딩기술을 설명하기 위한 도면으로서, 상기 도 1의 감산기(500)로부터 영상오차정보 또는 원영상정보(a)를 입력받고, 모양정보 부호화부(300)로부터 패딩모양정보(예; 원영상 모양정보, 복원된 모양정보 또는 두정보를 이용하여 새롭게 구성한 모양정보등)를 입력받아 물체내 신호들만의 평균값을 구하는 평균값계산기(612)와, 상기 평균값계산기(612)에서 구해진 평균값으로 물체밖 영역을 패딩하는 평균값패딩부(613)와, 상기 평균값패딩부(613)의 출력신호(b)를 입력받아 패딩된 물체밖 영역에 속한 픽셀들에 대해서만 상, 하, 좌, 우의 픽셀중에서 8×8 블록내의 픽셀값들을 더한 후 상, 하, 좌, 우의 픽셀중에서 8×8 블록내에 속한 픽셀의 수로 나눈값으로 픽셀값을 다시 대체하여 결과값(c)을 출력하는 저주파 필터링부(614)로 구성되어 있다.
도 6은 영역기반의 영상부호화 방법시의 제로패딩기술을 설명하기 위한 도면으로서, 도 1의 감산기(500)로부터 영상오차정보 또는 원영상정보를 입력받고, 모양정보 부호화부(300)로부터 패딩모양정보(예; 원 영상모양정보, 복원된 모양정보 또는 두정보를 이용하여 새롭게 구성한 모양정보등)를 입력받아 물체밖 영역을 제로(0)값으로 패딩하는 제로값 패딩부(615)로 구성되어 있다.
도 7은 영역기반의 영상부호화 방법시의 모양적응형 DCT 기술을 설명하기 위한 도면으로서, (a)와 같은 물체내 영상정보(원영상정보 또는 영상오차신호)에 대해 (b)와 같이 위쪽으로 이동시킨 후 수직방향의 1차원 DCT를 수행하고, (c)와 같이 형성된 계수를 (d)와 같이 왼쪽으로 이동시킨 후 (e)와 같이 수평방향의 1차원 DCT를 수행하므로써 (f)와 같이 모양적응형 DCT계수들이 형성된다.
모양적응형 DCT후의 DCT계수는 양자화가 수행되고, 지그재그 스캔이 적용되는데, 계수가 존재하지 않는 영역에 대해서는 스킵하는 적응형 스캔(ADAPTIVE SCAN)을 실행하여 부호화하는 기술이다. 모양적응형 DCT는 패딩기술과는 달리 물체경계블록내의 물체내 영상정보만을 이용하여 부호화 한다.
상기 패딩기술 및 모양적응형 DCT 기술과 함께 임의 모양의 VOP 부호화 효율을 높이기 위해 물체경계블록 합병/분리 기술이 적용된다. 현재 물체경계블록 합병/분리 기술에 의해 영상정보 부호화부를 도 8 또는 도 9와 같이 구성될 수 있으며, MPEG-4 영상부호화 버전 2 세계표준화를 위한 기술로 채택되어 있다.
상기 물체경계블록 합병/분리기술은 8×8 블록내 뿐아니라 근접한 8×8 블록간에 존재하는 영상내 및 영상간 정보의 공간잉여성을 이용하여 부호화효율을 향상시킬 수 있는 물체경계블록 합병과정과 그 합병의 역과정으로서 합병된 블록 분리과정을 이용한 영상정보 부호화 방법이다.
도 8은 종래 패딩기술이 적용된 물체경계블록 합병/분리 기술에 따른 영상정보 부호화부의 구성도로서, 물체밖 영역패딩부(610), 물체경계블록 합병부(620), DCT부(630), 양자화부(640), DCT 계수 및 관련정보 부호화부(650), 역 양자화부(660), 역 DCT부(670) 및 합병된 블록분리부(680)로 구성되어 있다.
상기 물체밖 영역패딩부(610)는 도 1의 감산기(500)로부터 원 VOP 영상정보 또는 영상오차정보를 입력받고, 모양정보 부호화부(300)로부터 패딩을 위한 모양정보(원영상모양정보, 복원된 모양정보 또는 원영상모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체밖영역을 패딩하는 역할을 한다.
상기 물체경계블록 합병부(620)는 상기 물체밖 영역패딩부(610)로부터의 영상정보와 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받고, 그 모양정보에 의해 합병여부를 판단하여 합병가능시 영상정보의 물체경계블록을 합병하는 역할을 한다.
상기 DCT부(630)는 상기 물체경계블록 합병부(620)로부터 물체경계블록이 합병된 영상정보를 입력받아 DCT를 수행하는 역할을 하고, 상기 양자화부(640)는 상기 DCT부(630)에서 DCT계수를 입력받아 양자화하는 역할을 한다.
상기 DCT계수 및 관련정보 부호화부(650)는 상기 양자화부(640)에서 양자화된 DCT계수를 입력받아 가변장부호화하는 동시에 관련정보를 부호화하여 상기 다중화부(900)로 출력하는 역할을 한다.
상기 역 양자화부(660)는 상기 양자화부(640)에서 양자화된 DCT 계수를 입력받아 역 양자화시켜 역 양자화된 DCT계수를 출력하는 역할을 한다.
상기 역 DCT부(670)는 상기 역 양자화부(660)에서 역 양자화된 DCT 계수를 입력받아 역 DCT 변환하여 복호화된 신호를 출력하는 역할을 한다.
상기 합병된 블록분리부(680)는 상기 역 DCT부(670)로부터 복호화된 영상정보를 입력받고, 상기 모양정보 부호화부(300)에서 복원된 모양정보를 입력받아 분리여부를 판단하여 분리가능시 합병된 블록을 분리하여 가산기(700)를 통해 VOP 검출부(800)로 출력하는 역할을 한다.
도 9는 종래의 모양적응형 DCT가 적용된 물체경계블록 합병/분리 기술에 따른 영상정보 부호화부의 구성도로서, 물체경계블록 합병부(611), 모양적응형 DCT부(621), 양자화부(631), 모양적응형 DCT 계수 및 관련정보 부호화부(641), 역 양자화부(651), 역 모양 적응형 DCT부(661), 합병된 블록분리부(671)로 구성되어 있다.
상기 물체경계블록 합병부(611)는 상기 감산기(500)로부터 원영상정보 또는 영상오차정보를 입력받고, 물체경계블록의 복원된 모양정보를 입력받아 상기 모양정보에 의해 합병여부를 판단하여 합병가능시 영상정보의 물체경계블록을 합병하는 역할을 한다.
상기 모양적응형 DCT부(621)는 상기 모양정보 부호화부(300)로부터 물체영역을 정의하는 복원된 모양정보를 입력받고 상기 물체경계블록 합병부(611)로부터 물체경계블록이 합병된 영상정보를 입력받아 모양적응형 DCT를 수행하는 역할을 하고, 상기 양자화부(631)는 상기 모양적응형 DCT부(621)에서 모양적응형 DCT계수를 입력받아 양자화하는 역할을 한다.
상기 모양적응형 DCT계수 및 관련정보 부호화부(641)는 상기 양자화부(631)에서 양자화된 모양적응형 DCT계수를 계수가 존재하지 않는 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔(ADAPTIVE SCAN)을 실행하여 부호화하고, 관련정보를 부호화하여 신호정보를 상기 다중화부(900)로 출력시키는 역할을 한다.
상기 역 양자화부(651)는 상기 양자화부(631)에서 양자화된 신호를 입력받아 역 양자화하는 역할을 하고, 상기 역 모양적응형 DCT부(661)는 상기 역 양자화부(651)에서 역 양자화된 신호와 상기 모양정보 부호화부(300)로부터 물체영역을 정의하는 복원된 모양정보를 입력받아 역 모양적응형 DCT를 수행하는 역할을 한다.
상기 합병된 블록 분리부(671)는 상기 역모양적응형 DCT부(661)로부터 복호화된 신호를 입력받고, 상기 모양정보 부호화부(300)로부터 상기 물체경계블록 합병부(611)에서 이용한 모양정보와 동일한 모양정보인 물체경계블록의 합병/분리를 위한 복원된 모양정보를 입력받아 합병된 블록을 분리하여 가산기(700)를 통해 VOP 검출부(800)로 출력하는 역할을 한다.
그러나, 상기 종래 패딩기술 또는 모양적응형 DCT가 적용된 물체경계블록 합병/분리 기술에 따른 영상정보 부호화부는 합병과정과 분리과정에서 각각 모양정보 부호화부로부터 복원된 모양정보를 입력받아 합병 및 분리여부를 판단한 후 영상정보의 물체경계블록의 합병 및 분리동작을 수행하므로 시스템 구현시 구성이 복잡하다는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 중복된 구성을 피할 수 있어 시스템 구현시 복잡도를 줄일 수 있도록 하는 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치는 원영상정보 또는 영상오차정보를 입력받아 패딩을 위한 모양정보를 이용하여 영상정보의 물체밖 영역을 패딩하는 물체밖 영역패딩부와, 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지의 여부를 판단하여 그에따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와, 상기 물체밖 영역패딩부에서 패딩된 영상정보를 입력받고 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와, 상기 물체경계블록 합병부에서 영상정보를 입력받아 DCT를 수행하는 DCT부와, 상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와, 상기 양자화부에서 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화 하는 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보 부호화방법은 원 영상정보 또는 영상오차정보를 패딩을 위한 모양정보를 이용하여 물체밖 영역을 패딩하는 제 1단계와, 상기 제 1단계에서 패딩된 영상정보를 추출된 합병/분리 정보 및 복원된 모양정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와, 상기 제 2단계에서 합병된 영상정보를 DCT 수행하고 양자화하는 제 3단계와, 상기 제 3단계에서 양자화된 DCT계수를 추출된 합병/분리정보를 이용하여 가변장부호화하는 제 4단계로 이루어진 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치는 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와, 원 영상정보 또는 영상오차정보를 입력받아 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와, 상기 물체경계블록 합병부에서 합병된 영상정보를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보 및 합병된 영상의 모양정보를 이용하여 모양적응형 DCT를 수행하는 모양적응형 DCT부와, 상기 모양적응형 DCT부에서 모양적응형 DCT계수를 입력받아 양자화하는 양자화부와, 상기 양자화부에서 양자화된 모양적응형 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔을 실행하여 부호화하는 모양적응형 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보 부호화방법은 복원된 모양정보를 이용하여 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 제 1단계와, 원 영상정보 또는 영상오차정보를 복원된 모양정보 및 상기 제 1단계에서 추출된 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와, 상기 제 2단계에서 합병된 영상정보를 상기 합병/분리 정보 및 합병된 영상의 모양정보를 입력받아 모양적응형 DCT를 수행하는 제 3단계와, 상기 제 3단계에서 얻어진 모양적응형 DCT계수를 양자화하는 제 4단계와, 상기 제 4단계에서 얻어진 양자화된 모양적응형 DCT계수를 입력받아 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔을 실행하여 부호화하는 제 5단계로 이루어진 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치는 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와, 원영상정보 또는 영상오차정보를 입력받아 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와, 상기 물체경계블록 합병/분리 정보추출부로부터 합병/분리정보를 입력받고 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 출력하는 패딩모양정보추출부와, 상기 물체경계블록 합병부로부터 영상정보를 입력받아 상기 패딩모양정보 추출부에서 입력되는 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 물체밖 영역패딩부와, 상기 물체밖 영역패딩부로부터 영상정보를 입력받아 DCT를 수행하는 DCT부와, 상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와, 상기 양자화부에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화하는 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보 부호화방법은 복원된 모양정보로서 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 제 1단계와, 원영상정보 또는 영상오차정보를 복원된 모양정보 및 상기 제 1단계에서 추출된 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와, 상기 제 1단계에서 추출한 합병/분리정보와 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 이용하여 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 구하는 제 3단계와, 상기 제 2단계에서 구한 합병된 영상정보를 상기 제 3단계에서 구한 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 제 4단계와, 상기 제 4단계에서 패딩한 영상정보를 DCT를 수행하는 제 5단계와, 상기 제 5단계에서 얻어진 DCT계수를 양자화하는 제 6단계와, 상기 제 6단계에서 얻어진 양자화된 DCT계수를 상기 제 1단계에서 추출한 합병/분리정보를 이용하여 가변장부호화하는 제 7단계로 이루어진 것을 특징으로 한다.
이하, 본 발명의 실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 발명은 도 1의 MPEG-4 부호화기에 있어서, 영상정보 부호화부의 신규한 기술에 관한것이다.
도 10은 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면으로서, 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보부화장치(1000)는 도 10에 도시한 바와같이 물체밖 영역패딩부(1100), 물체경계블록 합병/분리 정보추출부(1200), 물체경계블록 합병부(1300), DCT부(1400), 양자화부(1500), DCT 계수 및 관련정보 부호화부(1600), 역 양자화부(1700), 역 DCT부(1800), 합병된 블록분리부(1900)로 구성되어 있다.
상기 물체밖 영역패딩부(1100)는 상기 감산기(500)로부터 원 영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 패딩을 위한 모양정보(원영상모양정보, 복원된 모양정보 또는 원영상모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보 등)를 이용하여 영상정보의 물체밖 영역을 패딩하는 역할을 한다.
상기 물체경계블록 합병/분리 정보추출부(1200)는 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하여 출력하는 역할을 한다.
상기 물체경계블록 합병부(1300)는 상기 물체밖 영역패딩부(1100)의 영상정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 역할을 한다.
상기 DCT부(1400)는 상기 물체경계블록 합병부(1300)로부터 영상정보를 입력받아 DCT를 수행하는 역할을 하고, 상기 양자화부(1500)는 상기 DCT부(1400)에서 DCT계수를 입력받아 양자화하는 역할을 하며, 상기 DCT계수 및 관련정보 부호화부(1600)는 상기 양자화부(1500)에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력되는 합병/분리정보를 이용하여 가변장부호화한 후 상기 다중화부(900)로 출력하는 역할을 한다.
상기 역 양자화부(1700)는 상기 양자화부(1500)에서 양자화된 신호를 입력받아 역 양자화하는 역할을 하고, 상기 역 DCT부(1800)는 상기 역 양자화부(1700)에서 역 양자화된 신호를 입력받아 역 DCT를 수행하는 역할을 하며, 상기 합병된 블록분리부(1900)는 상기 역 DCT부(1800)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(1200)로부터 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 상기 가산기(700)를 통해 상기 VOP 검출부(800)로 출력하는 역할을 한다.
상기와 같이 구성된 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 이용한 부호화방법에 대해 설명하기로한다.
먼저, 물체밖 영역패딩부(1100)가 상기 감산기(500)로부터 원 영상정보 또는 영상오차정보를 입력받으면, 상기 모양정보 부호화부(300)로부터 패딩을 위한 모양정보(원영상모양정보, 복원된 모양정보 또는 원영상모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보 등)를 입력받아 물체밖 영역을 패딩한다.
이어서, 물체경계블록 합병부(1300)는 상기 물체밖 영역패딩부(1100)에서 패딩된 영상정보를 입력받아 물체경계블록 합병/분리 정보추출부(1200)에서 추출된 합병/분리 정보 및 모양정보 부호화부(300)로부터 입력된 복원 모양정보를 이용하여 물체경계블록의 영상정보를 합병한다.
이때, DCT부(1400)는 상기 물체경계블록 합병부(1300)로부터 영상정보를 입력받아 DCT를 수행하고, 양자화부(1500)는 상기 DCT부(1400)에서 DCT계수를 입력받아 양자화한다.
이어서, DCT계수 및 관련정보 부호화부(1600)는 상기 양자화부(1500)에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력되는 합병/분리정보를 입력받아 가변장부호화하여 다중화부(900)로 출력한다.
한편, 역 양자화부(1700)는 상기 양자화부(1500)에서 양자화된 신호를 입력받아 역 양자화하고, 상기 역 DCT부(1800)가 상기 역 양자화부(1700)에서 역 양자화된 신호를 입력받아 역 DCT를 수행하며, 합병된 블록분리부(1900)는 상기 역 DCT부(1800)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 가산기(700)를 통해 VOP 검출부(800)로 출력한다.
상기 물체경계블록 합병/분리 정보추출부(1200)에서 합병/분리정보를 추출하는 동작에 대해 상세히 설명하기로 한다.
도 12는 부호화하려는 영상의 영상포맷에 따른 매크로블록내의 블록 배열을 도시한 도면으로서, (a)는 매크로블록내에 4개의 8×8 블록이 구성된 것을 도시한 도면이고, (b)는 매크로블록내에 배열된 휘도블록(Y) 및 색차블록(Cb, Cr)비가 4 : 2 : 0임을 나타낸 도면이며, (c)는 매크로블록내에 배열된 휘도블록(Y) 및 색차블록(Cb, Cr)비가 4 : 2 : 2임을 나타낸 도면이며, (d)는 매크로블록내에 배열된 휘도블록(Y) 및 색차블록(Cb, Cr)비가 4 : 4 : 4임을 나타낸 도면이다.
도 13은 도 12의 각 영상포맷에 대해 물체경계블록 합병/분리가 적용되는 모델을 도시한 도면으로서, (a)은 매크로블록내에 4개의 8×8블록이 구성된 경우, (b)는 매크로블록내에 휘도 및 색차블록의 비가 4 : 2 : 0인 경우, (c)는 상기 비가 4 : 2 : 2인 경우, (d)는 상기 비가 4 : 4 : 4 인 경우를 나타낸 것이다.
먼저, 물체경계블록의 수평합병, 수직합병, 대각선합병 정보추출과정에서 수평합병 정보추출과정에 대해 설명하기로 한다.
제 1단계에서는 블록 1과 블록 2가 물체경계블록이고, 블록 2의 모양정보를 180도 회전한 것과 블록 1의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 2의 영상정보(원영상정보 또는 영상간 오차정보)를 180도 회전시켜 블록 1의 영상정보에 합병하고, 블록 2는 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
제 2단계에서는 블록 3과 블록 4가 물체경계블록이고, 블록 4의 모양정보를 180도 회전한 것과 블록 3의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 4의 영상정보(원영상정보 또는 영상간오차정보)를 180도 회전시켜 블록 3의 영상정보에 합병하고, 블록 4는 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
또한, 수직합병 정보추출 과정에 대해 설명하면 다음과 같다.
제 1단계에서는 블록 1과 블록 3이 물체경계블록이고, 블록 3의 모양정보를 180도 회전한 것과 블록 1의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 3의 영상정보(원영상정보 또는 영상간 오차정보)를 180도 회전시켜 블록 1의 영상정보에 합병하고, 블록 3은 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
제 2단계에서는 블록 2과 블록 4이 물체경계블록이고, 블록 4의 모양정보를 180도 회전한 것과 블록 2의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 4의 영상정보(원영상정보 또는 영상간 오차정보)를 180도 회전시켜 블록 2의 영상정보에 합병하고, 블록 4는 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
또한, 대각선합병 정보추출 과정에 대해 설명하면 다음과 같다.
제 1단계에서는 블록 1과 블록 4가 물체경계블록이고, 블록 4의 모양정보를 180도 회전한 것과 블록 1의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 4의 영상정보(원영상정보 또는 영상간 오차정보)를 180도 회전시켜 블록 1의 영상정보에 합병하고, 블록 4는 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
제 2단계에서는 블록 2과 블록 3이 물체경계블록이고, 블록 3의 모양정보를 180도 회전한 것과 블록 2의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 블록 3의 영상정보(원영상정보 또는 영상간 오차정보)를 180도 회전시켜 블록 2의 영상정보에 합병하고, 블록 3은 영상정보 부호화장치에서 물체밖 블록처럼 취급하라는 플래그를 추출한다.
본 발명에 의한 물체경계블록 합병정보추출과정은 상기와 같은 수평, 수직 및 대각선 합병정보추출과정에서 다음과 같은 순서중 한 순서로 적용될 수 있다.
1. 수평합병정보추출 → 수직합병정보추출 → 대각선합병정보추출
2. 수평합병정보추출 → 대각선합병정보추출 → 수직합병정보추출
3. 수직합병정보추출 → 수평합병정보추출 → 대각선합병정보추출
4. 수직합병정보추출 → 대각선합병정보추출 → 수평합병정보추출
5. 대각선합병정보추출 → 수직합병정보추출 → 수평합병정보추출
6. 대각선합병정보추출 → 수평합병정보추출 → 수직합병정보추출
한편, 상기 합병정보추출과정은 도 12와 같은 영상포맷(4 : 2 : 0, 4 : 2 : 2, 4 : 4 : 4)에 따라 도 13과 같이 각기 다르게 적용된다.
(a). 색차블록 없이 휘도블록만 있거나, 그레이스케일(GRAYSCALE)모양정보의 투명도 정보와 같이 네개의 블록으로 구성된 경우는 상기 합병정보추출과정 1~6중 어느한 순서로 적용될 수 있다.
(b). 4 : 2 : 0 포맷인 경우, 휘도블록은 상기 합병정보추출과정 1~6중 한 순서로 적용될 수 있다.
(c). 4 : 2 : 2 포맷인 경우, 휘도블록은 상기 합병정보추출과정 1~6중 어느한 순서로 적용될 수 있고, 색차블록은 색차성분별(Cb, Cr)로 각각 수평합병정보 추출과정만 적용될 수 있다.
(d). 4 : 4 : 4 포맷인 경우, 휘도블록은 상기 합병정보추출과정 1~6중 한 순서로 적용될 수 있고, 색차블록은 색차성분별(Cb, Cr)로 각각 상기 합병정보추출과정 1~6중 어느한 순서로 적용될 수 있다.
한편, 상기 도 10 및 도 11의 물체경계블록 합병/분리 정보추출부(1200, 2200)에서의 합병정보추출과정은 상기 합병정보추출과정(1~6)에 있어서 화살표(→)이전 과정에서 합병이 일어날 수 있다는 플래그가 추출되면, 화살표(→)이후 과정은 모두 생략하고, 그 플래그가 일어난 과정에서 합병 및 분리가 일어나도록 물체경계블록 합병부(1300) 및 합병된 블록분리부(1900)로 출력한다.
한편, 상기 물체경계블록 합병부(1300)가 상기 물체경계블록 합병/분리 정보추출부(1200)로부터 추출된 합병정보에 관한 플래그와 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 이를 이용하여 상기 물체밖 영역패딩부(1100)에서 입력받은 매크로블록단위인 영상정보의 물체경계블록 합병동작에 대해 설명하기로 한다.
도 14는 본 발명에 제 1실시예에 따른 물체경계블록 합병부의 동작에 관한 플로우챠트로서, (a)는 물체경계블록 합병부에서 이루어지는 전체 동작플로우챠트를 도시한 도면이고, (b)는 도 (a)의 스텝(S1, S3)에 모두 적용되는 동작플로우챠트이다.
먼저, 물체경계블록 합병부(1300)는 물체밖 영역패딩부(1100)에서 입력받은 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록합병을 적용시킨다(S1).
이어서, 상기 입력 영상정보에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단한다(S2).
만약, 상기 스텝(S2)에서 입력영상정보의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우(YES), 색차성분별로 색차블록에 물체경계블록 합병을 적용시킨다(S3).
한편, 상기 스텝(S2)에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0일 경우(NO), 종료한다.
상기 스텝(S1)에서 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록합병을 적용하는 것에 대해서 도 14의 (b)를 참조하여 설명하기로 한다.
먼저, 물체경계블록 합병부(1300)는 입력되는 16×16 휘도블록내의 4가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단한다(S1-1).
만약, 상기 스텝(S1-1)에서 상기 임의의 한 블록(Bi)이 합병하는 블록이면(YES), 상기 블록(Bi)과 그 블록(Bi)에 합병되는 블록을 도 16에 도시한 바와같이 합병한다(S1-2).
상기 도 16는 본 발명의 제 1실시예에 따른 물체경계블록 합병기술을 나타낸 도면으로서, (a)는 합병이전의 블록을 나타낸 것으로서, 합병하는 블록이 좌측상단 블록이고, 합병되는 블록은 우측상단블록이며, 상기 좌측상단 블록의 패딩된 물체밖 픽셀값은 a이며, 우측상단 블록의 패딩된 물체밖 픽셀값은 b라고 가정한다.
(b)는 합병후의 블록을 나타낸 것으로서, 합병되는 상세 과정은 먼저, 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병한다. 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 패딩된 정보를 대체하고, 180도 회전시킨 합병되는 블록의 물체밖 영역의 패딩된 정보는 합병하는 블록의 패딩된 정보와 평균한 값{(a+b)/2}으로 대체한다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S1-3), 상기 i가 4 보다 작은지의 여부를 판단하여(S1-4), 상기 i가 4보다 작으면(YES), 상기 스텝(S1-1)으로 진행하는 반면에 , 상기 i가 4가 되면 종료한다.
한편, 상기 스텝(S1-1)에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 즉 합병되는 블록이나 물체밖블록이면(NO), 상기 스텝(S1-3)으로 진행된다.
한편, 상기 스텝(S3)에서 색차성분별(Cb, Cr)로 임의의 색차블록에 물체경계블록을 합병하는 과정에 대해 상기 도 14의 (b)를 참조하여 설명하기로 한다.
먼저, 물체경계블록 합병부(1300)는 입력된 영상정보의 색차정보(Cb 또는 Cr)내의 2가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단한다(S3-1).
상기 스텝(S3-1)에서 상기 임의의 한 블록(Bi)이 합병하는 블록이면(YES), 상기 블록(Bi)과 그 블록에 합병되는 블록을 도 16에 도시한 바와같이 합병한다(S3-2).
상기 도 16은 본 발명의 제 1실시예에 따른 물체경계블록 합병기술을 나타낸 도면으로서, (a)는 합병이전의 블록을 나타낸 것으로서, 합병하는 블록이 좌측상단 블록이고, 합병되는 블록은 우측상단블록이며, 상기 좌측상단 블록의 패딩된 물체밖 픽셀값은 a이며, 우측상단 블록의 패딩된 물체밖 픽셀값은 b라고 가정한다.
(b)는 합병후의 블록을 나타낸 것으로서, 합병되는 상세 과정은 먼저, 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병한다. 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 패딩된 정보를 대체하고, 180도 회전시킨 합병되는 블록의 물체밖 영역의 패딩된 정보는 합병하는 블록의 패딩된 정보와 평균한 값{(a+b)/2}으로 대체한다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S3-3), 상기 i가 2보다 작은지의 여부를 판단하여(S3-4), 상기 i가 2보다 작으면(YES), 상기 스텝(S3-1)으로 진행하는 반면에 , 상기 i가 2가 되면 종료한다.
한편, 상기 스텝(S3-1)에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 즉 합병되는 블록이나 물체밖블록이면(NO), 상기 스텝(S3-3)으로 진행된다.
한편, 상기 합병된 블록분리부(1900)가 상기 역 DCT부(1800)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 기술에 대해 상세히 설명하기로 한다.
도 15는 본발명의 제 1, 2실시예에 따른 물체경계블록 분리부의 동작을 도시한 플로우챠트로서, (a)는 합병된 블록 분리부에서 이루어지는 전체 동작플로우챠트를 도시한 도면이고, (b)는 도 (a)의 스텝(S1, S3)에 모두 적용되는 동작플로우챠트이다.
먼저, 합병된 블록분리부(1900)는 역 DCT부(1800)에서 입력받은 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록 분리를 적용시킨다(S1).
이어서, 상기 입력 영상정보에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단한다(S2).
만약, 상기 스텝(S2)에서 입력영상정보의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우(YES), 색차성분별(Cb, Cr)로 색차블록에 물체경계블록 분리를 적용시킨다(S3).
한편, 상기 스텝(S2)에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0일 경우(NO), 종료한다.
상기 스텝(S1)에서 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록분리를 적용하는 것에 대해서 도 15의 (b)를 참조하여 설명하기로 한다.
먼저, 합병된 블록분리부(1900)는 입력되는 16×16 휘도블록내의 4가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단한다(S1-1).
만약, 상기 스텝(S1-1)에서 상기 임의의 한 블록(Bi)이 다른 블록을 합병한 블록이면(YES), 상기 블록(Bi)으로부터 합병된 블럭을 도 17에 도시한 바와같이 분리한다(S1-2).
상기 도 17은 본 발명의 제 1, 2 실시예에 따른 물체경계블록 분리기술을 나타낸 도면으로서, (a)는 분리 이전의 합병한 블록을 나타낸 것으로서, 합병한 블록이 좌측상단 블록이고, (b)는 분리후의 블록을 나타낸 것으로서, 분리되는 상세 과정은 먼저, 합병한 블록이라고 판정되면 합병/분리정보에 의해 합병된 블록을 파악하고, 그 파악된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체한다. 도 17의 (b)에서 분리된 모습이 이상하게 보이나, 불필요한 정보는 합병과정에서 모양정보에 의해 무시되므로 단지 복사과정만이 수행되는 것과 동일하다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S1-3), 상기 i가 4 보다 작은지의 여부를 판단하여(S1-4), 상기 i가 4보다 작으면(YES), 상기 스텝(S1-1)으로 진행하는 반면에, 상기 i가 4가 되면 종료한다.
한편, 상기 스텝(S1-1)에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면(NO), 상기 스텝(S1-3)으로 진행된다.
한편, 상기 스텝(S3)에서 색차성분별(Cb, Cr)로 임의의 색차블록에서 물체경계블록을 분리하는 과정에 대해 상기 도 15의 (b)를 참조하여 설명하기로 한다.
먼저, 합병된 블록분리부(1900)는 입력되는 영상정보의 두가지 색차블록내의 2가지 8×8 색차블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(1200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단한다(S3-1).
상기 스텝(S3-1)에서 상기 임의의 한 블록(Bi)이 다른 블록을 합병한 블록이면(YES), 상기 블록(Bi)으로부터 합병된 블럭을 도 17에 도시한 바와같이 분리한다(S3-2).
상기 도 17은 본 발명의 제 1, 2 실시예에 따른 물체경계블록 분리기술을 나타낸 도면으로서, (a)는 분리 이전의 합병한 블록을 나타낸 것으로서, 합병한 블록이 좌측상단 블록이고, (b)는 분리후의 블록을 나타낸 것으로서, 분리되는 상세 과정은 먼저, 합병한 블록이라고 판정되면 합병/분리정보에 의해 합병된 블록을 파악하고, 그 파악된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체한다. 도 17의 (b)에서 분리된 모습이 이상하게 보이나, 불필요한 정보는 합병과정에서 모양정보에 의해 무시되므로 단지 복사과정만이 수행되는 것과 동일하다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S3-3), 상기 i가 2 보다 작은지의 여부를 판단하여(S3-4), 상기 i가 2보다 작으면(YES), 상기 스텝(S3-1)으로 진행하는 반면에 , 상기 i가 2가 되면 종료한다.
한편, 상기 스텝(S3-1)에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면(NO), 상기 스텝(S3-3)으로 진행된다.
도 11은 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면으로서, 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보부화장치(2000)는 도 11에 도시한 바와같이 물체경계블록 합병/분리 정보추출부(2200), 물체경계블록 합병부(2100), 모양적응형 DCT부(2300), 양자화부(2400), 모양적응형 DCT계수 및 관련정보 부호화부(2500), 역 양자화부(2600), 역 모양적응형 DCT부(2700) 및 합병된 블록분리부(2800)로 구성되어 있다.
상기 물체경계블록 합병/분리 정보추출부(2200)는 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하여 출력하는 역할을 한다.
상기 물체경계블록 합병부(2100)는 상기 감산기(500)에서 원 영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 역할을 한다.
상기 모양적응형 DCT부(2300)는 상기 물체경계블록 합병부(2100)에서 영상정보를 입력받아 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리 정보 및 합병된 영상의 모양정보를 입력받아 모양적응형 DCT를 수행하는 역할을 한다.
상기 양자화부(2400)는 상기 모양적응형 DCT부(2300)에서 모양적응형 DCT계수를 입력받아 양자화하는 역할을 한다.
상기 모양적응형 DCT계수 및 관련정보 부호화부(2500)는 상기 양자화부(2400)에서 양자화된 모양적응형 DCT계수를 입력받아, 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력된 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔(ADAPTIVE SCAN)을 실행하여 부호화하여서 다중화부(900)로 출력하는 역할을 한다.
상기 역 양자화부(2600)는 상기 양자화부(2400)에서 양자화된 신호를 입력받아 역 양자화하는 역할을 한다.
상기 역모양적응형 DCT부(2700)는 상기 역 양자화부(2600)에서 역 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리정보 및 합병된 모양정보를 이용하여 역모양적응형 DCT를 수행하는 역할을 한다.
상기 합병된 블록분리부(2800)는 상기 역모양적응형 DCT부(2700)에서 복호화된 신호를 입력받아, 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 가산기(700)를 통해 VOP 검출부(800)로 출력하는 역할을 한다.
상기와 같이 구성된 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 이용한 부호화방법에 대해 설명하기로한다.
먼저, 물체경계블록 합병/분리 정보추출부(2200)는 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 물체경계블록을 합병할 것의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출한다.
이어서, 물체경계블록 합병부(2100)는 상기 감산기(500)에서 원 영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병한다.
또한, 모양적응형 DCT부(2300)는 상기 물체경계블록 합병부(2100)에서 영상정보를 입력받아 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리 정보 및 합병된 영상의 모양정보를 입력받아 모양적응형 DCT를 수행한다.
그리고, 양자화부(2400)는 상기 모양적응형 DCT부(2300)에서 모양적응형 DCT계수를 입력받아 양자화하고, 모양적응형 DCT계수 및 관련정보 부호화부(2500)는 상기 양자화부(2400)에서 양자화된 모양적응형 DCT계수를 입력받아, 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력된 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔(ADAPTIVE SCAN)을 실행하여 부호화하여서 상기 다중화부(900)로 출력한다.
한편, 역 양자화부(2600)는 상기 양자화부(2400)에서 양자화된 신호를 입력받아 역 양자화하고, 역모양적응형 DCT부(2700)는 상기 역 양자화부(2600)에서 역 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리정보 및 합병된 모양정보를 이용하여 역모양적응형 DCT를 수행한다.
이어서, 합병된 블록분리부(2800)는 상기 역모양적응형 DCT부(2700)에서 복호화된 신호를 입력받아, 상기 물체경계블록 합병/분리 정보추출부(2200)에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 가산기(700)를 통해 VOP 검출부(800)로 출력한다.
상기 물체경계블록 합병/분리 정보추출부(2200)에서 복원된 모양정보를 이용해 물체경계블록 합병/분리 정보를 추출하는 과정은 패딩기술이 적용된 영상정보 부호화 방법에서와 동일하다.
또한, 물체경계블록 합병부(2100)에서 이루어지는 물체경계블록 합병과정은 상기 패딩기술이 적용된 영상정보부화방법과 거의 유사하며, 단지 물체경계블록 합병과정에 있어서, 합병하는 블록은 합병되는 다른 블록의 영상정보(원영상정보 또는 영상오차정보)를 180도 회전시킨 후 합병하는 블록에 합병하며, 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 물체밖 영역의 정보를 대체하고 합병하는 물체밖 영역과 합병되는 물체밖영역의 모든 정보에 대해서는 DON'T CARE 한다는 점만 다르고 패딩기술이 적용된 경우와 모두 같다.
또한, 합병된 블록분리부(2800)에서 이루어지는 합병된 블록분리동작은 패딩기술이 적용된 영상정보 부호화방법과 모두 동일하다.
도 18은 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면으로서, 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보부호화장치는 도 18에 도시한 바와같이 물체경계블록 합병/분리 정보추출부(3200), 물체경계블록 합병부(3100), 패딩모양정보추출부(3300), 물체밖영역 패딩부(3400), DCT부(3500), 양자화부(3600), DCT계수 및 관련정보 부호화부(3700), 역 양자화부(3800), 역 DCT부(3900) 및 합병된 블록분리부(4000)로 구성되어 있다.
상기 물체경계블록 합병/분리 정보추출부(3200)는 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하여 출력하는 역할을 한다.
상기 물체경계블록 합병부(3100)는 상기 감산기(500)로부터 원영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 역할을 한다.
상기 패딩모양정보추출부(3300)는 상기 물체경계블록 합병/분리 정보추출부(3200)로부터 합병/분리정보를 입력받고, 상기 모양정보 부호화부(300)로부터 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 출력하는 역할을 한다.
상기 물체밖 영역패딩부(3400)는 상기 물체경계블록 합병부(3100)로부터 영상정보를 입력받아 상기 패딩모양정보 추출부(3300)에서 입력되는 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 역할을 한다.
상기 DCT부(3500)는 상기 물체밖 영역패딩부(3400)로부터 영상정보를 입력받아 DCT를 수행하는 역할을 하고, 상기 양자화부(3600)는 상기 DCT부(3500)에서 DCT계수를 입력받아 양자화하는 역할을 하며, 상기 DCT계수 및 관련정보 부호화부(3700)는 상기 양자화부(3600)에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력되는 합병/분리정보를 이용하여 가변장부호화하여 상기 다중화부(900)로 출력하는 역할을 한다.
상기 역 양자화부(3800)는 상기 양자화부(3600)에서 양자화된 신호를 입력받아 역 양자화하는 역할을 하고, 상기 역 DCT부(3900)는 상기 역 양자화부(3800)에서 역 양자화된 신호를 입력받아 역 DCT를 수행하는 역할을 하며, 상기 합병된 블록분리부(4000)는 상기 역 DCT부(3900)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(3200)로부터 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 상기 가산기(700)를 통해 상기 VOP 검출부(800)로 출력하는 역할을 한다.
상기와 같이 구성된 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 이용한 부호화방법에 대해 설명하기로한다.
먼저, 물체경계블록 합병/분리 정보추출부(3200)가 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하여 출력한다.
이어서, 물체경계블록 합병부(3100)는 상기 감산기(500)로부터 원영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부(300)에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병한다.
이때, 패딩모양정보추출부(3300)는 상기 물체경계블록 합병/분리 정보추출부(3200)로부터 합병/분리정보를 입력받고, 상기 모양정보 부호화부(300)로부터 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 출력한다.
이어서, 물체밖 영역패딩부(3400)는 상기 물체경계블록 합병부(3100)로부터 영상정보를 입력받아 상기 패딩모양정보 추출부(3300)에서 입력되는 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩한다.
또한, DCT부(3500)는 상기 물체밖 영역패딩부(3400)로부터 영상정보를 입력받아 DCT를 수행하고, 양자화부(3600)는 상기 DCT부(3500)에서 DCT계수를 입력받아 양자화한다.
이어서, DCT계수 및 관련정보 부호화부(3700)는 상기 양자화부(3600)에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력되는 합병/분리정보를 이용하여 가변장부호화하여 상기 다중화부(900)로 출력한다.
한편, 역 양자화부(3800)는 상기 양자화부(3600)에서 양자화된 신호를 입력받아 역 양자화하고, 역 DCT부(3900)는 상기 역 양자화부(3800)에서 역 양자화된 신호를 입력받아 역 DCT를 수행한다.
이어서, 합병된 블록분리부(4000)는 상기 역 DCT부(3900)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(3200)로부터 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 상기 가산기(700)를 통해 상기 VOP 검출부(800)로 출력한다.
상기 물체경계블록 합병/분리 정보추출부(3200)에서 합병/분리정보 추출과정은 상기 제 1, 2실시예와 동일하다.
상기 물체경계블록 합병부(3100)가 상기 물체경계블록 합병/분리 정보추출부(3200)로부터 추출된 합병정보에 관한 플래그와 상기 모양정보 부호화부(300)로부터 복원된 모양정보를 입력받아 이를 이용하여 상기 감산기(500)에서 매크로 블록단위로 입력받은 원영상정보 또는 영상오차정보의 물체경계블록합병동작에 대해 설명하기로 한다.
도 19는 본 발명의 제 3실시예에 따른 물체경계블록 합병부의 동작에 관한 플로우챠트로서, (a)는 물체경계블록 합병부에서 이루어지는 전체 동작플로우챠트를 도시한 도면이고, (b)는 도 (a)의 스텝(S1, S3)에 모두 적용되는 동작플로우챠트이다.
먼저, 물체경계블록 합병부(3100)는 감산기(500)에서 입력받은 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록합병을 적용시킨다(S1).
상기 입력 영상정보에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단한다(S2).
상기 스텝(S2)에서 입력영상정보의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우(YES), 색차성분별로 색차블록에 물체경계블록 합병을 적용시킨다(S3).
한편, 상기 스텝(S2)에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0일 경우(NO), 종료한다.
상기 스텝(S1)에서 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록합병을 적용하는 것에 대해서 도 19의 (b)를 참조하여 설명하기로 한다.
먼저, 물체경계블록 합병부(3100)는 입력되는 16×16 휘도블록내의 4가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단한다(S1-1).
상기 스텝(S1-1)에서 상기 임의의 한 블록(Bi)이 합병하는 블록이면(YES), 상기 블록(Bi)과 그 블록에 합병되는 블록을 도 21에 도시한 바와같이 합병한(S1-2).
상기 도 21는 본 발명의 제 3실시예에 따른 물체경계블록 합병기술을 나타낸 도면으로서, (a)는 합병이전의 블록을 나타낸 것으로서, 합병하는 블록이 좌측상단 블록이고, 합병되는 블록은 우측상단블록이라 가정한다. (b)는 합병후의 블록을 나타낸 것으로서, 합병되는 상세 과정은 먼저, 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병한다. 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 정보를 대체한다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S1-3), 상기 i가 4 보다 작은지의 여부를 판단하여(S1-4), 상기 i가 4보다 작으면(YES), 상기 스텝(S1-1)으로 진행하는 반면에 , 상기 i가 4가 되면 종료한다.
한편, 상기 스텝(S1-1)에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 즉 합병되는 블록이나 물체밖 블록이면(NO), 상기 스텝(S1-3)으로 진행된다.
한편, 상기 스텝(S3)에서 색차성분별(Cb, Cr)로 임의의 색차블록에 물체경계블록을 합병하는 과정에 대해 상기 도 19의 (b)를 참조하여 설명하기로 한다.
먼저, 물체경계블록 합병부(3100)는 입력된 영상정보의 색차정보(Cb 또는 Cr)내의 2가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단한다(S3-1).
상기 스텝(S3-1)에서 상기 임의의 한 블록(Bi)이 합병하는 블록이면(YES), 상기 블록(Bi)과 그 블록에 합병되는 블록을 도 21에 도시한 바와같이 합병한다(S3-2).
상기 도 21은 본 발명의 제 3실시예에 따른 물체경계블록 합병기술을 나타낸 도면으로서, (a)는 합병이전의 블록을 나타낸 것으로서, 합병하는 블록이 좌측상단 블록이고, 합병되는 블록은 우측상단블록이다. (b)는 합병후의 블록을 나타낸 것으로서, 합병되는 상세 과정은 먼저, 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병한다. 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 정보를 대체한다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S3-3), 상기 i가 2보다 작은지의 여부를 판단하여(S3-4), 상기 i가 2보다 작으면(YES), 상기 스텝(S3-1)으로 진행하는 반면에 , 상기 i가 2가 되면 종료한다.
한편, 상기 스텝(S3-1)에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 즉 합병되는 블록이나 물체밖블록이면(NO), 상기 스텝(S3-3)으로 진행된다.
한편, 상기 합병된 블록분리부(4000)가 상기 역 DCT부(3900)에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력되는 합병/분리 정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 기술에 대해 상세히 설명하기로 한다.
도 20은 본발명의 제 3실시예에 따른 물체경계블록 분리부의 동작을 도시한 플로우챠트로서, (a)는 합병된 블록 분리부에서 이루어지는 전체 동작플로우챠트를 도시한 도면이고, (b)는 도 (a)의 스텝(S1, S3)에 모두 적용되는 동작플로우챠트이다.
먼저, 합병된 블록분리부(4000)는 역 DCT부(3900)에서 입력받은 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록 분리를 적용시킨다(S1).
상기 입력 영상정보에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단한다(S2).
상기 스텝(S2)에서 입력영상정보의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우(YES), 색차성분별로 색차블록에 물체경계블록 분리를 적용시킨다.
한편, 상기 스텝(S2)에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0일 경우(NO), 종료한다.
상기 스텝(S1)에서 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록분리를 적용하는 것에 대해서 도 20의 (b)를 참조하여 설명하기로 한다.
먼저, 합병된 블록분리부(4000)는 입력되는 16×16 휘도블록내의 4가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단한다(S1-1).
상기 스텝(S1-1)에서 상기 임의의 한 블록(Bi)이 다른 블록을 합병한 블록이면(YES), 상기 블록(Bi)으로부터 합병된 블럭을 도 22에 도시한 바와같이 분리한다(S1-2).
상기 도 22는 본 발명의 제 3실시예에 따른 물체경계블록 분리기술을 나타낸 도면으로서, (a)는 분리 이전의 합병한 블록을 나타낸 것으로서, 합병한 블록이 좌측상단 블록이고, (b)는 분리후의 블록을 나타낸 것으로서, 분리되는 상세 과정은 먼저, 합병한 블록이라고 판정되면 합병/분리정보에 의해 합병된 블록을 파악하고, 그 파악된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체한다. 도 22의 (b)에서 분리된 모습이 이상하게 보이나, 불필요한 정보는 합병과정에서 모양정보에 의해 무시되므로 단지 복사과정만이 수행되는 것과 동일하다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S1-3), 상기 i가 4 보다 작은지의 여부를 판단하여(S1-4), 상기 i가 4보다 작으면(YES), 상기 스텝(S1-1)으로 진행하는 반면에 , 상기 i가 4가 되면 종료한다.
한편, 상기 스텝(S1-1)에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면(NO), 상기 스텝(S1-3)으로 진행된다.
한편, 상기 스텝(S3)에서 색차성분별(Cb, Cr)로 임의의 색차블록에서 물체경계블록을 분리하는 과정에 대해 상기 도 20의 (b)를 참조하여 설명하기로 한다.
먼저, 합병된 블록분리부(4000)는 입력되는 영상정보의 두가지 색차블록내의 2가지 8×8 색차블록 중 한 블록(Bi)에 대한 합병/분리정보를 상기 물체경계블록 합병/분리 정보추출부(3200)에서 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단한다(S3-1).
상기 스텝(S3-1)에서 상기 임의의 한 블록(Bi)이 다른 블록을 합병한 블록이면(YES), 상기 블록(Bi)으로부터 합병된 블럭을 도 22에 도시한 바와같이 분리한다(S3-2).
상기 도 22는 본 발명의 제 3실시예에 따른 물체경계블록 분리기술을 나타낸 도면으로서, (a)는 분리 이전의 합병한 블록을 나타낸 것으로서, 합병한 블록이 좌측상단 블록이고, (b)는 분리후의 블록을 나타낸 것으로서, 분리되는 상세 과정은 먼저, 합병한 블록이라고 판정되면 합병/분리정보에 의해 합병된 블록을 파악하고, 그 파악된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체한다. 도 22의 (b)에서 분리된 모습이 이상하게 보이나, 불필요한 정보는 합병과정에서 모양정보에 의해 무시되므로 단지 복사과정만이 수행되는 것과 동일하다.
이어서, 상기 i의 수를 하나 증가 시킨 후(S3-3), 상기 i가 2 보다 작은지의 여부를 판단하여(S3-4), 상기 i가 2보다 작으면(YES), 상기 스텝(S3-1)으로 진행하는 반면에 , 상기 i가 2가 되면 종료한다.
한편, 상기 스텝(S3-1)에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면(NO), 상기 스텝(S3-3)으로 진행된다.
한편, 상기 제 1, 2, 3 실시예에 의한 MPEG-4 부호화기의 영상정보 부호화방법에 있어서, 물체경계블록 합병부 및 합병된 블록분리부가 색차블록을 합병 및 분리하는 과정중 비교하는 i값을 2로 두었으나, 이는 영상포맷을 4 : 2 : 2 로 가정한 경우에 적용되는 값이며, 만약 영상포맷이 4 : 4 : 4일 경우는 i값이 4가 된다.
상술한 바와 같이 본 발명에 의한 MPEG-4 부호화기의 영상정보 부호화장치 및 그 방법에 의하면 영역기반의 영상정보 부호화시 물체경계블록을 합병할 것인지 분리할 것인지의 여부를 복원된 모양정보를 이용하여 판단한 후 그에 따른 물체 경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부를 물체경계블록 합병부 및 합병된 블록분리부와 분리시켜 구성하므로써 중복된 구성을 피할 수 있어 시스템 구현시 복잡도를 줄일 수 있도록 한다는 뛰어난 효과가 있다.
도 1은 일반적인 MPEG-4 영상부호화기의 하드웨어적인 블록구성도,
도 2는 임의의 영상에서 전체영상이나 그 영상을 이루는 의미있는 물체영역내의 정보만으로 구성된 영상인 VOP를 나타낸 도면,
도 3은 VOP내의 매크로블록 종류를 도시한 도면,
도 4는 VOP내의 블록 종류를 도시한 도면,
도 5는 영역기반의 영상부호화 방법시의 저주파성분 확장 패딩기술을 설명하기 위한 도면,
도 6은 영역기반의 영상부호화 방법시의 제로패딩기술을 설명하기 위한 도면,
도 7은 영역기반의 영상부호화 방법시의 모양적응형 DCT기술을 설명하기 위한 도면,
도 8은 종래 패딩기술이 적용된 물체경계블록 합병/분리 기술에 따른 영상정보 부호화부의 구성도,
도 9는 종래 모양적응형 DCT가 적용된 물체경계블록 합병/분리 기술에 따른 영상정보 부호화부의 구성도,
도 10은 본 발명의 제 1실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면,
도 11은 본 발명의 제 2실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면,
도 12는 부호화하려는 영상의 영상포맷에 따른 매크로블록내의 블록 배열을 도시한 도면,
도 13은 도 12의 각 영상포맷에 대해 물체경계블록 합병/분리가 적용되는 모델을 도시한 도면,
도 14는 본 발명의 제 1실시예에 따른 물체경계블록 합병부의 동작에 관한 플로우챠트,
도 15는 본 발명의 제 1, 2실시예에 따른 물체경계블록 분리부의 동작을 도시한 플로우챠트,
도 16은 본 발명의 제 1실시예에 따른 물체경계블록 합병기술을 나타낸 도면,
도 17은 본 발명의 제 1, 2실시예에 따른 물체경계블록 분리기술을 나타낸 도면,
도 18은 본 발명의 제 3실시예에 의한 MPEG-4 부호화기의 영상정보 부호화장치를 도시한 도면,
도 19는 본 발명의 제 3실시예에 따른 물체경계블록 합병부의 동작에 관한 플로우챠트,
도 20은 본 발명의 제 3실시예에 따른 물체경계블록 분리부의 동작에 관한 플로우챠트,
도 21은 본 발명의 제 3실시예에 따른 물체경계블록 합병기술을 나타낸 도면,
도 22는 본 발명의 제 3실시예에 따른 물체경계블록 분리기술을 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
1000 : 영상정보 부호화장치 1100 : 물체밖 영역패딩부
1200 : 물체경계블록 합병/분리 정보추출부 1300 : 물체경계블록 합병부
1400 : DCT부 1500 : 양자화부
1600 : DCT계수 및 관련정보 부호화부 1700 : 역 양자화부
1800 : 역 DCT부 1900 : 합병된 블록분리부

Claims (49)

  1. 원영상정보 또는 영상오차정보를 입력받아 모양정보를 이용하여 부호화하는 영상정보 부호화장치에 있어서,
    원영상정보 또는 영상오차정보를 입력받아 패딩을 위한 모양정보를 이용하여 영상정보의 물체밖 영역을 패딩하는 물체밖 영역패딩부와,
    복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지의 여부를 판단하여 그에따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    상기 물체밖 영역패딩부에서 패딩된 영상정보를 입력받고 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병부에서 영상정보를 입력받아 DCT를 수행하는 DCT부와,
    상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화 하는 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화장치.
  2. 제 1항에 있어서,
    상기 패딩을 위한 모양정보는 원 영상모양정보, 복원된 모양정보 또는 원 영상모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보인 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화장치.
  3. 제 1항에 있어서,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 역 DCT를 수행하여 복호화된 신호를 출력하는 역 DCT부와,
    상기 역 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 출력하는 합병된 블록분리부가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화장치.
  4. 시간축상의 한시점의 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물 객체를 의미하는 VOP를 형성하는 VOP 형성부와,
    상기 VOP 형성부에서 VOP의 모양정보를 입력받아 부호화 및 복호화하여 출력하는 동시에 현재 입력되는 원 영상 모양정보를 출력하는 모양정보 부호화부와,
    상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받고, 재현된 이전 VOP의 영상정보를 입력받으며, 상기 모양정보 부호화부에서 복원된 모양정보 또는 원영상 모양정보를 입력받아 매크로블록 단위로 움직임을 추정한 움직임정보를 출력하는 움직임추정부와,
    상기 움직임추정부에서 움직임정보를 입력받고, 상기 모양정보 부호화부에서 복원된 모양정보를 입력받으며, 재현된 이전 VOP의 영상정보를 입력받아 움직임이 보상된 VOP의 영상정보를 출력하는 움직임보상부와,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받아 두 영상정보의 차를 구하는 감산기와,
    상기 감산기에서 원영상정보 또는 영상오차정보를 입력받아 패딩을 위한 모양정보를 이용하여 영상정보의 물체밖 영역을 패딩하는 물체밖 영역패딩부와,
    상기 모양정보 부호화부에서 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지의 여부를 판단하여 그에따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    상기 물체밖 영역패딩부에서 패딩된 영상정보를 입력받고 상기 모양정보 부호화부에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병부에서 영상정보를 입력받아 DCT를 수행하는 DCT부와,
    상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화 하는 DCT계수 및 관련정보 부호화부와,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 역 DCT를 수행하여 복호화된 신호를 출력하는 역 DCT부와,
    상기 역 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 재구성된 영상정보를 출력하는 합병된 블록분리부와,
    상기 모양정보 부호화부에서 부호화된 모양정보를 입력받고, 상기 움직임추정부에서 추정된 움직임정보를 입력받으며, 상기 DCT계수 및 관련정보 부호화부에서 부호화된 영상정보를 입력받아 다중화하여 버퍼를 통해 비트스트림으로 전송하는 다중화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기.
  5. 제 4항에 있어서,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 합병된 블록분리부에서 재구성된 영상정보를 입력받아 그 두 정보를 가산하는 가산기와,
    상기 가산기에서 가산값을 입력받아 이전 VOP의 영상정보를 검출하여 상기 움직임추정부 및 움직임보상부에 입력시킴으로써 움직임추정 및 움직임보상에 이용하도록 하는 VOP 검출부가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기.
  6. 원영상정보 또는 영상오차정보를 모양정보를 이용하여 부호화하는 방법에 있어서,
    원 영상정보 또는 영상오차정보를 패딩을 위한 모양정보를 이용하여 물체밖 영역을 패딩하는 제 1단계와,
    상기 제 1단계에서 패딩된 영상정보를 추출된 합병/분리 정보 및 복원된 모양정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와,
    상기 제 2단계에서 합병된 영상정보를 DCT 수행하고 양자화하는 제 3단계와,
    상기 제 3단계에서 양자화된 DCT계수를 추출된 합병/분리정보를 이용하여 가변장부호화하는 제 4단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  7. 제 6항에 있어서,
    상기 제 3단계에서 양자화된 신호를 역 양자화 및 역 DCT를 수행하여 복호화된 신호를 변환하는 제 5단계와,
    상기 제 5단계에서 복호화된 신호를 상기 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 제 6단계가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  8. 제 6항에 있어서,
    상기 제 2단계에서 합병/분리정보를 추출하는 방법중 추출근거가 되는 복원 모양정보가 4개의 8×8블록으로 구성된 매크로블록일 때 수평 합병/정보 추출과정은 좌, 우측 상부블록이 물체경계블록이고, 우측 상부블록의 모양정보를 180도 회전한 것과 좌측 상부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 우측 상부블록의 영상정보를 180도 회전시켜 좌측 상부블록의 영상정보에 합병하고, 우측 상부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계와,
    좌측 하부블록과 우측 하부블록이 물체경계블록이고, 우측 하부블록의 모양정보를 180도 회전한 것과 좌측 하부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면 우측 하부블록의 영상정보를 180도 회전시켜 좌측 하부블록의 영상정보에 합병하고, 우측 하부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  9. 제 6항에 있어서,
    상기 제 2단계에서 합병/분리정보를 추출하는 방법중 추출근거가 되는 복원 모양정보가 4개의 8×8블록으로 구성된 매크로블록일 때 수직 합병/분리 정보추출과정은 좌측 상, 하부블록이 물체경계블록이고, 좌측 하부블록의 모양정보를 180도 회전한 것과 좌측 상부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 좌측 하부블록의 영상정보를 180도 회전시켜 좌측 상부블록의 영상정보에 합병하고, 좌측 하부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계와,
    우측 상, 하부블록이 물체경계블록이고, 우측 하부블록의 모양정보를 180도 회전한 것과 우측 상부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면 우측 하부블록의 영상정보를 180도 회전시켜 우측 상부블록의 영상정보에 합병하고, 우측 하부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  10. 제 6항에 있어서,
    상기 제 2단계에서 합병/분리정보를 추출하는 방법중 추출근거가 되는 복원 모양정보가 4개의 8×8블록으로 구성된 매크로블록일 때 대각선 합병/분리 정보 추출과정은 좌측 상부블록과 우측 하부블록이 물체경계블록이고, 우측 하부블록의 모양정보를 180도 회전한 것과 좌측 상부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면, 우측 하부블록의 영상정보를 180도 회전시켜 좌측 상부블록의 영상정보에 합병하고, 우측 하부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계와,
    우측 상부블록과 좌측 하부블록이 물체경계블록이고, 좌측 하부블록의 모양정보를 180도 회전한 것과 우측 상부블록의 모양정보간에 물체내 픽셀중 서로 중첩되는 픽셀이 하나도 없다면 좌측 하부블록의 영상정보를 180도 회전시켜 우측 상부블록의 영상정보에 합병하고, 좌측 하부블록은 영상정보 부호화시 물체밖 블록처럼 취급하라는 플래그를 추출하는 단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  11. 제 6항에 있어서,
    상기 제 2단계에서 합병/분리정보를 추출하는 방법은 상기 수평 합병/분리 정보를 추출하고 상기 수직 합병/분리 정보를 추출한 후 상기 대각선 합병/분리 정보를 추출하는 제 1방법과,
    상기 수평 합병/분리 정보를 추출하고 상기 대각선 합병/분리 정보를 추출한 후 상기 수직 합병/분리 정보를 추출하는 제 2방법과,
    상기 수직 합병/분리 정보를 추출하고 상기 수평 합병/분리 정보를 추출한 후 상기 대각선 합병/분리 정보를 추출하는 제 3방법과,
    상기 수직 합병/분리 정보를 추출하고 상기 대각선 합병/분리 정보를 추출한 후 상기 수평 합병/분리 정보를 추출하는 제 4방법과,
    상기 대각선 합병/분리 정보를 추출하고 상기 수평 합병/분리 정보를 추출한 후 상기 수직 합병/분리 정보를 추출하는 제 5방법과,
    상기 대각선 합병/분리 정보를 추출하고 상기 수직 합병/분리 정보를 추출한 후 상기 수평 합병/분리 정보를 추출하는 제 6방법 중 하나의 방법인 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  12. 제 11항에 있어서,
    제 1, 2, 3, 4, 5, 6 합병/분리 정보추출방법은 각각 세가지 합병/분리 정보 추출과정 중 어느한 합병/분리 정보 추출과정에서 플래그가 발생하면 그 이후 과정은 생략됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  13. 제 8 내지 12항 중 어느한 항에 있어서,
    부호화 하기 위해 입력되는 영상정보의 영상포맷이 색차블록 없이 휘도블록 만 존재 하거나 그레이 스케일 모양정보의 투명도 정보와 같이 네 개의 블록으로 구성된 경우는 합병/분리 정보 추출과정은 상기 제 1 내지 6 방법 중 어느 한 방법인 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  14. 제 8 내지 12항 중 어느한 항에 있어서,
    부호화 하기 위해 입력되는 영상정보의 영상포맷이 4(Y) : 2(Cb) : 0(Cr)인 경우의 합병/분리 정보 추출과정은 휘도블록에 대해서만 상기 제 1 내지 6 방법 중 어느 한 방법을 적용함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  15. 제 8 내지 12항 중 어느한 항에 있어서,
    부호화 하기 위해 입력되는 영상정보의 영상포맷이 4(Y) : 2(Cb) : 2(Cr)인 경우의 합병/분리 정보 추출과정은 휘도블록에 대해서는 상기 제 1 내지 6 방법 중 어느 한 방법을 적용하고,
    색차블록에 대해서는 색차성분별(Cb, Cr)로 각각 수평합병/분리 정보추출과정만 적용함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  16. 제 8 내지 12항 중 어느한 항에 있어서,
    부호화 하기 위해 입력되는 영상정보의 영상포맷이 4(Y) : 4(Cb) : 4(Cr)인 경우의 합병/분리 정보 추출과정은 휘도블록에 대해서는 상기 제 1 내지 6 방법 중 어느 한 방법을 적용하고,
    색차블록에 대해서는 색차성분별(Cb, Cr)로 각각 상기 제 1 내지 6 방법 중 어느 한 방법을 적용함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  17. 제 6항에 있어서,
    상기 제 2단계에서 패딩된 영상정보를 입력받고, 추출된 합병/분리 정보 및 복원된 모양정보를 이용하여 물체경계블록의 영상정보를 합병하는 방법은 입력되는 패딩된 매크로블록단위인 영상정보중 휘도블록에 물체경계블록합병을 적용시키는 휘도블록의 물체경계블록 합병적용단계와,
    입력되는 영상정보 중에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단하는 영상포맷 판단단계와,
    상기 영상포맷 판단단계에서 입력영상의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우 색차성분별(Cb, Cr)로 색차블록에 물체경계블록 합병을 적용시키는 색차블록의 물체경계블록 합병적용단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  18. 제 17항에 있어서,
    상기 영상포맷 판단단계에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0 인 경우 종료함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  19. 제 17항에 있어서,
    상기 휘도블록의 물체경계블록 합병적용단계는 16×16 휘도블록내의 네가지 8×8 블록중 어느한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단하는 합병블록여부 판단단계와,
    상기 합병블록여부 판단단계에서 상기 블록(Bi)이 합병하는 블록이면 그 블록(Bi)과 그 블록에 합병되는 블록을 합병하는 블록합병단계와,
    상기 i의 수를 하나 증가시키는 i수 증가단계와,
    상기 i가 4보다 작은 지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 상기 i가 4보다 작으면 상기 합병블록여부 판단단계로 진행되는 한편, 상기 i가 4가 되면 종료하는 종료단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  20. 제 19항에 있어서,
    상기 합병블록여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  21. 제 19항에 있어서,
    블록합병단계는 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병하며, 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 패딩된 정보를 대체하는 한편, 상기 180도 회전시킨 합병되는 블록의 물체밖 영역의 패딩된 정보는 합병하는 블록의 패딩된 정보와 평균한 값으로 대체함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  22. 제 17항에 있어서,
    상기 색차블록의 물체경계블록 합병적용단계는 입력영상포맷이 4 : 2 : 2 인 경우 색차정보(Cb 또는 Cr)내의 두가지 8×8 블록중 한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단하는 합병블록 여부판단단계와,
    상기 합병블록 여부판단단계에서 상기 블록(Bi)이 합병하는 블록이면 그 블록(Bi)과 그 블록에 합병되는 블록을 합병하는 블록합병단계와,
    상기 i의 수를 하나 증가시키는 i수 증가단계와,
    상기 i가 2보다 작은 지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 상기 i가 2보다 작으면 상기 합병블록 여부판단단계로 진행되는 한편, 상기 i가 2가 되면 종료하는 종료단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  23. 제 22항에 있어서,
    상기 합병블록 여부판단단계에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  24. 제 22항에 있어서,
    상기 블록합병단계는 합병되는 블록을 180도 회전시킨 후 합병하는 블록에 합병하며, 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 패딩된 정보를 대체하는 한편, 상기 180도 회전시킨 합병되는 블록의 물체밖 영역의 패딩된 정보는 합병하는 블록의 패딩된 정보와 평균한 값으로 대체함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  25. 제 17항에 있어서,
    상기 색차블록의 물체경계블록 합병적용단계는 입력영상포맷이 4 : 4 : 4 인 경우 색차정보(Cb 또는 Cr)내의 두가지 8×8 블록중 한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병하는 블록인지의 여부를 판단하는 합병블록 여부판단단계와,
    상기 합병블록 여부판단단계에서 상기 블록(Bi)이 합병하는 블록이면 그 블록(Bi)과 그 블록에 합병되는 블록을 합병하는 블록합병단계와,
    상기 i의 수를 하나 증가시키는 i수 증가단계와,
    상기 i가 4보다 작은 지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 상기 i가 4보다 작으면 상기 합병블록 여부판단단계로 진행되는 한편, 상기 i가 4가 되면 종료하는 종료단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  26. 제 25항에 있어서,
    상기 합병블록 여부판단단계에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  27. 제 7항에 있어서,
    상기 제 6단계에서 복호화된 신호를 입력받아 합병/분리정보를 이용하여 합병된 블록을 분리하는 방법은 입력받은 매크로 블록단위인 영상정보중 휘도블록에 물체경계블록 분리를 적용시키는 휘도블록의 물체경계블록 분리적용단계와,
    입력 영상정보에 색차블록이 존재하는 동시에 영상포맷이 4 : 2 : 0 이 아닌지의 여부를 판단하는 영상포맷 판단단계와,
    상기 영상포맷 판단단계에서 입력영상정보의 포맷이 4 : 2 : 2 나 4 : 4 : 4 인 경우 색차성분별(Cb, Cr)로 색차블록에 물체경계블록 분리를 적용시키는 색차블록의 물체경계블록 분리적용단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  28. 제 27항에 있어서,
    상기 영상포맷판단단계에서 색차블록이 존재하지 않거나 영상포맷이 4 : 2 : 0일 경우 종료함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  29. 제 27항에 있어서,
    상기 휘도블록의 물체경계블록 분리적용단계는 16×16 휘도블록내의 네가지 8×8 블록 중 한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단하는 타블록 합병여부 판단단계와,
    상기 타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병한 블록이면, 상기 블록(Bi)으로부터 합병된 블럭을 분리하는 블록분리단계와,
    상기 i의 수를 하나 증가 시키는 i수 증가단계와,
    상기 i가 증가단계에서 i가 4 보다 작은지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 i가 4보다 작으면 상기 타블록 합병여부 판단단계로 진행되는 한편, 상기 i가 4가 되면 종료하는 종료단계로 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  30. 제 29항에 있어서,
    타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  31. 제 29항에 있어서,
    상기 블록분리단계는 합병된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  32. 제 27항에 있어서,
    상기 색차블록의 물체경계블록 분리적용단계는 입력영상포맷이 4 : 2 : 2 인 경우 색차정보(Cb 또는 Cr)내의 두가지 8×8 블록중 한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단하는 타블록 합병여부 판단단계와,
    상기 타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병한 블록이면, 상기 블록(Bi)으로부터 합병된 블럭을 분리하는 블록분리단계와,
    상기 i의 수를 하나 증가 시키는 i수 증가단계와,
    상기 i가 2 보다 작은지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 i가 2보다 작으면 상기 타블록 합병여부 판단단계로 진행하는 반면에, 상기 i가 2가 되면 종료하는 종료단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  33. 제 32항에 있어서,
    타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병한 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  34. 제 32항에 있어서,
    상기 블록분리단계는 합병된 블록의 영상정보를 상기 합병한 블록을 180도 회전시킨 영상정보로 모두 대체함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  35. 제 27항에 있어서,
    상기 색차블록의 물체경계블록 분리적용단계는 입력영상포맷이 4 : 4 : 4 인 경우 색차정보(Cb 또는 Cr)내의 네가지 8×8 블록중 한 블록(Bi)에 대한 합병/분리정보를 입력받아 그 블록(Bi)이 다른 블록을 합병했는지의 여부를 판단하는 타블록 합병여부 판단단계와,
    상기 타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병한 블록이면, 상기 블록(Bi)으로부터 합병된 블럭을 분리하는 블록분리단계와,
    상기 i의 수를 하나 증가 시키는 i수 증가단계와,
    상기 i가 4 보다 작은지의 여부를 판단하는 i수 판단단계와,
    상기 i수 판단단계에서 i가 4보다 작으면 상기 타블록 합병여부 판단단계로 진행하는 반면에, 상기 i가 4가 되면 종료하는 종료단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  36. 제 35항에 있어서,
    상기 타블록 합병여부 판단단계에서 상기 블록(Bi)이 다른 블록을 합병하는 블록이 아니면, 상기 i수 증가단계로 진행됨을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  37. 원영상정보 또는 영상오차정보를 입력받아 모양정보를 이용하여 부호화하는 영상정보 부호화장치에 있어서,
    복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    원 영상정보 또는 영상오차정보를 입력받아 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병부에서 합병된 영상정보를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보 및 합병된 영상의 모양정보를 이용하여 모양적응형 DCT를 수행하는 모양적응형 DCT부와,
    상기 모양적응형 DCT부에서 모양적응형 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 모양적응형 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔을 실행하여 부호화하는 모양적응형 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화 장치.
  38. 제 37항에 있어서,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보 및 합병된 모양정보를 이용하여 역모양적응형 DCT를 수행하는 역모양적응형 DCT부와,
    상기 역모양적응형 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 합병된 블록분리부가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화 장치.
  39. 시간축상의 한시점의 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물 객체를 의미하는 VOP를 형성하는 VOP 형성부와,
    상기 VOP 형성부에서 VOP의 모양정보를 입력받아 부호화 및 복호화하여 출력하는 동시에 현재 입력되는 원 영상 모양정보를 출력하는 모양정보 부호화부와,
    상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받고, 재현된 이전 VOP의 영상정보를 입력받으며, 상기 모양정보 부호화부에서 복원된 모양정보 또는 원영상 모양정보를 입력받아 매크로블록 단위로 움직임을 추정한 움직임정보를 출력하는 움직임추정부와,
    상기 움직임추정부에서 움직임정보를 입력받고, 상기 모양정보 부호화부에서 복원된 모양정보를 입력받으며, 재현된 이전 VOP의 영상정보를 입력받아 움직임이 보상된 VOP의 영상정보를 출력하는 움직임보상부와,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받아 두 영상정보의 차를 구하는 감산기와,
    상기 모양정보 부호화기에서 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    상기 감산기에서 원 영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화기로에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병부에서 합병된 영상정보를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리 정보 및 합병된 영상의 모양정보를 이용하여 모양적응형 DCT를 수행하는 모양적응형 DCT부와,
    상기 모양적응형 DCT부에서 모양적응형 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 모양적응형 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔을 실행하여 부호화하는 모양적응형 DCT계수 및 관련정보 부호화부와,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보 및 합병된 모양정보를 이용하여 역모양적응형 DCT를 수행하는 역모양적응형 DCT부와,
    상기 역모양적응형 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 합병된 블록분리부와,
    상기 모양정보 부호화부에서 부호화된 모양정보를 입력받고, 상기 움직임추정부에서 추정된 움직임정보를 입력받으며, 상기 모양적응형 DCT계수 및 관련정보 부호화부에서 부호화된 영상정보를 입력받아 다중화하여 버퍼를 통해 비트스트림으로 전송하는 다중화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기.
  40. 제 39항에 있어서,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 합병된 블록분리부에서 재구성된 영상정보를 입력받아 그 두 정보를 가산하는 가산기와,
    상기 가산기에서 가산값을 입력받아 이전 VOP의 영상정보를 검출하여 상기 움직임추정부 및 움직임보상부에 입력시킴으로써 움직임추정 및 움직임보상에 이용하도록 하는 VOP 검출부가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기.
  41. 원영상정보 또는 영상오차정보를 모양정보를 이용하여 부호화하는 방법에 있어서,
    복원된 모양정보를 이용하여 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 제 1단계와,
    원 영상정보 또는 영상오차정보를 복원된 모양정보 및 상기 제 1단계에서 추출된 합병/분리 정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와,
    상기 제 2단계에서 합병된 영상정보를 상기 합병/분리 정보 및 합병된 영상의 모양정보를 입력받아 모양적응형 DCT를 수행하는 제 3단계와,
    상기 제 3단계에서 얻어진 모양적응형 DCT계수를 양자화하는 제 4단계와,
    상기 제 4단계에서 얻어진 양자화된 모양적응형 DCT계수를 입력받아 합병/분리정보 및 합병된 영상의 모양정보를 이용하여 계수가 존재하지 않은 영역에 대해서는 스킵하여 지그재그 스캔을 적용하는 적응형 스캔을 실행하여 부호화하는 제 5단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  42. 제 41항에 있어서,
    상기 제 4단계에서 얻어진 양자화된 신호를 역 양자화하는 제 6단계와,
    상기 제 6단계에서 얻어진 역 양자화된 신호를 상기 합병/분리정보 및 합병된 모양정보를 이용하여 역모양적응형 DCT를 수행하는 제 7단계와,
    상기 제 7단계에서 얻어진 복호화된 신호를 상기 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 제 8단계가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  43. 제 41항에 있어서,
    상기 제 2단계에서 물체경계블록의 영상정보를 합병하는 과정은 합병되는 블록의 영상정보를 180도 회전시킨 후 합병하는 블록에 합병하며, 이때 180도 회전시킨 합병되는 블록의 물체내 영역의 영상정보는 합병하는 블록의 물체밖 영역의 정보를 대체하고 합병하는 물체밖 영역과 합병되는 물체밖영역의 모든 정보에 대해서는 DON'T CARE 함을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  44. 원영상정보 또는 영상오차정보를 입력받아 모양정보를 이용하여 부호화장치에 있어서,
    복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    원영상정보 또는 영상오차정보를 입력받아 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병/분리 정보추출부로부터 합병/분리정보를 입력받고 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 출력하는 패딩모양정보추출부와,
    상기 물체경계블록 합병부로부터 영상정보를 입력받아 상기 패딩모양정보 추출부에서 입력되는 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 물체밖 영역패딩부와,
    상기 물체밖 영역패딩부로부터 영상정보를 입력받아 DCT를 수행하는 DCT부와,
    상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화하는 DCT계수 및 관련정보 부호화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화장치.
  45. 제 44항에 있어서,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 역 DCT를 수행하는 역 DCT부와,
    상기 역 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부로부터 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 합병된 블록분리부가 추가되어 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화장치.
  46. 시간축상의 한시점의 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물 객체를 의미하는 VOP를 형성하는 VOP 형성부와,
    상기 VOP 형성부에서 VOP의 모양정보를 입력받아 부호화 및 복호화하여 출력하는 동시에 현재 입력되는 원 영상 모양정보를 출력하는 모양정보 부호화부와,
    상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받고, 재현된 이전 VOP의 영상정보를 입력받으며, 상기 모양정보 부호화부에서 복원된 모양정보 또는 원영상 모양정보를 입력받아 매크로블록 단위로 움직임을 추정한 움직임정보를 출력하는 움직임추정부와,
    상기 움직임추정부에서 움직임정보를 입력받고, 상기 모양정보 부호화부에서 복원된 모양정보를 입력받으며, 재현된 이전 VOP의 영상정보를 입력받아 움직임이 보상된 VOP의 영상정보를 출력하는 움직임보상부와,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 VOP 형성부에서 형성된 VOP의 영상정보를 입력받아 두 영상정보의 차를 구하는 감산기와,
    상기 모양정보 부호화부에서 복원된 모양정보를 입력받아 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 물체경계블록 합병/분리 정보추출부와,
    상기 감산기에서 원영상정보 또는 영상오차정보를 입력받아 상기 모양정보 부호화부에서 입력되는 복원된 모양정보 및 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 물체경계블록 합병부와,
    상기 물체경계블록 합병/분리 정보추출부로부터 합병/분리정보를 입력받고 상기 모양정보 부호화부에서 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 입력받아 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 출력하는 패딩모양정보추출부와,
    상기 물체경계블록 합병부로부터 영상정보를 입력받아 상기 패딩모양정보 추출부에서 입력되는 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 물체밖 영역패딩부와,
    상기 물체밖 영역패딩부로부터 영상정보를 입력받아 DCT를 수행하는 DCT부와,
    상기 DCT부에서 DCT계수를 입력받아 양자화하는 양자화부와,
    상기 양자화부에서 양자화된 DCT계수를 입력받아 상기 물체경계블록 합병/분리 정보추출부에서 입력되는 합병/분리정보를 이용하여 가변장부호화하는 DCT계수 및 관련정보 부호화부와,
    상기 양자화부에서 양자화된 신호를 입력받아 역 양자화하는 역 양자화부와,
    상기 역 양자화부에서 역 양자화된 신호를 입력받아 역 DCT를 수행하는 역 DCT부와,
    상기 역 DCT부에서 복호화된 신호를 입력받아 상기 물체경계블록 합병/분리 정보추출부로부터 입력되는 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 합병된 블록분리부와,
    상기 모양정보 부호화부에서 부호화된 모양정보를 입력받고, 상기 움직임추정부에서 추정된 움직임정보를 입력받으며, 상기 DCT계수 및 관련정보 부호화부에서 부호화된 영상정보를 입력받아 다중화하여 버퍼를 통해 비트스트림으로 전송하는 다중화부로 이루어진 것을 특징으로 하는 MPEG-4 부호화기.
  47. 제 46항에 있어서,
    상기 움직임보상부에서 움직임이 보상된 VOP의 영상정보를 입력받는 동시에 상기 합병된 블록분리부에서 재구성된 영상정보를 입력받아 그 두 정보를 가산하는 가산기와,
    상기 가산기에서 가산값을 입력받아 이전 VOP의 영상정보를 검출하여 상기 움직임추정부 및 움직임보상부에 입력시킴으로써 움직임추정 및 움직임보상에 이용하도록 하는 VOP 검출부가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기.
  48. 원영상정보 또는 영상오차정보를 모양정보를 이용하여 부호화하는 방법에 있어서,
    복원된 모양정보로서 물체경계블록을 합병할 것인지의 여부 및 분리할 것인지에 대한 여부를 판단하고 그에 따른 물체경계블록 합병/분리 정보를 추출하는 제 1단계와,
    원영상정보 또는 영상오차정보를 복원된 모양정보 및 상기 제 1단계에서 추출된 합병/분리정보를 이용하여 물체경계블록의 영상정보를 합병하는 제 2단계와,
    상기 제 1단계에서 추출한 합병/분리정보와 패딩을 위한 모양정보(원영상 모양정보, 복원된 모양정보 또는 원영상 모양정보와 복원된 모양정보를 이용하여 생성한 임의의 모양정보등)를 이용하여 물체경계블록이 합병된 블록 및 합병되지 않은 블록의 패딩을 위한 모양정보를 구하는 제 3단계와,
    상기 제 2단계에서 구한 합병된 영상정보를 상기 제 3단계에서 구한 합병된 블록 및 합병되지않은 블록의 패딩을 위한 모양정보를 이용하여 물체밖영역을 패딩하는 제 4단계와,
    상기 제 4단계에서 패딩한 영상정보를 DCT를 수행하는 제 5단계와,
    상기 제 5단계에서 얻어진 DCT계수를 양자화하는 제 6단계와,
    상기 제 6단계에서 얻어진 양자화된 DCT계수를 상기 제 1단계에서 추출한 합병/분리정보를 이용하여 가변장부호화하는 제 7단계로 이루어진 것을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
  49. 제 48항에 있어서,
    상기 제 6단계에서 얻어진 양자화된 신호를 역 양자화하는 제 8단계와,
    상기 제 8단계에서 얻어진 역 양자화된 신호를 역 DCT 수행하는 제 9단계와,
    상기 제 9단계에서 얻어진 복호화된 신호를 입력받아 상기 합병/분리정보를 이용하여 합병된 블록을 분리하여 영상정보를 재구성하는 제 10단계가 추가되어 이루어짐을 특징으로 하는 MPEG-4 부호화기의 영상정보 부호화방법.
KR10-1999-0012597A 1999-04-09 1999-04-09 Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법 KR100530853B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-1999-0012597A KR100530853B1 (ko) 1999-04-09 1999-04-09 Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0012597A KR100530853B1 (ko) 1999-04-09 1999-04-09 Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20000065873A KR20000065873A (ko) 2000-11-15
KR100530853B1 true KR100530853B1 (ko) 2005-11-23

Family

ID=19579293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0012597A KR100530853B1 (ko) 1999-04-09 1999-04-09 Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100530853B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980024883A (ko) * 1996-09-25 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 방법
KR19980068228A (ko) * 1997-02-17 1998-10-15 김영환 영상정보 부호화시 물체경계 블록 합병/분할을 이용한 영상정보 부호화방법
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980024883A (ko) * 1996-09-25 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 방법
KR19980068228A (ko) * 1997-02-17 1998-10-15 김영환 영상정보 부호화시 물체경계 블록 합병/분할을 이용한 영상정보 부호화방법
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式

Also Published As

Publication number Publication date
KR20000065873A (ko) 2000-11-15

Similar Documents

Publication Publication Date Title
KR100303685B1 (ko) 영상 예측부호화 장치 및 그 방법
JP3895431B2 (ja) 物体境界ブロック合併／分割を利用した映像情報符号化方法
EP1289301B1 (en) Method and device for encoding image
US6307885B1 (en) Device for and method of coding/decoding image information
KR100306337B1 (ko) 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치
JP4226172B2 (ja) 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
KR930018537A (ko) 디지탈 vtr의 영상신호 대역 압축장치
JP3720850B2 (ja) デジタル化画像の符号化および復号化のための方法および装置
KR20010031548A (ko) 디지털화된 영상을 처리하기 위한 방법 및 장치
KR20000033758A (ko) 영상시스템에서의 압축동영상 변환 장치 및 그 방법
KR100530853B1 (ko) Ｍｐｅｇ­4 부호화기의 영상정보 부호화장치 및 그 방법
KR100359819B1 (ko) 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법
CN101223785A (zh) 改进视频错误隐藏的编解码方法及装置
KR100319916B1 (ko) 계층구조를갖는스케일러블디지탈화상압축/복원방법및장치
KR100466592B1 (ko) 물체경계블록영상정보부호화방법
JP3798432B2 (ja) ディジタル画像を符号化および復号化する方法および装置
KR100522595B1 (ko) 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기
CN100474931C (zh) 数字信号转换方法和数字信号转换装置
WO2023125631A1 (zh) 编码块的处理方法、视频编解码方法、装置、介质及计算机设备
KR100483672B1 (ko) 영상신호처리의모양정보부호화방법
KR100417131B1 (ko) 매크로블록의합병과패딩을이용한모양적응영상부호화장치
KR100559713B1 (ko) 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법
KR100312411B1 (ko) 영상시스템에서의압축동영상변환방법
Lee Standard coding for mpeg-1, mpeg-2 and advanced coding for mpeg-4
WO2020248099A1 (en) Perceptual adaptive quantization and rounding offset with piece-wise mapping function

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091027

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee