KR20040099465A

KR20040099465A - 화상 복호화 장치

Info

Publication number: KR20040099465A
Application number: KR10-2004-7017024A
Authority: KR
Inventors: 이스요시미; 세키구치슈니치; 아사이고타로; 니시카와히로후미; 구로다시니치; 하세가와유리
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 1997-10-23
Filing date: 1997-10-23
Publication date: 2004-11-26
Anticipated expiration: 2017-10-23
Also published as: US20080063057A1; US8036278B2; US20060013494A1; KR20050010766A; US8054889B2; US6862320B1; US8036279B2; US20080056385A1; US7469008B2; KR100511693B1; US20060013301A1; US20080056590A1; EP1032219A1; KR20040049319A; KR20040106373A; DE69721847D1; US8045617B2; US8031781B2; US8045623B2; US20080063053A1

Abstract

본 발명은 부호화 방식이 다른 부호화 비트 스트림이라도 복호 가능한 화상 복호화 장치이며, 부호화 비트 스트림에 다중화된 부호화 방식 식별 정보에 의해 부호화 방식을 판정하는 부호화 방식 판정부와, 제 1 부호화 방식의 헤더 정보에 의해 제 2 부호화 방식의 헤더 정보를 설정하는 설정 수단과, 설정된 제 2 부호화 방식의 헤더 정보에 기초하여, 제 1 부호화 방식의 화상 부호화 데이터를 복호하는 복호 수단을 구비한 화상 복호화 장치에 관한 것이다.

Description

화상 복호화 장치{Image decoder}

기술분야

본 발명은 서로 다른 부호화 방식의 부호화 비트 스트림을 취급하는 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템 및 부호화 비트 스트림 변환장치에 관한 것이다.

배경기술

현재, ISO/IEC JTC11/SC29/WG11으로 표준화 작업 중인 MPEG-4(Moving Picture Experts Group Phase-4) 방식과, ITU-T 권고 H.263의 규격에 기초하는 방식에서는 전송신호인 부호화 비트 스트림에 부가되는 헤더 정보(복호를 위한 정보신호)가 서로 다르게 되어 있다.

도 1의 (a)는 H.263의 규격에 기초하는 H.263 부호화 비트 스트림(201)의 구조를 도시된 도면이고, 헤더 정보(211)와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터인 매크로 블록 데이터(225)가 다중화되어 있다. 도 1의 (b)는 MPEG-4 부호화 비트 스트림(202)의 구조를 도시된 도면이고, 헤더 정보(212)와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터인 매크로 블록 데이터(239)가 다중화되어 있다. 도면에 도시된 것과 같이, 부호화 비트 스트림의 구조는 서로 다르게 되어 있고, 특히 H.263에서는, MPEG-4의 복호에 필요한 VO(Video 0bject), VOL(Video 0bject Layer), VOP(Video Object Plane) 등에 관한 헤더 정보가 포함되어 있지 않다. 그 때문에 양 방식에 의한 화상의 통신을 행하기 위해서는, 각각 별개의 화상 복호화 장치 및 화상 부호화 장치가 필요하다.

또 H.263 부호화 비트 스트림(201)의 GOB 스타트 코드(223), GOB 헤더 정보(224) 및 MPEG-4 부호화 비트 스트림(202)의 재동기 지시 코드(237), 재동기 정보(238)는 항상 삽입되어 있는 것은 아니며, 필요에 따라서 삽입된다.

이와 같이 종래의 부호화 비트 스트림은 이상과 같이 구성되어 있기 때문에, 예를 들어 MPEG-4 대응의 화상 복호화 장치에서는 H.263의 규격에 기초하여 생성된 H.263 부호화 비트 스트림(201)을 복호할 수 없다는 과제가 있었다.

또한 MPEG-4 대응과 H.263의 규격에 기초하는 양쪽의 부호화 비트 스트림을 복호하기 위해서는, 화상 복호화 장치는 양 방식의 복호회로를 구비할 필요가 있어, 장치가 복잡하게 된다는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 간단한 구성에 의해, H.263 부호화 비트 스트림(201)을 복호 가능한 화상 복호화 장치, 그 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치, H.263 부호화 비트 스트림을 MPEG-4 부호화 비트 스트림으로 변환하여 통신하는 화상 통신 시스템 및 부호화 비트 스트림 변환장치를 얻는 것을 목적으로 한다.

(발명의 개시)

본 발명에 관한 화상 복호화 장치는, 제 1 헤더 정보와 제 1 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 제 2 헤더 정보와 제 2 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호함에 있어서, 상기 제 1 헤더 정보 또는 상기 제 2 헤더 정보에 기초하여, 수신한 부호화 비트 스트림이, 상기 제 1 부호화 비트 스트림, 또는 상기 제 2 부호화 비트 스트림인지를 판정하는 부호화 방식 판정 수단과, 상기 제 2 부호화 비트 스트림을 수신하고, 상기 제 2 헤더 정보에 포함되어 있는 상기 제 2 부호화 방식의 화상 부호화 정보를 복호하는 복호 수단과, 상기 제 1 부호화 비트 스트림을 수신하고, 상기 제 1 헤더 정보에 포함되어 있는 상기 제 1 부호화 방식의 화상 부호화 정보에 기초하여, 상기 제 2 부호화 방식의 화상 부호화 정보를 설정하는 설정 수단을 구비하며, 상기 설정 수단에 의해 설정된 화상 부호화 정보, 또는 상기 복호 수단에 의해 복호된 화상 부호화 정보에 기초하여, 상기 제1 부호화 비트 스트림, 또는 상기 제 2 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 복호하는 것이다.

이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도 복호할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정 수단이, 제 1 헤더 정보 또는 제 2 헤더 정보에 포함되는 제 1 또는 제 2 부호화 방식을 식별하는 부호화 방식 식별 정보에 기초하여 판정하는 것이다.

이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도, 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 복호화 장치는 부호화 방식 판정 수단이, 제 1 헤더 정보 또는 제 2 헤더 정보에 포함되는 스타트 코드에 기초하여 판정하는 것이다.

본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정 수단이, 제 1 헤더 정보에 포함되는 H.263 스타트 코드 또는 제 2 헤더 정보에 포함되는 VOL(Video 0bject Layer) 스타트 코드에 기초하여 판정하는 것이다.

이것에 의해, 부호화 방식이 다른 H.263과 MPEG-4의 부호화 비트 스트림이라도, 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정 수단이, 제 1 헤더 정보에 포함되는 픽처 스타트 코드 또는 제 2 헤더 정보에 포함되는 V0(VideoObject) 스타트 코드에 기초하여 판정하는 것이다.

이것에 의해, 부호화 방식이 다른 H.263과 MPEG-4의 부호화 비트 스트림이라도, 새로운 헤더 정보를 부가하지 않더라도 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 부호화 장치는, 화상 신호를 제 1 부호화 방식으로 부호화하여 제 1 부호화 비트 스트림을 생성하는 부호화 수단과, 상기 제 1 부호화 비트 스트림에, 제 2 부호화 방식으로 부호화된 제 2 부호화 비트 스트림과 호환성을 확보하기 위한 헤더 정보를 다중화하여 송신하는 헤더 정보 다중화 수단을 구비한 것이다.

이것에 의해, 제 2 부호화 비트 스트림을 복호하는 복호화 수단이 복호 가능한 제 1 부호화 비트 스트림을 생성할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 부호화 장치는, 헤더 정보 다중화 수단이, 호환성을 확보하기 위한 헤더 정보로서, 제 2 부호화 방식의 스타트 코드와 제 1 부호화 방식인 것을 나타내는 부호화 방식 식별 정보를 다중화하는 것이다.

이것에 의해, 제 2 부호화 비트 스트림을 복호하는 복호화 수단이 용이하게 부호화 방식을 식별하여 복호 가능한 제 1 부호화 비트 스트림을 생성할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 통신 시스템은, 화상 신호를 제 1 부호화 방식으로 부호화하여 제 1 부호화 비트 스트림을 생성하는 부호화 수단과, 제 2 부호화 방식으로 부호화된 제 2 부호화 비트 스트림을 복호하는 복호화 수단과, 상기 부호화 수단으로부터 수신한 상기 제 1 부호화 비트 스트림에, 상기 복호화 수단으로부터 수신한 호환성을 확보하기 위한 헤더 정보를 다중화하여, 상기 복호화 수단에 송신하는 부호화 비트 스트림 변환 수단을 구비한 것이다.

본 발명에 관한 부호화 비트 스트림 변환장치는, 제 1 부호화 방식으로 생성된 제 1 부호화 비트 스트림을 입력하고, 상기 제 1 부호화 방식의 제 1 헤더 정보와, 화상 부호화 데이터를 분리하는 해석수단과, 분리된 상기 제 1 헤더 정보를 복호하는 복호 수단과, 상기 복호 수단에 의해 복호된 제 1 헤더 정보에 기초하여, 제 2 부호화 방식의 제 2 헤더 정보를 설정하여 부호화하는 헤더 정보 설정 수단과, 상기 신택스 해석수단이 분리한 상기 화상 부호화 데이터와, 상기 헤더 정보 설정 수단이 부호화한 상기 제 2 헤더 정보를 다중화하고, 제 2 부호화 비트 스트림을 생성하는 다중화 수단을 구비한 것이다.

이것에 의해, 제 1 부호화 비트 스트림을 용이하게 제 2 부호화 비트 스트림을 변환할 수 있다는 효과를 얻는다.

본 발명에 관한 화상 복호화 장치는, 제 1 헤더 정보와 제 1 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 제 2 부호화 방식으로 부호화된 화상 부호화 데이터와 제 2 헤더 정보가 다중화된 제 2 부호화 비트 스트림을 복호함에 있어서, 상기 제 1 헤더 정보 또는 상기 제 2 헤더 정보에 기초하여, 수신한 부호화 비트 스트림이, 상기 제 1 부호화 비트 스트림,또는 상기 제 2 부호화 비트 스트림인지를 판단하는 부호화 방식 판정 수단과, 상기 제 1 부호화 비트 스트림을 수신하여, 상기 제 1 헤더 정보를 복호하는 제 1 복호 수단과, 상기 제 2 부호화 비트 스트림을 수신하여, 상기 제 2 헤더 정보에 포함되어 있는 상기 제 2 부호화 방식의 화상 부호화 정보를 복호하는 제 2 복호 수단과, 수신한 부호화 비트 스트림이 제 1 부호화 비트 스트림인 경우, 제 1 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 상기 제 1 복호 수단에 의해 복호된 제 1 헤더 정보에 기초하여 복호하고, 수신한 부호화 비트 스트림이 제 2 부호화 비트 스트림인 경우, 제 2 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 상기 제 2 복호 수단에 의해 복호된 화상 부호화 정보에 기초하여 복호하는 것이다.

이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도, 새로운 헤더 정보를 부가하지 않더라도 부호화 방식을 용이하게 식별하고, 제 1 부호화 비트 스트림이라도 제 2 부호화 방식의 화상 부호화 정보를 설정하지 않고서 복호할 수 있다는 효과를 얻는다.

도 1은 종래의 H.263 부호화 비트 스트림과 MPEG-4 부호화 비트 스트림의 구조를 도시된 도면.

도 2는 본 발명의 실시예 1에 의한 화상 복호화 장치가 수신하는 부호화 비트 스트림의 구조를 도시된 도면.

도 3은 본 발명의 실시예 1에 의한 화상 복호화 장치의 구성을 도시된 블록도.

도 4는 본 발명의 실시예 1에 의한 신택스 해석·가변 길이 복호부의 구성을 도시된 블록도.

도 5는 본 발명의 실시예 1에 의한 헤더 정보 해석부의 구성을 도시된 블록도.

도 6은 본 발명의 실시예 1에 의한 H.263 픽처 헤더 정보 해석부의 구성을 도시된 블록도.

도 7은 본 발명의 실시예 1에 의한 H.263 픽처 헤더 정보 복호부의 구성을 도시된 블록도.

도 8은 본 발명의 실시예 1에 의한 H.263 GOB 헤더 정보 해석부의 구성을 도시된 블록도.

도 9는 GOB를 설명하는 도면.

도 10은 본 발명의 실시예 1에 의한 GOB 헤더 정보 복호부의 구성을 도시된 블록도.

도 11은 H.263 매크로 블록 데이터의 레이어(layer) 구조를 도시된 도면.

도 12는 본 발명의 실시예 1에 의한 매크로 블록 레이어 신택스 해석부의 구성을 도시된 블록도.

도 13은 본 발명의 실시예 1에 의한 블록 데이터 복호부의 구성을 도시된 블록도.

도 14는 예측 벡터의 산출을 설명하는 도면.

도 15는 본 발명의 실시예 1에 의한 텍스처 복호부의 구성을 도시된 블록도.

도 16은 본 발명의 실시예 1에 의한 역 양자화부의 구성을 도시된 블록도

도 17은 본 발명의 실시예 2 및 4에 의한 화상 부호화 장치의 구성을 도시된 블록도.

도 18은 본 발명의 실시예 2 및 4에 의한 H.263 부호화 장치와 MPEG-4 복호화 장치의 관련을 설명하는 도면.

도 19는 본 발명의 실시예 3에 의한 MPEG-4 호환 H.263 부호화 비트 스트림의 내용을 도시된 도면.

도 20은 본 발명의 실시예 3에 의한 헤더 정보 해석부의 구성을 도시된 블록도.

도 21은 본 발명의 실시예 5에 의한 화상 통신 시스템을 도시된 도면.

도 22는 본 발명의 실시예 6에 의한 화상 통신 시스템을 도시된 도면.

도 23은 본 발명의 실시예 7에 의한 헤더 정보 해석부의 구성을 도시된 블록도.

도 24는 본 발명의 실시예 7에 의한 부호화 비트 스트림의 시작과 끝을 설명하는 도면.

도 25는 본 발명의 실시예 8에 의한 부호화 비트 스트림 변환장치를 도시된 블록도.

도 26은 GOB 헤더 정보 및 재(再)동기 정보의 구조를 도시된 도면.

(본 발명을 실시하기 위한 최선의 형태)

이하, 본 발명을 보다 상세히 설명하기 위해서, 본 발명을 실시하기 위한 최선의 예에 관해서, 첨부된 도면에 따라서 설명한다.

실시예 1

도 2는 실시예 1에 있어서의 화상 복호화 장치가 수신하는 부호화 비트 스트림의 구조를 도시된 도면이고, 도 2의 (a)는 MPEG-4 호환 H.263 부호화 비트 스트림(203), 또한 도 2의 (b)는 MPEG-4 부호화 비트 스트림(204)이다. 도 2의 (a)의 MPEG-4 호환 H.263 부호화 비트 스트림(203)은, 종래의 도 1의 (a)에서 도시한 H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233) 및 H.263 호환 식별 정보(226)가 추가되어 있다. 또한 도 2의 (b)의 MPEC-4 부호화 비트 스트림(204)은, 종래의 도 1의 (b)에 도시한 MPEG-4 부호화 비트 스트림(202)에, H.263호환 식별 정보(226)가 추가되어 있다. 또 MPEG-4 호환 H.263 부호화 비트 스트림(203)과 MPEG-4 부호화 비트 스트림(204)에 추가되어 있는 H.263 호환 식별 정보(226)는, 양쪽을 구별할 수 있는 정보로 하고, 예를 들면 한쪽의 H.263 호환 식별 정보를 "0"의 비트로 하면, 다른 쪽을 "1"의 비트로 한다.

도 3은 실시예 1에 있어서의 VO(Video Object)를 복호하는 화상 복호화 장치의 구성을 도시한 블록도이다. 도면에 있어서, 1은 수신한 부호화 비트 스트림, 2는 신택스 해석·가변 길이 복호부이고, 부호화 비트 스트림(1)으로부터, 신택스(다중화한 비디오 신호)를 해석하는 동시에, 형상 부호화 데이터(3), 텍스처 부호화 데이터(6), 텍스처 움직임 데이터(7; motion data)를 출력한다. 4는 화상 부호화 데이터(3)를 복호하여 복호 형상 데이터(5)를 구하는 형상 복호부, 8은 텍스처 움직임 데이터(7)에 기초하여 움직임 보상을 행하여 예측 텍스처 데이터(9)를 구하는 움직임 보상부, 10은 텍스처 부호화 데이터(6)와 예측 텍스처 데이터(9)에 기초하여 복호를 행하여 복호 텍스처 데이터(11)를 구하는 텍스처 복호부이다.

다음에 동작에 대해서 설명한다.

여기서는, 본 발명의 주안점인 도 2의 (a)의 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 복호 동작에 관해서 주로 설명한다. 따라서 각 VOP의 형상이 직사각형인 경우, 즉 비트 스트림중에 형상 부호화 데이터가 포함되지 않는 경우에, 텍스처 데이터나 움직임에 관한 정보가, 매크로 블록마다 부호화되어 있는 경우에 관해서 설명한다.

또한, 도 2의 (b)의 MPEG-4 부호화 비트 스트림(204)의 복호 동작에 대해서는, 기본적으로는 종래와 같다.

우선, 신택스 해석·가변 길이 복호부(2)는, 입력한 부호화 비트 스트림(1)을, 2진의 비트 스트림으로부터 의미를 갖는 데이터로 분리한다. 그리고 이 신택스 해석·가변 길이 복호부(2)가, MPEG-4 호환 H.263 부호화 비트 스트림(203)의 복호를 가능하게 하고 있다. 움직임 보상부(8)는, 신택스 해석·가변 길이 복호부(2)로부터 출력된 텍스처 움직임 데이터(7)에 기초하여 움직임 보상을 행하고, 예측 텍스처 데이터(9)를 출력한다. 텍스처 복호부(10)는, 신택스 해석·가변 길이 복호부(2)로부터 출력된 텍스처 부호화 데이터(6)와 움직임 보상부(8)로부터 출력된 예측 텍스처 데이터(9)를 입력하여, 복호 텍스처 데이터(11)를 얻는다.

다음에 신택스 해석·가변 길이 복호부(2)의 동작에 대해서 설명한다.

도 4는 신택스 해석·가변 길이 복호부(2)의 구성을 도시된 블록도이다. 도면에 있어서, 21은 부호화 비트 스트림(1)에 부가된 헤더 정보를 추출하여 이후의복호 제어에 필요한 각종의 헤더 정보를 설정하는 헤더 정보 해석부, 22는 부호화 비트 스트림(1)으로부터 텍스처 부호화 데이터(6) 및 텍스처 움직임 데이터(7)를 구하는 매크로 블록 레이어 신택스 해석부이다.

도 5는 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 30은 부호화 비트 스트림(1)에 있어서의 VO 스타트 코드(231)를 검출하는 VO 스타트 코드 검출부, 31은 부호화 비트 스트림(1)으로부터 VOL 스타트 코드(233)를 검출하는 VOL 스타트 코드 검출부, 32는 부호화 방식 판정부이고, 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인지 MPEG-4 부호화 비트 스트림(204)인지를 판정하고, H.263 호환 식별 정보(33)를 출력한다. 34는 판정된 부호화 방식에 의해 바뀌어지는 전환부, 35는 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우, H.263 방식에 특유한 화상 부호화 정보인 픽처 헤더 정보(222)를 복호하고, MPEG-4 방식에 특유한 화상 부호화 정보인 VOL 헤더 정보(234)와 VOP 헤더 정보(236)를 설정하는 H.263 픽처 헤더 정보 해석부, 36은 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우, H.263 GOB(Group Of Block) 헤더 정보(224)를 복호하고, 복호된 GOB 헤더 정보(224)에 기초하여, H.263 픽처 헤더 해석부(35)에 의해 설정된 VOP 헤더 정보(236)의 변경을 행하는 H.263 GOB 헤더 정보 해석부, 37은 MPEG-4 부호화 비트 스트림(204)의 경우, VOL 헤더 정보(234)를 복호하는 VOL 헤더 정보 복호부, 38은 MPEG-4 부호화 비트 스트림(204)의 경우, VOP 헤더 정보(236)를 복호하는 VOP 헤더 정보 해석부이다.

다음에 헤더 정보 해석부(21)의 동작에 대해서 설명한다.

VO 스타트 코드 검출부(30)가 도 2에 도시한 MPEG-4 호환 H.263 부호화 비트 스트림(203) 또는 MPEG-4 부호화 비트 스트림(204)에 있어서의 VO 스타트 코드(231)를 검출하면 이하의 복호 동작을 개시한다. VOL 스타트 코드 검출부(31)는, 부호화 비트 스트림(1)으로부터 VOL 스타트 코드(233)를 검출한다. 그리고 부호화 방식 판정부(32)는, 부호화 비트 스트림(1)으로부터 H.263 호환 식별 정보(226)를 복호하고, H.263 호환 식별 정보(226)에 의해 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인지, MPEG-4 부호화 비트 스트림(204)인지를 판정하고, H.263 호환 식별 정보(33)를 출력한다.

부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인 경우에는, 전환부(34)에 의해 부호화 비트 스트림(1)이 H.263 픽처 헤더 정보 해석부(35)에 입력된다.

도 6은 H.263 픽처 헤더 정보 해석부(35)의 구성을 도시된 블록도이다. H.263 픽처 스타트 코드 검출부(41)가, 부호화 비트 스트림(1)으로부터 픽처 스타트 코드(221)를 검출하면, 다음에 H.263 픽처 헤더 정보 복호부(42)는, 부호화 비트 스트림(1)으로부터 픽처 헤더 정보(222)를 복호한다. 그리고 MPEG-4 헤더 정보 설정부(43)는, 복호된 픽처 헤더 정보(222)에 기초하여 VOL 헤더 정보(234)와 VOP 헤더 정보(236)를 설정한다.

도 7은 H.263 픽처 헤더 정보 복호부(42)의 구성을 도시된 블록도이다. temporal reference(TR) 복호부(51)는, H.263 픽처 스타트 코드 검출부(41)로부터의 비트 스트림(1)을 입력하고, 전송된 픽처간에서 스킵되거나 또는 참조되지 않은픽처수(TR)를 복호한다. 이 정보는 표시 시에 필요에 따라서 사용된다.

다음에, 픽처 타입(PTYPE) 복호부(52)는, 픽처 타입(PTYRE)의 복호를 행한다. 픽처 타입에는, 픽처 포맷(301), 픽처 부호화 타입(302), 선택(optional) 모드 지시 플래그(303) 등의 정보가 포함되어 있다. 복호된 픽처 포맷(301), 픽처 부호화 타입(302)은, 도 6의 MPEG-4 헤더 정보 설정부(43)로 출력된다.

또한 픽처 타입(PTYPE) 복호부(52)는, 선택 모드 지시 플래그(303)가 ON 인지의 여부를 판정한다. H.263에서는 선택 모드가 몇 개 준비되어 있지만, 이 실시예에서 설명하는 화상 복호화 장치에 있어서는, 이들 선택 모드가 포함되는 비트 스트림에 대해서는 호환성을 인정하지 않는 것으로 하여, 이들 선택 모드가 ON(유효)으로 되어 있는 부호화 비트 스트림은, 전환부(53)에 의해 복호 동작 종료부(54)에 입력된다. 그리고 복호 동작 종료부(54)는 그 부호화 비트 스트림에 대한 복호 동작을 종료시킨다. 픽처 타입에는, 그 외 표시 등에 대해서 규정한 정보가 포함되어 있지만, 그것들에 대해서는 필요에 따라서 사용하는 것도 가능하다.

한편, 선택 모드가 OFF(무효)로 되어 있는 비트 스트림은, 전환부(53)에 의해 픽처 양자화 스텝 사이즈(PQUANT) 복호부(55)에 입력된다. 픽처 양자화 스텝 사이즈(PQUANT) 복호부(55)는, 픽처 양자화 스텝 사이즈(PQUANT; 304)의 복호를 행한다. 복호된 픽처 양자화 스텝 사이즈(304)는, 도 6의 MPEG-4 헤더 정보 설정부(43)로 출력된다. 픽처 양자화 스텝 사이즈(304) 이후의 픽처 헤더 정보는, 이후의 복호에서 필요가 없기 때문에 스킵된다.

다음에 도 6의 MPEG-4 헤더 정보 설정부(43)의 동작에 대해서 설명한다.

MPEG-4 헤더 정보 설정부(43)는, 복호된 픽처 헤더정보(222)에 기초하여, VOL 헤더 정보(234)로서, VOL의 형상 정보와 오브젝트 사이즈를 설정한다. 또한 MPEG-4 호환 H.263 부호화 비트 스트림인 경우에는, 각 비트 스트림은 프레임에 대응하기 때문에, MPEG-4 헤더 정보 설정부(43)는, 형상 정보가 직사각형인 취지를 설정한다. 더욱이 오브젝트 사이즈는 프레임 사이즈에 대응하기 때문에, MPEG-4 헤더 정보 설정부(43)는, 픽처 헤더 정보(222)의 하나인 픽처 포맷(301)으로부터 프레임 사이즈를 구하여, 오브젝트 사이즈에 설정한다. 또한 1화소당의 계조(gray scale)가 8 비트인지의 여부의 설정을 행한다. H.263에서는 1화소당의 계조가 8 비트 이외를 상정하고 있지 않기 때문에, 1화소당의 계조를 8비트에 설정한다.

다음에 MPEG-4 헤더 정보 설정부(43)는, MPEG-4 베이스의 부호화 조건이다, 스프라이트(sprite) 부호화, 에러 내성(error resistant) 부호화, 인트러(intra) AC/DC 예측, 스케일어빌리티 부호화를 무효로 설정한다. 또 MPEG-4에서는, 양자화 수법을 H.263, MPEG-1/2의 2종류의 수법으로부터 선택할 수 있기 때문에, MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는 양자화 수법을 H.263에 설정해 둔다.

또한 MPEG-4 헤더 정보 설정부(43)는, VOP 헤더 정보(236)를 설정한다. VOP 헤더 정보(236)로서는, VOP의 예측 타입 정보, 양자화 스텝 사이즈를 설정한다. VOP의 예측 타입에는, VOP 내의 데이터만으로 부호화되는 인트러의 경우와, 전후의 VOP의 데이터를 사용하여 부호화되는 인트러의 경우가 있다. VOP의 예측 타입 정보는, 픽처 헤더 정보(222)의 하나인 픽처 부호화 타입(302)에 기초하여 설정한다.또한 VOP의 양자화 스텝 사이즈도, 마찬가지로 픽처 헤더 정보(222)인 픽처 양자화 스텝 사이즈(304)로부터 설정한다.

더욱이 MPEG-4에서는, 움직임 벡터의 탐색 범위를 7종류 중에서 선택 가능하기 때문에, 움직임 벡터의 탐색 범위를 지정하는 코드가 준비되어 있다. 이것에 대하여, H.263에서는 이 중 1종류의 탐색 범위에만 대응하고 있기 때문에, MPEG-4 헤더 정보 설정부(43)는, 움직임 벡터 탐색 범위 지정 코드를 H.263에서 사용되고 있는 움직임 벡터의 탐색 범위에 대응하는 코드로 설정해 둘 필요가 있다. 또한 MPEG-4에서는 인터레이스 화상 대응으로 되어 있지만, H.263에서는 인터레이스 대응으로 되어 있지 않기 때문에, 인터레이스 모드 지시정보는 항상 무효로 설정한다.

도 5에 있어서의 H.263 픽처 헤더 정보 해석부(35)에 의한 픽처 헤더 정보의 해석이 종료하면, 부호화 비트 스트림중에 GOB 스타트 코드(223)와 GOB 헤더 정보(224)가 삽입되어 있는 경우, 다음에 H.263 GOB 헤더 정보 해석부(36)에 의한 GOB 헤더 정보(224)의 해석이 행해진다. 부호화 비트 스트림중에 GOB 스타트 코드(223)와 GOB 헤더 정보(224)가 삽입되어 있지 않는 경우, H.263 GOB 헤더 정보 해석부(36)는 동작하지 않는다.

도 8은 도 5에 있어서의 H.263 GOB 헤더 정보 해석부(36)의 구성을 도시된 블록도이다. GOB 스타트 코드 검출부(61)가, 부호화 비트 스트림(1)에 부가되어 있는 GOB 스타트 코드(223)를 검출하면, GOB 헤더 정보 복호부(62)는 GOB 헤더 정보(224)를 복호한다.

도 9는 GOB를 설명하는 도면이다. 도면에 도시된 것과 같이, GOB는 화상을 몇 개의 매크로 블록의 열로 나눈 것으로, GOB 헤더 정보(224)에는, 복호측에서 재동기를 취하는 데에 필요한 정보가 포함된다. 부호화 비트 스트림이 있는 비트에서 에러가 발생한 경우, 가변 길이 부호화 및 예측 부호화가 행해지고 있을 때에는, 이후의 매크로 블록 데이터를 정확하게 복호할 수 없으며 오류가 전파된다. GOB 헤더 정보가 검출되면, GOB의 선두의 매크로 블록을 복호하기 전에, 부호화 비트 스트림의 재동기가 취해지고, 이후의 매크로 블록을 복호하는 데 필요한 정보가 재설정되기 때문에, 에러의 전파를 막을 수 있다. 각 매크로 블록의 양자화 스텝 사이즈나 움직임 벡터는, 이미 부호화된 매크로 블록의 양자화 스텝 사이즈나 움직임 벡터와의 차분을 부호화하는 예측 부호화가 행해지고 있기 때문에, 재동기가 취해진 경우에는, 이들 정보를 재설정할 필요가 있다.

도 10은 GOB 헤더 정보 복호부(62)의 구성을 도시된 블록도이다. GOB 번호 복호부(71)는, 부호화 비트 스트림(1)으로부터 GOB 번호(GN)를 복호한다. 그리고 GOB 프레임 식별 번호 복호부(72)는, GOB가 속해 있는 픽처의 식별번호(GFID)를 복호한다. 또한 GOB 양자화 스텝 사이즈 복호부(73)는, GOB 양자화 스텝 사이즈(GQUANT; 305)를 복호하고, 도 8에 있어서의 MPEG-4 헤더 정보 변경부(63)에 출력한다.

MPEG-4 헤더 정보 변경부(63)는, 복호된 GOB 헤더 정보(224)에 기초하여, MPEG-4 헤더 정보 설정부(43)에 의해 설정된 VOP 헤더 정보(236)의 변경을 행한다. GOB 헤더 정보(224)에 의해 변경되는 정보는 양자화 스텝 사이즈로, GOB의 양자화스텝 사이즈를 VOP의 양자화 스텝 사이즈에 설정한다. 이상의 설정된 각 정보는, 도 4의 매크로 블록 레이어 신택스 해석부(22)로 출력된다.

도 5에 있어서의 부호화 방식 판정부(32)는, H.263 호환 식별 정보(226)가 MPEG-4를 나타내는 경우에는, 부호화 비트 스트림(1)이 MPEG-4 부호화 비트 스트림(204)이라고 판정하고, H.263 호환 식별 정보(33)를 출력한다. 그리고 MPEG-4 부호화 비트 스트림(204)은, 전환부(34)에 의해 VOL 헤더 정보 복호부(37)에 입력된다. VOL 헤더 정보 복호부(37)는 부호화 비트 스트림으로부터 VOL헤더 정보(234)를 복호하고, VOP 헤더 정보 해석부(38)는 VOP 헤더 정보(236)를 복호하며, 도 4의 매크로 블록 레이어 신택스 해석부(22)에 출력한다.

이상의 정보가 설정되면, 매크로 블록 레이어 신택스 해석부(22)는, MPEG-4의 신택스에 기초하는 해석이며, 매크로 블록 데이터(225, 239)를 복호한다. 단, 블록 데이터의 부호화 방법이 MPEG-4와 H.263에서는 약간 다르기 때문에, 복호측에서도 동작을 바꿀 필요가 있다.

도 11은 실시예 1에 있어서의 MPEG-4 호환 H.263 비트 스트림(203)에 있어서의 매크로 블록 데이터(225)의 레이어 구조를 도시된 도면이다. 매크로 블록은, 4개의 휘도 블록과 2개의 색차 블록으로 구성된다. 도면에 도시된 바는 같이, 매크로 블록마다, 매크로 블록 스킵 판정정보(251), 매크로 블록 타입·유효 색차 블록 식별 정보(252), 유효 블록 식별 정보(253), 차분 양자화 스텝 사이즈(254) 및 움직임 데이터(255)의 각 속성정보가 다중화되어 있다.

여기서 매크로 블록 스킵 판정정보(251)는, 인터 VOP에 있어서, 움직임 벡터가 0이고 또한 매크로 블록내의 모든 계수 데이터(입력 화상 신호(인트러(intra)의 경우에는 원(原)신호, 인터(inter)의 경우에는 참조 VOP와의 차분신호)를 DCT 후, 양자화 한 데이터)가 0인지의 여부를 나타내는 정보이고, 움직임 벡터가 0이고 계수 데이터가 모두 0인 경우에는, 그 매크로 블록에 관한 이후의 정보는 비트 스트림중에 포함되어 있지 않다. 따라서 다음의 매크로 블록에 스킵된다.

또한 매크로 블록 타입·유효 색차 블록 식별 정보(252)의 매크로 블록 타입은, 매크로 블록 데이터를 부호화 할 때에, 매크로 블록의 원신호를 사용하여 부호화한 경우(인트러), 또는, 움직임 보상 예측을 행하여 참조 매크로 블록과의 차분신호를 부호화한 경우(인터), 1개 앞의 매크로 블록의 양자화 스텝 사이즈와 다른 양자화 스텝 사이즈로 부호화한 경우 등, 매크로 블록의 부호화 타입을 나타내는 정보이다.

더욱이 유효 블록 식별 정보(253)는, 각 블록의 계수 데이터가 모두 0인지의 여부를 나타내는 정보이다. 상기 속성정보의 뒤에 블록마다 계수 데이터가 다중화되어 있지만(블록 데이터(256)에 상당), 이 유효 블록 식별 정보(253)가 무효 블록인 것을 나타내는 경우에는, 그 블록의 계수 데이터는 존재하지 않는다.

그리고 차분 양자화 스텝 사이즈(254)는, 매크로 블록 타입에서 1개 앞의 매크로 블록의 양자화 스텝 사이즈와 다른 것이 나타나고 있는 경우에 다중화되는 정보이고, 1개 앞의 매크로 블록의 양자화 스텝 사이즈와의 차분치를 나타낸다.

도 12는 매크로 블록 레이어 신택스 해석부(22)의 구성을 도시된 블록도이다. 도면에 있어서, 81은 MPEG-4 헤더 정보 설정부(43)에서 설정된 형상 정보(311)에 의해 바뀌어지는 전환부, 82는 부호화 비트 스트림중의 형상 부호화 데이터를 복호하는 형상 부호화 데이터 복호부, 83은 MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)에 의해 바뀌어지는 전환부, 84는 VOP 예측 타입이 이외의 경우에, 매크로 블록의 스킵 판정정보(251)를 복호하는 스킵 판정 정보 복호부, 85는 스킵 판정정보(251)에 의해 바뀌어지는 전환부, 86은 스킵하는 경우에 그 매크로 블록의 움직임 벡터와 텍스처 데이터를 모두 영으로 하는 스킵 시 데이터 설정부, 87은 VOP 예측 타입(312)이 인트러인 경우나 스킵하지 않는 경우에 매크로 블록 타입(313) 및 유효 색차 블록 식별 정보를 복호하는 매크로 블록 타입·유효 색차 블록 식별 정보 복호부이다.

또한 88은 MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시 정보(315)에 의해 바뀌어지는 전환부, 89는 AC 예측 지시 정보를 복호하는 AC 예측 지시 정보 복호부, 90은 유효 블록 식별 정보(253)를 복호하는 유효 블록 식별 정보 복호부, 91은 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해 바뀌어지는 전환부이다.

더욱이 92는 차분 양자화 스텝 사이즈를 영으로 설정하는 차분 양자화 스텝 사이즈 영 설정부, 93은 차분 양자화 스텝 사이즈(317)를 복호하는 차분 양자화 스텝 사이즈 복호부, 94는 복호된 차분 양자화 스텝 사이즈(317)와 앞의 블록의 VOP 양자화 스텝 사이즈(318)를 가산하여 양자화 스텝 사이즈(319)를 도 3의 텍스처 복호부(10)에 출력하는 가산부, 95는 MPEG-4 헤더 정보 설정부(43)로부터의 인터레이스 모드 지시정보(316)에 의해 바뀌어지는 전환부, 96은 인터레이스 정보를 복호하는 인터레이스 정보 복호부, 97은 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313) 및 MPEG-4 헤더 정보 설정부(43)로부터 출력된 VOP 예측 타입(312)과 움직임 벡터 탐색 범위 지정정보(320)에 기초하여 움직임 벡터(텍스처 움직임 데이터(7))를 복호하는 움직임 벡터 복호부, 98은 부호화 블록 데이터를 복호하여 텍스처 부호화 데이터(6)를 텍스처 복호부(10)로 출력하는 블록 데이터 복호부이다.

다음에 매크로 블록 레이어 신택스 해석부(22)의 동작에 대해서 설명한다.

여기서는 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우를 설명한다. MPEG-4 부호화 비트 스트림(204)의 경우에 대해서는, IS0/IEC JTC1/SC29/WG11 MPEG-4 Video VM8.0에 기재되어 있기 때문에 생략한다.

부호화 비트 스트림(1)은, MPEG-4 헤더 정보 설정부(43)에서 설정된 형상 정보(311)에 의해, 전환부(81)에서 출력이 전환된다. 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 형상 정보(311)는 직사각형으로 설정되어 있기 때문에, 비트 스트림(1)은, 형상 부호화 데이터 복호부(82)를 통하지 않고서, 전환부(83)에 입력된다.

다음에 전환부(83)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)에 의해 전환된다. VOP 예측 타입(312)이 인트러의 경우에는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)는, 매크로 블록 타입(313)과 유효 색차 블록 식별 정보를 복호한다. VOP 예측 타입이 인트러 이외의 경우에는, 스킵 판정정보 복호부(84)는, 매크로 블록의 스킵 판정정보(251)를 복호한다. 복호된스킵 판정정보(251)에 기초하여, 전환부(85)가 전환되고, 그 매크로 블록이 스킵되는 것을 나타내는 경우에는, 스킵 시 데이터 설정부(86)는, 그 매크로 블록의 움직임 벡터와 매크로 블록내의 텍스처 데이터를 모두 영으로 설정하고, 그 매크로 블록에 관한 복호를 종료한다. 스킵 판정정보(251)에 의해 그 매크로 블록이 스킵되지 않는 것을 나타내는 경우에는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)는, 매크로 블록 타입(313)과 유효 색차 블록 식별 정보를 복호한다.

다음에 전환부(88)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 전환된다. MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 인트러 AC/DC 예측을 행한다는 기능은 없기 때문에, VOL 헤더 정보(234)를 설정할 때에, 인트러 AC/DC 예측은 무효로 설정되어 있고, AC 예측 지시 정보 복호부(89)를 통하지 않고서 유효 블록 식별 정보 복호부(90)에 입력된다.

다음에 유효 블록 식별 정보 복호부(90)는, 매크로 블록내의 휘도 블록에 대하여 유효 블록 식별 정보(253)를 복호한다. 전환부(91)는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)에 의해 복호된 매크로 블록 타입(313)에 의해 전환되고, 그 매크로 블록의 양자화 스텝 사이즈가 1개 앞에 복호된 매크로 블록의 양자화 스텝과 다른 경우에는, 차분 양자화 스텝 사이즈 복호부(93)는, 1개 앞에 부호화된 매크로 블록의 양자화 스텝 사이즈와의 차분 양자화 스텝 사이즈(317)를 복호한다. 복호된 차분 양자화 스텝 사이즈(317)는, 가산기(94)에 의해 1개 앞의 매크로 블록의 VOP 양자화 스텝 사이즈(318)와 가산되고, 양자화 스텝 사이즈(319)로서 도 3의 텍스처 복호부(10)로 출력된다.

한편, 매크로 블록의 양자화 스텝 사이즈가 1개 앞에 복호된 매크로 블록의 양자화 스텝 사이즈와 동일한 것을 나타내는 경우에는, 차분 양자화 스텝 사이즈 영 설정부(92)가, 차분 양자화 스텝 사이즈를 영으로 설정한다.

다음에 전환부(95)는, MPEG-4 헤더 정보 설정부(43)로부터의 인터레이스 모드 지시정보(316)에 의해 전환된다. MPEG-4 호환 H.263 부호화 비트 스트림 (203)의 경우에는, 인터레이스 화상에는 대응하고 있기 않기 때문에, 인터레이스 모드는 무효로 설정되어 있고, 인터레이스 정보 복호부(96)를 통하지 않고서 움직임 벡터 복호부(97)에 입력된다. 그리고 움직임 벡터 복호부(97)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)이 인터의 경우에는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)에 의해 복호된 매크로 블록 타입(313)과 MPEG-4 헤더 정보 설정부(43)에서 설정된 움직임 벡터 탐색 범위 지정정보(320)에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호하여, 도 3의 움직임 보상부(8)에 출력한다.

다음에 블록 데이터 복호부(98)는, 부호화 비트 스트림에 있어서의 부호화 블록 데이터를 복호한다. 도 13은 블록 데이터 복호부(98)의 구성을 도시된 블록도이다. 도면에 있어서, 101은 부호화 블록 데이터를 입력하는 동시에 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해 바뀌어지는 전환부, 102는 MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 바뀌어지는 전환부, 103은 인트러AC/DC 예측이 OFF일 때에 MPEG-4 헤더 정보 설정부(43)로부터의 1화소당의 계조(321)에 기초하여 DC 계수 고정 길이의 복호를 행하여 복호 인트러 DC 계수(111)를 출력하는 DC 계수 고정 길이 복호부, 104는 인트러 AC/DC 예측이 ON일 때에 DC 계수를 복호하여 복호 인트러 DC 계수(111)를 출력하는 DC 계수 복호부이다.

105는 유효 블록 식별 정보 복호부(90)로부터 출력된 유효 블록 식별 정보(253)에 의해 바뀌어지는 전환부, 106은 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313)과 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별 정보(33)에 기초하여 AC 계수 VLD(Variable Length Decoding) 테이블을 바꾸는 AC 계수 VLD 테이블 전환부이다.

107은 AC 계수 데이터를 가변 길이 복호하여 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 가변 길이 복호부, 108은 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별 정보(33)에 의해 바뀌어지는 전환부, 109는 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 고정 길이 복호부, 110은 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 Esc coding 복호부, 113은 AC 계수를 영으로 설정하는 AC 계수 영 설정부이다.

다음에 블록 데이터 복호부(98)의 동작에 대해서 설명한다.

먼저 부호화 블록 데이터는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해, 전환부(101)로 전환되고, 매크로 블록 타입(313)이 인트러 이외의 경우에는, 전환부(105)로 출력된다. 매크로 블록 타입(313)이 인트러의 경우에는, 부호화 블록 데이터는 전환부(102)에 입력되고, MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 전환된다.

MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 인트러 AC/DC 예측 모드(315)는 무효로 설정되어 있기 때문에, DC 계수 복호부(104)는 통과하지 않고, DC 계수 고정 길이 복호부(103)에 입력된다. DC 계수 고정 길이 복호부(103)는 고정 길이 복호를 행하고, 복호 인트러 DC 계수(111)를 텍스처 복호부(10)에 출력하는 동시에, 부호화 블록 데이터를 전환부(105)에 출력한다. 이 때 고정 길이 복호된 부호 길이는 MPEG-4 헤더 정보 설정부(43)에서 설정된 1화소당의 계조(디폴트치의 8 비트; 321)와 같고, 1화소당의 계조(321)는, 디폴트치의 8 비트로 설정되어 있기 때문에, H.263 대응의 복호화 장치의 경우와 같다.

전환부(105)는, 유효 블록 식별 정보 복호부(90)에서 복호된 유효 블록 식별 정보(253)에 의해 전환되고, 그 블록이 무효 블록인 경우에는, AC 계수 영 설정부(113)는 블록내의 복호 AC 계수 데이터(112)를 영으로 설정하고, 텍스처 복호부(10)에 출력한다. 그 블록이 유효 블록인 경우에는, 부호화 블록 데이터는 AC 계수 VLD 테이블 전환부(106)에 입력된다.

블록내의 AC 계수는, 부호화 장치측에서, 계수를 블록내에서 정해진 순서로 스캔하여, 영이 아닌 계수가 블록내에서 마지막인지의 여부를 나타내는 플래그(LAST), 연속하는 영의 수(RUN)와 그것에 계속되는 영이 아닌 계수의 레벨(LEVEL)을 결합하여, 가변 길이 부호화되어 있다. 복호측에서는 부호화 데이터를 가변 길이 복호하는 것에 의해, (LAST, RUN, LEVEL)의 조합이 얻어지고, 이것에 기초하여블록내의 AC 계수를 재현할 수 있다. 또 (LAST, RUN, LEVEL)의 조합을 가변 길이 부호화 할 때에, MPEG-4에서는 매크로 블록 타입에 의해, 다른 VLC(Variable Length Coding) 테이블에 의해 가변 길이 부호화하는 것에 대하여, H.263에서는 매크로 블록 타입에 의하지 않고, 동일한 VLC 테이블에 의해 가변 길이 부호화를 행한다.

따라서 이 실시예에 있어서의 화상 복호화 장치에 있어서, AC 계수 VLD 테이블 전환부(106)는, 매크로 블록 타입·유효 색차 블록 식별 정보 복호부(87)로부터 출력된 매크로 블록 타입(313) 및 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별 정보(33)에 기초하여 AC 계수 VLD 테이블을 바꾼다. 그리고 H.263 호환 식별 정보(33)가 H.263으로 설정되어 있는 경우에는, 매크로 블록 타입(인트러, 인터; 313)에 관계없이 AC 계수 데이터 가변 길이 복호부(107)는, 하나의 VLD 테이블에 의해 가변 길이 복호를 행하고, 복호 AC 계수 데이터(112)를, 부호화 텍스처 데이터(6)로서 텍스처 복호부(10)에 출력한다.

또한 (LAST, RUN, LEVEL)의 조합이 VLC 테이블에 없었던 경우의 부호화 방법도 MPEG-4와 H.263에서는 다르다. MPEG-4에서는 VLC 테이블에(LAST, RUN, LEVEL)의 조합이 없었던 경우에는, 익스케이프 코드를 부호화한 후에, RUN 또는 LEVEL의 값을 보정하고, 가변 길이 부호화를 행하거나 고정 길이 부호화를 행한다. 한편 H.263에서는, 익스케이프 코드를 부호화한 후에, LAST, RUN, LEVEL의 값 각각을 고정 길이 부호화한다.

따라서 이 실시예에 있어서의 화상 복호화 장치에 있어서, AC 계수 데이터가변 길이 복호부(107)에 의해 AC 계수 부호화 데이터로부터 익스케이프 코드가 검출되었을 때 부호화 비트 스트림은 전환부(108)에 입력된다. 그리고 H.263 호환 식별 정보(33)가 H.263에 설정되어 있는 경우, 부호화 비트 스트림은, AC 계수 데이터 Esc coding 복호부(110)를 통하지 않고서, AC 계수 데이터 고정 길이 복호부(109)에 의해, 다음에 계속되는 LAST, RUN, LEVEL에 관한 코드를 각각 정해진 부호 길이로 고정 길이 복호를 행하며, 복호 AC 계수 데이터(112)를, 텍스처 부호화 데이터(6)로서 텍스처 복호부(10)에 출력한다.

이상의 동작에 의해, 매크로 블록 레이어 신택스 해석부(22)에서 출력된 텍스처 부호화 데이터(6), 움직임 벡터(텍스처 움직임 데이터(7))는, 각각 텍스처 복호부(10), 움직임 보상부(8)에 분배된다.

상기한 바와 같이 하여, 도 3의 신택스 해석·가변 길이 복호부(2)에 있어서, VOP의 예측 모드가 복호되어 설정된다. VOP의 예측 모드가 인터의 경우에는, 텍스처 움직임 벡터의 차분 벡터가 복호된다. 복호된 텍스처 움직임 벡터의 차분 벡터는, 근방의 3개의 매크로 블록의 움직임 벡터로부터 구한 예측 벡터와 실제의 움직임 벡터와의 차분 벡터이고, 따라서, 움직임 벡터의 차분 벡터에 예측 벡터를 가산한 벡터를 움직임 벡터(텍스처 움직임 데이터(8))로서 산출한다.

예측 벡터의 산출은, 도 14의 (a)에 도시한 바와 같이 이미 복호된 3개의 근방의 매크로 블록(MV1, MV2, MV3)이 움직임 벡터로부터 산출한다. 단 근방의 3개의 매크로 블록중, 어느 하나가 VOP의 외부에 위치하는 경우에는, VOP의 외부에 위치하는 매크로 블록의 움직임 벡터의 값을, 도 14의 (b), 도 14의 (d)에 도시한 바와 같이 영 벡터에 설정하거나, 도 14의 (c)에 도시한 바와 같이, VOP 내의 매크로 블록의 움직임 벡터를 사용하여 설정한다. 그러나 부호화 방식이 H.263의 경우에, GOB 헤더가 정의되어 있는 경우에는, GOB의 경계내에서 예측 벡터의 설정을 행할 필요가 있다. 예측 벡터의 설정에 대해서는, VOP의 경우와 같다. 복호된 벡터에 기초하여, 예측 벡터를 예측 텍스처 데이터(9)로서 추출하고, 텍스처 복호부(10)에 출력한다.

한편 VOP의 예측 모드가 인트러의 경우에는, 움직임 보상 예측은 행해지지 않는다.

텍스처 복호부(10)는, 텍스처 부호화 데이터(6)를 받아들이고, 텍스처 데이터(11)를 복원한다.

도 15는 텍스처 복호부(10)의 구성을 도시된 블록도이다. 역양자화부(114)는 텍스처 부호화 데이터(6)를 역양자화한다.

도 16은 역양자화부(114)의 구성을 도시된 블록도이다.

전환부(117)는 텍스처 부호화 데이터(6)에 포함되는 매크로 블록 타입(313)에 의해 전환된다. 복호 대상 블록의 매크로 블록 타입(313)이 인터 부호화 모드의 경우에는, 텍스처 부호화 데이터(6)에 DC 계수 데이터가 포함되어 있지 않기 때문에, 텍스처 부호화 데이터(6)는 AC 계수 역양자화부(120)에 입력된다. 복호 대상 블록의 매크로 블록 타입(313)이 인트러 부호화 모드의 경우에는, 텍스처 부호화 데이터(6)는 전환부(118)에 입력된다.

전환부(118)는 H.263 호환 식별 정보(33)에 의해 전환된다. H.263 호환 식별 정보(33)가, MPEG-4 호환 H.263 부호화 비트 스트림(203)을 나타내고 있는 경우에는, DC 계수 선형 역양자화부(119B)가 텍스처 부호화 데이터(6)에 포함되는 DC 계수 데이터의 역양자화를 행한다. 한편, H.263 호환 식별 정보(33)가, MPEG-4 부호화 비트 스트림(204)을 나타내고 있는 경우에는, DC 계수 비선형 역양자화부(119A)가 DC 계수 데이터의 역양자화를 행하고, DC 계수(306)를 출력한다. DC 계수의 양자화는 어떤 정해진 값(양자화 스케일이라고 부른다)으로 DC 계수를 나누고, 끝수(端數)를 버리는 것에 의해 행해진다. 따라 복호측에서는 양자화 DC 계수에 양자화 스케일을 곱하는 것에 의해, DC 계수(306)를 복원할 수 있다. DC 계수 선형 역양자화부(119B)와 DC 계수 비선형 역양자화부(119A)에서는, 이 양자화 스케일의 값의 설정이 다르다. DC 계수 선형 역양자화부(119B)에서는, 양자화 스케일을 고정치(8)로 역양자화한다. 한편 DC 계수 비선형 역양자화부(119A)에서는, 양자화 스텝 사이즈(319)의 범위에 따라서, 비선형으로 양자화 스케일의 값이 설정되고, 이 양자화 스케일에 의해 역양자화를 행하며, DC 계수(306)를 출력한다.

다음에 AC 계수 역양자화부(120)는, AC 계수 데이터의 역양자화를 행하고, AC 계수(307)를 출력한다. 역양자화된 DC 계수(인트러 부호화 모드일 때만 존재; 306)와 AC 계수(307)는 DCT 계수(308)로서 역 DCT 부(115)에 건네 주고, 역 DCT가 실시된 후, 복호 예측 오차 신호(309)로서 출력된다. 가산부(116)는 복호 예측 오차 신호(309)와 움직임 보상부(8)로부터 얻어지는 예측 텍스처 데이터(9)를 가산후, 복호 텍스처 데이터(11)로서 출력한다. 단, 인트러 부호화 모드의 경우에는, 예측 텍스처 데이터(9)의 가산은 행해지지 않는다.

부호화 비트 스트림(1)에 H.263 호환 식별 정보(33)가 다중화되어 있는 경우, 도 2의 (a)에 도시된 것과 같이, 시퀀스의 종료를 나타내는 시퀀스 종료 코드(EOS; 227)가 다중화되어 있는 경우도 있다. 시퀀스 종료 코드(227)의 검출은 픽처 스타트 코드 검출부(41)에서 행해지고, 시퀀스 종료 코드(227)를 검출하면 복호 동작을 종료한다.

이상과 같이, 이 실시예 1에 의하면, H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VOL 스타트 코드, VO 식별번호(232) 및 H.263 호환 식별 정보(226)가 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(203)을 수신하고, 이들 각 정보를 복호하도록 하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.

실시예 2

도 17은 실시예 2에 있어서의 화상 부호화 장치의 구성을 도시된 블록도이고, 실시예 1에서 설명한 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 것이다. 도면에 있어서, 121은 입력 화상 신호, 122는 H.263 방식 부호화부, 123은 H.263 부호화 비트 스트림, 124는 MPEG-4 호환 플래그, 125는 헤더 정보 다중화부, 126은 MPEG-4 호환 H.263 부호화 비트 스트림이다.

다음에 동작에 대해서 설명한다.

먼저, H.263 방식 부호화부(122)는, 입력 화상 신호(121)를 H.263의 신택스에 기초하여 부호화하고, H.263 부호화 비트 스트림(123)을 생성한다. 다음에 헤더 정보 다중화부(125)는, MPEG-4 베이스의 복호화 장치에서 복호 가능한 비트 스트림을 생성하는 것을 나타내는 MPEG-4 호환 플래그(124)를 받아들이고, H.263 비트 스트림의 픽처 헤더의 앞에 실시예 1에서 설명한 화상 복호화 장치에서 복호하기 위해서 필요한 VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233)및 H.263 호환 식별 정보(H.263 베이스의 비트 스트림인 것을 나타내는 0 또는 1의 플래그; 226)를 다중화한다. 이렇게 하여 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(126)의 내용은, 실시예 1의 도 2의 (a)에 도시한 바와 같이 된다.

또한 도 18에 도시된 바와 같이 H.263 부호화 장치(127)와 MPEG-4 복호화 장치(128)간에서 실시간 통신이 행해지고 있는 경우에는, MPEG-4 복호화 장치(128)측으로부터 H.263 부호화 장치(127)에 MPEG-4 호환 플래그(124)를 송신하고, H.263 부호화 장치(127)는, MPEG-4 호환 플래그(124)를 받아들이면, 실시예 1에서 설명한 화상 복호화 장치에서 복호하기 위해서 필요한 VO 스타트 코드(213), VO 식별번호 (232), VOL 스타트 코드(233) 및 H.263 호환 식별 정보(226)를 H.263 방식 비트 스트림(123)에 다중화하는 것도 가능하다.

이상과 같이, 이 실시예 2에 의하면, VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233) 및 H.263 호환 식별 정보(226)를 H.263 부호화 비트 스트림(123)에 다중화하기 때문에, MPEC-4 대응의 화상 복호 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.

실시예 3

도 19는 실시예 3에 있어서의 MPEG-4 호환 H.263 부호화 비트 스트림(205)의 구조를 도시된 도면이고, 종래의 도 1의 (a)에서 도시한 H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)가 추가되어 있다. 그리고 H.263 스타트 코드(228)는, 실시예 1에 있어서 다중화되어 있는 VOL 스타트 코드(233)와. H.263 호환 식별 정보(226)의 양쪽의 기능을 달성하는 것이다.

또 MPEG-4 부호화 비트 스트림(202)은, 종래의 도 1의 (b)에서 도시한 것과 같다.

이 실시예에 있어서의 화상 복호화 장치는, 실시예 1에서 설명한 화상 복호화 장치에 있어서 헤더 정보 해석부(21)만이 다르다. 도 20은 실시예 3에 있어서의 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 131은 H.263 스타트 코드/VOL 스타트 코드 검출부, 132는 부호화 방식 판정부이고, VO 스타트 코드 검출부(30), H.263 호환 식별 정보(33), 전환부(34), H.263 픽처 헤더 정보 해석부(35), H.263 GOB 헤더 정보 해석부(36), VOL 헤더 정보 복호부(37), VOP헤더 정보 해석부(38)는, 실시예 1의 도 5와 동등한 것이다.

다음에 동작에 대해서 설명한다.

VO 스타트 코드 검출부(30)가 VO 스타트 코드(231)를 검출하면 이하의 복호 동작을 개시한다. 먼저, H.263 스타트 코드/V0L 스타트 코드 검출부(131)가, MPEG-4 호환 H.263 부호화 비트 스트림(205)의 경우는 H.263 스타트 코드를 검출하고, MPEC-4 부호화 비트 스트림(202)의 경우는 VOL 스타트 코드(233)를 검출한다.

MPEG-4에서는, 각 레이어의 스타트 코드는 모든 스타트 코드에 공통의 코드(0000 0000 0000 0000 0000 0001)의 뒤에 각 레이어에 고유의 스타트 코드가 고정 길이(5 비트)로 계속된다. 공통의 스타트 코드는, 비트 스트림중에 스타트 코드 이외에서 검출되는 일은 없다. 따라서, H.263 스타트 코드(228)도 공통의 스타트 코드의 뒤에 H.263 부호화 비트 스트림인 것을 식별할 수 있는 고정 길이(5비트)의 코드를 붙인 것으로 한다.

다음에, 검출된 스타트 코드가, H.263 스타트 코드(228)의 경우에는, 부호화 방식 판정부(132)는, H.263 호환 식별 정보(33)를 H.263에 설정한다. 또한 VOL 스타트 코드(233)의 경우는, H.263 호환 식별 정보(33)를 MPEG-4에 설정한다. 그 이후의 동작은 실시예 1과 같다.

이상과 같이, 이 실시예 3에 의하면, H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)가 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(205)을 수신하여, 이들 각 정보를 복호하도록 하였기 때문에, H.263과, MPEG-4로 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.

실시예 4

이 실시예는, 실시예 3에서 설명한 화상 복호화 장치로 복호 가능한 비트 스트림을 생성하는 화상 부호화 장치이며, 그 구성은 실시예 2의 도 17과 같다.

다음에 동작에 대해서 설명한다.

먼저, H.263 방식 부호화부(122)는, 입력 화상 신호(121)를 H.263의 신택스에 기초하여 부호화하고, H.263 부호화 비트 스트림(123)을 생성한다. 다음에 헤더 정보 다중화부(125)는, MPEG-4 호환 플래그(124)를 받아들이고, H.263 부호화 비트 스트림(123)의 픽처 헤더의 앞에, 실시예 3에서 설명한 화상 복호화 장치로 복호하기 위해서 필요한 VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)를 다중화한다. 이렇게 하여 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(126)의 내용은, 실시예 3의 도 19에 도시한 바와 같이 된다.

또 MPEG-4 호환 플래그(124)는 실시예 2의 도 18에서 설명한 바와 같이, MPEC-4 복호화 장치(128)로부터 건네 주는 것도 가능하다.

이상과 같이, 이 실시예 4에 의하면, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)를 H.263 비트 스트림(201)에 다중화하기 때문에, MPEG-4 대응의 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.

실시예 5

이 실시예는, MPEG-4 호환을 위한 헤더 정보를 다중화하는 다중화부를 부호화 장치와는 독립하여 예를 들면 네트워크상에 가지는 것이다. 도 21은 실시예 5에 있어서의 화상 통신 시스템을 도시된 도면이다. 도면에 있어서, 141은 H.263 부호화 장치, 142는 MPEG-4 복호화 장치, 143은 부호화 비트 스트림 변환장치이며,H.263 부호화 장치(141), MPEG-4 복호화 장치(142) 및 부호화 비트·스트림 변환장치(143)는, 네트워크에 접속되어 있다.

다음에 동작에 대해서 설명한다.

부호화 비트 스트림 변환장치(143)가 MPEG-4 복호화 장치(142) 또는 사용자로부터 MPEG-4 호환 H.263 부호화 비트 스트림(148)을 요구하는 MPEG-4 호환 플래그(147)를 받아들이면, 부호화 비트 스트림 변환장치(143)는, H.263 부호화 장치(141)로부터, H.263 부호화 비트 스트림(146)을 받아들이고, 실시예 2 또는 실시예 4에서 설명한 바와 같이, MPEG-4 복호화 장치에서 복호하는 데 필요한 헤더 정보를 H.263 부호화 비트 스트림(146)에 다중화하여, MPEG-4 복호화 장치(142)에 송신한다.

이상과 같이, 이 실시예 5에 의하면, 네트워크상에 부호화 비트 스트림 변환장치(143)를 구비하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 통신 시스템을 얻을 수 있다는 효과가 얻어진다.

실시예 6

도 22는 실시예 6에 있어서의 화상 통신 시스템을 도시된 도면이다. 도면에 있어서, 141은 H.263 부호화 장치, 143은 부호화 비트 스트림 변환장치, 144는 서버, 145는 MPEG-4 복호화 장치 내장 브라우저이고, 이들은 네트워크상에서 접속되어 있다.

다음에 동작에 대해서 설명한다.

MPEG-4 복호화 장치 내장 브라우저(145)가, 네트워크상에서 전송되는 H.263 부호화 비트 스트림(146)에 대하여 액세스하는 경우, MPEG-4 복호화 장치 내장 브라우저(145)는, 서버(144)에 MPEG-4 복호화 장치에서 복호하는 것을 나타내는 MPEG-4 호환 플래그(147)를 전송한다. 서버(144)가 MPEG-4 호환 플래그(147)를 받아들이면, H.263 부호화 비트 스트림(146)을 부호화 비트 스트림 변환장치(143)에 전송한다.

부호화 비트 스트림 변환장치(143)는 받아들인 H.263 비트 스트림(146)에 대하여, 실시예 2 또는 4에서 설명한 바와 같이, MPEG-4 복호화 장치에서 복호 가능하게 되도록 헤더 정보를 추가한 MPEG-4 호환 H.263 부호화 비트 스트림(148)을 생성하고, MPEG-4 복호화 장치 내장 브라우저(145)에 전송한다. MPEG-4 복호화 장치내장 브라우저(145)에서는, MPEG-4 호환 H.263 부호화 비트 스트림(148)을 받아들이는 것에 의해, H.263 부호화 비트 스트림(146)을 복호하고, 화상을 표시하는 것이 가능하다.

또한 MPEG-4 복호화 장치 내장 브라우저(145) 자체가 부호화 비트 스트림 변환장치(143)를 내장하는 것도 가능하다. 이 경우, MPEG-4 복호화 장치 내장 브라우저(145)가 H.263 부호화 비트 스트림(146)을 서버(144)로부터 받아들이고, MPEG-4 호환 H.263 부호화 비트 스트림(148)으로 변환 후, 내장의 MPEG-4 복호화 장치에서 복호하여, 화상을 표시할 수 있다.

이상과 같이, 이 실시예 6에 의하면, 네트워크상에 부호화 비트 스트림 변환장치와 서버를 구비하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 통신시스템을 얻을 수 있다는 효과가 얻어진다.

실시예 7

실시예 1 및 실시예 3에서 설명한 화상 복호화 장치에 있어서는, H.263 비트 스트림이, 또는 MPEG-4 비트 스트림인지를 식별할 수 있다. 그러나, H.263 부호화장치에 의해서 생성되는 H.263 비트 스트림의 선두에 MPEG-4 호환을 위한 헤더 정보를 다중화할 필요가 있고, H.263 비트 스트림을 그대로 받아들일 수 없다. 실시예 7은, H.263 비트 스트림을 그대로 받아들여 복호할 수 있는 화상 복호화 장치 이다.

도 23은 실시예 7에 있어서의 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 151은 H.263 부호화 비트 스트림에 다중화되어 있는 H.263의 픽처 스타트 코드(221)를 검출하는 H.263 픽처 스타트 코드 검출부, 152는 부호화 방식 판정부, 153은 H.263 부호화 비트 스트림에 다중화되어 있는 픽처 헤더 정보(222)에 기초하여 VOL 헤더 정보, V0P 헤더 정보를 설정하는 H.263 픽처 헤더 정보 해석부이다. 그 밖의 VO 스타트 코드 검출부(30), H.263 호환 식별 정보(33), 전환부(34), H.263 GOB 헤더 정보 해석부(36), VOL 헤더 정보 복호부(37) 및 VOP 헤더 정보 해석부(38)는 실시예 1과 동등한 것이다. 또한 헤더 정보 해석부(21) 이외의 부분의 구성은, 실시예 1의 화상 복호화 장치와 동등하다.

다음에 동작에 대해서 설명한다.

H.263 픽처 스타트 코드 검출부(151)는, 도 24의 (a), 도 24의 (b)에서 도시한 부호화 비트 스트림의 시작과 끝을 항상 감시하고 있다. H.263 부호화 비트 스트림(201)의 경우는, 픽처 스타트 코드(221)로부터 매크로 블록 데이터(225)까지를, MPEG-4 부호화 비트 스트림(202)의 경우는, VO 스타트 코드(231)로부터 매크로 블록 데이터(239)까지를, 각각 1개의 부호화 비트 스트림으로서 감시한다.

H.263 부호화 비트 스트림(201)을 수신한 경우, H.263 픽처 스타트 코드 검출부(151)는, 픽처 스타트 코드(221)를 검출하고, 이 결과를 부호화 방식 판정부(152)에 출력한다. 부호화 방식 판정부(152)는, 검출된 픽처 스타트 코드(221)에 의해, 수신한 부호화 비트 스트림이 H.263 부호화 비트 스트림(201)이라고 판정하고, H.263 호환 식별 정보(33)를 H.263으로 설정한다. 한편, VO 스타트 코드 검출부(30)에 의해 VO 스타트 코드(231)가 검출되면, 부호화 방식 판정부(152)는, 수신한 부호화 비트 스트림이 MPEG-4 부호화 비트 스트림(202)이라고 판정하고, H.263 호환 식별 정보(33)를 MPEG-4로 설정한다.

H.263 부호화 비트 스트림(201)의 경우, 전환부(34)는, H.263 부호화 비트 스트림(201)을 H.263 픽처 헤더 정보 해석부(153)에 입력한다. H.263 픽처 헤더 정보 해석부(153)는, H.263 부호화 비트 스트림(201)에 다중화되어 있는 픽처 헤더 정보(222)를 복호하고, 실시예 1과 마찬가지로 VOL 헤더 정보, VOP 헤더 정보의 설정을 행한다. 이후의 동작에 대해서는, 실시예 1과 같다.

한편 MPEG-4 부호화 비트 스트림(202)의 경우, 전환부(34)는, MPEG-4 부호화 비트 스트림(202)을 VOL 헤더 정보 복호부(37)에 입력한다. 이후의 동작에 대해서도, 실시예 1과 같다.

이상과 같이, 이 실시예 7에 의하면, 픽처 스타트 코드(221)를 검출한 경우, H.263 부호화 비트 스트림(201)이라고 판정하고, VOL 헤더 정보와 VOP 헤더 정보를 설정하도록 하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.

실시예 8

이 실시예는, 도 1의 (a)에 도시된 H.263 부호화 비트 스트림(201)을 도 1의 (b)에 도시된 MPEC-4 부호화 비트 스트림(202)으로 변환하는 부호화 비트 스트림 변환장치에 관한 것이다.

도 25는 실시예 8에 있어서의 부호화 비트 스트림 변환장치를 도시된 블록도이고, 도면에 있어서, 161은 H.263 부호화 비트 스트림(201)을 픽처 헤더 정보부호어(401), GOB 헤더 정보 부호어(402) 및 매크로 블록 데이터 부호어(403)로 분리하는 신택스 해석부, 162는 픽처 헤더 정보 부호어(401)를 복호하는 픽처 헤더 정보 복호부, 163은 GOB 헤더 정보 부호어(402)를 복호하는 GOB 헤더 정보 해석·변환부, 164는 VOL 헤더 정보(234) 및 VOP 헤더 정보(236)의 설정을 행하는 MPEG-4 헤더 정보 설정부, 165는 MPEG-4 부호화 비트 스트림(202)을 출력하는 다중화부이다.

다음에 동작에 대해서 설명한다.

신택스 해석부(161)는, H.263 부호화 비트 스트림(201)으로부터, 픽처 스타트 코드(221)를 검출하면, 이후에 계속되는 부호화 비트 스트림을 픽처 헤더 정보부호어(401), GOB 헤더 정보 부호어(402) 및 매크로 블록 데이터 부호어(403)로 분리하고, 픽처 헤더 정보 복호부(162), GOB 헤더 정보 해석·변환부(163) 및 다중화부(165)에 출력한다. 단 GOB 헤더 정보 부호어(402)는, 반드시 H.263 부호화 비트 스트림(201)에 다중화되어 있다고는 할 수 없으며, GOB 스타트 코드(223)가 검출된 경우에 한하여 다중화되어 있다. COB 스타트 코드(223)가 검출된 경우에는, GOB 헤더 검출정보(404)를 MPEG-4 헤더 정보 설정부(164)에 출력한다. 픽처 헤더 정보 복호부(162)는, 픽처 헤더 정보 부호어(401)를 실시예 1과 마찬가지로 복호하고, 복호한 픽처 헤더 정보(405)를 MPEG-4 헤더 정보 설정부(164)에 출력한다.

MPEG-4 헤더 정보 설정부(164)는, 복호된 픽처 헤더 정보(405)에 기초하여, 실시예 1과 마찬가지로 VOL 헤더 정보(234) 및 VOP 헤더 정보(236)의 설정을 행한다. 실시예 1에서 언급하지 않은 헤더 정보에 대해서는, IS0/IEC JTC1/SC29/WG11 MPEG-4 Video VM8.0에 개시되는 어떠한 값으로 설정하여도 좋다. 또한 GOB 헤더 검출 정보(405)를 받아들인 경우에는, 에러 내성 부호화 지시 모드를 유효로 설정한다.

실시예 1에서 언급한 바와 같이, H.263과 MPEG-4에서는 매크로 블록 데이터의 복호 처리 순서가 일부 다르다. 따라서 복호측에서는, 전환정보에 기초하여, 복호 방법을 전환할 필요가 있다. 그 때문에 이하의 전환 정보를 VOL 헤더에 설정해 둘 필요가 있다.

(1) AC 계수 VLC 테이블 전환정보

실시예 1에서 언급한 바와 같이, 부호화측에서 AC 계수 데이터를 가변 길이부호화 할 때에 사용하는 VLC 테이블이 다른 경우에, 복호측에서 AC 계수 데이터를 가변 길이 복호하는 데 사용하는 VLD 테이블을 전환하기 위한 정보.

(2) Esc Coding 전환정보

실시예 1에서 언급한 바와 같이, 부호화측에서 AC 계수 데이터를 가변 길이 부호화 할 때에, 부호화하고자 하는 AC 계수 데이터가 VLC 테이블에 없었을 때의 부호화 방법이 다른 경우에, 복호측에서 복호방법을 전환하기 위한 정보.

(3) 인트러 DC 계수 역양자화 전환정보

실시예 1에서 언급한 바와 같이, 부호화측에서 인트러 DC 계수의 양자화 방법이 다른 경우에, DC 계수의 역양자화 방법을 전환하기 위한 정보.

또 (1) 내지 (3)의 전환정보를 종합하여, H.263에서 채용되어 있는 수법과 그 이외에서 바꾸는 정보로서, 설정하여 두는 것도 가능하다.

MPEG-4 헤더 정보 설정부(164)에 의해 설정된 MPEG-4 헤더 정보는 가변 길이 부호화되고, MPEG-4 헤더 정보 부호어(406)로서 다중화부(165)로 출력된다.

GOB 헤더 정보 해석·변환부(163)는, 실시예 1과 마찬가지로, GOB 헤더 정보부호어(402)를 복호하여, GOB 헤더 정보(224)를 MPEG-4의 표현형식인 재동기 정보(238)로 변환한다.

MPEG-4의 재동기 정보(238)는 에러 내성 강화를 위해 사용되는 정보로, VOL 헤더 정보(236)의 에러 내성 부호화 지시정보가 유효한 경우에 다중화되는 정보이다. 복호측에서는 재동기 정보(238)가 복호되면, 부호화 비트 스트림으로의 재동기가 취해지고, 매크로 블록 복호 시에 사용되는 예측 벡터 양자화 스텝 사이즈의재설정을 행한다. 또 H.263에는, GOB 헤더 정보(224)가 복호되면 예측 벡터와 양자화 스텝 사이즈의 재설정을 행하고 있다. 그래서 GOB 헤더 정보(224)를 재동기 보(238)에 의해 변환하는 것에 의해, GOB 헤더 정보(224)를 MPEG-4의 표현형식으로 변환할 수 있다.

도 26은 GOB 헤더 정보(224) 및 재동기 정보(238)의 구조를 도시된 도면이다. 재동기 정보(238)에 있어서의 매크로 블록번호(271)는, VOP 내에서의 매크로 블록의 위치를 나타내는 번호이다. 따라서 받아들인 H.263 매크로 블록 데이터에 대응하는 매크로 블록의 픽처내에서의 위치를 산출하면 좋다. 이것은 GOB 내에서 선두의 매크로 블록이 되기 때문에, GOB 번호로부터 산출할 수 있다. 양자화 스케일(272)은, COB 양자화 스텝 사이즈를 설정하면 좋다. 헤더 확장 지시 코드(273)는 "1"의 경우에 시간 기준점(274) 및 VOP 경과시간(275)이 다중화된다. 이들 정보는 각 VOP를 표시할 때에 사용되는 것으로, 필요에 따라서 헤더 확장지시 코드(273)를 "1"에 설정하고, 시간 기준점(274), VOP 경과시간(275)의 설정을 행하면 좋다. 재동기 정보(238)는 가변 길이 부호화되고, 재동기 정보(238)가 다중화되어 있는 것을 나타내기 위한 고정 길이의 독특한 코드인 재동기 지시 코드를 부가한 재동기 정보 부호어(407)를 다중화부(165)에 출력한다.

다중화부(165)는, MPEG-4 헤더 정보 부호어(406), 재동기 정보 부호어(407), 매크로 블록 데이터 부호어(403)를 부호화 비트 스트림에 다중화하여, MPEG-4 부호화 비트 스트림(202)을 출력한다.

이 실시예에서는, 재동기 정보는, VOL헤더 정보(234)의 에러 내성 부호화 지시 정보가 유효한 경우에 다중화되는 정보라고 하였지만, 에러 내성 부호화 지시 정보의 유효, 무효에 관계없이 다중화할 수도 있다.

또 H.263 부호화 비트 스트림(201)에 있어서, 매크로 블록 데이터(225)의 뒤에 시퀀스 종료 코드(227)가 부가되어 있는 경우, 신택스 해석부(161)는, 시퀀스 종료 코드(227)를 검출하면 해석을 종료한다.

이상과 같이, 이 실시예에 의하면, H.263 부호화 비트 스트림(201)을 MPEG-4 부호화 비트 스트림(202)으로 변환하기 때문에, MPEG-4의 화상 복호화 장치에서 H.263 부호화 비트 스트림을 복호할 수 있다는 효과가 얻어진다.

실시예 9

실시예 7에서는, 도 23에 있어서, H.263 픽처 스타트 코드 검출부(151)가 픽처 스타트 코드(221)를 검출한 경우, 부호화 방식 판정부(152)가 H.263 부호화 비트 스트림(201)이라고 판정하고, H.263 픽처 헤더 정보 해석부(153)가 VOL 헤더 정보와 VOP 헤더 정보를 설정하도록 하였지만, 본 실시예에서는, H.263 픽처 헤더 정보 해석부(153)에 포함되어 있는 도 6에 있어서의 H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 헤더 정보(222)에 기초하여, 매크로 블록 레이어 신택스 해석부(22)의 동작을 바꾼다. 이 때, MPEG-4 헤더 정보 설정부(43)는 불필요하다. 또한, 실시예 7에서는, 도 8에 있어서의 GOB 스타트 코드 검출부(61)가, H.263 부호화 비트 스트림(201)중에 GOB 스타트 코드(223)를 검출한 경우, C0B 헤더 정보 복호부(62)가 GOB 헤더 정보(224)를 복호하고, MPEG-4 헤더 정보변경부(63)에서, VOP 헤더 정보(236)에 포함되는 VOP 양자화 스텝 사이즈의 재설정을 행하였다. 본 실시예에서는, H.263 부호화 비트 스트림(201)을 복호하는 경우, 픽처 헤더 정보(222)를 사용하여, 매크로 블록 데이터의 복호를 행하기 위해서, 픽처 헤더 정보(222)에 포함되는 픽처 양자화 스텝 사이즈(304)의 재설정을 행하면 좋다.

다음에 H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 헤더 정보(222)에 기초하여, 매크로 블록 데이터의 복호를 행할 때의 매크로 블록 레이어 신택스 해석부(22)의 동작에 대해서 설명한다.

본 실시예에서는, 도 12의 매크로 블록 레이어 신택스 해석부의 전환부(81, 83, 88, 95)의 동작과, 가산부(94)의 동작과, 움직임 벡터 복호부(97)의 동작과, 도 13의 블록 데이터 복호부(98)의 전환부(102)의 동작만이 다르기 때문에, 이 부분에 대해서만 설명한다.

전환부(81)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우, 즉, 도 23에 있어서의 부호화 방식 판정부(152)에서 설정된 H.263 호환 식별 정보(33)가 MPEG-4를 나타내고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 형상 정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별 정보(33)가 H.263을 나타내고 있는 경우에는, 무조건적으로 비트 스트림(1)은 형상 부호화 데이터 복호부(82)를 통하지 않고서, 전환부(83)에 입력된다.

전환부(83)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는,VOP 헤더 정보 해석부(38)에서 복호된 VOP 예측 타입에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우에는, H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 부호화 타입(302)에 의해 전환된다. 전환의 동작에 대해서는, 실시예 1과 같고, 픽처 부호화 타입(302)을 인트러나, 그 이외로 전환해도 된다.

전환부(88)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 인트러 AC/DC 예측 지시 정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별 정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 AC 예측 지시 정보 복호부(89)를 통하지 않고서, 유효 블록 식별 정보 복호부(9O)에 입력된다.

가산부(94)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, 복호된 차분 양자화 스텝 사이즈(254)에, 1개 앞에 복호된 매크로 블록의 VOP 양자화 스텝 사이즈를 가산하여, 양자화 스텝 사이즈로서 출력한다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우에는, 복호된 차분 양자화 스텝 사이즈(254)에, 1개 앞에 복호된 매크로 블록의 픽처 양자화 스텝 사이즈를 가산하여, 양자화 스텝 사이즈로서 출력한다.

전환부(95)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOP 헤더 정보 해석부(38)에서 복호된 인터레이스 모드 지시정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 인터레이스 정보 복호부(96)를 통하지 않고서, 움직임 벡터 복호부(97)에 입력된다.

움직임 벡터복호부(97)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOP 헤더 정보 해석부(38)에서 복호된 움직임 벡터 탐색 범위 지정정보에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호한다. H.263 비트 스트림을 복호하고 있는 경우에는, H.263에서 정해져 있는 움직임 벡터 탐색 범위에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호한다.

블록 데이터 복호부(98)의 전환부(102)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 인트러 AC/DC 예측·모드 지시정보에 의해 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별 정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 DC 계수 고정 길이 복호부(103)에 입력된다. 이것 이후의 동작은, 실시예 1과 같다.

이상과 같이, 이 실시예 9에 의하면, 픽처 스타트 코드(221)를 검출한 경우, H.263 부호화 비트 스트림(201)이라고 판정하여, 픽처 헤더 정보(222)를 복호하고, 복호한 픽처 헤더 정보(222)에 의해, 매크로 블록 데이터의 복호를 행하도록 하였기 때문에, VOL 헤더 정보와 VOP 헤더 정보를 설정하지 않고서, H.263과, MPEG-4로 호환성을 갖는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.

이상과 같이, 본 발명에 관한 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템 및 부호화 비트 스트림 변환장치는, 부호화 방식이 다른 부호화 비트 스트림이라도, 간단한 구성으로 송수신을 행할 수 있다.

Claims

적어도 H.263 부호화 방식의 헤더 정보와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 MPEG-4 부호화 방식의 헤더 정보와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호하는 화상 복호화 장치에 있어서,

상기 제 1 부호화 비트 스트림을 수신한 경우와, 상기 제 2 부호화 비트 스트림을 수신한 경우에서, 인트라 부호화된 DCT 계수의 직류 성분의 복호 해석 방법을 바꾸는 전환 수단을 구비하고,

상기 전환 수단은, 상기 제 1 부호화 비트 스트림을 수신한 경우에 미리 정해진 고정 부호 길이로 인트라 DCT 계수의 직류 성분을 복호하는 것을 특징으로 하는, 화상 복호화 장치.
적어도 H.263 부호화 방식의 헤더 정보와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 MPEG-4 부호화 방식의 헤더 정보와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호하는 화상 복호화 장치에 있어서,

상기 제 1 부호화 비트 스트림을 수신한 경우와, 상기 제 2 부호화 비트 스트림을 수신한 경우에서, DCT 계수의 교류성분의 복호 해석 방법을 바꾸는 전환 수단과, DCT 계수의 교류 성분의 복호에 사용하는 2종류의 가변 길이 부호 테이블을구비하고,

상기 전환 수단은, 상기 제 1 부호화 비트 스트림을 수신한 경우에는, DCT 블록이 속하는 매크로 블록의 부호화 타입에 근거하지 않고, 항상 상기 2종류의 가변길이 부호 테이블 중의 한쪽을 사용하여 DCT 계수의 교류성분을 복호하고,

상기 제 2 부호화 비트 스트림을 수신한 경우에는 상기 2종류의 가변길이 부호테이블 중, DCT 블록이 속하는 매크로 블록의 부호화 타입에 따라서 선택되는 가변길이 부호 테이블을 사용하여 DCT 계수의 교류성분을 복호하는 것을 특징으로 하는, 화상 복호화 장치.
적어도 H.263 부호화 방식의 헤더 정보와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 MPEG-4 부호화 방식의 헤더 정보와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호하는 화상 복호화 장치에 있어서,

상기 제 1 부호화 비트 스트림을 수신한 경우와, 상기 제 2 부호화 비트 스트림을 수신한 경우에서, DCT 계수의 이스케이프 코드 해석 방법을 바꾸는 전환 수단을 구비하고,

상기 전환수단은 상기 제 1 부호화 비트 스트림을 수신한 경우에, DCT 계수복호의 과정에서 이스케이프 코드를 검출한 경우는 그것에 계속되는 DCT 계수 부호화 데이터를 고정 길이로 복호 해석하고, 상기 제 2 부호화 비트 스트림을 수신한 경우에, DCT 계수 복호의 과정에서 이스케이프 코드를 검출한 경우는 그것에 계속되는 부호를 보정함으로써 DCT 계수 부호화 데이터 복호를 가능하게 하는 것을 특징으로 하는, 화상 복호화 장치.
적어도 H.263 부호화 방식의 헤더 정보와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 MPEG-4 부호화 방식의 헤더 정보와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호하는 화상 복호화 장치에 있어서,

상기 제 1 부호화 비트 스트림을 수신한 경우와, 상기 제 2 부호화 비트 스트림을 수신한 경우에서, 인트라 DCT 계수의 교류성분의 예측 처리가 있는지의 여부를 나타내는 AC 예측 유무 지시 정보의 복호 해석 방법을 바꾸는 전환 수단과,

상기 전환 수단은, 상기 제 1 부호화 비트 스트림을 수신한 경우에는, 매크로 블록 부호화 데이터 복호 해석의 과정에서 AC 예측 유무 지시 정보의 복호 해석을 스킵함과 동시에 AC 예측 없음이라고 판단하고,

상기 제 2 부호화 비트 스트림을 수신한 경우에는, AC 예측 유무 지시 정보의 복호 해석을 하고, 그 복호치에 근거하여 AC 예측의 유무를 정하는 것을 특징으로 하는, 화상 복호화 장치.