KR19990087262A - 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기록 매체 - Google Patents

Abstract

예측 탭 생성 회로(32)에서는 선별 추출 회로(31)에서 HD 화상을 선별 추출함으로써 얻어지는 SD 화상을 구성하는 화소 중의 1개를 주목 화소로서, 그 주목 화소에 대하여, 복수 패턴의 예측 탭이 형성되며, 클래스 분류 적응 처리 회로(33)에서는 예측 탭과, 소정의 예측계수의 선형 결합에 의해, HD 화상의 예측치를 구하는 적응 처리가 행하여진다. 그리고, 예측 오차 산출 회로(34)에서는 복수 패턴의 예측 탭의 각각으로부터 얻어지는 예측치의, HD 화상에 대한 예측 오차가 산출되며, 탭 패턴 코드 부가 회로(36)에서는 복수 패턴의 예측 탭 중, 최소의 예측 오차가 얻어짐으로써 대응하는 패턴 코드가, 주목 화소의 화소치에 부가된다. 따라서, 그 패턴 코드에 따라서 예측 탭을 형성하여 복호를 함으로써, 보다 화질이 향상된 복호 화상을 얻는 것이 가능해진다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기록 매체

예를 들면, 표준 해상도 또는 저해상도의 화상(이하, SD 화상이라 함)을, 고해상도의 화상(이하, HD 화상이라 함)으로 변환하거나, 또한, 화상을 확대하거나 하는 경우에 있어서는, 소위 보간 필터 등에 의해서, 부족한 화소의 화소치의 보간(보상)이 행해지도록 되어 있다.

그렇지만, 보간 필터에 의해서 화소의 보간을 행하여도, SD 화상에 포함되지 않은, HD 화상의 성분(고주파 성분)을 복원할 수 없기 때문에, 고해상도의 화상을 얻는 것이 곤란하였다.

그래서, 본건 출원인은 SD 화상을, 거기에 포함되지 않은 고주파 성분도 포함하는 HD 화상으로 변환하는 화상 변환 장치(화상 변환 회로)를 앞에서 제안하고 있다.

상기 화상 변환 장치에 있어서는 SD 화상과, 소정의 예측 계수의 선형 결합에 의해, HD 화상의 화소인 예측치를 구하는 적응 처리를 함으로써, SD 화상에는 포함되어 있지 않은 고주파 성분이 복원되도록 이루어져 있다.

즉, 예를 들면, 이제, HD 화상을 구성하는 화소(이하, HD 화소라 함)의 화소치(y)의 예측치 E[y]를, 몇 개의 SD 화소(SD 화상을 구성하는 화소)의 화소치(이하, 학습 데이터라 함) x₁, x₂, ···와, 소정의 예측 계수 w₁, w₂, ···의 선형 결합에 의해 규정되는 선형 1차 결합 모델에 의해 구하는 것을 고려한다. 이 경우, 예측치 E[y]는 수학식 1로 나타낼 수 있다.

E[y]= w₁x₁+ w₂x₂+···

그래서, 일반화하기 위해서, 예측 계수(w)의 집합으로 되는 행열(W)을 수학식 2로, 학습 데이터의 집합으로 되는 행렬(X)을 수학식 3으로, 예측치 E[y]의 집합으로 되는 행렬(Y')을 수학식 4로 정의하면, 수학식 5와 같은 관측 방정식이 성립한다.

XW=Y'

그리고, 상기 관측 방정식에 최소 제곱법을 적용하여, HD 화소의 화소치(y)에 가까운 예측치 E[y]를 구하는 것을 고려할 수 있다. 이 경우, 교사 데이터가 되는 HD 화소의 참된 화소치(y)의 집합으로 되는 행렬(Y)을 수학식 6에서, HD 화소의 1화소가 y에 대한 예측치 E[y]의 잔차(e)의 집합으로 되는 행렬(E)을 수학식 7로 정의하면,

수학식 5로부터, 수학식 8과 같은 잔차 방정식이 성립한다.

XW=Y+E

이 경우, HD 화소의 화소치(y)에 가까운 예측치 E[y]를 구하기 위한 예측 계수(w_i)는 수학식 9에 나타낸 제곱 오차를 최소로 함으로써 구할 수 있다.

따라서, 상술의 수학식 9에 나타내는 제곱 오차를 예측 계수(w_i)로 미분한 것이 0이 되는 경우, 즉, 수학식 10을 만족하는 예측계수(w_i)가, HD 화소의 화소치(y)에 근접한 예측치 E[y]를 구하기 위한 최적치로 된다.

그래서, 우선, 수학식 8을, 예측계수(w_i)로 미분함으로써, 수학식 11이 성립한다.

수학식 10 및 수학식 11에서, 수학식 12가 얻어진다.

또한, 수학식 8의 잔차 방정식에 있어서의 학습 데이터(x), 예측 계수(w), 교사 데이터(y), 및 잔차(e)의 관계를 고려하면, 수학식 12으로부터, 수학식 13과 같은 정규 방정식을 얻을 수 있다.

수학식 13의 정규 방정식은 구해야 할 예측계수(w)의 수와 같은 수만큼 세울 수 있고, 따라서, 수학식 13을 푸는 것으로(단지, 수학식 13을 풀기 위해서는 수학식 13에 있어서, 예측계수(w)에 곱하는 계수로 구성되는 행렬이 정칙일 필요가 있다), 최적인 예측계수(w)를 구할 수 있다. 또, 수학식 13을 푸는 것에 있어서는 예를 들면, 가우스-조단법(Gauss-jordan의 소거법) 등을 적용하는 것이 가능하다.

이상과 같이 하여, 최적의 예측계수(w)의 세트를 구하고, 또한, 그 예측계수(w)의 세트를 이용하여, 수학식 1에 의해, HD 화소의 화소치(y)에 가까운 예측치 E[y]를 구하는 것이 적응 처리이다(단지, 미리 예측계수(w)의 세트를 구해 놓고, 그 예측계수(w)의 세트로부터, 예측치를 구하는 것도, 적응 처리에 포함되는 것으로 한다).

또, 적응 처리는 SD 화상에는 포함되어 있지 않은, HD 화상에 포함되는 성분이 재현되는 점에서, 보간 처리와는 다르다. 즉, 적응 처리에서는 수학식 1만을 보면, 소위 보간 필터를 사용한 것의 보간 처리와 동일하지만, 그 보간 필터의 탭 계수에 상당하는 예측계수(w)가, 교사 데이터(y)를 사용하여, 말하자면 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수가 있다. 즉, 용이하게, 고해상도의 화상을 얻을 수 있다. 이 때문에, 적응 처리는, 말하자면 화상의 창조 작용이 있는 처리라고 할 수 있다.

도 22는 화상의 특징(class)에 의거한 이상과 같은 적응 처리에 의해, SD 화상을 HD 화상으로 변환하는 화상 변환 장치의 구성예를 도시하고 있다.

SD 화상은 클래스 분류회로(101) 및 지연회로(102)에 공급되도록 이루어져 있고, 클래스 분류회로(101)에서는 SD 화상을 구성하는 SD 화소가 순차, 주목 화소로 되며, 그 주목 화소가, 소정의 클래스로 클래스 분류된다.

즉, 클래스 분류회로(101)는 우선 먼저, 주목 화소의 주변에 있는 SD 화소를 몇 가지 모아 블록을 구성하여(이하, 처리 블록이라고 함), 그 처리 블록을 구성하는, 예를 들면 모든 SD 화소의 화소치의 패턴에 미리 할당되어진 값을, 주목 화소의 클래스로서, 계수 ROM(104)의 어드레스 단자(AD)에 공급한다.

구체적으로는 클래스 분류회로(101)는 예를 들면, 도 23에 점선의 사각형으로 나타낸 바와 같이, 주목 화소를 중심으로 하는 5×5의 SD 화소(동도에 있어서 ○표시로 나타냄)로 이루어진 처리 블록을, SD 화상으로부터 선별 추출하여, 이들의 25의 SD 화소의 화소치의 패턴에 대응하는 값을, 주목 화소의 클래스로서 출력한다.

여기서, 각 SD 화소의 화소치를 나타내는 데에, 예를 들면, 8비트 등의 많은 비트수가 할당되어 있는 경우, 25의 SD 화소의 화소치의 패턴수는, (2⁸)²⁵와 같은 막대한 수로 되며, 그 후의 처리의 신속화가 곤란해진다.

그래서, 클래스 분류를 하기 전의 전처리로서, 처리 블록에는 그것을 구성하는 SD 화소의 비트수를 저감하기 위한 처리인, 예를 들면 ADRC(Adaptive Dynamic Range Coding) 처리 등이 실시된다.

즉, ADRC 처리에서는 우선, 처리 블록을 구성하는 25개의 SD 화소로부터, 그 화소치의 최대인 것(이하, 최대 화소라 함)과 최소의 것(이하, 최소 화소라 함)이 검출된다. 그리고, 최대 화소의 화소치(MAX)와 최소의 화소치(MIN)의 차분 DR(=MAX-MIN)이 연산되고, 상기 DR을 처리 블록의 국소적인 다이내믹 레인지로 한다. 상기 다이내믹 레인지(DR)에 의거하여, 처리 블록을 구성하는 각 화소치가, 원래의 할당 비트수 보다 적은 K 비트로 재양자화된다. 요컨대, 처리 블록을 구성하는 각 화소치로부터 최소 화소의 화소치(MIN)가 감산되고, 각 감산치가, DR/2^k로 제산된다.

그 결과, 처리 블록을 구성하는 각 화소치는 K 비트로 표현된다. 따라서, 예를 들면 K=1로 한 경우, 25개의 SD 화소의 화소치의 패턴수는 (2¹)²⁵와 같이 되고, ADRC 처리를 하지 않은 경우와 비교하여, 패턴수를 대단히 적은 것으로 할 수 있다. 또, 화소치를, 이와 같이 K 비트로 하는 ADRC 처리를, 이하, K 비트 ADRC 처리라고 한다.

계수 ROM(l04)은 미리 학습이 행하여짐으로써 구해진 예측계수의 세트를, 클래스마다 기억하고 있고, 클래스 분류회로(101)로부터 클래스가 공급되면, 그 클래스에 대응하는 어드레스에 기억되어 있는 예측계수의 세트를 판독 출력하여, 예측 연산회로(105)에 공급한다.

한편, 지연회로(l02)에서는 예측 연산 회로(l05)에 대하여, 계수 ROM(l04)으로부터 예측계수의 세트가 공급되는 타이밍과, 후술하는 예측 탭 생성 회로(103)로부터 예측 탭이 공급되는 타이밍을 일치시키기 위해서 필요한 시간만큼, SD 화상이 지연되어, 예측 탭 생성회로(l03)에 공급된다.

예측 탭 생성회로(l03)에서는 거기에 공급되는 SD 화상으로부터, 예측 연산회로(105)에 있어서, 소정의 HD 화소의 예측치를 구하는 데에 이용하는 SD 화소가 추출되어, 이것이 예측 탭으로서, 예측 연산회로(105)에 공급된다. 즉, 예측 탭 생성회로(103)에서는 SD 화상으로부터, 예를 들면, 클래스 분류회로(101)에서 추출된 것과의 동일한 처리 블록이 추출되어, 그 처리 블록을 구성하는 SD 화소가, 예측 탭으로서, 예측 연산회로(105)에 공급된다.

예측 연산회로(105)에서는 계수 ROM(104)으로부터의 예측계수 w₁, w₂, ···와, 예측 탭 생성회로(103)로부터의 예측 탭 x₁, x₂, ···를 사용하여, 수학식 1에 나타낸 연산, 즉, 적응 처리가 행하여짐으로써, 주목 화소(y)의 예측치 E[y]가 구해지고, 이것이, HD 화소의 화소치로서 출력된다.

즉, 여기서는 예를 들면, 도 23에 있어서 실선의 사각형으로 둘러쌓인, 주목 화소를 중심으로 하는 3×3의 HD 화소(동도면에서 ·점으로 나타냄)의 예측치가, 1개의 예측 탭으로부터 구해지도록 이루어져 있고, 이 경우, 예측 연산회로(105)에서는 상기 9개의 HD 화소에 관해서, 수학식 1의 연산이 행하여진다. 따라서, 계수 ROM(l04)에서는 1의 클래스에 대응하는 어드레스에, 9세트의 예측계수의 세트가 기억되어 있다.

이하 동일한 처리가, 그 밖의 SD 화소를 주목 화소로서 행하여지고, 이것에 의해, SD 화상이 HD 화상으로 변환된다.

다음에, 도 24는 도 22의 계수 ROM(104)에 기억시키는 클래스마다의 예측계수의 세트를 산출하는 학습 처리를 하는 학습 장치의 구성예를 도시하고 있다.

학습에 있어서의 교사 데이터(y)로 되어야 할 HD 화상이, 선별 추출 회로(l11) 및 지연회로(114)에 공급되도록 되어 있고, 선별 추출 회로(111)에서는 HD 화상이, 예를 들면, 그 화소수가 추출됨으로써 적어지고, 이것에 의해 SD 화상으로 된다. 상기의 SD 화상은 클래스 분류회로(112) 및 예측 탭 생성회로(113)에 공급된다.

클래스 분류회로(112) 또는 예측 탭 생성회로(113)에서는 도 22의 클래스 분류회로(101) 또는 예측 탭 생성회로(203)에 있어서의 경우와 같은 처리가 행하여지고, 이것에 의해 주목 화소의 클래스 또는 예측. 탭이 각각 출력된다. 클래스 분류회로(112)가 출력하는 클래스는 예측 탭 메모리(115) 및 교사 데이터 메모리(116)의 어드레스 단자(AD)에 공급되며, 예측 탭 생성회로(113)가 출력하는 예측 탭은 예측 탭 메모리(115)에 공급된다.

예측 탭 메모리(115)에서는 클래스 분류회로(112)로부터 공급되는 클래스에 대응하는 어드레스에, 예측 탭 생성회로(113)로부터 공급되는 예측 탭이 기억된다. 한편, 지연회로(114)에서는 주목 화소에 대응하는 클래스가, 클래스 분류회로(112)로부터 교사 데이터 메모리(116)에 공급되는 시간만큼, HD 화상이 지연되며, 그 중의, 예측 탭에 대하여 도 23에 도시된 위치 관계에 있는 HD 화소의 화소치만이, 교사 데이터로서, 교사 데이터 메모리(116)에 공급된다.

그리고, 교사 데이터 메모리(116)에서는 클래스 분류회로(212)로부터 공급되는 클래스에 대응하는 어드레스에, 지연회로(114)로부터 공급되는 교사 데이터가 기억된다.

이하와 같은 처리가, 미리 학습용으로 준비된 모든 HD 화상으로부터 얻어지는 SD 화상을 구성하는 모든 SD 화소가 주목 화소로 될 때까지 반복된다.

이상과 같이 하여, 예측 탭 메모리(115) 또는 교사 데이터 메모리(116)의 동일의 어드레스에는 도 23에 있어서 ○표시로 나타낸 SD 화소 또는 도 23에서 ·표시로 나타낸 HD 화소와 각각 동일의 위치 관계에 있는 SD 화소 또는 HD 화소가, 학습 데이터(x) 또는 교사 데이터(y)로서 기억된다. 또, 예측 탭 메모리(115)와 교사 데이터 메모리(116)에 있어서는 동일 어드레스에 복수의 정보를 기억할 수 있도록 이루어져 있고, 이것에 의해, 동일 어드레스에는 동일의 클래스로 분류되는 복수의 학습 데이터(x)와 교사 데이터(y)를 기억할 수 있도록 이루어져 있다.

그 후, 연산회로(117)는 예측 탭 메모리(115) 또는 교사 데이터 메모리(116)로부터, 동일 어드레스에 기억되어 있는 학습 데이터로서의 예측 탭 또는 교사 데이터로서의 HD 화소의 화소치를 판독 출력하여, 그들을 사용하여, 최소 제곱법에 의해서, 예측치와 교사 데이터 사이의 오차를 최소로 하는 예측계수의 세트를 산출한다. 즉, 연산회로(117)에서는 클래스마다, 수학식 13에 나타낸 정규 방정식이 세워지고, 이것을 푸는 것에 의해 클래스마다의 예측계수의 세트가 구해진다.

이상과 같이 하여, 연산회로(117)에서 구해진 클래스마다의 예측계수의 세트가, 도 22의 계수 ROM(104)에 있어서의, 그 클래스에 대응하는 어드레스에 기억되어 있다.

또, 이상과 같은 학습 처리에 있어서, 예측계수의 세트를 구하는 데에 필요한 수의 정규 방정식을 얻을 수 없는 클래스가 생기는 경우가 있지만, 그와 같은 클래스에 관해서는 예를 들면, 클래스를 무시하여 정규 방정식을 세워 푸는 것에 의해 얻어지는 예측계수의 세트 등이, 말하자면, 디폴트의 예측계수의 세트로서 사용된다.

그런데, 도 22의 화상 변환 장치에 의하면, HD 화상의 화소수를 추출하는 등으로서 적게함으로써 얻어지는 SD 화상으로부터, 상술된 바와 같이, 거기에 포함되어 있지 않은 고주파 성분도 포함하는 HD 화상을 얻을 수 있지만, 원래의 HD 화상에 근접하는 데에는 한계가 있다. 그 이유로서, HD 화상의 화소수를 추출한 만큼의 SD 화상의 화소(SD 화소)의 화소치가, 원래의 HD 화상을 복원하는 데에, 적합하지 않은 것으로 생각된다.

그래서, 본건 출원인은 원래의 HD 화상에 의해 근접한 화질의 복호 화상을 얻을 수 있도록 하기 위해서, 적응 처리를 이용한 화상의 압축(부호화)에 관해서 먼저 제안하고 있다(예를 들면, 특허출원 평8-206552호 등).

즉, 도 25는 적응 처리에 의해서, 원래의 HD 화상에 의해 근접한 복호 화상을 얻을 수 있도록, 그 HD 화상을, 최적의 SD 화상에 압축(부호화)하는 화상 부호화 장치의 구성예를 도시하고 있다.

부호화 대상의 HD 화상은 선별 추출부(121) 및 오차 산출부(43)에 공급된다. 선별 추출부(121)에서는 HD 화상이, 예를 들면, 단순히 추출로써 SD 화상으로 되어, 보정부(41)에 공급된다. 보정부(41)는 선별 추출부(121)로부터 SD 화상을 수신하면, 처음에는 그 SD 화상을, 그대로 로컬 디코드부(122)에 출력한다. 로컬 디코드부(122)는 예를 들면, 도 22에 도시된 화상 변환 장치와 같이 구성되며, 보정부(41)로부터 SD 화상을 이용하여, 상술된 바와 같이 적응 처리를 행함으로써, HD 화소의 예측치를 산출하고, 오차 산출부(43)에 출력한다. 오차 산출부(43)는 로컬 디코드부(122)로부터 HD 화소의 예측치의, 원래의 HD 화소에 대한 예측오차(오차 정보)를 산출하여, 제어부(44)에 출력한다. 제어부(44)는 오차 산출부(43)로부터의 예측 오차에 대응하여, 보정부(41)를 제어한다.

즉, 이것에 의해, 보정부(41)는 선별 추출부(121)로부터의 SD 화상의 화소치를, 제어부(44)로부터의 제어에 따라서 보정하여, 로컬 디코드부(122)에 출력한다. 로컬 디코드부(122)에서는 보정부(41)로부터 공급되는 보정 후의 SD 화상을 이용하여, 다시, HD 화상의 예측치가 구해진다.

이하, 예를 들면, 오차 산출부(43)가 출력하는 예측 오차가, 소정치 이하로 될 때까지, 같은 처리가 반복된다.

그리고, 오차 산출부(43)가 출력하는 예측 오차가, 소정치 이하로 되면, 제어부(44)는 보정부(41)를 제어하여, 이것에 의해, 예측 오차가 소정치 이하가 되었을 때의, 보정 후의 SD 화상을, HD 화상의 최적의 부호화 결과로서 출력시킨다. 따라서, 상기 보정 후의 SD 화상에 의하면, 그것에 적응 처리를 실시함으로써, 예측 오차가 소정치 이하의 HD 화상을 얻을 수 있다.

여기서, 이상과 같이 하여, 도 25의 화상 부호화 장치로부터 출력되는 SD 화상은 원래의 HD 화상에 의해 근접한 복호 화상을 얻는 데에 최적의 것이라고 할 수 있기 때문에, 상기 화상 부호화 장치의 보정부(41), 로컬 디코드부(122), 오차 산출부(43) 및 제어부(44)로 구성되는 시스템이 행하는 처리는 최적화 처리라고 할 수 있다.

그런데, 적응 처리는 말하자면, HD 화소 주변의 SD 화소로 예측 탭을 구성하고, 그 예측 탭을 사용하여, HD 화소의 예측치를 구하는 것이지만, 예측 탭으로서 사용되는 SD 화소는 화상과는 무관하게 선택되도록 이루어져 있다.

즉, 도 22의 화상 변환 장치의 예측 탭 생성회로(103)나, 상기 화상 변환 장치와 마찬가지로 구성된 도 25의 로컬 디코드부(122)에서는 항상, 일정 패턴의 예측 탭이 생성(형성)되도록 이루어져 있었다.

그렇지만, 화상은 국소적으로 특성이 다른 경우가 대부분이고, 따라서, 특성이 다르면, 그것에 대응한 예측 탭을 이용하여. 적응 처리를 한 것이, 원래의 HD 화상의 화질에 의해 근접한 복호 화상을 얻을 수 있다고 생각된다.

본 발명은 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복 호 방법 및 기록 매체에 관한 것이다. 특히, 원화상과 거의 동일의 복호 화상이 얻어지도록, 화상을 선별 추출하여 압축 부호화하는 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기록 매체에 관한 것이다.

도 1은 본 발명을 적용한 화상 처리 장치의 일실시예의 구성을 도시한 블록도.

도 2는 도 1의 송신장치(2)의 구성예를 도시한 블록도.

도 3은 도 2의 송신장치(1)의 구성예를 도시한 블록도.

도 4는 도 3의 송신장치(1)의 조작을 설명하기 위한 플로우챠트.

도 5는 도 3의 전처리부(21)의 구성예를 도시한 블록도.

도 6은 도 5의 선별 추출 회로(31)의 처리를 설명하기 위한 도면.

도 7은 예측 탭의 구성예를 도시한 도면.

도 8은 예측 탭의 구성예를 도시한 도면.

도 9는 예측 탭의 구성예를 도시한 도면.

도 10은 예측 탭의 구성예를 도시한 도면.

도 11은 도 5의 전처리부(21)의 처리를 설명하기 위한 플로우챠트.

도 12는 도 11의 스텝 S11의 처리의 보다 상세한 설명을 위한 플로우챠트.

도 13a, 도 13b는 클래스 분류를 하기 위한 클래스 탭의 구성예를 도시한 도면.

도 14는 도 3의 최적화부(23)의 구성예를 도시한 블록도.

도 15는 도 14의 최적화부(23)의 처리를 설명하기 위한 플로우챠트.

도 16은 도 15의 스텝 S33의 처리를 설명하기 위한 도면.

도 17은 도 3의 적응 처리부(24)의 구성예를 도시한 블록도.

도 18은 도 17의 적응 처리부(24)의 처리를 설명하기 위한 플로우챠트.

도 19는 도 3의 예측 탭 패턴의 판정부(26)의 구성예를 도시한 블록도.

도 20은 도 19의 예측 탭 패턴 판정부(26)의 처리를 설명하기 위한 플로우 챠트.

도 21은 도 1의 수신장치(4)의 구성예를 도시한 블록도.

도 22는 본건 출원인이 먼저 제안한 화상 변환 장치의 구성예를 도시한 블록도.

도 23은 도 22의 클래스 분류회로(101)의 처리를 설명하기 위한 도면.

도 24는 본건 출원인이 먼저 제안한 학습 장치의 구성예를 도시한 블록도.

도 25는 본건 출원인이 먼저 제안한 화상 부호화 장치의 구성예를 도시한 블록도.

도 26은 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)의 일부의 구성의 일례를 도시한 블록도.

도 27은 클래스 분류 적응 처리(예측계수, 예측치 연산)회로(33)의 다른 일부의 구성의 일예를 도시한 블록도.

도 28은 클래스 분류 적응 처리회로(42B 및 74)의 구성의 일예를 도시한 블록도.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 본 발명의 목적은 보다 화질이 향상된 복호 화상을 얻을 수 있도록 하는 것이다.

본 발명에 따른 화상 신호를 부호화하는 화상 부호화 장치는 원화상 신호의 화소수보다 적은 화소수의 압축 화상 신호를 발생하는 압축부와, 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 제 1 형성부와, 복수의 패턴의 예측화소의 각각과, 소정의 예측계수로부터, 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 제 1 예측부와, 복수의 패턴의 예측 화소에 대한 예측치 각각의, 원화상 신호에 대한 예측 오차를 산출하는 제 1 산출부와, 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응하는 패턴 코드를 주목 화소의 화소치에 부가하는 부가부를 구비한다.

본 발명에 따른 화상 신호를 부호화하는 화상 부호화 방법은 원화상 신호의 화소수보다 적은 화상수의 압축 화상 신호를 발생하는 압축 스텝과, 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 제 1 형성 스텝과, 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 제 1 예측 스텝과, 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 원화상 신호에 대한 예측 오차를 산출하는 제 1 산출 스텝과, 복수의 패턴의 예측 화소 중, 최소의 예측 오차를 얻게되는 예측 화소에 대응하는 패턴 코드를 주목 화소의 화소치에 부가하는 부가 스텝을 갖는다.

본 발명에 따른 압축 화상 신호를 원래의 화상 신호로 복호하는 화상 복호 장치는 압축 화상 신호를 수신하는 수신부와, 압축 화상 신호의 주목 화소의 화소치에 부가된 패턴 코드에 대응하는 패턴의 예측 화상을 형성하는 형성부와, 형성부에서 형성된 예측 화소와, 소정의 예측계수로부터 원화상 신호를 예측하여, 원화상 신호를 출력하는 예측부를 구비한다.

본 발명에 따른 압축 화상 신호를 원래의 화상신호로 복호하는 화상 복호 방법은 압축 화상 신호를 수신하는 수신 스텝과, 압축 화상 신호의 주목 화소의 화소치에 부가된 패턴 코드에 대응하는 패턴의 예측 화소를 형성하는 형성 스텝과, 형성 스텝에서 형성된 예측 화소와, 소정의 예측계수로부터 원화상 신호를 예측하여, 원화상 신호를 출력하는 예측 스텝을 갖는다.

본 발명에 따른 기록 매체에는 화상 복호 장치에 의해 복호 가능한 압축 화상 신호가 기록되어 있다. 상기 압축 화상 신호는 원화상 신호의 화소수보다 적은 화소수의 압축 화상 신호를 발생하는 압축 스텝과, 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 형성 스텝과, 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 예측 스텝과, 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 원화상 신호에 대한 예측 오차를 산출하는 산출 스텝과, 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응하는 패턴 코드를 주목 화소의 화소치에 부가하는 부가 스텝에 의해 형성되어 있다.

이하, 본 발명에 따른 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기록 매체의 실시예에 관해서, 도면을 참조하여 설명한다. 도 1은 본 발명을 적용한 화상 처리 장치의 일실시예의 구성을 도시하고 있다. 송신장치(1)에는 디지털화된 HD 화상의 화상 데이터가 공급되도록 이루어져 있다. 송신장치(1)는 입력된 화상 데이터를 추출함으로써(그 화소수를 적게 하는 것) 압축, 부호화하여, 그 결과 얻어지는 SD 화상의 화상 데이터를, HD 화상의 부호화 데이터로서, 예를 들면, 광디스크나, 광자기 디스크, 자기 테이프, 기타로 이루어진 기록 매체(2)에 기록하고, 또는 예를 들면, 지상파나, 위성회선, 전화회선, CATV망, 그 밖의 전송로(3)를 통해 전송한다.

수신장치(4)에서는 기록 매체(2)에 기록된 부호화 데이터가 재생되고, 또는 전송로(3)를 통해 전송되는 부호화 데이터가 수신되며, 그 부호화 데이터를 신장, 복호하여, 그 결과 얻어지는 HD 화상의 복호 화상을, 도시하지 않은 디스플레이에 공급하여 표시시킨다.

또, 이상과 같은 화상 처리 장치는 예를 들면, 광디스크 장치나, 광자기 디스크 장치, 자기 테이프 장치 그 밖의, 화상의 기록/재생을 하는 장치나, 혹은 예를 들면, 텔레비전 전화 장치나, 텔레비전 방송 시스템, CATV 시스템 그 밖의, 화상의 전송을 행하는 장치 등에 적용된다. 또한, 후술하는 바와 같이, 송신장치(1)가 출력하는 부호화 데이터의 데이터량이 적기 때문에, 도 1의 화상 처리 장치는 전송율이 낮은, 예를 들면, 휴대 전화기 그 밖의, 이동에 편리한 휴대 단말 등에도 적용가능하다.

도 2는 송신장치(1)의 구성예를 도시하고 있다.

I/F(Interface)(11)는 외부에서 공급되는 HD 화상의 화상 데이터의 수신 처리와, 송신기/기록장치(16)에 대해서 부호화 데이터의 송신 처리를 행하도록 이루어져 있다. ROM(Read On1y Memory)(12)는 IPL(Initial Program Loading)용 프로그램 등을 기억하고 있다. RAM(Random Access Memory)(13)는 외부 기억 장치(15)에 기록되어 있는 시스템 프로그램(OS(Operating System))이나 어플리케이션 프로그램을 기억하거나, 또한, CPU(Central Processing Unit)(14)의 동작상 필요한 데이터를 기억하도록 이루어져 있다. CPU(14)는 ROM(12)에 기억되어 있는 IPL 프로그램에 따라서, 외부 기억 장치(15)로부터 시스템 프로그램 및 어플리케이션 프로그램을 RAM(13)에 전개하고, 그 시스템 프로그램의 제어하에, 어플리케이션 프로그램을 실행함으로써, I/F(11)로부터 공급되는 화상 데이터에 관해서, 후술하는 바와 같은 부호화 처리를 행하도록 이루어져 있다. 외부 기억 장치(15)는 예를 들면, 자기 디스크 장치 등으로 이루어져, 상술된 바와 같이, CPU(14)이 실행하는 시스템 프로그램이나 어플리케이션 프로그램을 기억하고 있는 것 외, CPU(14)의 동작상 필요한 데이터도 기억하고 있다. 송신기/기록장치(16)는 I/F(11)로부터 공급되는 부호화 데이터를, 기록 매체(2)에 기록하고, 또는 전송로(3)를 통해 전송하도록 이루어져 있다.

또, I/F(11), ROM(12), RAM(13), CPU(14) 및 외부 기억 장치(15)는 서로 버스를 통해 접속되어 있다. 또한, 도 2에 있어서, 송신장치(1)는 CPU(14)를 이용한구성으로 되어 있지만, 포선 논리 회로로 구성하는 것도 가능하다.

이상과 같이 구성된 송신장치(1)에 있어서는 I/F(11)에 HD 화상의 화상 데이터가 공급되면, 그 화상 데이터는 CPU(14)에 공급된다. CPU(14)는 화상 데이터를 부호화하여, 그 결과 부호화 데이터로서의 SD 화상을, I/F(11)에 공급한다. I/F(11)는 부호화 데이터를 수신하면, 그것을, 송신기/기록장치(16)에 공급한다. 송신기/기록장치(16)에서는 I/F(11)로부터의 부호화 데이터가, 기록 매체(2)에 기록되고, 또는 전송로(3)를 통해 전송된다.

도 3은 도 2의 송신장치(1)의, 송신기/기록장치(16)를 제외한 부분의 기능적인 블록도이다.

부호화하기 위한 화상 데이터로서의 HD 화상은 전처리부(21), 최적화부(23),적응 처리부(24), 및 예측 탭 패턴 판정부(26)에 공급되도록 이루어져 있다.

전처리부(21)는 거기에 공급되는 HD 화상에 대하여, 후술하는 바와 같이 전처리를, 예를 들면, 1프레임(또는 1필드)단위로 실시하여, 그 결과 얻어지는 SD 화상 또는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를, 스위치(22 또는 25)의 단자(a)에 각각 공급되도록 되어 있다. 스위치(22)의 단자(a 또는 b)에는 전처리부(21) 또는 예측 탭 패턴 판정부(26)가 출력하는 SD 화상이, 공급되도록 이루어져 있다. 스위치(22)는 전처리부(22)에 있어서, 어떤 HD 화상에 전처리가 실시되고, 이것에 의해 SD 화상이 출력될 때에만, 단자(a)를 선택하고, 그 이외일 때는 단자(b)를 선택하여, 전처리부(21) 또는 예측 탭 패턴 판정부(26)가 출력하는 SD 화상을, 최적화부(23)에 공급하도록 이루어져 있다.

최적화부(23)는 스위치(22)로부터 공급되는 SD 화상에 대하여, 전술의 도 25에서 설명한 최적화 처리를 실시하여, 그 결과 얻어지는 최적 SD 화상을, 적응 처리부(25), 예측 탭 패턴 판정부(26) 및 다중화부(27)에 공급하도록 이루어져 있다. 적응 처리부(24)는 최적화부(23)로부터의 최적 SD 화상과, 원래의 HD 화상을 이용하여 적응 처리를 함으로써, 최적 SD 화상의 화상치와의 선형 결합에 의해 구해지는 HD 화상의 예측치의 예측 오차를 작게하는 클래스마다의 예측계수(w)의 세트를 복수 패턴의 예측 탭마다 산출하여, 스위치(25)의 단자(b)에 출력하도록 이루어져 있다.

스위치(25)는 전처리부(21)에 있어서, 어떤 HD 화상에 전처리가 실시되고, 이것에 의해 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 출력될 때에만, 단자(a)를 선택하고, 그 이외일 때는 단자(b)를 선택하여, 전처리부(21) 또는 적응 처리부(24)가 출력하는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를, 최적화부(23), 예측 탭 패턴 판정부(26) 및 다중화부(27)에 공급하도록 되어 있다.

예측 탭 패턴 판정부(26)는 최적화부(23)로부터 공급되는 최적 SD 화상으로부터, 복수 패턴의 예측 탭을 형성하여, 그 복수 패턴의 예측 탭의 각각을 이용하여 적응 처리를 함으로써, 복수의 HD 화상의 예측치를 구하도록 이루어져 있다. 또한, 예측 탭 패턴 판정부(26)는 복수 패턴의 예측 탭 중, 복수의 HD 화상의 예측치의 예측 오차를 최소로 하는 것을 판정하여, 그 판정 결과에 대응하여, 최적화부(23)로부터의 최적 SD 화상의 화소치에, 후술하는 패턴 코드를 부가하여, 스위치(22)의 단자(b)에 공급하도록 이루어져 있다.

다중화부(27)는 소정의 경우에, 최적화부(23)로부터 공급되는 최적 SD 화상과, 스위치(25)를 통해 공급되는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 다중화하여, 그 다중화 결과를, 부호화 데이터로서, 송신기/기록장치(16)(도 2)에 출력하도록 이루어져 있다.

다음에, 도 4의 플로우챠트를 참조하여, 그 동작에 관하여 설명한다.

부호화하기 위해 HD 화상이, 전처리부(21), 최적화부(23), 적응 처리부(24),및 예측 탭 패턴 판정부(26)에 공급되면, 전처리부(21)에서는 스텝 S1에서, HD 화상에 전처리가 실시된다.

즉, 전처리부(21)는 HD 화상의 화소수를 적게 하여 압축함으로써 SD 화상을 구성하여, 그 SD 화상을 구성하는 SD 화소 각각을 순차 주목 화소로서, 각 주목 화소에 대하여, 복수 패턴의 예측 탭을 형성한다. 또한, 전처리부(21)는 그 복수 패턴의 예측 탭의 각각에 관해서, 수학식 13에 나타낸 정규 방정식을 계산함으로서 클래스마다의 예측계수(w)의 세트를 구한다. 그리고, 전처리부(21)는 복수 패턴의 예측 탭과, 각각에 관해서 구한 클래스마다의 예측계수(w)의 셋트의 소정의 클래스의 예측계수의 세트를 이용하여, 수학식 1에 나타낸 선형 1차식을 계산함으로써, 복수 패턴의 예측 탭의 각각으로부터 얻어지는 복수의 HD 화상의 예측치를 구한다. 또한, 전처리부(21)는 복수 패턴의 예측 탭 중, 복수의 HD 화상의 예측치의 예측 오차를 가장 작게 하는 것을 검출하여, 그 예측 탭의 패턴에 미리 대응 부가되어 있는, 예를 들면, 2비트의 코드인 탭 패턴 코드를, 주목 화소로 되어 있는 SD 화소에 부가하여 출력한다.

이상과 같이 하여, 탭 패턴 코드가 부가된 SD 화상은 스위치(22)의 단자(a)에, 또한, 정규 방정식을 푸는 것에 의해 얻어진 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트는 스위치(25)의 단자(a)에, 각각 출력된다.

스위치(22 및 25)는 상술된 바와 같이, 전처리부(21)로부터 SD 화상 및 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 출력되는 타이밍에서는 어느 것이나 단자(a)를 선택하고 있고, 따라서, 전처리부(21)가 출력하는 SD 화상은 스위치(22)를 통해 최적화부(23)에 공급되며, 또한, 전처리부(21)가 출력하는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트는 스위치(25)를 통해 최적화부(23) 및 예측 탭 패턴 판정부(26)에 출력된다. 최적화부(23)는 SD 화상 및 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 수신하면, 스텝 S2에 있어서, 그들을 이용하여, 최적화 처리를 행한다. 즉, 최적화부(23)는 SD 화상 및 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 이용하여 적응 처리를 하고, 그 결과 얻어지는 HD 화상의 예측치의 예측 오차가 작게 되도록, SD 화상의 화소치를 보정한다. 그리고, 그 결과 얻어지는 최적 SD 화상을, 적응 처리부(24) 및 예측 탭 패턴 판정부(26)에 공급한다.

적응 처리부(24)는 최적화부(23)로부터 최적 SD 화상을 수신하면, 스텝 S3에 있어서, 적응 처리를 행함으로써, 최적 SD 화상을 이용하여, 얻어지는 HD 화상의 예측치의 예측 오차를 작게 하는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 산출한다. 즉, 적응 처리부(24)는 최적 SD 화상을 구성하는 SD 화소 각각을 순차 주목 화소로서, 각 주목 화소에 대하여 예측 탭을 형성한다. 또, 이 때, 예측 탭은 주목 화소에 부가되어 있는 탭 패턴 코드에 대응하는 패턴인 것이 형성된다. 그리고, 적응 처리부(24)는 복수 패턴의 예측 탭마다, 예측 탭으로부터 정규 방정식을 세워, 그것을 푸는 것에 의해, 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 구한다. 이들의 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트는 스위치(25)의 단자(b)에 공급된다.

이상의 처리 후, 스텝 S4로 진행하여, 스위치(22 및 25)가 모두, 단자 a에서 b로 바뀌어지고, 이것에 의해, 적응 처리부(24)에 있어서 구해진 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가, 스위치(25)를 통해, 최적화부(23) 및 예측 탭 패턴 판정부(26)에 공급되도록 된다.

그리고, 예측 탭 패턴 판정부(26)는 최적화부(23)로부터 최적 SD 화상을 수신하며, 또한, 적응 처리부(24)로부터 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 수신하면, 스텝 S5에 있어서, 그 최적 SD 화상을 구성하는 각 SD 화소를 주목 화소로서 형성되는 예측 탭의 최적의 패턴이 결정된다.

즉, 예측 탭 패턴 판정부(26)는 최적 SD 화상을 구성하는 SD 화소 각각을 순차 주목 화소로서, 각 주목 화소에 대하여, 복수 패턴의 예측 탭을 형성한다. 또한, 예측 탭 패턴 판정부(26)는 그 복수 패턴의 예측 탭의 각각에 관해서, 적응 처리부(24)로부터의 그 예측 탭에 대응하는 클래스마다의 예측계수(w)의 세트 중, 소정의 클래스의 예측계수(w)의 세트를 이용하여, 수학식 1에 나타낸 선형 1차식을 계산함으로써, 복수 패턴의 예측 탭의 각각으로부터 얻어지는 복수의 HD 화상의 예측치를 구한다. 그리고, 예측 탭 패턴 판정부(26)는 복수 패턴의 예측 패턴 중, 복수의 HD 화상의 예측치의 예측 오차를 가장 작게 하는 것을 검출하여, 그 예측 탭에 대응하는 탭 패턴 코드에, 주목 화소로 되어 있는 SD 화소에는 이미 탭 패턴 코드가 부가되어 있기 때문에, 그것을 대신하여, 예측 오차를 가장 작게하는 예측 탭의 탭 패턴 코드가 부가된다.

이상과 같이 하여, 탭 패턴 코드가 변경된 SD 화상은 스위치(22)의 단자(b)에 출력된다.

스위치(22)는 스텝 S4에서 전환되어, 단자(b)를 선택하고 있기 때문에, 예측 탭 패턴 판정부(26)가 출력하는 SD 화상은 스위치(22)를 통해, 최적화부(23)에 공급된다. 최적화부(23)에서는 스텝 S6에 있어서, 스텝 S2에서의 경우와 마찬가지로, 최적화처리가 행하여지고, 이것에 의해, 최적 SD 화상이 출력된다. 또, 이 경우, 최적화부(23)에서는 스텝 S2에서 설명된 바와 같이 적응 처리가 행하여지지만, 상기의 적응 처리는 스위치(25)를 통해, 적응 처리부(24)로부터 공급되는 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 이용하여 행하여진다.

최적화부(23)로부터 출력되는 최적 SD 화상은 적응 처리부(24) 및 예측 탭 패턴 판정부(26)에 공급되며, 적응 처리부(24)에서는 스텝 S7에 있어서, 스텝 S3에 서의 경우와 마찬가지로, 최적화부(23)가 출력하는 최적 SD 화상을 이용하여, 적응 처리가 행하여짐으로써, 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 구해지고, 스위치(25)를 통해, 최적화부(23) 및 예측 탭 패턴 판정부(26)에 출력된다.

그 후, 스텝 S8로 진행하여, 스텝 S5 내지 S8의 처리를 소정의 규정 회수만큼 행하였는지의 여부가 판정된다. 스텝 S8에 있어서, 스텝 S5 내지 S8의 처리를, 소정의 규정 회수만큼, 아직 행하지 않았다고 판정된 경우, 스텝 S5로 되돌아가고, 상술의 처리를 반복한다. 또한, 스텝 S8에 있어서, 스텝 S5 내지 S8의 처리를, 소정의 규정 회수만큼 행하였다고 판정된 경우, 스텝 S9로 진행하여, 다중화부(27)는 전회의 스텝 S6의 처리에 있어서, 최적화부(23)가 출력한 최적 SD 화상과, 그 때 이용된 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 다중화하여, 부호화 데이터로서 출력하여, 처리를 종료한다.

이상의 처리가, 예를 들면, 1프레임 단위 등으로 반복된다.

또, 상술의 경우, 스텝 S8에 있어서, 스텝 S5 내지 S8의 처리를 소정의 규정 회수만큼 행했는지의 여부를 판정하도록 하였지만, 기타, 스텝 S8에서는 예를 들면, 그 시점에서 최적화부(23)로부터 출력된 최적 SD 화상을 이용하여, 적응 처리를 행함으로써 얻어지는 HD 화상의 예측치의 예측 오차의, 1프레임분의 절대치 합 등이, 소정의 임계치 이하인지의 여부를 판정하여, 임계치 이하인 경우에는 스텝 S9로 진행하고, 임계치 이하가 아닌 경우에는, 스텝 S5로 복귀되도록 하는 것도 가능하다. 즉, 스텝 S5 내지 S8의 처리는 최적 SD 화상을 이용하여, 적응 처리를 행함으로써 얻어지는 HD 화상의 예측치의 예측치 오차의, 1프레임분의 절대치 합이 소정의 임계치 이하로 될 때까지 반복하도록 하는 것이 가능하다.

다음에, 도 5는 도 3의 전처리부(21)의 구성예를 도시하고 있다.

부호화 해야 할 HD 화상은 선별 추출 회로(31), 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33) 및 예측 오차 산출 회로(34)에 공급되도록 이루어져 있다.

선별 추출 회로(31)는 HD 화상의 화소수를, 예를 들면, 추출함으로써 적게 하고, SD 화상을 구성하여, 예측 탭 생성회로(32) 및 탭 패턴 코드 부가 회로(36)에 공급하도록 이루어져 있다. 즉, 선별 추출 회로(31)는 예를 들면, HD 화상을, 가로×세로가 3×3 화소인 9화소로 이루어진 정방형의 블록으로 분할하여, 각 블록의 9화소의 평균치를, 그 중심의 화소의 화소치로서, SD 화상을 구성하도록 이루어져 있다. 이것에 의해, 선별 추출 회로(31)에서는 예를 들면, 도 6에 ·표시로 나타낸 HD 화소로 이루어진 HD 화상으로부터, 동도면에 ○표시로 나타내는 SD 화소로 된 SD 화상이 구성된다.

또, 선별 추출 회로(31)에는 기타, 예를 들면, 상술의 블록의 중심의 화소만을 추출시켜, SD 화상을 구성시키도록 하는 것 등도 가능하다.

예측 탭 생성회로(32)는 선별 추출 회로(31)로부터의 SD 화상을 구성하는 각 SD 화소(도 6에 있어서, ○표시로 나타낸 부분)를, 순차 주목 화소로서, 각 주목 화소에 관해서, 복수 패턴의 예측 탭을 구성하도록 되어 있다. 즉, 본 실시예에서는 예를 들면, 도 7 내지 도 10에 각각 도시된 바와 같이, 주목 화소를 중심으로 하는 3×3화소, 5×3화소, 3×5화소, 또는 7×5화소의 4패턴의 예측 탭이 형성되도록 되어 있다. 이들의 4 패턴의 예측 탭은 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)에 공급되도록 되어 있다.

클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)는 예측 탭 생성회로(32)로부터 공급되는 4 패턴의 예측 탭의 각각에 관해서, 클래스 분류를 하고, 또한, 각 클래스에 관해서, HD 화상을 이용하여, 수학식 13에 나타낸 정규 방정식을 세워 푸는 것에 의해, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 구하도록 되어 있다. 또한, 클래스 분류적응 처리(예측계수, 예측치 산출)회로(33)는 구한 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트 중, 소정의 클래스의 예측계수(w)의 각각과, 4 패턴의 예측 탭의 각각으로부터, 수학식 1에 나타낸 선형 1차식을 연산함으로써, 4 패턴의 예측 탭의 각각으로부터 얻어지는 복수의 HD 화상의 예측치를 구하여, 예측 오차 산출 회로(34)에 출력하도록 되어 있다.

또, 클래스 분류적응 처리(예측계수, 예측치 산출)회로(33)에 있어서, 4 패턴의 예측 탭의 각각에 관해서 구해진 클래스마다의 예측계수(w)의 세트는 메모리(35)에 공급되도록 되어 있다.

또한, 본 실시예에서는 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)에 있어서, 4 패턴의 예측 탭의 각각에 관해서, 정규 방정식은 예측 탭의 패턴과는 무관하게, 예를 들면, 도 6에 점선으로 도시된 바와 같이, 주목 화소로 되어 있는 SD 화소를 중심으로 하는 3×3의 HD 화소의 예측치를 구하도록 세워져 있다. 따라서, 3×3의 HD 화소의 예측치를 생성하기 위한 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 구해진다. 상기 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)의 상세한 설명에 관해서는 후술한다.

예측 오차 산출회로(34)는 각 주목 화소에 관해서, 4 패턴의 예측 탭의 각각으로부터 얻어진 HD 화상의 예측치의, 원래의 HD 화상의 예측치에 대한 예측 오차를 구하도록 되어 있다. 요컨대, 4 패턴의 예측 탭의 각각에 관해서, HD 화상의 9화소의 예측치와, 원래의 HD 화상의 9화소의 화소치의 차분의 제곱 합을 예를 들면 연산한다. 그리고, 예측 오차 산출 회로(34)는 4 패턴의 예측 탭 중, 예측 오차(차분의 제곱합)가 가장 작은 것을 검출한다. 그리고, 예측 오차가 가장 작은 예측 탭의 패턴에 대응하는 2비트의 탭 패턴 코드를, 메모리(35) 및 탭 패턴 코드부가 회로(36)에 출력하도록 되어 있다.

메모리(35)는 클래스 분류 적응 처리(예측계수, 예측치 산출)회로로부터 공급되는 4패턴의 예측 패턴의 각각에 관해서 구해진 클래스마다의 예측계수(w)의 세트를 일시 기억하도록 되어 있다. 그리고, 메모리(35)는 예를 들면, 1 프레임(또는 1필드)의 HD 화상의 처리가 종료하면(요컨대, 모든 SD 화소에 탭 패턴 코드가 부가됨), 4 패턴의 예측 탭의 각각에 관해서 구해진 클래스마다의 예측계수(w)의 세트를 판독 출력하고, 스위치(25)의 단자(a)에 출력하도록 되어 있다.

탭 패턴 코드 부가회로(36)는 거기에 공급되는 SD 화상에 대하여, 예측오차산출회로(34)로부터 공급되는 탭 패턴 코드를 부가하도록 이루어져 있다. 즉, 탭 패턴 코드 부가 회로(36)는 주목 화소로 되어 있는 SD 화소의 화소치(예를 들면, 8 비트 등으로 구성된다)의 LSB(Least Significant Bit)측의 2 비트를 삭제하고, 거기에, 2 비트의 탭 패턴 코드를 배치하도록 되어 있다. 탭 패턴 코드 부가 회로(36)에 있어서 탭 패턴 코드의 부가된 SD 화상은 스위치(22)의 단자(a)에 출력되도록 되어 있다.

여기서, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)의 구성을 설명한다. 또, 상기 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)는 4 패턴의 예측 탭의 각각에 대하여, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로를 갖고 있다. 즉, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)는 4 패턴의 예측 탭을 위한 독립된 4개의 클래스 분류 적응 처리 회로를 갖고 있다. 도 26 및 도 27은 상기 1개의 클래스 분류 적응 처리 회로를 도시하고 있다. 또, 4개의 클래스 분류 적응·처리회로는 다른 4개의 예측 탭이 공급되는 것 외에는 동일한 구성이기 때문에, 1개의 클래스 분류 적응 처리 회로를 설명하고, 기타는 생략한다.

도 26에 도시된 클래스 분류 적응 처리 회로는 클래스 분류회로(112)와, 지연회로(114)와, 예측 탭 메모리(115)와, 교사 데이터 메모리(116)와, 연산회로(117)와, 지연회로(118)(도 25)를 구비하고, 도 27에 도시된 클래스 분류 적응 처리 회로는 클래스 분류회로(201)와, 계수 RAM(204)과, 예측 연산 회로(205)를 구비한다.

도 26에 도시된 클래스 분류 적응 처리 회로의 일부를 구성하는 각 회로는 지연회로(118)을 제외하고, 도 24에 도시된 학습 장치의 클래스 분류회로(112), 지연 회로(114), 예측 탭 메모리(115), 교사 데이터 메모리(116), 연산 회로(117) 및 지연 회로(118)와, 도 22에 도시된 화상 변환 장치의 각각과 마찬가지로 구성되어 있다. 단지, 예측 탭이 예측 탭 생성 회로(32)로부터 공급되기 때문에, 도 24에 도시된 예측 탭 생성 회로(113) 대신에, 예측 탭이 지연 회로(118)에 공급된다. 그리고, 지연 회로(118)에서는 지연 회로(114)와 같이, 주목 화소에 대한 클래스이지만, 클래스 분류회로(112)로부터 예측 탭 메모리에 공급되는 시간만큼, 예측 탭이 지연되어, 예측 탭 메모리(115)에 기억된다.

1프레임의 HD 화소에 대한 데이터가 예측 탭 메모리(115) 및 교사 데이터 메모리(116)에 기억된 후, 도 24의 학습 장치의 동작과 같은 조작에 의해, 클래스마다의 예측계수의 세트를 생성한다. 상기 생성된 클래스마다의 예측계수의 세트가 도 27의 계수 RAM(204)에 기억됨과 동시에, 도 5의 전처리부(21)의 메모리(35)에 공급되어 기억된다. 또, 상술된 바와 같이, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수의 세트가 독립된 회로로 생성되기 때문에, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수의 세트가 도 27의 계수 RAM(204)에 기억됨과 동시에, 도 5의 전처리부(21)의 메모리(35)에 공급되어 기억된다.

4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수의 세트가 도 27의 계수 RAM(204)에 기억된 후, 클래스 분류회로(201)에 있어서, 클래스 분류가 행하여지고, 클래스 정보가 계수 RAM(204)에 공급된다. 계수 RAM(204)은 공급된 클래스 정보에 대응하는 예측계수의 세트를 출력하여, 예측 연산 회로(205)에 공급한다. 예측 연산 회로(205)는 공급된 예측 탭과 예측계수의 세트로부터 수학식 1에 나타낸 선형 1차식을 연산함으로써, 복수의 HD 화상의 예측치를 구한다. 또, 도 27에 도시된 클래스 분류 적응 처리 회로의 일부를 구성하는 각 회로는 계수 RAM(204)에 클래스마다의 예측계수의 세트가 기억된 후의 조작은 도 22의 화상 변환 장치의 클래스 분류회로(101), 계수 ROM(104) 및 예측 연산 회로(105)와 동일의 동작을 실행한다.

또, 클래스 분류회로(112)와 클래스 분류회로(201)는 동일의 구성이기 때문에, 1개의 구성으로서도 무방하다.

다음에 도 11의 플로우챠트를 참조하여, 전처리부(21)의 처리에 관해서 설명한다.

전처리부(21)에, 부호화해야 할 HD 화상이 입력되면, 그 HD 화상은 선별 추출 회로(31), 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33) 및 예측치 오차 산출회로(34)에 공급된다. 선별 추출 회로(31)는 HD 화상을 수신하면, 스텝 S11에서, 그 화소수를 추출하여, SD 화상을 구성한다.

즉, 스텝 S11에서는 도 12의 플로우챠트에 도시된 바와 같이, 우선 최초에, 스텝 S21에 있어서, HD 화상이, 예를 들면, 3×3화소의 HD 화상의 블록으로 분할되어, 스텝 S22로 진행한다.

또, 본 실시예에 있어서, HD 화상은 예를 들면, 휘도 신호(Y)와, 색차 신호(U, Y)로 구성되며, 스텝 S21에서는 휘도 신호의 블록과 색차 신호의 블록이 구성되도록 되어 있다.

스텝 S22에서는 어느 하나의 블록이 주목 블록으로 되며, 그 주목 블록을 구성하는 3×3의 HD 화소의 화소치의 평균치가 계산된다. 또한, 스텝 S22에서는 그 평균치가, 주목 블록의 중심의 화소(SD 화소)의 화소치로 되어, 스텝 S23으로 진행한다.

스텝 S23에서는 주목 블록이 휘도 신호의 블록인지의 여부가 평가된다. 스텝 S23에 있어서, 주목 블록이 휘도 신호의 블록이라고 판정된 경우, 스텝 S24로 진행하고, SD 화소로서의 주목 블록의 중심의 화소의 화소치(여기서는 휘도신호)의 LSB 측의 2 비트가, 탭 패턴 코드를 부가하기 위해서, 예를 들면 0으로 클리어되고, 스텝 S25로 진행한다. 또한, 스텝 S23에 있어서, 주목 블록이 휘도 신호의 블록이 아니라고 판정된 경우, 즉, 주목 블록이 색차 신호의 블록인 경우, 스텝 S24를 스킵하여, 스텝 S25로 진행한다.

여기서, 본 실시예에서는 휘도 신호에 관해서만, 복수 패턴의 예측 탭이 준비되어 있고, 색차 신호에 관해서는 고정 패턴의 예측 탭이 사용되도록 이루어져 있다. 따라서, 탭 패턴 코드가 부가되는 것은 휘도 신호에 관해서만이고, 색차 신호에 관해서는 탭 패턴 코드는 부가되지 않기 때문에, 그 LSB 측의 2 비트를 클리어하는 것은 행하여지지 않게 되어 있다.

스텝 S25에서는 스텝 S21로 구성된 블록 모두를, 주목 블록으로서 처리되었는지의 여부가 판정되며, 아직, 모든 블록을, 주목 블록으로서 처리하는 않은 것으로 판정된 경우, 스텝 S22로 되돌아가고, 아직 주목 블록으로 하지 않은 블록을, 새롭게 주목 블록으로서, 같은 처리를 반복한다. 또, 스텝 S25에 있어서, 모든 블록을, 주목 블록으로서 처리하였다고 판정된 경우, 즉, SD 화상이 구성된 경우, 리턴한다.

도 11에 되돌아가서, 스텝 S11에 있어서, 이상과 같이 구성된 SD 화상은 선별 추출 회로(31)로부터 예측 탭 생성 회로(32) 및 탭 패턴 코드 부가 회로(36)에 공급된다. 예측 탭 생성 회로(32)는 선별 추출 회로(31)로부터 SD 화상을 수신하면, 스텝 S12에 있어서, 그것을 구성하는 SD 화소 중의 두개를 주목 화소로서, 그 주목 화소에 관해서, 도 7 내지 도 10에 도시된 4 패턴의 예측 탭을 형성(생성)하고, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)에 공급한다.

또, 상술된 바와 같이, 4 패턴의 예측 탭이 형성되는 것은 휘도 신호에 관해서만이고, 색차 신호에 관해서는 예를 들면, 도 10에 도시된 바와 같은, 7×5화소의 예측 탭만이, 항시 형성된다.

클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)는 스텝 S13에 있어서, 우선, 예측 탭 생성회로(32)로부터 공급되는 4 패턴의 예측 탭(휘도신호의 경우)의 각각에 관해서, 각각의 클래스 분류 적응 처리 회로에서 클래스 분류를 한다. 여기서, 본 실시예에서는 4 패턴의 예측 탭의 각각에 관해서, 예를 들면, 다음과 같은 클래스 분류용 탭(이하, 클래스 탭이라 함)이 구성되어, 클래스 분류가 행하여지도록 되어 있다.

즉, 휘도 신호에 관해서는 4 패턴의 예측 탭 중의 어느 하나에 관해서도, 예를 들면, 도 13A에 점선으로 도시된 바와 같이, 주목 화소를 중심으로 하는, 마름모꼴 범위의 5의 SD 화소에 의해서, 클래스 탭이 구성된다. 그리고, 상기 5화소의 화소치 중의 최대치와 최소치와의 차를 다이내믹 레인지(DR)로 하고, 상기 다이내믹 레인지(DR)를 이용하여, 클래스 탭 중의, 세로로 나열한 3화소(도 13a에서 실선으로 도시된 3화소)가 1 비트 ADRC 처리된다. 그리고, 그 3화소의 화소치의 패턴에, 예측 탭에 대응하는 탭 코드를 부가한 것이, 주목 화소의 클래스로 된다. 따라서, 이 경우, 클래스 탭 중의, 세로로 나열한 3화소를 1비트 ADRC 처리하여 얻어진 화소치의 패턴은 3비트로 표현되며, 또한, 탭 코드는 2 비트이기 때문에, 휘도 신호는 3²(=2⁵) 클래스 중의 어느 하나로 클래스 분류된다.

한편, 색차 신호에 관해서는 예를 들면, 도 13b에 점선으로 나타낸 바와 같이, 주목 화소를 중심으로 하는 정사각형의 범위의 9의 SD 화소에 의해서, 클래스 탭이 구성된다. 그리고, 상기 9화소의 화소치 중의 최대치와 최소치의 차를 다이내믹 레인지(DR)로 하고, 상기 다이내믹 레인지(DR)를 이용하여, 클래스 탭 중의, 주목 화소를 중심으로 하는 마름모꼴 범위의 5의 SD 화소(도 13b에서 실선으로 둘러싸인 5화소)가 1 비트 ADRC 처리된다. 그리고, 그 5화소의 화소치의 패턴이, 주목 화소의 클래스로 된다. 따라서, 이 경우, 클래스 탭 중의, 주목 화소를 중심으로 하는 5화소를 1 비트 ADRC 처리하여 얻어지는 화소치의 패턴은 5 비트로 표현되기 때문에, 색차 신호도, 휘도 신호와 같이, 32(=2⁵) 클래스 중의 어느 하나로 클래스 분류된다.

클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)에서는 이상과 같이 하여, 주목 화소의 클래스가 결정된 후, 4 패턴의 예측 탭의 각각에 관해서, 각 클래스마다, 예측 탭과 HD 화상을 이용하여, 수학식 13의 정규 방정식이 세워지고, 그것을 푸는 것에 의해, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 구해진다. 4 패턴의 예측 탭의 각각을 이용하여 얻어진 4 패턴의 예측 탭의 각각에 관해서 각 클래스마다의 예측계수(w)의 세트는 어느 것이나 메모리(35)에 공급되어 기억된다.

또한, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)는 4 패턴의 예측 탭을 이용하여, 얻어진 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트의 각각과, 4 패턴의 예측 탭의 각각으로부터, 수학식 1에 나타낸 선형 1차식을 연산함으로써, 4 패턴의 예측탭의 각각으로부터 얻어지는 HD 화상의 예측치를 구하여, 예측 오차 산출 회로(34)에 출력한다.

예측 오차 산출 회로(34)는 스텝 S14에 있어서, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)로부터 공급된, 4 패턴의 예측 탭의 각각에 관해서 HD 화상의 예측치의, 원래의 HD 화상의 화소치에 대한 예측 오차를 구한다. 즉, 4 패턴의 예측 탭의 각각에 관해서, HD 화상의 9화소의 예측치와 원래의 HD 화상의 화소의 화소치의 차분의 제곱 합을 예를 들면, 예측 오차로서 구한다. 그리고, 스텝 S15로 진행하여, 주목 화소에 관해서, 예측 오차가 최소의 예측 탭을 검출한다. 그리고, 그 예측 탭에 대응하는 탭 패턴 코드를, 탭 패턴 코드 부가 회로(36)에 출력한다.

스텝 S16에서는 탭 패턴 코드 부가 회로(36)에 있어서, 선별 추출 회로(31)에서의 SD 화상을 구성하는 SD 화소 중의 주목 화소의 화소치(단지, 본 실시예에서는 휘도 신호에 관해서만)의 LSB 측의 2 비트가, 탭 패턴 코드로 되어 출력된다.

그 후, 스텝 S17로 진행하여, 모든 SD 화소에 탭 패턴 코드가 부가되었는지의 여부가 판정되며, 아직, 모든 SD 화소에 탭 패턴 코드가 부가되지 않았다고 판정된 경우, 스텝 S12로 되돌아가고, 탭 패턴 코드가 부가되어 있지 않은 SD 화소 중의 어느 하나를, 새롭게 주목 화소로서, 같은 처리를 반복한다. 한편, 스텝 S17에 있어서, 모든 SD 화소에 탭 패턴 코드가 부가되었다고 판정된 경우, 메모리(35)는 스텝 S18에 있어서, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트를 출력하여, 처리를 종료한다.

전처리부(21)에서는 이상과 같이 하여, 선별 추출 회로(31)가 출력하는 SD 화상을 구성하는 SD 화소(여기서는 상술된 바와 같이, 3×3의 HD 화소의 평균치를 화소치로서 갖는 화소)각각에 관해서, 예측 오차가 최소로 되는 예측 탭의 탭 패턴 코드가, 말하자면 임시로 부가된다.

다음에, 도 14는 도 3의 최적화부(23)의 구성예를 도시하고 있다. 또, 도면 중, 도 25에 있어서의 경우와 기본적으로 같게 구성된 부분에 관해서는 동일의 부호를 부가하고 있다. 즉, 최적화부(23)는 선별 추출부(121)가 아니고, 로컬 디코드부(122)를 대신하여 로컬 디코드부(42)가 설치되어 있는 외에는 도 25의 화상 부호화 장치와 기본적으로 동동하게 구성되어 있다.

로컬 디코드부(42)는 예측 탭 생성 회로(42A) 및 클래스 분류 적응 처리 회로(42B)로 구성되며, 거기에는 보정부(41)로부터 SD 화상이 공급되도록 되어 있다. 예측 탭 생성 회로(42A)는 보정부(41)로부터 공급되는 SD 화상의 SD 화소의 LSB 측에 배치되어 있는 탭 패턴 코드에 대응하여 예측 탭을 형성(생성)하여, 클래스 분류 적응 처리 회로(42B)에 공급하도록 되어 있다. 클래스 분류 적응 처리 회로(42B)에는 예측 탭인 것 외에, 클래스 분류용 SD 화소, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 공급되도록 되어 있다. 클래스 분류 적응 처리 회로(42B)는 예측 탭을 구성하는 주목 화소를, 도 13에서 설명한 바와 같이 클래스 분류용 SD 화소를 이용하여 클래스 분류하고, 그 클래스에 대응한 예측계수(w)의 세트와, 예측 탭으로부터, 수학식 1에 나타낸 선형 1차식을 연산함으로써, 도 6에 점선으로 나타낸, 주목 화소로 되어 있는 SD 화소를 중심으로 하는 3×3의 HD 화소의 화소치의 예측치를 구하도록 되어 있다. 상기 예측치는 오차 산출부(43)에 공급되도록 되어 있다.

여기서, 도 28에 도시된 클래스 분류 적응 처리 회로(42B)의 구성을 설명한다. 도 28에 도시된 클래스 분류 적응 처리 회로(42B)는 클래스 분류회로(201), 계수 RAM(204) 및 예측 연산 회로(205)로 구성되어 있다. 상기 클래스 분류 적응 처리 회로(42B)는 도 26으로 도시된, 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33) 중의 1개의 클래스 분류 적응 처리 회로의 일부와 동일의 구성이고, 동일 부분에는 동일 부호를 부가하고, 그 구성에 관해서는 그 설명을 생략한다.

다음에, 도 15의 플로우챠트를 참조하여, 그 동작에 관해 설명한다.

최적화부(23)는 SD 화상을 수신하면, 그 SD 화상을 구성하는 SD 화소 중의 1개를 주목 화소로 하고, 스텝 S31에 있어서, 주목 화소의 화소치를 보정하는 보정치를 나타내는 변수(△)를, 예를 들면 0에 초기화한다. 또한, 스텝 S31에서는 보정량을 변화시키는 변화량(이하, 옵셋량이라 함)을 나타내는 변수 S에, 초기치로서, 예를 들면 4 또는 1이 세트된다.

즉, 휘도 신호에 관해서는 상술된 바와 같이, 그 LSB측의 2비트가 탭 패턴 코드이고, 화소치를 구성하는 것이 아니기 때문에, 옵셋량(S)에는 4(=2²)개가 세트된다. 또, 색차 신호에 관해서는 그와 같은 것은 없고, 모든 비트가 화소치를 구성하기 때문에, 옵셋량(S)에는 1(=2⁰)이 세트된다.

또한, 스텝 S31에서는 주목 화소의 보정의 회수를 카운트하는 변수(i)에, 초기치로서의 -1이 세트되며, 스텝 S32로 진행한다. 스텝 S32에서는 회수(i)가 1만큼 증가되며, 스텝 S33으로 진행하여, 주목 화소의 화소치를 보정량(△) 만큼 보정한 보정치를 이용하여, 적응 처리를 한 경우에, 그 보정에 의해 영향을 받는 HD 화소의 예측치의 예측 오차(E)가 산출된다.

즉, 이 경우, 보정부(41)는 주목 화소의 화소치에, 예를 들면, 보정량(△)을 가산하여, 그 가산치를, 주목 화소의 화소치로서, 로컬 디코드부(42)에 출력한다. 여기서, 주목 화소에 관해서, 최초에 스텝 S33의 처리가 실시되는 경우, 즉, 회수(i=0)인 경우, 보정량(△)은 스텝 S31에서 세트된 초기치인 0이기 때문에, 보정부(41)에서는 주목 화소의 화소치가 그대로 출력된다.

로컬 디코드부(42)에서는 예측 탭 생성 회로(42A)에 있어서, 주목 화소의 화소치의 LSB 측의 2 비트에 배치되어 있는 탭 패턴 코드에 대응하여, 예측 탭이 형성되며, 클래스 분류 적응 처리 회로(42B)에 출력된다. 클래스 분류 적응 처리 회로(42B)에서는 우선, 주목 화소가, 도 5의 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33)에 있어서의 경우와 마찬가지로 클래스 분류된다. 또한, 클래스 분류 적응 처리 회로(42B)에서는 그 클래스에 대응하는 예측계수와, 예측 탭 생성 회로(42A)에서의 예측 탭으로부터, 수학식 1에 나타낸 선형 1차식을 연산함으로써, HD 화소의 화소치의 예측치가 구해진다.

또한, 클래스 분류 적응 처리 회로(42B)에서는 주목 화소의 화소치를 보정량(△)만큼 보정한 경우에, 그 보정에 의해 영향을 받는 HD 화소에 관해서도, 마찬가지로, 예측치가 구해진다.

즉, 예를 들면, 현재, 도 16에 도시된 바와 같이, SD 화소(A)를 주목 화소로서 보정한 것으로 한다. 본 실시예에서는 예측 탭의 범위가 가장 넓은 것은 도 10에 도시된 바와 같이, 7×5의 SD 화소로 예측 탭이 구성되는 경우이고, 이와 같이, 7×5의 SD 화소로 예측 탭이 구성되는 경우에, 그 예측 탭에 SD 화소(A)가 포함되는 케이스로서, SD 화소(A)에서 가장 떨어진 SD 화소가 주목 화소로 되는 것은 SD 화소(B, C, D, E)가 주목 화소로 되며, 7×5 화소의 예측 탭이 구성되는 케이스이다. 그리고, SD 화소(B, C, D, E)가 주목 화소로 되며, 7×5화소의 예측 탭이 구성된 경우, 본 실시예에서는 동도면에 실선으로 나타낸 범위(b, c, d, e) 중의 3×3의 HD 화소의 예측치가 각각 구해진다. 따라서, SD 화소(A)를 주목 화소로서, 그 화소치를 보정한 경우에, 그 보정에 의해 영향을 받는 것은 최악의 경우이고, 범위(b, c, d, e)를 포함하는 최소 장방형인, 도 16에 있어서, 점선으로 나타낸 범위내의 21×15의 HD 화소의 예측치로 된다.

따라서, 본 실시예에서는 클래스 분류 적응 처리 회로(42B)에서, 이러한 21×15의 HD 화소의 예측치가 구해진다.

클래스 분류 적응 처리 회로(42B)에서 구해진 HD 화소의 예측치는 오차 산출부(43)에 공급된다. 오차 산출부(43)에서는 클래스 분류 적응 처리 회로(42B)에서의 HD 화소의 예측치로부터, 대응하는 HD 화소의 참된 화소치가 감산되며, 그 감산치인 예측 오차의, 예를 들면 제곱 합이 구해진다. 그리고, 이 제곱 합이 오차정보(E)로서, 제어부(44)에 공급된다.

제어부(44)는 오차 산출부(43)로부터 오차 정보를 수신하면, 스텝 S34에 있어서, 회수(i)가 0인지의 여부를 판정한다. 스텝 S34에 있어서, 회수(i)가 0이라고 판정된 경우, 즉, 제어부(44)가 수신한 오차 정보(E)가 주목 화소의 보정을 행하지 않고 얻어진 경우, 스텝 S35로 진행하고, 주목 화소의 보정을 하지 않고서 얻어진 오차 정보(미보정시의 오차 정보)를 기억하는 변수(E₀)에, 오차 정보(E)가 세트되며 또한, 전회 얻어진 오차 정보를 기억하는 변수(E')에도, 오차 정보(E)가 세트된다. 또한, 스텝 S35에서는 보정량(△)이, 옵셋량(S)만큼 증가되고, 제어부(44)는 그것에 의하여 얻어진 보정량(△) 만큼, 주목 화소의 화소치를 보정하도록, 보정부(41)를 제어한다. 그 후는 스텝 S32로 되돌아가서, 이하와 같은 처리를 반복한다.

이 경우, 스텝 S32에 있어서, 회수(i)는 1만 증가되어 1로 되기 때문에, 스텝 S34에서는 회수(i)가 0이 아니라고 판정되고, 스텝 S36으로 진행한다. 스텝 S36에서는 회수(i)가 1인지의 여부가 판정된다. 이 경우, 회수(i)는 1로 되어 있기 때문에, 스텝 S36에서는 회수(i)는 1이라고 판정되어, 스텝 S37로 진행하며, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상인지의 여부가 판정된다. 스텝 S37에 있어서, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상이 아니라고 판정된 경우, 즉, 보정량(△) 만큼 주목 화소의 화소치를 보정함으로써, 이번의 오차 정보(E) 쪽이, 전회의 오차 정보(E')(여기서는 보정하지 않은 경우의 오차 정보)보다 증가한 경우, 스텝 S38로 진행하고, 제어부(44)는 옵셋량(S)에, -1을 승산한 것을, 새로운 옵셋량(S)로 하고, 또한, 보정량(△)을 옵셋량(S)의 2배만큼 증가하여, 스텝 S32에 되돌아간다.

즉, 주목 화소의 화소치를, 보정량(△)(이 경우, △= S)만큼 보정함으로써, 보정하지 않았을 때보다도 오차가 증가한 경우에는 옵셋량(S)의 부호가 반전된다(본 실시예에서는 스텝 S31에 있어서 양의 값이 옵셋량(S)에 세트되어 있기 때문에, 스텝 S38에서는 옵셋량(S)의 부호는 양에서 음으로 된다). 또한, 전회는 S이었던 보정량(△)이, -S로 된다.

또한, 스텝 S37에 있어서, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상이라고 판정된 경우, 즉, 보정량(△) 만큼 주목 화소의 화소치를 보정함으로써, 이번의 오차 정보(E)가, 전회의 오차 정보(E')보다 감소한 경우(또는 전회의 오차 정보(E')와 같은 경우), 스텝 S39로 진행하고, 제어부(44)는 보정량(△)을 옵셋량(S)만큼 증가함과 동시에, 전회의 오차 정보(E')에, 이번의 오차 정보(E)를 세트함으로써 갱신하여, 스텝 S32에 되돌아간다.

이 경우, 스텝 S32에 있어서, 회수(i)는 또한 1만큼 증가되어 2로 되기 때문에, 스텝 S34 또는 스텝 S36에서는 회수(i)가 0또는 1이 아니라고 각각 판정되고, 그 결과, 스텝 S36으로부터 S40으로 진행한다. 스텝 S40에서는 회수(i)가 2인지의 여부가 판정된다. 현재, 회수(i)는 2로 되어 있기 때문에, 스텝 S40에서는 회수(i)는 2라고 판정되며, 스텝 S41로 진행하여, 미보정시의 오차 정보(E₀)가 이번의 오차 정보(E) 이하이고, 또한 옵셋량(S)이 음인지의 여부가 판정된다.

스텝 S40에 있어서, 미보정시의 오차 정보(E₀)가 이번의 오차 정보(E₀) 이하 이고, 또한 옵셋량(S)이 음이라고 판정된 경우, 즉, 주목 화소를 +S만 보정하여도, 또한, -S만 보정하여도, 보정하지 않을 때보다 오차가 증가하는 경우, 스텝 S42로 진행하고, 보정량(△)이 0으로 되어, 스텝 S47로 진행한다.

또, 스텝 S40에 있어서, 미보정시의 오차 정보(E₀)가 이번의 오차 정보(E) 이하가 아니거나, 또는 옵셋량(S)이 음이 아니라고 판정된 경우, 스텝 S44로 진행하여, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상인지의 여부가 판정된다. 스텝 S44에 있어서, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상이라고 판정된 경우, 즉, 보정량(△) 만큼 주목 화소의 화소치를 보정함으로써, 이번의 오차 정보(E)가, 전회의 오차 정보(E')보다 감소한 경우, 스텝 S45로 진행하고, 제어부(44)는 보정량(△)을 옵셋량(S)만큼 증가함과 동시에, 전회의 오차 정보(E')에, 이번의 오차 정보(E)를 세트함으로써 갱신하여, 스텝 S32로 되돌아간다.

이 경우, 스텝 S32에 있어서, 회수(i)는 또한 1만큼 증가되어 3으로 되기 때문에, 이하에서는 스텝 S34, 스텝 S36, 또는 스텝 S40에서는 회수(i)가 0, 1, 또는 2가 아니라고 각각 판정되고, 그 결과, 스텝 S40으로부터 스텝 S44로 진행한다. 따라서, 스텝 S44에 있어서, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상이 아니라고 판정되기까지, 스텝 S32 내지 스텝 S34, 스텝 S36, 스텝 S40, 스텝 S44, 스텝 S45의 루프 처리가 반복된다.

그리고, 스텝 S44에 있어서, 전회의 오차 정보(E')가, 이번의 오차 정보(E) 이상이 아니라고 판정된 경우, 즉, 보정량(△) 만큼 주목 화소의 화소치를 보정함으로써, 이번의 오차 정보(E) 쪽이, 전회의 오차 정보(E') 보다 증가한 경우, 스텝 S46으로 진행하고, 제어부(44)는 보정량(△)을 옵셋량 S만큼 감소하여, 스텝 S47로 진행한다. 즉, 이 경우, 보정량(△)은 오차가 증가하기 전의 값으로 된다.

스텝 S47에서는 제어부(44)는 보정부(41)를 제어함으로써, 스텝 S42 또는 스텝 S46에서 얻어진 보정량(△) 만큼 주목 화소의 화소치를 보정시키고, 이것에 의해, 주목 화소의 화소치는 적응 처리에 의해 예측치를 얻는 데에, 예측 오차가 최소가 되도록한 최적의 것으로 보정된다.

그리고, 스텝 S48로 진행하여, 모든 SD 화소를 주목 화소로서 처리를 하였는지의 여부가 판정된다. 스텝 S48에 있어서, 모든 SD 화소를 주목 화소로서, 아직 처리를 하지 않았다고 판정된 경우, 스텝 S31로 되돌아가고, 아직, 주목 화소로 되어 있지 않은, SD 화소를 새로운 주목 화소로서, 같은 처리를 반복한다. 또한, 스텝 S48에 있어서, 모든 SD 화소를 주목 화소로서 처리를 하였다고 판정된 경우, 처리를 종료한다.

이상과 같이 하여, SD 화상의 화소치는 HD 화상의 예측치를 구하는 데에, 최적의 것으로 최적화된다.

다음에, 도 17은 도 3의 적응 처리부(24)의 구성예를 도시하고 있다.

예측 탭 생성 회로(51)에는 최적화부(23)로부터의 최적 SD 화상이 공급되도록 되어 있고, 그곳에서는 도 14의 예측 탭 생성 회로(42A)에서의 경우와 같이, 그 화소치의 LSB 측의 2비트에 배치되어 있는 탭 패턴 코드가 검출되어, 그 탭 패턴 코드에 따라서, 예측 탭이 구성되며, 클래스 분류 적응 처리 회로(52)에 공급되도록 되어 있다.

클래스 분류 적응 처리 회로(52)에는 예측 탭인 것 외에, 클래스 분류에 사용되는 최적의 SD 화상 및 원래의 HD 화상도 공급되도록 되어 있고, 그곳에서는 예측 탭을 구성하는 주목 화소의 클래스 분류가, 예를 들면, 도 13에서 설명한 경우와 마찬가지로 행하여지고, 또한, 그 결과 얻어지는 각 클래스에 관해서, 예측 탭과 HD 화상을 이용하여 수학식 13에 나타낸 정규 방정식이 세워지도록 되어 있다. 그리고, 클래스 분류 적응 처리 회로(52)는 그 클래스마다의 정규 방정식을 푸는 것에 의해, 새로운 4 패턴의 예측 탭의 각각에 관해서 예측계수(w)의 세트를 구하여 출력하도록 되어 있다.

다음에, 그 동작에 관해서, 도 18의 플로우챠트를 참조하여 설명한다. 예측 탭 생성 회로(51)는 최적 SD 화상을 수신하면, 스텝 S51에 있어서, 그 최적 SD 화소를 구성하는 각 SD 화소에 부가되어 있는 탭 패턴 코드를 검출(추출)하여, 스텝 S52로 진행하고, 그 추출된 탭 패턴 코드에 근거하여, 예측 탭을 형성한다. 그리고, 예측 탭 생성 회로(51)는 형성한 예측 탭을, 클래스 분류 적응 처리 회로(52)에 출력한다. 클래스 분류 적응 처리 회로(52)는 스텝 S53에 있어서, 예측 탭을 구성하는 주목 화소의 클래스 분류를 하여, 그 결과 얻어지는 각 클래스에 관해서, 예측 탭과 HD 화상을 이용하여, 정규 방정식을 세워 푸는 것에 의해 예측계수(w)를 구하여 출력하고, 처리를 종료한다.

이것에 의해, 적응 처리부(24)에서는 최적 SD 화상으로부터, 원래의 HD 화상을 얻는 데에, 예측 오차를 가장 작게하는 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트가 구해진다. 이들의 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트는 상술된 바와 같이, 최적화부(23)와 예측 탭 패턴 판정부(26)에 공급되어, 적응 처리(수학식 1에 나타내는 선형 1차식의 계산)에 사용된다.

또한, 적응 처리부(24)에 다른 실시예에 관해서 설명한다. 이밖에의 실시예에 있어서, 예측 탭 생성 회로(51)는 도 5의 전처리부(21)의 예측 탭 생성 회로(32)와 같이 구성된다. 요컨대, 화소치의 LSB 측의 2비트에 배치되어 있는 탭 패턴 코드가 검출되어, 그 탭 패턴 코드에 따라서 예측 탭을 구성하는 것이 아니고, 4 패턴의 예측 탭을 모두를 구성하고, 클래스 분류 적응 처리회로(52)에 공급한다. 클래스 분류 적응 처리 회로(52)는 4 패턴의 예측 탭에 각각 대응하는 4개의 예측계수를 산출하기 위한 클래스 분류 적응 처리 회로(휘도 신호용)를 구비하고 있고, 상기 클래스 분류 적응 처리 회로의 각각은 도 26에서 도시된 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33) 중의 1개의 클래스 분류 적응 처리 회로의 일부와 동일 구성이다.

즉, 각 클래스 분류 적응 처리 회로에, 각 HD 화상에 대한 각 패턴의 예측 탭 및 클래스 분류용 최적 SD 화소가 공급되어, 각각 클래스 분류가 행하여진다. 각 클래스 분류 적응 처리 회로에서, 1프레임의 HD 화소와, 그 HD 화소에 대한 예측 탭이 각각 교사 데이터 메모리 및 예측 탭 메모리에 클래스마다 기억된다. 그 후, 각 클래스 분류 적응 처리 회로의 각각에 있어서, 도 24의 학습 장치의 동작과 같은 동작에 의해, 4 패턴의 예측 탭에 관해서 새로운 클래스마다의 예측계수의 세트가 생성된다.

다음에, 도 19는 도 3의 예측 탭 패턴 판정부(26)의 구성예를 도시하고 있다.

예측 탭 패턴 판정부(26)는 동도면에 도시된 바와 같이, 예측 탭 생성 회로(61), 클래스 분류 적응 처리 회로(62), 예측 오차 산출 회로(63) 및 탭 패턴 코드변압 회로(64)로 구성되어 있고, 이들의 예측 탭 생성 회로(62), 클래스 분류 적응 처리 회로(62), 예측 오차 산출 회로(63), 또는 탭 패턴 코드 변경 회로(64)는 도 5에 있어서의 전처리부(21)의 예측 탭 생성 회로(32), 클래스 분류 적응 처리(예측계수, 예측치 산출)회로(33), 예측 오차 산출 회로(34), 또는 탭 패턴 코드 부가 회로(36)와 기본적으로 같게 구성되어 있다.

다음에, 도 20의 플로우챠트를 참조하여, 그 동작에 관해서 설명한다.

예측 탭 패턴 판정부(26)에는 최적 SD 화상, 4 패턴의 예측탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트, HD 화상이 공급되도록 되어 있고, 최적 SD 화상은 예측 탭 생성 회로(61)와 탭 패턴 코드 변경 회로(64)에 공급되고, 또한, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트 또는 HD 화상은 클래스 분류 적응 처리 회로(62) 또는 예측 오차 산출 회로(63)에 각각 공급되도록 되어 있다.

예측 탭 생성 회로(61)는 최적 SD 화상을 수신하면, 스텝 S61에 있어서, 도 5의 예측 탭 생성 회로(32)와 같이, 그 중의 1개를 주목 화소로서, 그 주목 화소에 관해서, 도 7 내지 도 10에 도시된 4 패턴의 예측 탭을 형성한다. 그리고, 상기의 4 패턴의 예측 탭은 클래스 분류 적응 처리 회로(62)에 출력된다. 클래스 분류 적응 처리 회로(62)는 주목 화소를 대상으로 형성된 4 패턴의 예측 탭을 수신하면, 스텝 S62에 있어서, 그 4 패턴의 예측 탭의 각각과, 대응하는 클래스마다의 예측계수(w)의 세트의 각각을 이용하여, 수학식 1로 나타내는 선형 1차식을 계산하여, 이것에 의해, 4 패턴의 예측 탭의 각각으로부터 얻어지는 HD 화상의 1화소의 예측치를 구하고, 예측 오차 산출 회로(63)에 출력된다.

예측 오차 산출 회로(63)에서는 스텝 S63 또는 스텝 S64에 있어서, 도 5의 예측 오차 산출 회로(34)가 행하는 도 11의 스텝 S14 또는 스텝 S15에 있어서의 경우와 각각 같은 처리가 행하여지며, 이것에 의해, 4 패턴의 예측 탭 중, 예측 오차를 최소로 하지만 탭 패턴 코드가, 탭 패턴 코드 변경 회로(64)에 출력된다.

탭 패턴 코드 변경 회로(64)에서는 스텝 S65에 있어서, 주목 화소(최적 SD 화상의 SD 화소)의 LSB측의 2비트로 부가되어 있는 탭 패턴 코드가, 예측 오차 산출회로(63)로부터 공급되는 탭 패턴 코드로 변경되어, 스텝 S66으로 진행한다.

스텝 S66에서는 모든 SD 화소를 주목 화소로서 처리가 행하여졌는지의 여부가 판정되고, 아직, 모든 SD 화소를 주목 화소로 하고 않았다고 판정된 경우, 스텝 S61로 되돌아가고, 또한 주목 화소로 되어 있지 않은, SD 화소를 새롭게 주목 화소로서, 같은 처리를 반복한다. 한편, 스텝 S66에 있어서, 모든 SD 화소를 주목 화소로서 처리를 하였다고 판정된 경우, 처리를 종료한다.

예측 탭 패턴 판정부(26)에서는 이상과 같이, 적응 처리부(24)에서 얻어진 4 패턴의 예측 탭의 각각에 관해서 예측계수(w)의 세트를 이용하여, 탭 패턴 코드가, 보다 예측 오차가 작게되는 예측 탭에 대응하는 것으로 변경된다.

다음에, 도 21은 도 1의 수신장치(4)의 구성예를 도시하고 있다.

수신기/재생장치(71)에 있어서는 기록 매체(2)에 기록된 부호화 데이터가 재생되고, 또는 전송로(3)를 통해 전송되는 부호화 데이터가 수신되어, 분리부(72)에 공급된다. 분리부(72)에서는 부호화 데이터가, SD 화상의 화상 데이터와 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트로 분리되고, SD 화상의 화상 데이터는 예측 탭 생성회로(73)에 공급되며, 4 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수(w)의 세트는 클래스 분류 적응 처리회로(74)에 공급된다.

예측 탭 생성회로(73) 또는 클래스 분류 적응 처리 회로(74)는 도 14에 도시된 최적화부(23)의 로컬 디코드부(42)를 구성하는 예측 탭 생성 회로(42A) 또는 클래스 분류 적응 처리 회로(42B)(도 27)와 각각 마찬가지로 구성되어 있다. 따라서, 로컬 디코드부(42)에 있어서의 경우와 같이, HD 화상의 예측치가 구해지고, 이것이 복호 화상으로서 출력된다. 상기 복호 화상은 상술된 바와 같이, 원래의 화상과 거의 동일의 화상이 된다.

또, 수신측에 있어서는 도 21에 도시된 바와 같이 수신장치(4)가 아니라도, 추출한 화상을 단순한 보간에 의해 복호하는 장치에 의해, 예측계수를 이용하지 않고, 통상의 보간을 행함으로써 복호 화상을 얻을 수 있다. 단지, 이 경우에 얻어지는 복호 화상은 화질(해상도)이 열화한 것으로 된다.

이상과 같이, HD 화상을 압축함으로써 얻어지는 SD 화상을 구성하는 화소 중의 1개를 주목 화소로서, 그 주목 화소에 대하여, 복수 패턴의 예측 탭을 형성하여, 예측 탭과 예측계수의 선형 결합에 의해, HD 화상의 예측치를 구하는 적응 처리를 하여, 복수 패턴의 예측 탭의 각각으로부터 얻어지는 예측치의 예측 오차를 산출하고, 복수 패턴의 예측 탭 중, 최소의 예측 오차가 얻어지는 것에 대응하는 탭 패턴 코드를, 주목 화소의 화소값에 부가하도록 하였기 때문에, 화상의 국소적 인 특성에 대응한 예측 탭을 이용하여, 적응 처리가 행하여지고, 그 결과, 보다 화질이 양호한 복호 화상을 얻는 것이 가능하게 된다.

또한, 2 비트의 탭 패턴 코드를, 화소치의 LSB 측의 2 비트로 바꾸어 배치하 도록 하였기 때문에, 데이터량의 증가를 방지하는 것이 가능하게 된다. 또, 탭 패턴 코드는 화소치의 LSB측에 배치되기 때문에, 그 만큼 큰 화질의 열화는 없다.

또한, 최적화부(23)에 있어서, 오차를 최소로 하는 예측 탭을 이용하여, 적응 처리를 함으로써, SD 화상을 최적화하도록 하였기 때문에, 원래의 HD 화상을 거의 동일의 복호 화상을 얻는 것이 가능해진다.

또한, 적응 처리부(24)에 있어서, 최적 SD 화상을 이용하여, 적응 처리를 하여, 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수의 세트를, 말하자면, 보다 적절한 것으로 갱신하여, 예측 탭 패턴 판정부(26)에 있어서, 그 갱신된 복수 패턴의 예측 탭의 각각에 관해서 클래스마다의 예측계수의 세트를 이용하여, 예측 탭을 결정하여 고치도록 하였기 때문에, 더욱 화질이 향상된 복호화상을 얻는 것이 가능해진다.

이상, 본 발명을, HD 화상을 부호화/복호하는 화상 처리 장치에 적용한 경우 에 관해서 설명하였지만, 본 발명은 기타, SD 화상 등의 표준 해상도의 화상 그 것 외를 부호화/복호하는 경우에도 적용 가능하다. 즉, 예를 들면, NTSC 방식 등의 표준 방식의 텔레비전 신호를 부호화/복호하는 경우에도 적용가능하다. 단지, 본 발명은 데이터량이 많은, 소위 하이비젼 방식의 텔레비전 신호 등을 부호화/복호 하는 경우에, 특히 유효하다. 또, 본 발명은 소위, 계층 부호화를 하는 경우 등에도 적용 가능하다.

또, 본 실시예에서는 휘도 신호에 관해서만, 복수 패턴의 예측 탭을 준비하고, 색차 신호에 관해서는 5×7화소의 예측 탭만을 사용하도록 하였지만, 색차 신호도, 휘도 신호와 같이 처리하는 것이 가능하다.

또한, 본 실시예에 있어서는 탭 패턴 코드를 2 비트로 하도록 하였지만, 탭 패턴 코드는 2 비트로 한정되는 것이 아니다. 단지, 보다 적은 비트수인 것이 바람직하다.

또한, 본 실시예에서는 화소치의 LSB 측의 2 비트를 대신하여, 탭 패턴 코드를 배치하도록 하였지만, 탭 패턴 코드는 화소치와는 별도로 기록 또는 전송하는 것도 가능하다.

또한, 본 실시예에서는 전처리부(22)에서 전처리하여, 최적화부(23)에서 최적화한 최적 SD 화상을 이용하여, 예측계수를 갱신하고, 그 예측계수를 이용하여,탭 패턴 코드를 결정하여 고치도록 하였지만, 전처리부(21)에서 전처리하여, 최적화부(23)에서 최적화한 최적 SD 화상을, 그대로 부호화 데이터로 하는 것도 가능하다. 이 경우, 복호화상의 화질(S/N)은 탭 패턴 코드를 결정하여 고치는 경우에 비해, 다소 열화하지만, 처리의 고속화를 꾀하는 것이 가능해진다.

또한, 본 실시예에서는 3×3, 5×3, 3×5, 7×5화소의 4 패턴의 예측 탭을 사용하도록 하였지만, 이외의, 예를 들면, 1×5이나 5×1화소 등의 예측 탭을 사용하도록 하는 것도 가능하다. 또한, 예측 탭의 패턴도 4종류에 한정되는 것이 아니다.

또한, 본 실시예에서는 특히 언급하지 않았지만, 화소치에, 탭 패턴 코드를 부가한 후는 그 탭 패턴 코드가 부가된 LSB 측의 2 비트를 소정치로 한 것을 화소치로 처리하여도 되고, 또한, 탭 패턴 코드도 포함시켜 화소치로 하여, 처리를 하 도록 하여도 된다. 또, 본건 발명자가 행한 실험에 의하면, 탭 패턴 코드도 포함시켜 화소치로 한 경우, 그 탭 패턴 코드의 부분을 소정치로서의 0으로 한 경우에 비해, S/N은 다소 열화하지만, 계조가 다소 향상하는 결과를 얻게 된다.

또한, 도 15에 있어서, 주목 화소의 화소치를, 옵셋량(S)으로의 4 또는 1씩 보정함으로써, 예측 오차(E)가 최초에 극소로 되는 보정량(△)을 검출하도록 하였지만, 기타, 예를 들면, 주목 화소의 화소치를 갖을 수 있는 값 모두에 관해서 예측 오차(E)를 구하여, 그 최소치를 검출하고, 그 경우의 보정량(△)에 의해서, 주목 화소의 화소치를 보정하도록 하는 것도 가능하다. 이 경우, 처리에 시간을 요하게 되지만, 보다 S/N가 높은 복호 화상을 얻는 것이 가능해진다.

또한, 이와 같이 주목 화소의 화소치를 가질 수 있는 값 모두에 관해서 예측 오차(E)를 구하는 경우에는 주목 화소의 화소치의 초기치는 어떠한 값(단, 주목 화소의 화소치를 가질 수 있는 범위내의 값)이라도 된다. 즉, 이 경우, 초기치가 어떠한 값이라도, 예측 오차(E)를 최소로 하는 보정치(△)를 구할 수 있다.

본 발명에 따른 화상 부호화 장치 및 화상 부호화 방법에서는 원화상 신호의 화소수보다 적은, 화소수의 압축 화상 신호를 발생하여, 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하고, 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하고, 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 원화상 신호에 대한 예측 오차를 산출하여, 복수의 패턴의 예측 화소 중, 최소의 예측 오차를 얻게 되는 예측 화소에 대응하는 패턴 코드를 주목 화소의 화소치에 부가한다. 따라서, 그 패턴 코드에 따라서 예측 탭을 형성하여 복호를 행함으로써, 보다 화질이 향상된 복호 화상을 얻는 것이 가능해진다.

본 발명에 따른 화상 복호 장치 및 화상 복호 방법에서는 압축 화상 신호를 수신하여, 압축 화상 신호의 주목 화소의 화소치에 부가된 패턴 코드에 대응하는 패턴의 예측 화상을 형성하여, 형성부에서 형성된 예측 화소와, 소정의 예측계수로부터 원화상 신호를 예측하여, 원화상 신호를 출력한다. 따라서, 보다 원화상에 가까운 예측치를 얻는 것이 가능해진다.

본 발명에 따른 기록 매체에는 화상 복호 장치에 의해 복호 가능한 압축 화상 신호가 기록되어 있다. 상기 압축 화상 신호는 원화상 신호의 화소수보다 적은 화소수의 압축 화상 신호를 발생하여, 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하고, 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하며, 복수의 패턴의 예측 화소에 대한 예측치 각각의, 원화상 신호에 대한 예측 오차를 산출하고, 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응한 패턴 코드를 주목 화소의 화소치에 부가함으로써 형성되어 있다. 따라서, 그 패턴 코드에 따라서 예측 탭을 형성하여 복호를 함으로써, 보다 화질이 향상된 복호 화상을 얻는 것이 가능해진다.

또, 본 발명의 주지를 일탈하지 않는 범위에서, 여러가지의 변형이나 응용예가 고려된다. 따라서, 본 발명의 요지는 실시예에 한정되는 것이 아니다.

Claims (40)

1. 화상 신호를 부호화하는 화상 부호화 장치에 있어서,

   원화상 신호의 화소수보다 적은 화소수의 압축 화상 신호를 발생하는 압축부와,

   상기 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 제 1 형성부와,

   상기 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 상기 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 제 1 예측부와,

   상기 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 상기 원화상 신호에 대한 예측 오차를 산출하는 제 1 산출부와,

   상기 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응하는 패턴 코드를 상기 주목 화소의 화소치에 부가하는 부가부를 구비하는 화상 부호화 장치.
2. 제 1 항에 있어서, 상기 부가부는 상기 주목 화소의 화소치의 LSB(Least Significant Bit)측의 N 비트를 대신하여, 상기 패턴 코드를 배치하는 것을 특징으로 하는 화상 부호화 장치.
3. 제 1 항에 있어서, 상기 제 1 예측부는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 상기 소정의 예측계수를 연산하는 연산부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
4. 제 3 항에 있어서, 상기 제 1 예측부는 상기 주목 화소를 소정의 클래스로 분류하는 클래스 분류부를 구비하며,

   상기 연산부는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 클래스마다 상기 소정의 예측계수를 연산하고,

   상기 제 1 예측부는 상기 주목 화소의 클래스에 대응하는 예측계수와 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 부호화 장치.
5. 제 3 항에 있어서, 상기 연산부는 복수의 패턴의 예측 화소의 각각에 관해서, 상기 소정의 예측계수를 연산하는 것을 특징으로 하는 화상 부호화 장치.
6. 제 4 항에 있어서, 상기 연산부는 복수의 패턴의 예측 화소의 각각에 관해서, 클래스마다 상기 예측계수를 연산하고,

   상기 제 1 예측부는 복수의 패턴의 예측 화소의 각각에 관해서, 상기 주목 화소의 클래스에 대응하는 예측계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 부호화 장치.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 압축 화상 신호를 최적의 압축 화상 신호로 변환하는 최적화부를 구비하며,

   상기 최적화부는

   상기 주목 화소의 화소치에 부가된 상기 패턴 코드에 대응하는 패턴의 예측 화소를 형성하는 제 2 형성부와,

   상기 제 2 형성부에서 형성된 상기 예측 화소와, 상기 소정의 예측계수로부터, 상기 원화상 신호를 예측하여, 상기 원화상 신호의 예측치를 출력하는 제 2 예측부와,

   상기 제 2 예측부에서 예측된 상기 원화상 신호의 예측치의, 상기 원화상 신호에 대한 예측 오차를 산출하는 제 2 산출부와,

   상기 제 2 산출부에서 산출된 예측 오차에 대응하여, 상기 주목 화소의 화소치를 보정하는 보정부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
8. 제 7 항에 있어서, 상기 최적화부는 상기 압축 화상 신호가 최적의 압축 화상 신호로 될 때까지, 상기 제 2 최적부의 동작을 반복하는 것을 특징으로 하는 화상 부호화 장치.
9. 제 8 항에 있어서, 상기 최적화부의 반복 동작 사이에, 반복 동작 중의 압축 화상 신호와 상기 원화상 신호에 근거하여, 상기 제 2 예측부에서 예측된 상기 원화상 신호의 예측치의, 상기 원화상 신호에 대한 예측 오차를 작게하도록, 상기 소정의 예측계수를 수정하여, 수정된 소정의 예측계수를 출력하는 수정부를 구비하며,

   상기 제 1 예측부와 상기 제 2 예측부는 상기 수정된 소정의 예측계수를 이용하여 예측치를 예측하도록 되어 있는 것을 특징으로 하는 화상 부호화 장치.
10. 제 1 항, 제 3 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 압축 화상 신호와 상기 소정의 예측계수를 출력하는 출력부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
11. 제 9 항에 있어서, 상기 압축 화상 신호와 상기 소정의 예측계수를 출력하는 출력부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
12. 화상 신호를 부호화하는 화상 부호화 방법에 있어서,

    원화상 신호의 화소수보다 적은 화상수의 압축 화상 신호를 발생하는 압축 단계와,

    상기 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 제 1 형성 단계와,

    상기 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수으로부터 상기 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 제 1 예측 단계와,

    상기 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 상기 원화상 신호에 대한 예측 오차를 산출하는 제 1 산출 단계와,

    상기 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응하는 패턴 코드를 상기 주목 화소의 화소치에 부가하는 부가 단계를 갖은 화상 부호화 방법.
13. 제 12 항에 있어서, 상기 부가 단계는 상기 주목 화소의 화소치의 LSB(Least Significant Bit) 측의 N 비트를 대신하여, 상기 패턴 코드를 배치하는 것을 특징으로 하는 화상 부호화 방법.
14. 제 12 항에 있어서, 상기 제 1 예측 단계는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 상기 소정의 예측계수를 연산하는 연산 단계를 갖은 것을 특징으로 하는 화상 부호화 방법.
15. 제 14 항에 있어서, 상기 제 1 예측 단계는 상기 주목 화소를 소정의 클래스로 분류하는 클래스 분류 단계를 가지며,

    상기 연산 단계는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 클래스마다 상기 소정의 예측계수를 연산하고,

    상기 제 1 예측 단계는 상기 주목 화소의 클래스에 대응하는 예측계수와 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 부호화 방법.
16. 제 14 항에 있어서, 상기 연산 단계는 복수의 패턴의 예측 화소의 각각에 관해서 상기 소정의 예측계수를 연산하는 것을 특징으로 하는 화상 부호화 방법.
17. 제 15 항에 있어서, 상기 연산 단계는 복수의 패턴의 예측 화소의 각각에 관해서 클래스마다 상기 예측계수를 연산하고,

    상기 제 1 예측 단계는 복수의 패턴의 예측 화소의 각각에 관해서, 상기 주목 화소의 클래스에 대응하는 예측계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 부호화 방법.
18. 제 12 항 내지 제 17 항 중의 어느 한 항에 있어서, 상기 압축 화상 신호를 최적의 압축 화상 신호로 변환하는 최적화 단계를 갖고,

    상기 최적화 단계는

    상기 주목 화소의 화소치에 부가된 상기 패턴 코드에 대응하는 패턴의 예측화소를 형성하는 제 2 형성 단계와,

    상기 제 2 형성 단계에서 형성된 상기 예측 화소와, 상기 소정의 예측계수로부터 상기 원화상 신호를 예측하여, 상기 원화상 신호의 예측치를 출력하는 제 2 예측 단계와,

    상기 제 2 예측 단계에서 예측된 상기 원화상 신호의 예측치의, 상기 원화상 신호에 대한 예측 오차를 산출하는 제 2 산출 단계와,

    상기 제 2 산출 단계에서 산출된 예측 오차에 대응하여, 상기 주목 화소의 화소치를 보정하는 보정 단계를 갖는 것을 특징으로 하는 화상 부호화 방법.
19. 제 18 항에 있어서, 상기 최적화 단계는 상기 압축 화상 신호가 최적의 압축화상 신호로 될 때까지 상기 제 2 최적 단계의 동작을 반복하는 것을 특징으로 하는 화상 부호화 방법.
20. 제 19 항에 있어서, 상기 최적 단계의 반복 동작 동안에, 반복 동작 중의 압축 화상 신호와 상기 원화상 신호에 근거하여, 상기 제 2 예측 단계에서 예측된 상기 원화상 신호의 예측치의, 상기 원화상 신호에 대한 예측 오차를 작게 하도록, 상기 소정의 예측계수를 수정하여, 수정된 소정의 예측계수를 출력하는 수정 단계를 갖고,

    상기 제 1 예측 단계와 상기 제 2 예측 단계는 상기 수정된 소정의 예측계수를 이용하여 예측치를 예측하도록 되어 있는 것을 특징으로 하는 화상 부호화 방법.
21. 제 12 항 내지 제 17 항 중 어느 한 항에 있어서, 상기 압축 화상 신호와 상기 소정의 예측계수를 출력하는 출력 단계를 갖는 것을 특징으로 하는 화상 부호화 방법.
22. 제 20 항에 있어서, 상기 압축 화상 신호와 상기 소정의 예측계수를 출력하는 출력 단계를 갖는 것을 특징으로 하는 화상 부호화 방법.
23. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 압축 화상 신호를 최적의 압축 신호로 변환하는 최적화부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
24. 제 12 항 내지 제 17 항 중 어느 한 항에 있어서, 상기 압축 화상 신호를 최적의 압축 신호로 변환하는 최적화 단계를 갖는 것을 특징으로 하는 화상 부호화 방법.
25. 압축 화상 신호를 원래의 화상 신호로 복호하는 화상 복호 장치에 있어서, 상기 압축 화상 신호를 수신하는 수신부와,

    상기 압축 화상 신호의 주목 화소의 화소치에 부가된 패턴 코드에 대응하는 패턴의 예측 화상을 형성하는 형성부와,

    상기 형성부에서 형성된 상기 예측 화소와, 소정의 예측계수로부터 원화상 신호를 예측하여, 상기 원화상 신호를 출력하는 예측부를 구비하는 화상 복호 장치.
26. 제 25 항에 있어서, 상기 패턴 코드는 상기 주목 화소의 화소치 LSB(Least Significant Bit)측의 N 비트를 대신하여, 상기 주목 화소에 배치되어 있는 것을 특징으로 하는 화상 복호 장치.
27. 제 25 항에 있어서, 상기 소정의 예측계수는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여 연산되어 있는 것을 특징으로 하는 화상 복호 장치.
28. 제 27 항에 있어서, 상기 예측부는 상기 주목 화소를 소정의 클래스로 분류하는 클래스 분류부를 구비하며,

    상기 소정의 예측계수는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 클래스마다 연산되어 있고,

    상기 예측부는 상기 주목 화소의 클래스에 대응하는 예측계수와 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 복호 장치.
29. 제 27 항에 있어서, 상기 소정의 예측계수는 복수의 패턴의 예측 화소의 각각에 관해서 연산되어 있는 것을 특징으로 하는 화상 복호 장치.
30. 제 29 항에 있어서, 상기 소정의 예측계수는 복수의 패턴의 예측 화소의 각각에 관해서, 클래스마다 연산되어 있고,

    상기 예측부는 복수의 패턴의 예측 화소의 각각에 관해서, 상기 주목 화소의 클래스에 대응하는 예측계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 복호 장치.
31. 제 25 항 내지 제 30 항 중 어느 한 항에 있어서, 상기 압축 화상 신호는 상기 소정의 예측계수에 포함되어 있고,

    또한, 상기 압축 화상 신호와 상기 소정의 예측계수를 분리하여, 상기 소정의 예측계수를 예측부에 공급하는 분리부를 구비하는 것을 특징으로 하는 화상 복호 장치.
32. 압축 화상 신호를 원화상 신호로 복호하는 화상 복호 방법에 있어서,

    상기 압축 화상 신호를 수신하는 수신 단계와,

    상기 압축 화상 신호의 주목 화소의 화소치에 부가된 패턴 코드에 대응하는 패턴의 예측 화소를 형성하는 형성 단계와,

    상기 형성 단계에서 형성된 상기 예측 화소와, 소정의 예측계수로부터 원화상 신호를 예측하여, 상기 원화상 신호를 출력하는 예측 단계를 갖는 화상 복호 방법.
33. 제 32 항에 있어서, 상기 패턴 코드는 상기 주목 화소의 화소치의 LSB(Least Significant Bit)측의 N 비트를 대신하여, 상기 주목 화소에 배치되어 있는 것을 특징으로 하는 화상 복호 방법.
34. 제 32 항에 있어서, 상기 소정의 예측계수는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 연산되어 있는 것을 특징으로 하는 화상 복호 방법.
35. 제 34 항에 있어서, 상기 예측 단계는 상기 주목 화소를 소정의 클래스로 분류하는 클래스 분류 단계를 갖고,

    상기 소정의 예측계수는 상기 원화상 신호와 상기 압축 화상 신호에 근거하여, 클래스마다 연산되어 있고,

    상기 예측 단계는 상기 주목 화소의 클래스에 대응하는 예측계수와 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 복호 방법.
36. 제 34 항에 있어서, 상기 소정의 예측계수는 복수의 패턴의 예측 화소의 각각에 관해서, 연산되어 있는 것을 특징으로 하는 화상 복호 방법.
37. 제 36 항에 있어서, 상기 소정의 예측계수는 복수의 패턴의 예측 화소의 각각에 관해서, 클래스마다 연산되어 있고,

    상기 예측 단계는 복수의 패턴의 예측 화소의 각각에 관해서, 상기 주목 화소의 클래스에 대응하는 예측계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 복호 방법.
38. 제 32 항 내지 제 37 항 중 어느 한 항에 있어서, 상기 압축 화상 신호는 상기 소정의 예측계수를 포함하고 있고,

    상기 압축 화상 신호와 상기 소정의 예측계수를 분리하는 분리 단계를 갖는 것을 특징으로 하는 화상 복호 방법.
39. 화상 복호 장치에 의해 복호 가능한 압축 화상 신호가 기록된 기록 매체에 있어서,

    상기 압축 화상 신호는

    원화상 신호의 화소수보다 적은 화소수의 압축 화상 신호를 발생하는 압축 단계와,

    상기 압축 화상 신호를 구성하는 화소 중의 1개인 주목 화소에 대하여, 그 주목 화소의 근방 화소를 이용하여, 복수의 패턴의 예측 화소를 형성하는 형성 단계와,

    상기 복수의 패턴의 예측 화소의 각각과, 소정의 예측계수로부터, 상기 원화상 신호를 예측하여, 그 복수의 패턴의 예측 화소에 대한 예측치를 각각 출력하는 예측 단계와,

    상기 복수의 패턴의 예측 화소에 대한 예측치의 각각의, 상기 원화상 신호에 대한 예측 오차를 산출하는 산출 단계와,

    상기 복수의 패턴의 예측 화소 중, 최소의 예측 오차가 얻어지는 예측 화소에 대응하는 패턴 코드를 상기 주목 화소의 화소치에 부가하는 부가 단계에 의해 형성되는 것을 특징으로 하는 기록 매체.
40. 제 39 항에 있어서, 상기 소정의 예측계수는 상기 기록 매체에 기록되어 있는 것을 특징으로 하는 기록 매체.