KR20070094740A - 학습 장치와 학습 방법 및 학습 프로그램 - Google Patents

Abstract

움직임 설정부(61)는, 처리 계수를 구하는 움직임량과 움직임 방향을 설정한다. 학생 화상 생성부(62)는, 설정된 움직임량이나 움직임 방향뿐만 아니라, 특정의 비율로 움직임량 및 움직임 방향의 적어도 한쪽을 변경해서 교사 화상에 움직임 흐릿해짐을 부가한 학생 화상이나 움직임 흐릿해짐을 부가하고 있지 않는 학생 화상을 생성한다. 예측 탭 추출부(64)는, 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목화소의 공간 위치와 대략 같은 학생 화상내의 화소값을 적어도 추출한다. 처리 계수 생성부(65)는, 추출한 화소와 교사 화상내의 주목 화소와의 관계로부터, 추출한 화소의 화소값에 의거해서 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성한다. 움직임 벡터의 어긋남에 대해서 로버스트한 움직임 흐릿해짐 제거 처리를 행할 수가 있는 처리 계수를 학습에 의해서 생성할 수 있다.

Description

학습 장치와 학습 방법 및 학습 프로그램{LEARNING DEVICE, LEARNING METHOD, AND LEARNING PROGRAM}

본 발명은, 학습 장치와 학습 방법 및 학습 프로그램에 관한 것으로서 자세하게는, 설정된 움직임량(動量)과 움직임 방향에 의거해서, 교사 화상(敎師畵像)에 움직임 흐릿해짐(blur)을 부가(付加)함으로써 학생 화상(生徒畵像)을 생성하고, 교사 화상내의 주목 화소(注目畵素)에 대응하는 학생 화상내의 화소의 화소값에 의거해서, 주목 화소의 클래스를 결정한다. 또, 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목 화소의 공간 위치와 대략 같은(同) 학생 화상내의 화소의 화소값을 적어도 추출한다. 이 추출한 화소값과 교사 화상내의 주목 화소와의 관계로부터, 추출한 화소값에 의거해서 교사 화상내의 주목 화소를 예측하는 처리 계수(係數)의 생성을 검출된 클래스마다 행한다. 이 학생 화상의 생성에서는, 특정의 비율로, 움직임량 및 움직임 방향의 적어도 어느 것인가 한쪽을 변경해서 학생 화상의 생성을 행하는 것이다.

종래부터, 현실 세계에서의 사상(事象)을, 센서를 이용해서 데이터화하는 것이 행해지고 있다. 이 센서를 이용해서 취득된 데이터는, 현실 세계의 정보(예를 들면, 광)가, 현실 세계보다 낮은 차원의 시공간을 사영(射影; project; 투영)해서 얻어진 정보이다. 이 때문에, 사영해서 얻어진 정보는, 사영에 의해 발생하는 일그러짐(歪)을 가지고 있다. 예를 들면, 정지(靜止; still)하고 있는 배경의 앞(前)에서 이동하는 물체를 비디오 카메라로 촬상해서 화상 신호로서 데이터화하는 경우, 현실 세계의 정보를 샘플링해서 데이터화하기 때문에, 화상 신호에 의거해서 표시되는 화상에서는, 사영에 의해 발생하는 일그러짐으로서, 움직이고 있는 물체가 흐릿해져 버리는 움직임 흐릿해짐이 생긴다.

이 때문에, 일본 특개 제2001-250119호 공보(대응 미국 출원 번호: 09/8 30858, 대응 유럽 특허 공개 번호: EP1164545)에서 개시되어 있는 바와 같이, 예를 들면 입력 화상에 포함되는 전경(前景)의 오브젝트에 대응하는 화상 오브젝트의 윤곽(輪郭)을 검출함으로써, 전경의 오브젝트에 대응하는 화상 오브젝트를 거칠게(粗; roughly; 개략적으로) 추출하고, 이 거칠게 추출된 전경의 오브젝트에 대응하는 화상 오브젝트의 움직임 벡터를 검출해서, 검출한 움직임 벡터 및 움직임 벡터의 위치 정보를 이용해서 움직임 흐릿해짐의 경감이 행해지고 있다.

그런데, 이와 같은 종래의 움직임 흐릿해짐 제거에서는, 입력 신호중의 움직임 흐릿해짐을 일으키고(生) 있는 부분의 흐릿해짐량에 따른 공간적인 처리를 행하는 것에 의해서 흐릿해짐 제거를 행하고 있었다. 그러나, 동화상(動畵像)에서도 같은 공간적으로 완결한 처리를 행하므로, 움직임 흐릿해짐 제거 처리의 정밀도(精度)는, 움직임 벡터 추정(推定)의 정밀도에 매우 강하게 영향을 받는다. 즉, 추정된 움직임 벡터가 어긋남을 일으키면, 사용하는 처리 영역이나 처리 계수가 변화해 버리고, 움직임 흐릿해짐 제거 처리 후의 화상이 파탄(破綻)을 일으켜 버릴 우려가 있다. 또, 시간 정보를 이용하려고 해도 추정된 움직임 벡터의 어긋남이 더욱 조장(助長)되므로, 시간 방향의 정보를 의의 있게(有意義) 이용해서 처리에 활용할 수가 없다.

또, 움직임 오브젝트와 정지하고 있는 오브젝트가 포함되어 있는 화상에 대해서 움직임 흐릿해짐 제거를 행해도, 정지하고 있는 오브젝트의 화상은 파탄하지 않도록 처리할 수 없으면, 움직임 흐릿해짐을 제거한 양호한 촬상 화상을 얻을 수 없게 되어 버린다.

이 발명과 관계된 학습 장치는, 움직임량을 설정하는 움직임량 설정부와, 움직임 방향을 설정하는 움직임 방향 설정부와, 움직임량과 움직임 방향과에 의거해서, 교사 화상에 움직임 흐릿해짐을 부가해서 학생 화상을 생성하는 학생 화상 생성부와, 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목 화소의 공간 위치와 대략 같은 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출부와, 적어도 움직임 방향마다, 복수조(複數組)의, 예측 탭 추출부에 의해 추출된 화소의 화소값과, 교사 화상내의 주목 화소와의 관계에서, 예측 탭 추출부에 의해 추출된 화소의 화소값으로부터 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성부를 구비하고 학생 화상 생성부는, 특정의 비율로, 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 것이다. 이 발명과 관계된 학습 방법은, 움직임량을 설정하는 움직임량 설정 공정과, 움직임 방향을 설정하는 움직임 방향 설정 공정과, 움직임량과 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐을 부가해서 학생 화상을 생성하는 학생 화상 생성 공정과, 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목 화소의 공간 위치와 대략 같은 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출 공정과, 적어도 움직임 방향마다, 복수조의, 예측 탭 추출부에 의해 추출된 화소의 화소값과, 교사 화상내의 주목 화소와의 관계로부터, 예측 탭 추출 공정에 의해 추출된 화소의 화소값으로부터 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성 공정을 가지고, 학생 화상 생성 공정에서는, 특정의 비율로, 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 것이다.

또, 이 발명과 관계된 학습 프로그램은, 컴퓨터에 움직임량을 설정하는 움직임량 설정 스텝과, 움직임 방향을 설정하는 움직임 방향 설정 스텝과, 움직임량과 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐을 부가해서 학생 화상을 생성함과 동시에, 특정의 비율로 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 학생 화상 생성 스텝과, 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목 화소의 공간 위치와 대략 같은 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출 스텝과, 적어도 움직임 방향마다, 복수조의 예측 탭 추출 스텝에 의해 추출된 화소의 화소값과, 교사 화상내의 주목 화소와의 관계로부터, 예측 탭 추출 스텝에 의해 추출된 화소의 화소값으로부터 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성 스텝을 실행시키는 것이다.

이 발명에서는, 설정된 움직임량이나 움직임 방향에 의거해서, 교사 화상에 대해서 움직임 흐릿해짐이 부가되어 학생 화상이 생성된다. 이 학생 화상의 생성에서는, 특정의 비율로 움직임량을 「0」으로서 움직임 흐릿해짐을 부가하고 있지 않은 학생 화상의 생성이나, 설정된 움직임량 및 움직임 방향 중 적어도 어느 것인가의 한쪽을 변경해서 변경후의 움직임량이나 움직임 방향에 의거해서 교사 화상에 움직임 흐릿해짐을 부가한 학생 화상의 생성, 노이즈를 부가한 학생 화상의 생성이 행해진다. 또, 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 교사 화상내의 주목 화소의 공간 위치와 대략 같은 학생 화상내의 화소의 화소값이 적어도 추출된다. 화소값의 추출에서는, 예를 들면 학생 화상이 인터레이스(interlace) 포맷일 때, 학생 화상내의 제1 복수의 화소의 화소값이 추출된다. 또, 학생 화상이 프로그레시브(progressive) 포맷일 때, 학생 화상내의 제2 복수의 화소의 화소값이 추출된다. 이 추출된 화소의 화소값과 교사 화상내의 주목 화소와의 관계로부터, 추출된 화소의 화소값에 의거해서 교사 화상내의 주목 화소를 예측하는 처리 계수가 생성된다.

[발명의 효과]

이 발명에 의하면, 특정의 비율로 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상이 생성된다. 이 때문에, 정지 화상(靜止畵像)을 포함하는 화상에 대해서 움직임 흐릿해짐의 제거를 행해도, 정지 화상이 파탄해 버리는 것을 방지할 수 있다. 또, 제1 움직임 방향의 움직임 흐릿해짐에 대응하는 예측 계수를 생성할 때, 제1 움직임 방향에 가까운 제2 움직임 방향의 움직임 흐릿해짐을 가지는 학생 화상이 이용된다. 이 때문에, 움직임 벡터를 정밀도 좋게 검출할 수 없는 경우가 생겨도, 움직임 흐릿해짐 제거를 양호하게 행할 수가 있다. 또, 학생 화상에 노이즈를 부가해서 처리 계수가 생성되므로, 화상 센서에서 생기는 노이즈를 부가해서 학습을 행하는 것으로 하면, 노이즈의 영향을 경감(輕減)할 수 있다. 또, 노이즈량을 조정함으로써 흐릿해짐 감(感)을 변화시키거나, 흐릿해짐량이 틀린(違) 학생 화상의 비율을 조정해서, 새로운 흐릿해짐 감을 만들어 내는 것도 가능하게 된다.

또, 학생 화상이 인터레이스 포맷일 때, 학생 화상내의 제1 복수의 화소의 화소값이 추출되고, 프로그레시브 포맷일 때, 학생 화상내의 제2 복수의 화소의 화소값이 추출되므로, 인터페이스 포맷 혹은 프로그레시브 포맷의 어느 화상 신호를 이용해도, 이 화상 신호에 의거하는 화상으로부터 움직임 흐릿해짐을 제거할 수가 있다. 또, 교사 화상내의 주목 화소에 대응하는 학생 화상내의 화소의 화소값의 액티비티(activity)에 따라서, 주목 화소의 클래스가 결정되고, 클래스마다 처리 계수의 생성이 행해지므로, 촬상 화상에 따른 움직임 흐릿해짐 제거 처리를 행할 수가 있다.

도 1은 시스템의 구성을 도시하는 도면,

도 2는 화상 센서에 의한 촬상을 설명하기 위한 도면,

도 3의 (a)와 (b)는 촬상 화상을 설명하기 위한 도면,

도 4는 화소값의 시간 방향 분할 동작을 도시하는 도면,

도 5의 (a)와 (b)는 주목 화소의 화소값의 산출 동작을 설명하기 위한 도면,

도 6은 처리 영역을 도시하는 도면,

도 7의 (a)와 (b)는 처리 영역의 설정예를 도시하는 도면,

도 8은 처리 영역에서의 실세계(實世界) 변수의 시간 혼합을 설명하기 위한 도면,

도 9는 공간 방향의 주요항의 위치를 도시하는 도면,

도 10은 시간 방향의 주요항의 위치를 도시하는 도면,

도 11의 (a)와 (b)는 공간 방향의 주요항을 이용하는 경우의 움직임 벡터의 어긋남과 주요항의 위치 어긋남의 관계를 설명하기 위한 도면,

도 12는 시간 방향의 주요항을 이용하는 경우의 움직임 벡터의 어긋남과 주요항의 위치 어긋남의 관계를 설명하기 위한 도면,

도 13은 화상 처리 장치의 기능 블록도,

도 14는 소프트웨어를 이용할 때의 화상 처리 장치의 구성을 도시하는 도면,

도 15의 (a)와 (b)는 예측 탭을 도시하는 도면,

도 16은 화상 처리를 도시하는 플로차트,

도 17은 화상 처리 장치의 기능 블록도(클래스 결정을 행하는 경우),

도 18의 (a)와 (b)는 클래스 탭을 도시하는 도면,

도 19는 액티비티의 산출을 설명하기 위한 도면,

도 20은 화상 처리(클래스 결정을 행하는 경우)를 도시하는 플로차트,

도 21은 처리 계수를 학습에 의해서 구해서 움직임 흐릿해짐 제거 처리를 행하는 경우의 구성을 도시하는 도면,

도 22는 학습 장치의 기능 블록도,

도 23은 학습 처리를 도시하는 플로차트,

도 24는 학습 장치의 기능 블록도(클래스 결정을 행하는 경우),

도 25는 학습 처리(클래스 결정을 행하는 경우)를 도시하는 플로차트.

이하, 도면을 참조하면서, 이 발명의 1실시형태에 대해서 설명한다. 도 1은 본 발명을 적용하는 시스템의 구성을 도시하는 블록도이다. 화상 센서(10)는 현실 사회를 촬상한 화상 신호 DVa를 생성해서 화상 처리 장치(20)에 공급한다. 화상 처리 장치(20)는, 공급된 입력 화상의 화상 신호 DVa에 숨겨(埋)져 버린 정보의 추출을 행하고, 숨겨져 버린 정보를 추출한 화상 신호를 생성해서 출력한다.

또한, 화상 처리 장치(20)는, 외부로부터 공급된 여러 가지 정보 ET를 이용해서, 화상 신호 DVa에 숨겨져 버린 정보의 추출을 행할 수도 있도록 이루어져 있다.

화상 센서(10)는, 개체(個體) 촬상 소자인 CCD(Charge-Coupled Device) 에리어 센서나 MOS 에리어 센서를 구비한 비디오 카메라 등으로 구성되어 있고, 현실 사회를 촬상한다. 예를 들면, 도 2에 도시하는 바와 같이, 화상 센서(10)와 배경에 대응하는 오브젝트 OBb와의 사이(間)를, 전경에 대응하는 움직임 오브젝트 OBf가 화살표 A방향으로 이동할 때, 화상 센서(10)는, 전경에 대응하는 움직임 오브젝트 OBf를 배경으로 대응하는 오브젝트 OBb와 함께 촬상한다.

이 화상 센서(10)의 검출 소자는, 노광 시간(露光時間)에 대응하는 기간, 입력된 광을 전하(電荷)로 변환해서, 광전(光電) 변환된 전하를 축적(蓄積)한다. 전하의 양은, 입력된 광의 강도(强)와, 광이 입력되어 있는 시간에 거의 비례한다. 검출 소자는, 노광 시간에 대응하는 기간에 있어서, 입력된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더해(加) 간다. 즉, 검출 소자는 노광 시간에 대응하는 기간, 입력되는 광을 적분(積分)해서, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 시간에 대해서, 적분 효과가 있다고도 말할 수 있다. 이와 같이, 화상 센서로 광전 변환을 행하고, 입력된 광을 화소 단위로 전하로 변환해서 노광 시간 단위로 축적한다. 이 축적된 전하량에 따라서 화소 신호를 생성해서, 이 화소 신호를 이용해서 소망(원하는)의 프레임 레이트의 화상 신호를 생성해서 화상 처리 장치에 공급한다. 또한, 화상 센서의 노광 시간은, 상술한 바와 같 이 화상 센서가 입력된 광을 전하로 변환해서 검출 소자에 그 전하를 축적하는 기간이며, 셔터 동작이 행해지고 있지 않을 때는 화상 시간 간격(1프레임 기간)과 똑같은(等) 것이다. 또, 셔터 동작이 행해질 때는 셔터 개시간(開時間)과 똑같은 것이다.

도 3의 (a) 및 도 3의 (b)는 화상 신호로 도시되는 촬상 화상을 설명하기 위한 도면이다. 도 3의 (a)는 움직이고 있는 전경에 대응하는 움직임 오브젝트 OBf와, 정지하고 있는 배경에 대응하는 오브젝트 OBb를 촬상해서 얻어지는 화상을 도시하고 있다. 또한, 전경에 대응하는 움직임 오브젝트 OBf는 화살표 A방향으로 수평 이동하고 있는 것으로 한다.

도 3의 (b)는 도 3의 (a)에 도시하는 바와 같이 화살표 A방향으로 신장(伸)된 라인 L(파선으로 나타낸다)의 위치에서의 화상과 시간의 관계를 도시하고 있다. 움직임 오브젝트 OBf의 라인 L에서의 이동 방향의 길이가 예를 들면 9화소분(畵素分)이며, 1노광 기간 중에 5화소 이동하는 경우, 프레임 기간 개시시(時)에 화소 위치 P21에 있던 전단(前端)과 화소 위치 P13에 있던 후단(後端)은, 각각 화소 위치 P25, P17에서 노광 기간이 종료로 된다. 또, 셔터 동작이 행해지고 있지 않을 때, 1프레임에서의 노광 기간은 1프레임 기간과 똑같기 때문에, 다음 프레임 기간 개시시에 전단이 화소 위치 P26, 후단이 화소 위치 P18로 된다.

이 때문에, 라인 L의 프레임 기간에서, 화소 위치 P12까지와 화소 위치 P26부터는, 배경 성분만의 배경 영역으로 된다. 또, 화소 위치 P17∼P21은, 전경 성분만의 전경 영역으로 된다. 화소 위치 P13∼P16과 화소 위치 P22∼P25는, 배경 성분과 전경 성분이 혼합된 혼합 영역으로 된다. 혼합 영역은, 시간의 경과에 대응해서 배경 성분이 전경에 덮혀 감추어지는(覆隱) 커버드 백그라운드 영역과, 시간의 경과에 대응해서 배경 성분이 나타나는(現) 언커버드 백그라운드 영역으로 분류(分類)된다. 또한 도 3의 (b)에서는, 전경의 오브젝트 OBf의 진행 방향 전단 측에 위치하는 혼합 영역이 커버드 백그라운드 영역, 후단 측에 위치하는 혼합 영역이 언 커버드 백그라운드 영역으로 된다. 이와 같이, 화상 신호에는 전경 영역, 배경 영역, 또는 커버드 백그라운드 영역, 혹은 언커버드 백그라운드 영역을 포함하는 화상이 포함되는 것으로 된다.

여기서, 화상 시간 간격은 단(短)시간이며, 전경에 대응하는 움직임 오브젝트 OBf는 강체(剛體)로서 등속(等速)으로 이동하고 있다고 가정해서, 라인 L에서의 화소값의 시간 방향 분할 동작을 도 4에 도시하는 바와 같이 행한다. 이 시간 방향 분할 동작에서는, 화소값을 시간 방향으로 전개(展開)해서 가상 분할수(分割數)로 등시간(等時間) 간격으로 분할한다. 또한, 도 4에서 세로(縱) 방향은 시간에 대응하고, 도면중 위에서 아래로 향해서 시간이 경과하는 것을 도시하고 있다.

가상 분할수는, 전경에 대응하는 움직임 오브젝트의 화상 시간 간격에서의 움직임량 v등에 대응해서 설정한다. 예를 들면, 1프레임 기간내의 움직임량 v가 상술한 바와 같이 5화소일 때는, 움직임량 v에 대응해서 가상 분할수를 「5」로 설정해서, 1프레임 기간을 등시간 간격으로 5분할한다.

또, 배경에 대응하는 오브젝트 OBb를 촬상한 때에 얻어지는 화소 위치 Px의 1프레임 기간의 화소값을 Bx, 라인 L에서의 길이가 9화소분인 전경에 대응하는 움 직임 오브젝트 OBf를 정지시켜서 촬상한 때에 각 화소에서 얻어지는 화소값을 F09(전단측)∼F01(후단측)로 한다.

이 경우, 예를 들면 화소 위치 P14의 화소값 DP14는, 식 (1)에서 나타내어진다.

이 화소 위치 P14에서는, 배경의 성분을 3가상 분할 시간(프레임 기간/v) 포함하고, 전경 성분을 2가상 분할 시간 포함하므로, 화소값에 대한 배경 성분의 혼합비(混合比) α는 (3/5)로 된다. 마찬가지로, 예를 들면 화소 위치 P22에서는, 배경의 성분을 1가상 분할 시간 포함하고, 전경 성분을 4가상 분할 시간 포함하므로, 혼합비 α는 (1/5)로 된다.

이와 같이, 전경의 성분이 이동하기 때문에, 1노광 시간에서는, 다른(異) 전경의 성분이 가산되므로, 움직임 오브젝트에 대응하는 전경의 영역은, 움직임 흐릿해짐을 포함하는 것으로 된다. 이 때문에, 화상 처리 장치(20)에서는, 화상 신호 DVa에 숨겨져 버린 유의(有意) 정보를 추출해서 전경에 대응하는 움직임 오브젝트 OBf의 움직임 흐릿해짐을 제거시킨 화상 신호 D Vout를 생성한다.

여기서, 화상 위(上)의 주목 화소의 화소값의 산출 동작에 대해서 도 5를 이용해서 설명한다. 예를 들면 움직임 오브젝트 OBf내의 주목 화소의 화소값 F29를 구하는 경우, 주목 화소의 성분 F29/v를 포함하는 화소 위치 P47를 처리 대상의 화소인 착목(着目) 화소로 하면, 파선(破線)으로 나타내는 바와 같이 최초로 주목 화소의 성분 F29/v가 나타나는 화소 위치 P45, 및 화소 위치 P45와 인접(隣接)해서 주목 화소의 성분 F29/v를 가지고 있지 않은 화소 위치 P44에 대해서는, 식 (2)가 성립한다.

마찬가지로, 파선으로 나타내는 바와 같이 최후(最後)에 주목 화소의 성분 F29/v가 나타나는 화소 위치 P49 및 화소 위치 P49와 인접해서 주목 화소의 성분 F29/v를 가지고 있지 않은 화소 위치 P50에 대해서는, 식 (3)이 성립한다.

즉, 주목 화소의 화소값 F29는, 화소 위치 P44, P45의 화소값 DP44, DP45와 화소값 F24, 혹은 화소 위치 P49, P50의 화소값 DP49, DP50과 화소값 F34를 이용해서 산출할 수 있다.

또, 화소값 F24를 주목 화소의 화소값 F29와 마찬가지로 해서 구하는 것을 생각하면, 파선으로 나타내는 바와 같이 최초로 성분 F24/v가 나타나는 화소 위치 P40 및 화소 위치 P40과 인접해서 성분 F24/v를 가지고 있지 않은 화소 위치 P39에 대해서는, 식 (4)가 성립한다.

이 때문에, 화소 위치 P39, P40, P44, P45의 화소값 DP39, DP40, DP44, DP45와 화소값 F19를 이용해서 화소값 F29를 산출할 수 있다. 또, 화소값 F34도 마찬가지로 해서 구할 수가 있다.

이상과 같이 생각하면, 차분(差分)을 구하는 화소의 위치는, 움직임량 v의 간격을 가지고 되풀이(繰返; 반복)해서 나타나는 것으로 된다. 다시말해, 주목 화소의 화소값 F29는, 상술한 바와 같이 차분의 산출에 이용하는 화소 위치…, P39, P40, P44, P45, P49, P50, …의 화소값을 이용해서 산출할 수 있다.

또, 주목 화소의 화소값을 모델식(式)으로부터 산출하는 경우에 대해서 설명한다. 여기서, 도 6에 도시하는 바와 같이 주목 화소 Pna를 중심으로 해서 움직임 방향에 (2N+1) 화소분의 처리 영역을 설정한다. 도 7의 (a) 및 도 7의 (b)는 처리 영역의 설정예를 도시하고 있고, 움직임 흐릿해짐을 제거시키는 움직임 오브젝트 OBf의 화소에 대해서, 움직임 벡터의 방향이 예를 들면 화살표 A로 나타내는 바와 같이 수평 방향인 경우는, 도 7의 (a)에 도시하는 바와 같이 수평 방향에 처리 영역 WA를 설정한다. 또, 움직임 벡터의 방향이 경사진(斜) 방향인 경우는, 도 7의 (b)에 도시한 바와 같이, 해당하는 각도 방향에 처리 영역 WA를 설정한다. 단, 경사진 방향에 처리 영역을 설정할 때에는, 처리 영역의 화소 위치에 상당하는 화소값을, 보간(補間) 등에 의해서 구한다.

여기서, 처리 영역내에서는, 도 8에 도시하는 바와 같이, 실세계 변수(Y_-8, … , Y₀, …, Y₈) 이 시간 혼합되어 있다. 또한 도 8은, 움직임량 v가 「v=5」로서 처리 영역을 13 화소(N=6 : N은 주목 화소에 대한 처리폭의 화소수)로 했을 경우이다.

흐릿해짐 제거 처리에서는, 이 처리 영역에 대해서 실세계 추정을 행하고, 추정한 실세계의 중심 화소 변수 Y₀에 대응하는 화소값 DQ0을, 움직임 흐릿해짐 제 거가 이루어진 주목 화소의 화소값으로 한다.

여기서, 처리 영역을 구성하는 화소의 화소값을 X_-N, X_-N+1,… X₀, … , X_N-1, X_N으로 하면, 식 (5)에 나타내는 바와 같은(2N+1) 개(個)의 혼합식이 성립한다. 또한 화소값 Xt는, 화소 위치 Pt의 화소값을 나타내고 있다. 정수(定數) h는, 움직임량 v를 1/2배 한 때의 정수 부분의 값(소수점 이하를 잘라 버린(切捨) 값)을 나타내고 있다.

그러나, 구하고 싶은 실세계 변수(Y_-N-h,… , Y₀,… , Y_N+h)는, (2N+v) 개 있다. 즉, 변수의 수보다도 식의 수가 적기(少) 때문에, 식 (5)에 의거해서 실세계 변수(Y_-N-h, … , Y₀,… , Y_N+h)를 구할 수가 없다

그래서, 식 (6)에 도시하는 바와 같이 인접 화소 차분=0으로 하는 공간 상관(空間相關)을 이용한 구속식(拘束式)을 이용함으로써, 실세계 변수보다도 식의 수를 늘리(增)고, 최소 제곱법을 이용해서, 실세계 변수의 값을 구한다.

즉, 식 (5)에서 나타내어지는 (2N+1) 개의 혼합식과 식 (6)에서 나타내어지는 (2N+v-1) 개의 구속식을 합한(合) (4N+v) 개의 식을 이용해서, (2N+v) 개의 미 지 변수(未知變數)인 실세계 변수 (Y_-N-h, … , Y₀,… , Y_N+h)를 구한다.

여기서, 각 식에서 발생하는 오차(誤差)의 이승합(二乘和)이 최소로 되는 바와 같은 추정을 행하는 것으로, 움직임 흐릿해짐 제거 화상 생성 처리를 행하면서, 실세계에서의 화소값의 변동을 작게할 수 있다.

식 (7)은 도 8에 도시하는 바와 같이 처리 영역을 설정한 경우를 나타내고 있고, 식 (5)와 식 (6)의 각각의 식에서 발생하는 오차를 더한 것이다.

이 식 (7)은 식 (8)로서 나타낼 수가 있고, 식 (9)에 나타내는 오차의 이승합 E를 최소로 하는 바와 같은 Y (=Y_i)는 식 (10)으로 구해진다. 또한 식 (10)에서, T는 전치 행렬(轉置行列)인 것을 나타내고 있다.

여기서, 오차의 이승합(二乘和)은 식 (11)에서 나타내는 것으로 되고, 이 오차의 이승합을 편미분(偏微分) 해서, 식 (12)에 나타내는 바와 같이 편미분값이 0으로 되도록 하면, 오차의 이승합이 최소로 되는 식 (10)을 구할 수가 있다.

이 식 (10)의 선형 결합(線形結合)을 행하는 것으로, 실세계 변수 (Y_-N-h, …, Y₀, …, Y_N+h)를 각각 구할 수가 있고, 중심 화소 변수 Y₀의 화소값이 주목 화소의 화소값으로 된다.

상술(上述)에서는, AY=X+e에서의 오차의 이승합 E를 최소로 하도록, 최소 제곱법으로 실세계 변수 (Y_-N-h, … , Y₀, …, Y_N+h)를 구하고 있지만, 식의 수=변수의 수로 되도록 식을 만드는 것도 가능하다. 이 식을 AY=X 일 때, Y=A^-1X와 변형하는 것에 의해, 실세계 변수 (Y_-N-h, …, Y₀, …, Y_N+h)를 구할 수가 있다.

여기서, 도 5의 (a)에 도시하는 화소 위치 P47을 주목 화소로 해서 화소값 F29를 구하는 것으로 하면, 각 화소에 대해서 이용되는 처리 계수는, 도 5의 (b)와 같은 형상(形狀)을 나타내는 것으로 된다. 즉, 차분의 산출에 이용하는 화소 위치의 화소에 대한 처리 계수의 절대값이 기타(他) 화소에 대한 계수보다도 크게 된다. 이와 같은, 차분의 산출에 이용하는 화소 위치의 화소를 주요항으로 한다.

공간 방향의 주요항의 위치는, 도 9에 도시하는 바와 같이, 주목 화소 Pna를 기준으로 해서 움직임 방향에 움직임량에 따른 화소 위치로 된다. 또한, 주요항 MCa1은 주목 화소에 대해서 움직임 방향에 가장 근접(近接)한 주요항, 주요항 MCb1은 움직임 방향과는 역(逆)방향에서 가장 근접한 주요항을 도시하고 있다.

시간 방향의 주요항의 위치는, 도 10에 도시하는 바와 같이, 복수의 화상 위의 화소 위치에 겹치는(重) 것으로 된다. 또, 상술한 주요항 MCa1, MCb1에 대해서 주목하면, (t-1) 프레임의 화상 위의 주요항 MCa1의 위치는 (t) 프레임의 화상 위의 주요항 MCb1의 위치로 된다. 따라서, (t-1) 프레임과 (t) 프레임과의 한가운데의 위상(位相)으로서, 주요항 MCa1, MCb1과 대략 같은 화소 위치가, 주목 화소 Pna에 상당(相當)한다. 정확하게는, 주요항 MCa1은 화소값 X_-3, X_-2의 화소, 주요항 MCb1은 화소값 X₂, X₃의 화소에 상당하고, 주목 화소 Pna의 공간적인 위치는, 화소값 X_-3인 화소와 화소값 X_-2인 화소의 중간 위치, 혹은 화소값 X₂인 화소와 화소값 X₃인 화소와의 중간 위치에 상당한다.

여기서, 도 11의 (a)에 도시하는 바와 같이, 공간 방향의 주요항만을 사용해서, 공간 방향에 존재하는 주요항 MCa1과 주요항 MCb1과의 한가운데인 화소 위치를, 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위치로 하는 경우, 주목 화 소 Pna의 움직임 벡터를 정밀도 좋게 검출하지 않으면, 파선으로 나타내는 바와 같이 주요항 MCa1, MCb1 등의 위치가 크게 변동해 버리기 때문에, 주목 화소 Pna의 움직임 흐릿해짐을 정밀도 좋게 제거할 수 없게 되어 버린다.

또, 도 11의 (b)에 도시하는 바와 같이, 공간 방향의 주요항만을 사용해서, 프레임 사이의 한가운데를, 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위상으로 하는 경우, 주요항 MCb1의 위치는 움직임 벡터의 검출 정밀도에 의한 영향이 적지만, 나머지(殘) 주요항 MCa1 등의 위치는 파선으로, 나타내는 바와 같이 움직임 벡터의 검출 정밀도에 의한 영향이 크기 때문에, 주목 화소 Pna의 움직임 벡터를 정밀도 좋게 검출하지 않으면, 주목 화소 Pna의 움직임 흐릿해짐을 정밀도 좋게 제거할 수가 없게 되어 버린다.

또, 시간 방향의 주요항을 이용하는 경우더라도, 도 11의 (a)와 마찬가지로 주요항 MCa1과 주요항 MCb1과의 한가운데인 화소 위치를, 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위치로 하는 경우, 주목 화소 Pna의 움직임 벡터를 정밀도 좋게 검출하지 않으면, 시간 방향의 주요항의 위치가 변동해 버리기 때문에, 움직임 흐릿해짐을 정밀도 좋게 제거할 수가 없게 되어 버린다.

그래서, 도 12에 도시하는 바와 같이, 시간 방향의 주요항을 사용해서, 프레임 사이의 한가운데를 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위상으로 해서 주목 화소 Pna의 움직임 흐릿해짐 제거 후의 화소값을 생성한다. 즉, 도 10에 도시하는 (t-1) 프레임의 화상 위의 주요항 MCa1과 (t) 프레임의 화상 위의 주요항 MCb1을 이용해서, (t-1) 프레임과 (t) 프레임과의 한가운데의 위상으로서, 주 요항 MCa1, MCb1과 대략 같은 공간 위치의 화소를 주목 화상의 주목 화소 Pna로서 움직임 흐릿해짐 제거 후의 화소값을 생성한다. 이와 같이, 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위상을 (t-1) 프레임과 (t) 프레임의 한가운데로 했을 때, 시간의 방향의 주요항의 위치는, 움직임 벡터의 검출 정밀도에 의한 영향이 적으므로, 움직임 벡터를 정밀도 좋게 검출할 수 없어도, 주요항의 위치는 크게 변화하는 일이 없고, 움직임 벡터의 검출 정밀도에 크게 영향을 받는 일 없이 움직임 흐릿해짐 제거를 양호하게 행할 수가 있다.

또, (t-1) 프레임과 (t) 프레임의 주요항의 계수의 형상은, 도 10에서도 분명한(明) 바와 같이, 주목 화소 Pna의 위치에 대해서 시간 방향에서 각각 플러스 마이너스가 바뀐(入替; 교대, 대체) 바와 같은 복수 화소 분의 계수 즉 복수조의 계수가 되어 있다. 그 때문에, 시간적으로 전후(前後)의 화소값이 거의 동일(同一)해서 공간적으로도 상관이 강한 정지 배경과 같은 경우에는, 전후의 큰 계수끼리(同士)가 서로 부정하고(打消), 결과적으로 작은 계수를 할당(割當)한 때와 같게된다. 따라서, 움직임량이 큰 오브젝트에 대한 움직임 흐릿해짐 제거를 정지 배경 등에 대해서 행해도, 화상의 파탄을 일으키기 어렵게 할 수가 있다. 그러나, 검출된 움직임 벡터의 오차가 크면 파탄을 일으킬 우려가 있기 때문에, 후술하는 처리 계수의 학습에서, 정지 화상의 파탄에 대한 로버스트성(性)을 향상시킨다.

이와 같이, 시공간 방향의 주요항을 사용해서, 프레임 사이의 한가운데를, 움직임 흐릿해짐 제거 후의 주목 화소 Pna의 출력 위상으로 한 움직임 흐릿해짐 제거를 행하는 화상 처리 장치의 기능 블록도를 도 13에 도시한다. 또한, 화상 처리 장치의 각 기능은 하드웨어로 실현할지, 소프트웨어로 실현할지는 묻(問)지 않는다. 다시 말해, 도 13의 기능 블록은, 하드웨어로 실현하는 것으로 해도 좋고, 소프트웨어로 실현하는 것으로 해도 좋다.

여기서, 소프트웨어를 이용할 때의 화상 처리 장치(20)의 구성을 예를 들면 도 14에 도시한다. CPU(Central Processing Unit)(201)는, ROM(Read Only M emory)(202) , 또는 기억부(208)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 것이며, ROM(202)이나 기억부(208)에는, 화상 처리 장치의 각 기능을 실현하는 프로그램이 기억된다. RAM(Random Access Memory)(203)에는, CPU(201)가 실행하는 프로그램이나 데이터 등이 적당히 기억된다. 이들 CPU(201), ROM(202) 및 RAM(203)은, 버스(204)에 의해 상호 접속되어 있다.

또, CPU(201)에는, 버스(204)를 거쳐서 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(206), 디스플레이, 스피커 등으로 이루어지는 출력부(207)가 접속되어 있다. CPU(201)는, 입력부(206)로부터 입력되는 지령(指令)에 대응해서 각종 처리를 실행한다. 그리고, CPU(201)는, 처리 결과 얻어진 화상이나 음성 등을 출력부(207)에 출력한다.

입출력 인터페이스(205)에 접속되어 있는 기억부(208)는, 예를 들면 하드 디스크 등으로 구성되고, CPU(201)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(209)는, 인터넷, 그 외의 네트워크를 거쳐서 외부의 장치와 통신한다. 이 예의 경우, 통신부(209)는 센서의 출력을 취입(取入; capturing)하는 취득부로 서 작용한다. 또, 통신부(209)를 거쳐서 프로그램을 취득하고, 기억부(208)에 기억해도 좋다.

입출력 인터페이스(205)에 접속되어 있는 드라이브(210)는, 자기(磁氣)디스크, 광디스크, 광자기디스크, 혹은 반도체 메모리 등의 기록 매체가 장착(裝着)되었을 때, 그들을 구동하고, 기록 매체에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 기억부(208)에 전송되어 기억된다.

도 13에 도시하는 바와 같이, 화상 처리 장치(20)에 공급된 화상 신호 DVa는, 움직임 방향 검출부(32)의 방향 검출 처리부(321)와, 주변 화상 보존유지(保持)부(33) 의 제1 화상 보존유지부(331) 으로 제2 화상 보존유지부(332) 에 공급된다.

주목 화소 설정부(31)는, 예측하는 주목 화상내의 주목 화소 Pna의 설정을 행한다. 여기서, 상술한 도 10 및 도 12를 이용해서 설명한 바와 같이 (t-1) 프레임의 화상 위의 주요항 MCa1과 (t) 프레임의 화상 위의 주요항 MCb1을 이용하는 것에 의해, (t-1) 프레임과 (t) 프레임과의 한가운데의 위상으로서, 주요항 MCa1, MCb1과 대략 같은 화소 위치의 화소인 주목 화소의 움직임 흐릿해짐 제거 후의 화소값을 구할 수가 있다. 이 때문에, 화상 신호 DVa가 프로그레시브 포맷의 신호일 때, 주목 화소 설정부(31)는, 예측하는 주목 화상을 (t-1) 프레임과 (t) 프레임과의 한가운데의 위상의 화상으로서, 이 주목 화상내의 주목 화소 Pna의 설정을 행한다. 또, (t-1) 프레임과 (t) 프레임의 화상을 주변 화상으로 한다. 화상 신호 DVa가 인터레이스 포맷의 신호일 때, 주목 화소 설정부(31)는, 예측하는 주목 화상을 (t-1) 필드와 (t) 필드와의 한가운데의 위상의 화상으로서, 이 주목 화상내의 주목 화소 Pna의 설정을 행한다. 또, (t-1) 필드와 (t) 필드의 화상을 주변 화상으로 한다.

방향 검출 처리부(321)는, 화상 신호 DVa에 의거해서 화소마다의 움직임 벡터 검출을 행하고, 주목 화소 설정부(31)에서 설정된 주목 화소의 움직임 방향을 나타내는 움직임 방향 정보 vda를 움직임 방향 선택부(322)에 공급한다. 이 방향 검출 처리부(321)에서는, 블록 매칭법이나 구배법(勾配法) 등의 수법(手法)을 이용하는 것으로, 화소마다의 움직임 벡터를 검출할 수 있다.

움직임 방향 선택부(322)에는, 외부로부터 정보 ET로서 움직임 방향을 나타내는 움직임 방향 정보 vdb가 입력 가능하게 되어 있고, 방향 검출 처리부(321)로부터 공급된 움직임 방향 정보 vda 혹은 외부로부터 입력된 움직임 방향 정보 vdb의 어느 것인가를 선택해서, 선택한 움직임 방향 정보 vd를 화소값 생성부(38a)에 공급한다.

주변 화상 보존유지부(33)의 제1 화상 보존유지부(331)와 제2 화상 보존유지부(332)는, 메모리를 이용해서 구성되어 있고, 제1 화상 보존유지부(331)는, 주변 화상인 (t-1) 프레임의 화상을 보존유지 한다. 또, 제2 화상 보존유지부(332)는, 주변 화상인 (t) 프레임의 화상을 보존유지 한다.

화소값 추출부(36)는, 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 제1 화상 보존유지부(331) 및 제2 화상 보존유지부(332)에 보존유지되어 있는 주변 화상으로부터, 주목 화소 Pna의 공간 위치와 대략 같은 위치의 화소를 적어도 추출해서, 예측 탭 Ca로서 화소값 생성부(38a)에 공급한다.

도 15의 (a) 및 도 15의 (b)는, 예측 탭 Ca를 나타내고 있다. 화상 신호 DVa가 프로그레시브 포맷일 때, 화소값 추출부(36)는, 주변 화상인 (t-1) 프레임과 (t) 프레임의 화상으로부터, 도 15의 (a)에 도시하는 바와 같이 주목 화소 Pna의 공간 위치와 대략 같은 위치의 화소를 기준으로 해서, 예를 들면 21화소를 예측 탭으로서 추출한다. 화상 신호 DVa가 인터레이스 포맷일 때, 클래스 탭 추출부(351)는, 도 15의 (b)에 도시하는 바와 같이 주목 화소 Pna의 공간 위치와 같은 위치의 화소를 기준으로 해서, 주변 화상인 (t) 필드의 화상으로부터 21화소를 예측 탭으로서 추출하고, 주변 화상인 (t-1) 필드의 화상으로부터 주목 화소 Pna의 공간 위치와 같은 위치를 기준으로 해서 17화소를 예측 탭으로서 추출한다.

처리 계수 설정부(37a)는, 흐릿해짐 제거 처리에 이용하는 처리 계수를 미리 기억하고 있고, 움직임 방향 선택부에서 선택된 움직임 방향에 대응하는 복수조의 처리 계수 da를 화소값 생성부(38a)에 공급한다. 또, 처리 계수 설정부(37a)는, 외부로부터 정보 ET로서 움직임 흐릿해짐의 조정을 가능하게 하는 조정 정보 BS가 공급되었을 때, 이 조정 정보 BS에 의거해서, 화소값 생성부(38a)에 공급하는 처리 계수 da의 전환(切換)을 행하는 것으로 움직임 흐릿해짐 제거 효과를 조정한다. 예를 들면, 최초에 공급한 처리 계수에서 움직임 흐릿해짐이 최적으로 행해지지 않는 바와 같은 경우가 생겨도 처리 계수를 전환하는 것으로 움직임 흐릿해짐을 최적으로 제거하는 것이 가능하게 된다. 또, 처리 계수를 전환하는 것으로 의도적으로 움직임 흐릿해짐을 남겨(殘)두는 것도 가능하다.

화소값 생성부(38a)는, 움직임 방향 선택부(322)에서 선택된 움직임 방향 정보 vd에 의거해서, 화소값 추출부(36)의 제1 화상 보존유지부(331)로부터 추출한 화소의 화소값을 이용해서, 처리 계수 설정부(37a)로부터 공급된 처리 계수 da에 대응하는 움직임 방향의 화소값을 산출한다. 또, 산출한 화소값과 처리 계수 설정부(37a)로부터 공급된 처리 계수 da와의 곱합 연산(積和演算)을 행해서 화소값을 생성한다. 또, 제2 화상 보존유지부(332)로부터 추출한 화소의 화소값을 이용해서, 처리 계수 설정부(37a)로부터 공급된 처리 계수 da에 대응하는 움직임 방향의 화소값을 산출한다. 또, 산출한 화소값과 처리 계수 설정부(37a)로부터 공급된 처리 계수 da와의 곱합 연산을 행해서 화소값을 생성한다. 이 2개의 화소값을 통합(統合)하는 것으로 주목 화소의 화소값을 생성해서 , 화상 신호 D Vout로서 출력한다.

이와 같이, 복수의 주변 화상의 주요항의 화소값을 이용해서 주목 화상내의 주목 화소의 화소값을 생성하는 것으로, 주목 화소의 움직임 벡터를 정밀도 좋게 검출할 수가 없는 경우가 생겨도, 움직임 흐릿해짐 제거의 성능 저하(低下)를 적게 할 수가 있기 때문에, 움직임 벡터의 검출 어긋남에 대해서 매우 로버스트한 움직임 흐릿해짐 제거를 행하는 것이 가능하게 된다.

도 16은, 소프트웨어로 화상 처리를 행하는 경우의 플로차트를 도시하고 있다. 스텝 ST1에서 CPU(201)는, 움직임 흐릿해짐의 제거를 행하는 주목 화소를 설정해서 스텝 ST2로 진행(進)한다. 스텝 ST2에서 CPU(201)는, 주목 화소의 움직임 방향을 검출해서 스텝 ST3으로 진행한다. 스텝 ST3에서 CPU(201)는, 화소값 추출을 행하고, 주변 화상에 설정한 예측 탭의 화소값을 추출한다. 즉, CPU(201)는, 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 주목 화소와 공간 위치가 대략 같은 주변 화상내의 화소를 적어도 예측 탭으로서, 이 예측 탭의 화소값을 추출한다.

스텝 ST4에서 CPU(201)는, 스텝 ST2에서 검출한 움직임 방향에 따른 처리 계수를 설정해서 스텝 ST5로 진행한다.

스텝 ST5에서 CPU(201)는, 흐릿해짐 제거 처리를 각 프레임에 대해서 행한다. 즉, CPU(201)는, 스텝 ST3에서 추출한 예측 탭의 화소값과 스텝 ST4에서 설정한 처리 계수와의 연산 처리를 행하고, 흐릿해짐 제거가 이루어진 화소값을 산출해서 스텝 ST6로 진행한다.

스텝 ST6에서 CPU(201)는, 전체화면(全畵面)에 대해서 흐릿해짐 제거 처리가 완료했는지 여부를 판별하고, 흐릿해짐 제거 처리가 행해지고 있지 않은 화소가 있을 때는 스텝 ST1로 돌아오고, 전체화면에 대해서 흐릿해짐 제거가 완료한 때는 처리를 종료한다.

그런데, 도 13의 화상 처리 장치(20)에서는, 움직임 방향 선택부(322)에서 선택한 움직임 방향에 의거해서 처리 계수를 설정하는 것으로 했지만, 움직임 방향뿐만 아니라 화상의 신호 레벨도 이용해서 클래스 결정을 행하고, 결정된 클래스에 따라서 처리 계수를 선택해서 화소값 생성부에 공급하면, 더욱 더 정밀도 좋게 움직임 흐릿해짐 제거 처리를 행할 수가 있다.

도 17은 클래스 결정을 행하는 화상 처리 장치의 기능 블록면을 도시하고 있다. 또한, 도 13과 대응하는 부분에 대해서는 동일 부호(符號)를 붙이(付)고, 상세한 설명은 생략한다.

클래스 결정부(35)의 클래스 탭 추출부(351)는, 제1 화상 보존유지부(331) 및 제2 화상 보존유지부(332)에 보존유지되어 있는 주변 화상으로부터, 주목 화소에 대응하는 공간 위치를 기준으로 해서 클래스 탭을 추출해서, 추출한 클래스 탭 TPa를 클래스 분류부(352)에 공급한다.

도 18의 (a) 및 도 18의 (b)는, 클래스 탭을 도시하고 있다. 화상 신호 DVa가 프로그레시브 포맷일 때, 클래스 탭 추출부(351)는, 주변 화상인 (t-1) 프레임과 (t) 프레임의 화상으로부터, 도 18의 (a)에 도시하는 바와 같이 주목 화소 Pna에 대응하는 공간 위치를 기준으로 해서, 예를 들면 주목 화소 Pna에 대응하는 공간 위치의 화소와, 이 화소에 인접하는 화소를 포함해서 9화소를 클래스 탭으로서 추출한다. 화상 신호 DVa가 인터레이스 포맷일 때, 클래스 탭 추출부(351)는, 도 18의 (b)에 도시하는 바와 같이 주목 화소 Pna에 대응하는 공간 위치를 기준으로 해서, 예를 들면 주변 화상인 (t) 필드의 화상으로부터 주목 화소 pna에 대응하는 공간 위치의 화소와, 이 화소에 인접하는 화소를 포함해서 9화소를 클래스 탭으로서 추출한다. 또, 주변 화상인 (t-1) 필드의 화상으로부터 주목 화소 Pna에 대응하는 공간 위치와 겹쳐짐을 가지는 화소 및 이 화소와 인접하는 화소를 포함해서 12화소를 클래스 탭으로서 추출한다.

클래스 분류부(352)는, 움직임 방향 검출부(32)로부터 공급된 움직임 방향 정보 vd나 클래스 탭 추출부(351)에서 추출된 클래스 탭 TPa에 의거해서 클래스 분류를 행하고, 클래스 코드 KA를 결정해서, 처리 계수 설정부(37b)에 공급한다.

여기서, 클래스 탭 추출부(351)에서 추출된 클래스 탭 TPa를 이용해서 클래스 분류를 행하는 경우에는, 클래스 탭 TPa로부터 산출한 액티비티에 의거해서 클래스 분류를 행한다.

액티비티라 함은, 인접하는 화소 사이의 차분값의 합(和)이며 공간 상관을 나타내는 것이다. 여기서, 도 18의 (a)에 도시하는 바와 같이 클래스 탭이 선택되었을 때는, 3화소×3화소의 합계 9화소와 인접하는 화소 사이의 차분이 액티비티이다. 또, 도 18의 (b)의 (t-1) 필드와 같이 클래스 탭이 선택되었을 때는, 4화소×3화소의 합계 12화소와 인접하는 화소 사이의 차분이 액티비티이다. 예를 들면, 도 19에 도시하는 바와 같이 클래스 탭을 추출했을 때, 화소를 나타내는 매스눈(目)에 기록(記)된 문자를 화소값으로 하면, 액티비티 AC는 식 (13)에 의거해서 산출할 수가 있다. 또한 공간 상관이 높은 경우, 액티비티 AC의 값은 작아지고, 공간 상관이 낮은 경우, 액티비티 AC의 값은 크게된다.

이와 같이 해서, 제1 화상 보존유지부(331)에 보존유지되어 있는 주변 화상으로부터 추출한 클래스 탭으로부터 산출한 액티비티 ACt-1과, 제2 화상 보존유지 부(332)에 보존유지되어 있는 주변 화상으로부터 추출한 클래스 탭으로부터 산출한 액티비티 ACt를 이용해서, 식 (14)와 같이 액티비티 클래스 AL을 결정한다.

또, 움직임 방향 정보 vd와 액티비티 클래스 AL에 의거해서, 클래스 코드 KA를 결정한다.

화소값 추출부(36)는, 상술한 바와 같이, 제1 화상 보존유지부(331) 및 제2 화상 보존유지부(332)에 보존유지되어 있는 주변 화상으로부터, 주목 화소 Pna의 공간 위치와 대략 같은 위치의 화소를 적어도 추출해서, 예측 탭 Ca로서 화소값 생성부(38b)에 공급한다.

처리 계수 설정부(37b)는, 흐릿해짐 제거 처리에 이용하는 처리 계수를 클래스 코드마다 미리 기억하고 있고, 클래스 분류부(352)로부터 공급된 클래스 코드 KA에 따른 처리 계수 db를 선택해서 화소값 생성부(38b)에 공급한다. 또, 처리 계수 설정부(37b)는, 외부로부터 정보 ET로서 움직임 흐릿해짐의 조정을 가능하게 하는 조정 정보 BS가 공급되었을 때, 이 조정 정보 BS에 의거해서, 선택하는 처리 계수의 전환을 행하는 것으로 움직임 흐릿해짐 제거 효과를 조정한다. 예를 들면, 클래스 코드 KA에 따른 처리 계수 db를 이용했을 때 움직임 흐릿해짐이 최적으로 행해지지 않는 바와 같은 경우가 생겨도 처리 계수를 전환하는 것으로 움직임 흐릿해짐을 최적으로 제거하는 것이 가능하게 된다. 또, 처리 계수를 전환하는 것으로, 의도적으로 움직임 흐릿해짐을 남겨두는 것도 가능하다.

화소값 생성부(38b)는, 화소값 추출부(36)로부터 공급된 예측 탭 Ca와 처리 계수 설정부(37b)로부터 공급된 처리 계수 db와의 연산 처리를 행하고, 주목 화상내의 주목 화소의 화소값을 생성한다. 예를 들면, 제1 화상 보존유지부(331)에 보존유지되어 있는 주변 화상으로부터 추출한 예측 탭과 처리 계수의 곱합 연산을 행해서 화소값을 생성한다. 또, 제2 화상 보존유지부(332)에 보존유지되어 있는 주변 화상으로부터 추출한 예측 탭과 처리 계수의 곱합 연산을 행해서 화소값을 생성한다. 이 2개의 화소값을 통합하는 것으로 주목 화소의 화소값을 생성해서, 화상 신호 D Vout로서 출력한다.

이와 같이, 복수의 주변 화상의 주요항의 화소값을 이용해서 주목 화상내의 주목 화소의 화소값을 생성함으로써, 주목 화소의 움직임 벡터를 정밀도 좋게 검출할 수가 없는 경우가 생겨도, 움직임 흐릿해짐 제거의 성능 저하를 적게할 수가 있기 때문에, 움직임 벡터의 검출 어긋남에 대해서 매우 로버스트한 움직임 흐릿해짐 제거를 행하는 것이 가능하게 된다.

도 20은, 소프트웨어로 화상 처리를 행하는 경우의 플로차트를 도시하고 있다. 스텝 ST11에서 CPU(201)는, 움직임 흐릿해짐의 제거를 행하는 주목 화소를 설정해서 스텝 ST12로 진행한다. 스텝 ST12에서 CPU(201)는, 주목 화소의 움직임 방향을 검출해서 스텝 ST13으로 진행한다. 스텝 ST13에서 CPU(201)는, 주목 화소의 클래스 결정을 행한다. 이 클래스 결정에서는, 주목 화소의 움직임 방향이나, 주목 화소의 공간 위치를 기준으로 해서 주변 화상에 설정한 클래스 탭의 화소값에 의거해서 클래스 분류를 행해서 클래스 코드를 결정한다. 스텝 ST14에서 CPU(201) 는, 화소값 추출을 행하고, 주변 화상에 설정한 예측 탭의 화소값을 추출한다. 즉, CPU(201)는, 움직임 오브젝트에서의 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 주목 화소와 공간 위치가 대략 같은 주변 화상내의 화소를 적어도 예측 탭으로서, 이 예측 탭의 화소값을 추출한다.

스텝 ST15에서 CPU(201)는, 스텝 ST12에서 검출한 움직임 방향과 스텝 ST13에서 결정한 클래스에 따른 처리 계수를 설정해서 스텝 ST16으로 진행한다.

스텝 ST16에서 CPU(201)는, 흐릿해짐 제거 처리를 각 프레임에 대해서 행한다. 즉, CPU(201)는, 스텝 ST14에서 추출한 예측 탭의 화소값과 스텝 ST15에서 결정한 처리 계수와의 연산 처리를 행하고, 흐릿해짐 제거가 이루어진 화소값을 산출해 스텝 ST17로 진행한다.

스텝 ST17에서 CPU(201)는, 전체화면에 대해서 흐릿해짐 제거 처리가 완료했는지 여부를 판별하고, 흐릿해짐 제거 처리가 행해지고 있지 않은 화소가 있을 때는 스텝 ST11로 돌아오고, 전체화면에 대해서 흐릿해짐 제거가 완료한 때는 처리를 종료한다.

다음에, 처리 계수 설정부에 기억되는 처리 계수를 학습에 의해서 구해서 흐릿해짐 제거 처리를 행하는 경우에 대해서 설명한다.

도 21은, 처리 계수를 학습에 의해서 구해서 흐릿해짐 제거 처리를 행하는 경우의 구성을 도시한 것이다. 학습 장치(60)는, 교사 화상과, 교사 화상에 움직임 흐릿해짐을 부가한 학생 화상을 이용해서 학습 처리를 실행하고, 이 학습에 의해 얻어지는 처리 계수를 화상 처리 장치(20)의 처리 계수 설정부에 기억시킨다. 화상 처리 장치(20)는, 입력 화상으로 되는 움직임 흐릿해짐을 포함하는 화상으로부터 주목 화소의 공간 위치와 대략 같은 위치의 화소를 적어도 포함하도록 예측 탭을 선택해서, 이 예측 탭의 화소값과 처리 계수 설정부에 기억되어 있는 처리 계수를 이용하고, 연산 처리를 행해서 흐릿해짐 제거가 행해진 주목 화소의 화소값을 구한다. 교사 화상은, 고속 촬상 카메라를 이용해서 촬상한 화상이나 정지 화상을 이용한다. 또, 학생 화상은, 고속 촬상 카메라를 이용해서 촬상한 화상을 정지 화상으로 해서, 이 화상을 시간 적분하는 것에 의해 생성한다. 혹은, 움직임 방향이나 움직임량을 설정해서, 이 설정한 움직임 방향이나 움직임량에 따른 움직임 흐릿해짐과 노이즈를 정지 화상에 부가한 것을 학생 화상으로 한다.

여기서, 학생 화상을 생성하는 경우, 움직임 벡터의 검출 어긋남에 대한 로버스트성을 높이기 위해서, 처리 계수를 구하는 움직임량이나 움직임 방향의 학생 화상뿐만 아니라, 움직임량이나 움직임 방향 중 적어도 어느 것인가 한쪽을 변경(變更)한 학생 화상을 생성해서, 이들 학생 화상을 이용해서 학습을 행해서 처리 계수를 설정한다. 또, 정지하고 있는 오브젝트가 포함되어 있는 화상에 대해서 움직임 흐릿해짐 제거를 행해도, 정지하고 있는 오브젝트의 화상이 파탄하지 않도록, 움직임량을「0」으로 해서 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하고, 이 움직임 흐릿해짐을 부가하고 있지 않은 학생 화상도 이용해서 학습을 행해서 처리 계수를 설정한다. 또한, 처리 계수의 학습에서는, 학습 소스를 HD 포맷이나 SD 포맷의 화상 신호 등으로 변화하는 것에 의해서, 각 화상 포맷에 따른 최적인 계수를 생성하는 것도 가능하게 된다.

도 22는, 클래스 결정을 행하지 않을 때에 이용하는 처리 계수를 생성하기 위한 학습 장치(60)의 기능 블록도면을 도시하고 있다. 움직임 설정부(61)는, 움직임 방향의 설정이나 움직임량의 설정을 행하고, 설정된 움직임 방향이나 움직임량을 나타내는 움직임 정보 MH를 학생 화상 생성부(62)에 공급한다. 여기서, 움직임 방향의 설정에서는, 예를 들면 소정(所定; 미리 정해진)의 각도차(角度差)를 가지고 움직임 방향을 복수 설정한다. 또, 각 움직임 방향에 대해서 다른 복수의 움직임량을 각각 설정하는 것으로 해도 좋다.

학생 화상 생성부(62)의 움직임 흐릿해짐 부가부(付加部)(621)는, 교사 화상에 대해서 움직임 정보 MH로 나타내어진 움직임 방향이나 움직임량에 따른 움직임 흐릿해짐의 부가를 행해서 전체화면 이동부(622)에 공급한다. 전체화면 이동부(622)는, 움직임 흐릿해짐이 부가된 교사 화상을 움직임 정보 MH에 의거하는 움직임량으로 움직임 방향에 전체화면 이동해서, 학생 화상을 생성한다.

또, 학생 화상 생성부(62)는, 특정의 비율로, 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상의 생성을 행한다. 또, 움직임 설정부(61)로부터의 움직임 정보 MH에 의해서 나타내어진 제1 움직임 방향의 움직임 흐릿해짐에 대응하는 예측 계수를 생성할 때, 제1 움직임 방향에 가까운 제2 움직임 방향의 움직임 흐릿해짐을 가지는 학생 화상의 생성을 특정의 비율로 행한다. 또, 움직임 흐릿해짐을 부가하지 않는 학생 화상의 생성이나, 제2 움직임 방향의 움직임 흐릿해짐을 가지는 학생 화상의 생성의 비율을 전환해서 처리 계수의 생성을 행한다.

예를 들면, 움직임 정보 MH로 나타내어진 움직임 방향의 복수의 학생 화상 에, 움직임 정보 MH로 나타내어진 제1 움직임 방향에 가까운 제2 움직임 방향에 따른 움직임 흐릿해짐의 부가나 전체화면 이동을 행해서 생성한 학생 화상을 특정의 비율로 포함하는 것으로 한다. 혹은, 움직임 정보 MH로 나타내어진 움직임 방향이나 움직임량의 복수의 학생 화상에, 움직임 정보 MH로 나타내어진 움직임 방향이나 움직임량과 다른 움직임 방향이나 움직임량에 따른 움직임 흐릿해짐의 부가나 전체화면 이동을 행해서 생성한 학생 화상을 특정의 비율로 포함시키는 것으로 한다. 이와 같이, 움직임 방향이나 움직임 방향과 움직임량을 변경한 학생 화상을 포함시키는 것으로 하면, 움직임 방향이나 움직임량의 변동에 의한 영향을 받기 어려운 움직임 흐릿해짐 제거 처리를 행할 수가 있다. 또, 움직임량을 「0」으로 한 학생 화상의 생성도 행하는 것으로 하면, 정지 화상에 대한 움직임 흐릿해짐 제거 처리도 가능하게 된다. 또, 움직임 정보 MH로 나타내어진 움직임 방향이나 움직임량과는 다른 움직임 방향이나 움직임량을 포함시키는 비율을 전환해서 처리 계수의 생성을 행하고, 유저가 소망의(원하는) 비율의 처리 계수를 선택 가능하게 한다. 이와 같이, 움직임 방향이나 움직임량을 포함시키는 비율을 전환해서 생성한 처리 계수를 선택 가능하게 하면, 유저의 기호(好; 취향)에 따른 움직임 흐릿해짐 제거 처리를 행할 수가 있다. 예를 들면, 유저가 정지 화상(靜止畵) 부분의 움직임 흐릿해짐 제거를 행할 때는, 움직임량을 「0」으로 한 학생 화상의 비율을 많(多)게 해서 생성한 처리 계수를 선택함으로써, 정지 화상 부분의 움직임 흐릿해짐 제거를 보다 정밀도 좋게 행할 수가 있다. 또, 움직임 방향의 편차(distribution)가 큰 동화상(動畵) 부분의 움직임 흐릿해짐 제거를 행할 때는, 움직임 방향이 다른 학생 화상의 비율을 많게 해서 생성한 처리 계수를 선택함으로써, 움직임 방향의 편차가 큰 동영상 부분의 움직임 흐릿해짐 제거를 정밀도 좋게 행할 수가 있다.

또, 학생 화상 생성부(62)에서 학생 화상을 생성하는 경우, 2개의 학생 화상의 한가운데의 위상이 교사 화상으로 되도록 학생 화상을 생성한다. 예를 들면, 움직임 흐릿해짐이 부가된 교사 화상을 움직임 정보 MH로 나타내어진 움직임 방향과는 역방향에 움직임량의 1/2만큼 이동시켜서, (t-1) 프레임의 화상에 상당하는 제1 학생 화상을 생성한다. 또, 움직임 흐릿해짐이 부가된 교사 화상을 움직임 정보 MH로 나타내어진 움직임 방향에 움직임량의 1/2만큼 이동시켜서, 예를 들면 (t) 프레임의 화상에 상당하는 제2 학생 화상을 생성한다. 이와 같이 학생 화상을 생성하면, 교사 화상은 주목 화상에 상당하고, 학생 화상은 주변 화상에 상당하는 것으로 된다. 전체화면 이동부(622)에서 생성한 제1 학생 화상은, 제1 화상 보존유지부(623)에 기억시킨다. 또, 전체화면 이동부(622)에서 생성한 제2 학생 화상은, 제2 화상 보존유지부(624)에 기억시킨다.

노이즈 성분 부가부(625, 626)는, 화상 신호 DVa에 노이즈가 중첩(重疊)되어 있어도, 이 노이즈의 영향을 받는 일 없이 움직임 흐릿해짐 제거 처리를 행할 수가 있도록, 화상 신호 DVa에 중첩되는 노이즈 NZ를 미리 제1 및 제2 학생 화상에 중첩 시켜서, 처리 계수를 학습시키기 위한 것이다. 이와 같이, 노이즈 성분 부가부(625, 626)를 만들(設)고 학습을 행하는 것에 의해, 노이즈 성분 부가부(625, 626)를 만들지 않고 학습을 행한 경우보다도 노이즈의 영향이 적고 움직임 흐릿해짐 제거 처리를 정밀도 좋게 행하는 것이 가능하게 된다. 또, 노이즈량을 조정함 으로써 흐릿해짐 감을 변화시키는 것이 가능하게 된다.

여기서, 학생 화상에 부가하는 노이즈로서는, 예를 들면 균일(均一)한 휘도의 피사체를 디지털 카메라나 비디오 카메라로 촬영해서, 피사체 화상을 더하는(足入) 것에 의해 기준 화상을 생성한다. 이 기준 화상을 각각의 촬영 화상으로부터 빼는(差引; 공제하는)것으로 얻어지는 노이즈를 이용한다. 이와 같은 노이즈를 이용하는 것으로 하면, 실제로 촬영한 화상에 대한 움직임 흐릿해짐 제거를 보다 효과적으로 행할 수가 있다.

예측 탭 추출부(64)는, 학생 화상 생성부(62)에서 생성된 제1 및 제2 학생 화상으로부터, 상술한 화소값 추출부(36)와 마찬가지로 해서 예측 탭 Ca의 추출을 행하고, 예측 탭의 화소값을 정규 방정식 생성부(651)에 공급한다.

처리 계수 생성부(65)의 정규 방정식 생성부(651)는, 예측 탭 추출부(64)에서 추출한 예측 탭 Ca의 화소값과 교사 화상의 화소값으로부터 움직임 방향마다 정규 방정식을 생성하고, 계수 결정부(652)에 공급한다. 계수 결정부(652)는, 정규 방정식 생성부(651)로부터 공급된 정규 방정식에 의거해서 처리 계수를 학생 화상마다 연산해서, 얻어진 학생 화상마다의 처리 계수를 움직임 방향마다 처리 계수 설정부(37a)에 기억시킨다. 이 정규 방정식 생성부(651)와, 계수 결정부(652)에 대해서 더 설명한다.

상술한 화소값 생성부(38a)는, 화소값 추출부(36)에서 추출된 예측 탭의 화소값과, 처리 계수 설정부(37a)로부터 공급된 처리 계수를 이용해서, 예를 들면 식 (15)에 나타내는 선형 결합을 행하고, 주변 화상마다 흐릿해짐 제거 처리 후의 화 소값을 생성한다.

또한, 식 (15)에서, q’는, 흐릿해짐 제거가 행해진 화소의 화소값을 나타내고 있다. c_i (i는, 1 내지 n의 정수값(整數値)으로 처리 범위의 각 화소를 나타낸다)는, 처리 영역의 화소값을 나타내고 있다. 또, d_i는 처리 계수를 나타내고 있다.

이 식 (15)에서, 학습전(學習前)은 처리 계수 d_i의 각각이 미정 계수(未定係數)이다. 처리 계수의 학습은, 복수의 교사 화상(정지 화상)의 화소를 입력하는 것에 의해서 행한다. 교사 화상의 화소가 m개 존재하고, m개의 화소의 화소 데이터를 「q_k (k는 1 내지 m의 정수값(整數値)」으로 기술하는 경우, 식 (15)로부터, 다음 식 (16)이 설정된다.

여기서, 식 (16)은, 우변(右邊)의 연산을 행하는 것으로, 움직임 흐릿해짐이 없는 실제(實際)의 화소값 q_k와 거의 똑같은 흐릿해짐 제거후의 화소값 q_k’를 얻을 수가 있다. 또한 식 (16)에서, 이퀄(=)이 아닌 니어 이퀄(≒)로 되어 있는 것은 오차를 포함하기 때문이다. 즉, 우변의 연산 결과인 흐릿해짐 제거 후의 화소값은, 움직임 흐릿해짐이 없는 실제 화상에서의 주목 화소의 화소값과 엄밀하게는 일 치하지 않고, 소정의 오차를 포함하기 때문에 있다.

이 식 (16)에서, 오차의 제곱합을 최소로 하는 처리 계수 d_i가 학습에 의해 구해지면, 그 처리 계수 d_i는, 흐릿해짐 제거후의 화소값 q_k를 움직임 흐릿해짐이 없는 화소값에 가깝게(近)하기 위한 최적인 계수로 생각된다. 따라서, 예를 들면 학습에 의해 모여(集)진 m개 (단, m은, n보다 큰 정수(整數))의 화소값 q_k를 이용해서, 최소 제곱법에 의해 최적인 처리 계수 d_i를 결정한다.

식 (16)의 우변의 처리 계수 di를 최소 제곱법으로 구하는 경우의 정규 방정식은, 식 (17)로서 나타낼 수가 있다.

따라서, 식 (17)에 나타내는 정규 방정식을 푸(解)는 것으로 처리 계수 d_i를 결정할 수 있다. 구체적으로는, 식 (17)에서 나타내어지는 정규 방정식의 행렬의 각각을, 다음 식 (18) 내지 (20)과 같이 정의(定義)하면, 정규 방정식은, 다음 식 (21)과 같이 나타내어진다.

식 (19)에서 나타내어지는 바와 같이, 행렬 D_MAT의 각 성분은, 구하고 싶은 처리 계수 d_i이다. 따라서, 식 (21)에서, 좌변의 행렬 C_MAT와 우변의 행렬 Q_MAT가 결정되면, 행렬 해법(行列解法)에 의해서 행렬 D_MAT (즉, 처리 계수 d_i)의 산출이 가능하다. 구체적으로는, 식 (18)에서 나타내어지는 바와 같이, 행렬 C_MAT의 각 성분은, 예측 탭 ci_k가 이미 알려져(旣知) 있으면 연산 가능하다. 예측 탭 c_ik는, 예측 탭 추출부(64)에 의해 추출되므로, 정규 방정식 생성부(651)는, 예측 탭 추출부(64)로부터 공급되는 예측 탭 c_ik의 각각을 이용해서 행렬 C_MAT의 각 성분을 연산할 수가 있다.

또, 식 (20)에서 나타내어지는 바와 같이, 행렬 Q_MAT의 각 성분은, 예측 탭 c_ik와 정지 화상의 화소값 q_k가 이미 알려져 있으면 연산 가능하다. 예측 탭 c_ik는, 행렬 C_MAT의 각 성분에 포함되는 것과 동일한 것이며, 또 화소값 q_k는, 예측 탭 c_ik에 포함되는 주목 화소 (학생 화상의 화소)에 대한 교사 화상의 화소이다. 따라서, 정규 방정식 생성부(651)는, 예측 탭 추출부(64)로부터 공급된 예측 탭 c_ik와, 교사 화상을 이용해서 행렬 Q_MAT의 각 성분을 연산할 수가 있다.

이와 같이 해서, 정규 방정식 생성부(651)는, 행렬 C_MAT와 행렬 Q_MAT의 각 성분을 연산하고, 그 연산 결과를 계수 결정부(652)에 공급한다.

계수 결정부(652)는, 상술한 식 (19)의 행렬 D_MAT의 각 성분인 처리계수 d_i를 연산한다. 구체적으로는, 상술한 식 (21)의 정규 방정식은, 다음 식 (22)와 같이 변형(變形)할 수 있다.

D_MAT=C_MAT ^-1 Q_MAT … (22)

식 (22)에서, 좌변의 행렬 D_MAT의 각 성분이, 구하는 처리 계수 d_i이다. 또, 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분은, 정규 방정식 생성부(651)로부터 공급된다. 따라서, 계수 결정부(652)는, 정규 방정식 생성부(651)로부터 행렬 C_MAT와 행렬 Q_MAT의 각각의 각 성분이 공급되어 올 때, 식 (22)의 우변의 행렬 연산을 행하는 것으로 행렬 D_MAT를 연산하고, 그 연산 결과(처리 계수 d_i)를 처리 계수 설정부(37a)에 기억시킨다. 또, 움직임 설정부(61)에서 설정하는 움직임 방향을 전환해서 상술한 학습을 행하는 것으로 하면, 복수조의 예측 탭의 화소값과 교사 화상내의 주목 화소와의 관계에 의거해서, 예측 탭의 화소값으로부터 교사 화상내의 주목 화소를 예측하는 처리 계수를, 적어도 움직임 방향마다, 처리 계수 설정부에 기억시킬 수가 있다.

또, 학생 화상 생성부에서 부가한 노이즈에 따라서 처리 계수를 움직임 방향마다 처리 계수 설정부(37a)에 기억시킨다. 이와 같이 노이즈에 따라서 처리 계수를 움직임 방향마다 기억시키면, 상술한 바와 같이, 조정 정보 BS에 의거해서 선택하는 처리 계수를 전환 가능하게 할 수가 있다.

도 23은, 학습 장치가 실행하는 학습 처리를 도시하는 플로차트이다. 스텝 ST21에서는, 생성하는 처리 계수의 움직임량과 움직임 방향을 설정한다.

스텝 ST22에서는, 움직임 흐릿해짐 부가를 행하고, 스텝 ST21에서 설정한 움직임량에 따라서 교사 화상에 움직임 흐릿해짐을 부가한다. 스텝 ST23에서는, 전체화면 이동을 행하고, 스텝 ST22에서 움직임 흐릿해짐을 부가한 교사 화상을 스텝 ST21에서 설정된 움직임량이나 움직임 방향에 의거해서 전체화면 이동해서, 주변 화상에 대응하는 학생 화상을 생성한다. 이 학생 화상의 생성에서는, 특정의 비율로, 설정된 움직임량 및 움직임 방향 중 적어도 어느 것인가 한쪽을 변경하고, 변경후의 움직임량과 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐의 부가나 전체화면 이동을 행해서 학생 화상을 생성한다. 또, 특정의 비율로, 움직임량을 「0」으로 한 학생 화상의 생성도 행한다. 스텝 ST24에서는, 노이즈 부가 처리를 행하고, 학생 화상에 노이즈를 부가한다.

스텝 ST25에서는, 노이즈가 부가된 학생 화상으로부터 예측 탭을 추출한다. 스텝 ST26에서는, 교사 화상과 추출한 예측 탭을 이용해서 적어도 움직임 방향마다 정규 방정식을 생성한다. 스텝 ST27에서는, 정규 방정식을 풀어서 처리 계수를 생성한다.

스텝 ST28에서는, 전체화면에 대해서 처리를 행(施)했는지 여부를 판정해서, 전체화면에 대해서 처리를 실지하고 있지 않을 때는, 새로운 화소에 대해서 스텝 ST21로부터의 처리를 반복하고, 모든 화소의 처리가 종료한 때에는, 학습 처리를 종료한다.

이와 같이, 지정(指定)된 움직임량이나 움직임 방향에 따른 처리 계수를 학습할 때에, 지정된 움직임량이나 움직임 방향의 학생 화상뿐만 아니라, 지정된 움직임량이나 움직임 방향과 오차를 일으키는 학생 화상을 학습 소스에 포함시키는 것으로, 움직임 벡터의 검출 오차에 대한 로버스트성을 향상시키는 것이 가능하게 되고, 검출된 움직임 벡터가 오차를 일으켜도, 움직임 흐릿해짐 제거를 양호하게 행할 수가 있다.

또, 움직임량을 「0」으로 해서, 움직임 흐릿해짐이 부가되고 있지 않은 학생 화상을 학습 소스에 포함하는 것으로, 정지 화상의 파탄에 대한 로버스트성을 향상시키는 것이 가능하게 되고, 검출된 움직임 벡터가 오차를 일으켜도, 움직임 흐릿해짐 제거를 행한 때에 정지 화상의 파탄이 생겨 버리는 것을 방지할 수 있다. 또, 처리 계수의 학습에서 부가하는 노이즈량을 조정함으로써 흐릿해짐 감을 변화시키거나, 흐릿해짐량이 틀린(違) 학생 화상의 비율을 조정해서, 새로운 흐릿해짐 감을 만들어 내는 것도 가능하게 된다.

다음에, 클래스 결정을 행하는 것으로 한 때에 이용하는 처리 계수를 생성하는 학습 장치(60)의 기능 블록도를 도 24에 도시하고 있다. 또한 도 24에서, 도 22와 대응하는 부분에 동일 부호를 붙이고, 상세한 설명은 생략한다.

클래스 결정부(63)는 상술한 클래스 결정부(35)와 마찬가지로 해서 주목 화소에 클래스 코드 KB를 결정해서 처리 계수 생성부(65)의 정규 방정식 생성부(651)에 공급한다.

예측 탭 추출부(64)는, 학생 화상 생성부(62)에서 생성된 제1 및 제2 학생 화상으로부터, 상술한 화소값 추출부(36)와 마찬가지로 해서 예측 탭 Ca의 추출을 행하고, 예측 탭의 화소값을 정규 방정식 생성부(651)에 공급한다.

처리 계수 생성부(65)의 정규 방정식 생성부(651)는, 예측 탭 추출부(64)에서 추출한 예측 탭 Ca의 화소값과 교사 화상의 화소값으로부터 클래스 코드마다 정규 방정식을 생성하고, 계수 결정부(652)에 공급한다. 계수 결정부(652)는, 정규 방정식 생성부(651)로부터 공급된 정규 방정식에 의거해서 처리 계수를 연산해서, 얻어진 복수조의 처리 계수를 처리 계수 설정부(37b)에 기억시킨다. 또, 처리 계수의 생성을 움직임 방향을 전환해서 행하는 것으로, 처리 계수 설정부(37b)에는, 움직임 방향과 클래스에 따른 복수조의 처리 계수를 기억시킨다. 또 움직임량을 전환해서 처리 계수의 생성을 행하는 것으로 하면, 더욱 더 정밀도가 좋은 처리 계수를 얻을 수가 있다.

또, 학생 화상 생성부에서 부가한 노이즈에 따라서 처리 계수를 클래스로 나눠(分)서, 처리 계수 설정부(37b)에 기억시킨다. 이와 같이 노이즈에 따라서 처리 계수를 클래스 나눔 하면, 상술한 바와 같이, 조정 정보 BS에 의거해서 클래스를 변경해서 선택하는 처리 계수를 전환 가능하게 할 수가 있다.

도 25는, 학습 장치가 실행하는 학습 처리(클래스 결정을 행하는 경우)를 도시하는 플로차트이다. 스텝 ST31에서는, 생성하는 처리 계수의 움직임량과 움직임 방향을 설정한다.

스텝 ST32에서는, 움직임 흐릿해짐 부가를 행하고, 스텝 ST31에서 설정한 움직임량에 따라서 교사 화상에 움직임 흐릿해짐을 부가한다. 스텝 ST33에서는, 전체화면 이동을 행하고, 스텝 ST32에서 움직임 흐릿해짐을 부가한 교사 화상을 스텝 ST31에서 설정된 움직임량이나 움직임 방향에 의거해서 전체화면 이동하여, 주변 화상에 대응하는 학생 화상을 생성한다. 이 학생 화상의 생성에서는, 특정의 비율로 설정된 움직임량 및 움직임 방향 중 적어도 어느 것인가 한쪽을 변경하고, 변경후의 움직임량과 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐의 부가나 전체화면 이동을 행하여 학생 화상을 생성한다. 또, 특정의 비율로 움직임량을 「 0」으로 한 학생 화상의 생성도 행한다.

스텝 ST34에서는, 노이즈 부가 처리를 행하고, 학생 화상에 노이즈를 부가한다. 스텝 ST35에서는, 클래스 결정 처리를 행하고, 노이즈가 부가된 학생 화상을 이용해서 화소마다 클래스 코드를 결정한다.

스텝 ST36에서는, 노이즈가 부가된 학생 화상으로부터 예측 탭을 추출한다. 스텝 ST37에서는, 교사 화상과 추출한 예측 탭을 이용해서 클래스마다 정규 방정식을 생성한다. 스텝 ST38에서는, 정규 방정식을 풀어서 처리 계수를 생성한다.

스텝 ST39에서는, 전체화면에 대해서 처리를 행했는지 여부를 판정해서, 전체화면에 대해서 처리를 행하고 있지 않을 때는, 새로운 화소에 대해서 스텝 ST31로부터의 처리를 되풀이하고, 모든 화소의 처리가 종료한 때에는, 학습 처리를 종료한다.

이와 같이, 지정된 움직임량이나 움직임 방향에 따른 처리 계수를 학습할 때에, 지정된 움직임량이나 움직임 방향의 학생 화상뿐만 아니라, 지정된 움직임량이나 움직임 방향과 오차를 일으키는 학생 화상을 학습 소스에 포함시키는 것으로, 움직임 벡터의 검출 오차에 대한 로버스트성을 향상시키는 것이 가능하게 되고, 검출된 움직임 벡터가 오차를 일으켜도, 움직임 흐릿해짐 제거를 양호하게 행할 수가 있다.

이상과 같이, 본 발명에 관한 화상 처리 장치와 학습 장치 및 그 방법은, 화 상 센서를 이용해서 현실 사회를 촬상해서 얻어지는 화상 신호에 숨겨져 버린 정보를 추출할 때에 유용하며, 움직임 흐릿해짐을 제거한 화상을 얻는 경우에 매우 적합한 것이다.

Claims (8)

1. 움직임량(動量)을 설정하는 움직임량 설정부와,

   움직임 방향을 설정하는 움직임 방향 설정부와,

   상기 움직임량과 상기 움직임 방향에 의거해서, 교사 화상(敎師畵像)에 움직임 흐릿해짐을 부가(付加)해서 학생 화상(生徒畵像)을 생성하는 학생 화상 생성부와,

   상기 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 상기 주목 화소(注目畵素)의 성분이 주로 포함되는 주요항(主要項)을 추출하기 위해서, 상기 교사 화상내의 주목 화소의 공간 위치와 대략 같은 상기 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출부와,

   적어도 상기 움직임 방향마다, 복수조(複數組)의 상기 예측 탭 추출부에 의해 추출된 화소의 화소값과, 상기 교사 화상내의 주목 화소와의 관계로부터, 상기 예측 탭 추출부에 의해 추출된 화소의 화소값으로부터 상기 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성부를 구비하고,

   상기 학생 화상 생성부는, 특정의 비율로 상기 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 학습 장치.
2. 제1항에 있어서,

   상기 학생 화상 생성부는, 제1 움직임 방향의 움직임 흐릿해짐에 대응하는 예측 계수를 생성할 때, 제1 움직임 방향에 가까운 제2 움직임 방향의 움직임 흐릿해짐을 가지는 학생 화상을 학습에 이용하는 학습 장치.
3. 제1항에 있어서,

   상기 학생 화상 생성부는, 상기 학생 화상에 더욱 더 노이즈를 부가하는 학습 장치.
4. 제1항에 있어서,

   상기 예측 탭 추출부는,

   상기 학생 화상이 인터레이스 포맷일 때, 상기 학생 화상내의 제1 복수의 화소의 화소값을 추출하고,

   상기 학생 화상이 프로그레시브 포맷일 때, 상기 학생 화상내의 제2 복수의 화소의 화소값을 추출하는 학습 장치.
5. 제1항에 있어서,

   상기 교사 화상내의 주목 화소에 대응하는 상기 학생 화상내의 화소의 화소값에 의거해서, 상기 주목 화소의 클래스를 결정하는 클래스 결정부를 만들(設)고

   상기 계수 생성부는, 상기 클래스 결정부에 의해 검출된 클래스마다, 상기 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 학습 장치.
6. 제5항에 있어서,

   상기 클래스 결정부에서는, 상기 교사 화상내의 주목 화소에 대응하는 상기 학생 화상내의 화소의 화소값의 액티비티에 따라서, 상기 주목 화소의 클래스를 결정하는 학습 장치.
7. 움직임량을 설정하는 움직임량 설정 공정과,

   움직임 방향을 설정하는 움직임 방향 설정 공정과,

   상기 움직임량과 상기 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐을 부가해서 학생 화상을 생성하는 학생 화상 생성 공정과,

   상기 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 상기 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 상기 교사 화상내의 주목 화소의 공간 위치와 대략 같은 상기 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출 공정과,

   적어도 상기 움직임 방향마다, 복수조의 상기 예측 탭 추출부에 의해 추출된 화소의 화소값과, 상기 교사 화상내의 주목 화소와의 관계로부터, 상기 예측 탭 추출 공정에 의해 추출된 화소의 화소값으로부터 상기 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성 공정을 가지고,

   상기 학생 화상 생성 공정에서는, 특정의 비율로 상기 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 학습 방법.
8. 컴퓨터에,

   움직임량을 설정하는 움직임량 설정 스텝과,

   움직임 방향을 설정하는 움직임 방향 설정 스텝과,

   상기 움직임량과 상기 움직임 방향에 의거해서, 교사 화상에 움직임 흐릿해짐을 부가해서 학생 화상을 생성함과 동시(共)에, 특정의 비율로 상기 교사 화상에 움직임 흐릿해짐을 부가하지 않는 학생 화상을 생성하는 학생 화상 생성 스텝과,

   상기 학생 화상내의 움직임 흐릿해짐이 생기고 있는 움직임 오브젝트에서의 상기 주목 화소의 성분이 주로 포함되는 주요항을 추출하기 위해서, 상기 교사 화상내의 주목 화소의 공간 위치와 대략 같은 상기 학생 화상내의 화소의 화소값을 적어도 추출하는 예측 탭 추출 스텝과,

   적어도 상기 움직임 방향마다, 복수조의 상기 예측 탭 추출 스텝에 의해 추출된 화소의 화소값과, 상기 교사 화상내의 주목 화소와의 관계로부터, 상기 예측 탭 추출 스텝에 의해 추출된 화소의 화소값으로부터 상기 교사 화상내의 주목 화소를 예측하는 처리 계수를 생성하는 계수 생성 스텝을 실행시키는 학습 프로그램.

Images