KR101290611B1

KR101290611B1 - 촬상 장치, 피사체 추종 방법 및 기록 매체

Info

Publication number: KR101290611B1
Application number: KR1020120092860A
Authority: KR
Inventors: 고스케 마쓰모토
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2009-01-23
Filing date: 2012-08-24
Publication date: 2013-07-29
Also published as: CN101867725B; TWI419552B; US20100188511A1; EP2211306B1; JP4760918B2; KR20100086943A; EP2211306A1; JP2010171815A; TW201032585A; KR20120114191A; CN101867725A

Abstract

본 발명은 촬상 장치, 피사체 추종 방법 및 기록 매체에 관한 것으로서, 본 발명에 따르면 촬상 장치의 이동이 없고, 피사체 존재 추정 영역도 없으면 통상의 추종 설정을 행하고(단계 S203), 피사체 존재 추정 영역이 있으면 검출 범위를 확대하여 검출용 임계값을 낮게 하는 추종 설정을 행한다(단계 S204). 또한, 촬상 장치가 이동하고 있고, 피사체 존재 추정 영역이 없으면 통상의 추종 설정을 행하고(단계 S208), 피사체 존재 추정 영역이 있으면, 그 영역이 플로우(움직임 벡터)가 검출되지 않은 영역인지의 여부를 판별하여, 플로우가 검출되지 않은 영역이면, 검출 범위를 확대하고, 검출용 임계값을 통상으로 하는 추종 설정을 행하고(단계 S207), 플로우가 검출된 영역이면, 검출 범위를 확대하고, 검출용 임계값을 낮게 하는 추종 설정을 행한다(단계 S204).

Description

촬상 장치, 피사체 추종 방법 및 기록 매체{IMAGING APPARATUS, SUBJECT TRACKING METHOD AND STORAGE MEDIUM}

본 발명은, 촬상 장치, 피사체 추종 방법, 및 프로그램을 기록한 기록 매체에 관한 것이다.

이동하는 피사체의 위치를 순차적으로 검출하는 기능을 구비한 촬상 장치가 알려져 있다. 예를 들면, 템플레이트 매칭(블록 매칭이라고도 함)을 사용하여 피사체를 추종(tracking)시키는 기술이 있다. 예를 들면, 특허 문헌 1(일본 특허출원 공개번호 2001-076156호 공보)에 기재된 화상 감시 장치는, 앞 프레임 화상(추종시키고자 하는 피사체를 포함하는 화상)으로부터 잘라내어진 템플레이트와 유사한 소(小)화상 영역을 현재 프레임 화상의 탐색 범위로부터 탐색함으로써, 가장 유사도가 높은 소화상 영역을 검출한다. 그리고, 검출된 소화상 영역 내에 상기 피사체가 이동했다고 판별한다. 또한, 새로 프레임 화상이 촬상되면 검출된 상기 소화상 영역을 템플레이트로서 갱신하고, 전술한 동작을 반복함으로써, 연속적으로 촬상되는 각 프레임 화상에 대하여, 어느 위치에 피사체가 이동하고 있는지를 순차적으로 검출(추종)해 간다.

특허문헌1: 일본특허출원공개번호2001-076156호공보

그러나, 특허 문헌 1에 기재된 기술에 의하면, 피사체의 행동(behavior)에 관계없이 일률적으로 동일한 탐색 조건으로 블록 매칭을 행하므로, 예를 들면, 프레임 화상 내에서의 피사체의 행동의 변화가 격렬할 때는, 이에 적합한 블록 매칭을 행할 수 없는 문제가 있다.

구체적으로는, 광각 촬영 등 넓은 촬영 화각에서, 또한 피사체의 움직임이 실질적으로 없는 경우에는, 불필요한 연산량이 증가하는 문제가 있다. 또한, 망원 촬영 등 좁은 촬영 화각에서, 또한 피사체의 움직임이 격렬한 경우에는, 피사체가 탐색 범위로부터 벗어날 가능성이 높으므로, 상기 피사체를 제대로 추종할 수 없는 문제이다.

본 발명은, 전술한 문제점을 감안하여 이루어진 것이며, 촬영 화각에 좌우되지 않고, 피사체의 행동에 적절한 피사체 추종 처리를 행할 수 있는 촬상 장치, 피사체 추종 방법, 및 프로그램을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 하나의 태양은,

촬상 수단과; 상기 촬상 수단에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 촬상 수단에 의해 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하고, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 수단을 구비한 것을 특징으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 다른 태양은,

촬상부에 의해 순차적으로 촬상하는 촬상 단계와; 상기 촬상 단계에서 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하고, 상기 촬상 단계에서 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하여, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여, 상기 변경된 소정의 범위 내에서 상기 피사체 영역을 추종하도록 제어하는 제어 단계를 포함하는 것을 특징으로 하는 피사체 추종 방법이다.

상기 목적을 달성하기 위하여, 본 발명의 또 다른 태양은,

촬상 장치가 포함하는 컴퓨터를, 촬상부에 의해 순차적으로 촬상하는 촬상 단계와; 상기 촬상 단계에서 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하고, 상기 촬상 단계에서 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하여, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여, 상기 변경된 소정의 범위 내에서 상기 피사체 영역을 추종하도록 제어하는 제어 단계를 실행시키는 프로그램이 기록된 기록 매체이다.

본 발명에 따르면, 촬상된 화상에 있어서의 얼굴 영역의 검출을 양호하게 행할 수 있다.

도 1은 본 발명의 실시예의 디지털 카메라(1)의 블록도이다.
도 2는 미리 기억되어 있는 3종류의 각도의 특징 데이터를 모식적으로 나타낸 도면이다.
도 3은 실시예의 디지털 카메라(1)의 동작을 나타낸 흐름도이다.
도 4는 라이브 뷰 화상으로부터 검출된 얼굴 영역을 나타낸 도면이다.
도 5는 변형예에 있어서의 디지털 카메라(1)의 동작을 나타낸 흐름도이다.

본 발명의 실시예에 따른 촬상 장치에 대하여 도면을 참조하면서 설명한다. 도 1의 (A)는, 본 실시예에 따른 촬상 장치(1)의 외관을 나타낸 정면도이며, 도 1의 (B)는 배면도이다. 이 촬상 장치(1)에는, 앞면에 촬상 렌즈(2)가 설치되어 있고, 상면부에는 셔터 키(3)가 설치되어 있다. 이 셔터 키(3)는, 반누름 조작과 완전 누름 조작이 가능한, 이른바 하프 셔터 기능을 구비하고 있다. 또한, 배면에는, 기능 키(4), 커서 키(5) 및 표시부(6)가 설치되어 있다. 커서 키(5)는 도 1의 (B)의 a 방향으로 회전 가능한 로터리 스위치로서 기능한다. 표시부(6)는, 예를 들면 16:9의 어스펙트비를 가지는 LCD(Liquid Crystal Display)로 이루어진다.

도 2는, 촬상 장치(1)의 개략적인 구성을 나타낸 블록도이다. 촬상 장치(1)는, 촬상 렌즈(2), 키 입력부(3∼5), 표시부(6), 구동 제어부(7), 촬상부(8), 유닛 회로(9), 화상 처리부(10), 부호화/복호화 처리부(11), 프리뷰 엔진(12), 화상 기록부(13), 프로그램 메모리(14), RAM(Random Access Memory)(15), 제어부(16), 손떨림 검출부(17) 및 버스 라인(18)으로 구성된다.

제어부(16)는, 촬상 장치(1)의 각 부를 제어하는 원칩 마이크로컴퓨터이다. 이 실시예의 촬상 장치(1)는, 촬상 장치(1)가 촬영하는 화상 내에서 피사체를 검출하고, 이 피사체를 추종한다. 제어부(16)는, 이 동작을 실행하기 위해, 촬상 장치(1)의 각 부를 제어한다.

촬상 렌즈(2)는, 상세하게는 복수의 렌즈로 구성되며, 줌 렌즈나 포커스 렌즈 등을 구비한 광학계 부재를 실장하는 렌즈 유닛이다. 제어부(16)는, 촬영자의 줌 조작, 또는 촬영자의 셔터 키(3)의 반누름 조작을 검출하면 AF(오토 포커스) 처리를 행하고, 구동 제어부(7)에 구동 제어부(7)를 제어하기 위한 제어 신호를 송출한다. 구동 제어부(7)는, 이 제어 신호에 기초하여 촬상 렌즈(2)의 위치를 이동시킨다.

키 입력부(3∼5)는, 셔터 키(3), 기능 키(4), 및 커서 키(5)로부터의 조작에 따른 조작 신호를 제어부(16)에 송출한다.

촬상부(8)는, CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서로 이루어지고, 전술한 촬상 렌즈(2)의 광축 상에 배치되어 있다.

유닛 회로(9)는, 촬상부(8)로부터 출력되는 피사체의 광학상에 따른 아날로그 촬상 신호가 입력되는 회로이다. 유닛 회로(9)는, 입력된 촬상 신호를 유지하는 CDS, AE(자동 노출 조정) 처리 등에 수반하여 이 촬상 신호를 증폭하는 게인 조정 앰프(AGC), 증폭된 촬상 신호를 디지털 촬상 신호로 변환하는 A/D 변환기(ADC) 등으로 구성되어 있다. 화상 처리부(10)는, 유닛 회로(9)로부터 송출되는 촬상 신호에 각종 화상 처리를 실시한다.

촬상부(8)로부터 출력되는 촬상 신호는, 유닛 회로(9)를 거쳐 디지털 신호로서 화상 처리부(10)에 보내진다. 이 디지털 신호(촬상 신호)는, 화상 처리부(10)에 있어서 각종 화상 처리가 실시된다. 그리고, 각종 화상 처리가 실시된 디지털 신호(촬상 신호)는 프리뷰 엔진(12)에 의해 축소 가공되어 표시부(6)에 공급된다. 그리고, 공급된 디지털 신호(촬상 신호)와 표시부(6)가 내장하는 드라이버를 구동하는 구동 제어 신호가 표시부(6)에 입력되면, 표시부(6)는 이 디지털 신호(촬상 신호)에 기초한 화상을 라이브 뷰 표시한다.

화상 기록부(13)에는 화상 파일이 기록된다. 화상 기록부(13)는, 촬상 장치(1)에 내장되는 메모리일 수도 있고, 착탈 가능한 메모리일 수도 있다. 화상 기록 시에 있어서, 화상 처리부(10)에서 처리된 촬상 신호는, 부호화/복호화 처리부(11)에서 압축 부호화되고, JPEG 형식 등의 소정의 파일 형식으로 파일화되어 화상 기록부(13)에 기록된다. 한편, 화상 재생 시에 있어서는 화상 기록부(13)로부터 판독된 화상 파일은, 부호화/복호화 처리부(11)에서 복호화되어 표시부(6)에 표시된다.

프리뷰 엔진(12)은, 상기 라이브 뷰 표시할 화상의 생성 외에, 화상 기록 시에 있어서 화상 기록부(13)에 기록되기 직전의 화상을 표시부(6)에 표시시킬 때 필요한 제어를 행한다.

프로그램 메모리(14)에는, 후술하는 각종 흐름도에 나타내는 처리를 실행하기 위한 프로그램이 기억되어 있다. RAM(15)은, 연속 촬영된 화상을 일시적으로 기억한다. 손떨림 검출부(17)는, 촬영자의 손떨림에 기인한 진동을 검출하여, 검출 결과를 제어부(16)에 송출한다. 버스 라인(18)에는 촬상 장치(1)의 각 부가 접속되어 각 부 사이에서 데이터를 서로 전송한다.

이어서, 촬상 장치(1)의 동작에 대하여 설명한다. 제어부(16)는, 기능 키(4)나 커서 키(5)의 소정의 조작에 의한 촬영 모드 기동 지시를 검출하면, 프로그램 메모리(14)로부터 도 3의 흐름도에 나타낸 바와 같은 피사체 추종 모드에 관한 프로그램을 판독하여 실행한다.

피사체 추종 모드에서는, 먼저, 촬상부(8)는 촬영 화각 전체의 광학상에 따른 아날로그 촬상 신호를 소정의 주기로 유닛 회로(9)에 출력한다. 그리고, 유닛 회로(9)는 입력된 아날로그 촬상 신호를 디지털 신호로 변환한다. 제어부(16)는, 이 디지털 신호로부터 화상 처리부(10)에서 화상 데이터를 생성한다. 그리고, 생성된 화상 데이터를 라이브 뷰로서 표시부(6)에 표시하게 한다(단계 S101). 그리고, 이하의 설명에 있어서는, 상기 소정의 주기를 프레임이라 하고, 현재 시점에서 생성된 화상을 현재 프레임 화상이라 하며, 현재 프레임 화상의 1 프레임 전에 생성된 화상을 전회 프레임 화상이라 한다.

라이브 뷰를 개시하면, 제어부(16)는, 피사체 추종 처리를 실행한다(단계 S102). 여기서, 피사체 추종 처리는, 현재 프레임 화상에 있어서의 전회 피사체를 검출한 영역의 일정 범위 내에 있어서, 전회 프레임 화상으로부터 검출된 피사체의 템플레이트 화상과 소정의 임계값 이상에서 유사한 화상 영역을 검출하고, 이 검출된 화상 영역 내에 상기 피사체가 이동했다고 판별하는 처리이다.

그리고, 최초에 행해지는 피사체의 검출은 프레임 화상의 모든 영역(촬영 화각 전체)에 대하여 행해진다. 여기서 피사체는, 촬영자가 촬영 대상으로 하는 것이며, 인물이나 인물의 특정한 부분(얼굴 등), 동물, 오브제(objet) 등이다.

이어서, 제어부(16)는, 단계 S102에서 전회 피사체를 검출한 영역으로부터 일정 범위 내에 있어서, 피사체가 검출되었는지의 여부를 판별한다(단계 S103).

단계 S103에서, 제어부(16)가, 피사체가 검출되었다고 판별한 경우에는(단계 S103; Y), 단계 S108로 진행한다. 한편, 제어부(16)가, 피사체가 검출되지 않았다고 판별한 경우에는(단계 S103; N), 제어부(16)는, 전회 프레임 화상을 복수의 블록으로 분할하고, 이들 각 블록에 있어서의 움직임 벡터의 플로우(플로우 방향)의 프레임 화상 전체의 분포 상태를 나타낸 옵티컬 플로우를 산출한다(단계 S104).

그리고, 제어부(16)는, 단계 S104에서 산출한 옵티컬 플로에 기초하여 촬상 장치(1)의 이동(촬영 화각의 변화)의 유무를 판단하고, 또한 피사체 존재 추정 영역(피사체가 존재할 것으로 추정될 가능성이 높은 영역)을 검출한다(단계 S105). 구체적으로는, 단계 S104에서 산출된 옵티컬 플로우에 기초하여 현재 프레임 화상에 있어서의 화상의 4개의 모서리나 배경의 이동으로부터 촬영 화각의 변화를 검출한다. 그리고, 검출된 촬영 화각의 변화를 촬상 장치(1)의 이동에 의한 것으로서 판단한다. 또한, 현재 프레임 화상에 있어서, 이 검출한 촬상 장치(1)의 이동에 수반하는 플로우와는 흐르는 방향이 상이한 플로우를 가진 영역을 피사체 존재 추정 영역으로서 검출한다.

도 4는, 단계 S105와 단계 S106의 구체적인 동작을 나타낸 흐름도다. 여기서는 먼저, 제어부(16)는, 촬영 화각의 변화를 검출한 것에 의한 촬상 장치(1)가 이동했는지의 여부를 판별한다(단계 S201).

제어부(16)에 의해 촬상 장치(1)가 이동하고 있지 않은 것으로 판별된 경우(단계 S201; No), 즉 현재 프레임 화상에 있어서의 화상의 4개의 모서리나 배경의 플로우가 검출되지 않은 경우에는, 계속하여 제어부(16)는, 피사체 존재 추정 영역을 검출했는지의 여부를 판별한다(단계 S202). 피사체 존재 추정 영역이 검출되지 않은 경우(단계 S202; No), 즉 현재 프레임 화상 중에 피사체 존재 추정 영역에 대응하는 플로우를 가진 영역이 존재하지 않는다고 판별한 경우에는, 제어부(16)는, 통상의 추종 설정 내용을 판독하고(단계 S203), 추종 설정 처리를 종료한다.

또한, 피사체 존재 추정 영역이 검출된 경우에는(단계 S202; Yes), 현재 프레임 화상 중에 피사체 존재 추정 영역에 대응하는 플로우를 가진 영역이 존재한다고 판별한 경우에는, 상기 통상의 추종 설정 내용보다 검출 범위를 확대하고, 검출용 임계값을 낮게 하는 추종 설정을 행하고(단계 S204), 추종 설정 처리를 종료한다. 여기서, 검출 범위는, 템플레이트 화상을 사용한 매칭을 행하는 범위이다. 이 검출 범위는, 전회 프레임 화상에 있어서 피사체 영역이 검출된 영역으로부터의 소정 범위 내의 영역이다. 또한, 검출용 임계값은, 템플레이트 화상과의 매칭을 판별하기 위한 임계값이며, 이 값보다 매칭의 정도가 높은 화상 영역을 피사체 영역으로서 검출한다. 이들 설정값은 소정의 값이 미리 정해져 있고, 프로그램 메모리(14)의 소정 영역 등에 저장된다.

한편, 촬상 장치(1)가 이동하고 있다고 판별된 경우도(단계 S201; Yes), 제어부(16)는, 현재 프레임 화상 내로부터 촬상 장치(1)의 이동에 수반하는 플로우가 존재하지 않는 영역이 검출되었는지의 여부를 판별하여, 검출된 경우에는 이것을 피사체 존재 추정 영역으로 판별한다(단계 S205).

제어부(16)가, 피사체 존재 추정 영역을 검출했다고 판별한 경우에는(단계 S205; Yes), 제어부(16)는 이어서, 상기 피사체 존재 추정 영역이 이후의 프레임 화상에 있어서도 플로우를 가지지 않는지의 여부를 판별한다(단계 S206).

그리고, 제어부(16)가, 이후의 프레임 화상에 있어서도 피사체 존재 추정 영역은 플로우를 가지지 않는다고 판별한 경우에는(단계 S206; Yes), 검출 범위를 확대하여, 검출용 임계값을 통상으로 하는 추종 설정을 행하고(단계 S207), 추종 설정 처리를 종료한다.

한편, 제어부(16)가, 이후의 프레임 화상에 있어서 피사체 존재 추정 영역은 플로우를 가지게 되었다고 판별한 경우에는(단계 S206; No), 검출 범위를 확대하여, 검출용 임계값을 낮게 하는 추종 설정을 행하고(단계 S204), 추종 설정 처리를 종료한다.

또한, 제어부(16)가, 피사체 존재 추정 영역을 검출하지 않았다고 판별한 경우(단계 S205; No), 통상의 추종 설정 내용을 판독하고(단계 S208), 추종 설정 처리를 종료한다.

도 5는, 촬상 화상의 구체예를 나타내고 있다. 도 5의 (A)는 전회 프레임 화상을 나타내고 있다. 도 5의 (B) 내지 (F)는 현재 프레임 화상을 나타내고 있다. 또한, 도 6의 (A) 내지 (E)는 각각 도 5의 (B) 내지 (F)로 변화되었을 때 산출되는 옵티컬 플로우의 구체예를 나타낸 도면이다. 또한, 도 7은 산출된 옵티컬 플로우에 대응하는 각 촬영 상황과 추종 설정의 일람이다.

도 5의 (A)로부터 도 5의 (B)로 변화된 경우에는, 피사체(51)와 나무(배경)(52)의 위치에 이동은 없다. 따라서, 산출되는 옵티컬 플로우는 도 6의 (A)와 같이 된다. 즉, 촬상 장치(1)의 이동이 없고, 또한 피사체 존재 추정 영역이 없다(단계 S201; No, 단계 S202; No). 이와 같은 경우에는, 정지하고 있는 피사체를 촬상 장치(1)가 고정된 상태로 촬영하고 있는 상황인 것으로 여겨진다. 따라서, 제어부(16)는, 통상의 추종 설정 내용을 판독하여 설정한다(단계 S203).

도 5의 (A)로부터 도 5의 (C)로 변화된 경우에는, 피사체(51)가 이동하고 있지만, 나무(배경)(52)의 위치에 변화가 없다. 따라서, 산출되는 옵티컬 플로우는 도 6의 (B)와 같이 되어, 촬상 장치(1)는 이동하고 있지 않다고 판별된다. 또한, 도 6의 (B)에는 화살표가 존재하는 영역이 있으므로, 이 영역이 플로우가 존재하는 영역, 즉 피사체 존재 추정 영역으로 판별된다(단계 S201; No, 단계 S202; Yes). 이와 같은 경우에는, 이동하고 있는 피사체를 촬상 장치(1)가 고정된 상태로 촬영하고 있는 상황인 것으로 여겨진다. 따라서, 제어부(16)는, 피사체를 검출하기 용이하도록 하기 위하여, 검출 범위를 확대하고, 임계값을 낮게 하는 추종 설정을 행한다(단계 S204).

도 5의 (A)로부터 도 5의 (D)로 변화된 경우에는, 피사체(51)의 위치에 이동은 없지만, 나무(배경)(52)의 위치가 이동하고 있다. 따라서, 산출되는 옵티컬 플로우는 도 6의 (C)와 같이 된다. 이 경우, 촬상 장치(1)는 이동하고 있지만, 촬상 장치(1)의 이동에 따른 플로우가 존재하지 않는 영역이 검출되고, 이 영역이 피사체 존재 추정 영역으로 판별된다(단계 S201; Yes, 단계 S205; Yes, 단계 S206; Yes). 이와 같은 경우에는, 카메라를 패닝 촬영과 같은 일정 방향으로 이동하는 피사체를 쫓아서 촬영하고 있는 상황인 것으로 여겨진다. 이와 같은 촬영 상황에서는 촬영 화각에 있어서의 피사체의 방향은 변경시키지 않지만 피사체의 위치가 어긋날 가능성이 있다고 여겨진다. 따라서, 제어부(16)는, 임계값은 통상의 임계값인 상태로 검출 범위를 확대하는 추종 설정을 행한다(단계 S207).

도 5의 (A)로부터 도 5의 (E)로 변화된 경우에는, 피사체(51) 및 나무(배경)(52)의 위치가 같은 방향으로 이동하고 있다. 따라서, 산출되는 옵티컬 플로우는 도 6의 (D)와 같이 된다. 즉, 촬상 장치(1)는 이동하고 있지만, 또한 피사체 존재 추정 영역은 존재하지 않는다고 판별된다(단계 S201; Yes, 단계 S205; No). 이와 같은 경우에는, 피사체가 존재하지 않는 상태에서 촬상 장치(1)를 이동시키면서 촬영하고 있는 상황인 것으로 여겨진다. 따라서, 제어부(16)는, 통상의 추종 설정 내용을 판독하여 설정한다(단계 S208).

도 5의 (A)로부터 도 5의 (F)로 변화된 경우에는, 피사체(51)와 나무(배경)(52)가 서로 상이한 방향으로 이동하고 있다. 따라서, 산출되는 옵티컬 플로우는 도 6의 (E)와 같이 된다. 이 경우, 검출된 촬상 장치(1)의 이동에 대응하는 플로우와는 상이한 방향의 플로우[도 6의 (E)에 있어서의 주위와는 화살표의 방향이 상이한 영역]가 있으므로, 이 영역이 피사체 존재 추정 영역으로 판별된다(단계 S201; Yes, 단계 S205; Yes, 단계 S206; No). 이와 같은 경우에는, 불규칙하게 이동하는 피사체를 검출할 수 없는 상황으로 여겨진다. 따라서, 제어부(16)는, 피사체를 검출하기 용이하게 하기 위하여, 검출 범위를 확대하고, 임계값을 낮게 하는 추종 설정을 행한다(단계 S204). 그리고, 이 경우, 보다 피사체를 검출하기 용이하도록 하기 위해, 검출 범위를 도 5의 (C)나 도 5의 (D)의 경우의 설정보다 넓게 할 수도 있다.

이상과 같은 설정에 의해, 바람직하게 피사체를 검출하여 추종할 수 있다.

추종 설정 처리를 종료하면, 도 3으로 복귀하여, 제어부(16)는, 전술한 바와 같이 설정된 검출 범위 및 검출 임계값으로 피사체 추종 처리를 행한다(단계 S107).

그리고, 단계 S108에서는, 제어부(16)는, 단계 S103 또는 단계 S107에 있어서 검출한 피사체 영역을 포커스 영역으로서 설정한다. 그리고, 제어부(16)는, 이 설정된 영역에 대하여 AF(오토 포커스) 처리, AE(자동 노출 조정) 처리, 및 AWB(오토 화이트 밸런스) 처리를 포함하는 촬상 전 처리를 행한다. 그리고, 다음으로, 제어부(16)는, 검출한 피사체 영역에 틀(frame)을 부가하여, 프레임 화상을 표시부(6)에 라이브 뷰 표시하게 한다. 또한, 상기 검출한 피사체 영역의 화상을 새로운 템플레이트 화상으로서 갱신하고, 전술한 동작을 반복함으로써, 연속적으로 촬상되는 각 프레임 화상에 대하여, 어떤 위치에 피사체가 이동하고 있는지를 순차적으로 검출(추종)해 간다.

이상과 같이, 본 실시예의 촬상 장치(1)에 의하면, 촬상할 화상 내의 피사체, 및/또는, 촬영 화각의 변화를 검출함으로써, 촬영 상황에 적합한 피사체 추종 처리를 행할 수 있다.

그리고, 본 발명은 상기 실시예에 한정되지 않고, 각종 변형 및 응용이 가능하다.

예를 들면, 도 3의 단계 S105에서 피사체 존재 추정 영역으로서 복수의 영역이 검출되었을 때는, 전회 프레임 화상에서 피사체를 검출한 영역 내에 있거나, 또는 해당 영역에 가까운 쪽의 영역을 피사체 존재 추정 영역으로서 결정하도록 해도 된다.

또한, 도 3의 단계 S107에 있어서의 피사체 추종 처리로 피사체를 추종할 수 없었던 경우에는, S105에서 검출된 피사체 존재 추정 영역에 있어서의 검출용 임계값을 낮게 하여, 다시 피사체 추종 처리를 행하도록 해도 된다.

또한, 전술한 옵티컬 플로우는, 손떨림에 기인하는 움직임 벡터를 고려하여 산출하도록 해도 된다. 즉, 산출된 옵티컬 플로우로부터 손떨림 검출부(17)에 의해 검출된 손떨림에 기인하는 움직임 벡터를 뺀 옵티컬 플로우에 기초하여 촬상 장치의 이동을 검출하도록 해도 된다.

또한, 촬상 장치(1)의 제어부(16)가 실행하는 프로그램은 프로그램 메모리(14)에 미리 기억되어 있는 것으로서 설명하였으나, 외부의 기억 매체로부터 취득한 것일 수도 있고, 네트워크를 통하여 전송된 것을 기억한 것일 수도 있다.

1: 촬상 장치 2: 촬영 렌즈
3: 셔터 키 4: 기능 키
5: 커서 키 6: 표시부
7: 구동 제어부 8: 촬상부
9: 유닛 회로 10: 화상 처리부
11: 부호화/복호화 처리부 12: 프리뷰 엔진
13: 화상 기록부 14: 프로그램 메모리
15: RAM 16: 제어부
17: 손떨림 검출부 18: 버스 라인

Claims

촬상 수단; 및
상기 촬상 수단에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 피사체 영역과 상기 촬상 수단에 의해 순차 촬상되는 화상의 영역과의 유사도를 산출하고, 상기 산출된 유사도가 소정의 임계값 이상인지 여부를 판별하며, 상기 소정의 임계값 이상의 유사도로 판별된 영역을 상기 피사체 영역으로서 특정하여, 상기 특정된 피사체 영역을 추종하며, 또한 상기 촬상 수단에 의해 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하고, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 수단
을 포함하는 촬상 장치.
제1항에 있어서,
상기 제어 수단은 또한,
상기 화상 사이의 전체의 변화에 기초하여 상기 소정의 임계값을 변경하고, 상기 유사도가 상기 변경된 소정의 임계값 이상인지 여부를 판별하는, 촬상 장치.
제2항에 있어서,
상기 제어 수단은 또한,
상기 화상 사이의 전체의 변화에 기초하여 상기 소정의 임계값을 직전에 설정되어 있던 임계값보다도 낮은 값으로 변경하는, 촬상 장치.
촬상 수단; 및
상기 촬상 수단에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 촬상 수단에 의해 순차 촬상되는 화상 사이의 전체의 변화로서 움직임 벡터의 분포를 산출하고, 상기 산출된 움직임 벡터의 분포에 기초하여 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 수단
을 포함하는 촬상 장치.
제4항에 있어서,
상기 제어 수단은 또한,
상기 움직임 벡터의 분포에 기초하여 상기 화상 사이의 촬상 화각의 변화의 방향을 취득하고, 상기 취득된 촬상 화각의 변화의 방향과는 다른 변화의 방향이 존재하는 영역을 상기 피사체 영역으로서 검출하여, 상기 검출된 피사체 영역을 추종하는, 촬상 장치.
제5항에 있어서,
상기 제어 수단은 또한,
상기 움직임 벡터의 분포에 기초하여 상기 화상 사이의 촬상 화각의 변화량을 취득하고, 상기 취득된 변화량과는 다른 변화량이 존재하는 영역을 상기 피사체 영역으로서 검출하는, 촬상 장치.
제5항에 있어서,
상기 제어 수단은 또한,
상기 검출된 피사체 영역이 상기 화상 사이의 복수의 영역에서 검출되었는지 여부를 판별하고, 상기 피사체 영역이 복수의 영역에서 검출되었다고 판별되면, 상기 복수의 영역 중 상기 검출된 피사체 영역에 가장 가까운 영역의 피사체 영역을 추종해야 할 피사체 영역으로 결정하여, 상기 결정된 피사체 영역을 추종하는, 촬상 장치.
제4항에 있어서,
상기 제어 수단은 또한 상기 순차 촬상되는 화상 사이의 움직임 벡터로부터 손떨림에 기인하는 움직임 벡터를 빼고 상기 움직임 벡터의 분포를 산출하는, 촬상 장치.
제1항에 있어서,
상기 제어 수단은 또한 상기 피사체 영역의 추종 중에 해당 피사체 영역이 다시 검출되면, 해당 피사체 영역에 틀을 부가하여 표시 수단에 표시시키는, 촬상 장치.
제9항에 있어서,
상기 제어 수단은 또한 상기 검출된 피사체 영역에, 오토포커스 처리, 자동 노출 제어 처리, 오토 화이트 밸런스 처리 중 하나 이상의 처리를 하고, 상기 하나 이상의 처리를 행한 피사체 영역에 틀을 부가하여 상기 표시 수단에 표시시키는, 촬상 장치.
화상을 순차적으로 촬상하는 촬상 단계;
상기 촬상 단계에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 피사체 영역과 상기 촬상 단계에 의해 순차 촬상되는 화상의 영역과의 유사도를 산출하고, 상기 산출된 유사도가 소정의 임계값 이상인지 여부를 판별하며, 상기 소정의 임계값 이상의 유사도로 판별된 영역을 상기 피사체 영역으로서 특정하여, 상기 특정된 피사체 영역을 추종하며, 또한 상기 촬상 단계에 의해 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하고, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 단계
를 포함하는 촬상 방법.
컴퓨터로 하여금,
화상을 순차적으로 촬상하는 촬상 단계;
상기 촬상 단계에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 피사체 영역과 상기 촬상 단계에 의해 순차 촬상되는 화상의 영역과의 유사도를 산출하고, 상기 산출된 유사도가 소정의 임계값 이상인지 여부를 판별하며, 상기 소정의 임계값 이상의 유사도로 판별된 영역을 상기 피사체 영역으로서 특정하여, 상기 특정된 피사체 영역을 추종하며, 또한 상기 촬상 단계에 의해 순차적으로 촬상되는 화상 사이의 전체의 변화를 검출하고, 상기 검출된 상기 화상 사이의 전체의 변화에 기초하여, 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 단계
를 실행시키는 프로그램이 기록된 기록 매체.
화상을 순차적으로 촬상하는 촬상 단계;
상기 촬상 단계에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 촬상 단계에 의해 순차 촬상되는 화상 사이의 전체의 변화로서 움직임 벡터의 분포를 산출하고, 상기 산출된 움직임 벡터의 분포에 기초하여 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 단계
를 포함하는 촬상 방법.
컴퓨터로 하여금,
화상을 순차적으로 촬상하는 촬상 단계;
상기 촬상 단계에 의해 촬상된 화상으로부터 추종해야 할 피사체 영역을 검출하고, 상기 검출된 피사체 영역을 소정의 범위 내에서 추종하는 한편, 상기 촬상 단계에 의해 순차 촬상되는 화상 사이의 전체의 변화로서 움직임 벡터의 분포를 산출하고, 상기 산출된 움직임 벡터의 분포에 기초하여 상기 소정의 범위를 변경하여 상기 피사체 영역을 추종하는 제어 단계
를 실행시키는 프로그램이 기록된 기록 매체.