KR100860700B1 - 피사계 심도 구현 방법과 그를 이용한 디지털 카메라 - Google Patents

Abstract

본 발명의 제1 측면에 따른 피사계 심도 구현 방법은 피사계 심도 구현을 위한 피사체 영역을 설정하는 과정과, 피사체 영역과 배경 영역으로 구성된 다수의 이미지 프레임들을 촬영하는 과정과, 촬영된 이미지 프레임 중에서 피사체 영역의 초점이 맞는 이미지 프레임을 선별하는 과정과, 초점이 맞는 피사체 영역을 배경 영역의 화각에 따라서 보정하는 과정과, 초점이 맞는 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정과, 분할된 피사체 영역과 배경 영역을 결합하는 과정을 포함한다.

본 발명의 제2 측면에 따른 디지털 카메라는 피사체 및 배경의 광 정보를 수렴시키기 위한 렌즈 계와, 상기 렌즈 계에서 수렴된 광 정보를 데이터 변환시키기 위한 이미지 센서와, 상기 이미지 센서에서 제공된 데이터로부터 초점이 맞는 피사체 영역을 분할해서 초점이 맞지 않는 배경 영역에 결합시켜서 영상 정보를 생성하는 제어부와, 상기 제어부로부터 입력받은 영상 정보를 사용자에게 제공하는 영상 수단을 포함한다.

피사계 심도, 카메라, 렌즈

Description

피사계 심도 구현 방법과 그를 이용한 디지털 카메라{REALIZING METHOD OF DEPTH OF FIELD AND DIGITAL CAMERA USING THEREOF}

도 1a는 본 발명의 제1 실시 예에 따른 피사계 심도 구현을 위한 디지털 카메라의 개략적인 블록도,

도 1b는 도 1a에 도시된 제어부의 구성을 도시한 블록도,

도 2a는 본 발명의 제2 실시 예에 따른 피사계 심도 구현을 위한 순서도,

도 2b는 피사체 영역의 화각 보상의 과정을 도시한 순서도,

도 3은 화각에 따른 초점 위치에 따른 윤곽선 값을 비교하기 위한 그래프,

도 4는 배경 영역과 피사체 영역을 결합하는 방법을 설명하기 위한 도면.

본 발명은 카메라 광학계에 관한 발명으로서, 특히 디지털 방식의 카메라 광학계에 관한 발명이다.

카메라를 이용한 촬영 기술 중 피사계 심도는 대상이 되는 피사체에 초점을 맞추고, 피사체 주변의 배경은 초점이 맞지 않은 상태로 촬영하는 기술로서 사진의 원근감을 확보하는 데 이용되는 촬영 기술이다.

피사계 심도를 이용한 기술은 아웃 포커싱(Out-focusing)이라고도 하며, 조리개의 개방 수(F수)에 따라서, 그 효과의 정도가 다르게 구현될 수 있다. 예를 들어, 조리개의 F수가 가장 작은 경우(조리개의 최대 개방)는 카메라의 심도는 얕아지며, 촬영 대상이 피사체를 제외한 배경은 흐리게 촬영될 수 있다.

필름 방식의 카메라 광학계는 촬영 직 후 촬영된 화면을 확인할 수 없으며, 필름의 인화시 촬영한 결과를 확인할 수 있다. 따라서, 사용자 본인이 피사계 심도에 능숙하지 못하다면, 피사계 심도의 촬영 기술을 사용하는 데 제한적이다.

반면에, 이미지 센서를 이용하는 디지털 카메라 광학계는 사용자가 촬영한 정보를 촬영 직후, 카메라에 장착된 영상 수단(LCD 등)을 통해 확인할 수 있으므로 피사계 심도의 기술의 이용은 일반화되고 있다.

그러나, 피사계 심도는 장 초점 렌즈나 망원 렌즈 등이 필요하나, 일반적인 이안 방식의 디지털 카메라 또는 휴대용 무선 통신 단말기에 실장된 카메라 모듈은 장 초점 렌즈 또는 망원 렌즈의 사용이 제한되는 문제가 있다.

따라서, 이안 방식의 디지털 카메라 또는 휴대용 무선 통신 단말기 등과 같이 렌즈 교환이 불가능한 형태의 디지털 카메라 광학계를 이용한 피사계 심도 구현은 제한된다. 더욱이, 이안 방식의 디지털 카메라와 휴대용 무선 통신 단말기에 실장되는 이미지 센서는 필름에 비해 작은 크기로서, 구조적으로 심도가 얕은 이미지 촬영이 제한된다.

본 발명은 렌즈 교환 방식이 아닌 디지털 카메라에 있어서, 피사계 심도 구현이 가능한 방법을 제공하고자 한다.

본 발명에 따른 디지털 카메라의 피사계 심도 구현 방법은,

피사계 심도 구현을 위한 피사체 영역을 설정하는 과정과;

피사체 영역과 배경 영역으로 구성된 다수의 이미지 프레임들을 촬영하는 과정과;

촬영된 이미지 프레임 중에서 피사체 영역의 초점이 맞는 이미지 프레임을 선별하는 과정과;

초점이 맞는 피사체 영역을 배경 영역의 화각에 따라서 보정하는 과정과;

초점이 맞는 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정과;

분할된 피사체 영역과 배경 영역을 결합하는 과정을 포함한다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

도 1a는 본 발명의 제1 실시 예에 따른 피사계 심도 구현을 위한 디지털 카메라의 개략적인 블록도이다. 도 1a를 참조하면, 본 실시 예에 따른 디지털 카메라(Digital Camera; 100)는 피사체 영역 및 배경 영역의 광 정보를 수렴시키기 위한 렌즈 계(Lens system; 110)와, 상기 렌즈 계(110)에서 수렴된 광 정보(101)를 데이터(Data; 102)로 변환시키기 위한 이미지 센서(Image Sensor; 120)와, 상기 이미지 센서(120)에서 제공된 데이터(102)로부터 초점이 맞는 피사체 영역을 분할해서 초점이 맞지 않는 배경 영역에 결합시킨 영상 정보(103)를 생성하는 제어부(140)와, 영상 정보(103)를 사용자에게 제공하는 영상 수단(130)과, 영상 정보(103)를 저장하기 위한 제1 메모리(memory; 150)를 포함한다.

상기 렌즈 계(110)는 적어도 둘 이상의 렌즈들(Lens)로 구성될 수 있으며, 사용자가 촬영하고자 하는 대상 범위 내에 위치된 피사체(측거점 대상인 물체 또는 인물) 영역과 배경 영역(측거점 대상 이외)에 대한 광 정보를 상기 이미지 센서(120)에 수렴시킬 수 있다.

상술한 피사체 영역은 사용자가 촬영하기 위해서 초점의 대상으로서 촬영하고자 하는 물체 또는 인물을 의미하고, 배경 영역은 피사체 주변으로서 피사체 영역과 동시에 촬영된 주변의 배경을 의미한다.

상기 이미지 센서(Image Sensor; 120)는 씨모스(CMOS) 또는 씨씨디(CCD)와 같은 형태의 센서들이 사용될 수 있으며, 상기 이미지 센서(120)는 복수의 픽셀들(Pixels)이 집적된 구조를 갖는다. 상술한 픽셀 각각은 일종의 광검출기로서 입사된 광 정보(101)를 전기적 형태의 데이터(102)로 변환시킨다. 즉, 상기 렌즈 계(110)로부터 상기 이미지 센서(120)에 수렴된 광 정보(101)는 전기적 형태의 데이터(Data; 102)로 변환되어, 상기 제어부(140)로 출력된다.

도 1b는 도 1a에 도시된 제어부(140)의 구성을 도시한 블록도로서, 도 1b를 참조하면, 상기 제어부(140)는 화각에 따른 피사체 영역의 배율 정보가 저장된 제2 메모리(142)와, 연산 소자(141)를 포함한다.

상기 연산 소자(141)는 상기 이미지 센서(120)에서 제공된 데이터(102) 중에서 초점이 맞는 피사체 영역을 분할한다. 또한, 상기 연산 소자(141)는 상기 제2 메모리(142)에서 제공된 초점 거리에 따른 피사체의 배율 정보에 데이터(102) 중에서 초점이 맞지 않는 배경 영역을 구비한 데이터(102)의 배율을 비교해서 해당 배율의 배경 영역과 피사체 영역을 결합시킨 영상 정보를 생성한다. 생성된 영상 정보(103)는 상기 영상 수단(130)을 통해서 사용자에게 제공된다.

그 외에, 상기 연산 소자(141)는 상기 렌즈 계(110)의 자동 초점 조절을 위한 제어 신호(104)를 상기 렌즈 계(110)에 제공하며, 상기 렌즈 계(110)는 제어 신호(104)에 따라서 자동 초점 동작을 실시한다. 또한, 이미지 센서(120)는 렌즈 계(110)의 자동 초점 동작 중에 각각의 초점 거리에 따른 다수의 데이터(102)를 상기 연산 소자(141)에게 제공하고, 상기 연산 소자(141)는 제공되는 데이터들(102) 중에서 배경 영역을 선택할 수 있다.

상기 제2 메모리(142)는 상기 이미지 센서(120)에서 제공된 데이터들(102)이 저장되어, 상기 연산 소자(141)의 영상 정보(103) 생성에 이용될 수 있다. 또한, 상기 제2 메모리(142)에는 초점 거리에 따른 배경 영역의 배율 정보가 저장될 수 있으며, 상기 연산 소자(141)는 상기 제2 메모리(142)에서 제공되는 초점 거리에 따른 배경 영역의 배율 정보에 따라서 분할된 피사체 영역의 배율을 조절해서 결합할 수 있다.

상기 영상 수단(130)은 유기 액정 화면(Liquid Crystal Display) 등이 사용될 수 있으며, 사용자에게 촬영된 이미지를 영상 화면의 형태로 제공할 수 있다. 그 외에도, 상기 영상 수단(130)은 사용자가 디지털 카메라(100)를 조작하는 데 필요한 메뉴들(Menus)도 제공할 수 있다.

도 2a는 본 발명의 제2 실시 예에 따른 피사계 심도 구현을 위한 순서도이다. 도 2a에 따른 디지털 카메라의 피사계 심도 구현 방법은 피사계 심도 구현을 위한 피사체 영역을 설정하는 과정(210)과, 피사체 영역과 배경 영역으로 구성된 다수의 이미지 프레임(Image frame)들을 촬영하는 과정(220)과, 촬영된 이미지 프레임 중에서 피사체 영역의 초점이 맞는 이미지 프레임을 선별하는 과정(230)과, 피사체 영역의 배율을 보정 하는 과정(240)과, 초점이 맞는 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정(250)과, 분할된 피사체 영역과 배경 영역을 결합하는 과정(260)을 포함한다.

피사체 영역 설정 과정(210)은 사용자가 피사계 심도의 효과를 얻고 싶은 대상 피사체 영역을 설정하는 과정으로서, 수동 방식과 자동 방식으로 구분될 수 있다.

상술한 수동 방식은 피사체 영역을 수동 방식으로 설정하는 방식으로서, 피사체 영역의 주변을 디지털 카메라 등에서 제공하는 방향 버튼(Button)을 이용해서, 설정하는 방식을 의미한다.

상술한 자동 방식은 디지털 카메라 측에서 피사체 영역들을 사용자에게 제공하고 사용자가 제공된 피사체 영역들 중 피사체 영역을 선택하는 방식을 의미한다.

삭제

다수의 이미지 프레임(Image frame)들을 촬영하는 과정(220)은 자동 초점을 위해 렌즈 계가 광축을 따라서 구동하는 중에 다양한 이미지 프레임들을 촬영하는 과정이다.

디지털 카메라는 촬영 대상 범위 내의 피사체 및 배경 영역을 이미지 센서 등에 의해 전기적 데이터로 변환함으로써, 렌즈 계의 자동 초점 동작 중에 다수의 이미지 프레임들을 생성해 낼 수 있다. 또한, 생성된 이미지 프레임들은 메모리 등에 저장될 수 있다.

촬영된 이미지 프레임 중에서 피사체 영역의 초점이 맞는 이미지 프레임을 선별하는 과정(230)은 윤곽선 검출(231)과, 그에 따른 최적의 초점 위치를 선정하는 과정(232)으로 이루어질 수 있으며, 이미지 프레임 중에서 최적의 초점에 위치된 피사체 영역을 검출하기 위한 과정이다.

윤곽선 검출 과정(231)은 자동 초점 동작 중 촬영된 서로 다른 이미지 프레임들로부터 각각의 윤곽선 값을 검출하기 위한 과정이다.

도 3은 윤곽선 값을 비교하기 위한 그래프이다. 도 3을 참조하면, 그래프의 x 축은 초점 위치를 의미하고, y 축은 윤곽선(Edge) 값을 의미한다. 도 3의 그래프에 도시된 실선(301)과 점선(302)은 각각의 윤곽선 그래프들로서, 최적의 초점 위치가 서로 다름을 알 수 있다.

상술한 중 윤곽선을 이용한 영상 처리 방법은 촬영된 농담의 급격한 변화를 미분 연산에 의해 윤곽선을 추출하는 처리 방법으로서, 다양한 형태의 연산 방법이 적용될 수 있다. 화각에 따라서 촬영되는 이미지 프레임의 범위는 다르며, 윤곽선 값은 이미지 프레임으로부터 검출되는 고주파 성분에 따라서 결정될 수 있다.

윤곽선 값은 이미지 프레임으로부터 검출되는 고주파 성분에 따라서 결정될 수 있으며, 가장 높은 고주파 성분이 검출될 경우의 윤곽선 값도 가장 크다.

최적의 초점 위치를 선정하는 과정(230)은 촬영된 이미지 프레임들의 윤곽선 값들을 비교해서 최고점에 위치된 윤곽선 값에 해당하는 이미지 프레임의 피사체 영역을 선택하는 과정이다.

즉, 최적의 초점 위치(232)를 선정하는 과정은 초점이 맞는 피사체 영역의 존재 여부를 판별하기 위한 과정으로서, 해당 이미지 프레임에서 최대값의 윤곽선 값이 존재하는지를 비교하는 과정이다.

초점이 맞는 피사체 영역이 존재하지 않는다면, 피사체 영역 설정 과정과 이미지 프레임 생성 과정의 사이에서부터 본 발명에 따른 전 과정을 다시 실시한다.

도 2b는 피사체 영역의 배율 보상의 과정을 도시한 순서도로서, 초점이 맞는 피사체 영역을 배경 영역의 배율에 따라서 보상하는 과정(240)은 피사체 영역의 렌즈 배율을 환산하는 과정(241)과 피사체 영역의 배율을 배경 영역의 배율에 일치하도록 보상하는 과정(242)을 포함한다. 제공되는 이미지 프레임들 중에서 초점이 맞지 않는 배경 영역이 선택될 수 있으며, 초점이 맞지 않는 배경 영역의 배율에 선택된 피사체 영역의 배율이 일치하도록 보정한다.

사용자가 원하는 피사계 심도의 정도에 따라서, 피사체 영역의 배율과 다른 배율의 배경 영역이 결합 될 수 있다. 자연스런 영상 정보를 얻기 위해서는 피사체 영역의 배율과 배경 영역의 배율을 일치시킬 필요가 있다.

상기 피사체 영역의 렌즈 배율 환산 과정(241)은 해당 화각을 배율로 환산하는 과정이고, 피사체 영역의 화각을 배경 영역의 화각으로 보정하는 과정(242)은 피사체 영역의 배율을 결합 대상이 되는 배경 영역의 배율과 일치시키기 위한 과정이다.

즉, 화각에 따른 배율은 해당 렌즈 계의 특성에 따라서 결정되므로, 이는 디지털 카메라에 기 설정될 수 있으며 연산 소자 등은 기 설정된 화각에 따른 배율 정보를 비교해서 결합에 사용할 피사체 영역의 배율을 보상할 수 있다.

동일한 화각에서 촬영된 이미지 프레임에 포함된 배경 영역과 피사체 영역을 결합할 경우는 화각에 따른 차이가 없으므로 보상할 필요가 없으나, 다른 화각에서 촬영한 배경 영역과 결합할 경우는 해당 배경 영역의 배율과 피사체 영역의 배율이 일치되도록 보상해야된다.

초점이 맞는 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정(250)은 위의 화각 보상 과정에서 화각이 보상된 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정이다.

피사체 및 배경 영역의 결합 과정(260)은 분할된 피사체 영역을 결합 대상이 되는 배경 영역과 결합해서 원하는 영상 정보를 생성하는 과정이다.

도 4는 배경 영역과 피사체 영역을 결합하는 방법을 설명하기 위한 도면이 다. 도 4의 (a)에 도시된 a는 피사체 영역을 의미하고, 도 4 (b)의 윤곽선 그래프에서 최적의 초점에 위치됨을 알 수 있다.

피사체 영역 이외의 배경 영역들은 피사체 영역의 윤곽선 값보다 작은 값을 갖는다. 따라서, 도 4의 (a)의 피사체 영역의 윤곽선 값에 비교해서 작은 값의 배경 영역과 결합할 수 있다. 도 4 (a)에 도시된 a는 피사체 영역이며, b,c,d는 배경 영역으로서 윤곽선 값이 다르다.

예를 들어 설명하면, 사용자가 필요로 하는 피사계 심도가 얕은 경우는 b의 윤곽선 값을 갖는 배경 영역을 결합에 이용하고, 깊은 피사계 심도를 필요로 하는 경우는 d의 윤곽선 값을 갖는 배경 영역을 이미지 결합에 이용할 수 있다.

본 발명은 피사체를 중심으로 초점이 맞는 이미지 프레임과, 피사체 주변 배경의 초점이 맞지 않는 배경의 이미지 프레임을 결합함으로써 디지털 카메라에서 피사계 심도 구현이 가능해지는 이점이 있다.

즉, 본 발명은 피사계 심도 구현을 위해서 별도의 광학계를 더 구비하지 않고도, 원하는 피사계 심도의 효과를 구현할 수 있다.

Claims (8)

1. 피사계 심도 구현 방법에 있어서,

   피사계 심도 구현을 위한 피사체 영역을 설정하는 과정과;

   피사체 영역과 배경 영역으로 구성된 다수의 이미지 프레임들을 촬영하는 과정과;

   촬영된 이미지 프레임 중에서 피사체 영역의 초점이 맞는 이미지 프레임을 선별하는 과정과;

   초점이 맞는 피사체 영역을 초점이 맞지 않는 배경 영역의 배율이 일치하도록 보정하는 과정과;

   초점이 맞는 피사체 영역을 해당 이미지 프레임으로부터 분할하는 과정과;

   분할된 피사체 영역과 초점이 맞지 않는 배경 영역을 결합하는 과정을 포함함을 특징으로 하는 디지털 카메라의 피사계 심도 구현 방법.
2. 제1 항에 있어서,

   피사체의 영역의 크기는 화각에 따라서 다수 설정된 상태로 디지털 카메라에 저장됨을 특징으로 하는 피사계 심도 구현 방법.
3. 제2 항에 있어서,

   화각에 따른 피사체 영역의 크기를 사용자에게 제공함을 특징으로 하는 피사계 심도 구현 방법.
4. 제2 항에 있어서,

   상기 피사체 영역은 피사체의 화각에 따라서 그 크기가 선택됨을 특징으로 하는 피사계 심도 구현 방법.
5. 제1 항에 있어서,

   피사체의 영역은 사용자에 의해서 설정됨을 특징으로 하는 피사계 심도 구현 방법.
6. 피사체 및 배경 영역을 포함하는 광 정보를 수렴시키기 위한 렌즈 계와;

   상기 렌즈 계에서 수렴된 광 정보를 데이터 변환시키기 위한 이미지 센서와;

   상기 이미지 센서에서 제공된 데이터들 중에서 초점이 맞는 피사체 영역을 초점이 맞지 않는 배경 영역의 배율에 일치하도로 보상해서 결합된 영상 정보를 생성하는 제어부와;

   상기 제어부로부터 입력받은 영상 정보를 사용자에게 제공하는 영상 수단을 포함함을 특징으로 하는 디지털 카메라.
7. 제6 항에 있어서, 상기 제어부는,

   초점 거리에 따른 배율 정보가 저장된 제2 메모리와;

   상기 이미지 센서에서 제공된 데이터들 중에서 초점이 맞는 피사체 영역을 선택하고, 선택된 피사체 영역을 초점이 맞지 않는 배경 영역의 배율에 일치하도록 보상해서 결합된 영상 정보를 생성하기 위한 연산 소자를 포함함을 특징으로 하는 디지털 카메라.
8. 제6항에 있어서, 피사계 심도를 위한 디지털 카메라는,

   상기 영상 수단으로부터 제공된 영상 정보를 저장하기 위한 제1 메모리를 더 포함함을 특징으로 하는 디지털 카메라.

Images