KR101899851B1

KR101899851B1 - 이미지 처리 장치 및 방법

Info

Publication number: KR101899851B1
Application number: KR1020120046617A
Authority: KR
Inventors: 이용구
Original assignee: 삼성전자 주식회사
Priority date: 2012-05-03
Filing date: 2012-05-03
Publication date: 2018-09-18
Also published as: CN103384307B; EP2661074A3; US9185302B2; WO2013165196A1; US20130293743A1; BR112014028686A2; US9998670B2; CN103384307A; EP2661074B1; KR20130123481A; RU2014144317A; US20160028964A1; EP2661074A2

Abstract

이미지 처리장치가, 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 이미지스케일러와, 상기 상기 표시이미지를 버퍼링하는 표시이미지버퍼와, 상기 카메라에서 생성되는 이미지를 캡쳐 이미지로 버퍼링하는 정지이미지버퍼를 구비하여 상기 표시이미지 및 정지이미지를 시분할하여 처리하는 이미지처리부와, 상기 이미지처리부에서 처리된 표시이미지를 일시저장하며, 프레임의 설정시간에서 상기 표시이미지를 출력하는 시간조정부와, 캡쳐 요구시 상기 이미지처리부를 제어하여 표시이미지를 처리한 나머지 프레임 구간 및 다음 프레임 구간에서 정지이미지를 처리하며, 상기 정지이미지처리후 상기 버퍼링 중인 표시이미지를 다음 프레임의 나머지 구간에서 처리하도록 제어하는 제어부로 구성된다.

Description

이미지 처리 장치 및 방법{APPARATUS AND MEHOD FOR PROCESSING A IMAGE IN CAMERA DEVICE}

본 발명은 카메라의 이미지처리 장치 및 방법에 관한 것으로, 특히 시분할 방식으로 동영상 및 정지영상을 처리하는 이미지처리장치에서 표시이미지의 출력을 일정하게 제어할 수 있는 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

이때 상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지를 프리뷰 이미지(preview image)로 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter on), 카메라에서 이미지를 센싱하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리장치의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.

또한 카메라장치에서 이미지처리시 프리뷰 이미지 및 캡쳐를 위한 정지이미지 또는 동영상 녹화 이미지 및 상기 정지이미지를 동시에 처리하는 경우, 이미지 처리에 한계가 있었다. 즉, 동영상과 정지영상을 동시에 처리하는 경우, 카메라의 영상처리 장치의 처리 능력이 제한되어 동영상 시간 간격을 영상처리 장치의 입력과 동일하게 출력하기 위해서는 정지영상을 처리할 수 없는 문제점을 가지고 있었다.

따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 동영상을 처리할 때 처리된 이미지를 프레임의 설정시간에서 출력하는 장치 및 방법을 제안한다. 여기서 상기 동영상 이미지는 프리뷰이미지 및/또는 동영상 녹화 이미지가 될 수 있으며, 프레임 설정시간은 프레임 종료시간 또는 프레임 시작시간에서 일정 지연된 시간이 될 수 있다.

이때 정지영상과 동영상을 동시에 처리하는 경우, 먼저 동영상을 처리하여 버퍼링하고, 이후 정지영상을 처리하며, 프레임의 설정시간에서 처리된 동영상을 출력한다. 그리고 다음 프레임 구간에서 상기 정지영상을 처리하는 프레임 이미지가 수신되면 이를 버퍼링하며, 정지영상 처리 종료 후 다음 프레임의 동영상 이미지를 처리한 후 프레임의 설정 시간에서 처리된 동영상을 처리한다.

본 발명의 실시예에 따른 이미지 처리장치가, 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 이미지스케일러와, 상기 표시이미지를 버퍼링하는 표시이미지버퍼와, 상기 카메라에서 생성되는 이미지를 캡쳐 이미지로 버퍼링하는 정지이미지버퍼를 구비하여 상기 표시이미지 및 정지이미지를 시분할하여 처리하는 이미지처리부와, 상기 이미지처리부에서 처리된 표시이미지를 일시저장하며, 프레임의 설정시간에서 상기 표시이미지를 출력하는 시간조정부와, 캡쳐 요구시 상기 이미지처리부를 제어하여 표시이미지를 처리한 나머지 프레임 구간 및 다음 프레임 구간에서 정지이미지를 처리하며, 상기 정지이미지 처리 후 상기 버퍼링 중인 표시이미지를 다음 프레임의 나머지 구간에서 처리하도록 제어하는 제어부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 이미지 처리방법이, 매프레임 주기에서 카메라에서 생성되는 이미지를 정지 이미지 및 표시이미지로 변환하여 버퍼링하며, 상기 상기 버퍼링된 표시 이미지를 이미지 처리하는 과정과, 상기 이미지 처리된 표시이미지를 일시저장하는 과정과, 상기 일시저장된 표시이미지를 프레임의 설정구간에서 출력하여 표시이미지의 출력시간을 정렬하는 과정으로 이루어짐을 특징으로 한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치에서 이미지처리장치는 고화소 카메라를 구비하며 시분할 방식으로 이미지를 처리하며, 시분할 방식으로 이미지를 처리하는 이미지처리장치가 동영상 처리모드에서 정지영상을 저장할 때 표시부에 출력되는 동영상 표시이미지를 동일한 시간간격으로 출력할 수 있다.

도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2a - 도 2b는 도 1의 이미지처리부 구성을 도시하는 도면
도 3a - 도 3b는 도 1의 이미지처리부의 다른 구성예를 도시하는 도면
도 4는 본 발명의 실시예에 따라 동영상 이미지 및 정지영상 이미지를 처리하는 이미지처리장치의 구체적인 구성 예를 도시하는 도면
도 5는 카메라부110에서 등간격으로 동영상 스트림이 발생되는 경우의 이미지처리장치 동작 특성을 설명하기 위한 도면
도 6은 카메라부110에서 비등균 간격으로 동영상 스트림이 발생되는 경우의 이미지처리장치 동작 특성을 설명하기 위한 도면
도 7은 본 발명의 실시예에 따른 이미지처리장치에서 비등균 간격으로 비디오 스트림이 에서 입력되고, 시간 기준을 프레임 엔드(frame end)로 하는 경우 타이밍(timing)을 도시하는 도면
도 8은 본 발명의 실시예에 따른 이미지처리장치에서 시간 기준을 프레임 엔드로 하는 경우의 이미지처리부의 동작 타이밍을 도시하는 도면
도 9는 본 발명의 실시예에 따른 이미지처리장치의 동작 절차를 도시하는 흐름도
도 10은 본 발명의 실시예에 따라 이미지처리장치가 동영상처리모드에서 표시이미지들을 처리하는 절차를 도시하는 흐름도
도 11은 본 발명의 실시예에 따라 이미지처리장치가 동영상 및 정지영상 이미지들을 시분할하여 처리하는 절차를 도시하는 흐름도
도 12는 본 발명의 실시예에 따라 이미지처리장치가 표시이미지의 출력 시간을 정렬하여 프레임의 일정 위치에서 출력되도록 타이밍을 제어하는 절차를 도시하는 흐름도
도 13은 본 발명의 실시예에 따라 이미지처리장치에서 동영상 처리시 표시이미지를 출력하는 절차를 설명하는 도면
도 14는 본 발명의 실시에에 따라 이미지처리장치에서 동영상 및 정지영상을 시분할 처리할 때의 표시이미지 출력 절차를 설명하기 위한 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 카메라의 화소수, 프레임 율(frame rate) 등과 같은 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지처리장치는 카메라 구동시(예를들면 preview mode) 카메라로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 표시 또는 동영상 저장을 위한 이미지(이하 동영상 이미지 또는 표시이미지라 칭한다) 및 정지이미지(still image)로 저장하기 위한 이미지(이하 캡쳐 이미지라 칭한다)를 생성한다. 여기서 상기 표시이미지는 상기 캡쳐이미지에 비해 작은 크기를 갖거나 또는 동일한 크기를 가진다. 이런 경우 카메라장치는 매 프레임 주기에서 카메라로부터 이미지를 획득하며, 획득되는 이미지를 프리뷰하기 위한 표시 이미지로 변환하여 표시부에 표시하고, 또한 상기 카메라로부터 획득되는 풀해상도 이미지는 정지이미지로 저장하기 위해 버퍼링한다. 상기와 같은 상태에서 캡쳐 요구가 발생되면, 카메라장치는 버퍼링된 프레임 이미지들에서 캡쳐 요구된 시점의 프레임 이미지(즉, zero shutter lag을 가지는 프레임 이미지)를 선택하여 압축 부호화한 후 저장한다.

일반적으로 카메라장치는 셔터 온 시점에서 카메라가 이미지 획득까지의 지연시간(셔터 지연 또는 셔터렉)을 가진다. 따라서 본 발명의 실시예에 따른 이미지처리장치는 표시이미지와 독립적으로 카메라의 풀 해상도 이미지를 일시 저장하기 위한 버퍼를 구비하며, 카메라 구동시 상기 버퍼에 풀해상도 이미지들을 버퍼링한다. 그리고 캡쳐 요구시 버퍼링 중인 프레임 이미지들 중에서 캡쳐 요구 시간의 프레임 이미지를 선택하여 처리하므로써 제로 셔터렉(zero shutter lag)을 구현할 수 있다. 본 발명의 실시예에서 상기 버퍼는 설정된 수의 프레임 이미지들을 저장할 수 있는 크기로 구성할 있으며, 상기 셔터렉을 없앨 수 있는 정도의 프레임 크기로 갖도록 설정하면 된다. 일반적으로 셔터렉은 2프레임 전후로 발생될 수 있다. 따라서 상기 버퍼링 프레임은 5프레임 이내로 설정할 수 있다.

또한 본 발명의 실시예에 따른 이미지처리장치는 상기 표시이미지 및 정지영상 이미지를 시분할하여 처리한다. 이런 경우 동영상 처리 모드(예를들면 프리뷰모드 또는 동영상 녹화모드 등)시 이미지처리장치는 동영상 이미지 처리 경로를 형성하여 처리한다. 그리고 캡쳐모드시 먼저 표시이미지 처리경로를 형성하여 동영상 이미지를 처리하고, 프레임의 남은 구간에서 정지영상이미지 처리경로를 형성하여 정지영상 이미지를 처리한다. 이때 상기 정지영상 이미지는 카메라의 이미지센서의 발달에 따라 고화소의 이미지로 획득될 수 있다. 이때 상기 카메라에서 고화소 이미지를 출력하는 경우, 이미지처리장치는 1프레임의 구간에서 동영상 이미지 및 정지영상 이미지를 모두 처리할 수 없는 경우가 발생될 수 있다. 이를 해결하기 위하여 본 발명의 실시예에 따른 이미지 처리장치는 동영상 처리모드시 이미지 처리된 표시이미지를 버퍼링하였다가 프레임의 설정된 구간(예를들면 frame end 또는 frame end에 가까운 시간)에서 출력한다. 이는 정지이미지 처리시 다음 프레임 구간에서도 연속하여 정지이미지를 처리하여야 하는 상황이 발생될 수 있으며, 이런 경우 정지영상 처리를 종료한 후에 다음 프레임의 표시이미지를 처리하는 경우에도 표시이미지의 출력 시간을 이전 프레임의 출력시간과 동일한 시간이 될 수 있도록 하기 위함이다. 즉, 본 발명의 실시예에 따른 이미지처리장치는 동영상 및 정지영상이미지를 동시에 처리하여야 프레임 구간에서는 먼저 동영상 이미지를 처리한 후 프레임 나머지 구간에서 정지영상이미지를 처리하고, 다음 프레임의 시작 구간에서도 정지영상 이미지를 처리하며, 상기 정지영상 이미지 처리를 완료한 후 나머지 다음 프레임 구간에서 동영상 이미지를 처리하는 방법을 제안한다.

이하의 설명에서 풀해상도 이미지라는 용어는 카메라에서 획득되는 이미지를 의미하는 용어로, 이미지 스케일링되지 않은 이미지를 의미한다. 또한 표시이미지라는 용어는 프리뷰모드에서 표시부에 표시되는 이미지 또는 동영상 저장을 위한 이미지로써, 상기 카메라에서 획득되는 이미지를 설정된 크기(또는 해상도)로 스케일링된 이미지를 의미한다. 여기서 상기 표시이미지의 경우, 프리뷰 이미지 및 동영상 이미지의 해상도(크기)가 같을 수 있으며, 또한 서로 다른 크기(해상도)를 가질 수 있다. 그리고 캡쳐 이미지라는 용어는 정지 이미지로 저장하기 위한 이미지로써, 상기 카메라에서 획득되는 풀해상도의 이미지 또는 상기 카메라에서 획득된 이미지를 설정된 크기로 스케일링하는 이미지가 될 수 있다. 본 발명의 실시예에서 상기 캡쳐이미지는 상기 카메라의 풀해상도 이미지인 경우를 가정하여 설명될 것이다.

또한 이미지 스케일링이라는 용어는 상기 풀해상도의 이미지를 설정된 크기(또는 해상도)로 조절하는 것을 의미한다. 본 발명의 실시예에서 상기 이미지스케일링은 리사이징 및 가산 및 평균 방법으로 구현할 수 있다. 여기서 상기 리사이징은 이미지를 데시메이션, 인터폴레이션 및 크롭하여 이미지 크기를 조절하는 방법을 의미한다. 그리고 가산 및 평균화 방법은 인접한 화소들을 하나의 화소로 생성하여 화소수를 조절하는 방법을 의미하며, 상기 평균화 동작을 수행한 후 상기 데시메이션, 인터폴레이션 및 크롭 등을 수행할 수도 있다.

도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, 카메라부110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라부110은 광학부, 이미지 센서 및 신호처리부 등을 구비한다. 상기 광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서은 CMOS 또는 CCD센서와 같은 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 global shutter를 내장할 수도 있다. 상기 global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. 그리고 카메라부110은 뷰파인더(viewfinder)를 구비할 수도 있다.

본 발명의 실시예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서에서 감지되는 이미지는 신호처리부를 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라부110에서 출력되는 데이터는 베이어 데이터(Bayer data, raw data)가 될 수 있다.

제어부100은 본 발명의 실시예에 따른 카메라장치의 전반적인 동작을 제어한다. 특히 상기 제어부100은 이미지처리장치200을 시분할 제어하여 표시이미지 및 캡쳐이미지를 분리 처리한다. 상기 제어부100은 프리뷰모드시 상기 이미지처리장치200을 제어하여 표시이미지를 처리하도록 제어하며, 캡쳐 모드시 상기 이미지처리장치200을 표시이미지 및 캡쳐이미지를 시분할 처리하여 표시 및 저장할 수도 있도록 제어한다.

상기 이미지처리부200은 프리뷰 및 동영상 녹화모드에서 카메라부110에서 생성되는 이미지를 표시이미지로 변환 및 처리한다. 또한 상기 이미지처리부200은 캡쳐모드에서는 현 프레임 구간에서 상기 표시이미지를 처리하고, 현 프레임의 나머지 구간 및 다음 프레임의 시작구간에서 연속으로 상기 정지이미지를 처리하며, 상기 정지이미지 처리 완료시 상기 다음 프레임의 표시이미지를 처리한다.

시간조정부170은 상기 이미지처리부200에서 처리되는 표시이미지를 일시 저장하며, 프레임의 설정된 구간에서 일시 저장중인 표시이미지를 출력한다. 따라서 상기 시간조정부170은 매 프레임 구간에서 표시이미지를 프레임의 설정된 구간에서 출력하는 기능을 수행한다. 여기서 상기 시간조정부170은 버퍼가 될 수 있으며, 상기 프레임의 설정된 구간은 상기 프레임의 종료 구간(frame end) 또는 프레임의 종료에 가까운 구간이 될 수 있다.

상기 정지영상코덱190은 상기 이미지처리부200에서 출력되는 정지영상이미지를 압축부호화하여 저장부120에 저장한다. 여기서 상기 정지영상코덱은 JPEG 코덱이 될 수 있다. 또한 상기 표시이미지는 동영상 저장을 위한 이미지로 사용될 수 있다. 이런 경우, 동영상 촬영 요구가 발생되면, 동영상 코덱180은 상기 이미지처리부200에서 출력되는 표시이미지를 부호화하여 저장부120에 저장한다. 여기서 상기 동영상 녹화되는 이미지는 프리뷰모드의 표시이미지와 동일한 크기를 가질 수 있다. 또한 상기 표시이미지는 상기 프리뷰 표시이미지보다 더 큰 화소들로 구성되는 표시이미지가 될 수 있다. 이런 경우, 상기 이미지처리부200은 프리뷰모드시의 이미지 스케일러와 동영상 모드의 스케일러로 구성하거나, 또는 모드 제어에 따라 스케일링 비율을 다르게 설정할 수도 있도록 구성하여야 한다. 그리고 동영상 저장이 요구되면, 제어부100은 이미지처리부200을 제어하여 동영상 표시이미지의 크기로 스케일링되도록 제어하며, 이에 따라 이미지 처리부200은 상기 카메라부110에서 출력되는 풀 해상도의 이미지를 동영상 표시이미지 크기로 스케일링한다. 여기서 상기 동영상 부호화는 H.264 등 다양한 형태로 수행할 수 있다.

저장부120은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 정지영상 이미지 및 동영상 이미지들을 저장할 수 있다. 표시부130은 상기 시간조정부170에서 표시 시간이 조정되어 출력되는 표시이미지를 표시한다. 상기 표시부130은 LCD 또는 OLED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영중의 정보들을 표시하는 기능을 수행한다. 상기 입력부140은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부140의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부130 및 입력부140의 일부 버튼들은 터치스크린 형태로 구성할 수 있다.

상기 제어부100은 입력부140을 통해 입력되는 제어명령에 따라 카메라장치의 동작을 제어한다. 상기 입력부140을 통해 카메라 구동명령이 발생되면, 상기 카메라부110 및 이미지처리장치 200을 제어하여 프리뷰 모드의 동작을 수행한다. 그리고 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐요구가 발생된 시점의 풀해상도 이미지를 상기 정지이미지버퍼250에서 선택하며, 상기 다중화부250 및 역다중화부255를 시분할제어하여 상기 표시이미지는 표시부130에 표시하고, 선택된 풀해상도 이미지를 부호화하여 저장부120에 저장하도록 제어한다. 이때 상기 제어부100은 프리뷰 또는 동영상 녹화모드시 상기 이미지처리부200을 제어하여 표시이미지를 생성하여 이를 처리하고, 상기 처리된 이미지를 시간조정부170에 일시저장한다. 이후 상기 제어부100은 해당 프레임의 설정 구간에서 상기 시간조정부170에 저장된 표시이미지를 출력하도록 제어한다. 또한 캡쳐모드시 상기 제어부100은 이미지처리부200을 제어하여 현 프레임 시작 구간에서 상기 표시이미지를 생성 및 처리하며 처리된 표시이미지를 시간조정부170에 일시저장하며, 현 프레임의 나머지 구간 및 다음 프레임의 시작구간에서 연속으로 상기 이미지처리부200을 제어하여 정지이미지를 후처리한다. 이후 상기 정지영상 이미지 처리 완료시 상기 제어부100은 상기 이미지처리부200을 제어하여 다음 프레임의 표시이미지를 처리하여 시간조정부170에 일시 저장하며, 상기 시간조정부170를 제어하여 프레임의 설정된 시간에서 표시이미지를 출력한다.

따라서 본 발명의 실시예에 따른 이미지처리장치는 각 프레임의 설정된 구간(예를들면 프레임 구간의 뒷 부분 또는 프레임 엔드 위치)에서 표시이미지를 표시하도록 제어하므로써, 정지이미지의 처리 시간이 커지더라도 표시동작을 일관되게 수행할 수 있다.

도 2a - 도 3b는 도 1의 이미지처리부 구성을 도시하는 도면이다.

먼저 상기 도 2a를 참조하면, 전처리부210은 상기 카메라부110으로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A, 즉 AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focusing) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다.

이미지스케일러(image scaler)220은 상기 전처리부210에서 출력되는 카메라부110의 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 표시이미지 버퍼230은 상기 이미지스케일러220에서 출력되는 표시이미지를 버퍼링한다. 여기서 상기 표시이미지 버퍼230은 프레임 구간에서 표시 이미지를 처리하기 위한 시간을 보상하는 기능을 수행한다.

정지이미지버퍼250은 상기 전처리부210에서 출력되는 카메라부110의 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼250은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있으며, 본 발명의 실시예에서는 5프레임 이하의 이미지들을 저장할 수 있는 크기로 구성할 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼250은 매프레임마다 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링하며, 캡쳐 요구시 상기 제어부100의 제어에 의해 선택되는 버퍼의 이미지가 억세스된다.

후처리부240은 상기 표시이미지버퍼230 및/또는 정지이미지버퍼240에서 출력되는 표시이미지 및/또는 정지이미지는 시분할 입력하며, 상기 입력되는 이미지를 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다. 상기 후처리부240은 색보간기(color interpolator), IPC(image processing chain), 색변환부(image converter)등으로 구성될 수 있다. 먼저 상기 색보간기는 상기 이미지(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라부110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)를 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라부110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기는 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행한다. 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC는 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gramma correction), 휘도 보정(luminence correction) 등을 수행한다. 세번째로 색변환부는 상기 후처리된 이미지(raw data, Bayer data)를 YUV 이미지로 변환한다. 즉, 상기 후처리부240은 전처리된 이미지를 색보간, 후처리한 후 YUV 이미지로 변환하는 기능을 수행한다.

파서260은 상기 후처리부240에서 처리되는 이미지들을 표시이미지 및/또는 정지이미지로 파싱한다. 이때 프리뷰 모드시 상기 파서260은 상기 후처리부240의 출력을 표시부130에 출력하며, 캡쳐모드시 상기 후처리부240의 출력을 표시이미지 및 정지이미지로 파싱하여 표시이미지는 상기 표시부130에 출력하고 캡쳐이미지는 정지영상코덱260에 출력한다. 상기 파서260은 소프트웨어적으로 구성할 수 있으며, 또한 하드웨어로 구현할 수 있다. 상기 소프트웨어적으로 파서260을 구성하는 방법은 상기 제어부100이 매 프레임 구간에서 상기 표시이미지버퍼230과 정지이미지버퍼250을 제어하여 상기 후처리부240에 인가되는 이미지를 선택하고, 상기 후처리부240에서 출력되는 이미지들을 파서260을 제어하여 각각 표시이미지 및 정지이미지로 파싱할 수 있다. 또한 상기 파서260을 하드웨어적으로 구현하는 경우 디멀티플렉서로 구현할 수 있으며, 상기 제어부100은 상기 디멀티플렉서를 제어하여 표시이미지 및 정지이미지를 각각 표시부 및 정지영상코덱에 출력할 수 있다.

정지영상코덱190은 상기 파서260에서 출력되는 캡쳐이미지를 압축부호화하여 저장부120에 저장한다. 여기서 상기 정지영상코덱은 JPEG 코덱이 될 수 있다. 또한 동영상 녹화모드시 상기 파서260에서 파싱되는 표시이미지는 상기 표시부130에 인가되는 동시에 동영상코덱180에 인가되며, 상기 동영상 코덱180은 상기 제어부100의 제어하에 입력되는 표시이미지를 압축부호화하여 저장부120에 저장한다. 이때 상기 동영상 코덱은 H.264 방식의 코덱일 수 있다.

상기와 같은 구성을 가지는 이미지 처리장치의 동작을 살펴보면, 사용자가 입력부140를 통해 카메라 구동명령을 발생하면, 제어부100은 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 카메라부110에서 획득되는 풀해상도의 베이어 이미지가 될 수 있으며, 상기 이미지는 전처리부210에 입력된다. 또한 전처리부210은 상기 제어부100의 제어하에 매 프레임 주기의 프레임 이미지를 생성한다. 여기서 상기 프레임율은 30fps(frame per sec) 또는 그 이상의 프레임율(예를들면 60fps)을 가질 수 있다. 상기 전처리부210은 상기 프레임이미지에 3A, 즉 AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focusing)를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등을 수행한다. 상기와 같이 전처리된 이미지는 풀해상도 이미지로써, 각각 이미지스케일러220 및 버퍼250에 인가된다.

상기 이미지스케일러220은 입력되는 풀 해상도 이미지를 표시부130에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 또는 그 이상의 방법들을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라부110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부130에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부130의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 이미지스케일링은 다양한 비율로 스케일링할 수 있다.

여기서 상기 이미지스케일러220은 리사이저(resizer) 및/또는 평균화부(summing average)로 구성될 수 있다. 상기 이미지스케일러220을 리사이저로 구현하는 경우, 상기 리사이저는 상기 전처리부210에서 출력되는 풀해상도 이미지를 상기 표시부130에 표시하기 위한 이미지의 용량 및 크기로 리사이징한다. 이때 리사이징은 데시메이션에서 의해 수행될 수 있으며, 또한 표시부130의 화면비에 맞도록 데시메이션(decimation), 인터폴레이션(interpolation) 및 크롭(crop) 등의 동작을 수행할 수도 있다. 또한 상기 이미지스케일러220을 평균화부로 구현하는 경우, 상기 평균화부는 이미지의 인접화소들을 가산 및 평균화하여 이미지의 화소수를 감축한다. 상기 평균화부는 전처리부210에서 출력되는 풀해상도 이미지의 인접 화소들을 평균화하여 표시이미지의 화소수를 감축한다. 여기서 상기 평균화부는 의사-Foveon(pseudo-Foveon) 방법을 사용하여 신호대 잡음 및 해상도 향상을 이룰 수 있다. 상기 카메라부110에서 출력되는 인접한 4개의 화소들은 한 개의 R 화소, 한 개의 B 화소 및 2개의 G 화소들로 구성됨을 알 수 있다. 따라서 4개의 화소들을 한 개의 화소로 평균화하면 4:1 화소로 이미지 스케일링할 수 있음을 알 수 있다. 상기 본 발명의 실시예에서 평균화부(summing average)는 4개의 화소들을 가산 및 평균화하여 1개의 화소로 감축하는 경우를 가정하여 설명하기로 한다. 이를 위하여 본 발명의 실시예에서는 두개의 G화소들을 가산한 후 이를 평균값을 구하여 하나의 G화소를 생성하고, 평균화된 G, R 및 B 화소들을 하나의 화소로 생성한다. 예를들어 도 2a에서 G11, B12, R21 및 G22 화소들을 하나의 화소로 생성하는 경우, R=R21, B=B12, G=(G11+G22)/2로 하여 RGB 값을 가지는 하나의 화소로 생성한다. 상기와 같이 평균화 동작을 수행하면 4개의 화소가 하나의 화소로 생성되며, 또한 색보간 동작도 함께 수행된다. 상기와 같이 화소들을 평균화하면 복수개의 화소들을 하나의 화소로 스케일링할 수 있으며, 이때 상기 화소들은 색보간 동작도 함께 이루어진다.

상기와 같이 이미지 스케일링된 화소들은 표시이미지 버퍼230에 인가되어 버퍼링된다. 여기서 상기 표시이미지 버퍼230은 표시이미지들의 이미지 처리 시간을 조정하는 기능을 수행한다. 즉, 상기 표시이미지버퍼230은 캡쳐 처리 모드시 정지이미지를 처리를 완료할 때까지 다음 프레임의 표시이미지를 버퍼링하는 기능을 수행한다.

그리고 상기 정지이미지 버퍼250은 매 프레임 주기에서 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링한다. 이때 정지이미지버퍼250은 링버퍼 구조를 가질 수 있으며, 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 즉 정지이미지버퍼250은 N 프레임의 이미지 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가지며, 매 프레임마다 전처리부210에서 출력되는 프레임 이미지 데이터를 버퍼링한다. 즉, 매프레임에서 생성되는 프레임 이미지 데이터들은 정지이미지버퍼250의 첫번째 버퍼에서부터 순차적으로 버퍼링되며, 마지막 버퍼까지 프레임 이미지 데이터가 버퍼링되면 상기 제어부100은 다시 첫번째 버퍼에 전처리부210에서 출력되는 프레임 이미지데이터를 오버라이트한다. 여기서 상기 N은 5 이하가 될 수 있으며, 이런 경우 상기 정지이미지버퍼250의 링버퍼는 5 프레임 이하의 이미지 데이터를 저장할 수 있는 구조로 구성하면된다. 예를들어 셔터 지연(셔터렉)이 2 프레임이라고 가정하면, 상기 정지이미지버퍼250은 3프레임 이미지(N=3)를 저장할 수 있는 링버퍼로 구성하면 된다.

따라서 매 프레임에서 상기 카메라부110으로부터 획득되는 이미지는 표시이미지버퍼230에 표시이미지로 버퍼링되고 정지이미지버퍼250에 정지이미지로 버퍼링된다. 그러면 상기 제어부100은 프레임 구간에서 상기 표시이미지버퍼230 및 정지이미지버퍼250의 이미지를 시분할하여 상기 후처리부240에 인가한다.

먼저 프리뷰 및/또는 동영상 녹화모드의 동작을 살펴본다.

상기한 바와 같이 매 프레임에서 상기 카메라부110으로부터 촬영되는 이미지는 전처리된 후 이미지스케일링되어 표시이미지로 생성된다. 그리고 표시이미지버퍼230은 표시이미지를 버퍼링하며, 상기 정지이미지버퍼250은 상기 전처리된 이미지를 버퍼링한다. 그러면 제어부100은 표시이미지버퍼230에 버퍼링된 표시이미지를 프레임의 시작 구간에서 리드하여 후처리부240에 전달한다. 그러면 상기 후처리부240은 상기 표시이미지를 색보간, IPC 처리 및 이미지 변환하여 YUV 이미지로 출력한다. 이때 상기 평균화부를 이용하여 이미지 스케일링 동작을 수행하는 경우, 후처리에서 색보간기는 각 화소 데이터들을 풀칼러(full color)로 변환하는 동작을 생략하고 다른 기능의 색보간 기능만을 수행하면 된다. 상기 후처리부240에서 처리된 표시이미지는 파서260에서 시간조정부170에 전달되어 일시저장된다. 그러면 상기 제어부100은 프레임의 설정구간(예를들면 프레임 종료 구간)에서 상기 시간조정부170에서 일시 저장되어 있는 표시이미지를 억세스하여 표시부130(또는 표시부130 및 저장부120)에 출력한다. 따라서 본 발명의 실시예에 따른 이미지처리장치는 프리뷰 또는 동영상 녹화모드시 상기 표시이미지를 프레임 시작 위치에서 처리하며, 프레임 구간에서 일정시간 지연된 시점 또는 프레임의 종료시점에서 표시부130 및/또는 저장부120에 전달된다. 상기와 같이 표시이미지를 프레임의 종료 시점 또는 이에 가까운 시점에서 처리하는 이유는 캡쳐모드에서 정지이미지 처리를 고려한 것이다.

두번째로 캡쳐모드의 동작을 살펴본다.

프리뷰모드 또는 동영상모드에서 사용자가 입력부140을 통해 정지이미지 촬영(캡쳐)을 요구하면, 상기 제어부100은 상기 정지이미지버퍼250에서 이전에 버퍼링중인 프레임 이미지들 중에서 제로 셔터렉의 프레임 이미지를 선택한다. 그러면 제어부100은 캡쳐 처리모드시 먼저 현재 프레임 구간의 시작시점에서 상기 표시이미지버퍼230에 저장된 표시이미지를 선택하여 후처리부240에 인가하며, 상기 파서260에 입력되는 이미지를 시간조정부170에 인가되도록 제어한다. 따라서 상기 후처리부240에서 처리된 표시이미지는 파서260을 통해 시간조정부170에 일시저장된다. 이후 상기 제어부100은 현재 프레임의 나머지 구간에서 상기 정지이미지버퍼250에 버퍼링된 제로셔터렉의 프레임이미지를 선택하여 후처리부240에 전달한다. 그리고 상기 후처리부240은 입력되는 정지이미지를 처리한다. 이때 상기 정지이미지는 상기 카메라부110의 풀해상도 이미지 또는 그 이하의 크기를 가지는 이미지가 될 수 있다. 따라서 상기 표시이미지의 처리시간도 더 큰 시간이 필요하다. 이런 경우 상기 정지이미지의 처리시간은 프레임 주기보다 더 클 수도 있다. 따라서 상기와 같이 정지이미지를 처리하는 중에 현재 프레임의 구간의 설정시간(즉, 프레임 시작구간에서 일정시간 지연된 시점 또는 프레임의 종료시점)이 되면, 상기 제어부100은 상기 시간조정부170에서 일시저장한 표시이미지를 표시부130 (및 동영상 코덱180)에 전달한다. 그리고 상기 정지이미지를 처리하는 중에 다음 프레임의 표시이미지가 생성되면, 상기 제어부100은 이를 상기 표시이미지버퍼230에 버퍼링한다. 이와 같은 상태에서 상기 후처리부240은 이전 프레임의 정지이미지를 처리하는 상태가 될 수 있다. 정지이미지의 처리가 완료되면, 상기 제어부100은 상기 표시이미지버퍼230에 버퍼링된 다음 프레임의 표시이미지를 리드하여 후처리부240에 전달하며, 상기 후처리부240의 출력이 시간조정부260에 전달되도록 상기 파서260을 제어한다. 그러면 상기 후처리부240에서 처리된 다음 프레임의 표시이미지는 파서260을 통해 시간조정부170에 인가되며, 상기 시간조정부170에 일시저장되는 표시이미지는 상기 제어부100의 제어하에 프레임의 설정 구간에서 억세스하여 표시부130 (및 동영상 코덱180)에 입력한다.

따라서 상기 캡쳐모드시, 상기 정지이미지가 1프레임 주기내에서 처리될 수 없는 크기를 가지는 경우, 2 개의 프레임 구간에서 처리한다. 이런 경우 이미지처리장치는 캡쳐 요구가 발생된 시점의 프레임 구간에서 먼저 표시이미지를 처리하고 나머지 프레임 구간에서 정지이미지를 처리하며, 다음 프레임의 시작 시점에서 정지이미지를 계속 처리하는 동시에 표시이미지버퍼230에 다음 프레임의 표시이미지를 버퍼링하며, 정지이미지 처리완료시 상기 버퍼링중인 표시이미지를 처리한다. 이때 상기 시간조정부170은 처리된 표시이미지를 일시저장하며, 프레임 구간의 설정시간에서 표시이미지를 출력하므로, 정지이미지를 동시에 처리하는 경우에도 동일한 시점에서 표시이미지를 표시부130에 출력하게 됨을 알 수 있다. 따라서 프리뷰 또는 동영상촬영 중에 캡쳐 명령이 발생되더라도 매 프레임에서 표시이미지를 출력할 수 있으며, 또한 이미지처리 시간이 다른 경우에도 프레임의 동일한 위치에서 일정하게 표시이미지를 출력할 수 있음을 알 수 있다.

상기 도 2b를 참조하면, 이미지스케일러(image scaler)220은 카메라부110에서 출력되는 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 표시이미지 버퍼230은 상기 이미지스케일러220에서 출력되는 표시이미지를 버퍼링한다. 여기서 상기 표시이미지 버퍼230은 프레임 구간에서 표시 이미지를 처리하기. 위한 시간을 보상하는 기능을 수행한다.

정지이미지버퍼250은 카메라부110에서 출력되는 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼250은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼250은 매프레임마다 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링하며, 캡쳐 요구시 상기 제어부100의 제어에 의해 버퍼링된 이미지들 중에서 제로 셔터렉의 이미지가 정지이미지로 선택될 수 있다.

전처리부210은 상기 상기 버퍼230 및/또는 240에서 출력되는 표시이미지 및/또는 정지이미지는 시분할 입력하며, 상기 시분할 이미지들을 전처리하는 기능을 수행한다. 상기 제어부100은 프리뷰 및/또는 동영상 녹화모드시 매 프레임에서 상기 표시이미지버퍼230에서 버퍼링되는 표시이미지를 상기 전처리부210에 인가하며, 캡쳐모드시(예를들면 스냅 샷) 프레임의 상기 프레임 구간에서 상기 표시이미지버퍼230 및 정지이미지버퍼250의 이미지들을 시분할하여 전처리부210에 인가한다. 상기 전처리부210은 3A(AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focusing))의 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등을 수행할 수 있다.

후처리부240은 상기 전처리부210에서 전처리된 이미지를 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다.

상기 도 2b와 같은 구성을 가지는 이미지처리장치는 카메라부110의 출력이 각각 이미지스케일러220 및 정지이미지버퍼250에 인가되며, 전처리부210이 상기 표시이미지버퍼230 및 정지이미지버퍼250의 출력을 시분할 입력하는 구성을 가진다. 그 이외의 구성은 상기 도 2a와 동일한 구성을 가지며, 각 구성부들의 동작 또한 상기 도 2a의 대응되는 구성부의 동작과 동일하다.

상기 도 3a를 참조하면, 전처리부210은 상기 카메라부110으로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 이미지스케일러(image scaler)220은 상기 전처리부210에서 출력되는 카메라부110의 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 표시이미지 버퍼230은 상기 이미지스케일러220에서 출력되는 표시이미지를 버퍼링한다. 정지이미지버퍼250은 상기 전처리부210에서 출력되는 카메라부110의 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼250은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다.

다중화부270은 상기 제어부100의 제어하에 상기 표시이미지버퍼230 및 정지이미지버퍼250의 이미지를 다중화하여 출력한다. 후처리부240은 상기 다중화부270에 의해 다중화 입력되는 이미지들 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다. 역다중화부280은 상기 후처리부240에서 처리되는 이미지들을 표시이미지 및/또는 정지이미지로 역다중화하여 출력한다. 이때 프리뷰 모드시 상기 역다중화부280은 상기 후처리부240의 출력을 표시부130에 출력하며, 캡쳐모드시 상기 후처리부240의 출력을 표시이미지 및 정지이미지로 역다중화하여 표시이미지는 상기 표시부130에 출력하고 캡쳐이미지는 정지영상코덱260에 출력한다.

상기 도 3a와 같은 구성을 가지는 이미지처리부200은 다중화부270 및 역다중화부280을 구비하여 표시이미지 및 정지이미지의 처리 경로를 형성하며, 이외의 구성 및 동작은 상기 도 2a와 동일하다.상기 도 3a와 같은 구성을 가지는 이미지처리부200의 동작을 살펴보면, 프리뷰모드인 경우, 상기 제어부100은 다중화부270에 이미지스케일러220의 출력을 선택하기 위한 제어신호를 출력하고, 상기 역다중화부280에서 상기 후처리부240의 출력을 표시부130에 출력하도록 제어하는 신호를 출력한다. 이런 경우, 상기 후처리부240은 표시이미지 크기를 가지는 이미지를 처리할 수 있도록 설정될 수 있다.

상기 프리뷰모드에서 카메라부110에서 촬영되는 이미지는 풀해상도 이미지이며, 상기 전처리부210은 매 프레임에서 상기 카메라부110의 풀해상도 이미지를 전처리한 후 이미지스케일러220 및 정지이미지버퍼250에 각각 인가한다. 그러면 상기 이미지스케일러220은 상기 풀해상도 이미지를 스케일링하여 표시이미지로 변환하며, 표시이미지버퍼230은 상기 표시이미지를 버퍼링한다. 또한 상기 정지이미지버퍼250은 상기 전처리부210에서 출력되는 카메라부110의 풀해상도 이미지를 설정 프레임 수로 버퍼링하는 동작을 수행한다. 그리고 상기 다중화부270은 상기 제어부100의 제어신호에 의해 표시이미지버퍼230의 의 출력을 선택하며, 역다중화부280은 상기 제어부100의 제어신호에 의해 후처리부240의 출력을 선택하여 표시부130에 출력한다. 즉, 상기 프리뷰 모드에서 상기 제어부100은 다중화부270 및 역다중화부280을 제어하여 프리뷰 이미지의 경로를 설정하며, 캡쳐 이미지의 경로는 형성하지 않는다.

상기한 바와 같이 이미지처리장치는 프리뷰 모드 또는 동영상 녹화모드에서 다중화부270 및 역다중화부280에 의해 표시이미지 처리 경로가 설정되며, 이로인해 전처리부210, 이미지스케일러220, 표시이미지버퍼230 및 후처리부240이 구동되어 상기 카메라부110에서 획득되는 매 프레임 이미지를 표시부130에 표시하기 위한 이미지로 처리하는 동작이 수행되며, 상기 정지이미지버퍼250에 풀해상도의 이미지들이 버퍼링된다. 이때 상기 표시이미지는 작은 이미지크기로 스케일링된 상태이며, 캡쳐를 위한 고 해상도의 이미지는 버퍼링만 하고 있는 상태이므로, 카메라장치에서 소모되는 전류 및 발열은 크지 않은 상태가 된다.

일반적으로 카메라장치는 셔터 온(ON)시 셔터 딜레이에 의해 사용자가 뷰파인더 또는 표시부130로 확인된 이미지를 캡쳐하지 못하고 일정 프레임 지연된 이미지를 획득하게 된다. 즉, 카메라장치는 셔터 버튼이 눌려질 때 사용자가 셔터를 온시키는 시점에서 실제 카메라장치의 셔터가 동작하기까지의 시간 지연(shutter lag, time lag)이 발생된다. 이런 시간 지연은 카메라장치에 따라 다를 수 있으며, 제어부100은 실험적으로 상기 지연시간을 측정하여 이를 알고 있어야 한다. 본 발명의 실시예에서는 셔터 온 감지시 상기 지연시간을 감안하여 버퍼링된 프레임 이미지들 중에서 대응되는 프레임 프레임이미지를 선택하여 처리하므로써 제로 셔터렉을 구현한다.

상기 프리뷰 모드 또는 동영상 녹화모드에서 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 상기 셔터 온 시점을 감지하고, 상기 정지이미지버퍼250에서 버퍼링된 이미지들 중에서 설정된 지연시간을 고려하여 대응되는 프레임 이미지를 캡쳐 이미지로 억세스한다. 또한 상기 제어부100은 상기 다중화부270 및 역다중화부280을 시분할 제어하여 표시이미지 및 상기 캡쳐이미지를 처리하기 위한 경로를 형성한다. 즉, 상기 제어부100은 상기 다중화부270 및 역다중화부280을 제어하여 먼저 표시이미지를 처리하기 위한 경로를 설정하고, 이후 캡쳐이미지를 처리하기 위한 경로를 설정한다. 이때 상기 캡쳐이미지(정지이미지)는 고화소의 데이터이므로 1프레임 구간 내에서 처리되지 못할 수 있다. 따라서 상기 정지이미지가 1프레임 주기내에서 처리될 수 없는 크기를 가지는 경우, 본 발명의 실시예에서는 2 개의 프레임 구간에서 정지이미지를 처리한다. 이런 경우 상기 제어부100은 캡쳐요구가 발생된 시점의 프레임 구간에서 먼저 다중화부270 및 역다중화부280을 제어하여 표시이미지 경로를 설정하고, 이후 나머지 프레임 구간에서 캡쳐이미지 경로를 설정한다. 이후 다음 프레임의 시작 구간에서 상기 캡쳐 이미지 경로의 설정을 유지하며, 상기 이미지스케일러220에서 생성되는 다음 프레임의 표시이미지를 표시이미지버퍼230에 버퍼링한다. 이후 상기 정지이미지의 처리가 완료되면, 상기 제어부100은 다중화부270 및 역다중화부280을 제어하여 표시이미지 경로를 설정하고 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 출력한다. 그리면 상기 설정된 표시이미지 경로를 통해 다음 프레임의 표시이미지가 처리된다.

이때 상기 역다중화부280에서 출력되는 표시이미지는 시간조정부170에서 일시저장된 후, 프레임의 설정된 구간에서 출력된다. 여기서 상기 설정 구간은 상기한 바와 같이 프레임의 종료위치 또는 종료에 가까운 위치가 될 수 있다. 따라서 상기 이미지처리부200에서 표시이미지가 처리되는 시점이 다른 경우에도 상기 시간조정부170에서 출력 시간이 조정되며, 이로인해 상기 표시이미지를 표시하는 시간을 동일한 프레임의 시간 위치에 표시할 수 있다.

상기 캡쳐 모드시의 동작을 살펴보면, 제어부100은 상기 다중화부270을 제어하여 먼저 현재 프레임 구간의 시작시점에서 상기 표시이미지버퍼230에 저장된 표시이미지를 선택하여 후처리부240에 인가하며, 상기 역다중화부280을 제어하여 처리되는 표시이미지를 시간조정부170에 인가되도록 제어한다. 따라서 상기 표시이미지버230에 버퍼링된 표시이미지는 다중화부270을 통해 후처리부240에 인가되며, 상기 후처리부240에서 처리된 표시이미지는 역다중화부280을 통해 시간조정부170에 일시저장된다. 이후 상기 제어부100은 캡쳐 요구가 발생된 프레임의 나머지 구간에서 다중화부270을 제어하여(즉, 캡쳐이미지 경로를 설정하여) 상기 정지이미지버퍼250에 버퍼링된 제로셔터렉의 프레임이미지를 선택하여 후처리부240에 전달하며, 상기 후처리부240은 입력되는 정지이미지를 처리한다. 이때 상기 정지이미지는 상기 카메라부110의 풀해상도 이미지가 될 수 있으며, 이런 경우 상기 정지이미지의 처리 시간은 프레임 주기보다 더 클 수도 있다. 이런 경우, 상기 제어부100은 다중화부270 및 역다중화부280을 제어하여 다음 프레임에서도 캡쳐 이미지 경로가 유지되도록 제어한다. 이때 상기와 같이 정지이미지를 처리하는 중에 현재 프레임의 구간의 설정시간(즉, 프레임 시작구간에서 일정시간 지연된 시점 또는 프레임의 종료시점)이 되면, 상기 제어부100은 상기 시간조정부170에서 일시저장한 표시이미지를 표시부130(및 동영상코덱180)에 전달한다. 그리고 상기 정지이미지를 처리하는 중에 다음 프레임의 표시이미지가 생성되면, 상기 제어부100은 이를 상기 표시이미지버퍼230에 버퍼링한다. 이와 같은 상태에서 상기 후처리부240은 이전 프레임의 정지이미지를 처리하는 상태가 될 수 있다. 정지이미지의 처리가 완료되면, 상기 제어부100은 상기 다중화부270 및 역다중화부280을 제어하여 표시이미지 경로를 설정하며, 표시이미지버퍼230에 버퍼링된 다음 프레임의 표시이미지를 리드하여 후처리부240에 전달하며, 상기 후처리부240의 출력이 시간조정부170에 전달되도록 상기 역다중화부280을 제어한다. 그러면 상기 후처리부240에서 처리된 다음 프레임의 표시이미지는 역다중화부280을 통해 시간조정부170에 인가되며, 상기 시간조정부170에 일시저장되는 표시이미지는 상기 제어부100의 제어하에 프레임의 설정 구간에서 억세스하여 표시부130(및 동영상코덱180)에 입력된다.

상기 도 3b를 참조하면, 이미지스케일러(image scaler)220은 카메라부110에서 출력되는 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 표시이미지 버퍼230은 상기 이미지스케일러220에서 출력되는 표시이미지를 버퍼링한다. 여기서 상기 표시이미지 버퍼230은 프레임 구간에서 표시 이미지를 처리하기 위한 시간을 보상하는 기능을 수행한다.

다중화부270은 상기 제어부100의 제어하에 상기 표시이미지버퍼230 및 정지이미지버퍼250의 이미지를 다중화하여 출력한다. 전처리부210은 상기 다중화부270에 의해 다중화 입력되는 이미지들을 전처리한다. 후처리부240은 상기 전처리된 이미지들을 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다. 역다중화부280은 상기 후처리부240에서 처리되는 이미지들을 표시이미지 및/또는 정지이미지로 역다중화하여 출력한다. 이때 프리뷰 모드시 상기 역다중화부280은 상기 후처리부240의 출력을 표시부130에 출력하며, 캡쳐모드시 상기 후처리부240의 출력을 표시이미지 및 정지이미지로 역다중화하여 표시이미지는 상기 동영상코덱180에 출력하고 캡쳐이미지는 정지영상코덱260에 출력한다.

상기 도 3b와 같은 구성을 가지는 이미지처리장치는 카메라부110의 출력이 각각 이미지스케일러220 및 정지이미지버퍼250에 인가되며, 전처리부210이 상기 표시이미지버퍼230 및 정지이미지버퍼250의 출력을 시분할 입력하는 구성을 가진다. 그 이외의 구성은 상기 도 3a와 동일한 구성을 가지며, 각 구성부들의 동작 또한 상기 도 3a의 대응되는 구성부의 동작과 동일하다.

도 4는 본 발명의 실시예에 따라 동영상 이미지 및 정지영상 이미지를 처리하는 이미지처리장치의 구체적인 구성 예를 도시하는 도면이다. 그리고 도 5 - 도 8은 상기 도 4와 같은 구성을 가지는 이미지처리장치의 동작 특성을 설명하기 위한 도면이다. 상기 도 4 - 도 8을 참조하면, 본 발명은 고화소 카메라에서 동영상 이미지를 처리하는 중에서 정지 영상 이미지를 저장하는 것으로, 표시이미지가 동영상 스트림에 맞추어 출력되도록 제어한다. 즉, 본 발명에서 동영상 이미지 및 정지영상 이미지를 시분할 제어하여 처리하는 이미지처리장치에서 동영상 이미지를 프레임의 설정 구간에서 출력하여 매 프레임에서 안정되게 동영상을 표시(및 저장)할 수 있는 방법을 제안한다.

상기 도 4를 참조하면, 이미지처리부200은 상기 도 2a - 도 3b 중의 어느 한 구성을 가질 수 있다. 그리고 상기 도 4에서 TM1, TM2 및 TC는 타이머로써, TM1(time monitor 1)은 이미지처리부200에 동영상 스트림이 입력되는 타이머 값을 나타내며, TM2는 이미지처리부200에서 처리되는 지연 타이머 값을 나타내고, TC(memory read time controller)는 처리된 동영상 이미지를 최종적으로 출력하는 타이머 값을 나타낸다. 또한 상기 도 4에서 시간조정부170은 버퍼로 구성할 수 있으며, 도 4는 3 프레임의 동영상 이미지를 일시 저장할 수 있는 링버퍼로 구현된 예를 도시하고 있다. 그리고 리사이저1 410 및 리사이저2 420은 각각 동영상 저장 및 표시하기 위한 크기로 리사이징하는 기능을 수행할 수 있다.

도 5를 참조하면, 도 5는 카메라부110에서 등간격으로 동영상 스트림이 발생되는 경우의 이미지처리장치 동작 특성을 설명하기 위한 도면이다.

상기 카메라부110에서 생성되는 동영상 스트림은 511과 같은 수직동기신호 v-sync에 의해 513과 같이 이미지처리부200에 입력된다. 이때 상기 513과 같이 등간격으로 이미지처리부200에 입력되는 video stream은 이미지 처리 시간 "δ"만큼 지연(delay)되어 517과 같이 시간조정부170에 입력된다. 그런데, 동영상 이미지 및 정지영상 이미지를 시분할하여 처리하는 프레임(도 5의 경우 D 프레임)의 경우, 상기 이미지처리부200의 처리 성능이 부족할 수 있다. 이런 경우 이미지처리부200은 비디오 스트림을 처리하는 시간이 D 프레임 구간을 초과하여 다음 프레임(E 프레임까지) 지연( "δ+α" 만큼 delay) 될 수 있다. 이렇게 출력된 비디오 스트림을 표시하거나, 동영상 코덱180으로 압축하고 재생하는 경우, 동영상 이미지가 불규칙적으로 생성되는 문제점을 야기한다. 이런한 현상을 방지하기 위하여 본 발명의 실시예에서는 카메라부110의 513과 같은 출력 영상을 511과 같은 V_sync에 동기화시킨 시간(TM1)으로 이미지처리부200에 기록하고, 517과 같이 상기 이미지처리부200에서 출력되는 영상을 V_sync에 동기화시킨 시간을 TM2로 출력한다. 그리고 상기 이미지처리부200에서 출력되는 517과 같은 비디오 스트림은 시간조정부170(즉, ring buffer)에 저장하며, 상기 표시부130에 표시하거나 동영상코덱180을 통해 부호화(encoding)하기 위해서는 상기 시간조정부170에 쓰고 읽는 시간(Δ1, Δ2 )을 감안한다. 즉, 상기 시간조정부170에 버퍼링된 비디오스트림의 리드시간(read time)을 제어하여 비디오 스트림의 출력 시간을 매 프레임의 일정 구간에서 출력되도록 제어한다.

이때 TC는 다음과 같은 조건으로 처리한다.

TC= TM1 +Δ1 ; 일정 frame rate 경우

또는

TC = TM2 + Δ2 + K

K = TM2 - TM1 = δ : Video stream만 처리하는 경우

= δ-α : Video stream 과 still image를 같이 처리하는 경우.

따라서 동영상을 처리하는 중에 정지영상 이미지의 저장이 발생되는 경우(도 5의 D 프레임 구간), 이미지처리부200은 531과 같이 발생되는 카메라부110의 이미지를 입력하며, 이미지스케일러220은 541과 같이 D 프레임 표시이미지를 생성하며, 이를 표시이미지버퍼230에 버퍼링한다. 그러면 제어부100은 상기 표시이미지를 이미지처리부(도 2a의 경우 후처리부, 도 2b의 경우 전처리 및 후처리부)에 인가하여 이미지 처리 동작을 수행하도록 제어하여 이미지 처리 완료 후에 551과 같이 시간조정부170에 버퍼링시킨다. 또한 상기 정지이미지버퍼250은 상기 531과 같은 정지이미지를 버퍼링하며, 상기 제어부100은 553과 같이 촬영요구 시점의 정지이미지(즉, 제로 셔터렉의 정지이미지)를 억세스하여 이미지처리부(도 2a의 경우 후처리부, 도 2b의 경우 전처리 및 후처리부)에 인가한다. 그러면 상기 이미지처리부200은 상기 정지이미지를 553과 같이 처리한다. 이때 상기 이미지처리부200은 상기 정지이미지를 처리하는 시간이 D 프레임 구간을 초과하여 E 프레임 구간까지 점유할 수 있다.여기서 상기 정지이미지의 E 프레임 점유시간은 (δ+ α)로 도시되고 있다.

이런 경우 상기 제어부100은 상기 D 프레임의 표시이미지 출력시간에서 상기 시간조정부170에 버퍼링된 표시이미지를 561과 같이 억세스하여 표시부130(및 동영상코덱180)에 출력한다. 이런 경우 상기 이미지처리부200이 정지이미지를 처리하는 중에 해당 프레임의 표시이미지를 정상적인 출력 시점에서 표시할 수 있게 된다. 또한 상기 E 프레임 구간에서 생성되는 이미지 535는 이미지처리부200에서 545와 같이 표시이미지로 생성될 수 있으며, 상기 545와 같이 생성된 표시이미지는 표시이미지버퍼230에 버퍼링된다. 상기와 같은 상태에서 정지이미지의 처리가 완료되면(즉, E 프레임 구간에서 (δ+ α)의 시간이 경과되면, 상기 제어부100은 이를 감지하고 상기 처리된 정지이미지를 정지영상코덱180에 인가하는 동시에 상기 표시이미지버퍼230에 버퍼링된 E 프레임의 표시이미지를 555와 같은 타임에 억세스하여 이미지처리한다. 그리고 상기와 같이 이미지처리된 표시이미지는 565와 같은 타임에서 시간조정부170에 버퍼링하며, 상기 시간조정부170에 버퍼링된 표시이미지를 565와 같은 시간에서 표시부130(및 동영상코덱)에 전달한다.

본 발명의 실시예에 따라 동영상 및 정지영상을 시분할하여 처리하는 이미지처리장치에서 동영상 이미지를 처리한 후 일시 저장하고, 프레임의 종료 위치에서 동영상 이미지를 출력한다. 따라서 고화소 카메라에서 동영상 동작중 정지영상 저장을 구현을 구현하는 이미지처리 장치에서, 표시부에 입력되는 동영상 스트림을 카메라에서 출력되는 시간 간격에 관계없이 동일한 시간간격으로 출력할 수 있다.

도 6을 참조하면, 도 6은 카메라부110에서 비등균 간격으로 동영상 스트림이 발생되는 경우의 이미지처리장치 동작 특성을 설명하기 위한 도면이다.

상기 도 6과 같이 카메라부110의 출력 이미지가 611 및 613과 같이 비등균 간격으로 발생되어 이미지처리부200에 입력되는 경우, 이미지처리부200은 615와 같이 동영상 스트림의 표시이미지를 생성하며, 상기 비디오 스트림은 617과 같이 이미지처리부200에서 처리된 후 시간 "δ"만큼 delay가 생긴다. 그리고 상기 도 5에서 설명된 바와 같이 동영상을 처리하는 중에 정지영상을 처리할 때, 이미지처리부200의 처리 성능이 부족한 경우, 다음 프레임(D 프레임에서 정지 영상 저장요구가 발생된 경우 E 프레임의 동영상 처리 시간)에서의 동영상 스트림의 시간간격이 "δ+β" 만큼 지연될 수 있다. 이런 경우, 상기 이미지처리장치는 동영상 및 정지영상을 시분할 제어하여 651과 같이 먼저 표시이미지를 처리하고, 653과 같이 상기 표시이미지를 처리한 나머지 프레임 구간 및 다음 프레임 구간에서 정지이미지를 처리하며, 상기 정지이미지처리하며, 버퍼링 중인 다음 프레임의 표시이미지를 655와 같이 프레임의 나머지 구간에서 처리한다. 이때 상기 표시이미지의 출력 타이밍을 매 프레임 구간의 종료 위치에서 출력하도록 제어한다. 이 경우 619와 같이 이미지처리장치는 카메라부110에서 이미지를 출력하는 시간 간격과 동일하게 출력(display하거나 codec을 통해 encoding)하기 위한 조건은 상기 도 5에서와 같은 동일한 방법으로 처리할 수 있다.

TC= TM1 +Δ1 ; 일정 frame rate 경우

또는

TC = TM1 + Δ2+ K

K = TM2- TM1 = δ : Video stream만 처리하는 경우

= δ -β : Video stream 과 still image를 같이 처리하는 경우.

도 7은 본 발명의 실시예에 따른 이미지처리장치에서 비등균 간격으로 비디오 스트림이 에서 입력되고, 시간 기준을 frame end로 하는 경우 timing 도를 도시하는 도면이다. 상기 도 7은 비디오 스트림의 처리를 프레임 엔드위치에서 수행하는 예를 도시하고 있으며, 이외의 동작은 상기 도 6과 동일하게 진행된다.

도 8은 본 발명의 실시예에 따른 이미지처리장치에서 시간 기준을 프레임 엔드로 하는 경우의 이미지처리부의 동작 타이밍을 도시하는 도면이다.

상기 도 8을 참조하면, 811과 같이 동기신호가 발생되며, 카메라부110은 813과 같이 이미지를 출력한다. 이때 상기 시간 기준을 프레임 엔드로 하는 경우, 813과 같은 로우 프레임 엔드(raw frame end)에서 인터럽트 발생시간 Ai를 기준으로 프리뷰 동영상 이미지들은 δ시간 후에 출력된다. 이때 A4 프레임에서 정지이미지의 촬영요구가 발생된 경우, 상기 A4 프레임에서는 851과 같이 δ시간 후에 Preview 영상을 출력하고, 이미지처리에 필요한 최소 minimum V_blank time이 필요하며, 이는 이미지 사이즈에 따라 다르다. 여기서 preview 이미지가 처리되고, 곧바로 853과 같은 정지영상을 처리하는 경우 시간간격 β만큼 경과된 시점에서 정지영상을 처리한다. 이때 상기 정지영상 처리는 다음 프레임(여기서는 A5 프레임이 됨) 구간까지 계속되며, 상기 정지 영상 처리 후 다음 프레임의 프리뷰 이미지(A5 프레임의 표시이미지) 출력될 때의 시간간격은 φ가 된다. 이때, β는 preview의 minimum V_blank time보다 커야 하고, φ는 still 이미지에서의 minimum V_blank time보다 커야 한다.

상기 도 4 - 도 8과 같은 이미지처리장치 및 동작 타이밍은 이미지처리장치에서 시분할 처리되는 동영상 및 정지영상의 출력 타이밍을 처리하는 예를 도시하고 있다. 그러나 카메라장치 또는 카메라를 구비하는 단말장치의 경우, 상기 도 4와 같은 이미지처리장치 및 별도의 어플리케이션처리장치를 구비할 수 있다. 이런 경우, 상기 이미지처리장치는 카메라부110에서 촬영되는 이미지들을 처리하며, 어플리케이션처리장치가 상기 이미지처리장치에서 처리되는 이미지들을 표시, 동영상 저장 및 정지영상을 저장하는 기능을 수행할 수 있다. 이런 경우, 상기 이미지처리장치는 상기 정지영상 및 동영상을 시분할 처리할 때 상기 δ2와 α를 각 frame의 Meta data로 처리하고, 어플리케이션처리장치에서 동영상 및 정지영상의 최종 출력을 제어하는 방법을 사용할 수 도 있다. 도 9는 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도이다. 이때 상기 카메라장치의 구성은 도 1 또는 도 4와 같은 구성을 가질 수 있으며, 이미지처리부는 상기 도2a - 3b와 같은 구성을 가질 수 있다. 또한 동영상 처리모드는 프리뷰 모드 및 동영상 녹화모드를 모두 포함한다.

상기 도 9를 참조하면, 입력부140을 통해 카메라 구동명령이 발생되면, 제어부100은 911단계에서 상기 카메라부110을 구동하며, 913단계에서 카메라부100으로부터 프레임 이미지를 수신한다. 이후 상기 제어부100은 915단계에서 캡쳐모드인가 검사하며, 캡쳐모드가 아니면 즉, 동영상 이미지만을 처리하는 모드이면 915단계에서 이를 감지하고 917단계에서 처리된 표시이미지를 설정된 프레임의 구간에서 리드하여 출력한다. 즉, 동영상 처리모드만을 수행하는 경우, 상기 제어부100은 카메라부110에서 획득되는 프레임이미지들을 표시이미지로 처리하여 프레임의 설정된 구간에서 출력한다. 그러나 캡쳐모드이면, 즉 동영상 및 정지이미지를 함께 처리하여야 하는 경우, 상기 제어부100은 915단계에서 이를 감지하고 919단계에서 동영상 및 정지영상을 시분할 제어하여 동영상 이미지 및 정지영상 이미지를 처리한다.

도 10은 본 발명의 실시예에 따라 이미지처리장치가 동영상처리모드에서 표시이미지들을 처리하는 절차를 도시하는 흐름도이다.

상기 도 10을 참조하면, 카메라부110으로부터 프레임이미지가 수신되면, 제어부100은 1011단계에서 이미지 스케일링하여 표시이미지를 생성하며, 이를 표시이미지버퍼230에 저장하고, 또한 카메라부110에서 획득되는 풀해상도 이미지를 정지이미지버퍼250에 버퍼링한다. 이후 상기 제어부100은 1015단계에서 표시이미지 처리 경로를 설정하여 상기 표시이미지를 처리한다. 이때 상기 이미지처리는 전처리 및 후처리(도 2b와 같은 구성을 가지는 경우) 또는 후처리(도 2a와 같은 구성을 가지는 경우)가 될 수 있다. 이후 상기 제어부100은 1017단계에서 상기 이미지처리된 표시이미지를 시간조정부170에 일시저장하며, 해당 프레임의 설정시간이 되면 1019단계에서 이를 감지하고 1021단계에서 상기 일시저장된 표시이미지를 표시부130(및 동영상 코덱 180)에 출력한다.

도 11은 본 발명의 실시예에 따라 이미지처리장치가 동영상 및 정지영상 이미지들을 시분할하여 처리하는 절차를 도시하는 흐름도이다.

상기 도 11을 참조하면, 상기 제어부100은 카메라부110으로부터 생성되는 이미지를 이미지 스케일링하여 표시이미지로 생성하고, 상기 생성된 표시이미지를 표시이미지버퍼230에 버퍼링한다. 또한 상기 제어부100은 상기 카메라부110으로부터 생성되는 이미지를 정지이미지버퍼250에 버퍼링한다. 이후 상기 제어부100은 1115단계에서 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 선택하여 이미지처리하며, 상기 처리된 표시이미지를 시간조정부170에 일시저장한다. 여기서 상기 시간조정부170에 표시이미지를 일시 저장하는 이유는 정지이미지를 처리할 때에도 표시이미지의 출력 시간을 일정하게 유지하기 위함이다.

상기 표시이미지를 시간조정부170에 일시 저장한 후, 상기 제어부100은 1119단계에서 상기 정지이미지버퍼250에 버퍼링된 정지이미지들 중에서 제로 셔터렉의 정지이미지를 억세스하여 처리한다. 이때 상기 정지이미지는 고화소 이미지로써 프레임 주기를 초과하여 처리될 수 있다. 따라서 상기 정지이미지를 처리하는 중에 상기 표시이미지의 출력시간이 되면(즉, 상기 표시이미지를 출력하기 위한 프레임 설정시간이 되면), 상기 제어부100은 1021단계에서 이를 감지하고 1023단계에서 상기 시간조정부170에 일시저장하고 있던 표시이미지를 억세스하여 표시부130(및 동영상코덱180)에 출력하며, 상기 1119 단계의 정지이미지 처리 절차를 계속 수행한다.

또한 상기 1119단계에서 상기 정지이미지를 처리하는 중에 다음 프레임이 되면, 상기 제어부100은 1125단계에서 카메라부110으로부터 다음 프레임의 이미지 수신을 감지하고, 1127단계에서 수신되는 이미지를 스케일링하여 표시이미지로 생성한 후 이를 표시이미지버퍼230에 버퍼링하며, 또한 수신되는 이미지를 정지이미지버퍼250에 버퍼링한다. 그리고 상기 제어부100은 상기 다음 프레임 이미지를 수신 및 버퍼링하면서 동시에 상기 정지이미지의 처리 절차를 계속 수행한다.

상기와 같은 상태에서 상기 정지이미지의 처리를 종료하면, 상기 제어부100은 1129단계에서 이를 감지하고, 상기 정지이미지를 정지영상 코덱190에 출력하는 동시에 1131단계에서 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 억세스하여 이미지처리하며, 1133단계에서 상기 처리된 표시이미지를 시간조정부170에 일시 저장한다. 그리고 상기 표시이미지의 출력시간이 되면, 상기 제어부100은 1135단게에서 이를 감지하고 1137단계에서 상기 일시 저장하고 있던 표시이미지를 억세스하여 상기 표시부130(및 동영상코덱180)에 출력한다.

상기한 바와 같이 본 발명의 실시예에 따른 이미지처리장치는 동영상 및 정지영상 이미지들을 시분할하여 처리하며, 동영상 처리모드에서 정지영상의 캡쳐 명령이 발생되면 처리되는 표시이미지의 출력 시간을 재정렬하여 표시부130에 프레임 구간의 동일한 시간에서 출력될 수 있도록 한다.

도 12는 본 발명의 실시예에 따라 이미지처리장치가 표시이미지의 출력 시간을 정렬하여 프레임의 일정 위치에서 출력되도록 타이밍을 제어하는 절차를 도시하는 흐름도이다.

상기 도 12를 참조하면, 제어부100은 1211단계에서 카메라부110에서 획득되는 이미지의 프레임 시작/종료 시간을 감시하면서 상기 카메라부110에서 출력되는 이미지를 이미지처리장치에 인가한다. 그리고 상기 제어부100은 1213단계에서 상기 카메라부110에서 출력되는 이미지를 입력 및 처리하기 위한 프레임의 시작/종류 시간을 감시한다. 즉, 상기 이미지처리장치는 카메라부110에서 출력되는 이미지의 시작 및 종료 시간과, 이미지처리부200에서 이미지를 입력 및 처리하는 시간을 감시하며, 1215단계에서 상기 이미지처리부200에서 처리된 표시이미지를 시간조정부170에 버퍼링한다. 그리고 상기 제어부100은 상기 시간조정부170에 일시저장된 표시이미지를 (δ+α)만큼 지연시킨 후 출력한다. 여기서 δ는 이미지처리부200의 이미지처리시간이며, α는 정지 이미지 처리시 다음 프레임에서 유지되는 정지이미지의 처리시간을 의미한다. 따라서 매 프레임에서 상기 표시이미지의 출력시간을 (δ+α)만큼 지연시킨 후 출력하면, 상기 이미지처리장치는 정지이미지의 처리시에도 표시 이미지의 출력시간을 일정한 프레임 위치에서 출력할 수 있다. 따라서 상기 제어부100은 상기 1217단계에서 시간조정부170에 일시저장된 표시이미지를 (δ+α)만큼 지연시킨 후, 1219단계에서 상기 표시부130에 출력하므로써, 상기 표시이미지의 출력 시간을 일정하게 유지시킬 수 있다.

도 13은 본 발명의 실시예에 따라 이미지처리장치에서 동영상 처리시 표시이미지를 출력하는 절차를 설명하는 도면이며, 도 14는 본 발명의 실시에에 따라 이미지처리장치에서 동영상 및 정지영상을 시분할 처리할 때의 표시이미지 출력 절차를 설명하기 위한 도면이다. 상기 도 13 및 도 14의 동작을 도 1, 도 2a 및 도 5를 참조하면 설명한다.

상기 도 13을 참조하면, 카메라부110에서 이미지를 획득하여 출력하면, 이미지처리부200의 전처리부210은 1311단계에서 수신되는 이미지를 전처리하며, 이미지스케일러220은 1313단계에서 수신되는 이미지를 스케일링하여 515와 같은 표시이미지를 생성하며, 1315단계에서 이를 표시이미지버퍼230에 버퍼링한다. 그리고 상기 정지이미지버퍼250은 1323단계에서 상기 카메라부110의 풀 해상도 이미지를 버퍼링한다. 그리고 제어부100은 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 억세스하여 후처리부240에 인가하며, 상기 후처리부240은 1317단계에서 상기 입력되는 표시이미지를 후처리한다. 여기서 상기 도 2b와 같은 구성을 가지는 이미지처리부200은 상기 표시이미지버퍼230에서 버퍼링된 이미지를 전처리부210에 인가하며, 상기 전처리부210에서 처리한 표시이미지를 다시 후처리부240에 인가하여 후처리하는 동작을 수행한다. 여기서 상기 이미지처리시간은 δ가 될 수 있다. 그리고 상기와 같이 처리된 표시이미지는 시간조정부170에 입력되며, 상기 시간조정부170은 1319단계에서 이를 일시저장한 후, 프레임의 설정시간이 되면 1321단계에서 상기 일시저장중인 표시이미지를 억세스하여 표시부130에 출력한다. 여기서 상기 설정시간은 프레임의 종료 위치 또는 이에 인접한 시간이 될 수 있으며, 상기 설정시간은 상기 도 5에 도시된 바와 같이 (Δ+δ)가 될 수 있으며, 여기서 Δ는 동영상 및 정지영상을 시분할 처리할 때 다음에서 처리되는 정지영상의 처리시간을 포함하는 값이 될 수 있으며, 상기 (Δ+δ) 시간은 프레임의 종료 또는 종료 인접시간이 되도록 설정하는 것이 바람직하다.

도 14를 참조하면, 캡쳐모드에서 카메라부110에서 이미지를 획득하여 출력하면, 이미지처리부200의 전처리부210은 1411단계에서 수신되는 이미지를 전처리하며, 이미지스케일러220은 1413단계에서 수신되는 이미지를 스케일링하여 참조번호 515의 551과 같이 같은 표시이미지를 생성하며, 1415단계에서 이를 표시이미지버퍼230에 버퍼링한다. 그리고 상기 정지이미지버퍼250은 1451단계에서 상기 카메라부110의 풀 해상도 이미지를 버퍼링한다. 그리고 제어부100은 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 억세스하여 후처리부240에 인가하며, 상기 후처리부240은 1417단계에서 상기 입력되는 표시이미지를 후처리한다. 여기서 상기 도 2b와 같은 구성을 가지는 이미지처리부200은 상기 표시이미지버퍼230에서 버퍼링된 이미지를 전처리부210에 인가하며, 상기 전처리부210에서 처리한 표시이미지를 다시 후처리부240에 인가하여 후처리하는 동작을 수행한다. 그리고 상기와 같이 처리된 표시이미지는 시간조정부170에 입력되며, 상기 시간조정부170은 1419단계에서 이를 일시저장한다.

그리고 상기와 같이 표시이미지를 처리하여 시간조정부170에 일시저장한 후, 상기 제어부100은 정지이미지버퍼250에서 제로셔터렉에 대응되는 정지이미미지를 억세스하며, 상기 억세스한 이미지를 후처리부240에 입력한다. 즉, 상기 제어부100은 상기 D 프레임 구간에서 상기 표시이미지버퍼230 및 정지이미지버퍼250을 시분할제어하여 D 프레임 이미지의 표시이미지를 후처리한 후, 정지이미지를 후처리부240에 인가한다. 그러면 상기 후처리부240은 1453단계에서 상기 입력되는 정지이미지를 후처리하는 동작을 수행한다.

이때 상기 D 프레임의 정지이미지를 후처리할 때 도 5의 참조번호 553과 같이 정지 이미지의 처리시간이 계속유지되어 표시이미지를 출력해야할 설정시간이 되면, 상기 제어부100은 1421단계에서 상기 시간조정부170을 제어하여 일시저장중인 표시이미지를 억세스하고, 상기 억세스된 표시이미지를 표시부130에 출력한다. 이때에도 상기 후처리부240은 참조번호 553과 같이 정지이미지를 계속 처리하는 상태가 될 수 있다.

상기와 같은 상태에서 카메라부110으로부터 다음 프레임(E 프레임)의 이미지가 발생되면, 상기 전처리부210은 1423단계에서 다음 프레임 이미지를 수신하며, 이미지스케일러220은 상기 수신된 이미지를 스케일링하여 표시이미지를 생성하고, 표시이미지버퍼230은 1425단계에서 상기 생성된 표시이미지를 버퍼링한다. 이때에도 상기 후처리부240은 참조번호 553과 같이 정지이미지를 계속 처리하는 상태가 될 수 있다.

상기와 같은 상태에서 정지이미지의 후처리가 완료되면, 상기 제어부100은 이를 감지하고 상기 후처리부240의 출력을 파싱하여 정지영상 코덱190에 전달한다. 그리고 상기 표시이미지버퍼230에 버퍼링된 표시이미지를 억세스하여 후처리부240에 전달한다. 그러면 상기 후처리부240은 1427단계에서 상기 입력되는 표시이미지를 후처리하며, 상기 후처리가 완료되면 상기 제어부100은 상기 후처리부240의 출력을 파싱하여 시간조정부170에 인가한다. 그러면 상기 시간조정부170은 1429단계에서 상기 처리된 표시이미지를 일시 저장하며, 설정시간이 되면 1431단계에서 상기 일시저장중인 표시이미지를 표시부130에 출력한다.

이때 상기 설정시간은 D 프레임 및 E 프레임에 동일한 위치(시간)이 될 수 있다. 즉, 상기 설정시간은 프레임의 종료 위치 또는 이에 인접한 시간이 될 수 있고, 상기 설정시간은 상기 도 5에 도시된 바와 같이 (Δ+δ)가 될 수 있으며, 여기서 Δ는 동영상 및 정지영상을 시분할 처리할 때 다음에서 처리되는 정지영상의 처리시간을 포함하는 값이 될 수 있으며, 상기 (Δ+δ) 시간은 프레임의 종료 또는 종료 인접시간이 되도록 설정하는 것이 바람직하다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

이미지 처리 장치에 있어서,
제 1 메모리 및 제 2 메모리;
이미지 센서; 및
이미지 프로세서를 포함하며,
상기 이미지 프로세서는
상기 이미지 센서를 이용하여, 제 1 해상도의 적어도 하나의 오브젝트에 대응하는 제 1 이미지를 포함하는 복수의 이미지를 획득하고;
상기 제 1 해상도의 상기 제 1 이미지를 적어도 임시로 상기 제 1 메모리에 저장하게 제어하며;
제 1 프레임 기간의 시작 부분에서, 상기 제 1 이미지의 적어도 일부에 기반하여 제 2 해상도의 제 2 이미지를 생성하고,
상기 제 2 해상도의 상기 제 2 이미지를 디스플레이를 통해서 프리뷰로 표시하도록 제어하며,
상기 디스플레이를 통해 프리뷰된 상기 제 2 이미지에 대한 입력을 수신하고,
제 2 프레임 기간의 시작 부분보다 늦은 상기 제 2 프레임의 특정 부분에서, 상기 입력에 대응하여, 상기 제 1 메모리에 저장된 상기 제 1 이미지의 적어도 일부에 기반하여 제 3 이미지를 생성하며,
상기 적어도 하나의 오브젝트에 대응하는 상기 제 3 이미지를 상기 제 2 메모리에 스틸이미지로 저장하며,
상기 제 2 프레임 기간은 상기 제 1 프레임 기간 다음인 것을 특징으로 하는 이미지 처리 장치.
제 1항에 있어서,
상기 이미지 프로세서는
상기 제 2 해상도는 제 1 해상도보다 낮은 해상도로 설정하는 것을 특징으로 하는 이미지 처리 장치.
제 1항에 있어서,
상기 이미지 프로세서는
상기 입력 수신에 대응하여 상기 제 3 이미지를 상기 디스플레이를 통해 표시하는 이미지 처리 장치.
제 1항에 있어서,
상기 이미지 프로세서는
상기 제 2 이미지에 대한 동영상 촬영이 활성화되는지 여부에 대한 결정에 기반하여, 상기 제 2 이미지를 상기 제 2 메모리에 저장하는 이미지 처리 장치.
제 1항에 있어서,
상기 제 2 이미지는 상기 제 2 프레임 기간에 상기 디스플레이를 통해 표시되는 이미지 처리 장치.
제 1항에 있어서,
상기 이미지 프로세서는
상기 장치에 대한 동영상 촬영이 활성화되는지 여부에 대한 결정에 기반하여, 제 3 해상도의 상기 적어도 하나의 오브젝트에 대응하는 제 4 이미지를 생성하고,
상기 제 4 이미지를 상기 제 2 메모리에 저장하는 이미지 처리 장치.
제 1항에 있어서,
상기 제 1 메모리는 적어도 하나의 버퍼인 것을 특징으로 하는 이미지 처리 장치.
제 1항에 있어서,
상기 이미지 프로세서는
신호 프로세서, 전처리 프로세서, 또는 후처리 프로세서 중 적어도 하나를 포함하는 이미지 처리 장치.
이미지 처리 방법에 있어서,
이미지 센서, 제 1 메모리 및 제 2 메모리를 포함하는 전자 장치에 있어서, 상기 이미지 센서를 이용하여, 제 1 해상도의 적어도 하나의 오브젝트에 대응하는 제 1 이미지를 포함하는 복수의 이미지를 획득하는 동작;
상기 제 1 해상도의 상기 제 1 이미지를 적어도 임시로 상기 제 1 메모리에 저장하게 제어하는 동작;
제 1 프레임 기간의 시작 부분에서, 상기 제 1 이미지의 적어도 일부에 기반하여 제 2 해상도의 제 2 이미지를 생성하는 동작;
상기 제 2 해상도의 상기 제 2 이미지를 디스플레이를 통해서 프리뷰로 표시하도록 제어하는 동작;
상기 디스플레이를 통해 프리뷰된 상기 제 2 이미지에 대한 입력을 수신하는 동작;
제 2 프레임 기간의 시작 부분보다 늦은 상기 제 2 프레임의 특정 부분에서, 상기 입력에 대응하여, 상기 제 1 메모리에 저장된 상기 제 1 이미지의 적어도 일부에 기반하여 제 3 이미지를 생성하는 동작; 및
상기 적어도 하나의 오브젝트에 대응하는 상기 제 3 이미지를 상기 제 2 메모리에 스틸이미지로 저장하는 동작을 포함하며,
상기 제 2 프레임 기간은 상기 제 1 프레임 기간 다음인 것을 특징으로 하는 이미지 처리 방법.
제 9항에 있어서,
상기 제 2 이미지를 생성하는 동작은
상기 제 2 해상도는 제 1 해상도보다 낮은 해상도로 설정하는 것을 특징으로 하는 이미지 처리 방법.
제 9항에 있어서,
상기 제 3 이미지를 생성하는 동작은
상기 입력 수신에 대응하여 상기 제 3 이미지를 상기 디스플레이를 통해 표시하는 동작을 포함하는 이미지 처리 방법.
제 9항에 있어서,
상기 제 2 이미지를 생성하는 동작은
상기 제 2 이미지에 대한 동영상 촬영이 활성화되는지 여부에 대한 결정에 기반하여, 상기 제 2 이미지를 상기 제 2 메모리에 저장하는 동작을 포함하는 이미지 처리 방법.
제 12항에 있어서,
상기 제 2 이미지를 저장하는 동작은
특정 코덱을 이용하여 상기 제 2 이미지를 인코딩하는 동작을 포함하는 이미지 처리 방법.
제 13항에 있어서,
상기 특정 코덱은 H. 264 코덱이고,
상기 인코딩하는 동작은
상기 H. 264 코덱을 이용하여 제 2 이미지를 압축하는 동작을 포함하는 이미지 처리 방법.
제 9항에 있어서,
상기 제 3 이미지를 저장하는 동작은
특정 코덱을 이용하여 상기 제 3 이미지를 인코딩하는 동작을 포함하는 이미지 처리 방법.
제 15항에 있어서,
상기 특정 코덱은 JPEG(joint photographic experts group) 코덱인 것을 특징으로 하며,
상기 인코딩 동작은
상기 JPEG 코덱을 이용하여 상기 제 3 이미지를 압축하는 동작을 포함하는 이미지 처리 방법.
제 9항에 있어서,
상기 전자 장치에 대한 동영상 촬영이 활성화되는지 여부에 대한 결정에 기반하여, 제 3 해상도의 상기 적어도 하나의 오브젝트에 대응하는 제 4 이미지를 생성하는 동작을 더 포함하는 이미지 처리 방법.
제 17항에 있어서,
상기 제 4 이미지는 상기 제 1 프레임 기간의 시작 부분에서 생성되는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,
상기 제 4 이미지를 생성하는 동작은
상기 3 해상도는 상기 제 2 해상도보다 높은 해상도로 설정하는 동작을 포함하는 이미지 처리 방법.