KR20220025553A

KR20220025553A - 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법

Info

Publication number: KR20220025553A
Application number: KR1020200106449A
Authority: KR
Inventors: 김대중; 송종문; 이주형; 허길성; 이수영; 정길우
Original assignee: 삼성전자주식회사
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2022-03-03
Also published as: US11683466B2; CN114095649A; US20220060674A1; JP2022036930A

Abstract

본 개시의 기술적 사상에 따른 전자 장치는, 디스플레이, 제1 시야각을 갖고, 제1 이미지 데이터를 생성하는 제1 카메라 모듈, 제1 시야각보다 좁은 제2 시야각을 갖고, 제2 이미지 데이터를 생성하는 제2 카메라 모듈 및 사용자의 입력을 기초로 판단된 줌 배율 및 관심 영역을 포함하는 줌 정보를 획득하고, 제1 이미지 데이터 및 제2 이미지 데이터 중 줌 배율에 대응하는 이미지 데이터에 대하여, 관심 영역에 대응하는 이미지 영역을 스케일하여 변환 이미지 데이터를 생성하고, 변환 이미지 데이터를 디스플레이하도록 디스플레이를 제어하는 애플리케이션 프로세서를 포함할 수 있다.

Description

애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법{APPLICATION PROCESSOR, ELETRONIC DEVICE INCLUDING THE SAME AND OPERATIONG METHOD OF THE ELECTRONIC DEVICE}

본 개시의 기술적 사상은 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법에 관한 것으로서, 구체적으로 서로 다른 시야각(Field of View, FoV)을 갖는 복수의 카메라 모듈들을 이용하여 줌(zoom) 기능을 수행하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.

최근에는 이미지 센서를 포함하는 카메라 모듈의 수요가 증가하고 있으며, 특히 복수의 카메라 모듈을 포함하는 멀티 카메라 시스템의 수요가 지속적으로 증가하고 있다. 예를 들어, 서로 다른 시야각을 갖는 2개 이상의 카메라 모듈들을 탑재된 스마트 폰은, 상기 2개 이상의 카메라 모듈들을 이용하여 다양한 줌 배율의 이미지를 디스플레이할 수 있다.

한편, 종래의 멀티 카메라 시스템의 경우, 이미지에 대한 줌 기능을 수행할 때, 프레임의 중심점을 기준으로 디지털 줌(digital zoom)을 수행하였다. 이에 따라, 사용자가 보고 싶은 객체가 프레임의 중심점에 인접하지 않은 경우, 보고 싶은 객체가 프레임의 중심점에 오도록 사용자가 직접 멀티 카메라 시스템의 각도 또는 위치 등을 조정해야 하는 문제점이 있었다. 특히, 멀티 카메라 시스템이 고배율의 줌 기능을 수행하면 시야각이 상당히 작아진다. 따라서, 멀티 카메라 시스템의 각도 또는 위치를 조금만 움직여도 시야각이 급격하게 변할 수 있어, 사용자가 멀티 카메라 시스템을 조정하기 어려운 문제점이 있었다.

본 개시의 기술적 사상은 사용자 입력을 기초로 판단된 줌 배율 및 관심 영역을 기초로 복수의 카메라 모듈들이 출력한 이미지 데이터들을 확대 또는 축소하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법을 제공한다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 전자 장치는, 디스플레이, 제1 시야각을 갖고, 제1 이미지 데이터를 생성하는 제1 카메라 모듈, 상기 제1 시야각보다 좁은 제2 시야각을 갖고, 제2 이미지 데이터를 생성하는 제2 카메라 모듈 및 사용자의 입력을 기초로 판단된 줌 배율 및 관심 영역을 포함하는 줌 정보를 획득하고, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 상기 줌 배율에 대응하는 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 이미지 영역을 스케일하여 변환 이미지 데이터를 생성하고, 상기 변환 이미지 데이터를 디스플레이하도록 상기 디스플레이를 제어하는 애플리케이션 프로세서를 포함할 수 있다.

본 개시의 기술적 사상의 일 측면에 따른 애플리케이션 프로세서는, 제1 카메라 모듈로부터 제1 시야각을 촬영한 제1 이미지 데이터를 수신하고, 상기 제1 이미지 데이터를 기초로 이미지 처리를 수행하여 제1 이미지 신호를 생성하는 제1 이미지 신호 프로세서, 제2 카메라 모듈로부터 상기 제1 시야각보다 좁은 제2 시야각을 촬영한 제2 이미지 데이터를 수신하고, 상기 제2 이미지 데이터를 기초로 이미지 처리를 수행하여 제2 이미지 신호를 생성하는 제2 이미지 신호 프로세서 및 상기 제1 이미지 신호 및 상기 제2 이미지 신호 중 적어도 하나를 기초로 변환 이미지 데이터를 생성하는 제3 이미지 신호 프로세서를 포함하고, 상기 제1 이미지 신호 프로세서, 상기 제2 이미지 신호 프로세서 및 상기 제3 이미지 신호 프로세서는, 사용자의 입력을 기초로 판단된 줌 배율 및 관심 영역을 포함하는 줌 정보를 획득하고, 상기 제1 이미지 신호 프로세서는, 상기 줌 배율이 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터에 대하여 관심 영역에 대응하는 이미지 영역을 스케일하여 상기 제1 이미지 신호를 생성하고, 상기 제2 이미지 신호 프로세서는, 상기 줌 배율이 제2 줌 배율 범위에 포함되면, 상기 제2 이미지 데이터에 대하여 관심 영역에 대응하는 이미지 영역을 스케일하여 상기 제2 이미지 신호를 생성하는 것을 특징으로 하고, 상기 제3 이미지 신호 프로세서는, 상기 줌 배율에 따라 상기 제1 이미지 신호 및 상기 제2 이미지 신호 중 적어도 하나를 선택하고, 선택한 이미지 신호를 이용하여 변환 이미지 데이터를 생성할 수 있다.

본 개시의 기술적 사상의 일 측면에 따른 전자 장치의 동작 방법은, 제1 카메라 모듈로부터 제1 시야각을 촬영한 제1 이미지 데이터를 수신하는 단계, 제2 카메라 모듈로부터 제2 시야각을 촬영한 제2 이미지 데이터를 수신하는 단계, 사용자의 터치 제스처를 기초로 줌 배율 및 관심 영역을 산출하는 단계, 상기 줌 레벨이 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 영역을 스케일하는 단계, 상기 줌 레벨이 제2 줌 배율 범위에 포함되면, 상기 제2 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 영역을 스케일하는 단계 및 상기 스케일된 제1 이미지 데이터 및 상기 스케일된 제2 이미지 데이터 중 적어도 하나를 기초로 변환 이미지 데이터를 생성하는 단계를 포함할 수 있다.

본 개시의 실시 예에 따른 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법에 의하면, 높은 줌 배율에 대응하는 카메라 모듈(예컨대, 망각 카메라 모듈)의 시야각이 관심 영역에 대응하도록 미리 조정함으로써, 줌 배율의 증가에 따른 카메라 모듈 전환 시에 관심 영역에 대응하는 이미지를 표시하는 데에 소요되는 딜레이를 줄일 수 있다. 또한, 관심 영역이 높은 줌 배율에 대응하는 카메라 모듈의 시야각에 포함되도록 하기 위해, 사용자가 직접 카메라 모듈의 각도를 조정해야 하는 불편을 방지할 수 있다.

도 1은 본 개시의 일 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 카메라 모듈의 구체적인 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 이미지 촬영 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 이미지 처리 장치의 동작을 설명하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 줌 정보 생성기의 줌 파라미터의 업데이트 동작을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 줌 기능과 관련된 터치 제스처를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 관심 영역의 산출 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 다른 실시예에 따른 줌 기능과 관련된 터치 제스처를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 카메라 모듈 컨트롤러의 제어 신호의 생성 동작을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 변환 이미지 생성기의 구체적인 구성을 나타내는 블록도이다.
도 11은 본 개시의 일 실시예에 따른 이미지 처리 장치의 동작을 나타내는 흐름도이다.
도 12a 내지 도 12e는 줌 기능을 수행하는 전자 장치의 구성요소들 간의 동작을 나타내는 시퀀스도이다.
도 13a 및 도 13b는 줌 배율에 따른 이미지 데이터들의 스케일링 결과 및 디스플레이의 출력 이미지를 나타내는 도면이다.
도 14a는 본 개시의 일 실시예에 따른 높은 줌 배율에서 디스플레이가 표시하는 이미지를 나타내는 도면이고, 도 14b는 높은 줌 배율에서 사용자로부터 관심 영역을 선택받는 동작을 나타내는 도면이다.
도 15a 내지 도 15c는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 전자 장치의 블록도이다.
도 16a 내지 도 16c는 본 개시의 일 실시예에 따른 전자 장치의 이미지 촬영 동작을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 애플리케이션 프로세서의 구체적인 구성을 나타내는 블록도이다.

도 1은 본 개시의 일 실시예에 따른 전자 장치(1000)를 나타내는 블록도이다.

도 1을 참조하면, 전자 장치(1000)는 제1 카메라 모듈(1100a), 제2 카메라 모듈(1100b), 이미지 처리 장치(1200), 디스플레이(1300), 입력 장치(1400) 및 메모리(1500)를 포함할 수 있다. 일 예로서, 전자 장치(1000)는 PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 장치 등일 수 있다.

제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)은 각각 전자 장치(1000) 외부의 피사체(또는 객체)를 촬영하고, 이미지 데이터를 생성할 수 있다. 예를 들어, 제1 카메라 모듈(1100a)은 제1 이미지 센서(1110a)를 포함할 수 있다. 그리고 제2 카메라 모듈(1100b)은 제2 이미지 센서(1110b)를 포함할 수 있다. 제1 이미지 센서(1110a) 및 제2 이미지 센서(1110b)는 각각 광학 렌즈(미도시)에 의해 피사체의 광학적 신호를 전기적 신호로 변환할 수 있다. 이를 위해, 제1 이미지 센서(1110a) 및 제2 이미지 센서(1110b)는 복수의 픽셀들이 2차원적으로 배열된 픽셀 어레이를 포함할 수 있다. 예를 들어, 복수의 픽셀들 각각에는 복수의 기준색들 중 하나의 색이 할당될 수 있다. 예를 들어, 복수의 기준색들은 RGB(red, green, blue), 또는 RGBW(red, green, blue, white)를 포함할 수 있다. 비제한적인 예시로서, 제1 이미지 센서(1110a) 및 제2 이미지 센서(1110b)는 전하결합소자(charge-coupled device; CCD) 또는 상보성 금속 산화막 반도체(complementary metal-oxide-semiconductor; CMOS)를 이용해 구현될 수 있으며, 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다.

제1 카메라 모듈(1100a)은 제1 이미지 센서(1110a)를 이용하여 제1 이미지 데이터(IDT1)를 생성할 수 있고, 제2 카메라 모듈(1100b)은 제2 이미지 센서(1110b)를 이용하여 제2 이미지 데이터(IDT2)를 생성할 수 있다. 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)는 이미지 프레임 및 프레임 데이터와 같이 다양하게 지칭될 수 있다. 그리고 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b) 각각은 생성한 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 전송할 수 있다.

제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b) 각각은 사전 결정된(predetermined) 시간 간격마다 새로운 제1 이미지 데이터(IDT1) 또는 제2 이미지 데이터(IDT2)를 생성할 수 있으며, 새로운 이미지 데이터가 생성되는 주기에 대응하는 주파수를 프레임 레이트(frame rate)라 지칭할 수 있다. 즉, 프레임 레이트는 단위 시간당 새롭게 생성되는 이미지 데이터의 개수를 나타낼 수 있다.

제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)은 서로 다른 시야각(Field of View, FoV)을 가질 수 있다. 일 예로서, 제2 카메라 모듈(1100b)의 제2 시야각은 제1 카메라 모듈(1100a)의 제1 시야각보다 좁을 수 있다. 예를 들어, 제1 카메라 모듈(1100a)은 광각 카메라이고, 제2 카메라 모듈(1100b)은 망원 카메라일 수 있다. 이에 따라, 동일한 피사체에 대하여, 제1 카메라 모듈(1100a)은 광각의 제1 이미지 데이터를 생성할 수 있고, 제2 카메라 모듈(1100b)은 협각의 제2 이미지 데이터(IDT2)를 생성할 수 있다.

특히, 제2 카메라 모듈(1100b)은 도 2에서 후술하는 바와 같이 프리즘(1105)을 포함하는 폴디드 카메라(folded camera)로 구현될 수 있으며, 제2 카메라 모듈(1100b)의 제2 시야각은 프리즘(1105)의 배치를 조정함으로써 변경될 수 있다.

이미지 처리 장치(1200)는 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)로부터 수신한 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 적어도 하나에 대하여 이미지 처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다.

디스플레이(1300)는 이미지 처리 장치(1200)로부터 수신한 변환 이미지 데이터(CDT)를 기초로 사용자에게 각종 컨텐츠(예를 들어, 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 예를 들어, 디스플레이(1300)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다.

입력 장치(1400)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(1000)의 다른 구성요소에 전달하거나, 전자 장치(1000)의 다른 구성요소로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 일 예에서, 입력 장치(1400)는 터치 패널(touch panel)로 구현될 수 있고, 사용자의 터치 입력을 감지할 수 있다. 예를 들어, 터치 패널인 입력 장치(1400)는 사용자의 신체(예를 들어, 손가락) 또는 터치 전용 입력 수단 등을 통해 적어도 하나의 터치 입력을 감지할 수 있다. 그리고 입력 장치(1400)는 터치 입력에 대응하는 아날로그 신호를 디지털 신호(예를 들어, X좌표 및 Y좌표 등의 좌표 정보)로 전환하여 사용자 입력(UI)으로서 이미지 처리 장치(1200)에 제공할 수 있다. 일 예에서, 입력 장치(1400)가 터치 패널인 경우, 입력 장치(1400) 및 디스플레이(1300)는 하나의 장치로 구현될 수 있다. 본 명세서에는 설명의 편의를 위해, 입력 장치(1400)가 터치 패널로 구현된 것을 전제로 설명한다. 그러나 본 개시의 기술적 사상은 이에 한하지 않으며, 키보드 또는 마우스 등의 다양한 장치로 구현될 수 있음은 물론이다.

메모리(1500)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터(예를 들어, 이미지 데이터)를 저장할 수 있다. 메모리(1500)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플래시 메모리와 같은 비휘발성 메모리일 수 있다. 일 예에서, 이미지 처리 장치(1200)는 변환 이미지 데이터(CDT)를 메모리(1500)에 저장할 수 있다. 메모리(1500)에 저장된 변환 이미지 데이터(CDT)는 추후 이미지 처리 장치(1200)에서 사용되거나 또는 별도의 스토리지 장치에 저장될 수 있다.

본 개시의 일 실시예에 따르면, 이미지 처리 장치(1200)는 디스플레이(1300)를 통해 표시되는 이미지를 확대 또는 축소하는 줌(zoom) 기능을 제공할 수 있다. 일 예에서, 이미지 처리 장치(1200)는 디지털 줌(digital zoom) 방식 또는 광학 줌(optical zoom) 방식에 따라 이미지를 확대 또는 축소하여 디스플레이(1300)에 표시할 수 있다. 이를 위해, 이미지 처리 장치(1200)는 변환 이미지 생성기(1210), 카메라 모듈 컨트롤러(1230) 및 줌 정보 생성기(1250)를 포함할 수 있다.

변환 이미지 생성기(1210)는 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)로부터 수신한 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 기초로 변환 이미지 데이터(CDT)를 생성할 수 있다. 일 예에서, 변환 이미지 생성기(1210)는 줌 파라미터를 기초로 제1 이미지 데이터(IDT1) 및/또는 제2 이미지 데이터(IDT2)를 크랍(Crop), 스케일링(확대 또는 축소)함으로써 변환 이미지 데이터(CDT)를 생성할 수 있다.

여기서 줌 파라미터는, 줌 기능에 관련된 각종 파라미터를 포함할 수 있다. 예를 들어, 줌 파라미터는 사용자가 원하는 타겟 줌 배율 및 사용자가 확대 또는 축소하기를 원하는 관심 영역을 포함할 수 있다. 관심 영역은 이미지 영역에서 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 크기의 영역으로 구분될 수도 있다. 예를 들어, 관심 영역은 기설정된 화면 비율(aspect ratio)을 갖는 직사각형으로 구분될 수 있고, 기설정된 화면 비율은 디스플레이(1300)의 화면 비율(예컨대, 16:9 또는 2:1)에 대응할 수 있다. 한편, 줌 파라미터의 종류는 전술한 예에 한하지 않으며, 다양한 파라미터를 포함할 수 있다.

구체적으로, 변환 이미지 생성기(1210)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 타겟 줌 배율에 대응하는 이미지 데이터를 선택할 수 있다. 변환 이미지 생성기(1210)는 선택한 이미지 데이터에 대하여, 관심 영역에 대응하는 이미지 영역을 타겟 줌 배율만큼 확대 또는 축소함으로써 변환 이미지 데이터(CDT)를 생성할 수 있다.

카메라 모듈 컨트롤러(1230)는 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)을 제어할 수 있다. 일 예에서, 카메라 모듈 컨트롤러(1230)는 줌 파라미터를 기초로, 제1 카메라 모듈(1100a)보다 좁은 시야각을 갖는 제2 카메라 모듈(1100b)을 제어하는 제어 신호(CTRL)를 생성할 수 있다. 예를 들어, 카메라 모듈 컨트롤러(1230)는 제2 카메라 모듈(1100b)의 제2 시야각을 줌 파라미터에 포함된 관심 영역에 대응하는 시야각으로 변경하도록 제어하는 제어 신호(CTRL)를 생성할 수 있다. 제2 카메라 모듈(1100b)은 수신한 제어 신호(CTRL)에 따라 관심 영역에 대응하는 시야각을 갖도록 프리즘(1105)의 배치를 조정할 수 있다.

한편, 도 1에서는 카메라 모듈 컨트롤러(1230)가 제2 카메라 모듈(1100b)에만 제어 신호(CTRL)를 전송하는 것으로 도시되어 있으나, 본 개시의 기술적 사상은 이에 한하지 않으며, 카메라 모듈 컨트롤러(1230)는 제1 카메라 모듈(1100a)에도 제어 신호(CTRL)를 전송할 수 있음은 물론이다.

줌 정보 생성기(1250)는 사용자 입력을 기초로 줌 파라미터들 각각을 산출하고, 산출한 줌 파라미터를 기초로 줌 파라미터를 포함하는 줌 정보를 업데이트할 수 있다. 일 예에서, 줌 정보 생성기(1250)는 입력 장치(1400)를 통해 사용자 입력(UI)을 수신하고, 수신한 사용자 입력(UI)을 기초로 타겟 줌 배율 및 관심 영역을 산출하고, 기존의 줌 정보를 업데이트할 수 있다.

예를 들어, 입력 장치(1400)가 터치 패널인 경우, 사용자 입력(UI)은 터치 제스처를 포함할 수 있다. 여기서 터치 제스처는, 단일 터치 입력 또는 연속되는 터치 입력들로 구성될 수 있다. 터치 제스처는 예를 들어, 터치(touch), 탭(tap), 더블 탭(double tap), 롱 탭(long tap), 드래그(drag), 드래그 앤 드롭(drag and drop), 플리크(flick), 스와이프(swipe), 핀치(pinch) 등 다양한 제스처를 포함할 수 있다. 입력 장치(1400)는 터치 제스처의 좌표 정보를 줌 정보 생성기(1250)에 제공할 수 있다. 줌 정보 생성기(1250)는 터치 제스처의 좌표 정보를 기초로 사용자가 원하는 타겟 줌 배율 및 사용자가 확대 또는 축소하기를 원하는 관심 영역을 산출할 수 있다.

그리고 줌 정보 생성기(1250)는 줌 정보를 변환 이미지 생성기(1210) 및 카메라 모듈 컨트롤러(1230)에 제공할 수 있다. 변환 이미지 생성기(1210) 및 카메라 모듈 컨트롤러(1230)는 수신한 줌 정보에 포함된 줌 파라미터를 이용하여 각각의 기능을 수행할 수 있다.

카메라 모듈 컨트롤러(1230) 및 줌 정보 생성기(1250) 각각은 소프트웨어, 또는 하드웨어로 구현되거나, 또는 펌웨어와 같은 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다. 줌 정보 생성기(1250) 또는 카메라 모듈 컨트롤러(1230)가 소프트웨어로 구현될 경우, 전술한 각각의 기능들이 프로그램된 소스 코드로 구현되어 이미지 처리 장치(1200)에 구비되는 메모리에 로딩되거나, ROM에 저장될 수 있으며, 이미지 처리 장치(1200)에 구비되는 프로세서(예컨대, 마이크로 프로세서)가 소프트웨어를 실행함으로써, 줌 정보 생성기(1250) 또는 카메라 모듈 컨트롤러(1230)의 기능들이 구현될 수 있다. 줌 정보 생성기(1250) 또는 카메라 모듈 컨트롤러(1230)가 하드웨어로 구현될 경우, 줌 정보 생성기(1250) 또는 카메라 모듈 컨트롤러(1230)는 로직 회로 및 레지스터를 포함할 수 있으며, 레지스터 세팅에 기초하여 전술한 각각의 기능들을 수행할 수 있다.

도 2는 본 개시의 일 실시예에 따른 카메라 모듈의 구체적인 구성을 나타내는 도면이다. 이하에서는, 도 2를 참조하여 제2 카메라 모듈(1100b)의 상세 구성에 대해 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 제1 카메라 모듈(1100a)에 대해서도 동일하게 적용될 수 있다.

도 2를 참조하면, 제2 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ½OPFE½)(1120), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 스토리지(1150)를 포함할 수 있다.

프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다. 일 예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제2 방향(Y)으로 변경시킬 수 있다. 이때, 제1 방향(X)으로부터 반사면(1107)으로 입사되는 광(L)의 입사각과 반사면(1107)으로부터 제2 방향(Y)으로 반사되는 광(L)의 반사각은 동일할 수 있다.

그리고 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106) 자체를 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1120)도 제1 방향(X) 및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

일 예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다. 일 예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다. 일 예에서, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(1120)는 예를 들어 m(여기서, m은 양의 정수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 제2 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 제2 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1120)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 제2 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(1130)는 OPFE(1120) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다. 그리고 액츄에이터(1130)는 프리즘(1105)의 배치를 조정 수 있다.

구체적으로, 액츄에이터(1130)는 도 1의 카메라 모듈 컨트롤러(1230)로부터 제2 카메라 모듈(1100b)의 시야각을 변경하도록 제어하는 제어 신호(CTRL)를 수신하고, 수신한 제어 신호(CTRL)에 따라 프리즘(1105)의 배치를 조정할 수 있다. 예를 들어, 액츄에이터(1130)는 제어 신호(CTRL)에 따라 A방향으로 프리즘(1105)의 반사면(1107)을 회전시키거나, B방향으로 프리즘(1105)의 중심축(1106)을 이동시거나 또는 Z방향으로 프리즘(1105)의 반사면(1107)을 이동시킬 수 있다. 이에 따라, 제2 카메라 모듈(1100b)의 시야각은 상하좌우 방향으로 변경될 수 있다.

이미지 센싱 장치(1140)는 이미지 센서(1110b), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 제2 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 카메라 모듈 컨트롤러(1230)로부터 제공된 제어 신호(CTRL)에 따라 제2 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 제2 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 제2 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 제2 이미지 데이터(IDT2)를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 제2 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

스토리지(1150)는 제2 이미지 센서(1110b)를 통해 센싱된 제2 이미지 데이터(IDT2)를 저장할 수 있다. 스토리지(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 스토리지(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.

일 예에서, 도 1의 제1 카메라 모듈(1100a)은 제2 카메라 모듈(1100b)과 같이 액츄에이터(1130)를 포함할 수 있다. 이에 따라, 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b) 각각은 그 내부에 포함된 액츄에이터(1130)의 동작에 따른 서로 동일하거나 상이한 캘리브레이션 데이터(1146)를 포함할 수 있다.

일 예에서, 제1 카메라 모듈(1100a)은 제2 카메라 모듈(1100b)과 같이 전술한 프리즘(1105) 및 OPFE(1110)을 포함하는 폴디드 카메라 형태의 카메라 모듈일 수 있다. 또는, 제1 카메라 모듈(1100a)은 프리즘(1105) 및 OPFE(1110)가 포함되지 않은 버티컬(vertical) 카메라 형태의 카메라 모듈일 수 있다. 또는, 제1 카메라 모듈(1100a)은 버티컬 카메라 형태를 가지면서, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 이미지 처리 장치(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 제2 카메라 모듈(1100b))로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다. 한편, 제1 카메라 모듈(1100a)의 형태는 전술한 예에 한하지 않는다.

도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 이미지 촬영 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 전자 장치(1000)는 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)을 기초로 피사체의 이미지를 촬영함으로써, 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 획득할 수 있다. 일 예에서, 전자 장치(1000)는 광각을 갖는 제1 카메라 모듈(1100a)을 통해 피사체에 대한 제1 이미지 데이터(IDT1)를 획득하고, 협각을 갖는 제2 카메라 모듈(1100b)을 통해 피사체에 대한 제2 이미지 데이터(IDT2)를 획득할 수 있다. 제1 이미지 데이터(IDT1)는 제2 이미지 데이터(IDT2) 보다 넓은 이미지 영역을 가질 수 있으며, 제1 이미지 데이터(IDT1)와 제2 이미지 데이터(IDT2)는 겹치는 영역을 가질 수 있다.

본 개시의 일 실시예에 따르면, 제2 카메라 모듈(1100b)은 카메라 모듈 컨트롤러(1230)의 제어 신호(CTRL)에 따라 프리즘(1105)의 배치를 조정함으로써, 시야각을 변경할 수 있다. 제2 카메라 모듈(1100b)의 시야각이 변경되면, 제1 이미지 데이터(IDT1)와 제2 이미지 데이터(IDT2)의 겹치는 영역 또한 변경될 수 있다.

도 4는 본 개시의 일 실시예에 따른 이미지 처리 장치(1200)의 동작을 설명하는 도면이다. 상세하게는, 도 4는 도 1의 이미지 처리 장치(1200)의 줌 기능 동작을 설명하는 도면이다. 이하에서는, 이미지 처리 장치(1200)가 줌 기능 중 이미지를 확대하는 줌 인(zoom in) 동작을 기준으로 설명하나, 이하의 설명은 실시예에 따라 이미지를 축소하는 줌 아웃(zoom out) 동작에 대해서도 동일하게 적용될 수 있다.

도 1 및 도 4를 참조하면, 동일한 피사체의 이미지(IMG)를 촬영함으로써, 제1 카메라 모듈(1100a)은 광각의 제1 이미지 데이터(IDT1)를 획득하고, 제2 카메라 모듈(1100b)은 협각의 제2 이미지 데이터(IDT2)를 획득할 수 있다. 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b) 각각은 획득한 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 변환 이미지 생성기(1210)로 출력할 수 있다.

변환 이미지 생성기(1210)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 적어도 하나에 대하여, 줌 파라미터를 이용한 이미지 확대를 수행함으로써, 변환 이미지 데이터(CDT)를 생성할 수 있다. 이때 변환 이미지 생성기(1210)는, 줌 정보 생성기(1250)로부터 줌 정보(Info_Z)를 수신함으로써 줌 파라미터를 획득할 수 있다.

일 예에서, 변환 이미지 생성기(1210)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 타겟 줌 배율에 대응하는 이미지 데이터를 선택할 수 있다. 그리고 변환 이미지 생성기(1210)는 선택한 이미지 데이터에 대하여 관심 영역에 대응하는 이미지 영역을 확대함으로써, 타겟 줌 배율을 갖는 변환 이미지 데이터(CDT)를 생성할 수 있다. 일 예에서, 변환 이미지 생성기(1210)는 선택한 이미지 데이터 중 관심 영역에 대응하는 이미지 영역을 크롭(crop)하여 크롭 영역을 생성하고, 크롭 영역을 스케일하여 타겟 줌 배율을 갖는 변환 이미지 데이터(CDT)를 생성할 수 있다.

타겟 줌 배율과 이미지 데이터의 대응 관계는, 이미지 데이터를 생성한 카메라 모듈의 특징(예컨대, 시야각)에 기초할 수 있다. 예를 들어, 상대적으로 작은 타겟 줌 배율들을 포함하는 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)는, 광각을 갖는 제1 카메라 모듈(1100a)이 생성한 제1 이미지 데이터(IDT1)에 대응하도록 설정될 수 있다. 그리고 상대적으로 큰 타겟 줌 배율들을 포함하는 제2 줌 배율 범위(예컨대, 5.0x 이상)는, 협각을 갖는 제2 카메라 모듈(1100b)이 생성한 제2 이미지 데이터(IDT2)에 대응하도록 설정될 수 있다. 한편, 본 개시는 전술한 예에 한하지 않으며, 제1 줌 배율 범위 및 제2 줌 배율 범위는 서로 중첩되는 줌 배율 범위를 가지도록 구현될 수 있다.

따라서, 변환 이미지 생성기(1210)는 제1 줌 배율 범위에서는 제1 카메라 모듈(1100a)이 생성한 제1 이미지 데이터(IDT1)를 기초로 관심 영역이 확대된 변환 이미지 데이터(CDT)를 생성하고, 제2 줌 배율 범위에서는 제2 카메라 모듈(1100b)이 생성한 제2 이미지 데이터(IDT2)를 기초로 관심 영역이 확대된 변환 이미지 데이터(CDT)를 생성할 수 있다. 즉, 제1 줌 배율 범위와 제2 줌 배율 범위의 경계에서 카메라 모듈의 전환이 수행될 수 있다.

일 예에서, 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)은 기설정된 프레임 레이트에 따라 새로운 제1 이미지 데이터(IDT1) 및 새로운 제2 이미지 데이터(IDT2)를 획득하여 변환 이미지 생성기(1210)로 출력할 수 있다. 따라서, 변환 이미지 생성기(1210)는 주기적으로 새로운 제1 이미지 데이터(IDT1) 및 새로운 제2 이미지 데이터(IDT2)를 수신하고, 수신한 새로운 제1 이미지 데이터(IDT1) 및 새로운 제2 이미지 데이터(IDT2)를 이용하여 전술한 동작들을 반복할 수 있다.

줌 정보 생성기(1250)는 타겟 줌 배율 및 관심 영역 등의 줌 파라미터를 포함하는 줌 정보(Info_Z)를 생성하고, 생성한 줌 정보(Info_Z)를 변환 이미지 생성기(1210) 및 카메라 모듈 컨트롤러(1230)에 제공할 수 있다. 변환 이미지 생성기(1210) 및 카메라 모듈 컨트롤러(1230) 각각은 줌 정보(Info_Z)를 저장하기 위한 버퍼(미도시)를 내부적으로 구비할 수 있다.

일 예에서, 줌 정보 생성기(1250)는 먼저 디폴트 줌 배율의 값을 갖는 타겟 줌 배율 및 디폴트 영역의 값을 갖는 관심 영역을 포함하는 줌 정보(Info_Z)를 생성할 수 있다. 비제한적인 예시에서, 디폴트 줌 배율은 제1 카메라 모듈의 디폴트 광학 줌 배율(예컨대, 1.0x)과 동일한 값으로 설정될 수 있다. 그리고 디폴트 영역은 이미지 영역의 중심점(center point)을 포함하면서 디스플레이(1300)의 화면 비율을 갖는 직사각형 영역으로 설정될 수 있으며, 예컨대 제1 이미지 데이터(IDT1)의 전체 이미지 영역과 동일한 값으로 설정될 수 있다.

따라서, 변환 이미지 생성기(1210)는 줌 기능을 시작하면, 디폴트 값들을 갖는 줌 정보(Info_Z)를 수신할 수 있고, 수신한 줌 정보(Info_Z)에 포함된 디폴트 값들을 갖는 줌 파라미터를 기초로 변환 이미지 데이터(CDT)를 생성할 수 있다. 구체적으로, 변환 이미지 생성기(1210)는 디폴트 줌 배율에 대응하는 이미지 데이터로서 제1 이미지 데이터(IDT1)를 선택할 수 있다. 그리고 변환 이미지 생성기(1210)는 제1 이미지 데이터(IDT1)에 대하여 디폴트 영역에 대응하는 이미지 영역을 크롭하여 크롭 영역을 생성하고, 크롭 영역을 스케일하여 디폴트 줌 배율을 갖는 변환 이미지 데이터(CDT)를 생성할 수 있다. 그리고 생성된 변환 이미지 데이터(CDT)는 디스플레이(1300)를 통해 표시될 수 있다. 한편, 전술한 예에서와 같이 디폴트 영역이 제1 이미지 데이터(IDT1)의 전체 이미지 영역과 동일한 값으로 설명된 경우, 변환 이미지 생성기(1210)는 크롭 및 스케일을 수행하지 않고, 제1 이미지 데이터(IDT1)로 변환 이미지 데이터(CDT)를 생성할 수 있다.

한편, 전술한 예와 달리, 변환 이미지 생성기(1210)는 디폴트 값들을 갖는 줌 파라미터를 내부적으로 구비한 버퍼(미도시)에 미리 저장하도록 구현될 수 있다. 이 경우, 변환 이미지 생성기(1210)는 줌 정보 생성기(1250)로부터 줌 정보(Info_Z)를 아직 수신하지 않더라도, 기저장된 줌 파라미터를 이용하여 변환 이미지 데이터(CDT)를 생성할 수 있다.

일 예에서, 줌 정보 생성기(1250)는 입력 장치(1400)로부터 수신한 사용자 입력(UI)을 기초로 줌 파라미터를 업데이트할 수 있다. 그리고 줌 정보 생성기(1250)는 업데이트된 줌 파라미터를 기초로 새로운 줌 정보(Info_Z)를 생성하고, 새로운 줌 정보(Info_Z)를 변환 이미지 생성기(1210) 및 카메라 모듈 컨트롤러(1230)에 제공할 수 있다.

구체적으로, 줌 정보 생성기(1250)는, 예컨대 상기 디폴트 값들을 갖는 줌 파라미터를 기초로 생성된 변환 이미지 데이터(CDT)가 표시되는 중에, 입력 장치(1400)로부터 터치 제스처의 좌표 정보를 포함하는 사용자 입력(UI)을 수신할 수 있다. 그리고 줌 정보 생성기(1250)는 좌표 정보를 기초로 상기 터치 제스처가 줌 기능과 관련된 터치 제스처인지 판단할 수 있다. 만약 터치 제스처가 줌 기능과 관련된 터치 제스처인 경우, 줌 정보 생성기(1250)는 사용자 입력(UI)을 기초로 줌 파라미터를 업데이트할 수 있다.

줌 기능과 관련된 터치 제스처는, 줌 인에 대응하는 터치 제스처, 줌 아웃에 대응하는 터치 제스처, 관심 영역을 선택하는 터치 제스처 중 적어도 하나를 포함할 수 있다. 비제한적인 예시에서, 줌 인에 대응하는 터치 제스처는, 두 개의 손가락(또는 터치 전용 입력 수단)을 터치한 상태에서 손가락 간의 거리를 확대하는 핀치 아웃(Pinch Out)으로 설정될 수 있고, 줌 아웃에 대응하는 터치 제스처는 손가락 간의 거리를 축소하는 핀치 인(Pinch In)으로 설정될 수 있다. 그리고 관심 영역을 선택하는 터치 제스처는 전술한 핀치 아웃, 핀치 인 뿐만 아니라 터치, 탭, 더블 탭, 롱탭, 드래그 앤 드롭, 핀치 드래그 등으로 설정될 수 있다.

줌 정보 생성기(1250)는 줌 기능에 대응하는 터치 제스처를 확인하면, 좌표 정보를 기초로 타겟 줌 배율 및/또는 관심 영역을 산출할 수 있다. 예를 들어, 터치 제스처가 핀치 아웃이면, 줌 정보 생성기(1250)는 좌표 정보를 기초로 타겟 줌 배율 및 관심 영역을 산출할 수 있다. 또 다른 예로, 터치 제스처가 탭이면, 줌 정보 생성기(1250)는 좌표 정보를 기초로 관심 영역을 산출할 수 있다. 한편, 줌 정보 생성기(1250)가 줌 배율 및 관심 영역을 산출하는 구체적인 동작은 도 5 내지 도 8에서 후술한다.

변환 이미지 생성기(1210)는 줌 정보 생성기(1250)로부터 새로운 줌 정보(Info_Z)를 수신하면, 새로운 줌 정보(Info_Z)에 포함된 타겟 줌 배율 및 관심 영역을 이용하여 새로운 변환 이미지 데이터(CDT)를 생성할 수 있다. 구체적으로, 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)은 기설정된 주기로 새로운 제1 이미지 데이터(IDT1) 및 새로운 제2 이미지 데이터(IDT2)를 출력하므로, 변환 이미지 생성기(1210)는 새로운 제1 이미지 데이터(IDT1) 및 새로운 제2 이미지 데이터(IDT2) 중 적어도 하나에 대하여, 새로운 줌 정보(Info_Z)를 이용하여 새로운 변환 이미지 데이터(CDT)를 생성할 수 있다.

예를 들어, 새로운 줌 정보(Info_Z)는 줌 배율 1.5x를 나타내는 타겟 줌 배율 및 이미지 영역 중 우측 상단 영역을 나타내는 관심 영역을 포함할 수 있다. 이 경우, 변환 이미지 생성기(1210)는 줌 배율 1.5x에 대응하는 제1 이미지 데이터(IDT1)에 대하여, 우측 상단 영역을 크롭하여 크롭 영역을 생성하고, 생성한 크롭 영역을 스케일하여 줌 배율 1.5x를 갖는 변환 이미지 데이터(CDT)를 생성할 수 있다. 또 다른 예로, 수신한 줌 정보(Info_Z)가 줌 배율 5.5x를 나타내는 타겟 줌 배율 및 이미지 영역 중 우측 하단 영역을 나타내는 관심 영역을 포함할 수 있다. 이 경우, 변환 이미지 생성기(1210)는 줌 배율 5.5x에 대응하는 제2 이미지 데이터(IDT2)에 대하여, 우측 하단 영역을 크롭하여 크롭 영역을 생성하고, 생성한 크롭 영역을 스케일하여 줌 배율 5.5x를 갖는 변환 이미지 데이터(CDT)를 생성할 수 있다.

카메라 모듈 컨트롤러(1230)는 줌 정보 생성기(1250)로부터 줌 정보(Info_Z)를 수신하고, 수신한 줌 정보(Info_Z)에 포함된 줌 파라미터를 기초로 제2 카메라 모듈(1100b)을 제어하는 제어 신호(CTRL)를 생성할 수 있다. 일 예로서, 카메라 모듈 컨트롤러(1230)는 제2 카메라 모듈(1100b)의 시야각을 관심 영역에 대응하는 시야각으로 변경하도록 제어하는 제어 신호(CTRL)를 생성하고, 생성한 제어 신호(CTRL)를 I²C(Inter Integrated Circuit) 버스 등을 통해 제2 카메라 모듈(1100b)에 제공할 수 있다. 한편, 카메라 모듈 컨트롤러(1230)가 제어 신호(CTRL)를 생성하는 구체적인 동작은 도 9에서 후술한다.

정리하면, 이미지 처리 장치(1200)는 먼저 광각 카메라인 제1 카메라 모듈(1100a)로 촬영한 제1 이미지를 사용자에게 표시하고, 일정 줌 배율에 도달하기 전까지는 제1 이미지를 이용하여 관심 영역이 확대된 제1 이미지를 표시할 수 있다. 그와 동시에, 이미지 처리 장치(1200)는 망원 카메라인 제2 카메라 모듈(1100b)의 시야각을 관심 영역에 대응하도록 미리 조정할 수 있다. 그리고 이미지 처리 장치(1200)는 일정 줌 배율에 도달하면(즉, 카메라 모듈 전환이 수행되면) 제2 카메라 모듈(1100b)로 촬영한 제2 이미지를 이용하여 관심 영역이 확대된 제2 이미지를 표시할 수 있다.

이와 같이, 본 개시의 기술적 사상에 따른 이미지 처리 장치(1200)는, 높은 줌 배율에 대응하는 카메라 모듈(즉, 제2 카메라 모듈(1100b))의 시야각을 관심 영역에 대응하도록 미리 조정함으로써, 줌 배율의 증가에 따른 카메라 모듈 전환 시에 관심 영역에 대응하는 이미지를 표시하는 데에 소요되는 딜레이를 줄일 수 있다. 또한, 본 개시의 기술적 사상에 따른 이미지 처리 장치(1200)는 관심 영역이 높은 줌 배율에 대응하는 카메라 모듈의 시야각에 포함되도록 하기 위해, 사용자가 직접 카메라 모듈의 각도를 조정해야 하는 불편을 방지할 수 있다.

도 5는 본 개시의 일 실시예에 따른 줌 정보 생성기(1250)의 줌 파라미터의 업데이트 동작을 설명하기 위한 흐름도이고, 도 6은 본 개시의 일 실시예에 따른 줌 기능과 관련된 터치 제스처를 나타내는 도면이고, 도 7은 본 개시의 일 실시예에 따른 관심 영역의 산출 방법을 설명하기 위한 도면이고, 도 8은 본 개시의 다른 실시예에 따른 줌 기능과 관련된 터치 제스처를 나타내는 도면이다.

도 5를 참조하면, 줌 정보 생성기(1250)는 입력 장치(1400)를 통해 사용자의 터치 제스처의 좌표 정보를 수신할 수 있다(S110). 일 예에서, 줌 정보 생성기(1250)는 터치 제스처의 좌표 정보를 수신할 수 있다. 그리고 줌 정보 생성기(1250)는 수신한 좌표 정보를 기초로 사용자의 터치 제스처가 줌 기능과 관련된 터치 제스처인지 판단할 수 있다.

그리고 줌 정보 생성기(1250)는 좌표 정보를 기초로 타겟 줌 배율을 산출할 수 있다(S120). 일 예에서, 사용자의 터치 제스처가 줌 인 또는 줌 아웃에 대응하는 터치 제스처(예컨대, 핀치 아웃, 핀치 인)이면, 줌 정보 생성기(1250)는 좌표 정보를 기초로 타겟 줌 배율을 산출할 수 있다.

구체적으로, 도 6을 참조하면, 사용자는 디스플레이(1300)에 표시된 이미지(IMG)에 대하여, 줌 인에 대응하는 핀치 아웃을 수행할 수 있다. 그리고 줌 정보 생성기(1250)는 핀치 아웃 제스처의 좌표 정보를 수신할 수 있다. 일 예에서, 줌 정보 생성기(1250)는 기설정된 주기로 터치 입력의 좌표를 출력하는 입력 장치(1400)로부터 핀치 아웃 제스처를 구성하는 연속된 터치 입력들의 좌표 정보(X좌표 및 Y좌표)를 획득할 수 있다. 예를 들어, 줌 정보 생성기(1250)는 핀치 아웃 제스처를 구성하는 제1 터치 입력들(A1, B1) 및 제2 터치 입력들(A2, B2)의 좌표 정보를 획득할 수 있다. 제1 터치 입력들(A1, B1)은 제1 시간(t1)에서의 터치 입력들이고, 제2 터치 입력들(A2, B2)은 제1 시간(t1) 이후의 제2 시간(t2)에서의 터치 입력들이며, 제1 시간(t1) 및 제2 시간(t2)의 차이는 입력 장치(1400)의 기설정된 주기에 대응할 수 있다.

그리고 줌 정보 생성기(1250)는 제1 터치 입력들(A1, B1) 간의 제1 거리를 산출하고, 제2 터치 입력들(A2, B2) 간의 제2 거리를 산출할 수 있다. 그리고 줌 정보 생성기(1250)는 제1 거리와 제2 거리의 차이를 기초로 타겟 줌 배율을 산출할 수 있다. 제1 거리와 제2 거리의 차이가 의미하는 사용자가 원하는 확대의 정도는, 디스플레이(1300)에 표시된 이미지의 줌 배율(즉, 이전 줌 배율)에 따라 달라질 수 있다. 따라서, 줌 정보 생성기(1250)는 제1 거리와 제2 거리의 차이 및 이전 줌 배율을 변수로 하는 함수를 이용하여 타겟 줌 배율을 산출할 수 있다. 한편, 줌 정보 생성기(1250)가 좌표 정보를 이용하여 타겟 줌 배율을 산출하는 방법은 전술한 예에 한하지 않으며, 다양한 방법으로 타겟 줌 배율을 산출할 수 있다.

그리고 줌 정보 생성기(1250)는 좌표 정보를 기초로 관심 영역을 산출할 수 있다(S130). 일 예에서, 사용자의 터치 제스처가 관심 영역을 선택하는 터치 제스처 (예컨대, 핀치 아웃, 핀치 인, 터치, 탭, 더블 탭, 롱탭, 드래그 앤 드롭, 핀치 드래그 등)이면, 줌 정보 생성기(1250)는 좌표 정보를 기초로 관심 영역을 산출할 수 있다.

구체적으로, 도 6을 다시 참조하면, 줌 정보 생성기(1250)는 제1 터치 입력들(A1, B1)의 좌표 정보 또는 제2 터치 입력들(A2, B2)의 좌표 정보를 이용하여 중심점을 산출할 수 있다. 예를 들어, 줌 정보 생성기(1250)는 제1 터치 입력들(A1, B1)의 X좌표의 평균값, Y좌표의 평균값을 산출함으로써 중심점의 좌표를 획득할 수 있다.

한편, 디스플레이(1300)에 표시된 이미지가 이미 확대 또는 축소된 상태에서 터치 제스처가 사용자로부터 입력될 수 있다. 이 경우, 획득한 중심점의 좌표가 그대로 이용될 경우, 사용자가 실제로 원하는 이미지 영역이 아닌 다른 이미지 영역이 확대 또는 축소될 수 있다. 따라서, 줌 정보 생성기(1250)는 현재 디스플레이(1300)에 표시된 이미지와 관련된 정보, 예컨대, 이전 타겟 줌 배율 또는 이전 관심 영역 등의 정보를 이용하여, 획득한 중심점의 좌표를 보정할 수 있다.

일 예에서, 줌 정보 생성기(1250)는 이전 타겟 줌 배율 및 이전 관심 영역을 기초로 제1 이미지 데이터(IDT1) 또는 제2 이미지 데이터(IDT2)의 전체 이미지 영역 상에서 상기 중심점의 좌표에 대응하는 좌표를 확인하고, 확인한 좌표로 중심점의 좌표를 보정할 수 있다. 예를 들어, 줌 정보 생성기(1250)는 앞서 산출한 타겟 줌 배율이 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)에 속하면 제1 이미지 데이터(IDT1)의 전체 이미지 영역 상에서 상기 중심점의 좌표에 대응하는 좌표를 확인할 수 있고, 타겟 줌 배율이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면 제2 이미지 데이터(IDT2)의 전체 이미지 영역 상에서 상기 중심점의 좌표에 대응하는 좌표를 확인할 수 있다.

그리고 줌 정보 생성기(1250)는 보정된 중심점의 좌표와 타겟 줌 배율을 기초로 관심 영역을 산출할 수 있다. 도 7을 참조하면, 줌 정보 생성기(1250)는 이미지 데이터(IDT)(예컨대, 제1 이미지 데이터(IDT1) 또는 제2 이미지 데이터(IDT2))의 해상도에서 관심 영역을 산출할 수 있다. 이때, 관심 영역을 산출하는데 이용되는 이미지 데이터(IDT) 해상도는, 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 타겟 줌 배율에 대응하는 이미지 데이터(IDT)의 해상도이다. 비제한적인 예시에서, 줌 정보 생성기(1250)는 타겟 줌 배율이 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)에 속하면 제1 이미지 데이터(IDT1)를 이용하고, 타겟 줌 배율이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면 제2 이미지 데이터(IDT2)를 이용할 수 있다.

그리고 줌 정보 생성기(1250)는 중심점의 좌표를 이용하여 아래의 수학식에 따라 Delta_x1, Delta_x2, Delta_y1, Delta_y2를 산출할 수 있다.

여기서, Width 및 Height는 이미지 데이터(IDT)의 해상도의 너비 및 폭이고, Zoom Ratio는 타겟 줌 레벨이고, x 및 y는 보정된 중심점의 x좌표 및 y좌표이고, K는 이미지 데이터(IDT)에 대응하는 상수이다. 줌 정보 생성기(1250)는 산출한 타겟 줌 배율에 따라, 제1 이미지 데이터(IDT1)에 대응하는 K를 이용하거나, 제2 이미지 데이터(IDT2)에 대응하는 K를 이용할 수 있다. 예를 들어, 줌 정보 생성기(1250)는 타겟 줌 배율이 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)에 속하면, 제1 이미지 데이터(IDT1)에 대응하는 K를 이용하고, 타겟 줌 배율이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면 제2 이미지 데이터(IDT2)에 대응하는 K를 이용할 수 있다.

그리고 줌 정보 생성기(1250)는 상기 산출한 Delta_x1, Delta_x2, Delta_y1, Delta_y2를 이용하여 아래의 수학식에 따라, 이미지 데이터(IDT)에서 크롭할 크롭 영역(즉, 관심 영역)을 구성하는 4면의 좌표들(Left, Right, Top, Bottom)을 산출할 수 있다.

여기서, x 및 y는 중심점의 x좌표 및 y좌표이고, Left 및 Right는 X축 상의 좌표이고, Top 및 Bottom은 Y축 상의 좌표이다.

일 예에서, 관심 영역은 영역을 구성하는 4개의 면들의 좌표로 표현되거나, 영역을 구성하는 4개의 꼭지점들의 좌표로 표현될 수 있다. 따라서, 줌 정보 생성기(1250)는 상기 산출한 4면의 좌표들(Left, Right, Top, Bottom)을 관심 영역으로 결정하거나, 상기 산출한 4면의 좌표들(Left, Right, Top, Bottom)을 기초로 4개의 꼭지점들을 산출함으로써 관심 영역을 산출할 수 있다.

한편, 전술한 예에서는, 줌 정보 생성기(1250)가 타겟 줌 배율에 대응하는 이미지 데이터(IDT)를 이용하여 관심 영역을 산출하는 것으로 설명하였지만, 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 줌 정보 생성기(1250)는 중심점의 좌표를 이용하여 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 각각의 관심 영역을 산출할 수 있다. 또한, 관심 영역을 산출하는 방법 및 관심 영역을 표현하는 데이터의 종류도 전술한 예에 한하지 않으며, 다양한 산출 방법 및 다양한 데이터 종류가 적용될 수 있다.

그리고 줌 정보 생성기(1250)는 산출한 타겟 줌 배율 및 산출한 관심 영역을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S140). 일 예에서, 줌 정보 생성기(1250)는 산출한 타겟 줌 배율 및 산출한 관심 영역을 이용하여, 타겟 줌 배율 및 관심 영역을 업데이트하고, 업데이트된 타겟 줌 배율 및 업데이트된 관심 영역을 기초로 줌 정보(Info_Z)를 생성할 수 있다.

한편, 도 5 내지 도 7을 도시하고 설명함에 있어서, 사용자의 터치 제스처가 핀치 아웃인 것을 전제로 도시하고 설명하였지만, 본 개시의 기술적 사상은 줌 기능에 대응하는 다른 터치 제스처에도 적용될 수 있음은 물론이다. 예를 들어, 터치 제스처 중, 탭은 관심 영역의 선택에 대응할 수 있다. 줌 정보 생성기(1250)는 탭이 입력되면 탭을 구성하는 하나의 터치 입력의 좌표를 전술한 예에서의 중심점으로 결정하고, 전술한 방법들에 따라 관심 영역을 산출할 수 있다.

또 다른 예로, 도 8을 참조하면, 터치 제스처 중, 핀치 드래그도 관심 영역의 선택에 대응할 수 있다. 줌 정보 생성기(1250)는 핀치 드래그를 구성하는 연속된 터치 입력들의 좌표 정보를 획득할 수 있다. 예를 들어, 줌 정보 생성기(1250)는 제1 터치 입력들(A1, B1) 및 제2 터치 입력들(A2, B2)의 좌표 정보를 획득할 수 있다. 그리고 줌 정보 생성기(1250)는 제1 터치 입력들(A1, B1)의 좌표 정보 또는 제2 터치 입력들(A2, B2)의 좌표 정보를 이용하여 중심점을 산출할 수 있다. 그리고 줌 정보 생성기(1250)는 전술한 방법들에 따라 관심 영역을 산출할 수 있다.

도 9는 본 개시의 일 실시예에 따른 카메라 모듈 컨트롤러(1230)의 제어 신호(CTRL)의 생성 동작을 설명하기 위한 흐름도이다.

도 9를 참조하면, 카메라 모듈 컨트롤러(1230)는 타겟 줌 배율 및 관심 영역을 수신할 수 있다(S210). 구체적으로, 카메라 모듈 컨트롤러(1230)는 줌 정보 생성기(1250)로부터 타겟 줌 배율 및 관심 영역을 포함하는 줌 정보(Info_Z)를 수신할 수 있다.

그리고 카메라 모듈 컨트롤러(1230)는 타겟 줌 배율이 기설정된 줌 배율 이상인지 확인할 수 있다(S220). 여기서 기설정된 줌 배율은, 제1 카메라 모듈(1100a)에서 제2 카메라 모듈(1100b)로 카메라 모듈 전환이 수행되는 줌 배율(예컨대 5.0x)과 같거나 작은 값을 가질 수 있다.

만약 타겟 줌 배율이 기설정된 줌 배율 이상인 경우(S220-YES), 카메라 모듈 컨트롤러(1230)는 관심 영역을 기초로 시야각을 변경하도록 제어하는 제어 신호(CTRL)를 생성할 수 있다. 예를 들어, 카메라 모듈 컨트롤러(1230)는 관심 영역의 중심점의 좌표를 산출할 수 있다. 그리고 카메라 모듈 컨트롤러(1230)는 산출한 중심점의 좌표에 대응하는 제2 카메라 모듈(1100b)의 프리즘(1105)의 배치 정보를 확인할 수 있다. 그리고 카메라 모듈 컨트롤러(1230)는 확인한 배치 정보를 포함하는 제어 신호(CTRL)를 생성할 수 있다. 한편, 본 개시는 전술한 예에 한하지 않으며, 제어 신호(CTRL)는 다양한 방법으로 생성될 수 있다.

한편, 타겟 줌 배율이 상대적으로 작은 때에는 제1 카메라 모듈(1100a)의 제1 이미지 데이터(IDT1)를 기초로 변환 이미지 데이터(CDT)가 생성되므로, 실시예에 따라, 제2 카메라 모듈(1100b)은 타겟 줌 배율이 기설정된 줌 배율 미만이면 오프(off)되도록 구현될 수 있다. 이 경우, 카메라 모듈 컨트롤러(1230)는 타겟 줌 배율이 기설정된 줌 배율이 이상이면 제2 카메라 모듈(1100b)을 턴-온(turn on)시키는 제어 신호(CTRL)를 추가적으로 생성할 수도 있다.

그리고 카메라 모듈 컨트롤러(1230)는 생성한 제어 신호(CTRL)를 출력할 수 있다(S240). 예를 들어, 카메라 모듈 컨트롤러(1230)는 생성한 제어 신호(CTRL)를 제2 카메라 모듈(1100b)과 연결된 I²C 버스를 통해 제2 카메라 모듈(1100b)로 출력할 수 있다. 제2 카메라 모듈(1100b)은 제어 신호(CTRL)에 포함된 프리즘(1105)의 배치 정보를 기초로 프리즘(1105)의 배치를 조정할 수 있다.

반면, 타겟 줌 배율이 기설정된 줌 배율 미만인 경우(S220-NO), 카메라 모듈 컨트롤러(1230)는 제어 신호(CTRL)의 생성 없이 동작을 종료할 수 있다. 한편, 기설정된 줌 배율이 디폴트 줌 배율인 1.0x인 경우, 타겟 줌 배율이 기설정된 줌 배율 미만인 경우는 존재하지 않으므로, 카메라 모듈 컨트롤러(1230)는 지속적으로 제어 신호(CTRL)를 생성할 수 있다.

도 10은 본 개시의 일 실시예에 따른 변환 이미지 생성기(1210)의 구체적인 구성을 나타내는 블록도이다.

도 10을 참조하면, 변환 이미지 생성기(1210)는 제1 서브 ISP(image signal processor)(1211), 제2 서브 ISP(1212) 및 메인 ISP(1213)를 포함할 수 있다. 일 예에서, 메인 ISP(1213)는 선택 모듈(1214) 및 후처리 모듈(1215)을 포함할 수 있다.

제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)에 대하여 이미지 처리를 수행하여 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 생성할 수 있다. 일 예에서, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)에 대하여 이미지 스케일 동작을 수행하여 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 생성할 수 있다.

구체적으로, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 줌 정보 생성기(1250)로부터 줌 정보(Info_Z)를 수신하고, 줌 정보(Info_Z)를 이용하여 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)의 관심 영역에 대응하는 이미지 영역을 크롭하여 크롭 영역을 생성하고, 타겟 줌 배율에 대응하는 해상도를 갖도록 크롭 영역의 스케일을 변경하여 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 생성할 수 있다.

한편, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212) 각각이 줌 정보(Info_Z)를 이용하여 크롭 동작 및 스케일링 동작을 수행하는 구체적인 실시예는 상이할 수 있다.

예를 들어, 제1 서브 ISP(1211)는 줌 정보(Info_Z)의 타겟 줌 레벨이 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)에 속하면, 제1 이미지 데이터(IDT1)에서 줌 정보(Info_Z)의 관심 영역에 대응하는 이미지 영역을 크롭하여 크롭 영역을 생성하고, 크롭 영역을 타겟 줌 배율에 대응하는 해상도를 갖도록 스케일하여 제1 이미지 신호(ISIG1)를 생성할 수 있다. 그리고 제1 서브 ISP(1211)는 타겟 줌 레벨이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면, 관심 영역과 무관하게 제1 이미지 데이터(IDT1)를 기설정된 해상도로 다운스케일하여 제1 이미지 신호(ISIG1)를 생성할 수 있다.

제2 서브 ISP(1212)는 줌 정보(Info_Z)의 타겟 줌 레벨과 무관하게 제2 이미지 데이터(IDT2)에서 관심 영역에 대응하는 이미지 영역을 크롭하여 크롭 영역을 생성하고, 크롭 영역을 타겟 줌 배율에 대응하는 해상도를 갖도록 스케일하여 제2 이미지 신호(ISIG2)를 생성할 수 있다. 또는, 제2 서브 ISP(1212)는 타겟 줌 레벨이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하는 때에만 크롭 동작 및 스케일링 동작을 수행하여 제2 이미지 신호(ISIG2)를 생성하도록 구현될 수도 있다.

한편, 변형 가능한 실시예에서, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 타겟 줌 레벨이 제1 줌 배율 범위 및 제2 줌 배율 범위의 경계에 해당하는 줌 배율(예컨대, 5.0x)인 경우, 제1 이미지 데이터(IDT1)에 대하여 관심 영역을 스케일함으로써 제1 이미지 신호(ISIG1)를 생성하고 제2 이미지 데이터(IDT2)에 대해 제2 이미지 신호(ISIG2)를 생성할 수 있다. 이 경우, 경계에 해당하는 줌 배율에서, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 동일한 관심 영역을 나타내는 이미지 신호들을 생성하므로, 후술하는 메인 ISP(1213)에 의해 중첩될 수 있다.

그리고 제1 서브 ISP(1211) 및 제2 서브 ISP(1212) 각각은 전술한 이미지 스케일 동작 외에도 Auto Exposure(AE), Auto Focus(AF), Auto White Balance(AWB)의 통계 수집을 수행하거나, 이미지 포맷을 변경하는 등의 추가적인 이미지 처리 동작을 수행할 수 있다. 비제한적인 예시에서, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 베이어 패턴(Bayer Pattern)을 갖는 로우 이미지(Raw Image)인 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 수신하면, 디모자이크(demosiac) 동작을 수행하여 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 생성할 수 있다. 이 외에도, 실시예에 따라, 제1 서브 ISP(1211) 및 제2 서브 ISP(1212)는 RGB 포맷의 이미지 데이터를 YUV 포맷으로 변경하거나, RGB 색상들의 픽셀들이 각각 2

2 행열로 반복 배열되는 테트라 패턴(Tetra Pattern)을 갖는 로우 이미지(Raw Image)도 처리 가능하다.

메인 ISP(1213)는 선택 모듈(1214) 및 후처리 모듈(1215)을 포함할 수 있다. 선택 모듈(1214)은 제1 서브 ISP(1211) 및 제2 서브 ISP(1212) 각각으로부터 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 수신할 수 있다. 그리고 선택 모듈(1214)은 줌 정보(Info_Z)의 타겟 줌 배율을 기초로 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2) 중 적어도 하나를 선택하고, 선택한 이미지 신호를 제3 이미지 신호(ISIG3)로서 후처리 모듈(1215)로 제공할 수 있다.

그리고 후처리 모듈(1215)은 수신한 제3 이미지 신호(ISIG3)에 대하여 추가적인 이미지 처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다. 비제한적인 예시에서, 후처리 모듈(1215)은 제3 이미지 신호(ISIG3)에 대하여, 결함 픽셀 보정, 오프셋 보정, 렌즈 왜곡 보정, 컬러 게인(color gain) 보정, 쉐이딩(shading) 보정, 감마(gamma) 보정, 디노이징(Denoising), 샤프닝(sharpening) 등 다양한 이미지 처리 동작들을 수행할 수 있다. 한편, 제1 카메라 모듈(1100a) 또는 제2 카메라 모듈(1100b)의 성능에 따라 전술한 후처리 동작들은 일부 생략될 수 있다. 예를 들어, 제1 카메라 모듈(1100a) 또는 제2 카메라 모듈(1100b)이 고품질의 이미지 센서를 포함하는 경우, 후처리 동작 중 결함 픽셀 보정 또는 오프셋 보정 등이 생략될 수 있다.

일 예에서, 선택 모듈(1214)은 타겟 줌 배율이 제1 줌 배율 범위(예컨대, 1.0x 이상 5.0x 미만)에 속하면 제1 이미지 신호(ISIG1)를 선택할 수 있다. 그리고 선택 모듈(1214)은 제1 이미지 신호(ISIG1)를 제3 이미지 신호(ISIG3)로서 후처리 모듈(1215)로 제공할 수 있다. 후처리 모듈(1215)은 수신한 제1 이미지 신호(ISIG1)에 대하여 후처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다.

그리고 선택 모듈(1214)은 타겟 줌 배율이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면 제2 이미지 신호(ISIG2)를 선택할 수 있다. 그리고 선택 모듈(1214)은 제2 이미지 신호(ISIG2)를 제3 이미지 신호(ISIG3)로서 후처리 모듈(1215)로 제공할 수 있다. 후처리 모듈(1215)은 수신한 제2 이미지 신호(ISIG2)에 대하여 후처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다.

한편, 변형 가능한 실시예에 따르면, 선택 모듈(1214)은 타겟 줌 배율이 제2 줌 배율 범위(예컨대, 5.0x 이상)에 속하면, 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 모두 선택할 수도 있다. 그리고 선택 모듈(1214)은 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 후처리 모듈(1215)에 제공할 수 있다. 그리고 후처리 모듈(1215)은 수신한 제1 이미지 신호(ISIG1) 및 제2 이미지 신호(ISIG2)를 병합하고, 후처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다. 비제한적인 예시에서, 후처리 모듈(1215)은 다운 스케일된 제1 이미지 신호(ISIG1)를 제2 이미지 신호(ISIG2)의 이미지 영역의 좌측 하단에 중첩하는 방식으로 병합하고, 후처리 동작을 수행하여 변환 이미지 데이터(CDT)를 생성할 수 있다.

한편, 선택 모듈(1214) 및 후처리 모듈(1215) 각각은 소프트웨어, 또는 하드웨어로 구현되거나, 또는 펌웨어와 같은 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다. 선택 모듈(1214) 또는 후처리 모듈(1215)이 소프트웨어로 구현될 경우, 전술한 각각의 기능들이 프로그램된 소스 코드로 구현되어 변환 이미지 생성기(1210) 내부 또는 외부에 구비되는 메모리에 로딩될 수 있으며, 메인 ISP(1213)가 소프트웨어를 실행함으로써, 선택 모듈(1214) 및 후처리 모듈(1215)의 기능들이 구현될 수 있다. 선택 모듈(1214) 또는 후처리 모듈(1215)이 하드웨어로 구현될 경우, 선택 모듈(1214) 또는 후처리 모듈(1215)은 로직 회로 및 레지스터를 포함할 수 있으며, 레지스터 세팅에 기초하여 전술한 각각의 기능들을 수행할 수 있다.

한편, 도 10을 도시하고 설명함에 있어서, 도 1의 변환 이미지 생성기(1210)가 제1 서브 ISP(1211), 제2 서브 ISP(1212) 및 메인 ISP(1213)를 포함하는 것으로 도시하고 설명하였지만, 변환 이미지 생성기(1210)는 제1 서브 ISP(1211), 제2 서브 ISP(1212) 및 메인 ISP(1213) 중 적어도 일부 구성만을 포함하고, 나머지 구성은 개별적인 구성으로 구현될 수 있다.

도 11은 본 개시의 일 실시예에 따른 이미지 처리 장치(1200)의 동작을 나타내는 흐름도이다.

도 1 내지 도 11을 참조하면, 이미지 처리 장치(1200)는 제1 카메라 모듈(1100a)로부터 제1 이미지 데이터(IDT1)를 수신할 수 있다(S310). 그리고 이미지 처리 장치(1200)는 제2 카메라 모듈(1100b)로부터 제2 이미지 데이터(IDT2)를 수신할 수 있다(S320). 일 예에서, 제1 카메라 모듈(1100a)은 광각을 갖고, 제2 카메라 모듈(1100b)은 협각을 가질 수 있다.

이미지 처리 장치(1200)는 사용자 입력을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S330). 예를 들어, 이미지 처리 장치(1200)는 줌 기능과 관련된 터치 제스처인 사용자 입력을 기초로 타겟 줌 배율 및 관심 영역을 산출하고, 산출한 타겟 줌 배율 및 관심 영역을 이용하여 기존의 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다.

이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2) 중 업데이트된 타겟 줌 배율에 대응하는 이미지 데이터를 선택할 수 있다(S340). 그리고 이미지 처리 장치(1200)는 선택한 이미지 데이터에 대하여, 관심 영역에 대응하는 이미지 영역을 확대 또는 축소하여 변환 이미지 데이터(CDT)를 생성할 수 있다(S350). 그리고 이미지 처리 장치(1200)는 변환 이미지 데이터(CDT)를 출력할 수 있다(S360).

도 12a 내지 도 12e는 줌 기능을 수행하는 전자 장치(1000)의 구성요소들 간의 동작을 나타내는 시퀀스도이다. 이하에서는, 도 12a 내지 도 12e를 참조하여, 전자 장치(1000)가 줌 기능의 수행 중, 사용자의 입력에 따라 타겟 줌 배율이 점차 증가하는 시나리오를 설명한다. 도 12a는 타겟 줌 배율이 1.0x 이상 3.0x 미만일 때의 시나리오를 설명하는 도면이고, 도 12b는 타겟 줌 배율이 3.0x 이상 5.0x 미만일 때의 시나리오를 설명하는 도면이고, 도 12c는 타겟 줌 배율이 5.0x일 때의 시나리오를 설명하기 위한 도면이고, 도 12d는 타겟 줌 배율이 5.0x 초과일 때의 시나리오를 설명하기 위한 도면이고, 도 12e는 타겟 줌 배율이 5.0x 초과일 때의 다른 시나리오를 설명하기 위한 도면이다. 한편, 타겟 줌 배율이 점차 증가하는 시나리오를 설명함에 있어서, 상기 기준이 되는 줌 배율들, 즉, 1.0x, 3.0x, 5.0x는 하나의 예일 뿐, 실시예에 따라, 다른 줌 배율들이 이용될 수 있다.

도 12a를 참조하면, 광각을 갖는 제1 카메라 모듈(1100a)은 제1 이미지 데이터(IDT1)를 생성할 수 있다(S405). 그리고 제1 카메라 모듈(1100a)은 제1 이미지 데이터(IDT1)를 이미지 처리 장치(1200)에 전송할 수 있다(S410). 구체적으로, 제1 카메라 모듈(1100a)은 사전 결정된 프레임 레이트에 따라 새로운 제1 이미지 데이터(IDT1)를 반복적으로 생성하고, 생성한 제1 이미지 데이터(IDT1)를 이미지 처리 장치(1200)에 반복적으로 전송할 수 있다. 이하에서는 중복 설명을 방지하기 위해, 제1 카메라 모듈(1100a)이 제1 이미지 데이터(IDT1)를 반복 생성하는 내용을 생략한다. 한편, 본 실시예에서, 제2 카메라 모듈(1100b)은 오프 상태일 수 있다.

이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 기초로 제1 변환 이미지 데이터(CDT1)를 생성할 수 있다(S415). 구체적으로, 이미지 처리 장치(1200)는 타겟 줌 배율 및 관심 영역을 포함하는 줌 파라미터를 이용하여 제1 변환 이미지 데이터(CDT1)를 생성할 수 있다. 이때, 줌 파라미터는 디폴트 값들을 가질 수 있으며, 예컨대, 타겟 줌 배율은 1.0x일 수 있다. 그리고 이미지 처리 장치(1200)는 제1 변환 이미지 데이터(CDT1)를 디스플레이(1300)에 전송할 수 있다(S420). 그리고 디스플레이(1300)는 제1 변환 이미지 데이터(CDT1)를 기초로 이미지를 표시할 수 있다(S425).

입력 장치(1400)는 사용자로부터 입력된 터치 제스처(예컨대, 핀치 아웃)를 제1 사용자 입력(UI1)으로서 이미지 처리 장치(1200)에 제공할 수 있다(S430). 일 예에서, 입력 장치(1400)는 디스플레이(1300)와 결합된 터치 패널일 수 있다. 이미지 처리 장치(1200)는 수신한 제1 사용자 입력(UI1)을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S435). 예를 들어, 업데이트된 타겟 줌 배율은 2.0x일 수 있다.

이미지 처리 장치(1200)는 다음 순서에 해당하는 제1 이미지 데이터(IDT1)에 대하여, 관심 영역에 대응하는 이미지 영역을 확대하여 타겟 줌 배율(예컨대, 2.0x)을 갖는 제2 변환 이미지 데이터(CDT2)를 생성할 수 있다(S440). 그리고 이미지 처리 장치(1200)는 생성한 제2 변환 이미지 데이터(CDT2)를 디스플레이(1300)에 전송할 수 있다(S445). 그리고 디스플레이(1300)는 제2 변환 이미지 데이터(CDT2)를 기초로 이미지를 표시할 수 있다(S450).

이어서, 도 12b를 참조하면, 디스플레이(1300)는 제2 변환 이미지 데이터(CDT2)를 기초로 이미지를 표시할 수 있다(S505, 도 12a의 S450). 입력 장치(1400)는 사용자로부터 입력된 터치 제스처(예컨대, 핀치 아웃)를 제2 사용자 입력(UI2)으로서 이미지 처리 장치(1200)에 제공할 수 있다(S510). 이미지 처리 장치(1200)는 수신한 제2 사용자 입력(UI2)을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S515). 예를 들어, 업데이트된 타겟 줌 배율은 4.0x일 수 있다.

이미지 처리 장치(1200)는 협각을 갖는 제2 카메라 모듈(1100b)에 제어 신호(CTRL)를 전송할 수 있다(S520). 구체적으로, 이미지 처리 장치(1200)는 업데이트된 타겟 줌 배율이 기설정된 줌 배율(예컨대, 3.0x)를 초과하면, 제2 카메라 모듈(1100b)을 제어하기 위한 제어 신호(CTRL)를 생성하고, 제어 신호(CTRL)를 전송할 수 있다. 여기서 제어 신호(CTRL)는 제2 카메라 모듈(1100b)의 시야각을 업데이트된 관심 영역에 대응하는 시야각으로 변경하는 명령을 포함할 수 있다. 한편, 실시예에 따라, 제어 신호(CTRL)는 제2 카메라 모듈(1100b)의 턴 온을 명령을 포함할 수도 있다. 이 경우, 제2 카메라 모듈(1100b)은 턴 온 명령에 따라, 턴 온될 수 있다(S525).

제2 카메라 모듈(1100b)은 제어 신호(CTRL)에 따라 관심 영역에 대응하는 시야각으로 변경할 수 있다(S530). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 생성할 수 있다(S535). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 전송할 수 있다(S540). 구체적으로, 제2 카메라 모듈(1100b)은 사전 결정된 프레임 레이트에 따라 새로운 제2 이미지 데이터(IDT2)를 반복적으로 생성하고, 생성한 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 반복적으로 전송할 수 있다. 이하에서는 중복 설명을 방지하기 위해, 제2 카메라 모듈(1100b)이 제2 이미지 데이터(IDT2)를 반복 생성하는 내용을 생략한다.

이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)에 대하여, 관심 영역에 대응하는 이미지 영역을 확대하여 타겟 줌 배율(예컨대, 4.0x)을 갖는 제3 변환 이미지 데이터(CDT3)를 생성할 수 있다(S545). 한편, 이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)를 수신하더라도, 제3 변환 이미지 데이터(CDT3)의 생성에 이용하지는 않되, 결함 픽셀 검출 동작과 같은 이미지 처리 동작의 기본 설정을 수행하는 데에 이용할 수 있다. 그리고 이미지 처리 장치(1200)는 생성한 제3 변환 이미지 데이터(CDT3)를 디스플레이(1300)에 전송할 수 있다(S550). 그리고 디스플레이(1300)는 제3 변환 이미지 데이터(CDT3)를 기초로 이미지를 표시할 수 있다(S560).

이어서, 도 12c를 참조하면, 디스플레이(1300)는 제3 변환 이미지 데이터(CDT3)를 기초로 이미지를 표시할 수 있다(S605, 도 12b의 S560). 입력 장치(1400)는 사용자로부터 입력된 터치 제스처(예컨대, 핀치 아웃)를 제3 사용자 입력(UI3)으로서 이미지 처리 장치(1200)에 제공할 수 있다(S610). 이미지 처리 장치(1200)는 수신한 제3 사용자 입력(UI3)을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S615). 예를 들어, 업데이트된 타겟 줌 배율은 5.0x일 수 있다.

이미지 처리 장치(1200)는 협각을 갖는 제2 카메라 모듈(1100b)에 제어 신호(CTRL)를 전송할 수 있다(S620). 여기서 제어 신호(CTRL)는 제2 카메라 모듈(1100b)의 시야각을 업데이트된 관심 영역에 대응하는 시야각으로 변경하는 명령을 포함할 수 있다. 제2 카메라 모듈(1100b)은 제어 신호(CTRL)에 따라 관심 영역에 대응하는 시야각으로 변경할 수 있다(S625). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 생성할 수 있다(S630). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 전송할 수 있다(S635).

이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)에 대하여, 관심 영역에 대응하는 이미지 영역을 확대하여 타겟 줌 배율(예컨대, 5.0x)을 갖는 제3 이미지 데이터(IDT3)를 생성할 수 있다(S640). 그리고 이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)에 대하여, 관심 영역에 대응하고 타겟 줌 배율을 갖는 제4 이미지 데이터(IDT4)를 생성할 수 있다(S645). 제2 카메라 모듈(1100b)의 기본 줌 배율이 5.0x인 경우, 제2 이미지 데이터(IDT2)에 대한 스케일 동작은 생략될 수 있다.

그리고 이미지 처리 장치(1200)는 제3 이미지 데이터(IDT3) 및 제4 이미지 데이터(IDT4)를 합성하여, 제4 변환 이미지 데이터(CDT4)를 생성할 수 있다(S650). 타겟 줌 배율이 5.0x 미만에서 5.0x 이상으로 변경되는 경우, 제1 이미지 데이터(IDT1)를 기초로 스케일링된 이미지가 표시되다가 제2 이미지 데이터(IDT2)를 기초로 스케일링된 이미지가 표시되므로, 자연스러운 이미지 전환이 필요로 된다. 따라서, 이미지 처리 장치(1200)는 타겟 줌 배율이 5.0x이면, 제3 이미지 데이터(IDT3) 및 제4 이미지 데이터(IDT4)에 대해 이미지 와핑 등을 수행하여, 제4 변환 이미지 데이터(CDT4)를 생성할 수 있다.

한편, 본 개시는 이에 한하지 않으며, 실시예에 따라, 이미지 처리 장치(1200)는 제4 이미지 데이터(IDT4)만을 이용하여 제4 변환 이미지 데이터(CD4)를 생성할 수도 있다. 즉, 제3 이미지 데이터(IDT3) 및 제4 이미지 데이터(IDT4)의 이미지 와핑 동작이 생략될 수 있다.

그리고 이미지 처리 장치(1200)는 생성한 제4 변환 이미지 데이터(CDT4)를 디스플레이(1300)에 전송할 수 있다(S655). 그리고 디스플레이(1300)는 제4 변환 이미지 데이터(CDT4)를 기초로 이미지를 표시할 수 있다(S660).

한편, 도 12c를 도시하고 설명함에 있어서, 제1 줌 배율 범위(예컨대, 줌 배율 5.0x 미만) 및 제2 줌 배율 범위(예컨대, 줌 배율 5.0 이상)가 중첩되는 줌 배율이 없으므로, 범위들 간의 경계에 해당하는 줌 배율 5.0x에서만 전술한 동작들을 수행하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 제1 줌 배율 범위 및 제2 줌 배율 범위는 서로 중첩되는 줌 배율 범위를 가지도록 구현될 수 있고, 중첩되는 줌 배율 범위에서 스케일된 제1 이미지 데이터(IDT1) 및 스케일된 제2 이미지 데이터(IDT2)를 중첩하여 제4 변환 이미지 데이터(CDT4)를 생성하도록 구현될 수 있다.

이어서, 도 12d를 참조하면, 디스플레이(1300)는 제4 변환 이미지 데이터(CDT4)를 기초로 이미지를 표시할 수 있다(S705, 도 12c의 S660). 입력 장치(1400)는 사용자로부터 입력된 터치 제스처(예컨대, 핀치 아웃)를 제4 사용자 입력(UI4)으로서 이미지 처리 장치(1200)에 제공할 수 있다(S710). 이미지 처리 장치(1200)는 수신한 제4 사용자 입력(UI4)을 기초로 타겟 줌 배율 및 관심 영역을 업데이트할 수 있다(S715). 예를 들어, 업데이트된 타겟 줌 배율은 6.0x일 수 있다.

이미지 처리 장치(1200)는 협각을 갖는 제2 카메라 모듈(1100b)에 제어 신호(CTRL)를 전송할 수 있다(S720). 여기서 제어 신호(CTRL)는 제2 카메라 모듈(1100b)의 시야각을 업데이트된 관심 영역에 대응하는 시야각으로 변경하는 명령을 포함할 수 있다. 제2 카메라 모듈(1100b)은 제어 신호(CTRL)에 따라 관심 영역에 대응하는 시야각으로 변경할 수 있다(S725). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 생성할 수 있다(S730). 그리고 제2 카메라 모듈(1100b)은 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 전송할 수 있다(S735).

이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)에 대하여, 관심 영역에 대응하는 이미지 영역을 확대하여 타겟 줌 배율(예컨대, 6.0x)을 갖는 제5 변환 이미지 데이터(CDT5)를 생성할 수 있다(S740). 그리고 이미지 처리 장치(1200)는 생성한 제5 변환 이미지 데이터(CDT5)를 디스플레이(1300)에 전송할 수 있다(S745). 그리고 디스플레이(1300)는 제5 변환 이미지 데이터(CDT5)를 기초로 이미지를 표시할 수 있다(S750).

한편, 전자 장치(1000)는 타겟 줌 배율이 5.0x 초과일 때 다른 방식으로 변환 이미지 데이터를 생성할 수 있으며, 이에 대하여 도 12e를 참조하여 설명한다. 한편, 도 12e의 단계 S805 내지 S835는 도 12d의 단계 S705 내지 S735와 실질적으로 동일할 수 있으므로, 중복 설명은 생략한다.

도 12e를 참조하면, 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 이용하여 기설정된 해상도를 갖는 제5 이미지 데이터(IDT5)를 생성할 수 있다(S840). 여기서 기설정된 해상도는 제1 이미지 데이터(IDT1)의 오리지널 해상도보다 작도록 설정될 수 있다. 즉, 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 기설정된 해상도로 다운스케일하여 제5 이미지 데이터(IDT5)를 생성할 수 있다.

그리고 이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)에 대하여 관심 영역에 대응하는 이미지 영역을 확대하여 타겟 줌 배율을 갖는 제6 이미지 데이터(IDT6)를 생성할 수 있다(S845). 그리고 이미지 처리 장치(1200)는 제5 이미지 데이터(IDT5) 및 제6 이미지 데이터(IDT6)를 병합하여 제6 변환 이미지 데이터(CDT6)를 생성할 수 있다. 구체적으로, 이미지 처리 장치(1200)는 제6 이미지 데이터(IDT6)의 이미지 영역의 좌측 하단에 제5 이미지 데이터(IDT5)를 중첩(overlay)하여 제6 변환 이미지 데이터(CDT6)를 생성할 수 있다.

그리고 이미지 처리 장치(1200)는 생성한 제6 변환 이미지 데이터(CDT6)를 디스플레이(1300)에 전송할 수 있다(S855). 그리고 디스플레이(1300)는 제6 변환 이미지 데이터(CDT6)를 기초로 이미지를 표시할 수 있다(S860).

한편, 도 12a 내지 도 12e의 각 실시예를 구분하는 줌 배율들(즉, 1.0x, 3.0x, 5.0x)은 하나의 예에 불과하며, 구현 방식에 따라 다른 줌 배율들이 이용될 수 있다. 또한, 도 12a 내지 도 12e의 각 실시예들은 전자 장치(1000)의 구현 방식에 따라 선택적으로 적용될 수 있다.

도 13a 및 도 13b는 줌 배율에 따른 이미지 데이터들의 스케일링 결과 및 디스플레이의 출력 이미지를 나타내는 도면이다. 상세하게는, 도 13a 및 도 13b는 도 12a 내지 도 12e의 실시예를 기초로, 타겟 줌 배율에 따라, 제1 카메라 모듈(1100a)의 제1 이미지 데이터(IDT1) 및 제2 카메라 모듈(1100b)의 제2 이미지 데이터(IDT2)의 스케일링 결과 및 디스플레이(1300)의 출력 이미지를 나타내는 도면이다.

이미지 처리 장치(1200)의 줌 기능이 처음 시작되었을 때, 줌 파라미터는 디폴트 값들을 가질 수 있다. 예를 들어, 타겟 줌 배율은 디폴트 값인 1.0x이고, 관심 영역은 제1 이미지 데이터(IDT1)의 전체 이미지 영역과 동일한 값으로 설정될 수 있다.

도 13a를 참조하면, 줌 기능이 처음 시작되어 타겟 줌 배율이 1.0x이면(ZF = 1.0x), 이미지 처리 장치(1200)는 제1 카메라 모듈(1100a)로부터 제1 이미지 데이터(IDT1)를 수신할 수 있다. 한편, 타겟 줌 배율이 기설정된 줌 배율, 예컨대, 3.0x 미만인 경우, 제2 카메라 모듈(1100b)은 전력 소비 감소를 위해 오프될 수 있다. 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 이용하여 제1 변환 이미지 데이터(CDT1)를 생성하되, 관심 영역이 디폴트 값인 제1 이미지 데이터(IDT1)의 전체 이미지 영역이므로, 스케일링 동작 없이 후처리 동작을 수행하여 제1 변환 이미지 데이터(CDT1)를 생성할 수 있다. 그리고 사용자로부터 줌 기능과 관련된 터치 제스처를 입력받을 수 있고, 사용자 입력을 기초로 타겟 줌 배율 및 관심 영역이 업데이트될 수 있다.

타겟 줌 배율이 1.0x 초과하고 3.0x 미만이면(1.0x < ZF < 3.0x), 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 이용하여 제2 변환 이미지 데이터(CDT2)를 생성할 수 있다. 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)에서 관심 영역에 대응하는 영역을 스케일링하여 제2 변환 이미지 데이터(CDT2)를 생성할 수 있다.

타겟 줌 배율이 3.0x 이상이고 5.0x 미만이면(3.0x ≤ ZF < 5.0x), 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 이용하여 제3 변환 이미지 데이터(CDT3)를 생성할 수 있다. 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)에서 관심 영역에 대응하는 영역을 스케일링하여 제3 변환 이미지 데이터(CDT3)를 생성할 수 있다. 한편, 타겟 줌 배율이 기설정된 줌 배율, 예컨대, 3.0x 이상이므로, 제2 카메라 모듈(1100b)은 턴 온될 수 있으며, 관심 영역에 대응하는 시야각을 갖도록 조정될 수 있다. 그리고 제2 카메라 모듈(1100b)은 관심 영역을 포함하는 제2 이미지 데이터(IDT2)를 이미지 처리 장치(1200)에 출력할 수 있다. 그러나 현 단계에서는 이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)를 이용하여 스케일링을 수행하지 않되, 이미지 처리 동작의 기본 설정 등을 수행할 수 있다.

도 13b를 참조하면, 타겟 줌 배율이 5.0x이면(ZF=5.0x), 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)의 관심 영역에 대응하는 영역을 스케일링하고, 제2 이미지 데이터(IDT2)의 관심 영역에 대응하는 영역을 스케일링할 수 있다.

그리고 이미지 처리 장치(1200)는 스케일링된 상기 2개의 이미지 데이터들을 병합하여 제4 변환 이미지 데이터(CDT4)를 생성할 수 있다. 이때, 스케일링된 2개의 이미지 데이터들은 동일한 관심 영역을 표시하므로, 전체 영역이 중첩되는 방식으로 병합될 수 있다.

한편, 제2 카메라 모듈(1100b)의 광학 줌 배율이 5.0x인 경우, 제2 이미지 데이터(IDT2)에 대한 스케일링 동작이 생략될 수 있으며, 이미지 처리 장치(1200)는 제2 이미지 데이터(IDT2)와 스케일링된 제1 이미지 데이터(IDT1)를 병합하여 제4 변환 이미지 데이터(CDT4)를 생성할 수 있다. 또한, 실시예에 따라, 제4 변환 이미지 데이터(CDT4)를 생성시, 제2 이미지 데이터(IDT2)만을 이용하여 생성할 수도 있다.

타겟 줌 배율이 5.0x 이상이면(ZF ≥ 5.0x), 이미지 처리 장치(1200)는 제1 이미지 데이터(IDT1)를 기설정된 해상도로 다운스케일링하고, 제2 이미지 데이터(IDT2)의 관심 영역에 대응하는 영역의 스케일링할 수 있다. 그리고 이미지 처리 장치(1200)는 다운스케일링된 제1 이미지 데이터(IDT1)와 스케일링된 제2 이미지 데이터(IDT2)를 병합하여 제6 변환 이미지 데이터(CDT6)를 생성할 수 있다. 예를 들어, 이미지 처리 장치(1200)는 다운스케일링된 제1 이미지 데이터(IDT1)를 스케일링된 제2 이미지 데이터(IDT2)의 적어도 일부 영역에 중첩하는 방식으로 병합할 수 있다. 한편, 본 개시는 이에 한하지 않으며, 이미지 처리 장치(1200)는 다운스케일링된 제1 이미지 데이터(IDT1) 및 스케일링된 제2 이미지 데이터(IDT2)의 중첩 없이, 나란히 배치하는 방식으로 병합할 수도 있다.

한편, 또 다른 예에서, 타겟 줌 배율이 5.0x 이상이면(ZF ≥ 5.0x), 이미지 처리 장치(1200)는 제1 카메라 모듈(1100a)의 제1 이미지 데이터(IDT1)를 이용하지 않고, 제2 이미지 데이터(IDT2)만을 스케일링하여 변환 이미지 데이터를 생성할 수도 있다.

도 14a는 본 개시의 일 실시예에 따른 높은 줌 배율에서 디스플레이(1300)가 표시하는 이미지를 나타내는 도면이고, 도 14b는 높은 줌 배율에서 사용자로부터 관심 영역을 선택받는 동작을 나타내는 도면이다.

상세하게는, 도 14a는 도 13b의 제6 변환 이미지 데이터(CDT)가 디스플레이(1300)에 표시되는 예를 나타내는 도면이고, 도 14b는 도 13b의 제6 변환 이미지 데이터(CDT)의 표시 중에 사용자로부터 관심 영역을 선택받는 동작을 나타내는 도면이다.

도 14a를 참조하면, 제6 변환 이미지 데이터(CDT)는 스케일링된 제2 이미지 데이터(IDT2)에 해당하는 제1 영역(A1) 및 다운스케일링된 제1 이미지 데이터(IDT1)에 해당하는 제2 영역(A2)를 포함할 수 있다. 사용자는 제1 영역(A1)을 통해 사용자가 확대된 관심 영역을 확인할 수 있다. 그리고 사용자는 제2 영역(A2)을 통해 전체 이미지 영역을 참조할 수 있다. 또한, 제2 영역(A2)에는 현재 확대된 관심 영역에 대응하는 영역(ROI)이 직사각형으로 표시될 수 있다.

도 14b를 참조하면, 제6 변환 이미지 데이터(CDT)가 표시되는 중에, 입력 장치(1400)는 사용자로부터 줌 기능과 관련된 터치 제스처를 입력받을 수 있다. 그리고 이미지 처리 장치(1200)는 터치 제스처의 좌표가 제1 영역(A1)에 포함되는지 또는 제2 영역(A2)에 포함되는지를 판단하고, 판단 결과에 따라 사용자로부터 관심 영역을 선택받는 방법을 달리 적용할 수 있다.

구체적으로, 이미지 처리 장치(1200)는 제1 영역(A1) 및 제2 영역(A2) 별로 관심 영역을 선택하는 터치 제스처를 다르게 설정할 수 있다. 그리고 이미지 처리 장치(1200)는 제1 영역(A1) 또는 제2 영역(A2)에 대한 터치 제스처가 입력되면, 터치 제스처의 좌표 정보를 기초로 터치 제스처의 종류를 확인하고, 확인한 터치 제스처의 종류가 해당 영역에서 관심 영역을 선택하는 터치 제스처인지 판단할 수 있다. 만약, 확인한 터치 제스처가 관심 영역을 선택하는 터치 제스처이면, 이미지 처리 장치(1200)는 전술한 방법들에 따라 터치 제스처의 좌표 정보를 기초로 관심 영역을 산출할 수 있다.

예를 들어, 제1 영역(A1)에서 핀치 드래그인 제1 터치 제스처(TG1)가 입력될 수 있다. 이미지 처리 장치(1200)는 제1 터치 제스처(TG1)의 좌표 정보를 기초로 제1 터치 제스처(TG1)의 종류를 판단할 수 있다. 제1 터치 제스처(TG1)는 제1 영역(A1)에 대하여 설정된 관심 영역을 선택하는 터치 제스처(예컨대, 줌 인, 줌 아웃, 핀치 드래그 등)이므로, 이미지 처리 장치(1200)는 제1 터치 제스처(TG1)의 좌표 정보를 기초로 관심 영역을 산출할 수 있다.

또한, 제2 영역(A2)에서 탭인 제2 터치 제스처(TG2)가 입력될 수 있다. 이미지 처리 장치(1200)는 제2 터치 제스처(TG2)의 좌표 정보를 기초로 제2 터치 제스처(TG2)의 종류를 판단할 수 있다. 제2 터치 제스처(TG2)는 제2 영역(A2)에 대하여 설정된 관심 영역을 선택하는 터치 제스처(예컨대, 줌 인, 줌 아웃, 탭, 드래그 등)이므로, 이미지 처리 장치(1200)는 제2 터치 제스처(TG2)의 좌표 정보를 기초로 관심 영역을 산출할 수 있다.

한편, 제2 영역(A2)에서 드래그인 제2 터치 제스처(TG2)가 입력될 수 있다. 이미지 처리 장치(1200)는 제2 터치 제스처(TG2)가 드래그인 것을 확인하면, 제2 터치 제스처(TG2)인 드래그가 직사각형으로 표시된 영역(ROI)으로부터 시작되는 것인지추가적으로 확인할 수 있다. 만약 제2 터치 제스처(TG2)가 직사각형으로 표시된 영역(ROI) 외에서 시작되는 드래그인 경우, 이미지 처리 장치(1200)는 관심 영역을 선택하는 터치 제스처가 아닌 것으로 판단할 수 있다.

도 15a 내지 도 15c는 본 개시의 일 실시예에 따른 애플리케이션 프로세서(2200, 2200a, 2200b)를 포함하는 전자 장치(2000, 2000a, 2000b)의 블록도이다.

도 15a를 참조하면, 전자 장치(2000)는 카메라 모듈 그룹(2100), 애플리케이션 프로세서(2200), 디스플레이(2300), 입력 장치(2400), 외부 메모리(2500) 및 PMIC(2600)를 포함할 수 있다. 일 실시예에서, 애플리케이션 프로세서(2200)는 이미지 처리 장치(2210), 메모리 컨트롤러(2220) 및 내부 메모리(2230)를 포함할 수 있다.

카메라 모듈 그룹(2100)은 복수의 카메라 모듈(2100a, 2100b, 2100c)을 포함할 수 있다. 복수의 카메라 모듈(2100a, 2100b, 2100c)은 서로 다른 시야각을 가질 수 있다. 일 예에서, 제1 카메라 모듈(2100a)은 가장 넓은 시야각을 가지고, 제2 카메라 모듈(2100b)은 중간 시야각을 가지고, 제3 카메라 모듈(2100c)은 가장 좁은 시야각을 가질 수 있다.

그리고 복수의 카메라 모듈(2100a, 2100b, 2100c)이 생성한 이미지 데이터들은 서로 다른 타겟 줌 배율에 대응하도록 설정될 수 있다. 비제한적인 예시에서, 제1 카메라 모듈(2100a)이 생성한 이미지 데이터는 타겟 줌 배율 1.0x 미만에 대응하고, 제2 카메라 모듈(2100b)에 생성한 이미지 데이터는 타겟 줌 배율 1.0x 이상, 5.0x 미만에 대응하고, 제3 카메라 모듈(2100c)이 생성한 이미지 데이터는 타겟 줌 배율 5.0x 이상에 대응하도록 설정될 수 있다.

그리고 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 도 2에서 전술한 제1 카메라 모듈(1100a) 및 제2 카메라 모듈(1100b)의 구조와 동일 또는 유사한 구조를 가질 수 있다. 일 예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 하나는 프리즘을 포함하는 폴디드 카메라로 구현될 수 있고, 프리즘의 배치를 조정함으로써 시야각을 조정할 수 있다.

일 예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서의 센싱 영역을 복수의 카메라 모듈(2100a, 2100b, 2100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각의 내부에 독립적인 이미지 센서가 배치될 수 있다.

비록 도면에는 3개의 카메라 모듈(2100a, 2100b, 2100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 일 예에서, 카메라 모듈 그룹(2100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 일 실시예에서, 카메라 모듈 그룹(2100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

이미지 처리 장치(2210)는 복수의 서브 프로세서들(2211, 2212, 2213), 이미지 생성기(2214), 카메라 모듈 컨트롤러(2216) 및 줌 정보 생성기(2218)를 포함할 수 있다. 이미지 처리 장치(2210)는 복수의 카메라 모듈(2100a, 2100b, 2100c)의 개수에 대응하는 복수의 서브 프로세서들(2211, 2212, 2213)을 포함할 수 있다.

복수의 카메라 모듈(2100a, 2100b, 2100c) 각각으로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 프로세서(2211, 2212, 2213)에 제공될 수 있다. 예를 들어, 제1 카메라 모듈(2100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 프로세서(2211)에 제공되고, 제2 카메라 모듈(2100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 프로세서(2212)에 제공되고, 제3 카메라 모듈(2100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 프로세서(2213)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

서브 프로세서들(2211, 2212, 2213) 각각은 도 10의 제1 서브 프로세서(1212) 또는 제2 서브 프로세서(1213)와 유사하게 동작할 수 있다. 예를 들어, 서브 프로세서들(2211, 2212, 2213) 각각은 줌 정보 생성기(2218)로부터 줌 정보를 수신하고, 수신한 줌 정보를 기초로 이미지 데이터들에 대한 이미지 스케일링 동작을 수행할 수 있다. 예를 들어, 서브 프로세서(2211)는 타겟 줌 배율이 1.0x 미만이면, 제1 카메라 모듈(2100a)로부터 수신한 이미지 데이터에서 관심 영역에 대응하는 이미지 영역을 스케일링할 수 있다. 서브 프로세서(2212)는 타겟 줌 배율이 1.0x 이상이고, 5.0x 미만이면, 제2 카메라 모듈(2100b)로부터 수신한 이미지 데이터에서 관심 영역에 대응하는 이미지 영역을 스케일링할 수 있다. 서브 프로세서(2213)는 타겟 줌 배율이 5.0x 이상이면, 제3 카메라 모듈(2100c)로부터 수신한 이미지 데이터에서 관심 영역에 대응하는 이미지 영역을 스케일링할 수 있다.

서브 프로세서들(2211, 2212, 2213) 각각은 스케일링 동작을 수행하여 생성한 이미지 신호들을 이미지 생성기(2214)에 출력할 수 있다. 이미지 생성기(2214)는 도 10의 메인 ISP(1214)와 유사하게 동작할 수 있다. 일 예에서, 이미지 생성기(2214)는 줌 정보를 기초로 수신한 이미지 신호들을 중 하나를 선택하여 변환 이미지 데이터를 생성하거나, 두 개의 이미지 신호들을 병합하여 변환 이미지 데이터를 생성할 수 있다.

비제한적인 예시에서, 타겟 줌 배율이 1.0x 미만이면, 이미지 생성기(2214)는 서브 프로세서(2211)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다. 또한, 타겟 줌 배율이 1.0x 이상 5.0x 미만이면, 이미지 생성기(2214)는 서브 프로세서(2212)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다. 또한, 타겟 줌 배율이 5.0x 이상이면, 이미지 생성기(2214)는 서브 프로세서(2213)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성하거나, 서브 프로세서(2212)로부터 수신한 이미지 신호 및 서브 프로세서(2213)로부터 수신한 이미지 신호를 병합하여 변환 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(2216)는 제어 라인(CSLa, CSLb, CSLc)를 통해 복수의 카메라 모듈(2100a, 2100b, 2100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러 (2216)은 도 1의 카메라 모듈 컨트롤러(1230)와 유사하게 동작할 수 있다. 예를 들어, 카메라 모듈 컨트롤러 (2216)은 타겟 줌 배율 및 관심 영역을 기초로 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 하나의 시야각을 변경하도록 제어하는 제어 신호를 생성할 수 있다.

줌 정보 생성기(2218)는 입력 장치(2400)를 통해 입력된 터치 제스처를 기초로 타겟 줌 배율 및 관심 영역을 산출할 수 있다. 그리고 줌 정보 생성기(2218)는 줌 배율 및 관심 영역을 포함하는 줌 정보를 카메라 모듈 컨트롤러(2216), 서브 프로세서들(2211, 2212, 2213) 및 이미지 생성기(2214)에 제공할 수 있다. 줌 정보 생성기(2218)는 도 1의 줌 정보 생성기(1250)와 유사하게 동작할 수 있다.

애플리케이션 프로세서(2200)는 수신된 이미지 데이터를 내부에 구비되는 메모리(2230) 또는 애플리케이션 프로세서(2200) 외부 메모리(2500)에 저장하고, 이후, 메모리(2230) 또는 외부 메모리(2500)로부터 이미지 데이터를 독출하고, 독출한 이미지 데이터에 기초하여 생성되는 이미지를 디스플레이할 수 있다.

PMIC(2600)는 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(2300)는 애플리케이션 프로세서(2200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 제1 카메라 모듈(2100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 제2 카메라 모듈(2100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 제3 카메라 모듈(2100c)에 제3 전력을 공급할 수 있다.

PMIC(2600)는 애플리케이션 프로세서(2200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(2100a, 2100b, 2100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

한편, 변형 가능한 실시예에 따르면, 도 15b의 애플리케이션 프로세서(2200a)는 복수의 카메라 모듈들(2100a, 2100b, 2100c)의 개수보다 적은 개수의 서브 프로세서들(2211a, 2212a)과 먹스(2215a)를 포함할 수 있다. 먹스(2215a)는 제1 카메라 모듈(2100a) 및 제3 카메라 모듈(2100c) 각각으로부터 이미지 데이터들을 수신하고, 수신한 이미지 데이터들 중 하나를 서브 프로세서(2211a)에 출력할 수 있다. 일 예에서, 먹스(2215a)는 타겟 줌 배율을 수신하고, 타겟 줌 배율에 대응하는 이미지 데이터를 서브 프로세서(2211a)에 출력할 수 있다.

서브 프로세서(2212a)는 제2 카메라 모듈(2100b)로부터 이미지 데이터를 수신할 수 있다. 그리고 서브 프로세서들(2211a, 2212a) 각각은 스케일링 동작을 수행하여 생성한 이미지 신호들을 이미지 생성기(2214a)에 출력할 수 있다. 일 예에서, 서브 프로세서(2211a)는 타겟 줌 배율이 1.0x 미만이거나 5.0x 이상이면, 먹스(2213a)로부터 수신한 이미지 데이터에서 관심 영역에 대응하는 이미지 영역을 스케일링할 수 있다. 서브 프로세서(2212a)는 타겟 줌 배율이 1.0x 이상이고, 5.0x 미만이면, 제2 카메라 모듈(2100b)로부터 수신한 이미지 데이터에서 관심 영역에 대응하는 이미지 영역을 스케일링할 수 있다.

서브 프로세서들(2211a, 2212a) 각각은 스케일링 동작을 수행하여 생성한 이미지 신호들을 이미지 생성기(2214)에 출력할 수 있다. 타겟 줌 배율이 1.0x 미만이거나 5.0x 이상이면, 이미지 생성기(2214)는 서브 프로세서(2211a)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다. 또한, 타겟 줌 배율이 1.0x 이상 5.0x 미만이면, 이미지 생성기(2214)는 서브 프로세서(2212a)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다.

또한, 변형 가능한 다른 실시예에 따르면, 도 15c의 애플리케이션 프로세서(2200b)는 복수의 카메라 모듈들(2100a, 2100b, 2100c)의 개수에 대응하는 서브 프로세서들(2211b, 2212b, 2213b)과 먹스(2215b)를 포함할 수 있다. 도 15c의 서브 프로세서들(2211b, 2212b, 2213b)은 도 15a의 서브 프로세서(2211, 2212, 2213)들과 동일하게 동작할 수 있다.

먹스(2215b)는 서브 프로세서들(2211b, 2213b) 각각으로부터 이미지 신호들을 수신하고, 수신한 이미지 신호들 중 하나를 이미지 생성기(2214b)에 출력할 수 있다. 일 예에서, 먹스(2215b)는 타겟 줌 배율을 수신하고, 타겟 줌 배율에 대응하는 이미지 신호를 이미지 생성기(2214b)에 출력할 수 있다.

타겟 줌 배율이 1.0x 미만이거나 5.0x 이상이면, 이미지 생성기(2214b)는 먹스(2215b)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다. 또한, 타겟 줌 배율이 1.0x 이상 5.0x 미만이면, 이미지 생성기(2214b)는 서브 프로세서(2212b)로부터 수신한 이미지 신호를 기초로 변환 이미지 데이터를 생성할 수 있다.

도 16a 내지 도 16c는 본 개시의 일 실시예에 따른 전자 장치(2000)의 이미지 촬영 동작을 설명하기 위한 도면이다. 상세하게는, 도 16a 내지 도 16c는 도 15a의 전자 장치(2000)의 이미지 촬영 동작을 설명하기 위한 도면이다.

도 16a를 참조하면, 전자 장치(2000)는 세로 방향으로 나란히 배치된 제1 카메라 모듈(2100a), 제2 카메라 모듈(2100b) 및 제3 카메라 모듈(2100c)을 포함할 수 있다. 또는, 도 16b를 참조하면, 전자 장치(2000)는 가로 방향으로 나란히 배치된 제1 카메라 모듈(2100a), 제2 카메라 모듈(2100b) 및 제3 카메라 모듈(2100c)을 포함할 수 있다. 또는, 도 16c를 참조하면, 전자 장치(2000)는 가로 방향으로 나란히 배치된 제1 카메라 모듈(2100a) 및 제2 카메라 모듈(2100b)을 포함하고, 제2 카메라 모듈(2100b)의 아래에 배치된 제3 카메라 모듈(2100c)을 포함할 수 있다.

그리고 전자 장치(2000)는 제1 카메라 모듈(2100a), 제2 카메라 모듈(2100b) 및 제3 카메라 모듈(2100c)을 기초로 피사체의 이미지를 촬영함으로써, 제1 이미지 데이터(IDT1), 제2 이미지 데이터(IDT2) 및 제3 이미지 데이터(IDT3)를 획득할 수 있다.

일 예에서, 전자 장치(2000)는 가장 넓은 시야각을 갖는 제1 카메라 모듈(2100a)을 통해 피사체에 대한 제1 이미지 데이터(IDT1)를 획득하고, 중간 시야각을 갖는 제2 카메라 모듈(2100b)을 통해 피사체에 대한 제2 이미지 데이터(IDT2)를 획득하고, 가장 좁은 시야각을 갖는 제3 카메라 모듈(2100c)을 통해 피사체에 대한 제3 이미지 데이터(IDT3)를 획득할 수 있다.

본 개시의 일 실시예에 따르면, 제1 카메라 모듈(2100a), 제2 카메라 모듈(2100b) 및 제3 카메라 모듈(2100c) 중 적어도 하나는 카메라 모듈 컨트롤러(2216)의 제어 신호에 따라 프리즘의 배치를 조정함으로써 시야각을 변경할 수 있다. 한편, 전자 장치(2000)에서 제1 카메라 모듈(2100a), 제2 카메라 모듈(2100b) 및 제3 카메라 모듈(2100c)의 배치 위치는 전술한 예에 한하지 않으며, 다양한 위치에 배치될 수 있다.

도 17은 본 개시의 일 실시예에 따른 애플리케이션 프로세서(3000)의 구체적인 구성을 나타내는 블록도이다.

도 17을 참조하면, 애플리케이션 프로세서(3000)는 프로세서(3100), RAM(3200), 이미지 처리 장치(3300), 내부 메모리(3400), PMIC(3500), 카메라 인터페이스(3600), 비휘발성 메모리 인터페이스(3700), 외부 메모리 인터페이스(3800), 디스플레이 인터페이스(3900) 및 입출력 장치 인터페이스(3950)를 포함할 수 있다.

프로세서(3100)는 애플리케이션 프로세서(3000)의 전반적인 동작을 제어할 수 있다. 프로세서(3100)는 예컨대 CPU, 마이크로 프로세서 등으로 구현될 수 있으며, 실시예에 따라서, 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component), 즉 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 프로세서(3100)는 RAM(3200)(또는 ROM)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행시킬 수 있다.

RAM(3200)은 프로그램들, 데이터, 및/또는 명령들(instructions)을 일시적으로 저장할 수 있다. 실시 예에 따라, RAM(3200)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다. RAM(3200)은 인터페이스들(3600, 3700, 3800, 3900 및 3950)을 통해 입출력되거나, 이미지 처리 장치(3300)가 생성하는 이미지를 일시적으로 저장할 수 있다.

일 예에서, 애플리케이션 프로세서(3000)는 ROM(Read Only Memory)를 더 구비할 수 있다. ROM은 지속적으로 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. ROM은 EPROM(erasable programmable ROM) 또는 EEPROM(electrically erasable programmable ROM) 등으로 구현될 수 있다.

이미지 처리 장치(3300)는 도 1의 이미지 처리 장치(1200) 또는 도 15a 내지 도 15c의 이미지 처리 장치(2214, 2214a, 2214b)에 대응할 수 있다. 카메라 모듈 컨트롤러(4310) 및 줌 정보 생성기(3430)는 하드웨어로 구현되어, 내부 메모리(3400)에 로딩될 수 있으며, 이미지 처리 장치(3300)가 소프트웨어를 실행함으로써, 카메라 모듈 컨트롤러(3410) 및 줌 정보 생성기(3430)의 기능들이 구현될 수 있다. 한편, 본 개시는 이에 한하지 않으며, 카메라 모듈 컨트롤러(3410) 및 줌 정보 생성기(3430)는 하드웨어, 또는 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다.

카메라 인터페이스(3600)는 애플리케이션 프로세서(3000)의 외부에 위치한 카메라 모듈(4100)로부터 입력되는 이미지 데이터를 인터페이싱할 수 있다. 카메라 모듈(4100)은 2개 이상의 카메라 모듈(4100)을 포함할 수 있다. 카메라 인터페이스(3600)를 통해 수신되는 이미지 데이터는 이미지 처리 장치(3300)에 제공되거나, 또는 비휘발성 메모리 인터페이스(3700) 또는 외부 메모리 인터페이스(3800)를 통해 비휘발성 메모리(4200) 또는 외부 메모리(4300)에 저장될 수 있다.

비휘발성 메모리 인터페이스(3700)는 비휘발성 메모리 장치(4200)로부터 입력되는 데이터 또는 비휘발성 메모리로 출력되는 데이터를 인터페이싱할 수 있다. 비휘발성 메모리 장치(4200)는 예컨대, 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 구현될 수 있다.

디스플레이 인터페이스(3900)는 디스플레이(4400)로 출력되는 변환 이미지 데이터를 인터페이싱할 수 있다. 디스플레이(4400)는 이미지 또는 영상에 대한 데이터를 LCD(Liquid-crystal display), AMOLED(active matrix organic light emitting diodes) 등의 디스플레이를 통해 출력할 수 있다. 입력 장치 인터페이스(3950)는 입력 장치(4500)로부터 출력되는 사용자 입력을 인터페이싱할 수 있다. 입력 장치 인터페이스(3950)는 터치 패널로 구현될 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

전자 장치에 있어서,
디스플레이;
제1 시야각을 갖고, 제1 이미지 데이터를 생성하는 제1 카메라 모듈;
상기 제1 시야각보다 좁은 제2 시야각을 갖고, 제2 이미지 데이터를 생성하는 제2 카메라 모듈; 및
사용자의 입력을 기초로 판단된 줌 배율 및 관심 영역을 포함하는 줌 정보를 획득하고,
상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 상기 줌 배율에 대응하는 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 이미지 영역을 스케일하여 변환 이미지 데이터를 생성하고,
상기 변환 이미지 데이터를 디스플레이하도록 상기 디스플레이를 제어하는 애플리케이션 프로세서;를 포함하는 전자 장치.
제1항에 있어서,
상기 애플리케이션 프로세서는,
상기 관심 영역을 기초로 상기 제2 시야각을 변경하는 제어 신호를 생성하고,
상기 제2 카메라 모듈은,
상기 제어 신호에 따라 상기 제2 시야각을 상기 관심 영역에 대응하는 시야각으로 변경하는 것을 특징으로 하는 전자 장치.
제2항에 있어서,
상기 제2 카메라 모듈은,
프리즘을 포함하는 폴디드(folded) 카메라 모듈이고, 상기 제어 신호에 따라 상기 프리즘의 배치를 조정하여 상기 제2 시야각을 변경하는 것을 특징으로 하는 전자 장치.
제1항에 있어서,
상기 애플리케이션 프로세서는,
상기 줌 배율이 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터의 상기 관심 영역에 대응하는 영역을 스케일하여 상기 변환 이미지 데이터를 생성하고,
상기 줌 배율이 상기 제1 줌 배율 범위 보다 큰 줌 배율들을 포함하는 제2 배율 범위에 포함되면, 상기 제2 이미지 데이터의 상기 관심 영역에 대응하는 영역을 스케일하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 전자 장치.
제4항에 있어서,
상기 애플리케이션 프로세서는,
상기 줌 배율이 상기 제1 줌 배율 범위 및 상기 제2 줌 배율 범위의 사이의 값인 제1 줌 배율인 경우, 상기 제1 이미지 데이터의 상기 관심 영역 정보에 대응하는 영역을 스케일하고, 상기 제2 이미지 데이터의 상기 관심 영역 정보에 대응하는 영역을 스케일하고, 스케일된 제1 이미지 데이터 및 스케일된 제2 이미지 데이터를 병합하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 전자 장치.
제4항에 있어서,
상기 애플리케이션 프로세서는,
상기 줌 배율이 상기 제2 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터를 다운스케일하고,
상기 다운스케일된 제1 이미지 데이터 및 상기 스케일된 제2 이미지 데이터를 병합하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 전자 장치.
제6항에 있어서,
상기 애플리케이션 프로세서는,
상기 스케일된 제2 이미지 데이터의 일부 영역을 상기 다운스케일된 제1 이미지 데이터로 대체함으로써 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 전자 장치.
제4항에 있어서,
상기 애플리케이션 프로세서는,
상기 줌 배율이 상기 제1 줌 배율과 같거나 작은 제2 줌 배율 이하이면, 상기 제2 카메라 모듈을 오프(OFF)하는 제어 신호를 생성하고,
상기 줌 배율이 상기 제2 줌 배율을 초과하면, 상기 제2 카메라 모듈을 온(ON)하는 제어 신호를 생성하는 것을 특징으로 하는 전자 장치.
제1항에 있어서,
상기 디스플레이는,
상기 사용자의 터치 제스처에 대한 터치 입력 신호를 생성하는 터치 패널을 포함하고,
상기 애플리케이션 프로세서는,
상기 디스플레이로부터 상기 터치 제스처에 대한 좌표 정보를 수신하고, 상기 터치 제스처에 대한 좌표 정보를 기초로 상기 줌 배율 및 상기 관심 영역을 산출하는 것을 특징으로 하는 전자 장치.
제9항에 있어서,
상기 애플리케이션 프로세서는,
상기 터치 제스처에 대한 좌표 정보를 기초로 상기 터치 제스처가 줌 배율을 변경하는 터치 제스처임을 판단하면, 상기 줌 배율을 산출하고,
상기 터치 제스처에 대한 좌표 정보를 기초로 상기 터치 제스처가 관심 영역을 선택하는 터치 제스처임을 판단하면, 상기 관심 영역을 산출하는 것을 특징으로 하는 전자 장치.
애플리케이션 프로세서에 있어서,
제1 카메라 모듈로부터 제1 시야각을 촬영한 제1 이미지 데이터를 수신하고, 상기 제1 이미지 데이터를 기초로 이미지 처리를 수행하여 제1 이미지 신호를 생성하는 제1 이미지 신호 프로세서;
제2 카메라 모듈로부터 상기 제1 시야각보다 좁은 제2 시야각을 촬영한 제2 이미지 데이터를 수신하고, 상기 제2 이미지 데이터를 기초로 이미지 처리를 수행하여 제2 이미지 신호를 생성하는 제2 이미지 신호 프로세서; 및
상기 제1 이미지 신호 및 상기 제2 이미지 신호 중 적어도 하나를 기초로 변환 이미지 데이터를 생성하는 제3 이미지 신호 프로세서;를 포함하고,
상기 제1 이미지 신호 프로세서, 상기 제2 이미지 신호 프로세서 및 상기 제3 이미지 신호 프로세서는,
사용자의 입력을 기초로 판단된 줌 배율 및 관심 영역을 포함하는 줌 정보를 획득하고,
상기 제1 이미지 신호 프로세서는,
상기 줌 배율이 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터에 대하여 관심 영역에 대응하는 이미지 영역을 스케일하여 상기 제1 이미지 신호를 생성하고,
상기 제2 이미지 신호 프로세서는,
상기 줌 배율이 제2 줌 배율 범위에 포함되면, 상기 제2 이미지 데이터에 대하여 관심 영역에 대응하는 이미지 영역을 스케일하여 상기 제2 이미지 신호를 생성하는 것을 특징으로 하고,
상기 제3 이미지 신호 프로세서는,
상기 줌 배율에 따라 상기 제1 이미지 신호 및 상기 제2 이미지 신호 중 적어도 하나를 선택하고, 선택한 이미지 신호를 이용하여 변환 이미지 데이터를 생성하는 애플리케이션 프로세서.
제11항에 있어서,
상기 제3 이미지 신호 프로세서는,
상기 줌 배율이 상기 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 신호를 기초로 상기 변환 이미지 데이터를 생성하고,
상기 줌 배율이 상기 제2 줌 배율 범위에 포함되면, 상기 제2 이미지 신호를 기초로 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 애플리케이션 프로세서.
제12항에 있어서,
상기 제1 이미지 신호 프로세서는,
상기 줌 배율이 상기 제2 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터를 다운스케일하여 상기 제1 이미지 신호를 생성하고,
상기 제3 이미지 신호 프로세서는,
상기 제1 이미지 신호 및 상기 제2 이미지 신호를 병합하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 애플리케이션 프로세서.
제11항에 있어서,
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈의 동작을 제어하는 제어 신호를 생성하는 카메라 모듈 컨트롤러;를 더 포함하고,
상기 카메라 모듈 컨트롤러는,
상기 제2 카메라 모듈이 상기 관심 영역에 대응하는 상기 제2 시야각을 갖도록 제어하는 제어 신호를 생성하는 것을 특징으로 하는 애플리케이션 프로세서.
전자 장치의 동작 방법에 있어서,
제1 카메라 모듈로부터 제1 시야각을 촬영한 제1 이미지 데이터를 수신하는 단계;
제2 카메라 모듈로부터 제2 시야각을 촬영한 제2 이미지 데이터를 수신하는 단계;
사용자의 터치 제스처를 기초로 줌 배율 및 관심 영역을 산출하는 단계;
상기 줌 배율이 제1 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 영역을 스케일하는 단계;
상기 줌 배율이 제2 줌 배율 범위에 포함되면, 상기 제2 이미지 데이터에 대하여, 상기 관심 영역에 대응하는 영역을 스케일하는 단계; 및
상기 스케일된 제1 이미지 데이터 및 상기 스케일된 제2 이미지 데이터 중 적어도 하나를 기초로 변환 이미지 데이터를 생성하는 단계;를 포함하는 동작 방법.
제15항에 있어서,
상기 관심 영역을 기초로 상기 제2 카메라 모듈의 제2 시야각을 변경하는 제어 신호를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 동작 방법.
제15항에 있어서,
상기 줌 배율이 상기 제2 줌 배율 범위에 포함되면, 상기 제1 이미지 데이터를 다운스케일하는 단계;를 더 포함하고,
상기 변환 이미지 데이터를 생성하는 단계는,
상기 다운스케일된 제1 이미지 데이터 및 상기 스케일된 제2 이미지 데이터를 병합하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 동작 방법.
제17항에 있어서,
상기 변환 이미지 데이터를 생성하는 단계는,
상기 스케일된 제2 이미지 데이터의 일부 영역에 상기 다운스케일된 제1 이미지 데이터를 대체함으로써 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 동작 방법.
제15항에 있어서,
상기 변환 이미지 데이터를 생성하는 단계는,
상기 줌 배율이 상기 제1 줌 배율 범위 및 상기 제2 줌 배율 범위에 포함되는 경우, 상기 스케일된 제1 이미지 데이터 및 상기 스케일된 제2 이미지 데이터를 중첩하여 상기 변환 이미지 데이터를 생성하는 것을 특징으로 하는 동작 방법.
제15항에 있어서,
상기 줌 배율 및 상기 관심 영역을 산출하는 단계는,
상기 터치 제스처에 대한 좌표 정보를 기초로 상기 터치 제스처가 줌 배율을 변경하는 터치 제스처임을 판단하면, 상기 줌 배율을 산출하는 단계; 및
상기 터치 제스처에 대한 좌표 정보를 기초로 상기 터치 제스처가 관심 영역을 선택하는 터치 제스처임을 판단하면, 상기 관심 영역을 산출하는 단계;를 포함하는 것을 특징으로 하는 동작 방법.