KR102349433B1

KR102349433B1 - 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들

Info

Publication number: KR102349433B1
Application number: KR1020150167643A
Authority: KR
Inventors: 유동재
Original assignee: 삼성전자주식회사
Priority date: 2015-11-27
Filing date: 2015-11-27
Publication date: 2022-01-10
Also published as: TW201720136A; US20170155843A1; CN106817534B; KR20170062164A; TWI766847B; CN106817534A; US10368001B2

Abstract

이미지 센서가 공개된다. 상기 이미지 센서는 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호를 생성하는 타이밍 컨트롤러와, 상기 플래그 신호를 자이로스코프 센서로 전송하는 연결 핀을 포함한다. 상기 타이밍 컨트롤러는 상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고, 상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성한다.

Description

자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들 {IMAGE SENSOR FOR CONTROLLING GYROSCOPE SENSOR AND DEVICE INCLUDING THE IMAGE SENSOR}

본 발명의 개념에 따른 실시 예는 자이로스코프 센서를 제어할 수 있는 이미지 센서에 관한 것으로, 특히 프레임마다 정확하게 이미지 떨림(또는 카메라 떨림 (camera shake))을 실시간으로 보정할 수 있는 이미지 센서와 이를 포함하는 장치에 관한 것이다.

이미지 센서의 해상도(resolution)가 증가함에 따라, 상기 이미지 센서에 포함된 픽셀들 각각의 크기는 상대적으로 작아진다. 상기 이미지 센서의 감도를 보상하기 위해, 저조도 환경에서 상기 이미지 센서의 프레임 속도는 낮아진다. 즉, 상기 이미지 센서의 노출 시간은 증가한다. 이때, 손 떨림 등에 의해 이미지 센서가 흔들리는 경우, 상기 이미지 센서에 의해 촬영된 이미지의 선명도가 저하될 수 있다.

순간적인 움직임이나 찰나의 순간을 선명하게 촬영하기 위한 이미지 떨림 보정 기술이 요구되고 있다. 광학 보정은 이미지 센서를 포함하는 카메라의 렌즈를 움직여서 이미지 떨림을 방지하는 기술이나, 상기 렌즈를 구동하는 시간 제약 때문에 실시간으로 상기 이미지 떨림을 보정하기 어렵다.

본 발명이 이루고자 하는 기술적인 과제는 프레임마다 정확하게 이미지 떨림(또는 카메라 떨림)을 실시간으로 보상(compensate)하고 기존의 보정 방법에 비해 제조 비용을 절감할 수 있는 이미지 센서와 이를 포함하는 장치들을 제공하는 것이다.

본 발명의 실시 예에 따른 이미지 센서는 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호를 생성하는 타이밍 컨트롤러와, 상기 플래그 신호를 자이로스코프 센서로 전송하는 제1연결 핀을 포함한다.

상기 노출 시간의 상기 시작은 상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 동기되고, 상기 노출 시간의 상기 끝은 상기 픽셀들 중에서 마지막 로우에 배치된 제2픽셀들로 공급되는 마지막 노출 시간 제어 신호에 동기된다.

상기 타이밍 컨트롤러는 상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고, 상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성한다.

실시 예들에 따라, 상기 이미지 센서는 상기 자이로스코프 센서로부터 출력되고 상기 자이로스코프 센서의 움직임을 나타내는 자이로스코프 데이터를 수신하는 제2연결 핀과, 상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 이미지 데이터와 상기 자이로스코프 데이터를 포함하는 출력 데이터를 생성하는 이미지 처리 회로를 더 포함한다.

실시 예들에 따라, 상기 이미지 센서는 상기 자이로스코프 센서로부터 출력되고 상기 자이로스코프 센서의 움직임을 나타내는 자이로스코프 데이터를 수신하는 제2연결 핀과, 상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 자이로스코프 데이터를 이용하여 상기 이미지 데이터에 대한 이미지 안정화 동작을 수행하고, 이미지 안정화된 데이터를 생성하는 이미지 처리 회로를 더 포함한다.

상기 제1연결 핀과 상기 제2연결 핀 중에서 적어도 하나는 GPIO(general-purpose input/output(GPIO)) 핀 일 수 있다.

상기 타이밍 컨트롤러는 프레임마다 상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 상기 플래그 신호를 생성하다.

본 발명의 실시 예에 따른 이미지 센서 모듈은 자이로스코프 센서와, 상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 플래그 신호를 생성하는 이미지 센서를 포함하고, 상기 이미지 센서는 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 상기 플래그 신호를 생성하는 타이밍 컨트롤러와, 상기 플래그 신호를 상기 자이로스코프 센서로 전송하는 제1연결 핀을 포함한다.

상기 타이밍 컨트롤러는 상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고, 상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성하고, 상기 자이로스코프 센서는 활성화되는 상기 플래그 신호에 응답하여 인에이블되고 비활성화되는 상기 플래그 신호에 응답하여 디스에이블된다.

실시 예들에 따라, 상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고, 상기 자이로스코프 데이터를 이미지 신호 프로세서로 전송한다.

상기 자이로스코프 센서는, 상기 플래그 신호에 응답하여, 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터의 출력 시점을 제어한다.

본 발명의 실시 예에 따른 모바일 장치는 이미지 센서 모듈과, 상기 이미지 센서 모듈의 동작을 제어하는 이미지 신호 프로세서를 포함한다. 상기 이미지 센서 모듈은 자이로스코프 센서와, 상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 플래그 신호를 생성하는 이미지 센서를 포함한다. 상기 이미지 센서는 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 상기 플래그 신호를 생성하는 타이밍 컨트롤러와, 상기 플래그 신호를 상기 자이로스코프 센서로 전송하는 제1연결 핀을 포함한다.

본 발명의 실시 예에 따른, 자이로스코프 센서의 동작을 제어할 수 있는 이미지 센서는 상기 이미지 센서의 노출 시간의 시작 시점과 끝 시점에 동기된 플래그 신호를 생성하고, 상기 플래그 신호를 상기 자이로스코프 센서로 출력할 수 있는 효과가 있다. 따라서, 상기 이미지 센서의 동작과 상기 자이로스코프 센서의 동작은 서로 동기될 수 있다.

상기 이미지 센서는, 상기 플래그 신호를 이용하여, 상기 자이로스코프 센서로부터 생성된 자이로스코프 데이터, 즉 상기 이미지 센서의 움직임을 나타내는 데이터의 출력 시점을 제어할 수 있는 효과가 있다. 상기 이미지 센서는 의도하지 않은 이미지 떨림과 의도된 이미지 떨림 모두를 보상할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예들에 따른 모바일 장치의 블록도이다.
도 2는 도 1에 도시된 픽셀들을 포함하는 픽셀 어레이를 나타낸다.
도 3은 도 1에 도시된 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호의 생성을 설명하는 개념도이다.
도 4는 도 1에 도시된 이미지 센서의 동작과 자이로스코프 센서의 동작을 설명하는 플로우 차트이다.
도 5는 본 발명의 실시 예들에 따른 모바일 장치의 블록도이다.
도 6은 도 5에 도시된 이미지 센서의 동작과 자이로스코프 센서의 동작을 설명하는 플로우 차트이다.
도 7은 도 1 또는 도 5에 도시된 모바일 장치에서 수행되는 보상을 설명하는 개념도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시 예들에 따른 모바일 장치의 블록도이다. 도 1을 참조하면, 모바일 장치(100)는 이미지 데이터(또는 이미지)를 처리할 수 있는 장치를 의미하고, CMOS 이미지 센서(200), 자이로스코프 센서(300), 및 애플리케이션 프로세서(application processor(AP); 400)를 포함할 수 있다.

비록, 본 명세서에서는 CMOS 이미지 센서(200), 자이로스코프 센서(300), 및 AP(400)를 포함하는 데이터 처리 시스템의 실시 예로서 모바일 장치가 도시되고 설명되었으나, 본 발명의 개념에 따른 기술적 사상은 모바일 장치뿐만 아니라 이미지 안정화(image stabilization)를 위한 이미지 처리 시스템(예컨대, 이미지-안정화된 쌍안경(image-stabilized binoculars), 정지 카메라(still camera), 비디오 카메라 (video camera), 천체 망원경(astronomical telescope), 스마트폰, 오토모티브 시스템(automotive system), 또는 보안 시스템(security system))에 적용될 수 있다.

이미지 안정화는 노출(exposure) 도중에 카메라의 움직임 또는 이미징 장치 (imaging device)의 움직임에 관련된 블러링(blurring)을 감소시키는데 사용되는 기술을 의미할 수 있다. 상기 이미지 안정화는 카메라 또는 이미징 장치의 상하좌우로 회전(pan)과 기울어짐(tilt)을 보상할 수 있다. 기울어짐(tilt)은 도 7에 도시된 기우뚱(yaw)과 상하요동(pitch)에 해당하는 각 운동량(angular movement)을 의미할 수 있다.

본 명세서에서 설명될 모바일 장치(100 또는 100-1)는 이동 전화기, 스마트 폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라 (digital still camera), 디지털 비디오 카메라 (digital video camera), PMP (portable multimedia player), 모바일 인터넷 장치 (mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 드론 (drone)으로 구현될 수 있다.

CMOS 이미지 센서(200)는 광학 이미지를 전기적 이미지, 예컨대 이미지 데이터로 변환할 수 있는 칩을 의미할 수 있다.

CMOS 이미지 센서(200)는 제1연결 핀(201), 제2연결 핀(211), 이미지 처리 회로(215), 타이밍 컨트롤러(220), 및 픽셀 어레이(230)를 포함할 수 있다.

제1연결 핀(201)은 자이로스코프 센서(300)로 플래그 신호(FLAG)를 전송하기 위해 사용되고, 제2연결 핀(211)은 자이로스코프 센서(300)로부터 출력된 자이로스코프 데이터(GDATA)를 수신하기 위해 사용된다. 실시 예들에 따라, 제1연결 핀 (201)과 제2연결 핀(211) 중에서 적어도 하나는 GPIO(general-purpose input/output(GPIO)) 핀으로 구현될 수 있으나 이에 한정되는 것은 아니다.

플래그 신호(FLAG)는 자이로스코프 센서(300)의 인에이블과 디스에이블을 제어할 수 있다. 자이로스코프 데이터(GDATA)는 자이로스코프 센서(300)의 움직임을 나타내는 데이터로서, 자이로스코프 데이터(GDATA)의 생성과 출력은 플래그 신호 (FLAG)의 활성화와 비활성화에 따라 결정될 수 있다.

실시 예들에 따라, 이미지 처리 회로(215)는 픽셀 어레이(230)에 배치된 픽셀들(PIXEL)로부터 출력된 픽셀 신호들(P1~Pm, m은 3 이상의 자연수)을 이용하여 이미지 데이터를 생성하고, 상기 이미지 데이터와 자이로스코프 데이터(GDATA)를 포함하는 출력 데이터(DATA)를 생성할 수 있다.

실시 예들에 따라, 이미지 처리 회로(215)는 자이로스코프 센서(300)로부터 출력된 자이로스코프 데이터(GDATA)를 수신하고, 픽셀 어레이(230)에 배치된 픽셀들(PIXEL)로부터 출력된 픽셀 신호들(P1~Pm)을 이용하여 이미지 데이터를 생성하고, 자이로스코프 데이터(GDATA)를 이용하여 상기 이미지 데이터에 대한 이미지 안정화(image stabilization) 동작을 수행하고, 이미지 안정화된 데이터를 출력 데이터(DATA)로서 생성할 수 있다. 상기 이미지 안정화 동작은 손 떨림, 이미지 떨림, 또는 카메라 떨림에 의해 흐릿한(blurred) 이미지를 보상하여 선명한 이미지를 생성하는 동작을 의미할 수 있다.

즉, 이미지 처리 회로(215)가 이미지 안정화 회로(260)를 포함하지 않을 때, 이미지 처리 회로(215)는 도 3의 경우1(CASE1)에 도시된 바와 같이 이미지 데이터 (IDATA)와 자이로스코프 데이터(GDATA)를 포함하는 출력 데이터(DATA)를 생성할 수 있다.

그러나, 이미지 처리 회로(215)가 이미지 안정화 회로(260)를 포함할 때, 이미지 처리 회로(215)는 도 3의 경우2(CASE2)에 도시된 바와 같이 자이로스코프 데이터(GDATA)를 이용하여 이미지 데이터(IDATA)에 대한 이미지 안정화 동작을 수행하고, 이미지 안정화된 데이터(CIDATA)를 출력 데이터(DATA)로서 생성할 수 있다.

타이밍 컨트롤러(220)는 이미지 처리 회로(215)의 동작을 제어할 수 있다. 픽셀 어레이(230)는 복수의 픽셀들(PIXEL)을 포함할 수 있다.

이미지 처리 회로(215)는 컨트롤러(210), 로우 드라이버(225), 상관 이중 샘플링 회로(correlated double sampling(CDS)) 블록(235), 비교기 블록(245), 아날로그-디지털 변환기(analog-to-digital converter(ADC)) 블록(250), 및 픽셀 신호 처리 회로(255)를 포함할 수 있다. 이미지 처리 회로(215)는 이미지 안정화 회로 (260)를 더 포함할 수 있다. 즉, 실시 예들에 따라 이미지 안정화 회로(260)는 이미지 처리 회로(215)에 구현될 수도 있고 구현되지 않을 수도 있다.

컨트롤러(210)는 각 구성 요소(220, 250, 및 255, 실시 예들에 따라서는 260도 포함)의 동작을 제어할 수 있다. 실시 예들에 따라, 컨트롤러(210)는 제2연결 핀(211)를 통해 수신된 자이로스코프 데이터(GDATA)를 픽셀 신호 처리 회로(255) 또는 이미지 안정화 회로(260)로 전송할 수 있다.

실시 예들에 따라, 자이로스코프 데이터(GDATA)는 픽셀 신호 처리 회로 (255)를 제어하는 제2제어 신호(CTRL2)와 함께 또는 독립적으로 픽셀 신호 처리 회로(255)로 전송될 수 있다.

타이밍 컨트롤러(220)는, 컨트롤러(210)의 제어에 따라, 로우 드라이버 (225)와 램프 신호 생성기(240)를 제어할 수 있다.

로우 드라이버(225)는, 타이밍 컨트롤러(220)의 제어에 따라, 각 로우 마다 배치된 픽셀들(PIXEL)의 동작을 제어할 수 있다.

도 2는 도 1에 도시된 픽셀들을 포함하는 픽셀 어레이를 나타내고, 도 3은 도 1에 도시된 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호의 생성을 설명하는 개념도이다.

도 1부터 도 3을 참조하면, 로우 드라이버(225)는 제1로우에 배치된 픽셀들의 동작을 제어하기 위한 제1로우 제어 신호들(ROW1)을 생성할 수 있고, 제2로우에 배치된 픽셀들의 동작을 제어하기 위한 제2로우 제어 신호들(ROW2)을 생성할 수 있고, 제n로우에 배치된 픽셀들의 동작을 제어하기 위한 제n로우 제어 신호들(ROWn)을 생성할 수 있다. 또한, 로우 드라이버(225)는 각 컬럼에 배치된 각 바이어스 회로의 동작을 제어하는 바이어스 전압(VBIAS)을 생성할 수 있다.

도 2에 도시된 바와 같이, 각 픽셀(PIXEL)의 구조와 동작은 동일하므로, 하나의 픽셀(231)의 구조와 동작이 대표적으로 설명된다. 픽셀(231)은 하나의 광전 변환 소자(PD)와 4개의 트랜지스터들(RX, TX, DX, 및 SX)을 포함할 수 있다.

리셋 트랜지스터(RX)는 동작 전압(Vdd)을 공급하는 전원 노드와 플로팅 디퓨전 영역(floating diffusion region(FD)) 사이에 접속되고, 제1리셋 신호(RS1)에 응답하여 플로팅 디퓨전 영역(FD)을 리셋할 수 있다. 전송 트랜지스터(TX)는, 제1전송 제어 신호(TG1)에 응답하여, 광전 변환 소자(PD)에 집적된 광전하들을 플로팅 디퓨전 영역(FD)으로 전송할 수 있다. 드라이버 트랜지스터(DX)는 상기 전원 노드와 선택 트랜지스터(SX) 사이에 접속되고, 플로팅 디퓨전 영역(FD)의 전압에 응답하여 소스 팔로워(source follower)의 기능을 수행할 수 있다. 선택 트랜지스터 (SX)는, 제1선택 신호(SEL1)에 응답하여, 드라이버 트랜지스터(DX)의 출력 신호를 픽셀 신호(P1)로서 출력할 수 있다.

제1로우 제어 신호들(ROW1)은 제1로우에 배치된 픽셀들의 노출 시간 (exposure time)을 제어할 수 있는 제어 신호들(RS1, TG1, 및 SEL1)을 포함할 수 있다. 예컨대, 제1전송 제어 신호(TG1)는 상기 제1로우에 배치된 상기 픽셀들의 제1노출 시간을 제어할 수 있는 제1노출 시간 제어 신호의 기능을 수행할 수 있다.

제2로우 제어 신호들(ROW2)은 제2로우에 배치된 픽셀들의 노출 시간을 제어할 수 있는 제어 신호들(RS2, TG2, 및 SEL2)을 포함할 수 있다. 예컨대, 제2전송 제어 신호(TG2)는 상기 제2로우에 배치된 상기 픽셀들의 노출 시간을 제어할 수 있는 제2노출 시간 제어 신호의 기능을 수행할 수 있다.

제n로우 제어 신호들(ROWn)은 제n로우에 배치된 픽셀들의 노출 시간을 제어할 수 있는 제어 신호들(RSn, TGn, 및 SELn)을 포함할 수 있다. 예컨대, 제n전송 제어 신호(TGn)는 상기 제n로우에 배치된 상기 픽셀들의 노출 시간을 제어할 수 있는 제n노출 시간 제어 신호의 기능을 수행할 수 있다.

CDS 회로 블록(235)은 각 컬럼 라인(COL1~COLm)마다 배치된 CDS 회로를 포함할 수 있다. 각 CDS 회로는 각 픽셀 신호(P1~Pm)에 대해 CDS를 수행하고, CDS된 픽셀 신호를 출력할 수 있다. 각 컬럼 라인(COL1~COLm)에 따라 각 컬럼이 정의될 수 있다.

비교기 블록(245)은 각 컬럼마다 배치된 비교기를 포함할 수 있다. 각 비교기는 램프 신호 생성기(240)로부터 출력된 램프 신호(Vramp)와 각 CDS 회로로부터 출력된 CDS된 픽셀 신호를 비교하고, 비교 신호를 출력할 수 있다.

ADC 블록(250)은 각 컬럼마다 배치된 ADC를 포함할 수 있다. 각 ADC는, 컨트롤러(210)로부터 출력된 제1제어 신호(CTRL1)에 응답하여, 각 비교기의 출력 신호에 해당하는 디지털 신호들을 생성할 수 있다.

도 3의 경우1(CASE1)을 참조하면, 픽셀 신호 처리 회로(255)는, 컨트롤러 (210)로부터 출력된 제2제어 신호(CTRL2)에 응답하여, 픽셀 신호들(P1~Pm)에 해당하는 상기 디지털 신호들을 이용하여 이미지 데이터(IDATA)를 생성하고, 이미지 데이터(IDATA)와 자이로스코프 데이터(GDATA)를 포함하는 출력 데이터(DATA)를 생성할 수 있다.

도 3의 경우2(CASE2)을 참조하면, 이미지 안정화 회로(260)는 픽셀 신호 처리 회로(255)로부터 이미지 데이터(IDATA)와 자이로스코프 데이터(GDATA)를 수신하고, 자이로스코프 데이터(GDATA)를 이용하여 이미지 데이터(IDATA)에 대한 이미지 안정화 동작을 수행하고, 수행의 결과에 따라 이미지 안정화된 데이터(CIDATA)를 생성하고, 이미지 안정화된 데이터(CIDATA)를 출력 데이터(DATA)로서 출력할 수 있다.

CMOS 이미지 센서(200)는 인터페이스(265)를 통해 출력 데이터(DATA)를 AP (400)에 포함된 이미지 신호 프로세서(image signal processor(ISP); 410)로 전송할 수 있다. 예컨대, 인터페이스(265)는 MIPI® 카메라 시리얼 인터페이스(camera serial interface(CSI))일 수 있다.

자이로스코프 센서(300)는 자이로스코프 데이터(GDATA)를 AP(400)의 CIS (410)로 직접 전송하지 않고 CMOS 이미지 센서(200)로 직접 전송할 수 있다. 따라서, AP(400)의 CIS(410)는 자이로스코프 데이터(GDATA)를 직접 수신하기 위한 핀을 포함하지 않아도 된다.

ISP(410)는 CMOS 이미지 센서(200)로부터 출력된 출력 데이터(DATA)를 수신하여 처리할 뿐만 아니라 CMOS 이미지 센서(200)의 동작을 제어할 수 있다.

도 4는 도 1에 도시된 이미지 센서의 동작과 자이로스코프 센서의 동작을 설명하는 플로우 차트이다. 도 1부터 도 4를 참조하면, 타이밍 컨트롤러(220)는 픽셀 어레이(230)에 배치된 픽셀들(PIXEL)의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호(FLAG)를 생성하고, 플래그 신호(FLAG)를 제1연결 핀(201)을 통해 자이로스코프 센서(300)로 전송할 수 있다.

도 3에 도시된 바와 같이, 상기 노출 시간의 시작은 픽셀 어레이(230)에 배치된 모든 픽셀들(PIXEL) 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1로우 제어 신호들(ROW1)에 동기되고, 상기 노출 시간의 끝은 모든 픽셀들(PIXEL) 중에서 n번째 로우(예컨대, 마지막 로우)에 배치된 제n픽셀들로 공급되는 제n로우 제어 신호들(ROWn)에 동기된다.

타이밍 컨트롤러(220)는 픽셀 어레이(230)에 배치된 모든 픽셀들(PIXEL) 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호(예컨대, 제1전송 제어 신호(TG1))의 활성화에 응답하여 활성화되는 플래그 신호(FLAG)를 생성할 수 있고, 모든 픽셀들(PIXEL) 중에서 제n번째 로우(ROWn)에 배치된 제n픽셀들로 공급되는 제n노출 시간 제어 신호(예컨대, 제n전송 제어 신호(TGn))의 비활성화에 응답하여 비활성화되는 플래그 신호(FLAG)를 생성할 수 있다.

여기서, 활성화(activation)는 로우 레벨(low level)로부터 하이 레벨(high level)로 천이(transition)하는 것을 의미하고, 비활성화(de-activation)는 상기 하이 레벨로부터 상기 로우 레벨로 천이하는 것을 의미한다. 그러나 실시 예에 따라 상기 정의와 반대를 의미할 수 있다.

자이로스코프 센서(300)는 활성화되는 플래그 신호(FLAG)에 응답하여 인에이블될 수 있고 비활성화되는 플래그 신호(FLAG)에 응답하여 디스에이블될 수 있다.

타이밍 컨트롤러(220)의 제어에 따라, 제1로우에 배치된 제1픽셀들의 제1노출 시간이 제어될 수 있다(S110). 즉, 제1라인에 배치된 상기 제1픽셀들이 리셋될 수 있다. 타이밍 컨트롤러(220)는, 상기 제1노출 시간이 제어될 때, 플래그 신호 (FLAG)를 활성화할 수 있다(S115). 따라서, 자이로스코프 센서(300)는 활성화된 플래그 신호(FLAG)에 응답하여 인에이블될 수 있다(S120).

인에이블된 자이로스코프 센서(300)는 자이로스코프 데이터(GDATA)를 생성하고, 자이로스코프 데이터(GDATA)를 제2연결 핀(211)으로 출력할 수 있다(S125).

타이밍 컨트롤러(220)의 제어에 따라, 제2로우에 배치된 제2픽셀들의 제2노출 시간부터 제n로우에 배치된 제n픽셀들의 제n노출 시간까지 순차적으로 제어될 수 있다(S130의 NO).

제n노출 시간까지 제어되면, 즉 제n라인에 배치된 제n픽셀들이 리셋된 후, 제n노출 시간 제어 신호(예컨대, 제n전송 제어 신호(TGn))가 비활성화되면, 타이밍 컨트롤러(220)는 플래그 신호(FLAG)를 비활성화할 수 있다(S135). 따라서, 자이로스코프 센서(300)는 비활성화된 플래그 신호(FLAG)에 응답하여 디스에이블될 수 있다(S140). 따라서, 디스에이블된 자이로스코프 센서(300)는 자이로스코프 데이터 (GDATA)를 생성하지 않는다.

CMOS 이미지 센서(200) 내에 보정 기능이 존재할 때(S145의 YES), 즉, 이미지 안정화 회로(260)가 존재할 때, 이미지 안정화 회로(260)는 픽셀 신호 처리 회로(255)로부터 이미지 데이터(IDATA)와 자이로스코프 데이터(GDATA)를 수신하고, 자이로스코프 데이터(GDATA)를 이용하여 이미지 데이터(IDATA)에 대한 이미지 안정화 동작을 실시간으로(real time or on-the-fly) 수행하고(S150), 수행의 결과에 따라 이미지 안정화된 데이터(CIDATA)를 실시간으로 생성하고, 이미지 안정화된 데이터(CIDATA)를 출력 데이터(DATA)로서 실시간으로 출력할 수 있다 (S155).

그러나, CMOS 이미지 센서(200) 내에 보정 기능이 존재하지 않을 때(S145의 YES), 즉, 이미지 안정화 회로(260)가 존재하지 않을 때, 픽셀 신호 처리 회로 (255)는 픽셀 어레이(230)로부터 출력된 픽셀 신호들(P1~Pm)에 해당하는 디지털 신호들을 이용하여 이미지 데이터(IDATA)를 생성하고, 이미지 데이터 (IDATA)와 자이로스코프 데이터(GDATA)를 포함하는 출력 데이터(DATA)를 실시간으로 생성할 수 있다(S160).

도 5는 본 발명의 실시 예들에 따른 모바일 장치의 블록도이다. 도 1과 도 5를 참조하면, 도 1에 도시된 자이로스코프 센서(300)는 자이로스코프 데이터 (GDATA)를 직접 CMOS 이미지 센서(200)로 출력한다. 그러나, 도 5에 도시된 자이로스코프 센서(300)는 자이로스코프 데이터(GDATA)를 AP(400-1)의 ISP(410-1)로 직접 출력할 수 있다.

모바일 장치(100-1)는 이미지 데이터(또는 이미지)를 처리할 수 있는 장치를 의미하고, CMOS 이미지 센서(200-1), 자이로스코프 센서(300)와 AP(400-1)를 포함할 수 있다.

CMOS 이미지 센서(200-1)는 광학 이미지를 전기적 이미지, 예컨대 이미지 데이터(IDATA)로 변환할 수 있는 칩을 의미할 수 있다.

CMOS 이미지 센서(200-1)는 제1연결 핀(201), 제3연결 핀(213), 이미지 처리 회로(215-1), 타이밍 컨트롤러(220), 및 픽셀 어레이(230)를 포함할 수 있다.

제1연결 핀(201)은 자이로스코프 센서(300)로 플래그 신호(FLAG)를 전송하기 위해 사용되고, 제3연결 핀(211)은 이미지 처리 회로(215-1)에 의해 생성된 이미지 데이터(IDATA)를 AP(400-1)의 ISP(410-1)로 출력하기 위해 사용될 수 있다. 제3연결 핀(211)은 이미지 데이터(IDATA)를 AP(400-1)의 ISP(410-1)로 출력하기 위한 인터페이스를 의미할 수 있다. 예컨대, 상기 인터페이스는 MIPI® CSI를 의미할 수 있다.

도 1을 참조하여 설명한 바와 같이, ADC 블록(250)은 디지털 신호들을 생성할 수 있다. 픽셀 신호 처리 회로(255A)는, 컨트롤러(210)로부터 출력된 제2제어 신호(CTRL2)에 응답하여, 픽셀 신호들(P1~Pm)에 해당하는 상기 디지털 신호들을 이용하여 이미지 데이터(IDATA)를 생성하고, 이미지 데이터(IDATA)를 제3연결 핀(211)을 통해 AP(400-1)의 ISP(410-1)로 전송할 수 있다.

ISP(410-1)는 자이로스코프 센서(300)로부터 출력된 자이로스코프 데이터 (GDATA)와 CMOS 이미지 센서(200-1)로부터 출력된 이미지 데이터(IDATA)를 수신하고, 자이로스코프 데이터(GDATA)를 이용하여 이미지 데이터(IDATA)에 대한 이미지 안정화 동작을 실시간으로 수행하고, 수행의 결과에 따라 이미지 안정화된 데이터를 생성할 수 있다.

도 6은 도 5에 도시된 이미지 센서의 동작과 자이로스코프 센서의 동작을 설명하는 플로우 차트이다. 도 5와 도 6을 참조하면, 타이밍 컨트롤러(220)는 프레임(frame)마다 자이로스코프 센서(300)의 인에이블과 디스에이블을 제어할 수 있는 플래그 신호(FLAG)를 생성할 수 있다. 예컨대, 자이로스코프 센서(300)는 플래그 신호(FLAG)가 하이 레벨로 활성화될 때 자이로스코프 데이터(GDATA)를 생성하여 출력하고, 플래그 신호(FLAG)가 로우 레벨로 활성화될 때 자이로스코프 데이터 (GDATA)를 생성을 중지한다.

플래그 신호(FLAG)를 이용하지 않는 종래의 자이로스코프 센서는 항상 자이로스코프 데이터를 생성했다. 그러나, 자이로스코프 센서(300)는 플래그 신호 (FLAG)에 동기되어 자이로스코프 데이터(GDATA)를 생성할 수 있으므로, 자이로스코프 센서(300)에서 소모되는 전력은 종래의 자이로스코프 센서에서 소모되는 전력보다 감소한다.

도 7은 도 1 또는 도 5에 도시된 모바일 장치에서 수행되는 보상을 설명하는 개념도이다. 도 1부터 도 7을 참조하면, 모바일 장치(100 또는 100-1, 집합적으로 100)는 CMOS 이미지 센서(200 또는 200-1), 자이로스코프 센서(300), 및 AP(400 또는 400-1)를 포함할 수 있다.

CMOS 이미지 센서(200) 또는 ISP(410-1)는 자이로스코프 데이터(GDATA)를 이용하여 이미지 데이터(IDATA), 즉 손 떨림 또는 이미지 떨림에 의해 흐릿한 이미지에 대해 이미지 안정화 동작을 실시간으로 수행하고, 수행의 결과에 따라 이미지 안정화된 데이터를 생성할 수 있다.

자이로스코프 센서(300)는 (1) 자이로스코프 센서(300), (2) 자이로스코프 센서(300)와 CMOS 이미지 센서(200 또는 200-1)를 내장하는 이미지 센서 모듈, 또는 (3) 모바일 장치(100)의 움직임을 검출하고, 검출 결과에 해당하는 자이로스코프 데이터(GDATA)를 생성할 수 있다. 예컨대, 자이로스코프 센서(300)는 x축 가속도, y축 가속도, 및/또는 z축 가속도를 검출하고, 검출 결과에 해당하는 자이로스코프 데이터(GDATA)를 생성할 수 있다. 예컨대, 자이로스코프 센서(300)는 x축 방향의 상하 요동(pitch), y축 방향의 좌우 기울기(roll), 및/또는 z축 방향의 한쪽으로 기우뚱(yaw)를 검출하고, 검출 결과에 해당하는 자이로스코프 데이터 (GDATA)를 생성할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100, 100-1: 모바일 장치
200, 200-1: CMOS 이미지 센서
300: 자이로스코프 센서
215, 215-1: 이미지 처리 회로
220: 타이밍 컨트롤러
230: 픽셀 어레이
255, 255A; 픽셀 신호 처리 회로
260: 이미지 안정화 회로

Claims

픽셀들을 포함하는 픽셀 어레이;
상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 플래그 신호를 생성하는 타이밍 컨트롤러; 및
상기 플래그 신호를 자이로스코프 센서로 전송하는 제1연결 핀을 포함하고,
상기 노출 시간의 상기 시작은 상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 동기되고,
상기 노출 시간의 상기 끝은 상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 동기되고,
상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고,
상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성하는 이미지 센서.
삭제
삭제
제1항에 있어서,
상기 자이로스코프 센서로부터 출력되고 상기 자이로스코프 센서의 움직임을 나타내는 자이로스코프 데이터를 수신하는 제2연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 이미지 데이터와 상기 자이로스코프 데이터를 포함하는 출력 데이터를 생성하는 이미지 처리 회로를 더 포함하는 이미지 센서.
제1항에 있어서,
상기 자이로스코프 센서로부터 출력되고 상기 자이로스코프 센서의 움직임을 나타내는 자이로스코프 데이터를 수신하는 제2연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 자이로스코프 데이터를 이용하여 상기 이미지 데이터에 대한 이미지 안정화 동작을 수행하고, 이미지 안정화된 데이터를 생성하는 이미지 처리 회로를 더 포함하는 이미지 센서.
제5항에 있어서,
상기 제1연결 핀과 상기 제2 연결 핀 중에서 적어도 하나는 GPIO(general-purpose input/output(GPIO) 핀인 이미지 센서.
제1항에 있어서,
상기 타이밍 컨트롤러는 프레임마다 상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 상기 플래그 신호를 생성하는 이미지 센서.
자이로스코프 센서; 및
상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 플래그 신호를 생성하는 이미지 센서를 포함하고,
상기 이미지 센서는,
픽셀들을 포함하는 픽셀 어레이;
상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 상기 플래그 신호를 생성하는 타이밍 컨트롤러; 및
상기 플래그 신호를 상기 자이로스코프 센서로 전송하는 제1 연결 핀을 포함하고,
상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고,
상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성하고,
상기 자이로스코프 센서는 활성화되는 상기 플래그 신호에 응답하여 인에이블되고 비활성화되는 상기 플래그 신호에 응답하여 디스에이블되는 이미지 센서 모듈.
삭제
제8항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고, 상기 자이로스코프 데이터를 이미지 신호 프로세서로 전송하는 이미지 센서 모듈.
제8항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고,
상기 이미지 센서는,
상기 자이로스코프 센서로부터 출력된 상기 자이로스코프 데이터를 수신하는 제2 연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 이미지 데이터와 상기 자이로스코프 데이터를 포함하는 출력 데이터를 생성하는 이미지 처리 회로를 더 포함하는 이미지 센서 모듈.
제11항에 있어서,
상기 제1 연결 핀과 상기 제2 연결 핀 중에서 적어도 하나는 GPIO(general-purpose input/output(GPIO) 핀인 이미지 센서 모듈.
제8항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고,
상기 이미지 센서는,
상기 자이로스코프 센서로부터 출력된 자이로스코프 데이터를 수신하는 제2연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 자이로스코프 데이터를 이용하여 상기 이미지 데이터에 대한 이미지 안정화 동작을 수행하고, 이미지 안정화된 데이터를 생성하는 이미지 처리 회로를 더 포함하는 이미지 센서 모듈.
제13항에 있어서,
상기 제1 연결 핀과 상기 제2 연결 핀 중에서 적어도 하나는 GPIO(general-purpose input/output(GPIO) 핀인 이미지 센서 모듈.
제8항에 있어서,
상기 자이로스코프 센서는, 상기 플래그 신호에 응답하여, 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터의 출력 시점을 제어하는 이미지 센서 모듈.
이미지 센서 모듈; 및
상기 이미지 센서 모듈의 동작을 제어하는 이미지 신호 프로세서를 포함하고,
상기 이미지 센서 모듈은,
자이로스코프 센서; 및
상기 자이로스코프 센서의 인에이블과 디스에이블을 제어하는 플래그 신호를 생성하는 이미지 센서를 포함하고,
상기 이미지 센서는,
픽셀들을 포함하는 픽셀 어레이;
상기 픽셀들의 노출 시간을 제어하고, 상기 노출 시간의 시작과 끝을 지시하는 상기 플래그 신호를 생성하는 타이밍 컨트롤러; 및
상기 플래그 신호를 상기 자이로스코프 센서로 전송하는 제1연결 핀을 포함하고,
상기 타이밍 컨트롤러는,
상기 픽셀들 중에서 첫 번째 로우에 배치된 제1픽셀들로 공급되는 제1노출 시간 제어 신호에 응답하여 활성화되는 상기 플래그 신호를 생성하고,
상기 픽셀들 중에서 마지막 로우에 배치된 마지막 픽셀들로 공급되는 마지막 노출 시간 제어 신호에 응답하여 비활성화되는 상기 플래그 신호를 생성하고,
상기 자이로스코프 센서는 활성화되는 상기 플래그 신호에 응답하여 인에이블되고 비활성화되는 상기 플래그 신호에 응답하여 디스에이블되는 모바일 장치.
삭제
제16항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고, 상기 자이로스코프 데이터를 상기 이미지 신호 프로세서 전송하는 모바일 장치.
제16항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고,
상기 이미지 센서는,
상기 자이로스코프 센서로부터 출력된 상기 자이로스코프 데이터를 수신하는 제2연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 이미지 데이터와 상기 자이로스코프 데이터를 포함하는 출력 데이터를 생성하고, 상기 출력 데이터를 상기 이미지 신호 프로세서로 출력하는 이미지 처리 회로를 더 포함하는 모바일 장치.
제16항에 있어서,
상기 자이로스코프 센서는 상기 이미지 센서 모듈의 움직임을 나타내는 자이로스코프 데이터를 생성하고,
상기 이미지 센서는,
상기 자이로스코프 센서로부터 출력된 자이로스코프 데이터를 수신하는 제2연결 핀; 및
상기 픽셀들로부터 출력된 픽셀 신호들을 이용하여 이미지 데이터를 생성하고, 상기 자이로스코프 데이터를 이용하여 상기 이미지 데이터에 대한 이미지 안정화 동작을 수행하고, 이미지 안정화된 데이터를 생성하고, 상기 이미지 안정화된 데이터를 상기 이미지 신호 프로세서로 출력하는 이미지 처리 회로를 더 포함하는 모바일 장치.