[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101908021B1 - 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101908021B1
KR101908021B1 KR1020180058429A KR20180058429A KR101908021B1 KR 101908021 B1 KR101908021 B1 KR 101908021B1 KR 1020180058429 A KR1020180058429 A KR 1020180058429A KR 20180058429 A KR20180058429 A KR 20180058429A KR 101908021 B1 KR101908021 B1 KR 101908021B1
Authority
KR
South Korea
Prior art keywords
image sensor
exposure
angle
exposure time
attitude information
Prior art date
Application number
KR1020180058429A
Other languages
English (en)
Inventor
최원석
김희수
조영기
김재현
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020180058429A priority Critical patent/KR101908021B1/ko
Application granted granted Critical
Publication of KR101908021B1 publication Critical patent/KR101908021B1/ko

Links

Images

Classifications

    • H04N5/2353
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N5/23258
    • H04N5/335

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법은 이미지 센서 모듈이 커지는 문제점을 해결하고, 비행체가 급작스럽게 움직이는 경우 광량의 변화로 인한 이미지 센서의 적절한 노출시간을 확보하기 어려운 문제점을 해결하도록 자세정보 센서를 이용하여 센싱된 비행체의 자세정보를 기초로 측정된 노출각에 따라 이미지 센서가 노출되는 노출시간을 획득한다. 따라서, 이미지 센서가 탑재된 비행체의 자세가 급작스럽게 변경되어도 이미지 센서가 외부의 광에 노출되는 시간을 실시간으로 제어할 수 있으며, 별도의 하드웨어 추가 없이 실시간으로 영상이 선명하도록 영상의 밝기를 조절할 수 있다.

Description

자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 {METHOD FOR SECURING IMAGE SENSOR EXPOSURE TIME OF IMAGE SENSOR MOUNTED ON FLIGHT VEHICLE USING ATTITUDE INFORMATION SENOSR AND COMPUTER PROGRAM SOTRED IN RECORDING MEDIUM}
본 발명은 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법에 관한 것이다. 보다 상세하게는, 본 발명은 이미지 센서가 외부의 광에 노출되는 노출시간을 획득하는 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법에 관한 것이다.
모든 카메라가 그렇듯이 외부의 영상 데이터를 획득하는 이미지 센서도 화각(Field of View, FOV)이 있다. 따라서, 이미지 센서로부터 외부를 바라볼 수 있는 화각이 무한대가 아니다.
비행체에 탑재된 이미지 센서로부터 표적이 포함된 영상 데이터를 획득하면서 전투 임무 수행을 하는 경우 비행체가 비행 중에 몸체를 회전시키거나 다른 곳으로 급 기동하면서 기존에 바라봤던 표적에서 다른 표적을 바라볼 수 있거나 갑작스럽게 해를 바라볼 수도 있다.
비행체가 지상 또는 상공에 있는 다양한 표적을 바라볼 경우 각각의 표적에서 반사되어 오는 광량이 다를 것이므로 각각의 표적에 해당하는 다양한 노출시간이 요구될 것이다. 노출시간은 입사되는 광으로부터 영상 데이터를 획득하기 위해 이미지 센서가 외부에서 입사되는 광으로부터 노출되는 시간을 나타낸다.
비행체가 전투임무 수행 중 갑작스러운 비행 중에 급 기동을 할 경우 갑작스러운 광량의 변화로 인해서 이미지 센서의 적절한 노출시간 확보가 어려워 임무를 수행하기 어려운 문제가 있다. 따라서, 이미지 센서가 노출되면서 입사되는 광량이 급작스럽게 변하더라도 실시간으로 선명한 영상을 확보하는 기술의 필요성이 대두되고 있다.
최근에는 각각의 이미지 센서 모듈에 자동 노출 모드(Auto exposure mode)라고 해서 자동으로 노출시간을 조절해주는 회로를 내장하는 경우가 많지만 그만큼 이미지 센서 모듈이 커지게 되는 문제점이 있다.
본 발명은 이미지 센서 모듈이 커지는 문제점을 해결하고, 비행체가 전투임무 수행 중 급 기동할 경우 광량의 변화로 인한 이미지 센서의 적절한 노출시간을 확보하기 어려운 문제점을 해결하도록 자세정보 센서를 이용하여 비행체의 자세정보를 구하고, 비행체의 자세정보를 기초로 이미지 센서로 입사되는 광의 각도를 측정하여, 측정된 각도에 따라 이미지 센서가 노출되는 노출시간을 실시간으로 획득하는 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법은 이미지 센서부가 영상 데이터를 획득하는 단계; 영상 처리부가 상기 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들로부터 대표값을 산출하는 단계; 노출각 측정부가 자세정보 센서를 이용하여 센싱된 상기 비행체의 자세정보를 기초로 기 설정된 기준 방향 및 상기 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정하는 단계; 및 노출시간 획득부가 상기 산출된 대표값이 기 설정된 데이터 값이 되도록 상기 이미지 센서부가 상기 광에 노출되는 시간인 노출시간을 상기 측정된 노출각에 따라 획득하는 단계;를 포함하고, 상기 영상 데이터를 획득하는 단계는, 전처리부가 상기 이미지 센서부에 포함된 각각의 픽셀로 상기 입사되는 광을 전기 신호로 변환시키고, 상기 변환된 전기 신호를 증폭 및 압축시키는 단계; 및 아날로그 디지털 변환부가 상기 증폭 및 압축된 전기 신호를 디지털 신호로 변환하여 영상 데이터를 획득하는 단계;를 포함할 수 있다.
제어부가 상기 노출각에 따라 획득된 노출시간을 메모리에 저장하는 단계;를 더 포함할 수 있다.
상기 제어부가 실시간으로 상기 노출각을 측정하도록 상기 노출각 측정부를 제어하는 단계; 상기 제어부가 상기 실시간으로 측정된 노출각에 따라 노출시간을 획득하도록 상기 노출시간 획득부를 제어하는 단계; 및 상기 제어부가 상기 메모리에 저장된 노출각에 따라 획득된 노출시간과 상기 실시간으로 측정된 노출각에 따라 획득된 노출시간을 비교하여 상기 메모리에 저장된 노출시간을 업데이트하는 단계;를 더 포함할 수 있다.
상기 비행체의 움직임에 따라 자세정보가 변경되는 경우, 상기 제어부가 상기 자세정보가 변경된 비행체의 자세정보를 기초로 현재 노출각을 측정하도록 상기 노출각 측정부를 제어하는 단계; 및 상기 제어부가 상기 메모리에 저장된 노출각 중 상기 현재 측정된 노출각에 대응되는 노출각을 결정하여 상기 결정된 노출각에 따른 노출시간을 상기 메모리에서 로드하고, 상기 로드 된 노출시간 동안 상기 이미지 센서부를 상기 광에 노출하도록 제어하는 단계;를 더 포함할 수 있다.
상기 대표값은 상기 이미지 센서로부터 획득된 영상 데이터에 포함된 픽셀들 중 상기 광이 입사됨에 따라 동작하는 픽셀들에 해당하는 픽셀값들의 평균값일 수 있다.
상기 노출각을 측정하는 단계는, 적어도 두 개의 자세정보 센서를 통해 상기 비행체의 자세에 대한 측정 데이터를 수집하는 단계; 상기 수집된 측정 데이터를 융합 및 가공하여 상기 비행체의 자세에 대한 상태변수를 구하는 단계; 상기 상태변수에 대해 비선형 역학계의 상태를 추정하는 필터를 적용하여 상기 비행체의 자세에 대한 상태정보를 추정하는 단계; 및 상기 추정된 상태정보에 기반하여 상기 비행체의 움직임에 따른 자세정보를 실시간으로 산출하는 단계;를 포함할 수 있다.
상기 상태정보를 추정하는 단계는, 상기 수집된 측정 데이터에서 잡음을 확률변수로 취급하고, 상기 필터에 의해 상태정보 추정 오차의 기댓값이 최소가 되도록 상기 상태변수를 구할 수 있다.
상기 측정 데이터를 수집하는 단계는, 3축 가속도계 센서 1개로부터 상기 비행체의 X축, Y축 및 Z축의 가속도값(X, Y, Z)을 수집하는 단계; 및 2축 자이로 센서 2개로부터 상기 비행체의 각속도 값(p, q, r)을 수집하는 단계;를 포함할 수 있다.
상기 상태변수를 구하는 단계는, 상기 비행체의 각속도와 오일러 각 간의 관계식을 이용하여 상기 비행체의 오일러 각의 변화율을 구한 뒤, 상기 오일러 각의 변화율에 대한 적분을 통해 오일러 각을 구하고, 상기 센서 융합에 기반하여 상기 오일러 각을 X축 방향에 대한 회전각 파이(Φ), Y축 방향에 대한 회전각 세타(θ) 및 Z축 방향에 대한 회전각 프사이(Ψ)로 구성되는 상기 상태변수로서 구할 수 있다.
상기 기 설정된 기준 방향은 상기 X축, 상기 Y축 및 상기 Z축 방향이 모두 수직적인 관계이고 상기 Z축 방향이 지상과 수직적인 관계이면서, 상기 비행체의 Y축 방향에 대한 회전각 세타(θ) 각도(Pitch 각도)가 0도인 방향이고, 상기 노출각은 상기 회전각 세타(θ)일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법이 컴퓨터에서 실행시키기 위한 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 일 실시 예에 따라 이미지 센서가 탑재된 비행체의 자세가 급작스럽게 변경되어도 이미지 센서가 외부의 광에 노출되는 시간을 실시간으로 제어할 수 있다. 따라서, 별도의 하드웨어 추가 없이 실시간으로 영상이 선명하도록 영상의 밝기를 조절할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1a 내지 1e는 본 발명의 일 실시 예에 따른 CMOS 센서가 외부에 노출되는 노출시간에 따라 영상을 획득하는 것을 나타낸 것이다.
도 2a는 본 발명의 일 실시 예에 따른 비행체의 자세정보를 이용한 이미지 센서의 노출시간 획득 방법을 설명하기 위한 흐름도이다.
도 2b는 본 발명의 일 실시 예에 따른 영상 데이터 전송 방법을 나타낸 것이다.
도 2c는 본 발명의 일 실시 예에 따른 노출시간을 결정하는 그래프를 나타낸 것이다.
도 3은 본 발명의 일 실시 예에 따른 비행체의 자세정보를 이용하여 노출각을 측정하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 본 발명의 또 다른 일 실시 예에 따른 무인 비행체가 노출각에 따라 이미지 센서의 노출시간을 획득하는 구체적인 방법을 나타낸 것이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간을 획득하는 비행체의 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간을 획득하는 비행체에 포함된 노출각 측정부의 구성을 개략적으로 도시한 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다”등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
도 1a 내지 1e는 본 발명의 일 실시 예에 따른 CMOS 센서가 외부에 노출되는 노출시간에 따라 영상을 획득하는 것을 나타낸 것이다.
도 1a 및 1b를 참조하면, 이미지 센서의 종류 중 하나인 CMOS 센서 및 CMOS 센서가 외부에 노출되면서 CMOS 센서에 포함된 픽셀이 영상을 리드아웃 하는 것을 나타낸 것으로, CMOS 센서는 여러 개의 픽셀을 포함할 수 있다. CMOS 센서가 햇빛 또는 물체에 반사된 빛에 노출되면서 각각의 픽셀은 빛에 노출되면서 획득한 값을 아날로그 디지털 변환기(ADC)를 통해 디지털 값으로 출력하여 영상 데이터를 리드아웃 할 수 있다.
이미지 센서는 광 에너지를 전기 에너지로 전환하여 디스플레이로 영상을 표시하거나 저장장치에 저장할 수 있게 하는 반도체이다. 일반적으로 사용되는 이미지 센서의 종류로는 전하결합소자(Charge Coupled Device, CCD), 상보성 금속산화막 반도체(CMOS), 밀착형 영상 센서(Contact Image Sensor, CIS) 등의 종류가 있다.
CCD 이미지 센서는 빛을 전하로 변환시켜 화상을 얻어내는 센서로 여러 개의 축전기(Condenser)가 쌍으로 상호 연결되어 있는 회로로 구성되어 있고, 회로 내의 각 축전기는 자신 주변의 축전지로 축적된 전하를 전달한다. 구체적으로 CCD 칩은 많은 광 다이오드들이 모여 있는 칩으로 CCD 이미지 센서는 각각의 광 다이오드에 광이 비추어지면 광량에 따라 전자가 생기고 해당 광 다이오드 각각의 광의 밝기를 나타내는 전자량을 재구성하여 화면을 이루는 이미지 정보를 생성한다.
CCD 이미지 센서와 동일하게 광 다이오드를 사용하지만 제조 과정과 신호를 읽는 방법이 다른 CMOS 이미지 센서는 CMOS를 이용한 고체 촬상 소자이다. CMOS 이미지 센서는 소형으로 제작이 가능하며 저전력이므로 현재 핸드폰 등 여러분야 에서 많이 사용되고 있다. CMOS 이미지 센서는 단위 셀마다 증폭기를 가지고 있으며 광 변환된 전기 신호의 읽기에 의해서 전기 노이즈의 발생이 적어지는 특징이 있다. CMOS 이미지 센서 광에 의해 발생한 전자를 각 화소 내에서 전압으로 변환한 후에 여러 CMOS 스위치를 통해 출력하는 센서로 CMOS 이미지 센서는 여러 개의 픽셀로 이루어져 있으며 CMOS 이미지 센서를 구성하는 픽셀은 1개의 포토 다이오드와 4개의 트랜지스터로 구성될 수 있다.
도 1c를 참조하면, CMOS 이미지 센서는 물체에 반사된 빛에 노출되고 프레임 오버헤드 시간(Frame Overhead Time, FOT) 이후에 노출된 시간 동안 모은 아날로그 영상을 아날로그디지털 변환기 (analog-digital converter, ADC)를 통해서 디지털로 표현된 영상 데이터를 리드아웃(READOUT) 할 수 있다. 즉, CMOS 센서는 영상 데이터를 리드아웃 하는 동시에 CMOS 센서는 외부의 광에 노출되고 다음에 또 읽을 수 있게 된다.
하지만 여기서 CMOS 센서가 한 프레임에 대한 영상 데이터를 읽고 그 값을 분석하여 적절한 노출시간을 구한 후 적용하기 까지는 약 100ms 이상의 지연이 발생한다. 즉, 100ms 이전의 영상 데이터를 분석하여 나온 노출시간 동안 CMOS 센서를 광에 노출시켜 영상을 얻을 수 있지만, 일반적으로 CMOS 센서가 획득하는 영상 데이터는 정지 영상이 아닌 동영상과 같이 실시간으로 변화하는 영상으로 100ms 이상의 지연이 발생하였으므로 분석된 노출시간을 현재 영상에 적용하는 것은 적절하지 않다.
도 1d를 참조하면, 외부에서 입사되는 광으로부터 CMOS 센서가 오래도록 노출되는 경우 CMOS 센서에 포함된 픽셀 값들은 포화(saturation)될 수 있고, 포화된 픽셀 값들에 의해 전체적으로 영상 데이터는 밝게 나오게 된다. 구체적으로 영상 데이터에서 밝은 부분들은 똑같이 밝아져 조금 밝았던 부분이나 많이 밝았던 부분에 대한 구분이 어려워진다.
따라서, 비행체가 전투 임무 수행 중 급작스럽게 회전하는 경우 해를 바라볼 수도 있고, 이 경우 CMOS 센서에 입사되는 광량이 많아 이미지 센서에 포함된 픽셀 값들은 바로 포화되어서 영상이 더욱 하얗게 보일 수 있다.
이에 비해 도 1e를 참조하면, 상술한 도 1d와 반대로 외부에서 입사되는 광으로부터 이미지 센서가 짧게 노출된 경우 영상 데이터에서 조금 어두웠던 부분과 많이 어두웠던 부분에 대한 구분이 어려워진다.
따라서, 비행체가 급작스럽게 회전하면서 광이 비치지 않는 어두운 곳을 바라보는 경우, CMOS 센서에 입사되는 광량이 적어 이미지 센서에 포함된 픽셀 값들은 더욱 어둡게 보일 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 비행체의 자세정보를 이용한 이미지 센서의 노출시간 획득 방법을 설명하기 위한 흐름도이다.
도 2b는 본 발명의 일 실시 예에 따른 영상 데이터 전송 방법을 나타낸 것이다.
도 2c는 본 발명의 일 실시 예에 따른 노출시간을 결정하는 그래프를 나타낸 것이다.
본 발명의 일 실시 예에 따른 이미지 센서의 노출시간을 획득하는 비행체는 이미지 센서를 사용하여 영상을 획득하는 비행기, 헬리콥터, 무인 비행체 또는 미사일일 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며 상술한 이미지 센서의 노출시간을 획득하는 비행체는 움직이면서 이미지 영상 센서를 사용하여 영상을 획득할 수 있는 모든 비행체에 적용될 수 있다.
도 2a를 참조하면, 이미지 센서부가 영상 데이터를 획득한다(S210)
이미지 센서부에 포함된 이미지 센서는 외부의 광에 노출되어 이미지 센서로 광이 입사되면서 이미지 센서부는 입사된 광으로부터 영상 데이터를 획득할 수 있다.
본 발명의 일 실시 예에 따른 이미지 센서부는 상술한 CCD, CMOS CIS와 같은 이미지 센서가 사용될 수 있으며, 상술한 이미지 센서부가 해로부터 직접적으로 들어오는 광 또는 물체로부터 반사된 광에 노출되는 경우 이미지 센서부가 영상을 획득하는 방법은 이미지 센서부에 포함된 전처리부가 이미지 센서부에 포함된 각각의 픽셀로 입사되는 광을 전기 신호로 변환시키고, 변환된 전기 신호를 증폭 및 압축시킬 수 있다. 또한, 이미지 센서부에 포함된 아날로그 디지털 변환부가 증폭 및 압축된 전기 신호를 디지털 신호로 변환하여 이미지 센서부가 영상 데이터를 획득할 수 있다. 따라서, 본 발명의 일 실시 예에 따라 이미지 센서부로부터 획득되며 픽셀의 값으로 이루어진 픽셀의 집합인 영상 데이터에 포함된 각각의 픽셀은 8BIT, 10BIT, 12BIT 등과 같은 디지털 값으로 표현할 수 있다.
영상 처리부가 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들로부터 대표값을 산출한다(S220).
도 2b를 참조하면, 본 발명의 일 실시 예에 따른 이미지 센서부와 영상 처리부는 이미지 센서부로부터 획득된 영상 데이터를 낮은 전압 차분 신호(Low-voltage differential signaling, LVDS)로 수신할 수 있다. 구체적으로 도 2b는 영상 처리부(220)가 낮은 전압 차분 신호를 이용하여 각각 8BIT, 10BIT 및 12BIT의 픽셀 데이터를 수신하는 것을 나타낸 것이다.
LVDS로 신호를 전송하는 방법은 디지털 정보를 구리선을 통해 고속 전송하기 위해 송신측에서 서로 다른 2개의 낮은 전압을 전송하면 수신측에서 전송된 2개의 전압 차이를 비교하여 영상 데이터를 수신하는 방법으로, 본 발명의 일 실시 예에 따르면 이미지 센서부는 서로 다른 2개의 낮은 전압을 전송하고, 영상 처리부에서 2개의 전압 차이를 비교하여 노이즈를 제거시킨 영상 데이터를 고속으로 받을 수 있다.
따라서, 본 발명의 일 실시 예에 따라 영상 처리부가 LVDS를 이용하여 이미지 센서부로부터 영상 데이터를 전송 받는 경우 영상 데이터를 빠르게 전송 받을 수 있으며, 낮은 전압 신호를 이용하므로 전력 소비가 감소되며, 차분 신호를 이용하므로 노이즈가 제거된 영상 데이터를 전송 받을 수 있는 효과가 있다.
다시 도 2a를 참조하면, 본 발명의 일 실시 예에 따른 영상 처리부는 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들로부터 통계적으로 산출될 수 있는 모든 값을 포함하는 대표값을 산출할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 대표값은 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들 중 이미지 센서부에 포함된 이미지 센서로 광이 입사됨에 따라 영상 데이터를 표현하도록 동작이 가능한 픽셀들로부터 결정된 영상 밝기의 평균값일 수 있다. 구체적으로 영상 처리부는 이미지 센서부로부터 획득된 영상 데이터에 포함되며 디지털 값으로 변환된 픽셀값들을 리드할 수 있고, 리드 된 픽셀값들을 연산 처리하여 평균값을 결정할 수 있다. 상술한 리드 된 픽셀값들은 영상 데이터를 표현하도록 동작 가능한 픽셀값들만 리드 될 수 있으나 이에 한정되는 것은 아니며 다양한 조합으로 픽셀값들을 리드할 수 있다.
노출각 측정부가 자세정보 센서를 이용하여 센싱된 이미지 센서가 탑재된 비행체의 자세정보를 기초로 기 설정된 기준 방향 및 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정한다(S230).
노출각 측정부가 노출각을 측정하는 구체적인 방법은 도 3에서 후술하기로 한다.
노출시간 획득부가 산출된 대표값이 기 설정된 데이터 값이 되도록 이미지 센서부가 광에 노출되는 시간인 노출시간을 측정된 노출각에 따라 획득한다(S240).
본 발명의 일 실시 예에 따른 기 설정된 데이터 값은 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀이 색상을 표현할 수 있는 개수 중 중간에 해당하는 개수를 나타내는 중간값일 수 있다. 구체적으로, 본 발명의 일 실시 예에 따라 이미지 센서부로부터 획득된 영상 데이터의 크기는 영상 크기가 640 X 480일 수 있고, 영상 크기가 640 X 480인 경우 픽셀의 개수는 307500개 이며, 각각의 픽셀이 12BIT인 경우일 수 있다. 픽셀이 12BIT인 경우 픽셀은 4096가지(=212개)의 색을 표현할 수 있으며, 상술한 중간값은 2048일 수 있으며, 2048에 근접한 값일 수도 있다.
도 2c를 참조하면, 도 2c는 본 발명의 일 실시 예에 따라 상술한 이미지 센서부로부터 획득된 영상 크기가 640 X 480이고, 각각의 픽셀이 12BIT인 경우 총 픽셀들로부터 결정된 영상 밝기의 평균값과 노출시간의 관계를 그래프로 나타낸 것으로 상술한 평균값이 중간값인 2048이 되도록 하는 노출시간은 33ms이다. 따라서, 노출시간 획득부는 영상 처리부에서 산출된 평균값이 기 설정된 데이터 값인 2048이 되도록 만드는 노출시간 33ms를 노출각 측정부에서 측정된 노출각에 따라 획득할 수 있다. 단, 상술한 영상 크기 및 픽셀의 BIT는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며 다양한 영상의 크기 및 픽셀의 개수일 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 제어부가 노출각에 따라 노출시간 획득부에서 획득한 노출시간을 메모리에 저장할 수 있다.
또한, 본 발명의 일 실시 예에 따른 제어부는 실시간으로 기 설정된 기준 방향 및 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정하도록 노출각 측정부를 제어할 수 있고, 실시간으로 측정된 노출각에 따라 노출시간을 획득하도록 노출시간 획득부를 제어할 수 있다.
또한, 제어부는 영상 밝기의 평균값을 계속해서 데이터의 중간값에 유지할 수 있도록 실시간으로 측정된 노출각에 따라 노출시간을 획득하도록 노출시간 획득부를 제어할 수 있다.
제어부는 메모리에 저장된 노출각에 따라 획득된 노출시간과 실시간으로 측정된 노출각에 따라 획득된 노출시간을 비교할 수 있으며, 비교 결과 메모리에 저장된 노출각과 실시간으로 측정된 노출각이 동일하지만 노출시간이 다른 경우 제어부는 메모리에 저장된 노출시간을 실시간으로 측정된 노출시간으로 업데이트 할 수 있다.
본 발명의 일 실시 예에 따른 제어부는 동기식 시리얼 통신을 통해 메모리에 저장된 노출시간을 실시간으로 업데이트 할 수 있다. 동기식 시리얼 통신은 데이터를 보낼 때 데이터가 전달된다고 알려주는 별도의 클럭(clock) 라인을 사용하는 방법으로 클럭 라인을 통신 참여자가 공유함으로써 데이터 라인으로 언제 데이터가 들어오는지 알 수 있도록 해주는 방법이다. 동기식 통신 방법의 종류로는 I2C, SPI(Serial Peripheral Interface) 통신이 있으며, SPI(Serial Periphal Interface) 통신이란 직렬(Serial)로 데이터 통신을 수행함으로써 임의의 IC에 특정한 정보를 전달하고, 그 IC의 정보를 알 수 있도록 하는 일종의 통신 프로토콜이다.
따라서, 본 발명의 일 실시 예에 따르면 제어부는 SPI 통신을 통해 메모리에 저장된 노출시간을 실시간으로 업데이트 할 수 있으나 이에 한정되는 것은 아니며 다양한 통신 방법에 의해 제어부는 메모리에 저장된 노출시간을 실시간으로 측정된 노출시간으로 업데이트 할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따르면 이미지 센서의 노출시간을 획득하도록 이미지 센서가 탑재된 비행체가 움직이면서 비행체의 자세정보가 급작스럽게 변경되는 경우, 제어부는 상술한 자세정보가 변경된 비행체의 자세정보를 기초로 현재 노출각을 측정하도록 노출각 측정부를 제어할 수 있다. 또한, 제어부는 메모리에 저장된 노출각 중 자세정보가 변경되면서 측정된 노출각에 대응되는 노출각을 결정하여 결정된 노출각에 따른 노출시간을 메모리에서 로드할 수 있고, 제어부는 로드 된 노출시간 동안 이미지 센서부가 광에 노출되도록 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 비행체의 자세정보를 이용하여 노출각을 측정하는 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 복수 개의 자세정보 센서가 비행체의 자세에 대한 측정 데이터를 수집한다(S231).
본 발명의 일 실시 예에 따른 복수 개의 자세정보 센서부는 제1 자세정보 센서부 및 제2 자세정보 센서부를 포함할 수 있으나, 이에 한정되는 것은 아니며 자세정보 센서부의 개수는 2개 보다 더 많을 수 있다.
제1 자세정보 센서부는 3축 가속도계 센서 1개로 구성되어 이미지 센서를 탑재한 비행체의 X축, Y축 및 Z축의 가속도값(X, Y, Z)을 수집할 수 있으며, 제2 자세정보 센서부는 2축 자이로 센서 2개로부터 이미지 센서를 탑재한 비행체의 각속도 값(p, q, r)을 수집할 수 있다.
자세정보 센서 융합부가 수집된 측정 데이터를 융합 및 가공하여 이미지 센서를 탑재한 비행체의 자세에 대한 상태변수를 구한다(S232).
구체적으로, 자세정보 센서 융합부는 움직이는 이미지 센서의 노출시간 획득을 위한 이미지 센서를 탑재한 비행체의 각속도와 오일러 각 간의 관계식을 이용하여 이미지 센서를 탑재한 비행체의 오일러 각의 변화율을 결정할 수 있고, 결정된 오일러 각의 변화율에 대한 적분을 통해 오일러 각을 산출할 수 있다. 자세정보 센서 융합부는 자세정보 센서 융합에 기반하여 산출된 오일러 각을 X축 방향에 대한 회전각 파이(Φ), Y축 방향에 대한 회전각 세타(θ) 및 Z축 방향에 대한 회전각 프사이(Ψ)로 구성되는 상태변수로서 결정할 수 있다.
여기서 자세정보 센서 융합부는 개별 자세정보 센서 각각의 단점들을 보완하여 정확한 동적 자세 정보를 출력하기 위해 일련의 디지털 필터링 알고리즘을 이용할 수 있다. 즉, 자세정보 센서 융합의 목적은 각 자세정보 센서부로부터 수집된 데이터를 입력으로 하고 디지털 필터링을 적용하여 서로의 값을 보완한 뒤 정확하고 유용한 동적 자세 결과값을 출력하는 것이다.
자세정보 센서 융합부는 상기 오일러 각의 변화율을 하기 [수학식 1]로 구할 수 있다.
[수학식 1]
Figure 112018050569053-pat00001
여기서, (p, q, r)은 이미지 센서가 탑재된 비행체의 각속도계 값이고,
Figure 112018050569053-pat00002
는 오일러 각의 변화율이다.
그리고, 상술한 오일러 각의 변화율을 적분함으로써, 하기 [수학식 2]의 오일러 각으로 나타내는 상태변수(Φt, θt, Ψt)를 구할 수 있다.
[수학식 2]
Figure 112018050569053-pat00003
필터부가 상태변수에 대해 비선형 역학계의 상태를 추정하는 필터를 적용하여 비행체의 자세에 대한 상태정보를 추정한다(S233).
구체적으로 필터부는 [수학식 2]로부터 결정되는 상태변수(Φt, θt, Ψt)에 대해 비선형 역학계의 상태를 추정하는 필터를 적용하여 이미지 센서를 탑재한 비행체의 상태정보를 추정할 수 있다. 이를 위해, 필터부는 복수 개의 자세정보 센서부로부터 수집된 측정 데이터에서 잡음을 확률변수로 취급하고, 필터에 의해 상태정보 추정 오차의 기댓값이 최소가 되도록 상태변수를 구할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 필터부는 상태변수(Φt, θt, Ψt)에 확장 칼만 필터를 적용할 수 있다.
칼만 필터는 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀 필터로써, 구체적으로 잡음까지 포함된 입력 데이터를 재귀적으로 처리하는 필터로 현재 상태에 대한 최적의 통계적 예측을 진행할 수 있다. 하지만, 칼만 필터는 기본적으로 시스템이 선형이라는 가정하에 설계된 필터로 비선형 시스템에 적용하면 오차가 오히려 커지거나 발산해버리는 특성이 있어서 문제가 있다. 따라서, 본 발명의 일 실시 예에서는 계산량이 비교적 적으며 비선형 시스템에서 상태 추정이 가능한 확장 칼만 필터를 적용할 수 있다.
확장 칼만 필터를 통해 이미지 센서부의 상태정보에 대한 예측 추정값과 예측 오차 공분산을 구하고, 칼만 이득을 계산할 수 있으며, 계산된 칼만 이득과 예측 추정값을 이용하여 이미지 센서를 탑재한 비행체의 상태정보를 추정하고, 칼만 이득과 예측 오차 공분산을 이용하여 오차 공분산을 획득할 수 있다.
필터부는 복수 개의 자세정보 센서부로부터 측정된 측정값 중 3축 가속도계로부터 획득한 파이(Φ) 및 세타(θ)를 업데이트하고, 업데이트 된 측정값에 따라 상태변수를 구하고, 확장 칼만 필터를 적용하여 이미지 센서를 탑재한 비행체의 상태정보를 추정하는 과정을 반복한다.
여기서, 확장 칼만 필터에 대해 상세히 설명하자면 다음과 같다.
확장 칼만 필터는 다음 수학식 3과 같은 상태변화모델과 측정모델을 갖는다.
[수학식 3]
Figure 112018050569053-pat00004
여기서 Xt는 마르코프 프로세스(Markov Process)를 따르는 상태 벡터이고,
Figure 112018050569053-pat00005
Figure 112018050569053-pat00006
는 평균이 0이고, 분산이 각각
Figure 112018050569053-pat00007
,
Figure 112018050569053-pat00008
인 독립 가우시안 백색 잡음이다. 마르코프 프로세스는 상태벡터가 결정될 확률이 과거의 다른 상태 벡터들과 무관하고 그 직전의 결과인 Xt-1에 따라 결정된다는 가정이다. 다음은 수학식 4는 상기 상태방정식에 대한 확장 칼만 필터 알고리즘이다.
[수학식 4]
Figure 112018050569053-pat00009
여기서,
Figure 112018050569053-pat00010
.는 평균값,
Figure 112018050569053-pat00011
는 분산값,
Figure 112018050569053-pat00012
는 제어값,
Figure 112018050569053-pat00013
는 측정값,
Figure 112018050569053-pat00014
는 칼만 게인, 확장 칼만 필터는 t-1 순간까지의 관측값에 근거하여 X(t|t-1)을 추정하며 알고리즘은 반복형으로 표현된다.
Figure 112018050569053-pat00015
는 시스템에 대한 노이즈의 공분산 값이고
Figure 112018050569053-pat00016
는 센서 측정 값에 대한 노이즈의 공분산 값이다.
(10-1), (10-2)번 식은 예측하는 부분이고 (10-3)번 식은 칼만 이득(Kalman Gain)을 나타낸다. 칼만 이득의 물리적 의미는 숫자가 클수록 측정치가 정확하고 숫자가 작을 수록 예측치가 정확하다 할 수 있다.
(10-4), (10-5)번 식은 측정한 값을 업데이트 하는 부분이다. 확장 칼만 필터를 비선형 시스템에 적용할 수 있는 이유는 바로 테일러 시리즈와 자코비안을 확장 칼만 필터에 적용하였기 때문이다. 테일러 시리즈는 비선형 시스템을 선형화시켜주며 자코비안은 복잡하게 얽혀 있는 식을 미분을 이용하여 선형 근사화시켜 간단한 근사 선형식을 만들어 준다. 확장 칼만 필터는 비선형 시스템에 적용할 수 있으므로 쿼터니언 좌표계를 사용할 필요 없이 오일러 각을 이용한다.
본 발명의 일 실시 예에 따른 비행체에 탑재된 이미지 센서부로 입사되는 광이 일반적으로 해로부터 직접 입사되는 경우 이미지 센서부가 하늘을 바라보는 경우이고 본 발명의 일 실시 예로 지상에 있는 탱크로부터 반사된 광이 입사되는 경우 이미지 센서부가 지상을 바라보는 경우로 이에 대하여 확장 칼만 필터 적용 시 X축 방향에 대한 회전 각?Φ(파이), Y축 방향에 대한 회전 각 θ(세타), Z축 방향에 대한 회전 각 Ψ(프사이) 중 Y축 방향에 대한 회전 각 θ(세타)만 실시간으로 획득할 수 있다. 단, 특수 상황이나 환경에 따라 Z축 방향에 대한 회전 각 Ψ(프사이) 또는 X축 방향에 대한 회전 각?Φ(파이)도 실시간으로 획득할 수 있으며 이는 프로그램 설계시 제작자의 임의로 또는 사용자의 설정에 따라 변경될 수 있다.
따라서, 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간 획득을 위한 이미지 센서를 탑재한 비행체의 자세 정보 획득을 위한 상태변수는 X축 방향에 대한 회전 각?Φ(파이), Y축 방향에 대한 회전 각 θ(세타), Z축 방향에 대한 회전 각 Ψ(프사이)으로 구성될 수 있다.
상술한 첫 번째 식 (10-1)에 각속도와 오일러각의 관계식을 적용할 수 있으나 비선형식이고, 확장 칼만 필터의 예측하는 첫 번째 식 (10-1)은 제어하는 부분은 없으므로 ut는 삭제하고 다음 수학식 5와 같이 나타낼 수 있다.
[수학식 5]
Figure 112018050569053-pat00017
위 식을 이미지 센서를 탑재한 비행체의 자세를 나타내는 오일러 각으로 풀 수 있다.
본 발명의 일 실시 예를 설명하기 위해 이미지 센서를 탑재한 비행체의 Φ와 θ 각도만을 고려하고 ψ는 사용하지 않는 경우로 설정하도록 한다. Φ와 θ 각도는?
Figure 112018050569053-pat00018
를 적분함으로서 구할 수 있고, 이 식을 적분하면 이미지 센서를 탑재한 비행체의 위치 정보를 나타내는 상태모델(state model)이 될 수 있다. 단 상술한 예시는, 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며, θ 각도만을 고려하고 Φ와 ψ는 사용하지 않는 경우로 설정할 수 있고, 또한, Φ, θ 및 ψ 각도 모두를 고려할 수도 있다.
이미지 센서를 탑재한 비행체의 자세정보 상태모델은 상술한 수학식 1과 같고, 수학식 1을 적분한 식은 상술한 수학식 2와 같다. 수학식 1과 수학식 2에서 다음 수학식 5가
Figure 112018050569053-pat00019
통용될 수 있다. 여기서, dt는 미소시간을 나타낸다.
이미지 센서를 탑재한 비행체의 자세정보 측정모델은 다음 수학식 6과 같다.
[수학식 6]
Figure 112018050569053-pat00020
수학식 6은 선형이므로 자코비안을 사용할 필요없이 다음 수학식 7과 같은 측정모델로 사용할 수 있다.
[수학식 7]
Figure 112018050569053-pat00021
그리고, 측정모델 H는 다음 수학식 8과 같이 구해진다.
[수학식 8]
Figure 112018050569053-pat00022
미분을 통하여 시스템을 선형 근사화시키기 위해서 자코비안을 이용하는데 자코비안은 수학식 9와 같이 구할 수 있다.
[수학식 9]
Figure 112018050569053-pat00023
이렇게 구한 자코비안을 이용하여 확장 칼만 필터의 예측단계 아래 두 번째 식인 (10-2)식을 사용하여 예측 공분산값 ?
Figure 112018050569053-pat00024
을 구한다.
필터부(233)는 칼만 이득인 Kt는 (10-3)식을 사용하여 추정값으로서 측정모델을 계산하고 예측 공분산과 칼만 이득을 이용하여 자세정보 센서 측정 노이즈의 공분산 값을 구할 수 있다.
필터부(233)는 START에서 시작하여 최종적으로
Figure 112018050569053-pat00025
을 구한 뒤 다시 이 값을
Figure 112018050569053-pat00026
값으로 입력하여 확장 칼만 필터 알고리즘을 반복적으로 수행한다.
또한 수행하는 과정에서 최신화 된 자세정보 센서 값인 자이로와 가속도계 값을 업데이트하는 것을 확인할 수 있으며 자코비안 값도 계속해서 업데이트를 수행할 수 있다.
자세정보 산출부는 이미지 센서를 탑재한 비행체의 상태정보에 기반하여 이미지 센서를 탑재한 비행체의 움직임에 따른 자세정보를 실시간으로 산출할 수 있다.
따라서, 노출각 측정부는 이미지 센서를 탑재한 비행체의 움직임에 따라 실시간 산출된 자세정보를 기초로 기 설정된 기준 방향 및 상기 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정할 수 있다. 예를 들면, 이미지 센서를 탑재한 비행체의 움직임에 따라 비행체의 자세가 변경되면서 Y축 방향에 대한 회전 각 θ가 얼마만큼 변화했는지 실시간으로 산출할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며, 특수 상황이나 환경에 따라 Z축 방향에 대한 회전 각 Ψ(프사이) 또는 X축 방향에 대한 회전 각?Φ(파이)이 얼마만큼 변화했는지 실시간으로 산출할 수 있다. 본 발명의 일 실시 예에 따른 X축, Y축 및 Z축은 각각 직각 관계에 있다.
도 4a 및 도 4b는 본 발명의 또 다른 일 실시 예에 따른 무인 비행체가 노출각에 따라 이미지 센서의 노출시간을 획득하는 구체적인 방법을 나타낸 것이다.
도 4a 및 도 4b를 참조하면, 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간 획득을 위한 이미지 센서를 탑재한 비행체가 무인 비행체인 드론(400)인 경우를 나타낸 것으로, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며, 비행체는 미사일일 수 있고, 또한 움직이면서 이미지 영상 센서를 사용하여 영상을 획득하는 모든 비행체에 적용될 수 있다.
도 4a를 참조하면, 이미지 센서(410)가 탑재된 드론(400)의 좌표축은 도 4a에 도시된 바와 같으며, 이미지 센서(410)가 탑재된 드론(400)의 상태변수가 상술한 도 3에서 설명한 바와 같이 X축 방향에 대한 회전각 파이(Φ), Y축 방향에 대한 회전각 세타(θ) 및 Z축 방향에 대한 회전각 프사이(Ψ)로 구성되며, 본 발명의 일 실시 예에 따른 이미지 센서(410)가 탑재된 드론(400)의 경우 X축을 기준으로 회전하는 경우 Φ는 Roll 각도, Y축을 기준으로 회전하는 경우 θ는 Pitch 각도 및 Z축으로 회전하는 경우 Ψ는 Yaw 각도를 나타낸다.
따라서, 본 발명의 일 실시 예에 따른 이미지 센서(410)가 탑재된 드론(400)의 자세정보는 가속도계 센서와 자이로 센서로부터 수집된 데이터 정보를 이용하여 센서 융합을 통해서 Pitch, Yaw, Roll 값을 얻을 수 있다.
본 발명의 일 실시 예에 따른 가속도계 센서와 자이로 센서는 미세전자기계시스템(Microelectromechanical systems, MEMS) 타입의 저가형 센서로 사용될 수 있으며, 동기식 통신 방법 중 SPI 통신으로 인터페이스를 가져갈 수도 있으나 이에 한정되는 것은 아니다.
도 4b를 참조하면, 본 발명의 일 실시 예에 따른 무인 비행체인 드론(400)은 이륙할 수 있고, 이륙한 드론(400)에 포함된 가속도계 센서 및 자이로 센서로부터 이미지 센서(410)가 탑재된 드론(400)의 자세정보를 획득할 수 있다. 도 3에서 상술한 바와 같이 획득된 드론(400)에 포함된 노출각 측정부는 이미지 센서(410)가 탑재된 드론(400)의 자세정보로부터 Φ의 각도(Roll 각도), Θ의 각도(Pitch 각도) 및 Ψ의 각도(Yaw 각도)를 산출할 수 있다.
단, 본 발명의 일 실시 예를 설명하기 위해 도 4b에서는 이미지 센서(410)가 탑재된 드론(400)의 Θ의 각도(Pitch 각도)만을 산출하고, Θ의 각도(Pitch 각도)만을 이용하는 경우를 예를 들어 설명하지만 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며 보다 정확한 노출시간을 획득하기 위해 노출각 측정부는 이미지 센서(410)가 탑재된 드론(400)의 자세정보로부터 Φ의 각도(Roll 각도) 및 Ψ의 각도(Yaw 각도) 중 적어도 하나를 산출할 수 있다.
본 발명의 일 실시 예에 따른 Y축 방향에 대한 회전각 θ 각도(Pitch 각도)는 상공에서 이미지 센서(410)가 탑재된 드론(400)에 적용되는 중력(gravity 또는 weight)과 양력(lift)의 차이에 따라 달라질 수 있다.
본 발명의 일 실시 예에 따른 기 설정된 기준 방향은 X축, Y축 및 Z축 방향이 모두 수직적인 관계이고 Z축 방향이 지상과 수직적인 관계이면서, 상공에서 드론(400)에 적용되는 중력과 양력이 동일하여 이미지 센서(410)가 탑재된 드론(400)의 Y축 방향에 대한 회전각 θ 각도(Pitch 각도)가 0 도인 방향을 나타낸다. 즉, 회전각 θ 각도(Pitch 각도)가 0 도로 이미지 센서(410)로 입사되는 광의 방향이 기 설정된 기준 방향을 나타낸다. 중력과 양력이 동일한 채로 상공에서 드론(400)이 비행하는 경우 수평비행이라고 나타낸다.
본 발명의 일 실시 예에 따른 드론(400)에 탑재된 이미지 센서(410)가 Θ1의 각도로 해(430)를 바라보는 경우, 이미지 센서(410)로 입사되는 광이 클 수 밖에 없다. 따라서, 이미지 센서(410)가 Θ1의 각도로 하늘에 위치하는 해(430)를 바라보는 경우 이미지 센서(410)가 광에 노출되는 노출시간을 감소시켜야 하며, 이미지 센서(410)가 Θ2의 각도로 지상에 위치하는 탱크(420)를 바라보는 경우 탱크로부터 반사된 광을 이미지 센서(410)가 입사하므로 해(430)를 바라보는 경우와 달리 노출시간을 상승시켜야 한다.
도 2 내지 3에서 노출각을 측정하는 방법 및 노출시간 측정부가 노출시간을 영상 처리부에서 산출된 대표값이 기 설정된 데이터 값이 되도록 산출한다고 설명하였으므로 본 실시 예에서는 이에 대한 설명을 생략하도록 한다.
따라서, 본 발명의 일 실시 예에서는 날씨에 따라서도 이미지 센서(410)로 입사되는 광량이 다르므로 이미지 센서(410)가 탑재된 드론(400)의 자세가 급작스럽게 변경될 경우 영상 처리부를 거쳐 적정한 노출시간을 계산하지 않고 미리 확보된 노출각에 따라 적정한 노출시간을 바로 적용할 수 있도록 먼저 드론(400)을 이륙시켜 테스트 과정을 수행할 수 있다. 구체적으로 먼저 드론(400)을 이륙시킨 후 Θ 각도(Pitch 각도)를 변화시켜 Θ 각도(Pitch 각도)에 따른 이미지 센서(410)가 광에 노출되는 적정한 노출시간을 획득하여 메모리에 저장하는 테스트 과정을 수행할 수 있다.
아래의 표 1은 이미지 센서(410)가 광에 노출되는 노출각에 따라 획득된 노출시간을 나타낸 것이다.
Pitch 각도 노출시간
20도 18ms
21도 18.2ms
22도 18.5ms
23도 19ms
24도 19.1ms
25도 19.5ms
26도 19.7ms
상술한 표 1과 같이 이미지 센서(410)가 탑재된 드론(400)의 Pitch 각도를 변화시켜 획득된 Pitch 각도에 따른 노출시간을 제어부가 노출시간 획득부를 제어하여 메모리에 미리 저장할 수 있다. 따라서, 후술하는 바와 같이 이미지 센서(410)가 탑재된 드론(400)의 자세가 급작스럽게 변경되는 경우 제어부는 미리 메모리에 저장된 Pitch 각도에 따른 노출시간을 이미지 센서(410)에 바로 적용하여 이미지 센서(410)가 외부의 광에 노출되는 시간을 영상 처리부에 의한 연산처리 없이 바로 제어할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 드론(400)에 포함된 제어부는 노출각 측정부가 실시간으로 이미지 센서부의 노출각을 측정할 수 있도록 제어할 수있다.
본 발명의 일 실시 예에 따른 드론(400)은 가속도계 센서와 자이로 센서는 미세전자기계시스템(Microelectromechanical systems, MEMS) 타입의 저가형 센서를 포함할 수 있으며, 동기식 통신 방법 중 SPI 통신으로 인터페이스를 가져갈 수도 있으나 이에 한정되는 것은 아니다. 따라서, 상술한 자세정보 센서를 사용하는 드론(400) 의 자세정보를 실시간으로 획득하여 노출각을 측정할 수 있으며, 노출각에 따른 노출시간을 획득할 수 있다.
일반적으로 상술한 자이로 센서 또는 가속도계 센서가 이용되는 경우 이미지 센서(410)가 탑재된 드론(400)의 자세 정보가 최소 1Khz이상의 속도로 데이터가 실시간으로 업데이트 될 수 있다. 또한, 일반적으로 사용되는 이미지 센서 중 CMOS센서를 통해서 받는 영상 데이터의 갱신율은 약 30Hz를 나타낼 수 있다. 따라서, 이미지 센서부를 통해 결정된 영상 데이터를 갱신하는 속도보다 자세정보 센서를 통해 획득되는 드론(400)의 자세정보에 대한 업데이트 속도가 훨씬 빠르다. 따라서, 본 발명의 일 실시 예에 따른 드론(400)에 포함된 가속도계 센서 및 자이로 센서를 이용하여 이미지 센서(410)가 탑재된 드론(400)의 자세정보를 영상 데이터 갱신보다 더 빠르게 획득하여 드론(400)에 탑재된 이미지 센서(410)가 어디를 바라보고 있는지 빠르게 인지할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 노출시간 획득부는 이미지 센서(410)가 탑재된 드론(400)의 Pitch 각도에 따른 이미지 센서(410)의 노출시간을 실시간으로 획득하고, 제어부는 실시간으로 획득된 Pitch 각도에 따른 노출시간을 메모리에 미리 저장된 Pitch 각도에 따라 획득된 노출시간과 비교하여 메모리 저장된 Pitch 각도에 따라 획득된 노출시간 중 변화된 노출시간을 실시간으로 업데이트 할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따르면 드론(400)이 움직이면서 이미지 센서(410)가 탑재된 드론(400)의 자세정보가 갑작스럽게 변경되는 경우, 제어부는 노출각 측정부가 상술한 자세정보가 변경된 이미지 센서(410)가 탑재된 드론(400)의 자세정보를 기초로 현재 노출각을 측정하도록 제어할 수 있다. 제어부는 메모리에 저장된 노출각 중 이미지 센서(410)가 탑재된 드론(400)의 자세정보가 변경되면서 측정된 노출각에 대응되는 노출각을 결정할 수 있다. 또한, 제어부는 메모리에 저장된 노출각에 따른 노출시간 중 상술한 방법에 의해 결정된 노출각에 대응되는 노출시간을 로드할 수 있고, 메모리로부터 로드 된 노출시간 동안 이미지 센서부(410)가 광에 노출되도록 제어할 수 있다.
구체적으로 본 발명의 또 다른 일 실시 예에 따르면 이미지 센서(410)가 탑재된 드론(400)은 공중에서 특정한 위치에 정지하여 상술한 방법에 의해 노출각에 따른 이미지 센서(410)의 노출시간을 획득할 수 있고, 또한 특정한 위치에 정지한 드론(400)이 급작스럽게 이동하면서 상술한 방법에 의해 노출각에 따른 이미지 센서(410)의 노출시간을 획득할 수 있다. 구체적으로, 드론(400)이 급작스럽게 이동하는 경우 드론(400)에 포함된 노출각 측정부는 시간당 변화하는 드론(400)의 pitch 각도 변화를 측정할 수 있다. 예를 들어 설명하면, 드론(400)에 탑재된 이미지 센서(410)가 30도의 Θ 각도(Pitch 각도) 로 외부로부터 입사되는 광을 바라보고 있다가, 드론(400)이 10deg/sec로 2초 동안 움직이는 경우 최종적으로 드론(400)에 탑재된 이미지 센서(410)가 외부로부터 입사되는 광을 바라보는 노출각인 Θ 각도(Pitch 각도)가 원래 30도에서 50도로 변경될 수 있고, 제어부는 메모리에 저장된 노출각이 50도인 경우 노출시간을 바로 로드하여, 로드 된 노출시간 동안 이미지 센서(410)가 광에 노출되도록 제어할 수 있다.
따라서, 종래의 제어부가 이미지 센서(410)가 탑재된 드론(400)의 자세가 급작스럽게 변경되는 경우 이미지 센서(410)가 다시 광에 노출되면서 영상 데이터에 포함된 픽셀들로부터 대표값을 산출하고, 대표값이 기 설정된 데이터 값이 되도록 노출시간을 획득하여, 획득된 노출시간 동안 이미지 센서(410)를 외부의 광에 노출시키는 것이 아닌 기존 메모리에 저장된 노출각에 따른 노출시간을 바로 적용하므로 영상 데이터의 밝기를 효과적으로 조절할 수 있다. 따라서, 종래에 영상 처리부를 이용하여 영상 처리를 하는 경우 많은 시간이 소요되었던 문제점을 해결하여 본 발명의 일 실시 예에 따르면 실시간으로 영상이 선명하게 보이도록 조절할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간을 획득하는 장치의 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 이미지 센서의 노출시간을 획득하도록 이미지 센서가 탑재된 비행체 (500)는 이미지 센서부(510), 노출각 측정부(530), 영상 처리부(520), 노출시간 획득부(540), 메모리(550) 및 제어부(560)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 비행체(500)는 이미지 센서를 사용하여 영상을 획득하는 무인 비행체인 드론 또는 미사일일 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며 상술한 비행체(500)는 움직이면서 이미지 영상 센서를 사용하여 영상을 획득하는 모든 비행체에 적용될 수 있다.
본 발명의 일 실시 예에 따른 이미지 센서부(510)는 상술한 CCD, CMOS CIS와 같은 이미지 센서가 사용될 수 있으며, 이미지 센서부(510)에 포함된 전처리부가 이미지 센서부(510)에 포함된 각각의 픽셀로 입사되는 광을 전기 신호로 변환하고, 변환된 전기 신호를 증폭 및 압축시켜 전처리할 수 있다. 또한, 이미지 센서부(510)에 포함된 아날로그 디지털 변환부가 전처리된 아날로그 신호를 디지털 신호로 변환할 수 있다.
영상 처리부(520)는 이미지 센서부(510)로부터 획득된 영상 데이터에 포함된 픽셀들로부터 대표값을 산출할 수 있다.
구체적으로 영상 처리부(520)는 이미지 센서부(510)로부터 획득된 영상 데이터에 포함된 픽셀들로부터 통계적으로 산출될 수 있는 모든 값을 포함하는 대표값을 산출할 수 있다.
본 발명의 일 실시 예에 따라 영상 처리부(520)가 LVDS를 이용하여 이미지 센서부(510)로부터 영상 데이터를 전송 받는 경우 영상 데이터를 빠르게 전송 받을 수 있다.
본 발명의 또 다른 일 실시 예에 따른 대표값은 이미지 센서부(510)로부터 획득된 영상 데이터에 포함된 픽셀들 중 이미지 센서부로 광이 입사됨에 따라 영상 데이터를 표현하도록 동작이 가능한 픽셀들로부터 결정된 영상 밝기의 평균값일 수 있다. 이에 대한 구체적인 설명은 전술한 바와 같으므로 생략한다.
노출각 측정부(530)는 자세정보 센서를 이용하여 센싱된 비행체의 자세정보를 기초로 기 설정된 기준 방향 및 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정할 수 있다. 노출각을 측정하는 구체적인 설명은 전술한 바와 같으므로 생략한다.
노출시간 획득부(540)는 영상 처리부(520)에서 산출된 대표값이 기 설정된 데이터 값이 되도록 이미지 센서부(510)가 광에 노출되는 시간인 노출시간을 측정된 노출각에 따라 획득할 수 있다.
본 발명의 일 실시 예에 따른 기 설정된 데이터 값은 이미지 센서부(510)로부터 획득된 영상 데이터에 포함된 픽셀이 색상을 표현할 수 있는 개수 중 중간에 해당하는 개수를 나타내는 중간값일 수 있다. 중간값에 대한 구체적인 설명은 전술한 바와 같으므로 생략한다.
메모리(550)는 노출시간 획득부(540)에서 노출각에 따라 획득된 노출시간을 저장할 수 있다.
본 발명의 일 실시 예에 따른 제어부(560)는 한 프레임의 영상 데이터에 포함된 픽셀들의 밝기 값을 실시간으로 계속해서 더하고 평균값을 내도록 영상 처리부(520)를 제어할 수 있다.
제어부(560)는 노출각 측정부(530)가 실시간으로 기 설정된 기준 방향 및 이미지 센서부(510)로 입사되는 광의 방향 간의 각도인 노출각을 측정하도록 제어할 수 있다.
제어부(560)는 메모리(550)에 저장된 노출각에 따라 획득된 노출시간과 실시간으로 측정된 노출각에 따라 획득된 노출시간을 비교할 수 있으며, 비교 결과 메모리(550)에 저장된 노출각과 실시간으로 측정된 노출각이 동일하지만 노출시간이 다른 경우 제어부(560)는 메모리(550)에 저장된 노출시간을 실시간으로 측정된 노출시간으로 업데이트 할 수 있다.
본 발명의 일 실시 예에 따른 제어부(560)는 SPI 통신을 통해 메모리(550)에 저장된 노출시간을 실시간으로 업데이트 할 수 있으나 이에 한정되는 것은 아니며 다양한 통신 방법에 의해 제어부(560)는 메모리(550)에 저장된 노출시간을 실시간으로 측정된 노출시간으로 업데이트 할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따르면 비행체 (500)가 움직이면서 이미지 센서가 탑재된 비행체 (500) 의 자세정보가 갑작스럽게 변경되는 경우, 제어부(560)는 노출각 측정부(530)가 상술한 자세정보가 변경된 비행체(500)의 자세정보를 기초로 현재 노출각을 측정하도록 제어할 수 있다. 제어부(560)는 메모리(550)에 저장된 노출각 중 자세정보가 변경되면서 측정된 노출각에 대응되는 노출각을 결정할 수 있고, 제어부(560)는 메모리(550)에 저장된 노출각에 따른 노출시간 중 상술한 방법에 의해 결정된 노출각에 대응되는 노출시간을 로드할 수 있다. 또한, 제어부(560)는 메모리(550)로부터 로드 된 노출시간 동안 이미지 센서부(510)가 광에 노출되도록 제어할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 노출시간을 획득하는 비행체에 포함된 노출각 측정부의 구성을 개략적으로 도시한 블록도이다.
도 6을 참조하면, 노출각 측정부(530)는 복수 개의 자세정보 센서부(531), 자세정보 센서 융합부(532), 필터부(533) 및 자세정보 산출부(534)를 포함할 수 있다.
본 발명의 일 실시 예에서 비행체는 이미지 센서를 사용하여 영상을 획득하는 무인 비행체인 드론 또는 미사일일 수 있으며, 본 명세서에서는 군사 상황에서 적용되는 드론을 예로 들었으나 이에 한정하는 것은 아니고, 움직이면서 이미지 영상 센서를 사용하여 영상을 획득하는 다양한 비행체에 적용될 수 있다.
복수 개의 자세정보 센서부(531)는 적어도 두 개의 자세정보 센서를 통해 이미지 센서가 탑재된 비행체에 대한 측정 데이터를 수집할 수 있다.
구체적으로 복수 개의 자세정보 센서부(531)는 제1 자세정보 센서부(531a) 및 제2 자세정보 센서부(531b)를 포함하고, 제1 자세정보 센서부(531a)는 3축 가속도계 센서 1개로 구성되어 비행체의 X축, Y축 및 Z축의 가속도값(X, Y, Z)을 수집하며, 제2 자세정보 센서부(531b)는 2축 자이로 센서 2개로부터 비행체의 각속도 값(p, q, r)을 수집할 수 있다.
자세정보 센서 융합부(532)는 각 자세정보 센서부(531a, 531b)로부터 수집된 데이터를 융합 및 가공하여 비행체의 자세에 대한 상태변수를 구할 수 있다.
구체적으로, 자세정보 센서 융합부(532)는 움직이는 이미지 센서가 탑재된 비행체의 각속도와 오일러 각 간의 관계식을 이용하여 비행체의 오일러 각의 변화율을 결정할 수 있고, 결정된 오일러 각의 변화율에 대한 적분을 통해 오일러 각을 산출할 수 있다. 센서 융합에 기반하여 상기 오일러 각을 X축 방향에 대한 회전각 파이(Φ), Y축 방향에 대한 회전각 세타(θ) 및 Z축 방향에 대한 회전각 프사이(Ψ)로 구성되는 상태변수로서 결정할 수 있다.
여기서 자세정보 센서 융합부(532)는 개별 자세정보 센서 각각의 단점들을 보완하여 정확한 동적 자세 정보를 출력하기 위해 일련의 디지털 필터링 알고리즘을 이용할 수 있다. 즉, 자세정보 센서 융합의 목적은 각 자세정보 센서의 측정 데이터를 입력으로 하고 디지털 필터링을 적용하여 서로의 값을 보완한 뒤 정확하고 유용한 동적 자세 결과값을 출력하는 것이다.
자세정보 센서 융합부(532)는 결정된 오일러 각의 변화율을 상술한 [수학식 1]로 구하고, 오일러 각의 변화율을 적분함으로써, 상술한 [수학식 2]의 오일러 각으로 나타내는 상태변수(Φt, θt, Ψt)를 구할 수 있다.
필터부(533)는 상태변수에 대해 비선형 역학계의 상태를 추정하는 필터를 적용하여 비행체의 자세에 대한 상태정보를 추정할 수 있다.
이를 위해, 필터부(533)는 복수 개의 자세정보 센서부로부터 수집된 측정 데이터에서 잡음을 확률변수로 취급하고, 필터에 의해 상태정보 추정 오차의 기댓값이 최소가 되도록 상태변수를 구할 수 있다.
구체적으로, 필터부(533)는 상기 상태변수(Φt, θt, Ψt)에 확장 칼만 필터를 적용할 수 있다. 이를 통해 이미지 센서부의 상태정보에 대한 예측 추정값과 예측 오차 공분산을 구하고, 칼만 이득을 계산하며, 칼만 이득과 예측 추정값을 이용하여 비행체의 상태정보를 추정하고, 칼만 이득과 예측 오차 공분산을 이용하여 오차 공분산을 획득할 수 있다.
필터부(533)는 복수 개의 자세정보 센서 측정값 중 3축 가속도계로부터 획득한 파이(Φ) 및 세타(θ)를 업데이트하고, 복수 개의 자세정보 센서 측정값의 업데이트에 따라 상기 상태변수를 구하고, 확장 칼만 필터를 적용하여 비행체의 상태정보를 추정하는 과정을 반복할 수 있으며, 이에 대한 구체적인 설명은 전술한 바와 같으므로 생략한다.
자세정보 산출부(534)는 비행체의 상태정보에 기반하여 이미지 센서부의 움직임에 따른 자세정보를 실시간으로 산출할 수 있다.
따라서, 노출각 측정부(530)는 이미지 센서부의 움직임에 따라 실시간 산출된 비행체의 자세정보를 기초로 기 설정된 기준 방향 및 상기 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정할 수 있다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
500: 비행체
510: 이미지 센서부
520: 영상 처리부
530: 노출각 측정부
540: 노출시간 획득부
550: 메모리
560: 제어부

Claims (11)

  1. 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법에 있어서,
    이미지 센서부가 영상 데이터를 획득하는 단계;
    영상 처리부가 상기 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들로부터 대표값을 산출하는 단계;
    노출각 측정부가 자세정보 센서를 이용하여 센싱된 상기 비행체의 자세정보를 기초로 기 설정된 기준 방향 및 상기 이미지 센서부로 입사되는 광의 방향 간의 각도인 노출각을 측정하는 단계; 및
    노출시간 획득부가 상기 산출된 대표값이 기 설정된 데이터 값이 되도록 상기 이미지 센서부가 상기 광에 노출되는 시간인 노출시간을 상기 측정된 노출각에 따라 획득하는 단계;를 포함하고,
    상기 영상 데이터를 획득하는 단계는,
    상기 이미지 센서부에 포함된 각각의 픽셀로 상기 입사되는 광을 전기 신호로 변환시키고, 상기 변환된 전기 신호를 증폭 및 압축시키며, 상기 증폭 및 압축된 전기 신호를 디지털 신호로 변환하는 것을 특징으로 하는 이미지 센서의 노출시간 획득 방법.
  2. 제1항에 있어서,
    제어부가 상기 노출각에 따라 획득된 노출시간을 메모리에 저장하는 단계;를 더 포함하는 이미지 센서의 노출시간 획득 방법.
  3. 제2항에 있어서,
    상기 제어부가 실시간으로 상기 노출각을 측정하도록 상기 노출각 측정부를 제어하는 단계;
    상기 제어부가 상기 실시간으로 측정된 노출각에 따라 노출시간을 획득하도록 상기 노출시간 획득부를 제어하는 단계; 및
    상기 제어부가 상기 메모리에 저장된 노출각에 따라 획득된 노출시간과 상기 실시간으로 측정된 노출각에 따라 획득된 노출시간을 비교하여 상기 메모리에 저장된 노출시간을 업데이트하는 단계;를 더 포함하는 이미지 센서의 노출시간 획득 방법.
  4. 제2항에 있어서,
    상기 비행체의 움직임에 따라 자세정보가 변경되는 경우,
    상기 제어부가 상기 자세정보가 변경된 비행체의 자세정보를 기초로 현재 노출각을 측정하도록 상기 노출각 측정부를 제어하는 단계; 및
    상기 제어부가 상기 메모리에 저장된 노출각 중 상기 현재 측정된 노출각에 대응되는 노출각을 결정하여 상기 결정된 노출각에 따른 노출시간을 상기 메모리에서 로드하고, 상기 로드 된 노출시간 동안 상기 이미지 센서부를 상기 광에 노출하도록 제어하는 단계;를 더 포함하는 이미지 센서의 노출시간 획득 방법.
  5. 제1항에 있어서,
    상기 대표값은 상기 이미지 센서부로부터 획득된 영상 데이터에 포함된 픽셀들 중 상기 광이 입사됨에 따라 동작하는 픽셀들에 해당하는 픽셀값들의 평균값인 것을 특징으로 하는 이미지 센서의 노출시간 획득 방법.
  6. 제1항에 있어서,
    상기 노출각을 측정하는 단계는,
    적어도 두 개의 자세정보 센서를 통해 상기 비행체의 자세에 대한 측정 데이터를 수집하는 단계;
    상기 수집된 측정 데이터를 융합 및 가공하여 상기 비행체의 자세에 대한 상태변수를 구하는 단계;
    상기 상태변수에 대해 비선형 역학계의 상태를 추정하는 필터를 적용하여 상기 비행체의 자세에 대한 상태정보를 추정하는 단계; 및
    상기 추정된 상태정보에 기반하여 상기 비행체의 움직임에 따른 자세정보를 실시간으로 산출하는 단계;를 포함하는 이미지 센서의 노출시간 획득 방법.
  7. 제6항에 있어서,
    상기 상태정보를 추정하는 단계는,
    상기 수집된 측정 데이터에서 잡음을 확률변수로 취급하고, 상기 필터에 의해 상태정보 추정 오차의 기댓값이 최소가 되도록 상기 상태변수를 구하는 것을 특징으로 하는 이미지 센서의 노출시간 획득 방법.
  8. 제6항에 있어서,
    상기 측정 데이터를 수집하는 단계는,
    3축 가속도계 센서 1개로부터 상기 비행체의 X축, Y축 및 Z축의 가속도값(X, Y, Z)을 수집하는 단계; 및
    2축 자이로 센서 2개로부터 상기 비행체의 각속도 값(p, q, r)을 수집하는 단계;를 포함하는 이미지 센서의 노출시간 획득 방법.
  9. 제8항에 있어서,
    상기 상태변수를 구하는 단계는,
    상기 비행체의 각속도와 오일러 각 간의 관계식을 이용하여 상기 비행체의 오일러 각의 변화율을 구한 뒤, 상기 오일러 각의 변화율에 대한 적분을 통해 오일러 각을 구하고, 상기 센서 융합에 기반하여 상기 오일러 각을 X축 방향에 대한 회전각 파이(Φ), Y축 방향에 대한 회전각 세타(θ) 및 Z축 방향에 대한 회전각 프사이(Ψ)로 구성되는 상기 상태변수로서 구하는 것을 특징으로 하는 이미지 센서의 노출시간 획득 방법.
  10. 제9항에 있어서,
    상기 기 설정된 기준 방향은 상기 X축, 상기 Y축 및 상기 Z축 방향이 모두 수직적인 관계이고 상기 Z축 방향이 지상과 수직적인 관계이면서, 상기 비행체의 Y축 방향에 대한 회전각 세타(θ) 각도(Pitch 각도)가 0도인 방향이고,
    상기 노출각은 상기 회전각 세타(θ)인 것을 특징으로 하는 이미지 센서의 노출시간 획득 방법.
  11. 컴퓨터로 판독 가능한 기록매체로서, 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법을 수행하기 위하여 제1항 내지 제10항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020180058429A 2018-05-23 2018-05-23 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 KR101908021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180058429A KR101908021B1 (ko) 2018-05-23 2018-05-23 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058429A KR101908021B1 (ko) 2018-05-23 2018-05-23 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR101908021B1 true KR101908021B1 (ko) 2018-10-12

Family

ID=63876729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058429A KR101908021B1 (ko) 2018-05-23 2018-05-23 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR101908021B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102194127B1 (ko) 2019-08-12 2020-12-22 엘아이지넥스원 주식회사 멤스센서를 구비한 드론
CN114442531A (zh) * 2022-01-20 2022-05-06 福州益强信息科技有限公司 多功能图形编程自组网发光棒控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080359A (ja) 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2013160895A (ja) 2012-02-03 2013-08-19 Denso Corp カメラ露出設定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080359A (ja) 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2013160895A (ja) 2012-02-03 2013-08-19 Denso Corp カメラ露出設定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102194127B1 (ko) 2019-08-12 2020-12-22 엘아이지넥스원 주식회사 멤스센서를 구비한 드론
CN114442531A (zh) * 2022-01-20 2022-05-06 福州益强信息科技有限公司 多功能图形编程自组网发光棒控制系统

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
US11205283B2 (en) Camera auto-calibration with gyroscope
CN108572659B (zh) 控制无人机的方法和支持该方法的无人机
CN108605098B (zh) 用于卷帘快门校正的系统和方法
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
US11288824B2 (en) Processing images to obtain environmental information
CN112262357B (zh) 针对多个uav的编队确定控制参数
US20120197461A1 (en) Vision Based Hover in Place
WO2017185378A1 (en) Systems and methods for uav transport and data acquisition
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
WO2016106715A1 (en) Selective processing of sensor data
Delaune et al. Thermal-inertial odometry for autonomous flight throughout the night
Candan et al. Robust attitude estimation using IMU-only measurements
KR101908021B1 (ko) 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램
CN110998235B (zh) 在机器人式运载工具中的图像输出调整
WO2018053785A1 (en) Image processing in an unmanned autonomous vehicle
CN107145167B (zh) 一种基于数字图像处理技术的视频目标跟踪方法
CN210284637U (zh) 一种三装载智能光电侦察装置
KR101907657B1 (ko) 이미지 센서의 노출시간 확보 장치
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
CN113465596B (zh) 一种基于多传感器融合的四旋翼无人机定位方法
CN112154480B (zh) 可移动平台的定位方法、装置、可移动平台及存储介质
Li et al. Onboard hover control of a quadrotor using template matching and optic flow
CN113218394A (zh) 扑翼飞行器室内视觉定位方法及系统
CN111860224A (zh) 图像处理的方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant