[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170136750A - 전자 장치 및 그의 동작 방법 - Google Patents

전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20170136750A
KR20170136750A KR1020160068647A KR20160068647A KR20170136750A KR 20170136750 A KR20170136750 A KR 20170136750A KR 1020160068647 A KR1020160068647 A KR 1020160068647A KR 20160068647 A KR20160068647 A KR 20160068647A KR 20170136750 A KR20170136750 A KR 20170136750A
Authority
KR
South Korea
Prior art keywords
image
information
electronic device
photographing apparatus
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160068647A
Other languages
English (en)
Inventor
이우성
김시홍
김태균
신영철
이정재
한종희
김승년
윤병욱
이소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160068647A priority Critical patent/KR20170136750A/ko
Priority to CN201710407624.9A priority patent/CN107463180A/zh
Priority to US15/612,601 priority patent/US10635902B2/en
Publication of KR20170136750A publication Critical patent/KR20170136750A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H04N5/2257—
    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시예들에 따른 무인 촬영 장치와 그의 동작 방법은, 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하는 동작; 무선 연결을 통해 외부 전자장치로부터 제 1의 3차원 위치에서 제 1신호를 수신하고, 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하는 동작; 데이터 및 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하는 동작; 무인 촬영 장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 제어하는 동작; 카메라를 이용하여 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하는 동작; 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하는 동작을 포함할 수 있다. 다양한 실시 예들이 가능하다.

Description

전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}
본 발명의 다양한 실시예들은 무인 촬영을 할 수 있는 전자장치 및 그 방법에 관한 것이다.
무인 전자장치는 원격 제어장치(remote controller; RC)와 무선 연결되어 원격 제어될 수 있다. 무인 전자장치를 이용하여 사진을 촬영하는 경우, 원격 제어장치를 통해 무인 전자장치를 제어하면서 사진을 촬영할 수 있다.
무인 촬영 장치를 통해 촬영하는 경우, 사용자가 직접 무인 촬영 장치를 제어해야 하기 때문에 무인 촬영 장치를 조종하기 어려웠다. 그리고 무인 촬영 장치를 이용하여 영상 촬영을 할 때 원하는 구도를 얻기 위해서는 무인 촬영 장치의 제어와 카메라 제어를 동시에 하여야 하는 어려움이 있었다.
본 발명의 다양한 실시예에 따른 전자장치는 무인 촬영 장치를 이용하여 촬영하고 싶은 이미지나 구도를 설정하여 무인 촬영 장치에 전송할 수 있는 장치 및 방법을 제공할 수 있다.
본 발명의 다양한 실시예에 따른 무인 촬영 장치는 전자장치에서 전송되는 구도 정보에 따라 피사체의 오브젝트를 판단하고 자동 이동하여 설정된 구도의 이미지를 촬영할 수 있는 장치 및 방법을 제공 수 있다.
본 발명의 다양한 실시예에 무인 촬영 장치는 이동 통신장치와 연동되어 사용자에서 설정된 구도로 이미지를 획득하기 위하기 자율 비행하고, 설정된 구도가 인식되면 이미지를 자동 촬영할 수 있는 장치 및 방법을 제공할 수 있다.
본 발명의 다양한 실시예에 따른 무인 촬영 장치는, 하우징; 상기 하우징에 부착되거나 일체형으로 형성될 수 있으며, 전자장치를 3차원 위치로 비행시킬 수 있는 네비게이션 장치; 적어도 하나의 무선 통신 장치; 상기 하우징에 부착되거나 일체형으로 형성될 수 있는 카메라; 상기 네비게이션 장치, 통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및 상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는, 상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하고; 상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하며; 상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하고; 상기 전자장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 상기 네비게이션 장치를 제어하고; 상기 카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하고; 상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하고; 상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 적어도 하나의 무선 통신 장치; 하우징에 부착되거나 일체형으로 형성될 수 있는 카메라; 디스플레이; 통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및 상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는, 상기 통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하고; 상기 무선 연결을 통해 상기 무인 촬영 장치에 제 1신호를 전송하며, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하며; 및 상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신할 수 있다.
본 발명의 다양한 실시예에 따른 무인 촬영 장치의 동작 방법은, 상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하는 동작; 상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하는 동작; 상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하는 동작; 상기 무인 촬영 장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 제어하는 동작; 카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하는 동작; 상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하는 동작; 및 상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은, 통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하는 동작; 상기 무선 연결을 통해 상기 무인 촬영 장치에 목표 구도 데이터를 전송하며, 상기 목표 구도 데이터는 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하는 동작; 및 상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 무인 비행 장치를 이용한 사진 촬영에 있어서, 무인 촬영 장치는 이동 통신 장치의 어플리케이션 등과 연동을 통해 원하는 구도의 이미지를 자동 촬영할 수 있다. 본 발명의 다양한 실시예에 따르면, 무인 비행 장치를 이용한 사진 촬영에 있어서, 무인 비행 장치를 직접 컨트롤 하지 않고, 전자장치를 통해 촬영하고 싶은 이미지나 구도만을 설정하여 전송하면, 무인 비행 장치는 촬영 구도를 설정하고 자율 비행하여 설정된 구도에서 자동 촬영한 후 복귀할 수 있다. 본 발명의 다양한 실시예에 따른 무인 촬영 장치는 직관적이고 쉬운 촬영 기능을 제공할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 시스템의 블록도를 도시한다.
도 2는 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 다양한 실시예들에 따른 프로그램 모듈의 블록도를 도시한다.
도 4는 본 발명의 다양한 실시예에 따른 전자장치의 구성을 도시하는 도면이다.
도 5는 본 발명의 실시예에 따른 무인 촬영 장치의 구성을 도시하는 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 자동 촬영을 하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 구성 예를 도시하는 도면이다.
도 8은 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 플랫폼 구조를 도시하는 도면이다.
도 9a - 도 9d는 무인 촬영 장치의 구조 및 구동 동작을 설명하는 도면이다.
도 10a - 도 10c는 전자장치를 이용하여 무인 촬영 장치의 이동을 제어하는 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 촬영 동작을 도시하는 흐름도이다.
도 12는 본 발명의 다양한 실시예에 따른 전자장치가 이미지에서 촬영 정보를 생성하는 동작을 도시하는 흐름도이다.
도 13a 및 도 13b는 본 발명의 다양한 실시예에 따른 전자장치가 이미지의 구도정보를 추출하여 촬영 정보로 생성하는 동작을 설명하는 도면이다.
도 14는 본 발명의 다양한 실시예에 따른 전자장치가 선택된 이미지를 분석하여 촬영 정보를 생성하는 동작을 도시하는 흐름도이다.
도 15a 및 도 15b는 본 발명의 다양한 실시예에 따른 전자장치에서 이미지 내의 오브젝트들의 정보를 추출하는 예를 도시하는 도면이다.
도 16a - 도 16d는 본 발명의 다양한 실시예에 따른 전자장치가 이미지를 선택하는 예들을 도시하는 도면이다.
도 17a - 도 17e는 본 발명의 다양한 실시예에 따른 전자장치가 촬영 정보를 무인 촬영 장치에 전송하는 방법을 도시하는 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 자동으로 촬영하는 동작을 도시하는 흐름도이다.
도 19a 및 도 19b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 목표 구도로 자율 비행하는 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 다양한 실시예에 따른 전자장치가 자율 비행하면서 구도를 설정하는 예를 설명하기 위한 도면이다.
도 21은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 오브젝트를 보정하는 방법을 도시하는 도면이다.
도 22는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 이동 제어 동작을 설명하기 위한 도면이다.
도 23은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 촬영을 종료하는 동작을 도시하는 흐름도이다.
도 24a 및 도 24b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 동영상 촬영 방법을 도시하는 도면이다.
도 25는 본 발명의 다양한 실시예에 따른 전자장치 및 무인 촬영 장치가 동영상을 촬영하는 방법을 설명하는 도면이다.
도 26은 본 발명의 다양한 실시예에 따른 전자장치가 무인 촬영 장치의 동영상 촬영을 제어하는 동작을 도시하는 흐름도이다.
도 27은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 흐름도이다.
도 28은 본 발명의 다양한 실시예에 따른 전자장치와 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 도면이다.
도 29a 및 도 29b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 동영상 촬영을 설명하기 위한 도면이다.
도 30은 본 발명의 다양한 실시예에 따라 깊이 카메라를 포함하는 무인 촬영 장치의 구성을 도시하는 도면이다.
도 31은 본 발명의 다양한 실시예에 따른 전자장치 및 무인 촬영 장치가 3D 위치 정보에 기반하여 동영상을 촬영하는 방법을 설명하는 도면이다.
도 32는 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예들에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예들에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)은, 예를 들면, 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예들에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예들에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 시큐리티 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
본 발명의 다양한 실시 예는 전자장치가 어플리케이션 등과 연동을 통해 전자장치가 촬영 정보를 생성하여 전송하고, 무인 촬영 장치가 수신되는 촬영 정보에 기반하여 촬영 위치로 자율 비행하면서 피사체를 촬영할 수 있다. 전자장치는 이미지 내의 피사체 구도정보를 추출하고, 추출된 구도 정보에 기반하여 촬영 정보를 생성할 수 있다. 무인 촬영 장치는 전자장치에서 전송되는 촬영 정보를 분석하고, 촬영 정보에 포함된 피사체 및 구도 정보에 기반하여 자율 비행하면서 피사체가 설정된 구도를 가지는 촬영 위치까지 이동하고, 촬영 위치에서 피사체를 자동으로 촬영할 수 있다.
본 발명의 다양한 실시예에서 "무인 촬영 장치"라는 용어는 카메라를 탑재하는 무인 이동장치를 의미하는 용어가 될 수 있다. 무인 촬영 장치는 무인 비행장치, 무인 자동차, 로봇 등이 될 수 있다. "자동 촬영"이라는 용어는 무인 촬영 장치가 촬영 모드에서 피사체를 기준점으로 하여 목표한 촬영 위치로 자동 이동하여 촬영하는 동작을 의미하는 용어가 될 수 잇다. "자율 비행"이라는 용어는 무인 촬영 장치가 전자장치에서 전송되는 피사체 및/또는 구도 정보에 기반하여 촬영 위치가 비행하는 동작을 의미하는 용어가 될 수 있다. "제 1 신호"라는 용어는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터를 의미하는 용어가 될 수 있으며, 전자장치에서 전송되는 신호가 될 수 있다. 제 1신호는 촬영 정보를 포함할 수 있다. "제 1 이미지"라는 용어는 전자장치에서 무인 촬영 장치가 자동 촬영할 이미지의 피사체 정보 및/구도 정보를 추출하는 기준 이미지를 의미하는 용어가 될 수 있다. "제 1 오브젝트"라는 용어는 제 1 이미지에 포함되는 피사체가 될 수 있으며, 무인 촬영 장치에서 이미지를 촬영할 때 기준이 되는 오브젝트가 될 수 있다. "제 1의 3차원 위치"라는 용어는 자동 촬영을 위해 피사체를 인식하는 위치가 될 수 있다. "제 2의 3차원 위치"라는 용어는 무인 촬영 장치가 제 1 신호에 기반하여 자율 비행하면서 도달하는 촬영 위치가 될 수 있다. "제 2 오브젝트"라는 용어는 무인 촬영 장치가 프리뷰(preview) 또는 촬영하는 이미지에 포함되는 오브젝트가 될 수 있으며, 무인 촬영 장치에서 촬영되는 제 1 오브젝트가 될 수 있다. "컴포지션(composition)"이라는 용어는 이미지의 구성, 배치, 구도, 배합 등을 의미할 수 있으며, 이미지를 촬영할 때 이미지 내의 오브젝트의 위치, 크기, 방향 등에 관련된 정보들을 포함할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 전자장치의 구성을 도시하는 도면이다. 도 4를 참조하면, 일 실시 예에 따른, 전자장치는 프로세서(400), 저장부(410), 카메라부(430), 통신부(420), 입력부(440), 디스플레이(450)을 포함할 수 있다.
프로세서(400)은 도 1의 프로세서(120) 및 도 2의 프로세서(210)이 될 수 있다. 프로세서(400)은 무인 촬영 장치의 자동 촬영을 위한 촬영 정보들을 생성할 수 있다. 촬영 정보는 제 1신호가 될 수 있다. 촬영 정보는 선택된 이미지(예를들면, 제 1 이미지)에 포함된 오브젝트(예를들면, 제 1 오브젝트)의 정보를 포함할 수 있다. 상기 촬영 정보는 무인 촬영 장치의 이동 제어 커맨드가 될 수 있다. 촬영 정보는 피사체 관련 정보는 피사체의 종류, 위치, 크기 및/또는 구도 정보들 중에 적어도 하나의 정보를 포함할 수 있다. 예를들면, 촬영 정보는 이미지 내에 위치되는 오브젝트의 위치 정보(예를들면, 피사체의 좌표, 또는 이미지의 가로/세로 화면 비율에 기반하는 오브젝트의 비율), 오브젝트의 크기 정보 등을 포함할 수 있다. 위치정보는 피사체의 중심점 및/또는 피사체의 윤곽(edge) 등에 관련되는 정보가 될 수 있다. 일 실시 예에 따르면, 촬영 정보는 두개 이상의 오브젝트들에 대한 위치 정보 및 크기 정보를 포함할 수도 있다. 예를들면, 오브젝트가 인물이면, 촬영 정보는 신체의 위치 정보(이미지 내의 신체의 위치 정보) 및 신체의 크기 정보가 될 수 있다. 예를들면, 신체는 인물의 얼굴이 될 수 있다. 예를들면, 신체는 인물의 얼굴 및/또는 얼굴을 포함하는 신체의 일부 또는 전부가 될 수 있다.
저장부(410)은 도 1의 메모리(130) 및 도 2의 메모리(230)이 될 수 있다. 저장부(410)은 무인 촬영 장치에서 촬영되는 이미지 정보들을 저장할 수 있다. 저장부(410)은 네트워크 통신을 통해 수신되는 이미지를 저장할 수 있다. 저장부(410)은 프로세서(400)에서 생성되는 촬영 정보를 저장할 수 있다. 저장부(410)은 컴포지션 데이터 베이스를 포함할 수 있다. 컴포지션 데이터 베이스는 복수의 구도 정보를 저장할 수 있다. 각 구도 정보는 오브젝트의 종류, 이미지 해상도 또는 크기(XY 비율), 오브젝트의 위치, 크기, 방향 등에 대한 정보, 구도 영역에 대한 정보 등을 포함할 수 있다.
통신부(420)은 도 1의 통신 인터페이스(170) 및 도 2의 통신 모듈(220)의 전부 또는 일부 구성이 될 수 있다. 통신 모듈(420)은 무인 촬영 장치와 무선 연결을 할 수 있다. 통신 모듈(420)은 무인 촬영 장치의 이동에 따른 경로 정보를 수신할 수 있다. 통신 모듈(420)은 전자장치에서 생성되는 촬영 정보를 무선 연결을 통해 무인 촬영 장치에 전송할 수 있다. 통신 모듈(420)은 무선 연결을 통해 무인 촬영 장치에서 촬영된 이미지 및 촬영 정보를 수신할 수 있다.
카메라부(430)은 도 1의 입출력 인터페이스(150) 및 도 2의 카메라 모듈(291)의 전부 또는 일부 구성이 될 수 있다. 카메라부(420)은 렌즈, 이미지 센서, 이미지 처리부, 카메라 제어부 등을 포함할 수 있다. 이미지 센서는 로우 드라이버, 픽셀 어레이 및 컬럼 드라이버 등을 포함할 수 있다. 이미지 처리부는 이미지 전처리부, 이미지 후처리부, 정지 영상 코덱, 동영상 코덱 등을 포함할 수 있다. 이미지 처리부는 프로세서(400)에 포함될 수도 있다. 카메라 제어부는 포커싱 및 트래킹 등을 제어할 수 있다.
입력부(440)은 도 1의 입출력 인터페이스(150) 및 도 2의 입력 장치(250)의 전부 또는 일부 구성이 될 수 있다. 입력부(440)은 전자장치의 동작을 제어하기 위한 입력 및 데이터를 입력할 수 있다. 입력부(440)은 터치 패널(touch panel)이 될 수 있다. 입력부(440)은 (디지털) 펜 센서를 더 포함할 수 있다. 입력부(440)은 키 버튼들을 더 포함할 수 있다.
디스플레이(450)는 도 1의 디스플레이(160) 및 도 2의 디스플레이(260)이 될 수 있다. 디스플레이(450)는 액정 디스플레이(liquid crystal display(LCD)), 또는 발광 다이오드(light-emitting diode(LED)) 디스플레이가 될 수 있다. LED 디스플레이는 OLED(organic light emitting diode) 및 AMOLED(active matrix OLED)를 포함할 수 있다.
입력부(440) 및 디스플레이(450)는 일체형의 터치 스크린(touch screen)으로 구성될 수 있다. 터치스크린은 프로세서(400)의 제어 하에 화면을 표시할 수 있으며, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 검출할 수 있다.
도 5는 본 발명의 실시예에 따른 무인 촬영 장치의 구성을 도시하는 도면이다. 도 5를 참조하면, 일 실시 예에 따른, 무인 촬영 장치는 프로세서(500), 이동 제어 모듈(510), 이동 모듈(520), 센서 모듈(530), 메모리 모듈(540), 통신 모듈(550), 카메라 모듈(560)을 포함할 수 있다. 다양한 실시예에 따라 무인 촬영 장치는 전자장치의 입력부(440)(예: 버튼) 및/또는 디스플레이(450)에 대응하는 구성을 포함할 수 있다.
프로세서(500)은 무인 촬영 장치의 적어도 하나의 다른 구성 요소들의 제어 및/또는 어플리케이션 실행에 따른 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(500)은 전자장치에서 전송되는 촬영 정보를 분석하여 촬영 위치를 결정할 수 있는 이미지의 구도 정보를 설정할 수 있다. 구도 정보가 설정되면, 프로세서(500)은 자동으로 촬영 어플리케이션을 실행할 수 있으며, 촬영 어플리케이션에서 이동 제어 모듈(510)을 제어하여 자동으로 이동(예를들면, 무인 비행 장치인 경우 자율 비행)시키고, 설정된 구도를 가지는 위치까지 이동되면 피사체를 자동 촬영할 수 있으며, 촬영이 종료되면 원래의 위치로 되돌아오도록 무인 촬영 장치를 제어할 수 있다. 프로세서(500)은 촬영된 이미지와 이미지를 촬영한 정보를 포함하는 촬영 정보를 전자장치에 전송할 수 있다.
이동 제어 모듈(510)은 무인 촬영 장치의 위치 및 자세 정보들을 이용하여 무인 촬영 장치의 이동을 제어할 수 있다. 이동 제어 모듈(510)은 무인 촬영 장치의 비행 및 자세를 제어할 수 있다. 이동 제어 모듈(510)은 통신 모듈(550)의 GPS 모듈 및 센서 모듈(530)을 통해 무인 촬영 장치의 자세정보 및/또는 위치 정보들을 획득할 수 있다.
무인 촬영 장치가 무인 비행장치이면, 이동 제어 모듈(510)은 획득되는 위치 및 자세정보에 따라 무인 비행체의 롤(roll), 피치(pitch), 요(yaw), 트로틀(throttle) 등을 제어할 수 있다. 이동 제어 모듈(510)은 호버링 동작을 제어할 수 있으며, 프로세서(500)에 제공되는 촬영 위치 정보에 기반하여 무인 촬영 장치를 목표 지점까지 자동으로 비행시킬 수 있다.
이동 모듈(520)은 이동 제어 모듈(510)의 제어에 기반하여 무인 촬영 장치를 이동시킬 수 있다. 무인 촬영 장치가 드론인 경우, 복수의 프로펠러들과 각각 대응되는 모터들을 포함할 수 있다.
한 실시예에 따르면, 이동 제어 모듈(510) 및 이동 모듈(520)은 네비게이션 장치가 될 수 있다.
센서 모듈(530)은 물리량을 계측하거나 무인 촬영 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(530)은 가속도 센서(acceleration sensor), 자이로 센서(gyro sensor), 기압 센서(barometer), 지자기 센서(terrestrial magnetism sensor, compass sensor), 초음파 센서(ultrasonic sensor), 영상을 이용하여 이동을 감지하는 옵티컬 플로(optical flow), 온/습도 센서(temperature-humidity sensor), 조도 센서(illuminance sensor), UV(ultra violet) 센서, 제스처 센서(gesture sensor)들의 일부 또는 전부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 센서 모듈(530)은 무인 촬영 장치의 자세를 제어하기 위한 센서들을 포함할 수 있다. 무인 촬영 장치의 자세를 계산하는 센서는 자이로 센서와 가속도 센서가 될 수 있다. 방위각을 계산하고 자이로 센서의 드리프트를 방지하기 위하여 지자기 센서의 출력을 결합할 수 있다.
메모리 모듈(540)은 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 모듈(540)은 무인 촬영 장치의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 메모리 모듈(540)은 소프트웨어(software) 및/또는 프로그램(program)을 저장할 수 있다. 프로그램은 커널(kernel), 미들웨어(middleware), 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다. 커널, 미들웨어, 또는 API의 적어도 일부는 운영 시스템(operating system(OS))으로 지칭될 수 있다.
본 발명의 다양한 실시예에 따른 메모리 모듈(540)은 컴포지션 데이터 베이스를 포함할 수 있다. 컴포지션 데이터 베이스는 복수의 구도 정보를 저장할 수 있다. 각 구도 정보는 피사체의 종류 정보, 이미지 해상도 또는 크기(XY 비율) 정보, 피사체의 위치, 크기, 방향 등에 대한 구도 정보, 구도 영역에 대한 정보 등을 포함할 수 있다. 메모리 모듈(540)은 전자장치에서 전송되는 촬영 정보를 저장할 수 있다. 촬영 정보는 자동 촬영할 목표 구도 정보 및/또는 카메라 제어 정보를 포함할 수 있다. 목표 구도의 정보는 이미지 내의 오브젝트의 크기 및 위치 정보를 포함할 수 있다.
한 실시예에 따르면, 메모리 모듈(540)은 프로세서(500)을 실행하도록 하는 인스트럭션들을 저장할 수 있다. 인스트럭션들은 프로세서(500)이 데이터(예를들면, 촬영 정보)의 적어도 일부에 기반하여 카메라 모듈560)의 오리엔테이션을 변경하도록 할 수 있다.
통신 모듈(550)은 무선 통신 모듈 및 유선 통신 모듈 중에 적어도 하나를 포함할 수 있다. 무선 통신 모듈은 셀룰러 통신 모듈 및 근거리 통신 모듈을 포함할 수 있다. 통신 모듈(550)은 GPS 모듈을 포함할 수 있다.
셀룰러 통신 모듈은 LTE(long-term evolution), LTE-A(LTE advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(wireless broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다.
근거리 통신 모듈은 WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system, 또는 GPS(global positioning system)) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는Galileo, the European global satellite-based navigation system중 적어도 하나를 포함할 수 있다. 통신 모듈(550)의 "GNSS"는 이하 “GPS”와 혼용되어 사용(interchangeably used)될 수 있다.
유선 통신 모듈은, 예를들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232)들 중에 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른GPS 모듈은 무인 촬영 장치의 이동 중 무인 비행장치의 위도, 경도, 고도, 속도, heading 정보 등의 위치 정보(longitude, latitude, altitude, GPS speed, GPS heading)를 출력할 수 있다. 위치 정보는 GPS 모듈을 통해 정확한 시간과 거리를 측정하여 위치를 계산할 수 있다. GPS 모듈은 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 획득할 수 있다.
통신 모듈(550)은 무인 촬영 장치의 실시간 이동 상태를 확인하기 위한 정보를 전송할 수 있다. 본 발명의 다양한 실시예에 따른 통신 모듈은 전자장치에서 전송되는 촬영 정보를 수신할 수 있다. 한 실시예에서 통신 모듈은 무인 촬영 장치에서 촬영된 이미지 및 촬영 정보를 전자장치에 전송할 수 있다.
카메라 모듈(560)은 촬영 모드에서 피사체를 촬영할 수 있다. 상기 카메라 모듈(560)은 렌즈, 이미지 센서, 이미지 처리부(image signal processor), 카메라 제어부등을 포함할 수 있다. 이미지 처리부는 어플리케이션 프로세서에 포함될 수 있다.
렌즈는 빛의 직진과 굴절의 성질을 이용하여 초점을 맞추는 기능(focusing) 및 피사체를 확대/축소하는 기능(zoom in/out)을 수행할 수 있다.
이미지 센서는 CMOS 또는 CCD (CMOS Image Sensor, CIS or Charge Coupled Device, CCD)의 구조를 가질 수 있으며, 이런 타입의 이미지 센서들은 픽셀 어레이(pixel array)와, 픽셀 어레이를 제어(row control) 및 읽어내기(readout) 위한 부분을 포함할 수 있다. 픽셀 어레이는 마이크로 렌즈 어레이, 컬러 필터 어레이 및 광 감지 소자 어레이들을 포함할 수 있다 예를들면, 컬러 필터 어레이의 컬러 필터들은 베이어 패턴(bayer pattern)으로 배열될 수 있다. 이미지 센서는 글로벌 셔터(global shutter) 방식 또는 롤링 셔터(rolling shutter) 방식으로 제어될 수 있다. 이미지 센서의 픽셀 어레이에서 리드 아웃(readout)되는 아날로그 픽셀 신호들은 변환기(analog to digital converter; ADC)를 통하여 디지털 데이터로 변환될 수 있다. 변환된 디지털 데이터는 이미지 센서의 내부 디지털 블록(digital block)을 통해서 MIPI(mobile industry processor interface)와 같은 외부 인터페이스를 통해서 외부(예를 들면 이미지 처리부)로 출력될 수 있다.
이미지 처리부는 이미지 전처리부 및 이미지 후처리부를 포함할 수 있다. 이미지 전처리부는 각 서브 프레임 이미지들에 대하여 AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focusing) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등의 동작을 수행할 수 있다. 이미지 후처리부는 색보간기(color interpolator), IPC(image processing chain), 색변환기(color converter) 등을 포함할 수 있다. 색보간기는 이미지 전처리된 서브 프레임 이미지들의 색보간(color interpolation) 동작을 수행할 수 있다. IPC는 색 보간된 이미지들의 잡음제거, 색보정 등을 수행할 수 있다. 색변환기는 RGB 데이터를 YUV 데이터로 변환할 수 있다.
이미지 처리부는 이미지 처리된 이미지들을 인코딩할 수 있는 인코더 및 인코딩된 이미지를 디코딩할 수 있는 디코더를 포함할 수 있다. 인코더 및 디코더는 정지 이미지를 인코딩 및 디코딩할 수 있는 정지 이미지 코덱(still iamge codec) 및/또는 동영상을 인코딩 및 디코딩할 수 있는 동영상 코덱(moving image codec)을 포함할 수 있다.
이미지 처리부는 이미지 처리된 고해상도의 이미지를 적정 해상도(예를들면, 디스플레이의 표시 해상도)로 스케일링(예를들면, resizing)하여 디스플레이에 출력할 수 있다. 또한 이미지 처리부는 이미지 처리 결과를 이용하여 이미지 센서를 포함하는 카메라 모듈 및/또는 이미지 처리부의 제어(예를 들면, AF, AE, AWB, IPC, 얼굴검출, 물체추적 등)에 사용할 수 있다.
카메라 제어부는 렌즈를 제어하는 렌즈 제어부와, 카메라의 방향(상, 하, 좌 및/또는 우측 방향)을 제어하는 방향 제어부를 포함할 수 있다. 렌즈 제어부는 렌즈의 구동을 제어하여 줌, 포커스, 조임 등의 동작을 수행할 수 있다. 방향 제어부는 피사체 방향으로 향할 수 있도록 카메라의 상하 및 좌우 방향에 대한 각도를 제어할 수 있다.
카메라 모듈(560)은 짐벌 카메라가 될 수 있다. 짐벌 카메라는 짐벌과 카메라를 포함할 수 있다. 짐벌은 무인 촬영 장치의 동요에 상관없이 무인 촬영 장치를 정립 상태로 유지시키는 기능을 수행할 수 있다. 카메라는 촬영 모드에서 프로세서(500)의 제어하에 목표된 위치에 도달하면 자동 촬영 동작을 수행할 수 있다. 카메라는 촬영 모드시 프로세서(500)에서 출력되는 카메라 제어 정보에 기반하여 카메라의 렌즈가 피사체 향하도록 카메라의 각도를 조절할 수 있다.
상기 프로세서(500)은 통신 모듈(550)을 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정할 수 있다. 프로세서는 무선 연결을 통해 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1신호(예를들면, 촬영 정보)를 수신할 수 있으며, 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함할 수 있다. 프로세서(500)은 제 1신호에 포함된 데이터 및 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정할 수 있으며, 무인 촬영 장치를 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 상기 네비게이션 장치를 제어할 수 있다. 프로세서(500)은 비행 중에 카메라 모듈(560)을 이용하여 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적할 수 있으며, 무인 촬영 장치에서 획득되는 제 2 이미지가 제 1 이미지에 대응하도록 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐할 수 있다. 프로세서(500)은 무선 연결을 통해 외부 전자장치로 캡쳐된 제 2 이미지를 송신할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 자동 촬영하는 방법을 도시하는 도면이다.
도 6을 참조하면, 일 실시 예에 따른, 무인 촬영 장치(690)는 사용자의 직접적인 제어를 받지 않고 스스로 촬영 동작을 수행할 수 있다. 예를들면, 무인 촬영 장치는 무인 비행장치가 될 수 있다. 전자장치로부터 목표 구도를 포함하는 촬영 정보를 수신하면, 무인 촬영 장치(690)는 수신된 촬영 정보와 카메라 모듈을 통해 수신되는 이미지의 피사체(object) 정보(예를들면, 프리뷰 이미지)를 기반으로 이동 제어 신호를 생성하고, 이동 제어신호에 의해 자율 비행할 수 있다. 무인 촬영 장치는 촬영 정보를 기반으로 목표 구도의 이미지를 촬영할 수 있는 적정 구도 위치로 이동한 후 자동으로 촬영할 수 있다. 전자장치에서 전송되는 촬영 정보는 이미지를 구성하는 피사체(object)의 구도 정보를 포함할 수 있다. 이하의 설명에서 피사체 및 오브젝트는 동일한 의미로 사용될 수 있다. 구도 정보는 이미지 내에 포함되는 메인 오브젝트 및/또는 적어도 하나의 배경 오브젝트들에 대한 위치 정보, 오브젝트들의 상대적인 위치, 오브젝트의 크기 정보들을 포함할 수 있다. 메인 오브젝트는 인물 및/또는 사물이 될 수 있다. 메인 오브젝트가 인물인 경우, 구도 정보는 이미지 내에 위치되는 신체(예를들면, 얼굴) 지표(예를들면, 신체의 위치 및 크기 등)에 관련된 정보들을 포함할 수 있다.
일 실시 예에 따른, 무인 촬영 장치(690)는 전자장치로부터 촬영 정보를 수신하면 촬영 모드를 수행할 수 있다. 촬영 모드는 전자장치에 의해 설정될 수 있으며, 무인 촬영 장치(690)가 설정할 수도 있다. 예를들면, 무인 촬영 장치(690)은 촬영 정보를 수신하면 촬영 모드를 설정하고, 수신된 촬영 정보 및 카메라 모듈을 통해 획득되는 이미지의 구도 정보에 기반하여 자율 비행하면서 촬영 동작을 수행할 수 있다.
촬영 모드가 설정되면, 무인 촬영 장치(690)는 동작 610에서 피사체(600)을 촬영하기 위하여 이륙(예를들면, 수직 상승)할 수 있다. 무인 촬영 장치(690)는 이륙한 후 피사체(600)를 인식할 수 있는 위치에 도달하면 동작 620에서 호버링(hovering)한 후 피사체(600)를 인식할 수 있다. 이륙 후 최초 인식되는 피사체(600)의 위치 및 크기는 촬영 정보에 포함된 피사체의 위치 정보 및 크기 정보와 다를 수 있다. 일 실시 예에 따른, 무인 촬영 장치(690)는 피사체(600)를 인식한 후, 전자장치에서 전송된 촬영 정보 및 획득되는 이미지의 구도 정보에 기반하여 목표 구도의 이미지를 촬영할 수 있는 위치까지 자율 비행할 수 있다. 예를 들어, 동작 631 - 동작 635는 무인 촬영 장치(690)가 화각을 고려하여 촬영 구도를 조정하면서 무인 촬영 장치(690)의 고도 및 거리를 변경하고, 비전(vision) 기반의 프레임 별 비행 제어신호를 생성하는 동작이 될 수 있다. 동작 631 - 635는 비전 기반의 자세 제어 포인트가 될 수 있으며, 무인 촬영 장치(690)는 카메라 모듈(560)을 통해 획득되는 이미지(예를 들면 프리뷰 이미지)의 피사체(예를들면, 주 피사체 및/또는 배경 피사체)의 구도 정보를 산출하고, 산출된 구도 정보와 전자장치에서 수신된 목표 구도 정보를 비교 분석하여 설정된 촬영 위치(목표 구도의 위치)까지 도달할 때까지 자율 비행할 수 있다.
무인 촬영 장치(690)는 자율 비행하면서 촬영 정보의 목표 구도와 일치하는 위치에 도달하면, 동작 640에서 피사체(605)를 포함하는 촬영 구도의 이미지를 촬영할 수 있다. 무인 촬영 장치(690)는 촬영 정보에 포함된 피사체의 크기 및 위치의 구도와 같은 구도(카메라 모듈(560)을 통해 획득되는 피사체의 크기/위치)로 인식되면, 무인 촬영 장치(690)는 동작 640에서 피사체의 크기/위치로 화각을 결정하여 자동 촬영할 수 있다. 무인 촬영 장치(690)는 촬영 동작을 수행한 후, 동작 650에서 원 위치(예를들면, 무인 촬영장치가 이륙한 지점)로 이동(자율 비행)하여 착륙할 수 있다. 또한 무인 촬영 장치(690)는 촬영 사진을 통신 모듈(550)을 통해 전자장치에 전송할 수 있다.
한 실시예에 따르면, 전자장치는 무인 촬영 장치(690)가 피사체(600)를 자동으로 촬영하도록 설정하고, 촬영 정보를 무인 촬영 장치(690)로 전송할 수 있다. 한 실시예에 따르면, 전자장치는 촬영 정보를 전송하고, 무인 촬영 장치(690)는 수신되는 촬영 정보에 기반하여 촬영 모드를 설정할 수 있다. 목표 구도 정보를 포함하는 촬영 정보를 수신하면, 무인 촬영 장치(690)는 호버링(hovering)하여 피사체를 확인하고, 목표 구도의 촬영 위치까지 자율 비행할 수 있다. 그리고 목표된 촬영 위치까지 이동하면, 무인 촬영 장치(690)는 피사체를 포함하는 설정된 구도의 사진을 촬영할 수 있다. 자동 촬영한 수행한 후, 무인 촬영 장치(690)는 촬영된 이미지를 전자장치에 전송할 수 있다.
무인 촬영 장치(690)는 무인 비행장치, 무인 자동차 및/또는 로봇 등이 될 수 있다. 이하의 설명에서는 무인 비행장치를 예로들어 설명하기로 한다.
무인 비행장치(UAV; unmanned aerial vehicle, uninhabited aerial vehicle)는 조종사 없이 지상 제어에 의해 비행하거나 또는 사전에 입력된 프로그램에 따라 또는 비행체 스스로 주위 환경(예를들면, 장애물, 항로 등)를 인식하여 자율 비행(autonomous flying)하는 비행체를 의미할 수 있다. 무인 비행장치는 이동 제어 모듈을 포함할 수 있으며, 이동 제어 모듈은 무인 촬영 장치(690)의 비행 제어(flight control)와 자세 제어(attitude control) 동작을 수행할 수 있다.
다양한 실시예에 따라, 무인 촬영 장치(690)는 디스플레이(미도시) 또는 버튼(미도시)을 포함할 수 있고, 전자장치가 아닌 무선 촬영 장치(690)의 디스플레이(미도시) 또는 버튼(미도시)에 의해 목표 구도를 포함하는 촬영 정보를 수신할 수 있다. 예를들면, 무인 촬영 장치(690)는 디스플레이를 통해 촬영 정보를 획득하여 저장할 수 있고, 저장된 촬영 정보에 기반하여 촬영 위치로 자율 비행하면서 피사체를 촬영할 수 있다.
한 실시예에 따라, 무인 촬영 장치(690)는 사용자로부터 촬영 정보를 획득하면, 수신된 촬영 정보와 카메라 모듈을 통해 수신되는 이미지의 피사체(object) 정보(예를들면, 프리뷰 이미지)를 기반으로 이동 제어 신호를 생성하고, 이동 제어 신호에 의해 자율 비행할 수 있다. 무인 촬영 장치(690)는 촬영 정보를 기반으로 목표 구도의 이미지를 촬영할 수 있는 적정 구도 위치로 이동한 후 자동으로 촬영할 수 있다. 다양한 실시예에서, 촬영 정보는 이미지를 구성하는 피사체(object)의 구도 정보를 포함할 수 있다. 구도 정보는 이미지 내에 포함되는 메인 오브젝트 및/또는 적어도 하나의 배경 오브젝트들에 대한 위치 정보, 오브젝트들의 상대적인 위치, 오브젝트의 크기 정보들을 포함할 수 있다.
일 실시 예에 따른, 무인 촬영 장치(690)는 디스플레이(미도시)를 통해 사용자로부터 촬영 정보를 획득하면 촬영 모드를 수행할 수 있다. 촬영 모드는 전자장치에 의해 설정될 수 있으며, 무인 촬영 장치(690)가 설정할 수도 있다. 예를들면, 무인 촬영 장치(690)은 촬영 정보를 수신하면 촬영 모드를 설정하고, 수신된 촬영 정보 및 카메라 모듈을 통해 획득되는 이미지의 구도 정보에 기반하여 자율 비행하면서 촬영 동작을 수행할 수 있다. 촬영 모드가 설정되면, 무인 촬영 장치(690)는 피사체(600)을 촬영하기 위하여 이륙(예를들면, 수직 상승)할 수 있다. 무인 촬영 장치(690)는 이륙한 후 피사체(600)를 인식할 수 있는 위치에 도달하면 호버링(hovering)한 후 피사체(600)를 인식할 수 있다. 이륙 후 최초 인식되는 피사체(600)의 위치 및 크기는 촬영 정보에 포함된 피사체의 위치 정보 및 크기 정보와 다를 수 있다. 일 실시 예에 따른, 무인 촬영 장치(690)는 피사체(600)를 인식한 후, 촬영 정보 및 획득되는 이미지의 구도 정보에 기반하여 목표 구도의 이미지를 촬영할 수 있는 위치까지 자율 비행할 수 있다.
무인 촬영 장치(690)는 자율 비행하면서 촬영 정보의 목표 구도와 일치하는 위치에 도달하면, 피사체(605)를 포함하는 촬영 구도의 이미지를 촬영할 수 있다. 무인 촬영 장치(690)는 촬영 정보에 포함된 피사체의 크기 및 위치의 구도와 같은 구도(카메라 모듈(560)을 통해 획득되는 피사체의 크기/위치)로 인식되면, 무인 촬영 장치(690)는 피사체의 크기/위치로 화각을 결정하여 자동 촬영할 수 있다. 무인 촬영 장치(690)는 촬영 동작을 수행한 후, 원 위치(예를들면, 무인 촬영장치가 이륙한 지점)로 이동(자율 비행)하여 착륙할 수 있다. 또한 무인 촬영 장치(690)는 촬영 사진을 통신 모듈(550)을 통해 전자장치에 전송할 수도 있다.
도 7은 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 구성 예를 도시하는 도면이다. 도 7에서 무인 촬영 장치는 쿼드콥터인 예를 도시하고 있다.
도 7을 참조하면, 프로세서(700)은 도 5의 프로세서(500)가 될 수 있다. 프로세서(700)은 수신되는 촬영 정보에 기반하여 자동으로 피사체를 촬영하도록 제어할 수 있다. 촬영 정보는 피사체의 위치 및 크기 정보를 포함할 수 있다. 예를들면, 피사체가 인물이면 촬영 정보는 신체 지표 정보(예를들면, 얼굴의 크기 및 얼굴 좌표 정보)가 될 수 있다. 예를들면, 인물 촬영의 경우, 촬영 정보(이미지)에 있는 피사체와 촬영 대상(프리뷰 이미지)의 피사체가 동일 인물이거나 동일 인물이 아닐 수 있다. 피사체의 동일 인물 여부에 상관없이 인물의 위치, 크기 등의 정보는 상대적 위치, 크기로 결정될 수 있다. 프로세서(700)은 카메라를 통해 획득되는 피사체의 구도 정보와 촬영 정보에 기반한 피사체의 구도 정보를 비교 분석할 수 있다. 프로세서(700)은 비교 결과에 따라무인 촬영 장치와 피사체 간의 상대적인 거리를 계산하여 거리 이동 커맨드를 생성할 수 있으며, 피사체의 수직 좌표로 무인 촬영 장치의 고도 이동 커맨드를 생성할 수 있고, 피사체의 수평 좌표로 무인 촬영 장치의 수평 및 방위각 커맨드를 생성할 수 있다.
이동 제어 모듈(710)은 도 5의 이동 제어 모듈(510)이 될 수 있다. 이동 제어 모듈(710)은 무인 촬영 장치의 위치 및 자세 정보들을 이용하여 무인 촬영 장치의 이동을 제어할 수 있다. 무인 촬영 장치가 무인 비행장치인 경우, 이동 제어 모듈(710)는 획득되는 위치 및 자세정보에 따라 무인 비행체의 롤(roll), 피치(pitch), 요(yaw), 트로틀(throttle) 등을 제어할 수 있다. 이동 제어 모듈(510)은 호버링 동작을 제어할 수 있으며, 프로세서(700)에 제공되는 자율 비행 커맨드(거리 이동, 고도 이동 수평 및 방위각 커맨드 등)에 기반하여 무인 촬영 장치를 촬영 목표 위치까지 무인 촬영 장치를 자율 비행시킬 수 있는 이동 제어 커맨드를 생성할 수 있다.
이동 모듈(720)은 도 5의 이동모듈(520) 될 수 있다. 이동 모듈이 쿼드콥터인 경우, MPU(microprocessor unit)(721a - 721d), 모터 구동부(722a - 722d), 모터(723a - 723d) 및 프로펠러(724a - 724d)을 포함할 수 있다. MPU(711a-711d)는 이동 제어 모듈(710)에 출력되는 촬영 위치 정보에 기반하여 각각 대응되는 프로펠러(724a - 724d)를 회전시키기 위한 제어 데이터를 출력할 수 있다. 모터 구동부(722a-722d)는 MPU(721a-721a)에 출력되는 대응되는 모터 제어 데이터를 구동 신호로 변환하여 출력할 수 있다. 모터(723a - 723d)는 각각 대응되는 모터 구동부(722a - 722d)의 구동 신호에 기반하여 대응되는 프로펠러(724a - 724d)의 회전을 제어할 수 있다.
한 실시예에 따르면, 촬영 모드에서 이동 모듈(720)은 이동 제어 모듈(710)의 제어에 기반하여 무인 촬영 장치를 촬영 위치로 자율 비행시킬 수 있다.
센서 모듈(730)은 도 5의 센서 모듈(530)이 될 수 있다. 센서 모듈(730)은 피사체의 모션 및/또는 제스처를 감지할 수 있는 제스처 센서(gesture sensor)(731), 비행하는 무인 촬영 장치의 각속도를 측정할 수 있는 자이로 센서(gyro sensor)(732), 대기의 압력 변화 및/또는 기압을 측정할 수 있는 기압 센서(barometer)(733), 지구 자기장을 측정할 수 있는 지자기 센서(terrestrial magnetism sensor, compass sensor)(734), 비행하는 무인 촬영 장치의 가속도를 측정하는 가속도 센서(acceleration sensor)(735), 초음파를 출력하여 물체에서 반사되는 신호를 측정하여 거리를 측정할 수 있는 초음파 센서(ultrasonic sensor)(736), 카메라 모듈을 이용하여 바닥 지형이나 무늬를 인지하여 위치를 산출할 수 있는 옵티컬 플로(optical flow)(737), 온도 및 습도를 측정할 수 있는 온/습도 센서(temperature-humidity sensor)(738), 조도를 측정할 수 있는 조도 센서(739a), 자외선을 측정할 수 있는 UV(ultra violet) 센서(739b)들의 일부 또는 전부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 센서 모듈(730)은 무인 촬영 장치의 자세를 계산할 수 있다. 무인 촬영 장치의 자세를 계산하는 센서는 자이로 센서(732)와 가속도 센서(735)가 될 수 있다. 방위각을 계산하고 자이로 센서(732)의 드리프트를 방지하기 위하여 지자기 센서(734)의 출력을 결합할 수 있다.
메모리 모듈(740)은 내장 메모리 및 외장 메모리를 포함할 수 있다. 메모리 모듈(740)은 도 5의 메모리 모듈(540)이 될 수 있다. 무인 촬영 장치의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 메모리 모듈(540)은 소프트웨어(software) 및/또는 프로그램(program)을 저장할 수 있다. 프로그램은 커널(kernel), 미들웨어(middleware), 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 메모리 모듈(740)은 촬영 모드에서 피사체를 촬영할 피사체의 크기 및 위치 정보를 포함하는 촬영 정보를 저장할 수 있다.
통신 모듈(750)은 도 5의 통신 모듈(550)이 될 수 있다. 무선 통신 모듈 및 유선 통신 모듈 중에 적어도 하나를 포함할 수 있다. 통신 모듈(750)은 RF 모듈(751), 셀룰러 모듈(752), Wifi 모듈(753), 블루투스 모듈(754), GPS 모듈(755)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 통신 모듈은 전자장치에서 전송되는 촬영 정보를 수신할 수 있다. 한 실시예에서 통신 모듈은 무인 촬영 장치에서 촬영된 이미지 및 촬영 정보를 전자장치에 전송할 수 있다.
본 발명의 다양한 실시예에 따른 GPS 모듈(755)은 무인 촬영 장치의 이동 중 무인 비행장치의 위도, 경도, 고도, 속도, heading 정보 등의 위치 정보(longitude, latitude, altitude, GPS speed, GPS heading)를 출력할 수 있다. 위치 정보는 GPS 모듈(755)을 통해 정확한 시간과 거리를 측정하여 위치를 계산할 수 있다. GPS 모듈(755)은 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 획득할 수 있다.
일 실시 예에 따른 무인 촬영 장치는 통신 모듈(750)을 통해 무인 촬영 장치의 실시간 이동 상태를 확인하기 위한 정보를 전자 장치로 전송할 수 있다.
카메라 모듈(760)은 카메라(769) 및 짐벌(768)를 포함할 수 있다. 짐벌(768)은 짐벌제어부(762), 센서(761), 모터 구동부(763-764), 모터(765-766)을 포함할 수 있다. 카메라 모듈(760)은 도 5의 카메라 모듈(560)이 될 수 있다.
카메라(769)는 촬영 모드에서 촬영 동작을 수행할 수 있다. 카메라(769)는 렌즈, 이미지 센서, 이미지 처리부, 카메라 제어부를 포함할 수 있다. 카메라 제어부는 프로세서(700)에서 출력되는 구도정보 및/또는 카메라 제어정보에 기반하여 카메라 렌즈의 상하좌우 각도를 조절하여 피사체와의 구도 및/또는 카메라 앵글(촬영 각도)을 조절할 수 있다.
카메라(769)는 무인 촬영 장치의 움직임에 영향을 받을 수 있다. 짐벌(768)은 무인 촬영 장치의 움직임에 관계없이 카메라(769)를 일정한 기울기를 유지할 수 있도록 하여 안정적인 이미지를 촬영할 수 있다. 짐벌(768)의 동작을 살펴보면, 센서(761)은 자이로 센서 및 가속도 센서를 포함할 수 있다. 짐벌제어부(762)은 자이로 센서 및 가속도 센서를 포함하는 센서(761)의 측정 값을 분석하여 무인 촬영 장치의 움직임을 인식할 수 있다. 짐벌제어부(762)은 무인 촬영 장치의 움직임에 따른 보상 데이터를 생성할 수 있다. 보상 데이터는 카메라 모듈(760)의 피치 또는 롤의 적어도 일부를 제어하기 위한 데이터일 수 있다. 예를 들어, 짐벌(768)은 롤 보상 데이터를 모터 구동부(763)에 전달할 수 있으며, 모터 구동부(763)은 롤 보상 데이터를 모터 구동신호로 변환하여 롤 모터(765)에 전달할 수 있다. 또 다른 예를 들어, 짐벌(768)은 피치 보상 데이터를 모터 구동부(764)에 전달할 수 있으며, 모터 구동부(764)은 피치보상 데이터를 모터 구동신호로 변환하여 피치 모터(766)에 전달할 수 있다. 롤 모터(765) 및 피치 모터(766)는 무인 촬영 장치의 움직임에 따라 카메라 모듈(760)의 롤 및 피치를 보상할 수 있다. 카메라(769)는 짐벌(768)에 의해 무인 촬영 장치(예를들면, 멀티콥터)의 회전(예를들면, 피치 및 롤)을 상쇄시켜 카메라(769)의 정립 상태로 안정화시킬 수 있다.
도 8a 및 도 8b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 플랫폼 구조를 도시하는 도면이다. 예를들면, 무인 촬영 장치는 드론이 될 수 있다.
도 8a를 참조하면, 드론은 복수의 프로펠러들을 이용하여 비행할 수 있다. 프로펠러는 모터의 회전력을 추진력을 변경할 수 있다. 드론은 로터(rotor)의 수(프로펠러의 수)에 따라, 4개이면 쿼드콥터, 6개이면 헥사콥터, 8개이면 옥토콥터라 칭할 수 있다.
드론은 어플리케이션 플랫폼 (application platform)(880) 및 플라이트 플랫폼(flight platform)(810)을 포함할 수 있다. 어플리케이션 플랫폼 (800)은 전자장치와 연동, 통신 연결(connectivity), 사용자 어플리케이션에 따른 동작 변경 등을 수행할 수 있다. 어플리케이션 플랫폼(800)은 프로세서(500)에 실행할 수 있다. 플라이트 플랫폼(810)은 비행 제어 및 항법 알고리즘을 실행할 수 있다. 플라이트 플랫폼(810)은 이동 제어 모듈(510)에서 실행될 수 있다. 무인 촬영 장치는 전자장치와 무선으로 연동하여 제어 신호를 받아 무인 비행 장치의 구동 및 서비스 제공을 하기 위한 어플리케이션 플랫폼과 항법 알고리즘에 따라 비행을 제어하기 위한 플라이트 플랫폼 등을 적어도 하나 이상 포함할 수 있다.
도 8b를 참조하면, 무인 촬영 장치는 촬영 모드에서 카메라 모듈(850)에서 획득되는 이미지(예를들면, 프리뷰 이미지)를 분석하여 촬영 목표 위치까지 자율 비행할 수 있다. 카메라 모듈(850)(예를들면, 도 7의 카메라 모듈(760))이 피사체를 포함하는 이미지를 획득하면, 프로세서(860)(예를들면, 도 7의 프로세서(700)은 획득되는 이미지를 분석하여 무인 촬영 장치를 조종하기 위한 커맨드를 생성할 수 있다. 프로세서(860)은 획득되는 피사체의 크기 정보를 분석하여 무인 촬영 장치와 피사체 간의 상대적인 거리를 계산하여 거리 이동 커맨드를 생성할 수 있으며, 피사체의 수직 좌표로 무인 촬영 장치의 고도 이동 커맨드를 생성할 수 있고, 피사체의 수평 좌표로 무인 촬영 장치의 수평 및 방위각 커맨드를 생성할 수 있다. 이와 같은 커맨드들은 무인 촬영 장치를 조종하기 위한 조종 신호들이 될 수 있다. 이동 제어 모듈(870)(예를들면, 도 7의 이동 제어 모듈(710))은 프로세서(860)에서 전달되는 조종 신호를 분석할 수 있으며, 분석된 조종 신호에 기반하여 이동모듈을 제어하여 무인 촬영 장치를 자율 비행(무인 촬영 장치의 자세 제어)시킬 수 있다.
무인 촬영 장치는 무인 비행 장치가 될 수 있으며, 무인 비행 장치는 이동 제어 모듈(870) 및 GPS 모듈(예를들면, 도 7의 GPS 모듈(755))을 포함할 수 있다. 이동 제어 모듈(870)은 센서 모듈(예를들면, 도 7의 센서 모듈(730))을 통해 무인 촬영 장치의 비행 자세, 자세 각속도 및 가속도 등을 측정할 수 있다. GPS 모듈은 무인 촬영 장치의 위치를 측정할 수 있다. 이와 같은 센서 모듈 및 GPS 모듈의 출력 정보는 무인 촬영 장치의 항법/자동 조종을 위한 기본 정보가 될 수 있다.
이동 제어모듈(870)은 롤과 피치 등의 무인 촬영장치의 자세를 계산하는 센서가 될 수 있으며, 센서 모듈의 자이로 센서(예를들면, 도 7의 자이로 센서(732))와 가속도 센서(예를들면, 도 7의 가속도 센서(735))를 이용할 수 있다. 무인 촬영장치의 자세는 자이로 센서를 이용하여 무인 촬영 장치의 각속도를 측정하고, 측정된 각속도를 적분하여 무인 촬영 장치의 자세를 계산할 수 있다. 이때 자이로 센서의 출력에 포함된 작은 오차 성분이 적분 과정을 통해 자세 오차가 커질 수 있다. 이동 제어 모듈(870)은 가속도 센서를 이용하여 무인 촬영 장치의 자세 계산을 보정할 수 있다. 추가로 무인 촬영 장치의 요각을 보상하는 방법은 지자기 센서의 출력을 이용할 수 있다. 이동 제어 모듈(870)은 정지 상태일 경우에는 가속도 센서의 출력을 이용하여 롤, 피치 각을 계산할 수 있다. 또 방위각을 계산하고 자이로 센서의 드리프트를 방지하기 위하여 지자기 센서(예를들면, 도 7의 지자기 센서(734))의 출력을 결합할 수 있다.
센서 모듈은 무인 촬영 장치의 비행에 따른 기압 차를 통해 고도를 측정할 수 있는 기압 센서(예를들면, 도 7의 기압 센서(733)), 저고도에서 정밀한 고도 측정을 수행하는 초음파 센서(예를들면, 도 7의 초음파 센서(735))들을 포함할 수 있다.
드론(멀티콥터)은 사진/비디오를 촬영할 수 있다. 드론은 리프트/토크(lift/torque)의 두 가지 원리로 비행할 수 있다. 헬리콥터는 주익의 회전에 따라 반작용을 상쇄시키기 위하여 꼬리 프로펠러를 사용하는데 반하여, 드론은 회전을 위해 멀티 프로펠러의 반은 시계 방향(clockwise; CW)으로 회전시키고 반은 반시계 방향(counter clockwise; CCW)로 회전 시킬 수 있다. 드론의 비행에 따른 3차원 좌표는 pitch(Y)/roll(X)/yaw(Z)에 결정될 수 있다.
또한 드론은 전후/좌우로 기울임(tilting)으로써 비행할 수 있다. 드론을 기울이면 로터에 들어오는 공기의 흐름의 방향이 바뀌게 될 수 있다. 예를들면, 드론을 앞으로 숙이면 공기가 위아래로 흐를 뿐 아니라 약간 뒤 쪽으로 나가게 될 수 있다. 이로인해 드론은 공기 층이 뒤로 밀리는 만큼 작용/반작용의 법칙에 따라 기체가 앞으로 전진할 수 있다. 드론을 기울이는 방법은 해당 방향의 앞쪽은 속도를 줄이고 뒤쪽의 속도를 높여주면 될 수 있다. 이런 방법은 모든 방향에 대하여 공통이기 때문에 로터의 속도 조절만으로 드론을 기울여 이동시킬 수 있다.
촬영 모드에서 무인 촬영 장치의 위치(높이, 고도)에 따라 카메라 앵글을 조절할 수 있다. 아이 레벨(eye level)은 사람의 눈높이에서 촬영하여 피사체를 수평방향으로 잡는 앵글이 될 수 있다. 일상생활의 시선과 같기 때문에 자연스럽게 인식될 수 있으며, 특별한 왜곡이나 조작이 느껴지지 않을 수 있다. 하이 앵글(high angle)은 전체의 상황을 보여줄 때 사용할 수 있는 앵글이 될 수 있다. 예를들면, 하이 앵글은 피사체의 위에서 아래를 내려다보는 카메라 앵글이 될 수 있다. 로우 앵글은 하이앵글과 반대로 촬영되는 피사체보다 낮은 위치에서 올려다보면서 촬영(앙각촬영) 방법이 될 수 있다.
본 발명의 다양한 실시예에서 무인 촬영 장치는 피사체의 위치 또는 구도 등에 따라 카메라를 제어하여, 카메라가 피사체를 향하도록 할 수 있다.
도 9a - 도 9g는 드론의 구조 및 구동 동작을 설명하는 도면이다.
도 9a는 드론이 쿼드콥터인 예를 도시하고 있다. 드론은 도 9a에 도시된 바와 같이 도 7과 같은 구성을 가지는 메인 보드(900) 짐벌 카메라(960), 프로펠러(910 - 940)을 포함할 수 있다. 드론은 도 9a 도시된 바와 같이 드론의 아래 쪽에 카메라를 장착하고, 비행하면서 카메라를 이용하여 영상을 촬영할 수 있다.
도 9b는 드론의 동작을 설명하기 위한 도면이다. 드론은 마주보는 프로펠러의 회전 방향이 같고 이웃한 프로펠러와의 회전 방향은 반대가 될 수 있다. 쿼드콥터 경우를 예로들면, 네개의 프로펠러(910 - 940) 중 두개의 프로펠러(910 및 930)은 915 및 935와 같이 시계방향으로 회전시킬 수 있으며, 두개의 프로펠러(920 및 940)은 925 및 945와 같이 반시계 방향으로 회전시킬 수 있다. 프로펠러들의 회전 방향이 다른 이유는 각 운동량 보존을 위함일 수 있다. 예를들면, 네개의 프로펠러가 같은 방향으로 회전한다면 각 운동량 보존에 의해 무인 촬영 장치가 한방향으로 계속 돌게 될 수 있다. 드론의 각 프로펠러들의 회전 속도를 조정해 방향 전환을 하는 것도 역시 각 운동량 보존을 이용하는 예가 될 수 있다.
일 실시 예에 따르면, 드론의 자세 제어 및 비행을 제어하는 동작은 이동 제어 모듈(예를들면, 도 7의 이동 제어 모듈(710))에서 수행할 수 있다. 이동 제어 모듈은 센서 모듈(예를들면, 도 7의 센서 제어 모듈(730))에서 수집된 정보를 분석하여 드론의 현재 상태를 인식할 수 있다. 이동 제어 모듈은 드론의 각 운동량을 측정하는 자이로 센서, 드론의 가속도 운동량을 측정하는 가속도 센서, 지구의 자기장을 측정하는 지자기 센서, 고도를 측정하는 기압센서, 드론의 3차원 위치 정보를 출력하는 GPS 모듈(예를들면, 도 7의 GPS 모듈(755))들의 일부 또는 전부를 이용할 수 있다. 이동 제어 모듈은 센서 모듈 및 GPS 모듈에서 출력되는 측정 정보를 기반으로 하여 드론이 비행하면서 균형을 잡을 수 있도록 프로펠러(910 - 940)들의 회전을 제어할 수 있다.
이동 제어 모듈은 센서 모듈 및 GPS 모듈의 측정 결과를 분석하여 드론의 비행을 안정적으로 제어할 수 있다. 드론의 전후좌우 이동은 원하는 방향 반대쪽에 있는 프로펠러 회전 속도를 높이면 될 수 있다. 이동하고 싶은 방향의 프로펠러 회전 속도를 낮추는 것도 같은 효과가 될 수 있다. 드론을 회전시킬 경우, 이동 제어 모듈은 마주 보고 있는, 즉 같은 방향으로 돌아가는 두 프로펠러의 회전 속도를 조정할 수 있다. 어느 한쪽으로 돌아가는 프로펠러의 각 운동량이 우세해지면, 균형이 깨지면서 드론이 반대 방향으로 회전하게 될 수 있다. 예를들면, 이동 제어 모듈이 시계 방향으로 회전하는 프로펠러(910 및 930)의 회전 속도를 증가시키면, 드론은 반시계 방향으로 방향 전환을 할 수 있다. 또한 이동 제어 모듈이 모든 프로펠러의 회전 속도를 줄이면 드론을 하강시킬 수 있으며, 회전 속도를 높이면 드론을 상승 시킬 수 있다.
드론은 다차원(예를들면, 3차원) 공간에서 상하 좌우 방향으로 방향을 변경 및 이동할 수 있다. 예를들면, 쿼드콥터인 경우, 드론은 프로펠러(910-940)의 회전을 제어하여 상승, 하강, 좌향 변경 및 우향 변경 동작을 수행할 수 있으며, 전진, 후진, 좌진 및 우진할 수 있다. 드론은 <하기 표1>과 같은 4개의 명령에 의해 드론의 이동을 제어할 수 있다.
상승, 하강 throttle
좌향 변경, 우향 변경 yaw
전진, 후진 pitch
좌진, 우진 roll
도 9c - 도 9d는 드론의 이동을 제어하는 예들을 설명하기 위한 도면이다. 예를들면, 드론은 쿼드콥터가 될 수 있다. 쿼드콥터는 4개의 프로펠러(910-940)의 회전 세기 조합으로 비행 방향과 이동을 제어할 수 있다. 도 9c와 같이 4개의 프로펠러(910-940)들의 RPM(revolution per minute)을 동시에 증가시키면 드론을 상승시킬 수 있으며, RPM을 동시에 감소시키면 드론을 하강시킬 수 있다. 위와 같은 방법으로, 프로펠러(910, 920)의 RPM을 증가시키면 드론을 전진시킬 수 있고, 프로펠러(930, 940)의 RPM을 증가시키면 드론을 후진시킬 수 있으며, 프로펠러(910, 940)의 RPM을 증가시키면 드론을 좌측방향으로 이동시킬 수 있고, 프로펠러(920, 930)의 RPM을 증가시키면 드론을 우측 방향으로 이동시킬 수 있다. 도 9d에 도시된 바와 같이 대각선 프로펠러(910 및 930 또는 920 및 940)을 다른 대각선의 프로펠러보다 세게 회전시키면 드론의 방향을 좌향 또는 우향으로 변경시킬 수 있다.
도 10a - 도 10c는 전자장치를 이용하여 무인 촬영 장치의 이동을 제어하는 동작을 설명하기 위한 도면이다. 예를들면, 무인 촬영 장치는 드론이 될 수 있다.
무인 촬영 장치(1090)는 비행 자세 및 비행을 제어하는 이동 제어 모듈(예를들면, 도 7의 이동 제어 모듈(710) 및 이동 모듈(예를들면, 도 7의 이동 모듈(720))과 무인 촬영 장치(1090)의 어플리케이션을 제어하는 어플리케이션 처리 모듈(예를들면, 도 5의 프로세서(500), 도 7의 프로세서(700)) 등을 포함할 수 있다. 이동 제어 모듈은 무인 촬영 장치(1090)의 플랫폼의 허브로, 무인 촬영 장치(1090)에 장착되는 각종 하드웨어 및 센서와 연결돼 자율비행을 수행할 수 있다. 어플리케이션 처리 모듈은 앱 코어(application core)로서, 운영체제를 탑재하고 있으며 API를 제공해 하드웨어와 소프트웨어를 구동하는 어플리케이션을 제공할 수 있다. 어플리케이션 처리 모듈 및 이동 제어 모듈은 도 8a와 같은 플랫폼을 구비할 수 있으며, 촬영 모드를 수행할 때 도 8b와 같은 방법으로 비행을 제어할 수 있다.
이동 제어 모듈은 무인 촬영 장치(1090)가 특정한 위치(예를들면, 카메라 모듈(예를들면, 도 7의 카메라 모듈(760))에서 획득되는 이미지가 설정된 촬영 구도를 가지는 위치, 촬영 위치)로 이동하기 위하여 어플리케이션 처리 모듈을 통해 정보를 획득할 수 있으며, 그 획득된 정보를 바탕으로 해당하는 목적지까지 무인 촬영 장치(1090)가 이동될 수 있도록 제어할 수 있다.
또한 무인 촬영 장치(1090)는 전자장치(1000)(예를들면, 스마트 폰)에 의해 원격 제어될 수 있다.
도 10a - 도 10c에 도시된 바와 같이, 전자장치(1000)는 무인 촬영 장치(1090)의 이동을 제어하기 위한 제 1 조그버튼(1010) 및 제 2 조그버튼(1020)을 디스플레이에 표시할 수 있다. 제 1 조그버튼(1010) 및 제 2 조그버튼(1020)은 사용자의 터치에 의해 활성화될 수 있으며, 전자장치(1000)는 터치 앤 드래그 방향에 따라 무인 촬영 장치(1090)의 이동을 제어하기 위한 명령을 무인 촬영 장치(1090)에 전송할 수 있다. 무인 촬영 장치(1090)의 어플리케이션 처리 모듈은 전자장치(1000)에서 전송되는 명령을 이동 제어 모듈에 전송할 수 있으며, 이동 제어 모듈은 이동 모듈을 제어하여 무인 촬영 장치의 이동을 제어할 수 있다. 전자장치(1000)의 제 1 조그버튼(1010)은 트로틀 및 요 명령을 발생할 수 있으며, 제 2 조그버튼(1020)은 피치 및 롤 명령을 발생할 수 있다.
도 10a는 무인 촬영 장치(1090)의 피치 및 롤 이동을 제어하는 동작을 설명하기 위한 도면이다. 피치는 무인 촬영 장치(1090)를 앞뒤로 이동시키는 것을 의미하며, 롤은 무인 촬영 장치를 좌우로 이동시키는 것을 의미할 수 있다. 예를들어, 사용자가 제 2 조그버튼(1020)을 1041 방향으로 드래그하면, 전자장치(1000)은 드래그 방향 및 드래그 거리를 분석하여 무인 촬영 장치(1090)에 전진 이동 및 이동 속도에 관련된 정보를 전송할 수 있다. 그러면 무인 촬영 장치(1090)의 이동 제어 모듈은 속도 정보에 따라 프로펠러(910, 920)의 RPM(revolution per minute) 을 프로펠러(930, 940)의 RPM 보다 크게 회전되도록 제어할 수 있다. 무인 촬영 장치(1090)는 1051 방향으로 전진 이동될 수 있다. 사용자가 제 2 조그버튼(1020)을 1043 방향으로 터치 및 드래그하면, 무인 촬영 장치(1090)은 프로펠러(930, 940)을 프로펠러(910, 920)보다 세게 회전시켜 1053 방향으로 무인 촬영 장치(1090)를 후진시킬 수 있다.
동일한 방법으로, 사용자가 제 2 조그버튼(1020)을 1045 방향으로 터치 및 드래그하면, 무인 촬영 장치(1090)는 프로펠러(910, 940)을 프로펠러(920, 930)보다 세게 회전시켜 1055 방향으로 무인 촬영 장치(1090)를 좌진시킬 수 있다. 사용자가 제 2 조그버튼(1020)을 1047 방향으로 터치 및 드래그하면, 무인 촬영 장치(1090)는 프로펠러(920, 930)을 프로펠러(910, 940)보다 세게 회전시켜 1057 방향으로 무인 촬영 장치(1090)를 우진시킬 수 있다.
도 10b는 무인 촬영 장치(1090)의 드론의 상승/하강을 제어하는 동작을 설명하기 위한 도면이다. 예를들어, 사용자가 제 1 조그버튼(1010)을 1061 방향으로 드래그하면, 전자장치(1000)는 드래그 방향 및 드래그 거리를 분석하여 무인 촬영 장치(1090)에 상승 이동 및 이동 속도에 관련된 정보를 전송할 수 있다. 그러면 무인 촬영 장치의 속도 정보에 따라 동시에 프로펠러(910 - 940)의 RPM을 증가시켜 무인 촬영 장치을 상승 이동시킬 수 있다. 사용자가 제 1 조그버튼(1010)을 1063 방향으로 터치 및 드래그하면, 무인 촬영 장치(610)은 프로펠러(910-940)의 RPM을 감소시켜 무인 촬영 장치을 하강 이동시킬 수 있다.
도 10c는 요(yaw) 이동을 제어하는 동작을 설명하기 위한 도면이다. 요는 무인 촬영 장치(1090)의 방향을 변경하는 것을 의미할 수 있다. 무인 촬영 장치(1090)는 도 9b에 도시된 바와 같이 프로펠러(910,930)과 프로펠러(920, 940)의 회전 방향을 다르게 제어할 수 있다. 예를들면, 사용자가 제 1 조그버튼(1010)을 1071 방향으로 드래그하면, 무인 촬영 장치(1090)는 시계방향으로 회전하는 프로펠러(910,930)의 RPM을 반시계 방향으로 회전하는 프로펠러(920, 940)보다 세게 회전되도록 제어하여 무인 촬영 장치(1090)를 우측 방향으로 변경할 수 있다. 사용자가 제 1 조그버튼(1010)을 1073 방향으로 드래그하면, 무인 촬영 장치(1090)는 반시계 방향으로 회전하는 프로펠러(920,940)의 RPM을 시계 방향으로 회전하는 프로펠러(910, 930)보다 세게 회전되도록 제어하여 무인 촬영 장치(1090)를 좌측 방향으로 변경할 수 있다.
상기와 같은 무인 촬영 장치(1090)의 비행 동작은 사용자가 전자장치(1000)의 제 1 조그버튼(1010) 또는 제 2 조그버튼(1020)을 조작하여 제어할 수 있다. 본 발명의 다양한 실시 예에 따르면, 무인 촬영 장치(1090)는 자율 비행을 수행할 수 있다. 본 발명의 다양한 실시예에 따른 무인 촬영 장치(1090)는 자동 촬영 동작을 수행할 수 있다. 무인 촬영 장치(1090)는 자동 촬영 동작을 수행함에 있어, 도 6에 도시된 바와 같이 전자장치(1000)에서 전송되는 촬영 정보에 기반하여 자율 비행을 할 수 있다. 무인 촬영 장치(1090)는 촬영 위치로 이동하기 위해, 도 10a - 도 10c에서 설명된 바와 같이 트로틀, 피치, 롤 및/또는 요 동작을 제어하여 목표 지점인 촬영 위치까지 자율 비행할 수 있다.
본 발명의 다양한 실시예에 따른 전자장치(1000)는 무인 촬영 장치(1090)를 통해 촬영하기 위한 정보(예: 구도, 위치, 높이, 거리 등)를 적어도 일부 포함하고 있는 이미지를 이용하여 촬영 정보를 생성한 후, 무인 촬영 장치(1090)에 전송할 수 있다. 무인 촬영 장치(1090)는 전자장치(1000)에서 전송되는 촬영 정보를 기반으로 자율 비행하면서 프리뷰 이미지의 구도를 확인할 수 있으며, 프리뷰 이미지가 수신된 촬영 정보와 대체적으로 일치하는 위치에서 자동 촬영 동작을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 전자장치(1000)는 전자장치(1000)에 저장되어 있거나 다른 장치로부터 수신한 이미지를 무인 촬영 장치(1090)로 전송할 수 있다. 무인 촬영 장치(1090)는 수신되는 이미지 내에 포함된 피사체를 인식하고, 자율 비행하면서 설정된 구도의 이미지가 인식되는 위치에서 자동 촬영 동작을 수행할 수 있다. 전자장치(1000)가 이미지를 전송하는 경우, 이미지의 해상도에 따라 전송되는 정보가 커질 수 있으므로, 전자장치(1000)는 이미지를 적어도 일부 가공(예: 해상도, 사이즈 등)한 이미지를 무인 촬영 장치(1090)로 전송할 수 있다. 무인 촬영 장치(1090)는 수신한 이미지를 분석하여 피사체의 위치 및 크기를 판단하고, 수신한 이미지와 대체적으로 일치하는 이미지를 촬영 하기 위한 구도를 결정하여야 할 수 있다.
본 발명의 다양한 실시예에서, 전자장치(1000)는 사용자가 선택한 이미지를 분석하여 오브젝트를 인식하고, 인식된 오브젝트의 정보를 추출하여 이미지 구도 정보를 생성한 후, 구도 정보를 포함하는 촬영 정보를 생성하여 무인 촬영 장치(1090)에 전송할 수 있다. 오브젝트 정보는 오브젝트의 크기 및 이미지 내의 오브젝트 위치 정보가 될 수 있다. 이미지의 구도 정보는 오브젝트 정보 및 이미지의 화면 비율 정보를 포함할 수 있다. 무인 촬영 장치(1090)는 촬영 정보를 수신하면 오브젝트를 인식하고, 인식된 오브젝트가 이미지의 구도 정보와 일치하는 위치까지 자율 비행한 후, 설정된 위치에서 자동 촬영할 수 있다. 전자장치(1000)는 적은 양의 촬영 정보를 생성하여 무인 촬영 장치(1090)에 전송할 수 있으며, 무인 촬영 장치(1090)는 촬영 정보에 기반하여 이미지의 설정 구도까지 자율 비행 및 자동 촬영 동작을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 무인 촬영 장치는, 하우징; 상기 하우징에 부착되거나 일체형으로 형성될 수 있으며, 전자장치를 3차원 위치로 비행시킬 수 있는 네비게이션 장치; 적어도 하나의 무선 통신 장치; 상기 하우징에 부착되거나 일체형으로 형성될 수 있는 카메라; 상기 네비게이션 장치, 통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및 상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는, 상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하고; 상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하며; 상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하고; 상기 전자장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 상기 네비게이션 장치를 제어하고; 상기 카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하고; 상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하고; 상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신할 수 있다.
본 발명의 다양한 실시예에 따른 무인 촬영 장치의 네비게이션 장치는 적어도 하나의 프로펠러 및 상기 프로펠러를 제어하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 데이터는 제 1 이미지의 컴포지션을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 제 1 오브젝트는 사람의 얼굴을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 인스터럭션들은 상기 프로세서가 상기 데이터의 적어도 일부에 기반하여 상기 카메라의 오리엔테이션을 변경하도록 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 적어도 하나의 무선 통신 장치; 하우징에 부착되거나 일체형으로 형성될 수 있는 카메라; 디스플레이; 통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및 상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는, 상기 통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하고; 상기 무선 연결을 통해 상기 무인 촬영 장치에 제 1신호를 전송하며, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하며; 및 상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신할 수 있다.
본 발명의 다양한 실시예에 따른 상기 데이터는 제 1 이미지의 컴포지션을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 상기 제 1 오브젝트는 사람의 얼굴을 포함할 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 전자장치 및 무인 촬영 장치의 촬영 동작을 도시하는 도면이다.
도 11을 참조하면, 전자장치(예를들면, 도 4의 프로세서(400))는 동작 1111에서 촬영 정보를 생성하기 위한 이미지를 설정할 수 있다. 이미지의 설정은 전자장치(예를들면, 갤러리, 앨범 등)에 저장 중인 사진을 선택하거나, 카메라부(430)을 통해 직접 촬영하여 선택하거나, 인터넷 등을 검색하여 사진을 다운로드하거나, 구도 정보를 직접 입력할 수 있다. 전자장치는 선택되는 이미지의 구도 정보를 추출하여 무인 촬영 장치가 사진을 촬영하기 위한 촬영 정보를 생성할 수 있다. 전자장치는 동작 1113에서 선택된 특징점들을 추출할 수 있다. 이미지의 특징점은 이미지에 포함된 피사체(오브젝트)의 크기 및 위치(예를들면, 이미지 내에서 피사체의 중심 좌표)등을 포함할 수 있다. 또한 특징점은 이미지의 비율(예를들면, 화면비 또는 화소수), 화각등을 포함할 수 있다. 예를들면, 피사체가 인물인 경우, 특징점은 신체의 크기 및 위치 등이 될 수 있다. 또한 이미지에 수평선과 같은 특징을 포함하면 수평선이 이미지에 표시되는 위치 정보를 포함할 수 있다. 전자장치는 이미지 내의 특징점을 추출한 후, 동작 1117에서 추출된 특징점들에 기반하는 목표 구도를 설정할 수 있다. 설정된 목표 구도는 촬영 정보에 포함될 수 있다.
전자장치는 동작 1117에서 생성된 촬영 정보를 통신부(420)을 통해 무인 촬영 장치에 전송할 수 있다. 전자장치는 동작 1117에서 무인 촬영 장치의 촬영 명령을 함께 전송할 수 있다.
무인 촬영 장치(예를들면, 도 5의 프로세서(500) 또는 도 7의 프로세서(700))는 동작 1117에서 촬영 정보를 수신할 수 있다. 무인 촬영 장치는 촬영 정보를 수신하면 스스로 촬영 모드를 설정할 수 있다. 무인 촬영 장치는 동작 1117에서 촬영 정보 및 촬영 실행 명령을 함께 수신할 수 있다. 무인 촬영 장치는 전자장치에서 전송되는 촬영 실행 명령에 의해 촬영 모드를 설정할 수 있다. 촬영정보는 무인 촬영 장치가 피사체의 크기 및 위치 정보를 포함하는 이미지의 구도 정보가 될 수 있다.
일 실시 예에 따르면, 촬영 모드가 설정되면, 무인 촬영 장치는 동작 1121에서 촬영 정보에 기반하여 피사체를 촬영하기 위하여 이동을 개시할 수 있다. 무인 촬영 장치가 드론이면 무인 촬영 장치는 이륙할 수 있다. 무인 촬영 장치는 이륙한 후 카메라 모듈(560)을 통해 피사체의 이미지를 획득할 수 있으며, 피사체가 인식되면 호버링하여 피사체를 인식할 수 있다. 피사체를 인식한 후, 무인 촬영 장치는 동작 1123에서 자율 비행(자세 유지)하면서 동작 1125에서 카메라 모듈(560)을 통해 이미지를 촬영할 수 있다. 이때 촬영되는 이미지는 프리뷰 이미지가 될 수 있다. 일 실시 예에 따르면, 무인 촬영 장치는 동작 1127에서 촬영되는 이미지를 동영상 스트림으로 전자장치에 전송할 수 있다.
무인 촬영 장치는 동작 1141에서 촬영되는 이미지의 특징점(예를들면, 사진 비율, 신체 지표, 수평선 및/또는 화각 등)들을 추출할 수 있다. 무인 촬영 장치는 동작 1143에서 촬영되는 이미지의 특징점들로부터 분석되는 이미지의 구도와 촬영 정보의 구도를 비교할 수 있으며, 동작 1145에서 두 이미지의 차이에 기반하여 무인 촬영 장치의 이동(자율 비행)을 제어할 수 있다. 무인 촬영 장치는 동작 1147에서 촬영되는 이미지의 구도와 촬영정보에 포함된 이미지의 구도를 비교하면서 두 이미지들의 구도가 같아지는 위치까지 이동(목표 구도가 될 때 이동)할 수 있다. 무인 촬영 장치는 동작 1149에서 목표 구도까지 이동됨을 인식하면 해당하는 위치에서 피사체를 자동 촬영할 수 있다. 무인 촬영 장치는 동작 1151에서 촬영된 이미지를 전자장치에 전송할 수 있으며, 동작 1171에서 원위치(이륙 위치)로 자율 비행하여 착륙할 수 있다.
전자장치는 동작 1151에서 무인 촬영 장치가 목표 구도 위치에서 촬영한 이미지를 수신할 수 있으며, 동작 1161에서 수신된 이미지를 저장부(410)에 저장할 수 있다. 전자장치는 동작 1163에서 무인 촬영 장치에서 수신된 이미지를 인터넷 또는 클라우드 망에 전송할 수 있다. 일 실시 예에 따르면, 무인 촬영 장치는 촬영된 이미지를 인터넷 또는 클라우드 망에 직접 전송할 수 있다. 무인 촬영 장치는 전자장치 또는 외부 망(예를들면, 인터넷 망 또는 클라우드 망)과 무선 연결되어 데이터 및/또는 이미지를 통신할 수 있다. 예를들면, 무인 촬영 장치는 통신 모듈(예를들면, 도 7의 통신 모듈(750)을 구비할 수 있다. 무인 촬영 장치는 셀룰러 모듈(예를들면, LTE, 3G 등)을 통해 전자장치 또는 외부 망과 무선 연결될 수 있다. 무인 촬영 장치는 블루투스 모듈 또는 와이파이 모듈을 통해 전자장치 또는 외부 망과 무선 연결될 수 있다. 무인 촬영 장치는 전자장치 또는 외부 망과 무선연결되어 촬영 정보를 수신할 수 있으며, 촬영된 이미지를 전자장치 또는 외부 망에 전송할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 전자장치가 이미지에서 촬영 정보를 생성하는 동작을 도시하는 흐름도이다.
도 12를 참조하면, 일 실시 예에 따른, 전자장치(예를들면, 도 4의 프로세서(400))는 선택된 이미지의 구도를 분석하여 촬영 정보를 생성할 수 있다. 예를 들어, 선택된 이미지는 전자장치의 저장된 이미지중 선택된 이미지, 카메라부(430)을 통해 촬영되는 이미지, 또는 인터넷 망 또는 클라우드 망을 통해 선택된 이미지일 수 있다. 전자장치는 동작 1211에서 이미지의 선택을 인식하면, 동작 1213에서 선택된 이미지 분석을 통해 이미지 내의 오브젝트를 인식할 수 있다. 예를 들어, 오브젝트는 인물 또는 사물이 될 수 있다. 일 실시 예에 따르면, 이미지 내에서 추출되는 오브젝트는 하나가 될 수 있으며, 또는 두개 이상이 될 수 있다. 예를들면, 오브젝트는 하나의 인물과 하나의 사물(예를들면, 수평선)이 될 수 있다. 오브젝트는 피사체가 될 수 있으며, 또는 피사체의 일부가 될 수 있다. 예를들면, 오브젝트는 인물 전체가 될 수 있으며, 또는 인물의 일부(예를들면, 얼굴을 포함하는 머리)가 될 수 있다. 전자장치는 오브젝트를 인식한 후, 동작 1215에서 인식된 오브젝트의 정보를 추출할 수 있다. 예를들면, 인물인 경우, 전자장치는 머리, 손, 발 및/또는 신체 등의 위치 및 크기 정보를 추출할 수 있다. 전자장치는 오브젝트 정보를 추출한 후, 오브젝트를 포함하는 이미지의 구도 정보를 생성할 수 있다. 구도 정보는 오브젝트를 포함하는 이미지의 구도 정보가 될 수 있다. 예를들면, 인물인 경우, 구도 정보는 이미지 내에 오브젝트 위치 및 크기를 포함할 수 있으며, 오브젝트 이외의 특징점(예를들면, 수평선, 태양 등)들을 더 포함할 수도 있다. 전자장치는 구도 정보를 기반으로 촬영 정보를 생성할 수 있다.
전자장치는 동작 1219 단계에서 통신부(420)을 통해 무인 촬영 장치로 촬영정보를 전송할 수 있다.
무인 촬영 장치는 전자장치로부터 수신된 촬영 정보에 기반하여 이미지를 촬영한 후, 촬영된 이미지를 전자장치에 전송할 수 있다. 전자장치는 동작 1221에서 무인 촬영 장치로부터 촬영 이미지를 수신할 수 있다. 전자장치는 동작 1223에서 이미지를 표시부(450)에 표시하고 저장부(410)에 저장할 수 있다. 일 실시 예에 따르면, 전자장치는 촬영된 이미지를 인터넷 망 또는 클라우드 망으로 전송할 수 있다.
도 13a 및 도 13b는 본 발명의 다양한 실시예에 따른 전자장치가 이미지의 구도정보를 추출하여 촬영 정보로 생성하는 동작을 설명하는 도면이다.
도 13a를 참조하면, 이미지(1310)는 인물(1320)을 포함할 수 있다. 이미지(1310)의 화면 비율은 가로 대 세로의 비율이 M:N이 될 수 있다. 예를들면, 화면 비율은 3:2, 4:3, 16:9 등이 될 수 있다. 또한 이미지(1310)의 해상도가 M*N이면, 해상도(예를들면, SD(standard definition), HD(high definition), full HD, UHD(ultra high definition) 등)를 화면 비율 정보로 이용할 수 있다. 인물인 경우, 신체의 특정 부분을 오브젝트로 설정하여 구도 정보를 생성할 수 있다. 예를 들어, 신체의 특정 부분이 얼굴인 경우, 전자장치의 프로세서(400) 및 무인 촬영 장치의 어플리케이션 처리 모듈(500)은 얼굴 인식 알고리즘 또는 프로그램을 수행할 수 있다. 전자장치는 촬영 정보를 생성할 때, 이미지 내에 포함된 인물의 얼굴 영역(1230)을 인식하고, 얼굴 영역(1230)의 중심점(1340) 정보를 추출할 수 있다. 예를들면, 얼굴 영역(1230)을 인식한 후, 얼굴 영역의 크기(a*b)를 설정할 수 있으며, 얼굴 영역의 중심점(1340)의 위치를 이미지 내의 좌표 값(x,y)으로 설정할 수 있다. 예를들면, 이미지의 화면의 비율이 M(가로 화면 길이) 및 N(세로화면 길이)이면, 전자장치는 얼굴 영역(1230)을 인식한 후 얼굴 영역의 크기(a: 이미지 내에서 얼굴 영역의 가로 방향 크기, b: 이미지 내에서 얼굴 영역의 세로 방향 크기)를 설정할 수 있으며, 얼굴 영역의 중심점 위치(이미지 영역 내의 가로 방향 위치 x 및 세로 방향 위치 y)를 설정할 수 있다.
전자장치는 피사체가 인물인 이미지가 선택되면, 도 13a에서와 같이 화면 비율 및 얼굴 영역을 인식한 후, 얼굴 영역의 크기 및 얼굴 영역의 중심점 위치 정보를 추출할 수 있으며, 화면 비율, 얼굴 영역의 크기 및 얼굴 영역의 위치 정보(예를들면, 얼굴 영역의 중심점 위치 정보)를 포함하는 구도 정보를 생성하고, 생성된 구도 정보를 이용하여 촬영 정보를 생성할 수 있다.
도 13b를 참조하면, 인물 사진인 경우, 촬영 정보는 이미지 영역에 위치되는 피사체의 구도 정보를 포함할 수 있다. 예를들면, 인물 사진의 경우, 주 피사체는 인물이 될 수 있다. 사용자는 촬영 전에 배경이 될 풍경을 설정한 후 인물을 배치할 수 있다. 인물의 배치는 3분할 구도를 응용하여 배치할 수 있다. 예를들면, 사진에서 인물의 위치는 사진 영역의 좌측 1/3 위치 또는 우측 1/3 위치에 배치할 수 있다.
한 실시예에 따르면, 무인 촬영 장치는 인물 사진인 경우, 먼저 인물의 얼굴을 인식하고, 인물의 얼굴이 인식되면 촬영 구도 정보에 기반하여 인물이 위치되도록 자율 비행하며, 목표 구도 위치에 인물이 위치되면 촬영 동작을 수행할 수 있다.
무인 촬영 촬영 장치는 이미지에 인물이 포함되는 인물 사진이면, 전자장치는 먼저 얼굴 영역(1350)을 인식하고, 얼굴영역(1350)의 위치 정보(예를들면, 얼굴 영역의 중심점 좌표 값)을 추출할 수 있다. 얼굴 영역(1350)의 정보를 추출한 후, 전자장치는 얼굴 영역(1350)의 정보를 기반하여 인물의 신체 지표(1360)을 산출할 수 있다. 신체 지표(1360)은 인물의 신장 및 성별에 따른 신체 영역의 크기가 될 수 있다. 얼굴 영역(1350)의 정보 및 신체 지표(1360)을 설정한 후, 전자장치는 얼굴영역(1350)의 정보 및 신체 지표(1360)의 정보를 포함하는 이미지의 목표 구도(1370)을 설정하고, 설정된 목표 구도에 따른 정보를 촬영 정보로 생성할 수 있다. 무인 촬영 장치는 전자장치에서 전송되는 촬영 정보를 기반으로 이동 제어 커맨드를 생성하면서 자율 비행할 수 있으며, 자율 비행에 의해 목표 구도(1370)의 이미지를 획득할 수 있는 위치(촬영 목표 위치)에 도달하면 자동으로 이미지를 촬영할 수 있다.
일 실시 예에 따른, 전자장치는 이미지에서 얼굴 영역(1350)의 정보들을 추출하고, 얼굴 영역(1350)의 정보에 적어도 일부 기반하여 신체 지표(1360)을 산출 할 수 있으며, 얼굴 영역(1350)의 정보 및 신체 지표(1360)을 포함하는 이미지의 구도 정보(1370)을 결정할 수 있다.
한 실시예에 따른 전자장치는 인물 사진이 선택되면(또는 촬영되는 이미지가 선택되면), 도 13b에 도시된 바와 같이 선택된 이미지에서 피사체의 신체 정보(예를들면, 얼굴의 크기 및 좌표, 신체 지표 등)를 기반으로 무인 촬영 장치의 이동에 필요한 촬영 정보를 생성할 수 있다. 예를들면, 무인 촬영 장치는 카메라모듈(560)을 통해 획득되는 오브젝트의 크기 정보(예를들면, 신체 크기 정보, 얼굴 크기 정보)에 기반하여 무인 촬영 장치와 피사체간의 상대적 거리를 도출하여 거리이동 커맨드를 생성할 수 있으며, 신체의 수직 좌표에 기반하여 무인 촬영 장치의 고도 이동 커맨드를 생성할 수 있고, 신체의 수평 좌표로 무인 촬영 장치의 수평 및 방위각 제어 커맨드를 생성할 수 있다. 피사체의 신체 지표는 얼굴, 실루엣 등 신체의 모든 부분을 사용하여 설정할 수 있으며, 착용하고 있는 옷이나 물체의 특징점도 포함할 수 있다. 본 발명의 다양한 실시예에서는 인물 사진의 경우, 인물의 얼굴을 기반으로 신체 지표 정보를 추출하는 동작을 예로들어 설명될 것이다.
도 14는 본 발명의 다양한 실시예에 따른 전자장치가 선택된 이미지를 분석하여 촬영 정보를 생성하는 동작을 도시하는 흐름도이다.
도 14를 참조하면, 일 실시 예에 따른, 전자장치(예를들면, 도 4의 프로세서(400))는 선택된 이미지의 구도를 분석하여 촬영 정보를 생성할 수 있다. 동작 1411에서 전자 장치는 이미지의 선택을 인식할 수 있다. 전자장치는 동작 1413에서 선택된 이미지 내의 오브젝트를 인식할 수 있다. 예를들어, 오브젝트는 이미지 내에 포함된 인물이 될 수 있으며, 사물이 될 수 있으며, 인물 및 사물이 될 수 있다. 이미지 내에서 추출되는 오브젝트는 하나가 될 수 있으며, 또는 두개 이상이 될 수 있다. 예를들면, 오브젝트는 두개의 인물 또는 인물 및 사물(예를들면, 수평선, 태양 등)이 될 수 있다. 전자장치는 동작 1415에서 인식된 오브젝트가 복수 개인가를 분석할 수 있다. 이때 오브젝트가 하나이면, 전자장치는 동작 1431에서 오브젝트의 정보를 추출할 수 있다. 오브젝트 정보는 오브젝트의 크기 및 위치 정보를 포함할 수 있다. 오브젝트 정보를 추출한 후, 전자장치는 동작 1423으로 진행할 수 있다.
전자장치는 동작 1415에서 인식된 오브젝트가 복수 개인 경우 동작 1417에서 첫 번째 오브젝트의 정보를 추출할 수 있다. 추출되는 오브젝트 정보는 오브젝트의 크기 정보 및 이미지 내에서의 오브젝트 위치 정보가 될 수 있다. 전자장치는 1419동작에서 하나의 오브젝트 정보를 추출한 후, 다음 오브젝트가 있는지 판단할 수 있다. 다음 오브젝트가 있는 경우, 전자장치는 동작 1419에서 이를 인식하고, 동작 1421에서 다음 오브젝트를 선택할 수 있다. 전자장치는 동작 1417을 재수행하여 선택된 오브젝트의 정보를 추출할 수 있다. 위와 같은 동작을 반복하며 마지막 오브젝트의 정보를 추출하면, 전자장치는 동작 1419에서 마지막 오브젝트의 정보 추출을 인식하고, 동작 1423으로 진행할 수 있다.
전자장치는 동작 1423에서 오브젝트의 정보들을 포함하는 이미지의 구도 정보를 생성할 수 있다. 구도 정보는 오브젝트를 포함하는 이미지의 구도 정보가 될 수 있다. 예를들면, 인물인 경우, 구도 정보는 이미지 내에 오브젝트 위치 및 크기를 포함할 수 있으며, 오브젝트 이외의 특징점(예를들면, 수평선, 태양 등)들을 더 포함할 수도 있다. 전자장치는 구도 정보를 기반으로 촬영 정보를 생성할 수 있다. 전자장치는 촬영 정보를 생성한 후, 동작 1425에서 통신부(420)을 통해 무인 촬영 장치와 무선 연결을 수행할 수 있으며, 무선 연결을 통해 촬영정보를 전송할 수 있다.
무인 촬영 장치는 전자장치에서 촬영 정보에 기반한 이미지를 촬영한 후, 촬영된 이미지를 전자장치에 전송할 수 있다. 무인 촬영 장치에서 이미지가 전송되면, 전자장치는 동작 1427에서 촬영 이미지를 수신할 수 있다. 전자장치는 동작 1429에서 수신된 이미지를 표시부(450)에 표시하거나 또는 저장부(410)에 저장할 수 있다. 일 실시 예에 따르면, 전자장치는 촬영된 이미지를 인터넷 망 또는 클라우드 망으로 전송할 수 있다.
도 15a 및 도 15b는 본 발명의 다양한 실시예에 따른 전자장치에서 이미지 내의 오브젝트들의 정보를 추출하는 예를 도시하는 도면이다.
도 15a를 참조하면, 선택된 이미지 내의 오브젝트들은 인물(1510)과 사물(1515)이 될 수 있다. 전자장치는 먼저 인물 오브젝트(1510)에 대한 정보를 추출할 수 있다. 인물 오브젝트(1510)는 인물 전체 또는 인물의 일부(예를들면, 얼굴 영역)가 될 수 있다. 오브젝트 정보는 인물의 크기 정보 및 인물의 이미지 내의 위치 정보가 될 수 있다. 첫 번째 오브젝트 정보를 추출한 후, 전자장치는 두 번째 오브젝트(1515)의 정보를 추출할 수 있다. 사물 오브젝트(1515)의 정보를 추출하는 방법은 인물 오브젝트(1510)의 정보를 추출하는 방법과 동일한 방법으로 추출할 수 있다. 예를들면, 사물 오브젝트(1515)의 크기 및 사물 오브젝트(1515)의 이미지 내의 위치 정보들이 될 수 있다. 여기서 위치 정보는 이미지의 화면 비율에 따른 오브젝트의 중심점 좌표 값이 될 수 있다. 사물 오브젝트는 크기 정보를 갖지 않을 수 있으며(예를들면, 수평선 등), 중심점 좌표 값을 갖지 않을 수 있다(예를들면, 강, 도로 등). 전자장치는 크기 및/또는 위치 정보로 표현할 수 없는 사물 오브젝트이면 사물 오브젝트의 윤곽선 등의 정보를 오브젝트 정보로 추출할 수 있다.
복수의 오브젝트들이 포함된 이미지는 도 15a와 같이 제1 오브젝트(1510)와 제2 오브젝트(1515)가 일정 영역에서 겹쳐질 수 있으며, 도 13b와 같이 제1 오브젝트(1520)와 제2 오브젝트(1525)가 서로 겹쳐지지 않는 영역에 위치될 수 있다. 도 15a와 같이 복수의 오브젝트들이 일부 영역에 겹쳐지는 경우, 무인 촬영 장치는 각 오브젝트들의 크기 및 위치 정보에 기반하여 오브젝트들이 겹쳐 있음을 인식할 수 있다.
복수의 오브젝트들이 포함된 이미지들은 메인 오브젝트 및 배경 오브젝트들로 구성될 수 있다. 메인 오브젝트는 인물(동물 포함) 및/또는 사물이 될 수 있다. 배경 오브젝트는 수평선, 지평선, 산, 태양, 구름, 바다 해수면, 다리, 건물, 나무 등과 같이 고정된 오브젝트가 될 수 있다. 전자장치는 무인 촬영 장치를 이용하여 이미지를 촬영할 때 배경 오브젝트의 위치를 포함하는 구도 정보를 생성할 수 있다.
도 15c는 이미지가 메인 오브젝트인 인물(1530) 및 두개의 배경 오브젝트(1532, 1534)를 포함하는 예를 도시하고 있다. 배경 오브젝트는 수평선(1532) 및 바닷가와 백사장의 경계면(1534)가 될 수 있다. 도 15d는 풍경 이미지를 촬영하는 예가 될 수 있다. 전자장치는 도 15d의 이미지에서 수평선(1542) 및 바다와 육지의 경계선(1544)을 포함하는 구도 정보를 목표 구도로 설정할 수 있다. 도 15d는 풍경 이미지를 촬영하는 예가 될 수 있다. 전자장치는 도 15d의 이미지에서 수평선(1552) 및 건물(1554)를 포함하는 구도 정보를 목표 구도로 설정할 수 있다. 도 15f는 이미지가 메인 오브젝트인 인물(1560) 및 하나의 배경 오브젝트(1562)를 포함하는 예를 도시하고 있다. 배경 오브젝트는 건물이 될 수 있다. 도 15g는 이미지가 메인 오브젝트인 인물(1570) 및 두개의 배경 오브젝트(1572, 1574)를 포함하는 예를 도시하고 있다. 배경 오브젝트는 지평선(1572) 및 건물(1574)가 될 수 있다. 도 15h는 이미지가 메인 오브젝트인 인물(1580) 및 두개의 배경 오브젝트(1582, 1584)를 포함하는 예를 도시하고 있다. 배경 오브젝트는 지평선(1582) 및 나무(1584)가 될 수 있다.
전자장치는 도 15a - 도 15h와 같은 이미지를 무인 촬영 장치를 통해 촬영할 때, 화면 비율, 화면에 위치되는 메인 오브젝트와 적어도 하나의 배경 오브젝트의 위치(좌표) 정보, 오브젝트들의 크기 등을 포함하는 구도 정보를 생성할 수 있다. 무인 촬영 장치는 메인 오브젝트의 위치 및 크기에 따른 구도를 설정할 수 있으며, 또한 메인 오브젝트와 배경 오브젝트들 간의 구도를 설정할 수 있다. 무인 촬영 장치는 전자장치에서 수신된 메인 오브젝트의 구도정보와 메인 오브젝트와 배경 오브젝트들 간의 구도 정보와 촬영된 오브젝트들의 구도 정보가 일치하면, 해당 위치에서 이미지를 캡쳐할 수 있다.
도 16a - 도 16d는 본 발명의 다양한 실시예에 따른 전자장치가 이미지를 선택하는 예들을 도시하는 도면이다.
도 16a를 참조하면, 무인 촬영 장치를 이용하여 자동 촬영을 수행하기 위한 모드가 설정되면, 전자장치는 1610과 같은 화면을 디스플레이(예를들면, 도 4의 디스플레이(450))에 표시할 수 있다. 초기 화면(1610)은 디폴트 구도(1611), 직접 촬영(1613), 인터넷(1615) 및 드로잉 입력(1617) 등의 항목을 포함할 수 있다. 디폴트 구도(1611)을 선택하면, 전자장치는 저장부(예를들면, 도 4의 저장부(410))에 저장된 이미지들을 표시할 수 있다. 저장된 이미지들은 앨범 및/또는 갤러리 등에 저장된 이미지가 될 수 있다. 세로모드(1620)에서 전자장치는 이미지(1621 -1623)와 같이 표시할 수 있으며, 가로 모드(1630)이면 이미지(1631 - 1636)과 같이 표시할 수 있다. 세로모드(1620) 또는 가로모드(1630)에서 표시되는 이미지들 중에서 이미지가 선택되면, 전자장치는 선택된 이미지에 기반하여 촬영 정보를 생성할 수 있다. 예를들면, 전자장치는 선택된 이미지의 특징점(예를들면, 사진 비율, 신체 지표, 수평선, 화각 등)을 도출하고, 도출된 특징점에 기반하여 목표 구도를 포함하는 촬영 정보를 설정할 수 있다.
도 16b를 참조하면, 초기화면(1610)에서 직접 촬영(1613)을 선택하면, 전자장치는 모드에 따라 촬영 동작을 수행할 수 있다. 세로 모드(1620)에서 촬영 모드를 수행하면, 전자장치는 촬영 사진(1641)을 디스플레이에 표시할 수 있다. 이때 디스플레이는 촬영 사진(1641) 이외에 이미지들이 저장된 카테고리 폴더(1642-1644)가 표시될 수 있다. 그리고 촬영된 사진은 섬네일 이미지(1645)로 표시될 수 있으며, 전자장치는 섬네일 이미지에서 선택되는 이미지(1646)에 기반하여 촬영 정보를 생성할 수 있다.
도 16c를 참조하면, 가로모드(1630)에서 전자장치는 카메라부(예를들면, 도 4의 카메라부(430))에서 획득되는 이미지(1641)를 가로 모드의 디스플레이에 표시할 수 있다. 사용자가 섬네일 이미지 버튼(1647)을 선택하면, 전자장치는 섬네일 이미지(1645)를 표시할 수 있다. 섬네일 이미지(1645)에서 숫자 1-8은 섬네일 이미지가 될 수 있으며, 섬네일 이미지(1645)의 숫자 8은 더보기 섬네일 이미지가 될 수 있다. 더보기 섬네일 이미지가 선택되면, 전자장치는 다음 섬네일 이미지들을 표시할 수 있다. 사용자는 섬네일 이미지(1645)에서 촬영 정보를 생성하기 위한 섬네일 이미지(1648)를 선택할 수 있다. 전자장치는 사용자에 의해 선택된 섬네일 이미지(1648)의 이미지에 기반하여 촬영 정보를 생성할 수 있다. 도 16d를 참조하면, 초기화면(1610)에서 인터넷(1615)을 선택하면, 전자장치는 모드에 따라 인터넷에 연결되어 이미지를 선택할 수 있다. 세로 모드(1620)에서 인터넷이 선택되면, 전자장치는 인터넷에서 검색되는 이미지를 섬네일 이미지(1651)로 표시할 수 있다. 전자장치는 디스플레이에 다운로드되는 사진을 저장할 수 있는 폴더(1653-1655)를 표시할 수 있다. 섬네일 이미지(1651)에서 숫자 1-8은 개별적인 섬네일 이미자가 표시되는 영역들이 될 수 있다. 섬네일 이미지(1651)에서 숫자 8 영역이 선택되면, 전자장치는 다음 섬네일 이미지들을 표시할 수 있다. 사용자는 섬네일 이미지(1651)에서 촬영 정보를 생성하기 위한 섬네일 이미지(1652)를 선택할 수 있다. 전자장치는 사용자에 의해 선택된 섬네일 이미지(1652)를 선택화면(1656)으로 표시하고, 선택된 이미지에 기반하여 촬영 정보를 생성할 수 있다.
가로 모드(1630)에서 인터넷(1615)가 선택되면, 전자장치는 사용자에 의해 검색된 항목의 이미지들을 섬네일 이미지(1651)로 표시할 수 있다. 사용자는 표시되는 섬네일 이미지(1651)에서 촬영 정보를 생성하기 위한 섬네일 이미지(1655)를 선택할 수 있다. 전자장치는 사용자에 의해 선택된 섬네일 이미지(1655)를 선택화면(1658)로 표시할 수 있다. 전자장치는 사용자에 의해 선택된 이미지에 기반하여 촬영 정보를 생성할 수 있다. 도 16e를 참조하면, 초기화면(1610)에서 드로잉 입력(1617)을 선택하면, 전자장치는 모드에 따라 표시부(450)에 드로잉 영역을 표시할 수 있다. 드로잉 입력이 선택되면, 전자장치는 드로잉 영역(1661), 인물 추가 버튼(1665) 및 촬영버튼(1664)를 표시할 수 있다. 예를들면, 드로잉 영역(1661)에 표시되는 오브젝트는 인물(1663) 및 수평선(1662)을 포함할 수 있다. 1인 촬영(1660)인 경우, 전자장치는 드로잉 영역(1661)에 인물(1663)을 표시할 수 있다. 사용자가 인물(1663)이 표시되는 영역을 드래그하면,전자장치는 인물(1663)이 표시되는 영역의 크기 및/또는 위치를 조정할 수 있다. 또한 사용자가 드로잉 영역(1661)에 표시되는 수평선(1662)을 드래그하면 수평선(1662)이 표시되는 위치를 조정할 수 있다. 전자장치는 드로잉 입력이 종료되면, 드로잉 화면에 기반하여 촬영 정보를 생성할 수 있다.
전자장치는 드로잉 입력이 가능한 화면을 표시할 때, 인물 추가 버튼(1665)를 표시할 수 있다. 사용자가 인물 추가 버튼(1665)를 선택하면, 전자장치는 2인 촬영(1670) 화면을 표시할 수 있다. 인물 추가 버튼(1665)가 선택되면, 전자장치는 1인 촬영(1660)의 화면에서 추가 인물(1671)이 표시되는 2인 촬영(1670) 화면을 표시할 수 있다. 2인 촬영(1670)의 화면은 드로잉 영역(1661)에서 인물(1663) 영역의 우측에 추가 인물(1671)이 표시되는 예를 도시하고 있다. 인물(1663) 또는 인물(1671)이 표시되는 영역 또는 수평선(1662)가 표시되는 영역에서 드래그가 감지되면, 전자장치는 드래그 방향으로 표시 영역 또는 위치를 변경할 수 있다. 표시 영역의 변경은 영역을 확장 또는 축소하는 것이 될 수 있다. 2인 촬영(1670)에서 다시 사람 추가 버튼(1665)가 선택되면, 전자장치는 인물을 추가하여 3인 촬영 화면으로 표시할 수 있다. 전자장치는 드로잉 입력이 종료되면, 드로잉 화면에 기반하여 촬영 정보를 생성할 수 있다.
사용자는 드로잉 영역(1661)에 원하는 사진의 피사체 및 구도를 직접 드로잉할 수 있다. 직접 입력(1680) 화면을 참조하면, 사용자는 드로잉 영역(1661)에 촬영 구도를 설정하기 위한 피사체(1683, 1685)를 직접 드로잉할 수 있다. 예를들면, 사용자는 주 피사체(1685)(예를들면, 인물)의 크기 및 위치를 드로잉 영역(1611)에 직접 드로잉할 수 있으며, 가이드 선(1683)(예를들면, 수평선)을 직접 드로잉할 수 있다. 전자장치는 드로잉 입력이 완료되면, 드로잉 영역(1611)에 드로잉된 정보에 기반하여 촬영 정보를 생성할 수 있다.
본 발명의 다양한 실시예에 따른 전자장치는 도 16a - 도 16e에 도시된 바와 같이, 사진 이미지에 기반하여 촬영 정보를 생성할 수 있다. 한 실시예에 따르면, 전자장치는 저장 중인 사진들 중에서 촬영 정보를 생성하기 위한 사진을 선택할 수 있다. 한 실시예에 따르면, 전자장치는 카메라부(예를들면, 도 4의 카메라부(430))을 통해 촬영 정보를 생성하기 위한 사진을 촬영할 수 있다. 한 실시예에 따르면, 전자장치는 인터넷 등을 검색하여 촬영 정보를 생성하기 위한 사진을 선택할 수 있다. 한 실시예에 따르면, 전자장치는 사용자에 의해 직접 드로잉되는 드로잉 이미지에 의해 촬영 정보를 생성할 수 있다.
사진 이미지 또는 드로잉 이미지가 설정되면, 전자장치는 무인 촬영 장치가 사진을 촬영하기 위한 촬영 정보를 생성할 수 있다. 전자장치는 설정된 이미지의 특징점을 추출할 수 있다. 추출되는 특징점은 이미지에 포함된 피사체(오브젝트)의 크기 및 위치(예를들면, 이미지 내에서 피사체의 중심 좌표)등을 포함할 수 있다. 또한 특징점은 이미지의 비율(예를들면, 화면비) 및/또는 화각 등을 포함할 수 있다. 예를들면, 피사체가 인물인 경우, 특징점은 신체의 크기 및 위치 등이 될 수 있다. 또한 이미지에 수평선과 같은 특징을 포함하면 수평선이 이미지에 표시되는 위치 정보를 포함할 수 있다. 전자장치는 이미지 내의 특징점을 추출한 후, 추출된 특징점들에 기반하는 목표 구도를 설정할 수 있다. 설정된 목표 구도는 촬영 정보에 포함될 수 있다.
도 17a - 도 17e는 본 발명의 다양한 실시예에 따른 전자장치가 촬영 정보를 무인 촬영 장치에 전송하는 방법을 도시하는 도면이다.
도 17a를 참조하면, 전자장치(1700)은 스마트 폰이 될 수 있다. 전자장치(1700)은 선택된 이미지에서 오브젝트의 정보를 추출하여 촬영 정보를 생성할 수 있다. 전자장치(1700)은 무인 촬영 장치(1710)에 무선 연결하여 촬영 정보를 촬영 목표 구도로 전송할 수 있다. 무인 촬영 장치(1710)는 수신된 촬영 정보에 기반하여 촬영 목표 구도의 위치까지 자율 비행하며, 설정된 구도 위치에서 촬영할 수 있다.
도 17b를 참조하면, 전자장치(1730)은 웨어러블 디바이스(예를들면, watch phone) 폰이 될 수 있다. 전자장치(1730)은 선택된 이미지에서 오브젝트의 정보를 추출하여 촬영 정보를 생성하고, 무인 촬영 장치(1710)에 촬영 정보를 촬영 목표 구도로 전송할 수 있다. 무인 촬영 장치(1710)는 수신된 촬영 정보에 기반하여 촬영 목표 구도의 위치까지 자율 비행하며, 설정된 구도 위치에서 촬영할 수 있다.
도 17c를 참조하면, 웨어러블 디바이스(1730)은 셀룰러 통신 모듈을 구비할 수 있으며, 또는 블루투스 통신 모듈만을 구비할 수도 있다. 블루투스 통신 모듈만을 구비하는 웨어러블 디바이스(1730)은 스마트 폰과 같은 전자장치(1700)을 통해 외부 전자장치들과 연결될 수 있다. 또한 웨어러블 디바이스(1730)은 스마트 폰과 같은 전자장치(1700)에 비해 상대적으로 출력 특성이 낮으며, 작은 배터리 용량을 가질 수 있다. 예를들면, 웨어러블 디바이스(1730)과 무인 촬영 장치(1710)의 통신 거리가 원거리이면 통신이 어렬워질 수 있다. 예를들면, 웨어러블 디바이스(1730)와 무인 촬영 장치(1710)와 데이터 통신량이 커지면(예를들면, 촬영 정보의 전송, 촬영 이미지의 수신 등), 전원 소모량이 커질 수 있다.
웨어러블 디바이스인 전자장치(1730)은 선택된 이미지에서 오브젝트의 정보를 추출하여 촬영 정보를 생성하고, 스마트 폰인 전자장치(1700)에 촬영 정보를 전송할 수 있다. 스마트 폰인 전자장치(177)은 수신된 촬영 정보를 무인 촬영 장치(1710)에 촬영 목표 구도로 전송할 수 있다. 무인 촬영 장치(1710)는 수신된 촬영 정보에 기반하여 촬영 목표 구도의 위치까지 자율 비행하며, 설정된 구도 위치에서 촬영할 수 있다.
도 17d를 참조하면, 무인 촬영 장치(1710)는 자체에 내장된 목표 구도로 자율 비행하여 촬영 동작을 수행할 수 있다. 촬영 구도(a-c)가 설정되면, 무인 촬영 장치(1710)은 자체에 저장된 촬영 정보에 기반하여 촬영 목표 구도의 위치까지 자율 비행하며, 설정된 구도 위치에서 촬영할 수 있다.
도 17e를 참조하면, 전자장치(1700)은 클라우드/인터넷 망(1750)을 통해 원하는 구도를 가지는 이미지를 선택할 수 있다. 클라우드/인터넷 망(1750)은 다수의 외부 전자장치(1740, 1745)들이 연결될 수 있으며, 외부 전자장치(1740, 1745)는 클라우드/인터넷망(1750)에 다양한 구도를 가지는 사진들을 업로드할 수 있다. 전자장치(1700)은 클라우드/인터넷망(1750)에 접속하여 원하는 구도를 가지는 이미지를 선택할 수 있다. 이미지를 선택한 후, 전자장치(1700)은 선택된 이미지에서 오브젝트의 정보를 추출하여 촬영 정보를 생성할 수 있으며, 무인 촬영 장치(1710)에 무선 연결하여 촬영 정보를 촬영 목표 구도로 전송할 수 있다. 무인 촬영 장치(1710)는 수신된 촬영 정보에 기반하여 촬영 목표 구도의 위치까지 자율 비행하며, 설정된 구도 위치에서 촬영할 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 촬영 동작을 수행하는 방법을 도시하는 흐름도이다.
도 18을 참조하면, 무인 촬영 장치(예를들면, 도 5의 프로세서(500) 또는 도 7의 프로세서(700))는 촬영 정보에 기반하여 촬영 동작을 수행할 수 있다. 촬영 정보는 이미지 내의 오브젝트 정보를 포함할 수 있다. 오브젝트 정보는 이미지 내의 피사체의 전부 또는 일부가 될 수 있다. 일 실시 예에 따르면, 전자장치로부터 촬영 정보를 수신하면, 무인 촬영 장치는 촬영 모드를 설정할 수 있다. 촬영 모드가 설정되면, 무인 촬영 장치는 저장된 촬영 정보를 기반으로 촬영 동작을 수행할 수 있다. 또한 무인 촬영 장치에 촬영 모드가 설정되면, 무인 촬영 장치는 저장된 촬영 정보에 기반하여 자동으로 촬영 동작을 수행할 수 있다. 촬영 모드의 설정은 전자장치의 제어에 의해 수행될 수 있으며, 무인 촬영 장치의 외부 버튼을 통해 수행될 수 있다.
촬영 모드가 설정되면, 무인 촬영 장치는 동작 1811에서 촬영 정보를 분석하여 촬영할 이미지의 구도를 설정할 수 있다. 구도를 설정할 후, 무인 촬영 장치는 동작 1813에서 이동을 시작할 수 있다. 무인 촬영 장치가 무인 비행장치이면, 무인 촬영 장치는 동작 1813에서 이륙하여 오브젝트를 탐색하기 위하여 호버링할 수 있다. 무인 촬영 장치는 호버링하면서 자동 촬영할 오브젝트를 인식할 수 있다. 인물 사진을 자동 촬영하는 경우, 오브젝트는 사람의 얼굴이 될 수 있다. 무인 촬영 장치는 촬영할 사진의 구도를 확인한 후, 자동 이륙(예를들면, 수직 이륙)하여 오브젝트를 찾기 시작하며, 오브젝트가 인식되면 호버링하여 구도를 확인할 수 있다. 무인 촬영 장치는 오브젝트를 인식하면, 1815 단계에서 무인 촬영 장치의 이동을 시작할 수 있다.
무인 촬영 장치는 동작 1817에서 목표 구도가 아님을 인식하면, 동작 1819에서 카메라 모듈(560)에서 획득되는 이미지와 촬영 정보에 의해 설정된 이미지의 구도를 비교 분석할 수 있다. 무인 촬영 장치는 카메라 모듈(560)에서 획득되는 이미지의 오브젝트와 촬영 구도의 오브젝트를 비교 분석할 수 있으며, 동작 1821에서 분석 결과에 따라 이동 제어신호를 생성할 수 있다. 무인 촬영 장치는 동작 1823에서 이동 제어신호에 기반하여 자율 비행을 할 수 있다. 목표 구도가 아니면, 무인 촬영 장치는 동작 1817에서 이를 인식하고, 동작 1817 에서 동작 1823의동작을 반복 수행할 수 있다.
무인 촬영 장치는 카메라 모듈(560)에서 획득되는 이미지가 설정된 구도의 이미지와 일치 또는 유사해지는 위치가 되도록 자율 비행할 수 있다. 무인 촬영 장치는 동작 1817에서 카메라 모듈(560)에서 촬영되는 이미지의 구도가 목표 구도의 이미지와 동일해짐을 인식하면, 동작 1829에서 피사체를 자동으로 촬영할 수 있다. 도 19a 및 도 19b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 목표 구도로 자율 비행하는 동작을 설명하기 위한 도면이다.
도 19a를 참조하면, 촬영 모드에서 무인 촬영 장치(1910)는 전자장치에서 전송되는 촬영 정보에 기반하여 이미지의 구도를 설정할 수 있다. 이미지의 구도 정보는 적어도 하나 이상의 오브젝트 정보를 포함할 수 있으며, 오브젝트 정보는 피사체의 전부 또는 일부에 대한 위치 및 크기 정보를 포함할 수 있다. 피사체(1900)이 인물인 경우, 오브젝트는 얼굴이 될 수 있다. 무인 촬영 장치는 촬영 모드에서 카메라 모듈(560)에서 획득되는 이미지에 포함된 오브젝트 정보를 추출할 수 있다. 이때 오브젝트 정보는 1920과 같이 프레임 당 커맨드로 생성될 수 있으며, 프레임 이미지는 설정된 시간 단위로 획득할 수 있다. 프레임 이미지(1920)는 피사체(1900)의 얼굴을 포함할 수 있으며, 무인 촬영 장치는 오브젝트인 얼굴의 위치 및 크기를 추출할 수 있다. 위치 정보는 전체 이미지 영역에서 얼굴의 중심점 위치가 될 수 있으며, 크기는 얼굴 영역이 될 수 있다. 무인 촬영 장치는 프레임 이미지가 획득될 때 마다 얼굴 영역을 추출하고, 얼굴 영역의 위치 및 크기를 촬영 정보에 포함된 오브젝트의 위치 및 크기와 비교 및 분석하여 오브젝트가 설정된 위치에서 설정된 크기를 가지는가를 확인할 수 있다. 이때 카메라 모듈(560)에서 획득되는 이미지의 오브젝트가 설정된 오브젝트의 크기 및 위치와 같지 않으면, 무인 촬영 장치는 두 오브젝트들의 위치 및 크기 차이 값에 따라 목표 구도의 위치로 자율 비행할 수 있는 이동 제어신호를 생성할 수 있다.
도 19b를 참조하면, 무인 촬영 장치는 상기 도 9a - 도 9d 및 도 10a - 도 10c에서 설명된 바와 같이, 전후 이동(1941)을 할 수 있고, 좌우 이동(1943)을 할 수 있으며, 상하 이동(1945)를 할 수 있고, 좌우 회전(1947)할 수 있다. 무인 촬영 장치는 동작 1817 또는 동작 1827에서 카메라 모듈(560)을 통해 획득된 이미지의 오브젝트 정보와 전자장치에서 전송된 촬영 정보에 포함된 오브젝트 정보를 비교 및 분석하고, 목표 구도가 아니면 동작 1821에서 이동 제어신호를 생성하고, 동작 1823에서 생성된 이동 제어신호에 기반하여 목표 구도로 자율 비행할 수 있다.
무인 촬영 장치는 동작 1821에서 분석된 오브젝트 정보에 기반하여 이동제어신호를 생성할 수 있다. 무인 촬영 장치는 획득되는 오브젝트 크기 정보에 기반하여 무인 촬영 장치와 피사체 간의 상대적 거리를 계산하여 거리 이동(예를들면, 전후진 운동) 커맨드를 생성할 수 있다. 예를들면, 무인 촬영 장치는 획득된 오브젝트의 크기가 목표 구도의 오브젝트의 크기보다 작으면, 무인 촬영 장치는 피사체를 향하여 전진 이동시키기 위한 이동 제어신호를 생성할 수 있다. 무인 촬영 촬영 장치는 오브젝트의 크기 변화율에 따라 이동속도를 제어할 수 있다. 또한 무인 촬영 장치는 오브젝트의 수직 좌표에 기반하여 무인 촬영 장치의 고도 이동(예를들면, 상하 운동) 커맨드를 생성할 수 있다. 예를들면, 무인 촬영 장치는 화각 내에 오브젝트가 위치되도록 무인 촬영 장치를 상하 이동시킬 수 있다. 무인 촬영 장치는 오브젝트의 수평 좌표로 무인 촬영 장치의 수평 이동(예를들면, 좌우 이동) 커맨드 및 방위각 제어(예를들면, 좌우 방위 회전) 커맨드를 생성할 수 있다. 예를들면, 무인 촬영 장치는 오브젝트의 수평 좌표를 분석하여 화각 내에 오브젝트가 위치되도록 무인 촬영 장치의 수평 이동 및 방위 회전을 위한 제어신호를 생성할 수 있다.
도 20은 본 발명의 다양한 실시예에 따른 전자장치가 자율 비행하면서 구도를 설정하는 예를 설명하기 위한 도면이다.
도 20을 참조하면, 전자장치는 제 1 이미지(2000)에서 오브젝트인 얼굴의 크기 및 위치 정보(이미지 내에서 오브젝트의 중심점 좌표 x,y) 정보를 추출할 수 있다. 제 1 이미지(2000)는 전자장치에서 오브젝트 정보를 추출하여 목표 구도의 촬영 정보를 생성할 수 있는 이미지가 될 수 있다. 예를들면, 제 1 이미지(200)에서 피사체는 인물이 될 수 있으며, 오브젝트는 인물의 얼굴이 될 수 있다. 전자장치는 오브젝트의 크기 및 위치 정보를 포함하는 촬영 정보를 무선 연결을 통해 무인 촬영 장치에 전송할 수 있다.
무인 촬영 장치는 전자장치로부터 제 1 이미지(2000)에서 추출된 목표 구도 데이터(제 1신호)를 수신할 수 있다. 목표 구도 데이터를 수신하는 무인 촬영 장치는 수직 상승하여 피사체를 인식할 수 있으며, 카메라 모듈(560)을 통해 인식된 피사체의 이미지(2010)를 획득할 수 있다. 무인 촬영 장치는 획득되는 이미지와 목표 구도의 이미지 간의 오브젝트 정보를 비교 분석하면서 목표 구도를 가지는 위치까지 자율 비행할 수 있다. 무인 촬영 장치의 자율 비행 방법은 오브젝트의 위치를 고정하고, 자율 비행하면서 고정된 목표 위치에서 획득된 이미지의 오브젝트가 목표 구도의 이미지의 오브젝트 크기와 동일해지는 위치까지 자율 비행할 수 있다.
한 실시예에 따르면, 무인 촬영 장치의 자율 비행 방법은 먼저 이륙 및 호버링하여 오브젝트를 인식하고, 오브젝트가 인식되면 서오브젝트의 크기가 목표 구도의 크기와 동일해지는 시점까지 자율비행하고, 오브젝트의 크기가 목표 구도의 오브젝트 크기와 동일해지면 오브젝트가 원래 설정된 목표 구도의 위치에 위치되도록 자율 비행할 수 있다.
한 실시예에 따르면, 무인 촬영 장치의 자율 비행 방법은 이륙 및 호버링하여 오브젝트를 인식하고, 오브젝트가 인식되면 오브젝트의 위치가 목표 구도의 위치와 동일해지는 위치까지 자율 비행하고, 오브젝트의 위치가 목표 구도의 위치와 동일해지면 오브젝트의 크기가 목표 구도의 쿠기와 동일해지는 위치까지 자율 비행할 수 있다.
한 실시예에 따르면, 무인 촬영 장치의 자율 비행 방법은 이륙 및 호버링하여 오브젝트를 인식하고, 오브젝트의 크기 및 위치를 목표 구도의 크기 및 위치와 비교하면서 오브젝트가 목표 구도의 크기 및 위치와 동일해지도록 자율 비행할 수 있다.
도 20은 피사체를 인식하는 시점에서 오브젝트의 위치를 설정하고, 오브젝트의 크기가 목표 구도의 오브젝트 크기와 동일해질 때까지 설정된 위치를 유지하도록 자율 비행한 후, 목표 구도의 오브젝트 위치로 자율 비행하는 예를 도시하고 있다. 한 실시예에 따르면, 무인 촬영 장치는 오브젝트의 위치(예를들면, 중심점 좌표)가 이미지의 중앙 부분에 위치되도록 설정할 수 있다. 오브젝트의 위치가 이미지의 중앙 부분에 설정되면, 무인 촬영 장치가 자율 비행하는 중에 획득하는 이미지의 오브젝트가 화각을 벗어나지 않을 수 있다.
도 20에서 이미지(2010 - 2050)는 무인 촬영 장치가 자율 비행하면서 카메라 모듈(560)을 통해 획득할 수 있는 이미지(예를들면, 제 2 이미지)가 될 수 있다. 이미지(2010)는 무인 촬영 장치가 촬영 모드에서 수직 이륙하여 카메라 모듈(560)을 통해 획득하는 이미지일 수 있다. 이미지(2010)에서 오브젝트는 좌표 1(x1,y1)에 중심점이 위치되는 얼굴이 될 수 있다. 무인 촬영 장치는 획득된 이미지에서 얼굴의 크기 및 좌표를 분석할 수 있다. 이때 획득된 이미지 내의 얼굴 크기가 목표 구도의 얼굴 크기와 다르면(예를들면, 획득된 이미지 내의 얼굴이 목표 구도의 얼굴보다 크면), 무인 촬영 장치는 피사체로부터 멀어지기 위한 후진 이동 제어신호를 생성할 수 있다. 무인 촬영 장치가 후진하면서 카메라 모듈(560)을 통해 이미지(2020)을 획득할 수 있다. 이미지(2020)는 얼굴의 크기가 작아지면서 얼굴의 위치가 좌표2(x2,y2)로 이동된 예를 도시하고 있다. 획득된 이미지의 얼굴 크기가 목표 구도의 얼굴 크기와 다르면, 무인 촬영 장치는 얼굴의 위치(예를들면, 중심점 좌표)가 좌표2(x2,y2)에서 좌표1(x1,y1)으로 이동되도록 자율 비행할 수 있다. 자율 비행을 하면, 얼굴의 크기는 목표 구도의 얼굴 크기에 근접되도록 작아질 수 있으며, 얼굴의 크기가 작아지면 얼굴의 위치도 이동될 수 있다. 이미지(2030)은 얼굴의 크기가 작아지면서 얼굴의 위치가 좌표3(x3,y3)로 이동된 예를 도시하고 있다. 무인 촬영 장치는 얼굴의 위치(예를들면, 중심점 좌표)가 좌표2(x2,y2)에서 좌표1(x1,y1)으로 이동되도록 자율 비행할 수 있다.
무인 촬영 장치는 자율 비행하면서 카메라 모듈(560)을 통해 이미지를 획득하며, 획득되는 이미지를 분석하여 얼굴의 크기가 목표 구도의 얼굴 크기와 일치하거나 유사해지는 위치까지 자율 비행을 계속 유지시킬 수 있다. 그리고 임의 위치에서 이미지(2040)과 같이 얼굴의 크기가 목표 구도의 얼굴 크기와 같아질 수 있다. 이미지(2040)는 좌표 4(x4,y4)의 위치에서 획득되는 이미지의 얼굴 크기가 목표 구도의 얼굴 크기와 같아지는 예를 도시하고 있다. 획득되는 이미지에서 얼굴 크기가 목표 구도의 얼굴 크기와 같아짐을 인식하면, 무인 촬영 장치는 이미지(2050)와 같이 얼굴의 위치가 목표 구도의 얼굴 촬영 위치가 되도록 이동할 수 있다. 예를들면, 이미지(2040)와 같이 좌표4(x4,y4)에서 획득되는 얼굴의 크기가 목표 구도의 얼굴 크기와 같아짐을 인식하면, 무인 촬영 장치는 얼굴의 위치(예를들면, 이미지 2040의 좌표 4)가 목표 구도의 위치(예를들면, 촬영 좌표 x,y)가 되도록 무인 촬영 장치를 이동(자율비행)할 수 있다. 얼굴의 크기 및 위치가 목표 구도의 얼굴 크기 및 위치가 되면, 무인 촬영 장치는 해당 위치에서 호버링하면서 이미지(2060)를 촬영(capture)할 수 있다.
한 실시예에 따르면, 무인 촬영 장치는 전자장치로부터 이미지(2000)와 같은 오브젝트의 크기 및 위치 정보를 포함하는 목표 구도 정보를 수신할 수 있다. 목표 구도 정보를 수신하면, 무인 촬영 장치는 촬영 모드를 설정하고 카메라 모듈(560)을 활성화시킬 수 있으며, 수직 상승하면서 카메라 모듈(560)으로 획득되는 이미지를 분석하여 피사체를 인식할 수 있다. 피사체를 인식하면, 무인 촬영 장치는 피사체 또는 피사체의 일부인 오브젝트를 인식하고, 이미지(2020)와 같이 오브젝트를 인식하기 위한 위치(예를들면, 좌표 1)를 설정할 수 있다. 무인 촬영 장치는 자율 비행하면서 오브젝트를 인식할 때, 오브젝트가 화면 밖을 벗어나지 않도록 하기 위하여 오브젝트를 인식하기 위한 위치를 이미지(2010)와 같이 화면의 중앙 위치 또는 중앙 부근 위치를 설정할 수 있다. 자율 비행 중에 획득되는 이미지에서 오브젝트의 크기는 이미지(2020 - 2030)와 같이 목표 구도의 오브젝트 크기에 근접하는 크기로 변경될 수 있으며, 오브젝트의 위치도 오브젝트의 크기 변경 및 이동에 따라 변경될 수 있다. 무인 촬영 장치는 카메라 모듈(560)에 촬영되는 오브젝트의 위치가 설정된 위치(예를들면, 좌표2에서 좌표1으로 이동, 좌표 3에서 좌표 1로 이동)가 되도록 자율 비행을 제어할 수 있다. 자율 비행 중에 획득되는 오브젝트의 크기가 목표 구도의 오브젝트 크기와 같아짐을 인식하면, 무인 촬영 장치는 오브젝트 위치가 목표 구도의 오브젝트 위치가 되도록 이동한 후, 목표 구도의 촬영 위치에서 피사체를 자동으로 촬영할 수 있다.
도 20에 도시된 바와 같이, 무인 촬영 장치는 오브젝트(예를들면, 인물인 경우 얼굴)가 목표 구도의 좌표에 도달하게 되면, 무인 촬영 장치는 무인 촬영 장치의 상하좌우 위치 고정 후 거리만 변동(예: 전진 또는 후진)하여 목표 구도에 도달할 수 있다. 한 실시예에 따르면, 목표 구도의 얼굴의 위치가 모서리 부분에 있으면 오브젝트(피사체의 전부 또는 일부)가 화각의 밖으로 벋어날 가능성이 있으므로, 무인 촬영 장치는 목표 구도를 촬영하기 위한 위치에 도달 전 까지 오브젝트가 화면의 중앙에 위치하도록 제어하고, 오브젝트를 목표 구도 정보에 포함되어 있는 크기로 촬영할 수 있는 거리에 도달하면 상하좌우로 이동하도록 제어하여 오브젝트의 위치를 목표 구도로 이동하도록 할 수 있다.
도 21은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 오브젝트를 보정하는 방법을 도시하는 도면이다.
도 21을 참조하면, 피사체는 움직일 수 있는 피사체(예를들면, 인물, 동물 등, 또는 바람 등에 의해 이동 또는 움직일 수 있는 피사체 등)가 될 수 있다. 또한 전자장치에서 촬영되는 이미지와 무인 촬영 장치에서 촬영되는 이미지는 촬영 각도(예를들면, 고도 등)가 다를 수 있다. 일 실시 예에 따른, 무인 촬영 장치는 무인 촬영 장치와 오브젝트 간의 상대적인 거리를 정확하게 추출하기 위하여 오인식되는 오브젝트를 보정할 수 있다. 한 실시예에 따르면, 오브젝트는 얼굴이 될 수 있다.
얼굴 보정은 얼굴의 면적 및 길이 등을 고려하여 보정할 수 있다. 목표 구도의 얼굴 크기는 도 21의 2100과 같은 크기를 가질 수 있다. 그러나 얼굴 크기는 얼굴의 움직임에 따라 다른 크기로 인식될 수 있다. 얼굴이 움직일 수 있는 방향은 고개 숙임, 고개 돌림, 고개 기울이기 등이 될 수 있다. 얼굴의 크기가 2100과 같은 목표 얼굴 크기가 되지 않으면, 무인 촬영 장치는 목표 구도의 얼굴 크기가 인식될 때까지 자율 비행을 할 수 있다. 이때 무인 촬영 장치가 피사체인 인물 사이의 거리가 목표 구도의 위치인 경우에서, 인물이 고개를 숙이고 있거나 고개를 돌리고 있으면 오브젝트인 얼굴의 크기는 목표 구도 보다 작게 인식될 수 있다. 예를들면, 목표 구도의 위치에서 무인 촬영 장치는 2100과 같은 크기의 얼굴인 경우, 고개를 기울이면 2113과 같이 인식할 수 있으며, 고개를 숙이면 2123과 같이 인식할 수 있고, 고개를 돌리면 2133과 같이 인식할 수 있다.
무인 촬영 장치는 도 21에 도시된 바와 같이, 고개를 숙이면 무인 촬영 장치에서 인식할 수 있는 얼굴의 크기는 2123과 같이 작아질 수 있다. 이때 고개 숙임에 따른 얼굴 크기가 인식되면, 무인 촬영 장치는 pitch 보정으로 2123 영역에 2125 영역을 더하는 얼굴 크기로 보정할 수 있다. 고개를 돌리면 무인 촬영 장치에서 인식할 수 있는 얼굴의 크기는 2123과 같이 작아질 수 있다. 이때 고개 돌림에 따른 얼굴 크기가 인식되면, 무인 촬영 장치는 yaw 보정으로 2133 영역에 2135 영역을 더하는 얼굴 크기로 보정할 수 있다.
고개를 기울이면, 무인 촬영 장치에서 인식할 수 있는 얼굴의 크기는 2113과 같이 목표 구도의 얼굴 크기와 같은 크기가 될 수 있다. 따라서 무인 촬영 장치는 얼굴크기 영역을 확장하는 보정을 행하지 않고, roll 보정으로 2115와 같이 보정할 수 있다. 오브젝트의 보정은 도 21과 같이 보정할 수 있으며, 보정 방법은 얼굴 이외에 다른 피사체에 대해서도 동일한 방법으로 적용할 수 있다.
도 22는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 이동 제어 동작을 설명하기 위한 도면이다.
도 22를 참조하면, 무인 촬영 장치는 전자장치에서 전송되는 목표 구도 정보를 포함하는 촬영 정보를 수신할 수 있다. 목표 구도 정보는 이미지 크기(예를들면, 사진 면적)(2210), 오브젝트 크기(예를들면, 얼굴 면적)(2220), 오브젝트 위치(예를들면, 얼굴의 중심점 좌표)(2225) 등이 될 수 있다. 무인 촬영 장치는 촬영 모드가 설정되면, 목표 구도 정보를 분석하여 2230과 같이 목표 위치까지의 이동 지표를 산출할 수 있다. 이동 지표는 거리 이동 지표, 고도 이동 지표 및 수평 이동 지표 등을 포함할 수 있다. 거리 이동 지표는 사진 면적 As 및 사진 이미지 내의 주 피사체 면적 as(예를들면, 사진 이미지의 얼굴 면적)이 비율로 결정할 수 있다. 고도 이동 지표는 사진 이미지의 내의 Y축 길이 Ys(예를들면, 사진 이미지의 세로 길이)와 주 피사체의 중심 좌표에서 Y 좌표 값 ys의 비율로 결정할 수 있다. 수평 이동 지표는 사진 이미지 내의 X축 길이 Xs(예를들면, 사진 이미지의 가로 길이)와 주 피사체의 중심 좌표에서 X 좌표 값 xs의 비율로 결정할 수 있다.
무인 촬영 장치는 촬영 모드에서 카메라 모듈(560)을 구동하여 이미지를 획득할 수 있다. 이때 카메라 모듈(560)에서 획득되는 이미지의 크기(2240)은 이미지(2210)의 크기와 다를 수 있다. 예를들면, 전자장치에서 촬영 정보를 생성하는 이미지의 화면 비율 및/또는 해상도는 무인 촬영 장치의 카메라 모듈(560)에서 획득되는 이미지의 화면 비율 및/또는 해상도와 다를 수 있다. 무인 촬영 장치는 목표 구도의 정보와 동일한 이미지를 촬영하기 위하여 이미지의 화면 비율을 일치시킬 수 있다. 무인 촬영 장치는 카메라 모듈(560)에서 획득되는 이미지의 오브젝트를 분석하여 2260과 같이 해당하는 이미지 프레임의 거리 이동 지표, 고도 이동 지표, 수평 이동 지표 등을 계산할 수 있다. 거리 이동 지표는 무인 촬영 장치에서 촬영되는 사진 면적 Ap 및 촬영된 사진 이미지 내의 주 피사체 면적 ap(예를들면, 사진 이미지의 얼굴 면적)이 비율로 결정할 수 있다. 고도 이동 지표는 무인 촬영 장치에서 촬영되는 사진 이미지의 내의 Y축 길이 Yp(예를들면, 사진 이미지의 세로 길이)와 촬영된 사진의 주 피사체의 중심 좌표에서 Y 좌표 값 yp의 비율로 결정할 수 있다. 수평 이동 지표는 무인 촬영 장치에서 촬영되는 사진 이미지 내의 X축 길이 Xp(예를들면, 사진 이미지의 가로 길이)와 촬영된 사진의 주 피사체의 중심 좌표에서 X 좌표 값 xp의 비율로 결정할 수 있다.
무인 촬영 장치는 해당 프레임의 이동 지표를 계산한 후, 2270과 같이 해당 프레임의 이동 지표와 목표 이동 지표를 비교하며, 비교 결과에 근거하여 2280과 같이 해당 프레임에서의 이동 제어신호를 생성할 수 있다. 이동 제어는 무인 촬영 장치의 자율 비행이 될 수 있다. 무인 촬영 장치의 이동 제어 동작은 거리 제어, 고도 제어 및 수평/방위 제어 등이 될 수 있다. 거리 제어 동작은 두 거리 이동 지표 값들의 차이에 따라 후진, 전진 또는 거리 고정 등이 될 수 있다. 고도 제어 동작은 두 고도 이동 지표 값들의 차이에 따라 고도 상승, 고도 하강 또는 고도 고정 등이 될 수 있다. 수평/방위 제어 동작은 두 수평 이동 지표 값들의 차이에 따라 좌측 이동 또는 반시계 방향 회전, 우측 이동 또는 시계 방향 회전, 수평 고정 또는 방위 고정 등이 될 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 촬영을 종료하는 동작을 도시하는 흐름도이다.
도 23을 참조하면, 무인 촬영 장치(예를들면, 도 5의 프로세서(500) 또는 도 7의 프로세서(700))는 촬영 모드에서 자율 비행하여 목표 구도의 위치에 도달하면 동작 2311에서 자율 비행을 중지하고 호버링하여 피사체를 촬영할 수 있다. 무인 촬영 장치는 촬영된 이미지를 메모리 모듈(540)에 저장할 수 있으며, 통신 모듈(550)을 통해 전자장치에 전송할 수 있다. 촬영 종료 후, 무인 촬영 장치는 2313 동작에서 원위치할 이동 지점을 설정할 수 있다. 원위치할 이동 지점은 촬영을 위해 출발한 지점이 될 수 있다. 예를들면, 무인 촬영 장치가 무인 비행 장치이면, 이동 지점은 무인 촬영 장치가 이륙된 지점이 될 수 있다.
촬영 모드가 종료되어 원위치로의 이동이 설정되면, 무인 촬영 장치는 동작 2315에서 이동을 시작하며 이동하는 중(예를들면, 무인 비행 장치가 촬영 동작을 수행한 후 원위치에 착륙하기 위하여 자율 비행하는 중)에 카메라 모듈(560)을 통해 획득되는 이미지를 분석하여 오브젝트를 인식할 수 있다. 이때 오브젝트의 크기가 원위치 지점의 크기를 가지면, 무인 촬영 장치는 동작 2317에서 이를 인식하고, 동작 2319에서 무인 촬영 장치의 동작을 정지(예를들면, 착륙)시킬 수 있다.
그러나 원위치 지점이 아니면, 무인 촬영 장치는 동작 2321에서 획득되는 이미지를 분석하여 이동 제어신호를 생성하고, 동작 2323에서 이동 제어신호에 따라 무인 촬영 장치를 이동시킬 수 있다. 무인 촬영 장치는 동작 2325에서 이동 중에 카메라 모듈(560)을 통해 이미지를 획득할 수 있으며, 획득된 이미지를 분석하여 원위치 지점인가를 분석할 수 있다. 원위치 지점이면, 무인 촬영 장치는 동작 2327에서 이를 인식하고, 동작 2329에서 무인 촬영 장치의 이동을 종료(예를들면, 착륙)시킬 수 있다.
일 실시 예에 따른 무인 촬영 장치는 촬영 종료 후, 원위치할 이동 지점을 설정할 수 있다. 원위치할 이동 지점은 자동 촬영을 위해 이륙을 수행한 지점이 될 수 있다. 무인 촬영 장치는 이동 지점(예: 착륙 지점)이 결정되면, 카메라 모듈(560)을 통해 획득되는 이미지를 분석하여 착륙 지점을 인식할 수 있으며, 착륙 지점이 인식되면 자동으로 착륙할 수 있다.
도 24a 및 도 24b는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 동영상 촬영 방법을 도시하는 도면이다. 도 24a 및 도 24b의 무인 촬영 장치는 도 7과 같은 구성을 가질 수 있다.
도 24a을 참조하면, 전자장치(2400)은 무인 촬영 장치(2450)을 이용하여 동영상을 촬영할 때, 유사하게 촬영하고 싶은 동영상을 이용하여 동영상의 목표 구도를 산출할 수 있다. 전자장치(2400)은 카메라를 통해 원하는 구도의 동영상을 촬영할 수 있으며, 통신 모듈을 통해 원하는 구도의 동영상을 수신할 수 있다. 전자장치(2400)는 동영상을 구성하는 이미지들 중에서 일정 간격의 이미지들을 선택하여 목표 구도를 산출할 수 있다. 예를들면, 동영상에서 프레임 간격(예를들면, 30fps, 60fps) 또는 일정 시간 간격(예를들면, 1/30 초, 1/10 초, 1/5 초, 1초 등)의 이미지들을 선택할 수 있다.
전자장치(240)는 동영상에서 선택되는 이미지들 내에 포함되는 오브젝트들의 구도를 분석하여 목표 구도를 산출할 수 있다. 오브젝트는 적어도 하나의 주 피사체 및/또는 배경(예를들면, 수평선, 태양, 산 등)이 될 수 있다. 구도 정보는 이미지 내에서 피사체의 상대적인 위치, 피사체의 크기 정보들을 포함할 수 있다. 피사체가 인물인 경우, 구도 정보는 이미지 내에 위치되는 신체(예를들면, 얼굴)의 위치 및 크기에 관련된 정보들을 포함할 수 있다. 전자장치(2400)은 주 피사체 및/또는 배경의 크기(size) 및 이미지(사진)의 위치 등을 포함하는 목표 구도를 산출할 수 있다. 전자장치(2400)은 산출된 목표 구도에 관련된 정보들을 포함하는 촬영 정보를 통신 모듈(예를들면, 도 4의 통신 부(420)을 통해 무인 촬영 장치(2450)에 전송할 수 있다.
무인 촬영 장치(2450)는 사용자의 직접적인 제어를 받지 않고, 전자장치(2400)에서 전송되는 목표 구도 정보에 기반하여 스스로 동영상을 촬영할 수 있다. 전자장치(2400)로부터 촬영 정보를 수신하면, 무인 촬영 장치(690)는 수신된 촬영 정보에 포함된 동영상 이미지들의 목표 구도 정보와 카메라 모듈을 통해 수신되는 이미지(예를들면, 프리뷰 이미지)를 기반으로 자율 이동(자율 비행)하면서 동영상을 촬영할 수 있다.
무인 촬영 장치(2450)는 전자장치(2410)로부터 촬영 정보를 수신하면 촬영 모드를 수행할 수 있다. 촬영 모드는 전자장치에 의해 설정될 수 있으며, 무인 촬영 장치(2450)가 설정할 수도 있다. 예를들면, 무인 촬영 장치(2450)은 촬영 정보를 수신하면 자동으로 촬영 모드를 설정하고, 수신된 촬영 정보에 기반하여 자율 비행하면서 촬영 동작을 수행할 수 있다. 촬영 모드가 설정되면, 무인 촬영 장치(2450)는 피사체(2460)을 촬영하기 위하여 이륙(예를들면, 수직 상승, hovering)할 수 있다. 무인 촬영 장치(690)는 이륙한 후 피사체(2460)를 인식할 수 있는 위치에 도달하면, 동영상의 제1 이미지에 해당하는 목표 구도를 확인하고, 제1 이미지의 목표 구도에 기반하여 자율 비행할 수 있다. 예를 들어, 무인 촬영 장치(2450)가 화각을 고려하여 촬영 구도를 조정하면서 무인 촬영 장치(2450)의 고도 및 거리를 변경하고, 비전(vision) 기반의 프레임 별 비행 제어신호를 생성하는 동작이 될 수 있다. 무인 촬영 장치(2450)는 자세 제어 포인트들에서 카메라 모듈(예를들면, 도 5의 카메라 모듈(560))을 통해 획득되는 이미지(예를 들면 프리뷰 이미지)를 분석하여 촬영 화각 내의 피사체 구도를 분석하여 설정된 촬영 위치가 자율 비행할 수 있다.
무인 촬영 장치(2450)는 자율 비행하면서 촬영 정보의 구도와 일치하는 위치에 도달하면, 피사체(2460)를 포함하는 촬영 구도의 이미지를 촬영할 수 있다. 이후 무인 촬영 장치(2450)는 다음 이미지의 목표 구도를 확인하고 이동하며, 촬영 정보에 포함된 주 피사체 및/또는 배경의 크기 및 위치의 구도와 같은 구도(카메라 모듈을 통해 획득되는 피사체의 크기/위치)로 인식되면, 촬영 동작을 수행할 수 있다. 무인 촬영 장치(2450)는 이미지를 촬영한 후 다음 이미지의 목표 구도와 같아질때 이동하여 촬영하는 동작을 동영상의 마지막 이미지(예를들면, frame 1 - frame N의 동영상인 경우, frame N 이미지)까지 촬영하면, 동영상 촬영을 종료할 수 있다.
도 24b를 참조하면, 관광 지역과 같이 사람들이 많이 찾는 영역(2420)은 많은 사람들에 의해 다양한 형태로 동영상(2430)들이 촬영될 수 있다. 동영상(2430)은 영역(2420)에서 촬영된 동영상일 수 있으며, 인터넷 망 등을 통해 다운로드할 수 있는 영상이 될 수 있다. 영역(2420)에서 촬영된 동영상은 무인 촬영 장치를 이용하여 촬영될 수 있으며, 촬영된 동영상(2430)은 각 프레임 별 목표 구도 정보를 포함할 수 있다. 사용자는 영역(2420)에서 촬영된 동영상 및 프레임 별 목표 구도 정보를 다운로드하여 전자장치(2400)에서 저장할 수 있다.
사용자가 전자장치(2400)을 휴대하고 영역(2420)에 진입한 후, 전자장치(2400)을 이용하여 영역(2430)에서 촬영 가능 위치 및 해당 위치에서 촬영된 동영상(2430)을 선택할 수 있다. 동영상(2430)은 무인 촬영 장치(2450)을 이용하여 촬영된 영상일 수 있으며, 전자장치(2400)은 동영상(2430)에 포함된 목표 구도 정보를 이용할 수 있다. 동영상(2430)이 목표 구도 정보를 포함하지 않는 동영상이면, 전자장치(2430)은 동영상(2430)에 포함된 이미지들의 촬영시간 또는 프레임에 기반하여 동영상을 구성하는 이미지들의 목표 구도를 산출할 수 있다.
전자장치(2400)은 동영상의 목표 구도에 관련된 정보들을 포함하는 촬영 정보를 통신 모듈(예를들면, 도 4의 통신 부(420)을 통해 무인 촬영 장치(2450)에 전송할 수 있다. 무인 촬영 장치(2450)은 동영상(2430)의 목표 구도 정보에 기반하여 자율 비행하면서 피사체(2460)을 포함하는 동영상을 촬영할 수 있다.
도 25는 본 발명의 다양한 실시예에 따른 전자장치 및 무인 촬영 장치가 동영상을 촬영하는 방법을 설명하는 도면이다.
도 25를 참조하면, 기준 동영상(2510)은 전자장치(2500)에서 목표 구도 정보(2515)를 산출하는 동영상을 의미할 수 있다. 기준 동영상(2510)은 전자장치(2500)에서 촬영될 수 있으며, SNS 또는 인터넷 망을 통해 다운로드되는 동영상이 될 수 있다. 전자장치(2500)은 기준 동영상(2510)에서 설정된 간격으로 이미지들의 목표 구도(2515)를 산출할 수 있다. 설정된 간격은 매 프레임 또는 복수의 프레임 간격이 될 수 있다. 예를들면, 설정 간격은 매 프레임이 될 수 있다. 전자장치(2500)은 동영상의 매 프레임 이미지들에 대하여 목표 구도를 산출할 수 있으며, 산출된 프레임 당 목표 구도 정보(2515)를 통신부(예를들면, 도 4의 통신부(420)을 통해 무인 촬영 장치(2550)에 전송할 수 있다.
무인 촬영 장치(2550)은 통신 모듈(예를들면, 도 5의 통신 모듈(550))을 통해 전자장치(2500)에서 전송되는 프레임 당 목표 구도 정보(2563)를 수신할 수 있다. 무인 촬영 장치(2550)은 사용자의 입력, 전자장치의 명령, 또는 프레임 당 목표 구도 정보(2563)을 수신하면 동영상 촬영 모드를 수행할 수 있다. 동영상 촬영 모드를 수행하면, 무인 촬영 장치(2550)은 카메라 모듈(예를들면, 도 5의 카메라 모듈(560))을 통해 동영상(2561)을 획득할 수 있다. 무인 촬영 장치(2550)는 촬영되는 동영상(2561)과 프레임 당 목표 구도(2563)을 비교하여 촬영 동영상의 목표 구도 정보(2565)를 산출할 수 있다. 무인 촬영 장치(2550)은 촬영 동영상의 목표 구도 정보(2565)에 기반하여 무인 촬영 장치(2550)의 이동 제어신호(2567)을 생성할 수 있다. 이동 제어신호(2567)은 이동 제어 모듈(예를들면, 도 5의 이동 제어 모듈(510))에 전달되어 무인 촬영 장치(2550)의 비행을 실시간으로 제어하기 위한 신호를 생성할 수 있다.
도 26은 본 발명의 다양한 실시예에 따른 전자장치가 무인 촬영 장치의 동영상 촬영을 제어하는 동작을 도시하는 흐름도이다.
도 26을 참조하면, 일 실시 예에 따른, 전자장치(예를들면, 도 4의 프로세서(400))는 동영상의 프레임 이미지의 구도를 분석하여 촬영 정보를 생성할 수 있다. 동작 2611에서 전자 장치는 동영상의 제1 이미지(예를들면, 동영상의 처음 프레임 이미지)를 선택할 수 있다. 전자장치는 동작 2613에서 제1 이미지 내의 오브젝트를 인식할 수 있다. 예를들어, 오브젝트는 이미지 내에 포함된 인물이 될 수 있으며, 사물이 될 수 있으며, 인물 및 사물이 될 수 있다. 이미지 내에서 추출되는 오브젝트는 하나가 될 수 있으며, 또는 두개 이상이 될 수 있다. 예를들면, 오브젝트는 두개의 인물 또는 인물 및 사물(예를들면, 수평선, 태양 등)이 될 수 있다. 예를들면, 이미지에 포함되는 오브젝트는 인물이 주 피사체이고, 배경이 부 피사체가 될 수 있다. 전자장치는 인식된 오브젝트가 복수 개이면, 각 오브젝트의 정보를 추출할 수 있다. 추출되는 적어도 하나의 오브젝트 정보는 대응되는 오브젝트의 크기 정보 및 이미지 내에서의 오브젝트 위치 정보가 될 수 있다.
전자장치는 동작 2617에서 오브젝트의 정보들을 포함하는 이미지의 구도 정보를 생성할 수 있다. 구도 정보는 오브젝트를 포함하는 이미지의 구도 정보가 될 수 있다. 예를들면, 인물인 경우, 구도 정보는 이미지 내에 오브젝트 위치 및 크기를 포함할 수 있으며, 오브젝트 이외의 배경 지표(예를들면, 수평선, 태양 등)들을 더 포함할 수도 있다. 전자장치는 제 1이미지의 구도 정보를 생성한 후, 동작 2619에서 동영상을 구성하는 마지막 프레임의 이미지인가 확인할 수 있다. 마지막 이미지가 아니면, 전자장치는 동작 2621에서 다음 이미지를 선택할 수 있으며, 동작 2613 내지 동작 2617을 반복 수행하면서 선택된 다음 이미지의 구도정보를 산출할 수 있다.
전자장치는 동작 2619에서 동영상을 구성하는 마지막 프레임 이미지의 구도정보를 생성하면, 전자장치는 구도 정보를 기반으로 촬영 정보를 생성할 수 있다. 전자장치는 촬영 정보를 생성한 후, 동작 2623에서 통신부를 통해 무인 촬영 장치와 무선 연결을 수행할 수 있으며, 무선 연결을 통해 촬영정보를 전송할 수 있다.
무인 촬영 장치는 전자장치에서 촬영 정보에 기반한 이미지를 촬영한 후, 촬영된 이미지를 전자장치에 전송할 수 있다. 무인 촬영 장치에서 이미지가 전송되면, 전자장치는 동작 2625에서 촬영된 동영상을 수신할 수 있다. 전자장치는 동작 2627에서 수신된 이미지를 표시부(예를들면, 도 4의 표시부(450))에 표시하거나 또는 저장부(예를들면, 도 4의 저장부(410))에 저장할 수 있다. 일 실시 예에 따르면, 전자장치는 촬영된 이미지를 인터넷 망 또는 클라우드 망으로 전송할 수 있다.
도 27은 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 흐름도이다.
도 27을 참조하면, 무인 촬영 장치(예를들면, 도 5의 프로세서(500) 또는 도 7의 프로세서(700))는 촬영 정보에 기반하여 동영상을 촬영할 수 있다. 촬영 정보는 동영상을 구성하는 프레임 이미지들 내의 오브젝트 정보를 포함할 수 있다. 오브젝트 정보는 이미지 내의 피사체의 전부 또는 일부가 될 수 있다. 일 실시 예에 따르면, 전자장치로부터 동영상 촬영 정보를 수신하면, 무인 촬영 장치는 촬영 모드를 설정할 수 있다. 촬영 모드가 설정되면, 무인 촬영 장치는 저장된 촬영 정보를 기반으로 동영상 촬영 동작을 수행할 수 있다. 또한 무인 촬영 장치에 촬영 모드가 설정되면, 무인 촬영 장치는 저장된 동영상 촬영 정보에 기반하여 자동으로 촬영 동작을 수행할 수 있다. 촬영 모드의 설정은 전자장치의 제어에 의해 수행될 수 있으며, 무인 촬영 장치의 외부 버튼을 통해 수행될 수 있다.
동영상 촬영 모드가 설정되면, 무인 촬영 장치는 동작 2711에서 동영상 촬영 정보의 첫번째 이미지의 목표 구도 정보를 분석하고, 동작 2713에서 이동을 시작할 수 있다. 무인 촬영 장치가 무인 비행장치이면, 무인 촬영 장치는 동작 2713에서 이륙하여 오브젝트를 탐색하기 위하여 호버링할 수 있다. 무인 촬영 장치는 호버링하면서 자동 촬영할 오브젝트를 인식할 수 있다. 무인 촬영 장치는 촬영할 동영상의 제1 이미지의 구도를 확인한 후, 자동 이륙(예를들면, 수직 이륙)하여 오브젝트를 찾기 시작하며, 오브젝트가 인식되면 호버링하여 구도를 확인할 수 있다. 무인 촬영 장치는 오브젝트를 인식하면, 2715 단계에서 무인 촬영 장치의 이동을 시작할 수 있다.
무인 촬영 장치는 동작 2717에서 카메라 모듈(예를들면, 도 5의 카메라 모듈(560))을 통해 이미지를 획득할 수 있으며, 획득된 이미지에서 오브젝트를 확인하여 촬영 구도를 산출할 수 있다. 촬영 구도를 산출한 후, 무인 촬영 장치는 동작 2719에서 촬영 구도가 목표 구도와 일치하는가 분석할 수 있다. 동작 2719에엇 카메라 모듈(예를들면, 도 5의 카메라 모듈(560))에서 획득되는 이미지가 목표 구도가 아님을 인식하면, 무인 촬영 장치는 동작 2721에서 분석 결과에 따라 이동 제어신호를 생성할 수 있으며, 동작 2715에서 이동 제어신호에 기반하여 자율 비행을 할 수 있다.
무인 촬영 장치는 동작 2719에서 현재 촬영된 동영상의 프레임 이미지가 목표 구도이면, 동작 2725에서 이미지를 캡쳐할 수 있다. 이미지를 캡쳐한 후, 무인 촬영 장치는 동작 2727에서 캡쳐된 이미지가 동영상의 마지막 프레임 이미지인가 확인할 수 있으며, 마지막 이미지가 아니면 동작 2729에서 다음 이미지의 목표 구도를 설정하고 동작 2715로 진행하여 무인 촬영 장치를 이동시킬 수 있다.
무인 촬영 장치는 동영상을 촬영할 때, 전자장치에서 전송되는 동영상의 프레임 당 목표 구도정보와 카메라 모듈을 통해 획득되는 동영상의 이미지들을 비교 분석하고, 획득되는 동영상의 프레임 이미지가 목표 구도 정보와 일치하면 대응되는 이미지를 캡쳐하여 저장하고, 다음 프레임 이미지를 캡쳐하기 위하여 이동할 수 있다. 위와 같은 동작을 반복하면서 프레임 당 목표 구도 정보에 기반하여 이미지들을 캡쳐할 수 있다. 무인 촬영 장치는 동작 2727에서 동영상의 마지막 프레임 이미지의 캡쳐를 인식하면, 동작 2731에서 무인 촬영 장치를 원위치(예를들면, 동영상을 촬영하기 위해 이륙된 위치)로 이동할 수 있으며, 동작 2733에서 원위치에 도달하면 착륙할 수 있다.
도 28은 본 발명의 다양한 실시예에 따른 전자장치와 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 도면이다.
도 28을 참조하면, 전자장치(2800)는 동작 2811에서 무인 촬영 장치(2850)을 통해 촬영하기 위한 동영상을 입력할 수 있다. 동영상은 전자장치(2800)에 저장된 동영상, 카메라부를 통해 촬영된 동영상, 인터넷을 통해 다운로드된 동영상 또는 사용자가 직접 입력한 이미지들이 될 수 있다. 전자장치(2800)은 동영상을 선택한 후, 동작 2813에서 무인 촬영 장치(2850)에 이륙 명령을 발생할 수 있다. 전자장치(2800)는 동작 2815에서 동영상을 구성하는 각 프레임 이미지들의 구도 정보(특징점)을 도출할 수 있다. 구도정보는 이미지의 비율, 오브젝트 지표(예를들면, 인물인 경우 신체 지표, 배경 오브젝트인 경우 배경 지표 등), 화각, 촬영 시간 등이 될 수 있다. 전자장치(2800)은 동작 2817에서 촬영 시간 별(예를들면, 프레임 별) 이미지들의 목표 구도를 산출하고, 동작 2821에서 무인 촬영 장치(2850)에서 목표 구도 정보를 전송할 수 있다. 전자장치(2800)은 동작 2813에서 이륙 명령을 전송하지 않은 경우, 동작 2821에서 동영상 촬영 명령(예를들면, 이륙 명령)도 함께 전송할 수 있다.
무인 촬영 장치(2850)은 동작 2821에서 전자장치(2800)에서 전송되는 목표 구도 정보 및 이륙 명령을 수신하면, 동작 2861에서 이륙할 수 있으며, 동작 2863에서 이동 자세를 유지할 수 있다. 이동 자세는 호버링하여 오브젝트를 인식하는 자세가 될 수 있다. 무인 촬영 장치(2850)는 동작 2865에서 동영상의 제1 이미지의 촬영 구도 위치까지 이동하면서 카메라 모듈을 통해 이미지를 획득할 수 있다. 무인 촬영 장치(2850)은 획득되는 이미지를 동작 2881에서 전자장치(2800)에 전송할 수 있다. 이때 전송되는 이미지는 스트리밍 이미지로써, 프리뷰 이미지가 될 수 있다. 무인 촬영 장치(2850)은 이동하면서 획득되는 이미지의 구도정보를 도출할 수 있다. 무인 촬영 장치(2850)이 획득되는 이미지에서 도출하는 구조정보는 이미지 비율, 오브젝트 지표(예를들면, 신체 지표, 배경 지표 등), 화각 등이 될 수 있다. 무인 촬영 장치(2850)은 도출되는 구도정보와 전자장치(2800)으로부터 수신된 프레임 별 이미지의 목표 구도를 비교 분석할 수 있다. 무인 촬영 장치(2865)는 동작 2871에서 구도 정보의 비교에 기반하여 무인 촬영 장치를 목표 구도로 이동시키기 위한 이동 제어신호를 생성할 수 있으며, 동작 2873에서 이동 제어 신호에 기반하여 무인 촬영 장치를 이동할 수 있다.
무인 촬영 장치는 목표 구도 위치까지 이동되면, 무인 촬영 장치(2850)은 동작 2875에서 이미지를 캡쳐(녹화)할 수 있다. 예를들면, 무인 촬영 장치(2850)은 동작 2875에서 동영상을 구성하는 제1 이미지의 목표 구도 위치까지 이동되었음을 인식하고, 제1 이미지의 목표 구도에 기반하여 동영상의 첫번째 이미지를 캡쳐할 수 있다. 이후 무인 촬영 장치(2850)는 동작 2877에서 프레임 별로 다음 이미지의 목표 구도에 기반하여 이미지를 캡쳐할 수 있으며, 동작 2877에서 목표 구도 정보에 대응되는 위치로 이동할 수 있다.
무인 촬영 장치는 동영상을 구성하는 제1 이미지 위치까지 이동을 하면, 제1 이미지를 캡쳐하고, 이동하면서 프레임 이미지 별로 목표 구도와 일치되면 이미지 캡쳐할 수 있다. 동영상의 마지막 이미지까지 캡쳐를 완료화면, 무인 촬영 장치는 동영상의 촬영 종료를 인식하고, 동작 2833에서 촬영된 동영상을 전자장치(2800)에 전송할 수 있다. 또한 무인 촬영 장치(2850)는 동작 2879에서 동영상 촬영 전의 위치로 원위치되면서 착륙할 수 있다.
전자장치(2800)는 동작 2883에서 무인 촬영 장치(2850)으로부터 동영상을 수신하면, 동작 2825에서 수신되는 동영상을 저장 및/또는 표시할 수 있다. 전자장치(2800)는 동작 2831에서 사용자의 요청 등에 의해 수신된 동영상을 인터넷 망 및/또는 클라우드 망에 전송할 수 있다.
전자장치(2800) 및 무인 촬영 장치(2850)은 사전에 촬영된 동영상을 이용하여 동일한 구도로 동영상을 촬영할 수 있다. 전문 조종사가 아닌 일반 사용자는 무인 촬영 장치(2850)을 이용하여 고품질의 구도로 촬영하기 어려울 수 있다. 본 발명의 다양한 실시예에 따르면, 조종이 미숙한 일반 사용자도 무인 촬영 장치를 이용하여 전문 조종사가 촬영한 구도로 촬영이 가능하게 할 수 있다. 사용자는 원하는 구도의 동영상을 전자장치(2800)에 입력할 수 있다. 전자장치(2800)는 입력된 동영상의 각 프레임 과 시간 별 구도를 산출할 수 있으며, 산출된 목표 구도 및 촬영 시간을 무인 촬영 장치(2850)에 전달할 수 있다. 무인 촬영 장치(2850)는 입력된 목표 구도와 현재 무인 촬영 장치(2850)이 획득되는 동영상의 구도정보를 비교하여 무인 촬영 장치를 자율 비행시킬 수 있으며, 자율 비행하는 중에 목표 구도와 획득되는 이미지의 구도가 일치하면 해당하는 이미지를 캡쳐할 수 있다. 무인 촬영 장치(2850)는 입력된 동영상의 마지막 이미지(예를들면, 동영상의 목표 시간)까지 캡쳐를 완료하면, 동영상 촬영을 종료하고 촬영된 동영상을 전자장치(2800)에 전달하며 무인 촬영 장치(2850)을 착지시킬 수 있다.
도 29a - 도 29c는 본 발명의 다양한 실시예에 따른 무인 촬영 장치의 동영상 촬영을 설명하기 위한 도면이다.
도 29a는 무인 촬영 장치가 드론이며, 드론은 쿼드콥터인 예를 도시하고 있다. 드론은 도 29a에 도시된 바와 같이 도 7과 같은 구성을 가지는 메인 보드(2900), 프로펠러(2910 - 2940), 주 카메라(2960) 및 깊이 카메라(detph camara)(2970, 2975)를 포함할 수 있다. 예를들면, 주 카메라(2960)은 무인 촬영 장치의 하단에 위치될 수 있으며, 제1 깊이 카메라(2970) 및 제2 깊이 카메라(2975)는 주 카메라(2960)의 양 측면에 위치될 수 있다. 제1 깊이 카메라(2970) 및 제2 깊이 카메라(2975)는 스테레오 깊이 카메라(stereo depth camera)가 될 수 있다.
도 29b를 참조하면, 주 카메라(2960)은 오브젝트를 촬영하는 기능을 수행할 수 있으며, 제1 깊이 카메라(2970) 및 제2 깊이 카메라(2975)는 오브젝트로부터 3D 위치 정보를 획득하는 기능을 수행할 수 있다. 무인 촬영 장치는 깊이 카메라(2970, 2970)에서 획득되는 오브젝트의 3D 좌표 정보를 기반으로 목표하는 촬영 구도의 이동 제어신호를 생성할 수 있으며, 목표 구도의 위치에서 주 카메라(2960)에서 획득되는 이미지를 캡쳐할 수 있다.
도 29c를 참조하면, 주 카메라(2960)은 피사체 이미지를 획득할 수 있으며, 깊이 카메라(2970, 2975)는 피사체의 깊이 이미지를 획득할 수 있다. 무인 촬영 장치는 주 카메라(2960)에서 획득되는 피사체 이미지에 기반하여 원거리 배경 구도를 산출할 수 있다. 원거리 배경 구도는 이미지 내에 위치될 수 있는 수평선, 지평선, 건물, 나무 등의 지형 지물이 될 수 있다. 무인 촬영 장치는 깊이 카메라(2970, 2975)에서 획득되는 피사체의 깊이 정보에 기반하여 주 피사체의 근거리 상세 구도를 산출할 수 있다. 근거리 상세 구도는 피사체의 크기, 위치, 거리, 높이 등이 될 수 있다.
무인 촬영 장치는 오브젝트의 크기에 기반하여 거리 이동을 제어할 수 있으며, 오브젝트의 크기 변화율에 기반하여 이동 속도를 제어할 수 있으며, 오브젝트의 수직 좌표에 기반하여 고도 이동을 제어할 수 있으며, 오브젝트의 수평 좌표에 기반하여 수평 및 방위각 이동을 제어할 수 있다. 또한 배경 오브젝트인 경우, 수평 배경(예를들면, 수평선)에 기반하여 고도 이동을 제어할 수 있으며, 배경 오브젝트의 수평 및 수직 위치에 따라 수평 및 방위 이동을 제어할 수 있다.
도 30은 본 발명의 다양한 실시예에 따라 깊이 카메라를 포함하는 무인 촬영 장치의 구성을 도시하는 도면이다.
도 30을 참조하면, 일 실시 예에 따른, 무인 촬영 장치는 프로세서(3000), 이동 제어 모듈(3010), 이동 모듈(3020), 센서 모듈(3030), 메모리 모듈(3040), 통신 모듈(3050), 주 카메라(3060), 제1 카메라(3070), 제2 카메라(3075)를 포함할 수 있다.
프로세서(3000)은 무인 촬영 장치의 적어도 하나의 다른 구성 요소들의 제어 및/또는 어플리케이션 실행에 따른 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(3000)은 전자장치에서 전송되는 3D 구도 좌표 정보를 포함하는 촬영 정보와 획득되는 3D 이미지를 비교 분석하여 동영상의 촬영을 제어할 수 있다. 3차원 구도 정보가 설정되면, 프로세서(3000)은 이동 제어 모듈(3010)을 제어하여 이동(예를들면, 무인 비행 장치인 경우 자율 비행)하며, 프레임 이미지 별로 설정된 3D 위치까지 이동되면 이미지를 촬영할 수 있으며, 촬영이 종료되면 원래의 위치로 되돌아오도록 무인 촬영 장치를 제어할 수 있다. 프로세서(3000)은 촬영된 이미지와 이미지를 촬영한 정보를 포함하는 촬영 정보를 전자장치에 전송할 수 있다.
이동 제어 모듈(3010)은 무인 촬영 장치의 위치 및 자세 정보들을 이용하여 무인 촬영 장치의 이동을 제어할 수 있다. 이동 제어 모듈(3010)은 무인 촬영 장치의 비행 및 자세를 제어할 수 있다. 이동 제어 모듈(3010)은 통신 모듈(3050)의 GPS 모듈 및 센서 모듈(3030)을 통해 무인 촬영 장치의 자세정보 및/또는 위치 정보들을 획득할 수 있다. 이동 제어 모듈(3010)은 도 5의 이동 제어 모듈(510)이 될 수 있다.
이동 모듈(3020)은 이동 제어 모듈(3010)의 제어에 기반하여 무인 촬영 장치를 이동시킬 수 있다. 무인 촬영 장치가 드론인 경우, 복수의 프로펠러들과 각각 대응되는 모터들을 포함할 수 있다. 이동 모듈(3020)은 도 5의 이동 모듈(520)이 될 수 있다.
센서 모듈(3030)은 무인 촬영 장치의 자세를 제어하기 위한 센서들을 포함할 수 있다. 무인 촬영 장치의 자세를 계산하는 센서는 자이로 센서와 가속도 센서가 될 수 있다. 방위각을 계산하고 자이로 센서의 드리프트를 방지하기 위하여 지자기 센서의 출력을 결합할 수 있다. 센서 모듈(3030)은 도 5의 센서 모듈(530)이 될 수 있다.
메모리 모듈(3040) 복수의 구도 정보를 저장할 수 있다. 각 구도 정보는 피사체의 종류 정보, 이미지 해상도 또는 크기(XY 비율) 정보, 피사체의 위치, 크기, 방향 등에 대한 구도 정보, 구도 영역에 대한 정보 등을 포함할 수 있다. 메모리 모듈(3040)은 전자장치에서 전송되는 촬영 정보를 저장할 수 있다. 촬영 정보는 자동 촬영할 목표 구도 정보 및/또는 카메라 제어 정보를 포함할 수 있다. 목표 구도의 정보는 이미지 내의 오브젝트의 크기 및 위치 정보를 포함할 수 있다. 메모리 모듈(3040)은 도 5의 메모리 모듈(3040)이 될 수 있다.
통신 모듈(3050)은 전자장치에서 전송되는 동영상의 목표 구도 정보를 포함하는 촬영 정보를 수신할 수 있다. 한 실시예에서 통신 모듈(3050)은 무인 촬영 장치에서 촬영된 이미지 및 촬영 정보를 전자장치에 전송할 수 있다.
주 카메라(3060)은 프로세서(3000)의 제어에 기반하여 프레임 별 촬영 구도 위치에서 대응되는 프레임 이미지들을 캡쳐할 수 있다. 주 카메라(3060)은 도 5의 카메라 모듈(560)에 대응될 수 있다.
제1 카메라(3070) 및 제2 카메라(3075)는 스테레오 깊이 카메라가 될 수 있으며, 도 20a와 같이 주 카메라(3060)의 양 측면에 장착될 수 있다. 제1 및 제2 카메라(3070, 3075)는 오브젝트의 깊이 정보를 획득할 수 있으며, 프로세서(3000)은 제1 및 제2 카메라(3070, 3075)에서 획득되는 깊이 정보에 기반하여 획득되는 이미지의 구도 정보를 계산할 수 있다.
프로세서(3000)은 구도 계산부(3003), 제어신호 발생부(3005) 및 이미지 처리부(3007)를 포함할 수 있다. 메모리 모듈(3040)은 제1 및 제2 카메라(3070, 3075)의 정보에 기반하여 이미지를 동영상을 촬영하기 위한 인스트럭션을 포함할 수 있다. 프로세서(3000)은 인스트럭션에 기반하여 동영상을 촬영하기 위한 구도 정보를 산출하고, 목표 구도 위치에서 이미지를 캡쳐하는 동작을 수행할 수 있다. 구도 계산부(3003)는 제1 및 제2 카메라(3070, 3075)에서 획득되는 깊이 정보를 주 카메라(3060)에서 획득되는 이미지의 3차원 위치 정보를 산출할 수 있다. 제어신호 생성부(3005)는 전자장치에서 수신된 목표 구도의 3차원 구도 정보와 산출되는 3차원 위치 정보를 비교 분석하여 무인 촬영 장치의 이동 제어신호를 생성할 수 있다. 이동 제어 모듈(3010)은 프로세서(3000)에서 생성되는 이동 제어신호에 의해 이동 모듈(520)을 제어하여 무인 촬영 장치를 이동시킬 수 있다. 프로세서(3000)는 획득되는 이미지의 촬영 구도가 목표 구도와 일치하면, 주 카메라(3060)에서 획득되는 이미지를 캡쳐할 수 있다.
한 실시예에서, 전자장치는 동영상에 기반하는 목표 구도 정보를 생성할 때, 이미지에 기반하여 원거리 배경 구도 및 피사체의 근거리 상세 구도 정보를 포함하는 목표 구도 정보를 생성할 수 있다. 그리고 무인 촬영 장치는 주 카메라(30760) 및 제1 및 제2 카메라(3070)을 이용하여 원거리 배경 구도 및 피사체의 근거리 상세 구도 정보를 생성할 수 있다.
무인 촬영 장치의 동작을 살펴보면, 프로세서(3000)은 주 카메라(3060) 및 깊이 카메라인 제1 및 제2 카메라(3070, 3075)에서 획득되는 이미지에 기반하여 목표 구도를 산출할 수 있다. 주 카메라(3060)은 피사체의 이미지(예를들면, 2차원 이미지)를 생성할 수 있다. 제1 및 제2 카메라(3070, 3075)는 피사체의 깊이 정보를 획득할 수 있다. 구도 계산부(3003)은 주 카메라(2960)에서 획득되는 피사체 이미지에 기반하여 원거리 배경 구도를 산출할 수 있으며, 제1 및 제2 카메라 카메라(3070, 3075)에서 획득되는 피사체의 깊이 정보에 기반하여 주 피사체의 근거리 상세 구도를 산출할 수 있다. 제어신호 생성부(3005)는 전자장치에서 수신된 목표 구도의 구도 정보와 산출되는 원거리 배경 구도 및 피사체의 근거리 상세 구도 정보를 비교 분석하여 무인 촬영 장치의 이동 제어신호를 생성할 수 있다
이동 제어 모듈(3010)은 이동 제어신호에 의해 이동 모듈(520)을 제어하여 무인 촬영 장치를 이동시킬 수 있으며, 프로세서(3000) 촬영 구도가 목표 구도와 일치하면 주 카메라(3060)에서 획득되는 이미지를 캡쳐할 수 있다.
도 31은 본 발명의 다양한 실시예에 따른 전자장치 및 무인 촬영 장치가 3D 위치 정보에 기반하여 동영상을 촬영하는 방법을 설명하는 도면이다.
도 31을 참조하면, 전자장치(3100)는 동영상에서 프레임 이미지(3110)의 목표 구도 정보(3115)를 도출할 수 있다. 프레임 이미지(3110)은 3D 이미지가 될 수 있다. 프레임 이미지(3110)는 제1 면(예를들면, X 면)(3111), 제2 면(예를들면, Y 면)(3112), 제3 면(예를들면, Z 면)(3113) 상에 위치되는 오브젝트(3115)를 포함할 수 있다. 오브젝트(3115)는 3차원 좌표로 표현될 수 있다. 전자장치(3100)는 프레임 이미지(3110)의 구도 정보를 생성할 때, 오브젝트(3115)의 3차원 좌표 값 및 오브젝트(3115)와 제1 면(3111) 내지 제3 면(3113)들의 정보를 포함할 수 있다. 예를들면, 제1 면(3111) 내지 제3 면(3113)들의 정보는 배경 오브젝트의 정보가 될 수 있다. 예를들면, 주 피사체인 오브젝트(3115)가 인물이고, 수평선의 배경을 가지는 이미지인 경우, 전자장치(3100)는 오브젝트(3115)의 신체지표에 관련되는 3차원 위치 정보 및 수평선이 위치되는 면(예를들면, 제1 면 및/또는 제2 면)의 위치 정보를 포함할 수 있다. 전자장치(3100)은 동영상에서 설정 간격의 각 프레임 이미지들의 오브젝트 및 배경(예를들면, 면 정보)에 관련되는 3D 위치 정보들을 포함하는 목표 구도 정보(3120)을 산출할 수 있다. 예를들면, 설정 간격은 매 프레임이 될 수 있다. 전자장치(3100)은 동영상의 매 프레임 이미지들에 대하여 3D 목표 구도를 산출할 수 있으며, 산출된 프레임 당 목표 구도 정보(3120)를 통신부(예를들면, 도 4의 통신부(420)을 통해 무인 촬영 장치(2550)에 전송할 수 있다.
무인 촬영 장치(3150)은 통신 모듈(예를들면, 도 5의 통신 모듈(550))을 통해 전자장치(3100)에서 전송되는 프레임 당 목표 구도 정보(3120)를 수신할 수 있다. 무인 촬영 장치(3150)은 사용자의 입력, 전자장치의 명령, 또는 프레임 당 목표 구도 정보(3165)를 수신하면 동영상 촬영 모드를 수행할 수 있다. 동영상 촬영 모드를 수행하면, 무인 촬영 장치(3150)의 주 카메라는 오브젝트를 포함하는 이미지(3161)을 획득할 수 있으며, 제1 및 제2 카메라는 오브젝트의 깊이 정보를 획득할 수 있다. 무인 촬영 장치(3150)은 깊이 정보에서 산출되는 획득 이미지의 3D 구도 정보(3167)를 산출할 수 있으며, 산출되는 3D 구도정보(3167)과 전자장치(3100)에서 산출된 목표 구도 정보(3165)와 비교 분석하여 무인 촬영 장치(3150)의 이동 제어신호를 생성할 수 있다. 또한 무인 촬영 장치(3150)은 산출되는 3D 구도정보(3167)과 전자장치(3100)에서 산출된 목표 구도 정보(3165)가 일치하면, 주 카메라에서 획득되는 이미지(3161)을 캡쳐하여 저장할 수 있다.
도 32는 본 발명의 다양한 실시예에 따른 무인 촬영 장치가 동영상을 촬영하는 동작을 도시하는 흐름도이다.
도 32를 참조하면, 무인 촬영 장치(예를들면, 도 5의 프로세서(500) 또는 도 7의 프로세서(700))는 3D 목표 구도 정보를 포함하는 촬영 정보에 기반하여 동영상을 촬영할 수 있다. 촬영 정보는 동영상을 구성하는 프레임 이미지들 내의 오브젝트 정보를 포함할 수 있다. 오브젝트 정보는 이미지 내의 피사체의 전부 또는 일부가 될 수 있다. 오브젝트 정보는 메인 오브젝트 및/또는 적어도 하나의 배경 오브젝트 정보를 포함할 수 있다. 예를들면, 메인 오브젝트는 인물(동물 포함) 또는 사물(예를들면, 건축물, 나무, 자동차 등)이 될 수 있다. 배경 오브젝트는 산, 강, 수평선, 지평선, 건물, 태양 등이 될 수 있다. 또한 배경 오브젝트는 특정 면이 될 수 있다. 예를들면, 배경 오브젝트는 X 평면, Y 평면, Z 평면 중의 적어도 하나의 평면 정보가 될 수 있다.
무인 촬영 장치는 전자장치로부터 동영상 촬영 정보를 수신하면, 수신되는 동영상 촬영 정보에 기반하여 동영상 촬영 동작을 자동으로 수행할 수 있다. 무인 촬영 장치의 동영상 촬영은 사용자가 전자장치를 통해 수행시킬 수 있으며, 사용자가 무인 촬영 장치를 통해 수행할 수도 있다.
동영상 촬영 모드가 설정되면, 무인 촬영 장치는 동작 3211에서 동영상 촬영 정보에서 첫번째 이미지의 목표 구도 정보를 확인하여 이동할 위치를 설정할 수 있다. 목표 구도 정보는 3D 정보가 될 수 있으며, 메인 오브젝트 및/또는 배경 오브젝트들의 위치 및 구도 정보를 포함할 수 있다. 무인 촬영 장치는 동영상 촬영 모드가 설정되면, 현재의 무인 촬영 장치의 위치에서 첫번째 이미지의 목표 구도로 촬영할 수 있는 위치까지 자율 비행할 수 있다. 무인 촬영 장치는 첫번째 이미지의 목표 구도를 확인한 후, 동작 3213에서 이동을 시작할 수 있다. 무인 촬영 장치가 무인 비행장치이면, 무인 촬영 장치는 동작 3213에서 이륙할 수 있으며, 오브젝트를 탐색하기 위하여 호버링할 수 있다. 무인 촬영 장치는 호버링하면서 카메라 모듈을 통해 획득되는 이미지 내의 오브젝트를 인식할 수 있다. 무인 촬영 장치는 촬영할 동영상의 제1 이미지의 구도를 확인한 후, 자동 이륙(예를들면, 수직 이륙)하여 오브젝트를 찾기 시작하며, 오브젝트가 인식되면 호버링하여 구도를 확인할 수 있다. 무인 촬영 장치는 오브젝트를 인식하면, 3215 단계에서 무인 촬영 장치의 이동을 시작할 수 있다.
이동 중인 상태에서 무인 촬영 장치는 동작 3217에서 깊이 카메라(예를들면, 도 30의 제1 카메라(3070) 및 제2 카메라(3075))에서 획득되는 이미지의 깊이 정보들에 기반하여 오브젝트들의 3D 구도정보를 산출할 수 있다. 3D 구도 정보를 산출한 후, 무인 촬영 장치는 동작 3219에서 산출되된 구도 정보를 목표 구도 정보와 비교 분석할 수 있다. 목표 구도 정보는 전자장치에서 전송된 정보가 될 수 있다. 무인 촬영 장치는 동작 3219에서 카메라 모듈(예를들면, 도 5의 카메라 모듈(560))에서 획득되는 이미지가 목표 구도가 아니면, 무인 촬영 장치는 동작 3221에서 분석 결과에 따라 무인 촬영 장치를 목표 구도 정보의 위치로 이동시키기 위한 이동 제어신호를 생성할 수 있다. 이동 제어신호를 생성한 후, 무인 촬영 장치는 동작 3215에서 이동 제어신호에 기반하여 자율 비행을 할 수 있다.
무인 촬영 장치는 동작 3219에서 현재 촬영된 동영상의 프레임 이미지의 구도 정보가 목표 구도 정보와 일치(또는 설정된 조건을 만족하는 유사 구도)하면, 동작 3225에서 주 카메라(예를들면, 도 30의 주 카메라(3060))에서 획득되는 이미지를 캡쳐할 수 있다. 이미지를 캡쳐한 후, 무인 촬영 장치는 동작 3227에서 캡쳐된 이미지가 동영상의 마지막 프레임 이미지인가 확인할 수 있으며, 마지막 이미지가 아니면 동작 3229에서 다음 이미지의 목표 구도를 설정하고 동작 3217로 되돌아갈 수 있다.
무인 촬영 장치는 동영상을 촬영할 때, 이동하면서 깊이 카메라에서 획득되는 깊이 정보에 기반하여 획득되는 이미지(예를들면, 이미지 내에 포함되는 메인 오브젝트 및/또는 배경 오브젝트)의 3D 구도 정보를 산출할 수 있다. 무인 촬영 장치는 산출된 3D 구도 정보와 전자장치에서 수신된 목표 구도 정보를 비교 분석하여 목표 구도로 이동하기 위한 이동 제어신호를 생성할 수 있으며, 생성된 이동 제어신호에 의해 무인 촬영 장치를 이동시킬 수 있다. 그리고 목표 구도의 이미지와 일치하는 구도 정보가 산출되면, 무인 촬영 장치는 주 카메라에서 획득되는 이미지를 캡쳐하여 저장할 수 있다. 예를들면, 목표 구도 정보가 프레임 간격으로 설정된 경우, 무인 촬영 장치는 위와 같은 동작을 반복 수행하면서 목표 구도와 촬영되는 이미지의 구도가 일치할 때 프레임 이미지 캡쳐하여 저장하면서 동영상을 생성할 수 있다.
위와 같은 동작을 반복하면서 프레임 당 목표 구도 정보에 기반하여 이미지들을 캡쳐할 수 있다. 무인 촬영 장치는 동작 3227에서 동영상의 마지막 프레임 이미지의 캡쳐를 인식하면, 동작 3231에서 무인 촬영 장치를 원위치(예를들면, 동영상을 촬영하기 위해 이륙된 위치)로 이동할 수 있으며, 동작 3233에서 원위치에 도달하면 착륙할 수 있다.
한 실시예에서, 무인 촬영 장치는 이미지 및 이미지의 깊이 정보에 기반하여 촬영된 이미지의 구도를 산출할 수 있다. 무인 촬영 장치는 동작 3215의 이동 중인 상태에서 주 카메라(3060)을 통해 이미지를 획득하고, 제1 및 제2 카메라(3070, 3075)를 통해 획득되는 이미지 내의 피사체 깊이 정보를 획득할 수 있다. 무인 촬영 장치는 동작 3217에서 주 카메라(3260)에서 획득되는 이미지에 기반하여 원거리 배경 구도(예를들면, 도 29c의 2980)를 산출하고, 제1 및 제2 카메라(3070, 3075)에 기반하여 피사체의 근거리 상세 구도(예를들면, 도 29c의 2985)를 산출할 수 있다.
획득된 이미지의 원거리 배경 구도 및 피사체의 근거리 상세 구도를 산출한 후, 무인 촬영 장치는 동작 3219에서 산출된 구도 정보를 목표 구도 정보와 비교 분석할 수 있다. 이미지가 목표 구도가 아니면, 무인 촬영 장치는 동작 3221에서 목표 구도 정보의 위치로 이동시키기 위한 이동 제어신호를 생성할 수 있으며, 동작 3215에서 이동 제어신호에 기반하여 자율 비행을 할 수 있다.
동작 3219에서 획득된 이미지의 구도 정보가 목표 구도 정보와 일치(또는 설정된 조건을 만족하는 유사 구도)하면, 무인 촬영 장치는 동작 3225에서 주 카메라에서 획득되는 이미지를 캡쳐할 수 있다. 이미지를 캡쳐한 후, 무인 촬영 장치는 동작 3227에서 캡쳐된 이미지가 동영상의 마지막 프레임 이미지가 아니면, 동작 3229에서 다음 이미지의 목표 구도를 설정하고 동작 3217로 되돌아갈 수 있다. 동작 3227에서 마지막 이미지임을 인식하면, 무인 촬영 장치는 동영상 촬영 동작을 종료할 수 있다.
다양한 실시예에 따른 무인 촬영 장치의 동작 방법은, 상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하는 동작; 상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하는 동작; 상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하는 동작; 상기 무인 촬영 장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 제어하는 동작; 카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하는 동작; 상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하는 동작; 및 상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신하는 동작을 포함할 수 있다.
상기 비행하도록 제어하는 동작은 제 1의 3차원 위치 정보와 제 2의 3차원 위치 정보를 비교하여 산출되는 제어 커맨드에 의해 비행하도록 제어할 수 있다.
상기 데이터는 제 1 이미지의 컴포지션을 포함할 수 있다.
상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함할 수 있다.
상기 제 1 오브젝트는 사람의 얼굴을 포함할 수 있다.
상기 인스터럭션들은 상기 프로세서가 상기 데이터의 적어도 일부에 기반하여 상기 카메라의 오리엔테이션을 변경하도록 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은, 통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하는 동작; 상기 무선 연결을 통해 상기 무인 촬영 장치에 목표 구도 데이터를 전송하며, 상기 목표 구도 데이터는 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하는 동작; 및 상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신하는 동작을 포함할 수 있다.
상기 데이터는 제 1 이미지의 컴포지션을 포함하는 포함할 수 있다.
상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함할 수 있다.
상기 제 1 오브젝트는 사람의 얼굴을 포함할 수 있다.

Claims (20)

  1. 무인 촬영 장치에 있어서,
    하우징;
    상기 하우징에 부착되거나 일체형으로 형성될 수 있으며, 전자장치를 3차원 위치로 비행시킬 수 있는 네비게이션 장치;
    적어도 하나의 무선 통신 장치;
    상기 하우징에 부착되거나 일체형으로 형성될 수 있는 카메라;
    상기 네비게이션 장치, 통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및
    상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함하며,
    상기 프로세서는,
    상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하고;
    상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 제 1 신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하며;
    상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하고;
    상기 전자장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 상기 네비게이션 장치를 제어하고;
    상기 카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하고,
    상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하고; 및
    상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신하는 장치.
  2. 제1항에 있어서,
    상기 네비게이션 장치는 적어도 하나의 프로펠러 및 상기 프로펠러를 제어하는 제어부를 포함하는 장치.
  3. 제1항에 있어서,
    상기 데이터는 제 1 이미지의 컴포지션을 포함하는 장치.
  4. 제3항에 있어서,
    상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함하는 장치.
  5. 제1항에 있어서,
    상기 제 1 오브젝트는 사람의 얼굴을 포함하는 장치.
  6. 제1항에 있어서,
    상기 인스터럭션들은 상기 프로세서가 상기 데이터의 적어도 일부에 기반하여 상기 카메라의 오리엔테이션을 변경하도록 하는 장치.
  7. 전자 장치에 있어서,
    하우징;
    적어도 하나의 무선 통신 장치;
    하우징에 부착되거나 일체형으로 형성될 수 있는 카메라;
    디스플레이;
    통신장치 및 카메라에 전기적으로 연결되는 프로세서; 및
    상기 프로세서에 전기적으로 연결되며, 상기 프로세서를 실행하도록 하는 인스트럭션들을 저장하는 메모리를 포함하며,
    상기 프로세서는
    상기 통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하고;
    상기 무선 연결을 통해 상기 무인 촬영 장치에 제 1 신호를 전송하며, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하며;
    상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신하는 장치.
  8. 제7항에 있어서,
    상기 데이터는 제 1 이미지의 컴포지션을 포함하는 장치.
  9. 제8항에 있어서,
    상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함하는 장치.
  10. 제9항에 있어서,
    상기 제 1 오브젝트는 사람의 얼굴을 포함하는 장치.
  11. 무인 촬영 장치의 동작 방법에 있어서,
    상기 통신 장치를 이용하여 디스플레이를 포함하는 외부 전자장치와 무선 연결을 설정하는 동작;
    상기 무선 연결을 통해 상기 외부 전자장치로부터 제 1의 3차원 위치에서 상기 제 1 신호를 수신하고, 상기 제 1 신호는 제 1 오브젝트를 포함하는 제 1 이미지와 연관된 데이터들을 포함하는 동작;
    상기 데이터 및 상기 제 1의 3차원 위치에 적어도 일부 기초하여 제 2의 3차원 위치를 결정하는 동작;
    상기 무인 촬영 장치를 상기 제 2의 3차원 위치 또는 인접한 위치로 비행하도록 제어하는 동작;
    카메라를 이용하여 상기 제 1 오브젝트에 대응하는 제 2 오브젝트를 추적하는 동작;
    상기 제 2 이미지가 상기 제 1 이미지에 대응하도록 상기 제 2의 3차원 위치 또는 인접한 위치에서 상기 제 2 오브젝트를 포함하는 제 2 이미지를 캡쳐하는 동작; 및
    상기 무선 연결을 통해 상기 외부 전자장치로 상기 제 2 이미지를 송신하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 비행하도록 제어하는 동작은 제 1의 3차원 위치 정보와 제 2의 3차원 위치 정보를 비교하여 산출되는 제어 커맨드에 의해 비행하도록 제어하는 방법.
  13. 제11항에 있어서,
    상기 데이터는 제 1 이미지의 컴포지션을 포함하는 방법.
  14. 제13항에 있어서,
    상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함하는 방법.
  15. 제11항에 있어서,
    상기 제 1 오브젝트는 사람의 얼굴을 포함하는 방법.
  16. 제11항에 있어서,
    상기 인스터럭션들은 상기 프로세서가 상기 데이터의 적어도 일부에 기반하여 상기 카메라의 오리엔테이션을 변경하도록 하는 방법.
  17. 전자 장치의 동작 방법에 있어서,
    통신 장치를 이용하여 무인 촬영 장치와 무선 연결을 설정하는 동작;
    상기 무선 연결을 통해 상기 무인 촬영 장치에 목표 구도 데이터를 전송하며, 상기 목표 구도 데이터는 오브젝트를 포함하는 제 1 이미지에 관련된 데이터들을 포함하는 동작; 및
    상기 무선 연결을 통해 상기 무인 촬영 장치로부터 제 2 이미지를 수신하는 동작을 포함하는 방법.
  18. 제17항에 있어서,
    상기 데이터는 제 1 이미지의 컴포지션을 포함하는 포함하는 방법.
  19. 제18항에 있어서,
    상기 데이터는 상기 제 1 이미지 내에서 제 1 오브젝트의 상대적인 위치를 포함하는 방법.
  20. 제19항에 있어서,
    상기 제 1 오브젝트는 사람의 얼굴을 포함하는 방법.
KR1020160068647A 2016-06-02 2016-06-02 전자 장치 및 그의 동작 방법 Withdrawn KR20170136750A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160068647A KR20170136750A (ko) 2016-06-02 2016-06-02 전자 장치 및 그의 동작 방법
CN201710407624.9A CN107463180A (zh) 2016-06-02 2017-06-02 电子设备及其操作方法
US15/612,601 US10635902B2 (en) 2016-06-02 2017-06-02 Electronic apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160068647A KR20170136750A (ko) 2016-06-02 2016-06-02 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20170136750A true KR20170136750A (ko) 2017-12-12

Family

ID=60483750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068647A Withdrawn KR20170136750A (ko) 2016-06-02 2016-06-02 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US10635902B2 (ko)
KR (1) KR20170136750A (ko)
CN (1) CN107463180A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598880B1 (ko) * 2022-11-16 2023-11-06 한화시스템 주식회사 무인항공기체계 지상안테나 점검장치 및 점검방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113022B2 (en) 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
US11209972B2 (en) * 2015-09-02 2021-12-28 D&M Holdings, Inc. Combined tablet screen drag-and-drop interface
DE102016206982B4 (de) * 2016-04-25 2022-02-10 Siemens Aktiengesellschaft Flugmobil zum Scannen eines Objekts und System zur Schadensanalyse des Objekts
CA3026077A1 (en) * 2016-06-03 2017-12-07 Walmart Apollo, Llc Unmanned aerial vehicle apparatus and method
WO2018006376A1 (en) * 2016-07-07 2018-01-11 SZ DJI Technology Co., Ltd. Method and system for controlling a movable object using machine-readable code
CN106328059B (zh) * 2016-09-07 2017-10-27 京东方科技集团股份有限公司 用于电学补偿的存储器中数据更新的方法和装置
JP2019533921A (ja) * 2016-10-18 2019-11-21 エックスダイナミクス リミテッド 無人航空機（ｕａｖ）の地上局
CN106331508B (zh) * 2016-10-19 2020-04-03 深圳市道通智能航空技术有限公司 拍摄构图的方法及装置
KR101765235B1 (ko) * 2016-11-28 2017-08-04 한국건설기술연구원 사물인터넷 기반 센서와 무인비행체를 이용한 시설물 유지관리 시스템 및 그 방법
US10586465B2 (en) * 2016-12-14 2020-03-10 International Business Machines Corporation Determination of a change in atmospheric pressure based on radio frequency return signal
US10067504B1 (en) * 2017-02-14 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd. Aerial device and method for controlling the aerial device
WO2018236387A1 (en) * 2017-06-23 2018-12-27 Hewlett-Packard Development Company, L.P. CONTROL OF CONFIDENTIALITY ON DISPLAYS
WO2019030820A1 (ja) * 2017-08-08 2019-02-14 日本電気株式会社 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
US10491824B2 (en) 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
US20190041856A1 (en) * 2017-11-07 2019-02-07 Intel IP Corporation Methods and apparatus to capture tomograms of structures using unmanned aerial vehicles
WO2019119434A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 信息处理方法、无人机、遥控设备以及非易失性存储介质
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
US10915781B2 (en) 2018-03-01 2021-02-09 Htc Corporation Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
US10475306B1 (en) * 2018-04-24 2019-11-12 International Business Machines Corporation Preventing anonymous theft by drones
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
JP7310811B2 (ja) * 2018-06-26 2023-07-19 ソニーグループ株式会社 制御装置および方法、並びにプログラム
CN112567201B (zh) * 2018-08-21 2024-04-16 深圳市大疆创新科技有限公司 距离测量方法以及设备
JP6940459B2 (ja) * 2018-08-29 2021-09-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、撮影制御方法、プログラム及び記録媒体
US11583997B2 (en) * 2018-09-20 2023-02-21 Sony Group Corporation Autonomous robot
CN110659376A (zh) * 2019-08-14 2020-01-07 浙江大华技术股份有限公司 图片查找方法、装置、计算机设备和存储介质
CN114286739B (zh) * 2019-08-26 2024-04-12 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
JP2021100238A (ja) * 2019-12-20 2021-07-01 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US20210195119A1 (en) * 2019-12-20 2021-06-24 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus and image processing method
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
CN115244592B (zh) * 2020-03-09 2024-06-25 三菱电机楼宇解决方案株式会社 水表抄表装置
KR102416330B1 (ko) * 2020-04-22 2022-07-04 주식회사 공간정보 드론시스템을 이용한 원격 좌표측정 시스템
US20230221721A1 (en) * 2020-05-11 2023-07-13 Canon U.S.A., Inc. An unmanned autonomous vehicle and method for controlling the same
US11445121B2 (en) 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN114051722B (zh) 2021-03-19 2024-06-14 吕应麟 成像装置和捕获图像的方法
WO2022195342A1 (en) * 2021-03-19 2022-09-22 Lui Ying Lun Imaging device and system, method of capturing images and computer readable storage medium
US12314465B2 (en) * 2021-08-30 2025-05-27 Snap Inc. Eyewear controlling an UAV
JP7341565B1 (ja) 2022-12-20 2023-09-11 株式会社amuse oneself 飛行体及び制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
KR101469246B1 (ko) 2007-08-07 2014-12-12 삼성전자주식회사 로봇에서 사진 촬영하는 장치 및 방법
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
TW201249713A (en) 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
CN103731599A (zh) 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 拍照方法及相机
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
KR20150097274A (ko) 2014-02-18 2015-08-26 홍익대학교 산학협력단 자주식 공간이동 카메라를 이용한 피사체 추종 촬영 시스템 및 방법
EP3862837B1 (en) 2014-07-30 2023-05-03 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10489407B2 (en) * 2014-09-19 2019-11-26 Ebay Inc. Dynamic modifications of results for search interfaces
CN105438488B (zh) * 2014-09-30 2018-07-17 深圳市大疆创新科技有限公司 飞行器及其控制方法以及飞行器系统
WO2016108220A1 (en) * 2014-12-29 2016-07-07 Klein Hagay Improved visual monitoring on smartphone screen
CN105391939B (zh) 2015-11-04 2017-09-29 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598880B1 (ko) * 2022-11-16 2023-11-06 한화시스템 주식회사 무인항공기체계 지상안테나 점검장치 및 점검방법

Also Published As

Publication number Publication date
US20170351900A1 (en) 2017-12-07
CN107463180A (zh) 2017-12-12
US10635902B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
US10635902B2 (en) Electronic apparatus and operating method thereof
US20170293297A1 (en) Electronic apparatus and operating method thereof
EP3330178B1 (en) Control device and method for unmanned arial photography vehicle
EP3188467B1 (en) Method for image capturing using unmanned image capturing device and electronic device supporting the same
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
CN107105130B (zh) 电子设备及其操作方法
KR102697559B1 (ko) 영상 표시 방법, 저장 매체 및 전자 장치
KR102680675B1 (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
US10809711B2 (en) Electronic device and method for controlling the same
US10809710B2 (en) Method for controlling unmanned aerial vehicle and electronic device for controlling unmanned aerial vehicle
US20200244854A1 (en) Method and electronic device for acquiring image by using camera comprising driving apparatus capable of rotating mirror
CN108279832A (zh) 图像采集方法和电子装置
KR20180106076A (ko) 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
KR20170055213A (ko) 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치
KR20180065756A (ko) 무인비행체를 제어하는 전자 장치 및 그 제어 방법
KR20170019827A (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
KR20170136797A (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
KR20180107642A (ko) 외부 객체의 움직임에 기반하여 이동 위치를 결정하는 방법 및 이를 구현한 전자 장치
KR102653336B1 (ko) 전자 장치 및 그 제어 방법
KR20180106178A (ko) 무인 비행체, 전자 장치 및 그에 대한 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160602

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination