[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101733677B1 - Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor - Google Patents

Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor Download PDF

Info

Publication number
KR101733677B1
KR101733677B1 KR1020150082648A KR20150082648A KR101733677B1 KR 101733677 B1 KR101733677 B1 KR 101733677B1 KR 1020150082648 A KR1020150082648 A KR 1020150082648A KR 20150082648 A KR20150082648 A KR 20150082648A KR 101733677 B1 KR101733677 B1 KR 101733677B1
Authority
KR
South Korea
Prior art keywords
landing
artificial landmark
image
take
artificial
Prior art date
Application number
KR1020150082648A
Other languages
Korean (ko)
Other versions
KR20160146062A (en
Inventor
정진호
Original Assignee
주식회사 두시텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 두시텍 filed Critical 주식회사 두시텍
Priority to KR1020150082648A priority Critical patent/KR101733677B1/en
Publication of KR20160146062A publication Critical patent/KR20160146062A/en
Application granted granted Critical
Publication of KR101733677B1 publication Critical patent/KR101733677B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • B64D45/04Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08Landing aids; Safety measures to prevent collision with earth's surface optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B64C2201/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법에 관한 것으로서, 더욱 상세하게는 인공표식 인식 기술을 이용하여 무인비행기의 자기 위치를 인공표식을 근거로 착륙지점의 근접거리까지 이동 후 초음파 거리탐지 기술을 이용하여 초음파센서를 통해 획득한 거리정보를 근거로 무인비행기의 정밀착륙이 가능하도록 하는 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법을 제공한다.The present invention relates to an apparatus and method for precise landing of an unmanned airplane using an artificial landmark and an ultrasonic sensor, and more particularly, to an apparatus and method for landing unmanned airplane using an artificial landmark and an ultrasonic sensor, The present invention also provides an apparatus and method for precise landing of an unmanned airplane using an artificial marker and an ultrasonic sensor for enabling precise landing of an unmanned airplane based on distance information obtained through an ultrasonic sensor using ultrasonic distance detection technology.

Description

인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법 {APPARATUS AND METHOD FOR UNMANNED PLANE PRECISION LANDING USING ARTIFICIAL LANDMARK AND ULTRASONIC SENSOR}Technical Field [0001] The present invention relates to an apparatus and a method for precise landing of an unmanned airplane using an artificial marker and an ultrasonic sensor,

본 발명은 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법에 관한 것으로서, 더욱 상세하게는 무인비행기의 자기 위치를 인공표식을 이용하여 착륙지점의 근접거리까지 이동 후 초음파센서를 이용하여 무인비행기의 정밀착륙이 가능하도록 하는 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for precise landing of an unmanned airplane using an artificial landmark and an ultrasonic sensor, and more particularly, to an apparatus and method for landing unmanned airplane using an artificial landmark and an ultrasonic sensor, The present invention relates to an apparatus and method for precise landing of an unmanned aerial vehicle using an artificial landmark and an ultrasonic sensor for enabling precise landing of an airplane.

무인비행기가 자동으로 착륙을 하기 위해서는 무인비행기 및 착륙지점의 위치를 정확히 파악하는 것이 가장 중요하다.It is most important to know the location of the unmanned airplane and the landing point in order for the unmanned airplane to land automatically.

이동체의 위치를 파악하는 방법으로는 GPS와 같은 위치센서를 이용하는 방법, 카메라 영상을 이용하여 주변 환경을 인식하는 방법 등이 있으나, 각각 단점을 가지고 있다.There are two methods of locating the moving object: using a position sensor such as GPS, and recognizing the surrounding environment using a camera image. However, they have disadvantages.

일반 GPS 센서의 경우 위치정확도가 매우 낮으며(위치오차가 10m 내외) 정확도가 높은 GPS 센서는 매우 고가이다. 그러나, 고가 GPS 제품이라 할지라도 주변에 높은 건물이 많은 경우(GPS 음영지역)에는 위치 정확도가 매우 떨어진다. 또한,In case of general GPS sensor, the position accuracy is very low (about 10m in position error) and the GPS sensor with high accuracy is very expensive. However, even in the case of high-priced GPS products, the location accuracy is very low when there are many buildings in the vicinity (in the shadow area of the GPS). Also,

한편, 카메라 영상을 이용한 위치인식 방법은 미리 기억된(즉, 위치를 알고 있는) 영상 정보와 입력 영상을 매칭하여 자신의 위치를 파악하는 방법이다. 그러나, 일반적인 영상 인식은 영상의 특성상 날씨, 시간대, 조명 등에 따라 영상 변화가 심하기 때문에 인식 성공률이 낮고 영상처리에 시간이 많이 걸리는 문제점을 갖는다. On the other hand, a position recognition method using a camera image is a method of locating the position of the user by matching the previously stored (i.e., known) image information with the input image. However, the general image recognition has a problem that the recognition success rate is low and the image processing takes a long time because the image changes greatly depending on weather, time, and illumination due to the characteristics of the image.

따라서, 실제 응용에 있어서는 식별이 용이하도록 제작된 인공표식을 바닥, 천장, 벽 등에 부착하고 이를 인식하는 방법이 주로 사용되어 왔다.Therefore, in practical applications, a method of attaching and recognizing an artificial landmark, which is manufactured to facilitate identification, is attached to a floor, a ceiling or a wall.

또한, 일반적인 영상 인식은 지근거리(50Cm 이내)의 영상을 식별하기 어려운 문제점이 있다.In addition, general image recognition has a problem in that it is difficult to identify an image at a close range (within 50 cm).

이와 같이 인공표식을 이용한 위치인식 방법에 관련되는 선행기술로는, 대한민국공개특허 제10-2007-0066192호(실내 이동 로봇의 위치 인식 방법 및 장치), 대한민국공개특허 제10-2011-0066714호(이동로봇의 위치인식 장치 및 방법)이 있다.Prior art related to the position recognition method using the artificial landmark is disclosed in Korean Patent Laid-Open No. 10-2007-0066192 (Method and apparatus for recognizing the position of an indoor mobile robot), Korean Patent Laid-Open No. 10-2011-0066714 An apparatus and method for recognizing the position of a mobile robot).

대한민국공개특허 제10-2007-0066192호의 발명은 도 1과 같이 사각형 패치(5) 내부에 원형의 마크들(1, 2)을 배치한 형태의 표식을 제안하고 있다.Korean Unexamined Patent Publication No. 10-2007-0066192 proposes a marking in which circular marks 1 and 2 are arranged inside a square patch 5 as shown in FIG.

대한민국공개특허 제10-2011-0066714호의 발명은 도 2와 같이 사각형의 패치(7) 내부에 격자 패턴을 이용하여 표식 간의 ID를 식별하는 방식을 제안하고 있다.
Korean Patent Laid-Open No. 10-2011-0066714 proposes a method of identifying IDs between markers using a grid pattern in a rectangular patch 7 as shown in FIG.

한국공개특허 [10-2007-0066192](등록일자: 2007.06.27)Korean Patent Publication [10-2007-0066192] (Registered on Jun. 27, 2007) 한국공개특허 [10-2011-0066714](공개일자: 2011.06.17)Korean Patent Publication [10-2011-0066714] (Published date: June 17, 2011)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 인공표식 인식 기술과 초음파 거리탐지 기술을 이용하여 무인비행기의 정밀 착륙을 시킬 수 있는 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide an artificial marker and an ultrasonic sensor capable of precise landing of an unmanned airplane using an artificial marker recognition technique and an ultrasonic distance detection technique. And to provide a precision landing apparatus and method using the unmanned aerial vehicle.

본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the embodiments of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description .

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치는, 외부 영상을 획득하는 영상획득부(100); 초음파센서(200); 상기 영상획득부(100)를 이용하여 획득된 영상으로부터 인공표식을 검출한 정보를 근거로 정밀고도계산높이까지 비행기를 이동시키고, 상기 영상획득부(100)를 이용하여 획득된 영상으로부터 인공표식을 검출한 정보 및 상기 초음파센서(200)로 측정된 거리정보를 근거로 정밀고도계산높이부터 착륙대기높이까지 비행기를 이동시키며, 상기 초음파센서(200)로 측정된 거리정보를 근거로 착륙대기높이부터 착륙 시 까지 무인비행기를 착륙시키는 정밀착륙제어부(300);를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided an apparatus for precision landing of an unmanned aerial vehicle using an artificial landmark and an ultrasonic sensor, comprising: an image acquisition unit (100) for acquiring an external image; An ultrasonic sensor 200; An airplane is moved to a precise altitude calculation height based on the information obtained by detecting an artificial landmark from the image obtained by using the image obtaining unit 100 and the artificial landmark is obtained from the image obtained using the image obtaining unit 100 Based on the detected information and the distance information measured by the ultrasonic sensor 200, the airplane is moved from the altitude calculation altitude to the landing standby height. Based on the distance information measured by the ultrasonic sensor 200, And a precise landing control unit (300) for landing the unmanned airplane until landing.

또한, 상기 정밀착륙제어부(300)는 외부로부터 중심좌표 정보를 포함한 인공표식 규격정보, 비행임무정보, 및 GPS정보를 입력받아 저장하는 이륙정보저장부(310); 상기 영상획득부(100)로부터 획득된 영상으로부터 인공표식을 검출하는 인공표식검출부(320); 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 착륙방향을 결정하는 정보관리부(330); 상기 이륙정보저장부(310)에 저장된 인공표식 규격정보 및 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 상기 인공표식의 위치에 비행기가 접근하기 위한 접근정보를 산출하는 접근정보산출부(340); 상기 이륙정보저장부(310)에 저장된 인공표식 규격정보의 중심좌표정보 및 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 중심좌표와 비행기의 오차정보를 산출하는 중심좌표산출부(350); 및 상기 초음파센서(200)로부터 획득된 정보를 근거로 비행기의 고도를 산출하는 정밀고도산출부(360);를 포함하는 것을 특징으로 한다.In addition, the precise landing control unit 300 includes a take-off information storage unit 310 for receiving and storing artificial landmark specification information including flight center information, flight mission information, and GPS information from the outside. An artificial landmark detection unit 320 for detecting an artificial landmark from the image acquired from the image acquisition unit 100; An information management unit 330 for determining a landing direction based on the artificial landmark image detected by the artificial landmark detection unit 320; An access information calculation unit for calculating access information for accessing the airplane at the position of the artificial landmark based on the artificial landmark information stored in the take-off information storage unit 310 and the artificial landmark image detected by the artificial landmark detection unit 320 (340); A center coordinate calculator (not shown) for calculating center coordinates and error information of the airplane based on the center coordinate information of the artificial landmark information stored in the take-off information storage unit 310 and the artificial landmark image detected by the artificial land marker detector 320 350); And an accurate altitude calculation unit 360 for calculating an altitude of the airplane based on the information obtained from the ultrasonic sensor 200.

아울러, 상기 정보관리부(330)는 인공표식 규격정보 및 인공표식 영상을 근거로 GPS위치좌표에서 자북을 결정하고, 중심좌표 인식 기준의 자북 결정에 의해 결정된 인공표식 각도를 근거로 착륙방향을 결정하는 것을 특징으로 한다.In addition, the information management unit 330 determines the magnetic north in the GPS position coordinates based on the artificial landmark information and the artificial landmark image, and determines the landing direction based on the artificial landmark angle determined by the north-north determination of the center coordinate recognition reference .

본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 방법은 정밀착륙제어부가 외부로부터 중심좌표 정보를 포함한 인공표식 규격정보 및 비행임무정보를 입력받고, 이륙위치의 GPS정보를 획득하는 이륙준비 단계(S10); 무인비행기의 이륙 시 일정 높이까지 상승 후, 영상획득부(100)를 이용하여 이륙위치 영상을 획득하고, 정밀착륙제어부가 상기 이륙위치 영상 및 상기 이륙준비 단계(S10)의 인공표식 규격정보를 바탕으로 착륙방향을 결정하는 자동이륙 단계(S20); 무인비행기가 상기 이륙준비 단계(S10)의 비행임무정보를 바탕으로 비행임무를 수행하는 임무수행 단계(S30); 무인비행기가 비행임무 수행 후, 정밀착륙제어부가 상기 이륙준비 단계(S10)의 GPS정보를 바탕으로 해당 GPS좌표로 무인비행기를 이동시켜, 영상획득부(100)를 이용하여 착륙지점 영상을 획득하며, 획득한 착륙지점 영상 중 인공표식 영상을 검출하는 인공표식추적 단계(S40); 정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 미리 결정된 정밀고도계산높이까지 비행기의 위치를 동기화 시키며, 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 상기 자동이륙 단계(S20)의 착륙방향과 동기화시키는 인공표식기반하강 단계(S50); 정밀착륙제어부가 상기 정밀고도계산높이부터 미리 결정된 착륙대기높이까지 초음파센서(200)를 이용하여 정밀고도를 계산하되, 상기 인공표식 영상 및 정밀고도를 근거로 비행기의 위치 및 착륙방향을 동기화 시키는 듀얼기반하강 단계(S60); 및 정밀착륙제어부가 미리 결정된 착륙대기높이부터 초음파센서(200)를 이용한 정밀고도값을 근거로 무인비행기를 수직 하강시켜 착륙시키는 초음파센서기반착륙 단계(S70);를 포함하는 것을 특징으로 한다.In the precise landing method of the unmanned aerial vehicle using the artificial landmark and the ultrasonic sensor according to the embodiment of the present invention, the precision landing control unit receives the artificial landmark information including the center coordinate information and the flight mission information from the outside, (S10); The landing position image is acquired using the image acquisition unit 100 and the precision landing control unit acquires the take-off position image and the artificial landmark information of the take-off preparation step (S10) An automatic take-off step (S20) of determining a landing direction to the landing direction; A mission performing step (S30) in which the unmanned airplane performs a flight mission based on the flight mission information in the take-off preparation step (S10); After the unmanned airplane performs the flight mission, the precise landing control unit moves the unmanned airplane to the corresponding GPS coordinates based on the GPS information of the taking-ready step (S10), acquires the landing point image using the image acquisition unit 100 An artificial landmark tracking step (S40) of detecting an artificial landmark image among the obtained landing point images; The precise landing control unit synchronizes the position of the airplane up to a predetermined precise altitude calculation height based on the artificial landmark image detected in the artificial landmark tracking step S40 and detects the artificial landmark image detected in the artificial landmark tracking step S40 An artificial landmark-based descent step (S50) for synchronizing with the landing direction of the automatic take-off step (S20) on the basis of the landing direction; The precision landing control unit calculates the accurate altitude using the ultrasonic sensor 200 from the altitude calculation altitude to a predetermined landing altitude, and synchronizes the position and landing direction of the airplane based on the artificial landmark image and the altitude Based descent step S60; And an ultrasonic sensor-based landing step (S70) in which the precision landing control unit vertically descends the unmanned airplane based on the precision altitude value using the ultrasonic sensor (200) from a predetermined landing waiting height.

또한, 상기 자동이륙 단계(S20)는 영상획득부(100)를 이용하여 이륙위치의 영상을 획득하는 이륙영상획득 단계(S21); 정밀착륙제어부가 상기 이륙영상획득 단계(S21)에서 획득한 영상 중 인공표식 영상을 검출하는 이륙인공표식검출 단계(S22); 및 정밀착륙제어부가 상기 이륙준비 단계(S10)의 인공표식 규격정보 및 상기 이륙인공표식검출 단계(S20)에서 획득한 인공표식 영상을 근거로 GPS위치좌표에서 자북을 결정하고, 중심좌표 인식 기준의 자북 결정에 의해 결정된 인공표식 각도를 근거로 착륙방향을 결정하는 착륙설정 단계(S23);를 포함하는 것을 특징으로 한다.In addition, the automatic take-off step S20 includes a take-off image acquiring step S21 for acquiring an image of a take-off position using the image acquiring unit 100; A take-off artificial landmark detection step (S22) in which the precise landing control unit detects an artificial landmark image among the images acquired in the take-in image acquisition step (S21); And the precise landing control unit determines the magnetic north in the GPS position coordinates based on the artificial landmark specification information of the take-off preparation step (S10) and the artificial landmark image acquired in the take-off artificial landmark detection step (S20) And a landing setting step (S23) of determining a landing direction based on the artificial landmark angle determined by the magnetic north determination.

아울러, 상기 인공표식기반하강 단계(S50)는 정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 인공표식 중심좌표 정밀위치를 계산하여, 이를 근거로 상기 비행기의 위치를 동기화 시키는 위치동기화 단계(S51); 및 정밀착륙제어부가 미리 결정된 정밀고도계산높이까지 상기 자동이륙 단계(S20)의 착륙방향과 동기화(각도를 정렬)시키며, 비행기의 위치를 동기화 시키는 각도동기화 단계(S52);를 포함하는 것을 특징으로 한다.
In addition, the artificial landmark-based descent step S50 is a step in which the precision landing control unit calculates the precision position of the artificial landmark center coordinate based on the artificial landmark image detected in the artificial landmark tracking step S40, (Step S51); And an angle synchronization step (S52) of synchronizing the position of the airplane with the landing direction of the automatic take-off step (S20) until the precise landing control unit reaches a predetermined accurate altitude calculation height, do.

본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치 및 방법에 의하면, 인공표식 인식 기술을 이용하여 GPS정보의 오차를 보정할 수 있으며, 초음파 거리탐지 기술을 이용하여 무인비행기가 지면에 착륙할 때의 충격을 줄여 무인비행기를 정확하고 안전하게 자동 착륙 시킬 수 있는 효과가 있다.According to the unmanned aerial vehicle precise landing apparatus and method using artificial landmarks and ultrasonic sensors according to an embodiment of the present invention, errors of GPS information can be corrected using artificial landmark recognition technology, It has the effect of reducing the impact when the plane lands on the ground and automatically landing the unmanned airplane accurately and safely.

아울러, 무인비행기의 이륙 시 이륙방향과 착륙방향을 일치시킴으로써, 무인비행기를 보다 안전하게 자동 착륙 시킬 수 있는 효과가 있다.
In addition, when the takeoff direction of the unmanned airplane is matched with the landing direction, it is possible to automatically land the unmanned airplane more safely.

도 1은 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치의 블록도.
도 2는 도 1의 세부 예시도.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 방법을 설명하기 위한 흐름도.
도 6은 무인비행기의 이륙 및 착륙 시 적용된 기술을 설명하기 위한 개념도.
1 is a block diagram of a precise landing gear of a UAV using an artificial landmark and an ultrasonic sensor according to an embodiment of the present invention.
Fig. 2 is a detailed view of Fig. 1; Fig.
3 to 5 are flowcharts for explaining a method for precise landing of a UAV using an artificial landmark and an ultrasonic sensor according to an embodiment of the present invention.
FIG. 6 is a conceptual diagram for explaining a technique applied to take-off and landing of an unmanned airplane; FIG.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concept of the term appropriately in order to describe its own invention in the best way. The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention. Further, it is to be understood that, unless otherwise defined, technical terms and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Descriptions of known functions and configurations that may be unnecessarily blurred are omitted. The following drawings are provided by way of example so that those skilled in the art can fully understand the spirit of the present invention. Therefore, the present invention is not limited to the following drawings, but may be embodied in other forms. In addition, like reference numerals designate like elements throughout the specification. It is to be noted that the same elements among the drawings are denoted by the same reference numerals whenever possible.

설명에 앞서, 본 명세서( 및 특허청구범위)에서 사용되는 용어에 대해 간단히 설명하도록 한다.Prior to the description, the terms used in this specification (and claims) will be briefly described.

'인공표식 인식 기술'이란 영상으로부터 추출된 인공표식을 기반으로 위치 및 각도 등을 계산하는 기술을 말한다.'Artificial marker recognition technology' refers to a technique for calculating position and angle based on artificial markers extracted from images.

'초음파 거리탐지 기술'이란 초음파의 도달시간을 이용하여 목표지점 까지의 거리를 측정하는 기술을 말한다.
'Ultrasonic distance detection technology' refers to the technique of measuring the distance to the target point using the ultrasound arrival time.

도 1은 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치의 블록도이고, 도 2는 도 1의 세부 예시도이며, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 방법을 설명하기 위한 흐름도이고, 도 6은 무인비행기의 이륙 및 착륙 시 적용된 기술을 설명하기 위한 개념도이다.
FIG. 1 is a block diagram of a precise landing device of an unmanned aerial vehicle using artificial landmarks and ultrasonic sensors according to an embodiment of the present invention. FIG. 2 is a detailed view of FIG. 1, and FIGS. FIG. 6 is a conceptual diagram for explaining a technology applied to take-off and landing of an unmanned airplane. FIG. 6 is a flow chart for explaining a detailed landing method of an unmanned aerial vehicle using an artificial landmark and an ultrasonic sensor according to an example.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 장치는 영상획득부(100), 초음파센서(200), 정밀착륙제어부(300);As shown in FIG. 1, an unmanned aerial vehicle precision landing apparatus using an artificial landmark and an ultrasonic sensor according to an embodiment of the present invention includes an image acquisition unit 100, an ultrasonic sensor 200, a precision landing control unit 300;

영상획득부(100)는 카메라 등을 이용하여 외부 영상을 획득한다.The image acquisition unit 100 acquires an external image using a camera or the like.

초음파센서(200)는 초음파를 발생시키고 반사되어 되돌아온 초음파를 수신한다.The ultrasonic sensor 200 generates ultrasonic waves and receives reflected ultrasonic waves.

정밀착륙제어부(300)는 상기 영상획득부(100)를 이용하여 획득된 영상으로부터 인공표식을 검출한 정보를 근거로 정밀고도계산높이까지 비행기를 이동시키고, 상기 영상획득부(100)를 이용하여 획득된 영상으로부터 인공표식을 검출한 정보 및 상기 초음파센서(200)로 측정된 거리정보를 근거로 정밀고도계산높이부터 착륙대기높이까지 비행기를 이동시키며, 상기 초음파센서(200)로 측정된 거리정보를 근거로 착륙대기높이부터 착륙 시 까지 무인비행기를 착륙시킨다.The precise landing control unit 300 moves the airplane to the precise altitude calculation height based on the information obtained by detecting the artificial landmark from the image obtained using the image obtaining unit 100, The airplane is moved from the altitude calculation altitude to the landing air height based on the information obtained by detecting the artificial landmark from the acquired image and the distance information measured by the ultrasonic sensor 200. The distance information measured by the ultrasonic sensor 200 , Landing the unmanned airplane from landing height to landing.

여기서, 정밀고도계산높이는 초음파센서(200)를 가동시키는 높이를 말하는 것으로, 영상획득부(100)로 획득된 영상의 식별 가능 높이에 제약이 있기 때문에 부족한 부분을 초음파센서(200)로 보완하기 위해 설정한 높이를 말한다. 예를 들어 3 m 이내에서 정밀고도계산높이를 설정할 수 있다.Here, the precision altitude calculation height refers to a height at which the ultrasonic sensor 200 is operated. In order to compensate for the insufficient height of the image obtained by the image acquisition unit 100 with the ultrasonic sensor 200 It refers to the set height. For example, you can set the precision altitude calculation height within 3 m.

착륙대기높이는 영상획득부(100)로 획득된 영상의 식별 가능 높이에 제약이 있기 때문에, 영상획득부(100)로 획득된 영상 정보를 사용하지 않고 초음파센서(200)로 측정한 거리에 의존하여 착륙하기 위해 설정한 높이를 말한다. 예를 들어 1 m 이내에서 착륙대기높이를 설정(일반적으로 50 Cm 이내에서 획득한 영상은 초점이 안 맞아 사용하기 어려움)할 수 있다.Since the landing waiting height is limited by the recognizable height of the image acquired by the image acquisition unit 100, the landing air height may be determined depending on the distance measured by the ultrasonic sensor 200 without using the image information acquired by the image acquisition unit 100 It refers to the height set for landing. For example, setting the landing waiting height within 1 m (generally, images obtained within 50 Cm are not in focus and difficult to use).

즉, 정밀고도계산높이에 무인비행기가 다다를 때 까지는 인공표식 인식 기술을 사용하고, 정밀고도계산높이부터 착륙대기높이 까지는 인공표식 인식 기술 및 초음파 거리탐지 기술을 모두 사용하며, 착륙대기높이부터 착륙 시 까지는 초음파 거리탐지 기술을 사용하여 무인비행기를 착륙 시킨다.
That is, artificial landmark recognition technology is used until the unmanned airplane approaches the altitude calculation altitude, and artificial landmark recognition technology and ultrasonic distance detection technology are used from the altitude calculation altitude to the landing air height. Until the landing of the unmanned airplane using ultrasound distance detection technology.

도 2에 도시된 바와 같이, 상기 정밀착륙제어부(300)는 이륙정보저장부(310), 인공표식검출부(320), 정보관리부(330), 접근정보산출부(340), 중심좌표산출부(350) 및 정밀고도산출부(360)를 포함할 수 있다.2, the precise landing control unit 300 includes a take-off information storage unit 310, an artificial landmark detection unit 320, an information management unit 330, an access information calculation unit 340, a center coordinate calculation unit 350 and an accurate altitude calculation unit 360. [

이륙정보저장부(310)는 외부로부터 중심좌표 정보를 포함한 인공표식 규격정보, 비행임무정보, 및 GPS정보를 입력받아 저장한다.The take-off information storage unit 310 receives and stores artificial landmark information including flight center information, flight mission information, and GPS information from the outside.

인공표식은 무인비행기의 착륙지점 및 착륙방향을 확인하기 위해 필요한 것으로, 특정 규칙에 해당하는 표시를 말한다. 즉, 영상으로부터 인공표식을 검출하게 되면, GPS 위치좌표에서 자북을 결정할 수 있고, 중심좌표 인식 기준의 자북 결정에 의해 인공표식 각도를 계산할 수 있다.An artificial landmark is a mark that corresponds to a specific rule, which is necessary to confirm the landing point and landing direction of the UAV. That is, when the artificial landmark is detected from the image, the magnetic north can be determined in the GPS position coordinate, and the artificial landmark angle can be calculated by the magnetic north determination of the center coordinate recognition reference.

즉, 중심좌표 결정이후 GPS좌표 및 자북정보에 의한 착륙방향을 결정할 수 있다.That is, after the center coordinates are determined, the landing direction can be determined based on the GPS coordinates and magnetic north information.

인공표식검출부(320)는 상기 영상획득부(100)로부터 획득된 영상으로부터 인공표식을 검출한다.The artificial marker detection unit 320 detects an artificial marker from the image acquired from the image acquisition unit 100.

이때, 상기 인공표식검출부(320)는 인공표식 규격정보를 근거로 상기 영상획득부(100)로부터 획득된 영상에서 인공표식을 검출한다.At this time, the artificial marker detection unit 320 detects an artificial marker in the image acquired from the image acquisition unit 100 based on the artificial marker standard information.

정보관리부(330)는 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 착륙방향을 결정한다.The information management unit 330 determines the landing direction based on the artificial landmark image detected by the artificial landmark detection unit 320. [

무인비행기의 이륙 시 무인비행기가 향하는 각도를 착륙방향으로 결정할 수 있으며, 무인비행기의 이륙 후 일정 높이에서 획득한 영상으로부터 인공표식을 검출하고, 이를 바탕으로 착륙방향을 결정할 수 있다. The landing direction of the UAV can be determined by taking the angle of the UAV when the UAV is taken off, and the landing direction can be determined based on the detection of the UAV from the image acquired at a certain height after the takeoff of the UAV.

이때, 상기 정보관리부(330)는 인공표식 규격정보 및 인공표식 영상을 근거로 GPS위치좌표에서 자북을 결정하고, 중심좌표 인식 기준의 자북 결정에 의해 결정된 인공표식 각도를 근거로 착륙방향을 결정하는 것을 특징으로 할 수 있다.At this time, the information management unit 330 determines the magnetic north in the GPS position coordinates based on the artificial landmark information and the artificial landmark image, and determines the landing direction based on the artificial landmark angle determined by the north-north determination of the center coordinate recognition reference . ≪ / RTI >

즉, 무인비행기의 이륙 후 일정 높이에서 획득한 영상으로부터 인공표식을 검출하게 되면, 인공표식 규격정보와 비교하여 자북방향이 어느 방향인지 확인이 가능하며, 이를 근거로 무인비행기가 어느 방향을 향하고 있는지 확인할 수 있고, 그 방향을 착륙방향으로 결정할 수 있다.In other words, if an artificial landmark is detected from an image acquired at a certain height after takeoff of the UAV, it is possible to determine in which direction the magnetic north direction is compared with the artificial landmark information. Based on this, And the direction can be determined as the landing direction.

접근정보산출부(340)는 상기 이륙정보저장부(310)에 저장된 인공표식 규격정보 및 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 상기 인공표식의 위치에 비행기가 접근하기 위한 접근정보를 산출한다.The access information calculation unit 340 calculates the access information based on the artificial landmark information stored in the take-off information storage unit 310 and the artificial landmark image detected by the artificial landmark detection unit 320, And calculates access information.

상기 접근정보산출부(340)는 착륙을 하고자 하는 무인비행기를 인공표식의 좌표로 이동시키기 위한 접근정보를 산출한다. 상기 접근정보는 10m이상 고도에서 인공표식으로 접근을 위한 무인비행체와 인공표식 사이 각도 추출을 위한 회전각처리 정보를 산출 할 수 있다. 영상내의 기준 점으로부터 어느 특정 점까지의 방향과 각도를 구하는 공식은 삼각함수(atan)를 이용하여 구할 수 있다. 영상은 픽셀 단위로 처리되므로 픽셀을 기준으로 처리한다. 기준점은 영상의 하단 가운데로 정할 수 있으며, 영상에서 원하는 대상의 중심 좌표를 찾아서 기준 픽셀과의 차이를 구한다.The access information calculation unit 340 calculates access information for moving the unmanned airplane to be landed to coordinates of artificial landmarks. The access information can be used to calculate rotation angle processing information for angle extraction between an unmanned aerial vehicle and an artificial landmark for approaching an artificial landmark at an altitude of 10 m or more. The formula for determining the direction and angle from a reference point to a specific point in an image can be obtained using a trigonometric function (atan). Since the image is processed in units of pixels, it is processed based on the pixels. The reference point can be defined as the center of the bottom of the image, and the center coordinates of the desired object in the image are found to obtain the difference from the reference pixel.

중심좌표산출부(350)는 상기 이륙정보저장부(310)에 저장된 인공표식 규격정보의 중심좌표정보 및 상기 인공표식검출부(320)로부터 검출된 인공표식 영상을 근거로 중심좌표와 비행기의 오차정보를 산출한다.The center coordinate calculation unit 350 calculates center coordinates of the center coordinates of the airplane based on the center coordinate information of the artificial landmark information stored in the take-off information storage unit 310 and the artificial landmark image detected by the artificial landmark detection unit 320 .

무인비행기 기준 인공표식의 중심좌표에서 오차 위치를 계산할 수 있으며, 무인비행기가 어느 방향으로 얼마만큼 벗어난 위치에 있는지 확인 할 수 있다.It is possible to calculate the error position in the center coordinates of the artificial landmark based on the unmanned airplane, and it is possible to check how far the unmanned airplane is located in which direction.

즉, 중심좌표와 무인비행기의 위치정보에 따라 무인비행기를 중심좌표로 이동이 가능한 제어정보 출력하여 무인비행기가 중심좌표 지점으로 이동할 수 있도록 유도가 가능 하다.
That is, according to the center coordinates and the position information of the UAV, it is possible to induce the UAV to move to the center coordinate point by outputting the control information capable of moving the UAV to the center coordinates.

정밀고도산출부(360)는 상기 초음파센서(200)로부터 획득된 정보를 근거로 비행기의 고도를 산출한다.The precision altitude calculation unit 360 calculates the altitude of the airplane based on the information obtained from the ultrasonic sensor 200.

즉, 초음파센서가 지상과 수직한 방향으로 초음파를 보내고 반사되어 되돌아온 초음파를 수신하면 지상으로부터의 높이를 산출할 수 있다.
That is, when the ultrasonic sensor sends ultrasonic waves in a direction perpendicular to the ground and receives reflected ultrasonic waves, the height from the ground can be calculated.

도 3 및 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 방법은 이륙준비 단계(S10), 자동이륙 단계(S20), 임무수행 단계(S30), 인공표식추적 단계(S40), 인공표식기반하강 단계(S50), 듀얼기반하강 단계(S60) 및 초음파센서기반착륙 단계(S70)를 포함한다.3 and 6, the method for precisely landing a UAV using an artificial landmark and an ultrasonic sensor according to an embodiment of the present invention includes a take-off preparation step S10, an automatic take-off step S20, S30), artificial marker tracking step S40, artificial marker based descent step S50, dual based descent step S60, and ultrasonic sensor based landing step S70.

이륙준비 단계(S10)는 정밀착륙제어부가 외부로부터 중심좌표 정보를 포함한 인공표식 규격정보 및 비행임무정보를 입력받고, 이륙위치의 GPS정보를 획득한다.In the take-off preparation step S10, the precision landing control unit receives the artificial landmark information including the center coordinate information and the flight mission information from the outside, and acquires the GPS information of the take-off position.

즉, 무인비행기의 비행 이전에 무인비행기가 비행해야 할 경로 등을 입력받고, 이착륙장의 인공표식이 어떤 것인지 입력받은 후, 이륙 직전에 이륙위치의 GPS정보를 수신 받는다. That is, after receiving the input of the artificial landmarks of the unmanned airplane before the flight of the unmanned airplane, the GPS information of the take-off position is received immediately before takeoff.

자동이륙 단계(S20)는 무인비행기의 이륙 시 일정 높이까지 상승 후, 영상획득부(100)를 이용하여 이륙위치 영상을 획득하고, 정밀착륙제어부가 상기 이륙위치 영상 및 상기 이륙준비 단계(S10)의 인공표식 규격정보를 바탕으로 착륙방향을 결정한다.In the automatic take-off step S20, the take-up position image is acquired by using the image obtaining unit 100 after the elevator has risen to a predetermined height at the time of taking-off of the unmanned airplane, The landing direction is determined based on the artificial landmark information of the landing direction.

도 4에 도시된 바와 같이, 상기 자동이륙 단계(S20)는 이륙영상획득 단계(S21), 이륙인공표식검출 단계(S22) 및 착륙설정 단계(S23)를 포함할 수 있다.As shown in FIG. 4, the automatic take-off step S20 may include a take-off image acquiring step S21, a take-off artificial landmark detection step S22, and a landing setting step S23.

이륙영상획득 단계(S21)는 영상획득부(100)를 이용하여 이륙위치의 영상을 획득한다.The take-in image acquisition step S21 acquires the image of the take-off position using the image acquisition unit 100. [

상기 이륙영상획득 단계(S21)는 무인비행기기 일정 높이까지 상승 후 영상을 획득하게 되는데, 인공표식을 추출하기 용이한 영상을 획득할 수 있는 높이에서 무인비행기가 영상을 획득하는 것이 바람직하며, 일반적으로 5 m 이내의 영상을 획득하는 것이 바람직하다.The take-in image acquiring step S21 acquires an image after ascending to a predetermined height of the UAV. It is preferable that the UAV acquires the image at a height at which an image easy to extract artificial landmarks can be acquired. It is preferable to acquire an image within 5 m.

이륙인공표식검출 단계(S22)는 정밀착륙제어부가 상기 이륙영상획득 단계(S21)에서 획득한 영상 중 인공표식 영상을 검출한다.The take-off artificial landmark detection step S22 detects an artificial landmark image among the images acquired by the precise landing control unit in the take-off image acquisition step S21.

착륙설정 단계(S23)는 정밀착륙제어부가 상기 이륙준비 단계(S10)의 인공표식 규격정보 및 상기 이륙인공표식검출 단계(S20)에서 획득한 인공표식 영상을 근거로 GPS위치좌표에서 자북을 결정하고, 중심좌표 인식 기준의 자북 결정에 의해 결정된 인공표식 각도를 근거로 착륙방향을 결정한다.In the landing setting step S23, the precision landing control unit determines the magnetic north in the GPS position coordinates based on the artificial landmark specification information in the take-off preparation step S10 and the artificial landmark image acquired in the take-off artificial landmark detection step S20 , The landing direction is determined based on the artificial landmark angle determined by the magnetic north determination of the center coordinate recognition reference.

이륙인공표식검출 단계(S20)에서 획득한 인공표식 영상으로부터 인공표식을 검출하게 되면, 인공표식 규격정보와 비교하여 자북방향이 어느 방향인지 확인이 가능하며, 이를 근거로 무인비행기가 어느 방향을 향하고 있는지 확인할 수 있고, 그 방향을 착륙방향으로 결정할 수 있다.When the artificial landmark is detected from the artificial landmark image acquired in the take-off artificial landmark detection step S20, it is possible to confirm which direction the magnetic north direction is compared with the artificial landmark information. Based on this, , And can determine the direction of the landing direction.

즉, 무인항공기를 안전하게 착륙시키기 위해, 비행임무를 수행하기 전, 착륙에 필요한 정보(착륙방향 등)를 획득해야 한다.That is, in order to safely land the UAV, information necessary for landing (such as landing direction) must be acquired before the flight mission is performed.

임무수행 단계(S30)는 무인비행기가 상기 이륙준비 단계(S10)의 비행임무정보를 바탕으로 비행임무를 수행한다.In the mission execution step S30, the unmanned airplane performs the flight mission based on the flight mission information in the take-off preparation step S10.

인공표식추적 단계(S40)는 무인비행기가 비행임무 수행 후, 정밀착륙제어부가 상기 이륙준비 단계(S10)의 GPS정보를 바탕으로 해당 GPS좌표로 무인비행기를 이동시켜, 영상획득부(100)를 이용하여 착륙지점 영상을 획득하며, 획득한 착륙지점 영상 중 인공표식 영상을 검출한다.The artificial landmark tracking step S40 is a step in which after the unmanned airplane performs the flight mission, the precision landing control unit moves the unmanned airplane to the corresponding GPS coordinates based on the GPS information of the take- To obtain the landing point image and to detect the artificial landing image among the acquired landing point image.

즉, 무인비행기가 착륙지점의 GPS 좌표로 이동하고, 주변의 영상을 촬영하며, 촬영된 영상 중 인공표식을 검출할 수 있는 영상을 획득할 때 까지 주변의 영상을 촬영한다. GPS 정보에는 오차가 발생되기 때문에, 정확한 착륙지점을 찾아 착륙하기 위해 인공표식을 검출해야 한다.That is, the unmanned airplane is moved to the GPS coordinates of the landing point, the surrounding image is photographed, and the surrounding image is photographed until the image that can detect the artificial landmark is acquired. Since GPS information is error-prone, an artificial landmark must be detected to locate and land the correct landing point.

인공표식기반하강 단계(S50)는 정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 미리 결정된 정밀고도계산높이까지 비행기의 위치를 동기화 시키며, 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 상기 자동이륙 단계(S20)의 착륙방향과 동기화시킨다.The artificial landmark-based descent step S50 synchronizes the position of the airplane with the precision altitude calculation height based on the artificial landmark image detected in the artificial landmark tracking step S40, (S20) based on the artificial landmark image detected in step S40.

인공표식이 검출되었다는 것은 착륙지점을 확인했다는 것이고, 무인비행기를 착륙지점으로 이동시켜야 한다.The detection of the artificial landing means that the landing point has been identified and the unmanned airplane should be moved to the landing point.

도 5에 도시된 바와 같이, 상기 인공표식기반하강 단계(S50)는 위치동기화 단계(S51) 및 각도동기화 단계(S52)를 포함할 수 있다.As shown in FIG. 5, the artificial landmark-based descent step S50 may include a position synchronization step S51 and an angle synchronization step S52.

위치동기화 단계(S51)는 정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 인공표식 중심좌표 정밀위치를 계산하여, 이를 근거로 상기 비행기의 위치를 동기화 시킨다.In the position synchronization step S51, the precision landing control unit calculates the precise position of the artificial landmark center coordinate based on the artificial landmark image detected in the artificial landmark tracking step S40, and synchronizes the position of the airplane based on this.

즉, 착륙을 하고자 하는 무인비행기를 인공표식의 좌표로 이동시키기 위한 접근정보를 산출한다. 상기 접근정보는 10m이상 고도에서 인공표식으로 접근을 위한 무인비행체와 인공표식 사이 각도 추출을 위한 회전각처리 정보를 산출 할 수 있다. 영상내의 기준 점으로부터 어느 특정 점까지의 방향과 각도를 구하는 공식은 삼각함수(atan)를 이용하여 구할 수 있다. 영상은 픽셀 단위로 처리되므로 픽셀을 기준으로 처리한다. 기준점은 영상의 하단 가운데로 정할 수 있으며, 영상에서 원하는 대상의 중심 좌표를 찾아서 기준 픽셀과의 차이를 구한다.That is, the approach information for moving the unmanned airplane to land on the coordinates of the artificial landmark is calculated. The access information can be used to calculate rotation angle processing information for angle extraction between an unmanned aerial vehicle and an artificial landmark for approaching an artificial landmark at an altitude of 10 m or more. The formula for determining the direction and angle from a reference point to a specific point in an image can be obtained using a trigonometric function (atan). Since the image is processed in units of pixels, it is processed based on the pixels. The reference point can be defined as the center of the bottom of the image, and the center coordinates of the desired object in the image are found to obtain the difference from the reference pixel.

각도동기화 단계(S52)는 정밀착륙제어부가 미리 결정된 정밀고도계산높이까지 상기 자동이륙 단계(S20)의 착륙방향과 동기화(각도를 정렬)시키며, 비행기의 위치를 동기화 시킨다.The angle synchronization step S52 synchronizes (aligns angles) with the landing direction of the automatic take-off step S20 until the precise landing control unit reaches a predetermined accurate altitude calculation height, and synchronizes the position of the airplane.

사각형의 인공표식을 예로 들면, 4 개의 모서리 별 회전각도를 근거로 무인비행체의 착륙방향과 틀어진 각도를 구할 수 있다. 이는, 이륙한 궤적과 착륙하는 궤적이 유사한 것이 무인비행기를 안전하게 착륙 시킬 수 있기 때문이다.In the case of a square artificial landmark, for example, it is possible to obtain an angle that is different from the landing direction of the unmanned aerial vehicle based on the rotation angles of the four corners. This is because similar landing trajectories can be safely landed on unmanned airplanes.

듀얼기반하강 단계(S60)는 정밀착륙제어부가 상기 정밀고도계산높이부터 미리 결정된 착륙대기높이까지 초음파센서(200)를 이용하여 정밀고도를 계산하되, 상기 인공표식 영상 및 정밀고도를 근거로 비행기의 위치 및 착륙방향을 동기화 시킨다.In the dual base descent step S60, the precision landing control unit calculates the accurate altitude using the ultrasonic sensor 200 from the accurate altitude calculation height to a predetermined landing standby altitude, and calculates the altitude based on the artificial landmark image and the accurate altitude. Synchronize position and landing direction.

이때, 인공표식 영상 및 정밀고도를 근거로 무인비행기 기준 인공표식의 중심좌표에서 오차 위치를 계산할 수 있으며, 무인비행기가 어느 방향으로 얼마만큼 벗어난 위치에 있는지 확인 할 수 있다.At this time, it is possible to calculate the error position in the center coordinates of the artificial landmark based on the artificial landmark image and the precision altitude, and it is possible to check how far the unmanned airplane is located in which direction.

즉, 중심좌표와 무인비행기의 위치정보에 따라 무인비행기를 중심좌표로 이동이 가능한 제어정보 출력하여 무인비행기가 중심좌표 지점(착륙지점의 지면으로부터 수직한 위치)으로 이동할 수 있도록 유도가 가능 하다.That is, it is possible to induce the UAV to move from the central coordinate point (the vertical position from the landing point to the landing point) by outputting the control information capable of moving the UAV to the center coordinates according to the center coordinates and the position information of the UAV.

초음파센서기반착륙 단계(S70)는 정밀착륙제어부가 미리 결정된 착륙대기높이부터 초음파센서(200)를 이용한 정밀고도값을 근거로 무인비행기를 수직 하강시켜 착륙시킨다.In the landing step (S70) based on the ultrasonic sensor, the precision landing control unit vertically descends the unmanned airplane based on the precision altitude value using the ultrasonic sensor (200) from the predetermined landing waiting height.

일반적으로 50 Cm 이내에서 획득한 영상은 초점이 안 맞아 사용하기 어렵기 때문에 이때에는 무인비행기의 좌표가 크게 변동되지 않으며, 지면에 큰 충격을 주지 않고 안전하게 착륙할 수 있도록 초음파센서(200)를 이용한 정밀고도값을 근거로 무인비행기의 속도를 조절할 수 있다.
Generally, images acquired within 50 Cm are difficult to use due to unfocused images. In this case, the coordinates of the unmanned airplane do not fluctuate so much, and the ultrasonic sensor 200 is used to securely land on the ground The speed of the UAV can be adjusted based on the precision altitude value.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100: 영상획득부
200: 초음파센서
300: 정밀착륙제어부
310: 이륙정보저장부 320: 인공표식검출부
330: 정보관리부 340: 접근정보산출부
350: 중심좌표산출부 360: 정밀고도산출부
S10: 이륙준비 단계
S20: 자동이륙 단계
S21: 이륙영상획득 단계 S22: 이륙인공표식검출 단계
S23: 착륙설정 단계
S30: 임무수행 단계
S40: 인공표식추적 단계
S50: 인공표식기반하강 단계
S51: 위치동기화 단계 S52: 각도동기화 단계
S60: 듀얼기반하강 단계
S70: 초음파센서기반착륙 단계
100:
200: Ultrasonic sensor
300: Precise landing control unit
310: take-off information storage unit 320: artificial landmark detection unit
330: Information management unit 340: Access information calculation unit
350: center coordinate calculation unit 360: precision altitude calculation unit
S10: Steps to take off
S20: Automatic takeoff phase
S21: Take-in image acquisition step S22: Take-off artifact detection step
S23: Landing setting step
S30: Mission stage
S40: Artificial marker tracking step
S50: Artificial marker based descent phase
S51: Position synchronization step S52: Angle synchronization step
S60: Dual-based descent phase
S70: Ultrasonic sensor based landing stage

Claims (6)

삭제delete 삭제delete 삭제delete 정밀착륙제어부가 외부로부터 중심좌표 정보를 포함한 인공표식 규격정보 및 비행임무정보를 입력받고, 이륙위치의 GPS정보를 획득하는 이륙준비 단계(S10);
무인비행기의 이륙 시 일정 높이까지 상승 후, 영상획득부(100)를 이용하여 이륙위치 영상을 획득하고, 정밀착륙제어부가 상기 이륙위치 영상 및 상기 이륙준비 단계(S10)의 인공표식 규격정보를 바탕으로 착륙방향을 결정하는 자동이륙 단계(S20);
무인비행기가 상기 이륙준비 단계(S10)의 비행임무정보를 바탕으로 비행임무를 수행하는 임무수행 단계(S30);
무인비행기가 비행임무 수행 후, 정밀착륙제어부가 상기 이륙준비 단계(S10)의 GPS정보를 바탕으로 해당 GPS좌표로 무인비행기를 이동시켜, 영상획득부(100)를 이용하여 착륙지점 영상을 획득하며, 획득한 착륙지점 영상 중 인공표식 영상을 검출하는 인공표식추적 단계(S40);
정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 미리 결정된 정밀고도계산높이까지 비행기의 위치를 동기화 시키며, 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 상기 자동이륙 단계(S20)의 착륙방향과 동기화시키는 인공표식기반하강 단계(S50);
정밀착륙제어부가 상기 정밀고도계산높이부터 미리 결정된 착륙대기높이까지 초음파센서(200)를 이용하여 정밀고도를 계산하되, 상기 인공표식 영상 및 정밀고도를 근거로 비행기의 위치 및 착륙방향을 동기화 시키는 듀얼기반하강 단계(S60); 및
정밀착륙제어부가 미리 결정된 착륙대기높이부터 초음파센서(200)를 이용한 정밀고도값을 근거로 무인비행기를 수직 하강시켜 착륙시키는 초음파센서기반착륙 단계(S70);
를 포함하고,
상기 자동이륙 단계(S20)는
영상획득부(100)를 이용하여 이륙위치의 영상을 획득하는 이륙영상획득 단계(S21);
정밀착륙제어부가 상기 이륙영상획득 단계(S21)에서 획득한 영상 중 인공표식 영상을 검출하는 이륙인공표식검출 단계(S22); 및
정밀착륙제어부가 상기 이륙준비 단계(S10)의 인공표식 규격정보 및 상기 이륙인공표식검출 단계(S22)에서 획득한 인공표식 영상을 근거로 GPS위치좌표에서 자북을 결정하고, 중심좌표 인식 기준의 자북 결정에 의해 결정된 인공표식 각도를 근거로 착륙방향을 결정하는 착륙설정 단계(S23);
를 포함하고,
상기 인공표식기반하강 단계(S50)는
정밀착륙제어부가 상기 인공표식추적 단계(S40)에서 검출된 인공표식 영상을 근거로 인공표식 중심좌표 정밀위치를 계산하여, 이를 근거로 상기 비행기의 위치를 동기화 시키는 위치동기화 단계(S51); 및
정밀착륙제어부가 미리 결정된 정밀고도계산높이까지 상기 자동이륙 단계(S20)의 착륙방향과 동기화시키며, 비행기의 위치를 동기화 시키는 각도동기화 단계(S52);
를 포함하고,
상기 듀얼기반하강 단계(S60)는,
인공표식 영상 및 정밀고도를 근거로 무인비행기 기준 인공표식의 중심좌표에서 오차 위치를 계산할 수 있으며, 무인비행기가 어느 방향으로 얼마만큼 벗어난 위치에 있는지 확인하고, 중심좌표와 무인비행기의 위치정보에 따라 무인비행기를 중심좌표로 이동이 가능한 제어정보 출력하여 무인비행기가 중심좌표 지점으로 이동할 수 있도록 유도가 가능하고,
상기 초음파센서기반착륙 단계(S70)는,
지면에 큰 충격을 주지 않고 안전하게 착륙할 수 있도록 초음파센서(200)를 이용한 정밀고도값을 근거로 무인비행기의 속도를 조절하는 인공표식 및 초음파센서를 이용한 무인비행기 정밀착륙 방법.
A take-off preparation step (S10) in which the precise landing control unit receives the artificial marker standard information including the center coordinate information and the flight mission information from the outside and acquires the GPS information of the take-off position;
The landing position image is acquired using the image acquisition unit 100 and the precision landing control unit acquires the take-off position image and the artificial landmark information of the take-off preparation step (S10) An automatic take-off step (S20) of determining a landing direction to the landing direction;
A mission performing step (S30) in which the unmanned airplane performs a flight mission based on the flight mission information in the take-off preparation step (S10);
After the unmanned airplane performs the flight mission, the precise landing control unit moves the unmanned airplane to the corresponding GPS coordinates based on the GPS information of the taking-ready step (S10), acquires the landing point image using the image acquisition unit 100 An artificial landmark tracking step (S40) of detecting an artificial landmark image among the obtained landing point images;
The precise landing control unit synchronizes the position of the airplane up to a predetermined precise altitude calculation height based on the artificial landmark image detected in the artificial landmark tracking step S40 and detects the artificial landmark image detected in the artificial landmark tracking step S40 An artificial landmark-based descent step (S50) for synchronizing with the landing direction of the automatic take-off step (S20) on the basis of the landing direction;
The precision landing control unit calculates the accurate altitude using the ultrasonic sensor 200 from the altitude calculation altitude to a predetermined landing altitude, and synchronizes the position and landing direction of the airplane based on the artificial landmark image and the altitude Based descent step S60; And
An ultrasound sensor-based landing step (S70) in which the precision landing control unit vertically descends the unmanned airplane based on the precision altitude value using the ultrasonic sensor (200) from a predetermined landing waiting height;
Lt; / RTI >
The automatic take-off step (S20)
A take-off image acquiring step (S21) of acquiring an image of a take-off position using the image acquiring unit (100);
A take-off artificial landmark detection step (S22) in which the precise landing control unit detects an artificial landmark image among the images acquired in the take-in image acquisition step (S21); And
The precise landing control unit determines the magnetic north in the GPS position coordinates based on the artificial landmark specification information in the take-off preparation step S10 and the artificial landmark image obtained in the take-off artificial land detection step S22, A landing setting step (S23) of determining a landing direction based on an artificial landmark angle determined by the decision;
Lt; / RTI >
The artificial landmark-based descent step (S50)
A precise landing control unit (S51) of calculating a precise position of an artificial landmark center coordinate based on the artificial landmark image detected in the artificial landmark tracking step (S40) and synchronizing the position of the airplane on the basis of the accurate position; And
An angle synchronization step (S52) of synchronizing the position of the airplane with the landing direction of the automatic take-off step (S20) until the precise landing control unit reaches a predetermined accurate altitude calculation height;
Lt; / RTI >
The dual-based descent step (S60)
Based on the artificial landmark image and the precision altitude, it is possible to calculate the error position in the center coordinates of the artificial landmark according to the unmanned airplane, to check how far away the unmanned airplane is in the direction of the unmanned airplane, It is possible to induce the unmanned airplane to move to the central coordinate point by outputting the control information capable of moving the unmanned airplane to the center coordinates,
The ultrasonic sensor-based landing step (S70)
A method for precise landing of an unmanned airplane using an artificial marker and an ultrasonic sensor that adjusts the speed of the unmanned airplane based on the precise altitude value using the ultrasonic sensor (200) so that it can land safely without causing a large impact on the ground.
삭제delete 삭제delete
KR1020150082648A 2015-06-11 2015-06-11 Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor KR101733677B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150082648A KR101733677B1 (en) 2015-06-11 2015-06-11 Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150082648A KR101733677B1 (en) 2015-06-11 2015-06-11 Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor

Publications (2)

Publication Number Publication Date
KR20160146062A KR20160146062A (en) 2016-12-21
KR101733677B1 true KR101733677B1 (en) 2017-05-08

Family

ID=57735083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150082648A KR101733677B1 (en) 2015-06-11 2015-06-11 Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor

Country Status (1)

Country Link
KR (1) KR101733677B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357302B1 (en) 2020-11-02 2022-02-07 주식회사 두시텍 Mobile UAV Precision Landing Control Unit with Relative Calibration of RTK
KR102357299B1 (en) 2020-11-02 2022-02-07 주식회사 두시텍 Operating Methods of Unmanned Aircraft Using a Precision Landing System of an Unmanned Aircraft capable of Reproductive Correction of RTK

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100606B1 (en) * 2018-09-11 2020-04-16 한국전력공사 System for landing a drone and operating method thereof
KR102160734B1 (en) * 2018-09-19 2020-09-28 김현철 Image taking system using wireless rechargeable drones
CN112882489A (en) * 2021-01-12 2021-06-01 深圳市慧明捷科技有限公司 Unmanned aerial vehicle data acquisition system based on big data
KR102448233B1 (en) * 2021-12-13 2022-10-04 주식회사 유시스 Drone controlling method for precise landing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101157484B1 (en) * 2010-12-14 2012-06-20 주식회사 대한항공 Uav automatic recovering method
JP2012232654A (en) * 2011-04-28 2012-11-29 Topcon Corp Taking-off and landing target device, and automatic taking-off and landing system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146119B1 (en) 2005-12-21 2012-05-16 재단법인 포항산업과학연구원 Method and apparatus for determining positions of robot
KR101105737B1 (en) 2009-12-11 2012-01-17 충북대학교 산학협력단 Position recognition device and method of mobile robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101157484B1 (en) * 2010-12-14 2012-06-20 주식회사 대한항공 Uav automatic recovering method
JP2012232654A (en) * 2011-04-28 2012-11-29 Topcon Corp Taking-off and landing target device, and automatic taking-off and landing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357302B1 (en) 2020-11-02 2022-02-07 주식회사 두시텍 Mobile UAV Precision Landing Control Unit with Relative Calibration of RTK
KR102357299B1 (en) 2020-11-02 2022-02-07 주식회사 두시텍 Operating Methods of Unmanned Aircraft Using a Precision Landing System of an Unmanned Aircraft capable of Reproductive Correction of RTK

Also Published As

Publication number Publication date
KR20160146062A (en) 2016-12-21

Similar Documents

Publication Publication Date Title
KR101733677B1 (en) Apparatus and method for unmanned plane precision landing using artificial landmark and ultrasonic sensor
US9898821B2 (en) Determination of object data by template-based UAV control
CN109823552B (en) Vision-based unmanned aerial vehicle accurate landing method, storage medium, device and system
US20230213931A1 (en) Unmanned Aerial Vehicle Inspection System
CN105335733B (en) Unmanned aerial vehicle autonomous landing visual positioning method and system
CN102417037B (en) automatic takeoff and landing system
CN103175524B (en) A kind of position of aircraft without view-based access control model under marking environment and attitude determination method
CN104298248B (en) Rotor wing unmanned aerial vehicle accurate vision positioning and orienting method
US20210405654A1 (en) Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
US9728094B2 (en) Redundant determination of positional data for an automatic landing system
Vallet et al. Photogrammetric performance of an ultra light weight swinglet UAV
US8000867B2 (en) System for automatically landing aircraft using image signals and method of controlling the same
CN106408601B (en) A kind of binocular fusion localization method and device based on GPS
KR20200064542A (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
CN111492326A (en) Image-based localization and related systems and methods for unmanned aerial vehicles
US11490005B2 (en) Overhead line image capturing system and overhead line image capturing method
US8315748B2 (en) Altitude measurement apparatus and method
CN108549376A (en) A kind of navigation locating method and system based on beacon
JP2019178998A (en) Position identification system
JP2019039867A (en) Position measuring apparatus, position measuring method, and position measuring program
CN110488848A (en) Unmanned plane vision guide it is autonomous drop method and system
CN112074706B (en) Precise positioning system
CN111796605A (en) Unmanned aerial vehicle landing control method, controller and unmanned aerial vehicle
KR101537324B1 (en) Automatic carrier take-off and landing System based on image processing
KR102618865B1 (en) 3d map generating system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150611

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160621

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20161226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160621

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20161226

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160712

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20170301

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20170126

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20161226

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20160712

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170428

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170428

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200401

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210405

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220404

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230403

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240409

Start annual number: 8

End annual number: 8