KR20190054755A - Camera system for drone - Google Patents
Camera system for drone Download PDFInfo
- Publication number
- KR20190054755A KR20190054755A KR1020170151690A KR20170151690A KR20190054755A KR 20190054755 A KR20190054755 A KR 20190054755A KR 1020170151690 A KR1020170151690 A KR 1020170151690A KR 20170151690 A KR20170151690 A KR 20170151690A KR 20190054755 A KR20190054755 A KR 20190054755A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- drones
- camera system
- camera
- main body
- Prior art date
Links
- 230000005484 gravity Effects 0.000 claims abstract description 12
- 238000002789 length control Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 230000008878 coupling Effects 0.000 description 17
- 238000010168 coupling process Methods 0.000 description 17
- 238000005859 coupling reaction Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 8
- 238000009877 rendering Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 101000581507 Homo sapiens Methyl-CpG-binding domain protein 1 Proteins 0.000 description 2
- 101001134861 Homo sapiens Pericentriolar material 1 protein Proteins 0.000 description 2
- 102100027383 Methyl-CpG-binding domain protein 1 Human genes 0.000 description 2
- 101100438229 Solanum tuberosum PCM4 gene Proteins 0.000 description 2
- 101100438245 Solanum tuberosum PCM8 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 101150033318 pcm2 gene Proteins 0.000 description 2
- 101150103044 pcm3 gene Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
-
- H04N5/2257—
-
- B64C2201/127—
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
본 발명은 드론용 카메라 시스템에 관한 것으로, 보다 상세하게는 드론에 결합되어 구형 영상(또는, 360도 영상)을 생성하는 드론용 카메라 시스템에 관한 것이다.The present invention relates to a camera system for a drone, and more particularly to a camera system for a drone that is coupled to a drone to generate a spherical image (or a 360-degree image).
드론은 무선 전파로 조정하는 무인 항공기로, 카메라, 센서, 통신 시스템 등을 탑재한다. 드론은 군사 용도로 개발되었으나, 고공 촬영에 활용에 활용되고 있으며, 네 개의 로터(또는, 회전 날개, 블레이드)를 포함하는 쿼트로터(또는, 쿼드콥터)가 대표적으로 이용되고 있다.The drones are radio-controlled, unmanned aerial vehicles, equipped with cameras, sensors and communication systems. The drones have been developed for military use, but they are being used for high-definition photography, and quatertors (or quad-copters) including four rotors (or rotary blades, blades) are typically used.
도 10은 일반적인 드론용 카메라 시스템으로, 드론 본체의 상부 및/또는 하부에 배치된 카메라(예를 들어, 360도)를 포함한다. 드론 본체의 하부에 카메라가 배치되는 경우, 드론의 본체 또는 회전익(또는, 로터)에 의해 구형 영상의 일부(예를 들어, 천정(zenith), 천저(nadir))가 획득되지 않는다. 또한, 영상이 획득되지 않는 데드존(dead zone)을 최소화하기 위해 수직 방향으로 연장된 지지대를 이용하여 카메라를 배치하나, 특히, 하부로 돌출된 지지대는 드론의 이동시 지형 지물에 충돌하거나, 드론의 착륙시 방해물로 작용할 수 있다.10 is a general drones camera system including a camera (e.g., 360 degrees) disposed at the top and / or bottom of the drone body. When the camera is disposed at the lower portion of the drone main body, part of the spherical image (for example, zenith, nadir) is not obtained by the body of the drone or the rotor (or rotor). Further, in order to minimize a dead zone in which an image is not acquired, the camera is arranged using a support extending in the vertical direction. In particular, the support protruding downward collides with the topographic object during movement of the dron, It can act as an obstacle when landing.
본 발명의 일 목적은 온전한 구형 영상(또는, 360도 영상)을 획득할 수 있는 드론용 카메라 시스템을 제공하는 것이다.It is an object of the present invention to provide a camera system for a drones capable of acquiring a perfect spherical image (or a 360-degree image).
본 발명의 일 목적은 구형 영상을 보다 용이하게 획득할 수 있는 드론용 카메라 시스템을 제공하는 것이다.An object of the present invention is to provide a camera system for a drones which can more easily acquire a spherical image.
상기 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 드론용 카메라 시스템은, 본체; 상기 본체의 무게 중심으로부터 측면 방향으로 연장되되, 상호 등각을 가지고 배열되는 복수의 측면 지지대들; 및 상기 측면 지지대들 각각의 일단에 각각 설치되어 상기 본체를 기준으로 측면 방향의 측면 영상들을 각각 촬영하는 측면 카메라들을 포함 할 수 있다.According to an aspect of the present invention, there is provided a camera system for a drones, the system comprising: a main body; A plurality of side supports extending in a lateral direction from a center of gravity of the main body, the side supports being disposed at an equal angle with each other; And side cameras installed at one end of each of the side supports to photograph side images in the lateral direction on the basis of the body.
일 실시예에 의하면, 상기 측면 지지대들은 평면도 상에서 상호 45도를 이루며 배열되는 제1 내지 제8 측면 지지대들을 포함 할 수 있다.According to one embodiment, the side supports may include first to eighth side supports arranged at an angle of 45 degrees with respect to each other in a plan view.
일 실시예에 의하면, 상기 측면 지지대들 각각의 적어도 일부에 드론의 회전익이 배치 될 수 있다.According to one embodiment, the rotor blade of the drones may be disposed on at least a part of each of the side supports.
일 실시예에 의하면, 상기 드론용 카메라 시스템은, 상기 본체의 상부면에 배치되어 상기 본체를 기준으로 상부 방향의 상부 영상을 촬영하는 상부 카메라를 더 포함 할 수 있다.According to an embodiment of the present invention, the drones camera system may further include an upper camera disposed on an upper surface of the main body and photographing an upper image in the upper direction with respect to the main body.
일 실시예에 의하면, 상기 드론용 카메라 시스템은, 상기 측면 지지대들 중 제1 측면 지지대와 상기 측면 카메라들 중 제1 측면 카메라를 연결하되, 상기 제1 측면 지지대에서 발생되는 진동의 제1 측면 카메라에 대한 영향을 감소시키는 연결 부재를 더 포함 할 수 있다.According to one embodiment, the camera system for drones comprises a first side support of the side support bars and a first side camera of the side cameras, the first side support being connected to the first side support, And a connection member for reducing the influence on the contact surface.
일 실시예에 의하면, 상기 연결 부재는, 상기 제1 측면 지지대의 외측 단부에 결합되는 제1 결합 부재; 상기 제1 측면 카메라를 지지 고정하는 제1 지지 부재; 및 탄성을 가지고 상기 제1 결합 부재와 상기 제1 지지 부재를 연결하되 상기 제1 측면 지지대에서 발생하는 진동을 흡수하는 탄성 부재를 포함 할 수 있다.According to an embodiment, the connecting member includes: a first engaging member coupled to an outer end of the first side support; A first support member for supporting and fixing the first side camera; And an elastic member having elasticity to connect the first engagement member and the first support member and absorb vibration generated from the first side support member.
일 실시예에 의하면, 상기 연결 부재는, 상기 제1 측면 지지대의 상기 외측 단부와 상기 제1 결합 부재 사이에 배치되어 상기 제1 측면 지지대와 상기 제1 결합 부재를 연결하되, 상기 본체의 상기 무게 중심으로부터 상기 측면 방향으로의 길이가 가변되는 제1 길이조절부재를 더 포함 할 수 있다.According to one embodiment, the connection member is disposed between the outer end of the first side support and the first engagement member to connect the first side support and the first engagement member, And a first length adjusting member whose length from the center to the lateral direction is variable.
일 실시예에 의하면, 상기 드론용 카메라 시스템은, 상기 측면 영상들 중 제1 측면 영상의 제1 경계 영역에서 제1 특징점을 추출하고, 상기 제1 특징점에 기초하여 상기 제1 측면 영상의 제1 유효 영상을 결정하며, 상기 측면 영상들 중 제2 측면 영상의 제2 경계 영역에서 상기 제1 특징점에 대응하는 제2 특징점을 추출하고, 제2 특징점에 기초하여 상기 제2 측면 영상의 제2 유효 영상을 결정하며, 상기 제2 유효 영상의 제2 크기에 기초하여 상기 제1 유효 영상의 제1 크기에 대한 제1 스케일링 비율을 결정하고, 상기 제1 스케일링 비율에 기초하여 상기 제1 길이조절부재의 제1 길이를 결정하는 길이 제어 모듈을 더 포함 할 수 있다. 여기서, 상기 제1 유효 영상과 상기 제2 유효 영상은 스티칭되어 상기 본체를 기준으로 구형 영상을 구성 할 수 있다.According to an embodiment, the drones camera system may further include a feature extraction unit that extracts a first feature point in a first border area of the first side image of the side images, and extracts a first feature point of the first side image based on the first feature point, Extracting a second feature point corresponding to the first feature point in a second border region of the second side image of the side images, and determining a second validity of the second side image based on the second feature point, Determining a first scaling ratio for a first size of the first valid image based on a second size of the second valid image and determining a first scaling ratio for the first size based on the first scaling ratio, And a length control module for determining a first length of the first control signal. Here, the first valid image and the second valid image may be stitched to form a spherical image based on the main body.
일 실시예에 의하면, 상기 본체는 드론의 본체 하부에 결합 될 수 있다.According to one embodiment, the body may be coupled to the lower portion of the body of the drones.
일 실시예에 의하면, 드론용 카메라 시스템은, 복수의 회전익들을 포함하는 드론; 상기 드론의 하부에 결합되는 본체; 상기 본체의 무게 중심으로부터 측면 방향으로 연장되되, 상호 등각을 가지고 배열되는 복수의 측면 지지대들; 및 상기 측면 지지대들 각각의 일단에 각각 설치되어 상기 본체를 기준으로 측면 방향의 측면 영상들을 각각 촬영하는 측면 카메라들을 포함 할 수 있다.According to one embodiment, a dron camera system comprises: a dron including a plurality of rotor blades; A body coupled to a lower portion of the drones; A plurality of side supports extending in a lateral direction from a center of gravity of the main body, the side supports being disposed at an equal angle with each other; And side cameras installed at one end of each of the side supports to photograph side images in the lateral direction on the basis of the body.
본 발명의 실시예들에 따른 드론용 카메라 시스템은 본체(또는, 드론)의 상/하부에 배치되는 카메라 대신에 본체의 측면에 배치되는 측면 카메라들을 포함하고, 측면 카메라들을 이용하여 측면 영상들(즉, 360도의 구형 영상을 구성하는 부분 영상들)을 획득함으로써, 드론 본체, 회전익 등에 의해 영상이 획득되지 않는 데드존을 최소화하고, 온전한 구형 영상을 획득할 수 있다.The camera system for a drone according to embodiments of the present invention includes side cameras disposed on a side of a main body (or a drone) instead of a camera disposed on the top / bottom of the main body (or a drone) That is, by obtaining the partial images constituting the 360-degree spherical image, it is possible to minimize the dead zone in which the image is not acquired by the drones, the rotor, and the like, and acquire a perfect spherical image.
또한, 드론용 카메라 시스템은 연결 부재를 이용하여 측면 카메라를 측면 지지대의 외측 단부에 설치하되, 탄성 부재를 이용하여 측면 지지대에서 발생하는 진동이 측면 카메라(130)에 전달되는 것을 방지함으로써, 보다 안정적인 측면 영상들(또는, 구형 영상)을 획득할 수 있다.In addition, the camera system for the drone is provided with the side camera at the outer end of the side support using the connecting member, and the vibration generated at the side support using the elastic member is prevented from being transmitted to the
나아가, 드론용 카메라 시스템은 측면 지지대들 각각의 일단부에 설치되는 길이조절부재를 이용하여 측면 카메라들의 위치를 조절하되, 측면 영상들에 대한 분석 결과에 기초하여 측면 카메라들의 최적의 위치를 자동으로 결정함으로써, 별도의 영상 처리(예를 들어, 스케일링, 픽셀 렌더링) 없이 구형 영상을 용이하게 생성할 수 있다.Furthermore, the drones camera system can adjust the position of the side cameras using a length adjusting member provided at one end of each side support, and automatically adjust the optimal position of the side cameras based on the analysis results of the side images , It is possible to easily generate a spherical image without performing separate image processing (e.g., scaling, pixel rendering).
도 1은 본 발명의 실시예들에 따른 드론용 카메라 시스템을 나타내는 도면이다.
도 2는 도 1의 드론용 카메라 시스템에 포함된 연결 부재의 일 예를 나타내는 도면이다.
도 3a 및 도 3b는 도 1의 드론용 카메라 시스템의 촬영 범위의 일 예를 나타내는 도면이다.
도 3c는 도 1의 드론용 카메라 시스템에서 생성하는 측면 영상의 일 예를 나타내는 도면이다.
도 4는 도 2의 연결 부재에 포함된 길이조절부재의 일 예를 나타내는 도면이다.
도 5는 도 1의 드론용 카메라 시스템에 포함된 길이 제어 모듈의 일 예를 나타내는 도면이다.
도 6은 도 1의 드론용 카메라 시스템을 설정하는 과정을 설명하는 도면이다.
도 7은 도 1의 드론용 카메라 시스템의 일 예를 나타내는 도면이다.
도 8 및 도 9는 도 7의 드론용 카메라 시스템의 일 예를 나타내는 도면이다.
도 10은 도 1의 드론용 카메라 시스템의 비교예를 나타내는 도면이다.1 is a view of a camera system for a drone according to embodiments of the present invention.
2 is a view showing an example of a connecting member included in the drones camera system of Fig.
Figs. 3A and 3B are views showing an example of an imaging range of the drones camera system of Fig. 1. Fig.
3C is a diagram illustrating an example of a side image generated in the drones camera system of FIG.
FIG. 4 is a view showing an example of a length adjusting member included in the connecting member of FIG. 2. FIG.
5 is a view showing an example of a length control module included in the drones camera system of FIG.
FIG. 6 is a view for explaining a process of setting the drones camera system of FIG. 1. FIG.
7 is a view showing an example of a drones camera system of Fig. 1. Fig.
Figs. 8 and 9 are views showing an example of the drones camera system of Fig. 7. Fig.
10 is a view showing a comparative example of the drones camera system of Fig.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 실시예들에 따른 드론용 카메라 시스템을 나타내는 도면이다.1 is a view of a camera system for a drone according to embodiments of the present invention.
도 1을 참조하면, 드론용 카메라 시스템(100)은 본체(110), 측면 지지대들(121 내지 128) 및 측면 카메라들(131 내지 138)을 포함할 수 있다. 또한, 드론용 카메라 시스템(100)은 상부 카메라(140) 및/또는 하부 카메라(미도시)를 더 포함할 수 있다.Referring to FIG. 1, a
본체(110)는 전원 모듈, 제어 모듈, 통신 모듈 등을 내장할 수 있다. 예를 들어, 본체(110)는 드론의 본체이거나, 드론의 본체가 직접적으로 결합하는 부재일 수 있다. 도 1에서 본체(110)는 원통형으로 도시되어 있으나, 이는 예시적인 것으로, 본체(110)의 형상이 이에 국한되는 것은 아니다.The
측면 지지대들(121 내지 128)은 본체(110)의 무게 중심으로부터 측면 방향으로 연장되어 배치되되, 상호 등각을 가지고 배열될 수 있다. 예를 들어, 측면 지지대들(121 내지 128)은 제1 내지 제8 측면 지지대들(121 내지 128)(즉, 8개의 측면 지지대들)을 포함하고, 상호 동일한 길이를 가지며, 평면도 상에서 본체(110)를 기준으로 상호 45도를 이루며 배열될 수 있다.The side supports 121 to 128 may extend from the center of gravity of the
도 1에 8개의 측면 지지대들(121 내지 128)이 도시되어 있으나, 이는 예시적인 것으로, 드론용 카메라 시스템(100)이 이에 한정되는 것은 아니다. 예를 들어, 측면 지지대들의 개수는 회전익(150)의 개수에 비례할 수 있으며, 예를 들어, 드론용 카메라 시스템(100)은 4개, 6개, 10개 이상의 측면 지지대들을 포함할 수 있다.Although eight side supports 121-128 are shown in FIG. 1, this is exemplary only, and the
일 실시예에서, 측면 지지대들(121 내지 128) 각각의 적어도 일부에(예를 들어, 외측 단부에 인접하여) 회전익(150)(또는, 로터)가 배치될 수 있다. 즉, 측면 지지대들(121 내지 128)은 회전익(150)을 배치하기 위한 구조물일 수 있다. 측면 지지대들(121 내지 128)은 일반적인 회전익(150) 지지 구조물이 외측으로 연장되어 구성될 수 있다.In one embodiment, a rotor blade 150 (or rotor) may be disposed on at least a portion of each of the side supports 121-128 (e.g., adjacent the outer end). That is, the side supports 121 to 128 may be structures for arranging the
측면 카메라들(131 내지 138)은 측면 지지대들(121 내지 128) 각각의 일단(즉, 외측 단부)에 설치되어 본체(110)를 기준으로 측면 방향의 측면 영상들을 각각 촬영할 수 있다. 예를 들어, 제1 측면 카메라(131)는 제1 측면 지지대(121)의 외측 단부에 설치되고, 제2 측면 카메라(132)는 제2 측면 지지대(122)의 외측 단부에 설치되며, 제N 측면 카메라(13N)는 제N 측면 지지대(12N)의 외측 단부에 설치될 수 있다(단, N은 3 이상의 정수). 측면 카메라들(131 내지 138) 각각의 화각은 특정 각도로 한정되지 않으며, 예를 들어, 측면 카메라들(131 내지 138) 각각의 화각은 45도, 90도, 180도, 220도 등으로, 측면 카메라들(131내지 138)의 개수와 촬영 용도에 따라 다양하게 설정될 수 있다. The
드론용 카메라 시스템(100)은 본체(110)의 상부 및/또는 하부에 배치되는 카메라 대신에 본체(110)의 측면에 배치되는 측면 카메라들(131 내지 138)을 이용하여, 구형 영상(또는, 360도 영상, 360도 영상을 구성하는 부분 영상들)을 획득할 수 있다.The
도 1에 8개의 측면 카메라들(131 내지 138)이 도시되어 있으나, 이는 사용자(또는, 사람)의 시야각(예를 들어, 45도)을 고려하여 예시한 것으로, 드론용 카메라 시스템(100)이 이에 한정되는 것은 아니다. 예를 들어, 예를 들어, 드론용 카메라 시스템(100)은 4개, 6개, 10개 이상의 측면 카메라들을 포함할 수 있다.Although eight
측면 카메라들(131 내지 138)은 연결 부재(예를 들어, 제3 측면 카메라(133)에 도시된 부재)를 통해 측면 지지대들(121 내지 128) 각각의 일단에 연결될 수 있으며, 측면 지지대들(121 내지 128)에서 발생하는 진동의 측면 카메라들(131 내지 138)에 대한 영향을 감소시킬 수 있다. 연결 부재의 구체적인 구성은 도 2를 참조하여 상세하게 설명하기로 한다.The
한편, 상부 카메라(140)는 본체(110)의 상부면에(또는, 본체(110)가 드론의 하부면에 결합되는 경우, 드론의 상부면에) 설치되어, 본체(110)를 기준으로 상부 방향의 상부 영상을 촬영(또는, 획득)할 수 있다. 상부 카메라(140)는 측면 카메라(140)의 시야각을 고려하여, 본체(110)를 기준으로 천정에 대응하는 영상을 획득하기 위하여, 추가로 배치될 수 있다. 이와 유사하게, 하부 카메라(미도시)는 본체(110)의 하부면에 설치되어, 본체(110)를 기준으로 하부 방향의 하부 영상(즉, 본체(110)를 기준으로 천저에 대응하는 영상)을 촬영(또는, 획득)할 수 있다.The
도 1을 참조하여 설명한 바와 같이, 드론용 카메라 시스템(100)은 본체(110)(또는, 드론)의 상/하부에 배치되는 카메라 대신에 본체(110)의 측면에(즉, 본체(110)로부터 외측면 방향으로 연장된 측면 지지대들(121 내지 128)의 일단에) 배치되는 측면 카메라들(131 내지 138)을 포함하고, 측면 카메라들(131 내지 138)을 이용하여 측면 영상들(즉, 360도의 구형 영상을 구성하는 부분 영상들)을 획득할 수 있다. 이 경우, 드론용 카메라 시스템(100)은 드론 본체, 회전익(150) 등에 의해 영상이 획득되지 않는 데드존을 최소화하고, 온전한 구형 영상을 획득할 수 있다.1, the
도 2는 도 1의 드론용 카메라 시스템에 포함된 연결 부재의 일 예를 나타내는 도면이다.2 is a view showing an example of a connecting member included in the drones camera system of Fig.
도 1 및 도 2를 참조하면, 드론용 카메라 시스템(100)은 연결 부재(200)를 더 포함할 수 있다. 예를 들어, 드론용 카메라 시스템(100)은 측면 카메라들(131 내지 138)에 대응하여 제1 내지 제8 연결 부재들을 포함 하고, 제1 연결 부재는 제1 측면 지지대(121)와 제1 측면 카메라(131)를 연결하며, 제2 연결 부재는 제2 측면 지지대(122)와 제2 측면 카메라(132)를 연결하며, 제N 연결 부재는 제N 측면 지지대(12N)와 제N 측면 카메라(13N)를 연결할 수 있다. 제1 내지 제8 연결 부재들은 도 2에 도시된 연결 부재(200)와 실질적으로 동일할 수 있다.Referring to FIGS. 1 and 2, the
연결 부재(200)는 결합 부재(210), 지지 부재(220), 탄성 부재(230)를 포함할 수 있다. 한편, 제M 측면 지지대(12M)와 제M 측면 카메라(13M)를 연결하는 제M 연결 부재는, 제M 결합 부재, 제M 지지 부재, 제M 탄성 부재를 포함하나(단, M은 양의 정수), 설명의 편의상, 관련 서수(ordinal number)에 대한 기재는 생략하기로 한다.The
결합 부재(210)는 측면 지지대(120)(즉, 측면 지지대들(121 내지 128) 중 하나)의 외측 단부에 결합될 수 있다.The engaging
일 실시예에서, 결합 부재(210)는 제1 및 제2 결합판들(211, 212)과 체결 부재(213)를 포함하고 있다. 제1 및 제2 결합판들(211, 212)은 측면 지지대(120)의 측면에 배치되고, 체결 부재(213)는 제1 및 제2 결합판들(211, 212)에 형성된 체결홀들(H1)에 삽입 및 관통하여 제1 및 제2 결합판들(211, 212)를 측면 지지대(120)에 고정시킬 수 있다.In one embodiment, the
지지 부재(220)는 측면 카메라(130)(즉, 측면 카메라들(131 내지 138) 중 하나)를 지지 고정할 수 있다. 예를 들어, 측면 카메라(130)는 지지 부재(220)의 일면(예를 들어, 상부면)에 배치되고, 별도의 체결 부재(예를 들어, 지지 부재(220)를 관통하여 측면 카메라(130)의 몸체에 삽입되는 볼트 등)을 통해 지지 부재(220)에 고정될 수 있다.The
탄성 부재(230)는 탄성을 가지고 결합 부재(210)와 지지 부재(220) 사이에 배치되어 결합 부재(210)와 지지 부재(220)를 연결할 수 있다. 예를 들어, 탄성 부재(230)는 환 형태의 탄성 오링(O-ring)으로 구성될 수 있다. 탄성 부재(230)는 제1 및 제2 결합판들(211, 212)의 하부측에 형성된 연결홈(H2)과 지지 부재(220)의 가장자리에 형성된 연결홈(H3)에 삽입되거나, 별도의 고정 부재를 통해 연결홈들(H2, H3)에 고정될 수 있다.The
탄성 부재(230)는 측면 지지대(120)에서 발생하는 진동(예를 들어, 측면 지지대(120)에 구비되는 회전익에 의해 발생하는 진동)이 측면 카메라(130)로 전달되는 것을 차단 또는 방지할 수 있다. 따라서, 측면 카메라(130)는 보다 안정적으로 측면 영상을 획득 또는 생성 할 수 있다. 즉, 탄성 부재(230)는 짐벌(gimbal)로서 기능할 수 있다.The
한편, 도 2에서 하나의 탄성 부재(230) 만이 도시되어 있으나, 이는 설명을 위해 간략하게 도시한 것으로, 탄성 부재(230)는 연결홈들(H2, H3)에 대응하여 복수 개(예를 들어, 제1 측면에 4개, 제2 측면에 4개로, 총 8개)가 구비될 수 있다.Although only one
도 2를 참조하여 설명한 바와 같이, 드론용 카메라 시스템(100)은 연결 부재(200)를 이용하여 측면 카메라(130)를 측면 지지대(120)의 외측 단부에 설치하되, 탄성 부재(230)를 이용하여 측면 지지대(120)에서 발생하는 진동이 측면 카메라(130)에 전달되는 것을 방지함으로써, 보다 안정적인 측면 영상들(또는, 구형 영상)을 획득할 수 있다.2, the
도 3a 및 도 3b는 도 1의 드론용 카메라 시스템의 촬영 범위의 일 예를 나타내는 도면이고, 도 3c는 도 1의 드론용 카메라 시스템에서 생성하는 측면 영상의 일 예를 나타내는 도면이다.FIGS. 3A and 3B are views showing an example of a shooting range of the drones camera system of FIG. 1, and FIG. 3C is a diagram illustrating an example of a side image generated by the drones camera system of FIG.
도 3a를 참조하면, 도 1의 드론용 카메라 시스템(100)을 전면(또는, 측면)에서 바라 본 정면도(또는, 측면도)가 도시되어 있다.Referring to FIG. 3A, there is shown a front view (or a side view) of the
앞서 도 1을 참조하여 설명한 바와 같이, 측면 카메라(130)는 드론의 용도, 드론용 카메라 시스템(100)의 용도 등을 고려하여 다양한 화각(예를 들어, 90도의 제1 화각(A1), 180도의 제2 화각(A2) 등)을 가질 수 있다. 유사하게, 상부 카메라(140)도 다양한 화각을 가질 수 있으며, 예를 들어, 180도의 제3 화각(A3)을 가질 수 있다.1, the
따라서, 드론용 카메라 시스템(100)은 정면도 상에서 본체(110)를 기준으로 전 방향에 대응하는 구형 영상을 획득할 수 있다.Therefore, the
도 3b를 참조하면, 도 1의 드론용 카메라 시스템(100)을 하부 방향으로 내려다 본 (또는, 상부 방향으로 올려다 본) 평면도가 도시되어 있다.Referring to FIG. 3B, there is shown a plan view of the
도 1 및 도 3a를 참조하여 설명한 바와 같이, 측면 카메라(130)는 다양한 화각(예를 들어, 90도의 제1 화각(A1))을 가지며, 따라서, 드론용 카메라 시스템(100)은 평면도 상에서 본체(110)를 기준으로 전 방향에 대응하는 구형 영상을 획득할 수 있다.As described with reference to Figs. 1 and 3A, the
한편, 도 3b 및 도 3c를 참조하면, 제1 측면 영상(IMAGE1)은 제1 측면 카메라(131)를 통해 획득된 영상이고, 제2 측면 영상(IMAGE2)은 제2 측면 카메라(132)를 통해 획득된 영상일 수 있다.3B and 3C, the first side image IMAGE1 is obtained through the
측면 카메라들(131 내지 138)(또는, 측면 카메라(130))는 본체(110)의 무게 중심으로부터 일정 길이를 가지고 연장된 측면 지지대들(121 내지 128)(또는, 측면 지지대(120))에 설치됨에 따라, 상호 대응되는 측면 영상들(예를 들어, 동일한 거리에 위치한 제1 객체(OBJ1)에 대하여 동일한 크기, 해상도 등을 가지는 영상들)이 생성되어야 한다. 그러나, 측면 카메라들(131 내지 138)이 측면 지지대들(121 내지 128)에 직접적으로 연결되지 아니하고 도 2를 참조하여 설명한 연결 부재(200) 등을 통해 연결된다는 점과, 측면 지지대들(121 내지 128)이 제조 과정에서 오차를 가진다는 점과(즉, 측면 지지대들(121 내지 128)이 완전하게 동일한 길이를 가질 수 없거나, 본체(110)에 결합되면서 오차가 발생함에 따라), 측면 카메라들(131 내지 138)의 화각들이 상호 오차(또는, 차이)를 가진다는 점에서, 측면 카메라들(131 내지 138)에서 생성된 측면 영상들은 상호 오차를 가질 수 있다.The
예를 들어, 제1 측면 영상(IMAGE1)은 제1 내지 제3 위치들(P1, P2, P3) 중 하나에서 제1 객체(OBJ1)에 대응하는 이미지를 포함하고, 제2 측면 영상(IMAGE2)은 제4 위치(P4)에서 제1 객체(OBJ1)에 대응하는 이미지를 포함할 수 있다.For example, the first side image IMAGE1 includes an image corresponding to the first object OBJ1 in one of the first to third positions P1, P2, and P3, and the second side image IMAGE2 includes, May include an image corresponding to the first object OBJ1 at the fourth position P4.
제2 측면 카메라(132)(또는, 제2 측면 카메라(132)의 위치)와, 제2 측면 영상(IMAGE2)을 기준으로, 제1 측면 영상(IMAGE1)에서 제1 객체(OBJ1)에 대응하는 이미지는 제2 위치(P1)에 위치하는 것이 바람직할 수 있다. 제1 측면 영상(IMAGE1)의 제1 지점(P1)에 제1 객체(OBJ1)에 대응하는 이미지가 위치하는 경우, 영상 처리 장치(예를 들어, 측면 영상들을 스티칭하여 구형 영상을 생성하는 처리 장치로, 본체(110)에 내장될 수 있음)는 별도의 영상 처리 과정 없이(예를 들어, 측면 영상의 업/다운 스케일링, 픽셀 렌더링 등의 과정 없이) 제1 측면 영상(IMAGE1)과 제2 측면 영상(IMAGE2)를 그대로 붙이는 것 만으로 구형 영상을 생성할 수 있다.(Corresponding to the first object OBJ1 in the first side image IMAGE1) on the basis of the second side camera 132 (or the position of the second side camera 132) and the second side image IMAGE2 The image may preferably be located in the second position Pl. When an image corresponding to the first object OBJ1 is located at the first point P1 of the first side image IMAGE1, the image processing apparatus (for example, a processing apparatus for stitching the side images to generate a spherical image) (Which may be embedded in the main body 110) may include a first side image IMAGE1 and a second side image IMAGE2 without any additional image processing (e.g., without up / down scaling of the side image, A spherical image can be generated by simply attaching the image IMAGE2.
이와 달리, 제1 측면 영상(IMAGE1)의 제2 지점(P2)에 제1 객체(OBJ1)에 대응하는 이미지가 위치하는 경우, 영상 처리 장치는 제2 측면 영상(IMAGE2)을 기준으로 제1 측면 영상(IMAGE1)을 업스케일링 및 픽셀 렌더링 과정을 필요로 할 수 있다. 유사하게, 제1 측면 영상(IMAGE1)의 제3 지점(P3)에 제1 객체(OBJ1)에 대응하는 이미지가 위치하는 경우, 영상 처리 장치는 제2 측면 영상(IMAGE2)을 기준으로 제1 측면 영상(IMAGE1)을 다운 스케일링 및 픽셀 렌더링 과정을 필요로 할 수 있다.On the other hand, when the image corresponding to the first object OBJ1 is located at the second point P2 of the first side image IMAGE1, the image processing apparatus displays the first side image IMAGE2 on the basis of the second side image IMAGE2, The image IMAGE1 may need upscaling and pixel rendering processes. Similarly, when the image corresponding to the first object OBJ1 is located at the third point P3 of the first side image IMAGE1, the image processing apparatus displays the first side image IMAGE2 on the basis of the second side image IMAGE2, The image IMAGE1 may require downscaling and pixel rendering processes.
따라서, 드론용 카메라 시스템(100)은 측면 카메라들(131 내지 138)의 위치를 조절함으로써, 영상 처리 과정을 단순화시켜 보다 용이하게 구형 영상을 획득할 수 있을 뿐만 아니라, 보다 높은 품질을 가지는(즉, 해상도 변환을 위한 픽셀 렌더링으로 인한 품질 저하가 없는) 구형 영상을 획득할 수 있다.Therefore, by adjusting the positions of the
드론용 카메라 시스템(100)에서 측면 카메라들(131 내지 138)의 위치를 조절하는 구성에 대해서는 도 4 및 도 5를 참조하여 설명하기로 한다.A configuration for adjusting the position of the
도 4는 도 2의 연결 부재에 포함된 길이조절부재의 일 예를 나타내는 도면이다.FIG. 4 is a view showing an example of a length adjusting member included in the connecting member of FIG. 2. FIG.
도 2 및 도 4를 참조하면, 연결 부재(200)은 길이조절부재(400)를 더 포함할 수 있다. 한편, 제M 연결 부재는 제M 길이조절부재를 포함하나(예를 들어, 제1 연결 부재는 제1 길이조절부재를 포함하나), 설명의 편의상, 관련 서수(ordinal number)에 대한 기재는 생략하기로 한다.Referring to FIGS. 2 and 4, the connecting
길이조절부재(400)는 측면 지지대(120)의 외측 단부와 결합 부재(210)를 연결하되, 본체(110)의 무게 중심으로부터 측면 방향(또는, 외측 방향)으로의 길이가 가변될 수 있다.The
길이조절부재(400)는 가이드 본체(410) 및 슬라이딩 부재(420)를 포함할 수 있다. 또한, 길이조절부재(400)는 구동 모듈(430) 및 구동축(440)을 더 포함할 수 있다.The
가이드 본체(410)는 측면 지지대(120)보다 큰 폭을 가지며, 일단부에 측면 지지대(120)에 대응하는 크기를 가지는 제1 홈(G1)을 포함하고, 측면 지지대(120)는 제1 홈(G1)에 삽입 및 고정될 수 있다. 예를 들어, 측면 지지대(120)는 가이드 본체(410)의 제1 홈(G1)에 억지 끼움 방식, 나사 결합 방식 등을 통해 결합될 수 있다.The
가이드 본체(410)는 타단부에 제1 홈(G1)에 대응하는 제2 홈(G2)를 포함하며, 제2 홈(G2)의 일측 내측면에는 수평 방향으로 가이드 홈(G2-1)이 형성될 수 있다.The guide
슬라이딩 부재(420)는 슬라이딩 부재(420)는 측면 지지대(120)에 대응하는 크기(예를 들어, 측면 지지대(120)와 동일한 두께와 단면적)를 가지고, 제2 홈(G2)에 삽입되며, 가이드 홈(G2-1)에 대응하는 가이드 돌기를 포함할 수 있다. 슬라이딩 부재(420)는 가이드 돌기에 의해 회전 운동을 하지 않고, 제2 홈(G2) 내에서 수평 방향으로 이동할 수 있다.The sliding
구동 모듈(430)은 슬라이딩 부재(420)를 이동시키는 힘을 제공할 수 있다. 예를 들어, 구동 모듈(430)은 모터, 기어 등을 포함하며, 구동 모듈(430)에 연결된 구동축(440)을 회전시킬 수 있다.The
구동축(440)은 원통형 형상을 가지며 외부에 나사선을 포함할 수 있다. 구동축(440)은 슬라이딩 부재(420)의 일단부에 형성된 제3 홈(G3)에 삽입될 수 있다. 제3 홈(G3)의 표면에는 구동축(440)의 나사선에 대응하는 나사홈이 형성될 수 있다. 구동축(440)이 구동 모듈(430)에 의해 회전하는 경우, 나사선, 나사홈, 가이드 돌기에 의해 슬라이딩 부재(420)는 수평 방향으로 이동할 수 있다. 따라서, 길이조절부재(400)의 길이(L)가 가변되고, 측면 카메라(130)의 위치가 조절될 수 있다. The drive shaft 440 has a cylindrical shape and may include threads on the outside. The driving shaft 440 may be inserted into the third groove G3 formed at one end of the sliding
도 3b를 참조하여 예를 들면, 제1 측면 지지대(121)의 일단부에 설치된 제1 길이조절부재의 동작에 따라 제1 측면 카메라(131)의 위치가 조정되고, 드론용 카메라 시스템(100)은 최적의 제1 측면 영상(즉, 별도의 처리가 필요하지 않는 제1 측면 영상)을 획득할 수 있다.3B, the position of the
한편, 드론용 카메라 시스템(100)은 별도의 프로세서(예를 들어, 도 5를 참조하여 후술할 길이 제어 모듈)를 이용하여 측면 영상들을 분석하고, 분석 결과에 기초하여 길이조절부재(400)의 길이를 결정 및 조절할 수 있다.Meanwhile, the
도 5는 도 1의 드론용 카메라 시스템에 포함된 길이 제어 모듈의 일 예를 나타내는 도면이다.5 is a view showing an example of a length control module included in the drones camera system of FIG.
도 1 및 도 5를 참조하면, 드론용 카메라 시스템(100)은 길이 제어 모듈(500)을 포함할 수 있다. 길이 제어 모듈(500)은 본체(110)에 내장될 수 있다.Referring to FIGS. 1 and 5, the
길이제어모듈(500)은 영상 수신부(510), 특징 추출부(520), 오차 산출부(530), 길이 조절부(540) 및 제어부(550)를 포함할 수 있다. 또한, 길이제어모듈(500)은 영상 처리부(560)를 더 포함할 수 있다.The
영상 수신부(510)는 측면 카메라들(131 내지 138)로부터 측면 영상들을 수신할 수 있다.The
특징 추출부(520)는 측면 영상들로부터 특징점들을 추출하고, 특징점들에 기초하여 측면 영상들에 대한 유효 영상들(즉, 스티칭에 적합한 부분 영상들)을 결정할 수 있다.The
일 실시예에서, 특징 추출부(520)는 측면 영상들 중 제1 측면 영상의 제1 경계 영역(예를 들어, 제1 측면 영상에 인접한 제2 측면 영상과 중첩되는 영역)에서 제1 특징점을 추출하고, 제1 특징점에 기초하여 상기 제1 측면 영상의 제1 유효 영상을 결정하며, 측면 영상들 중 제2 측면 영상의 제2 경계 영역에서 상기 제1 특징점에 대응하는 제2 특징점을 추출하고, 제2 특징점에 기초하여 제2 측면 영상의 제2 유효 영상을 결정할 수 있다. 여기서, 제1 유효 영상과 제2 유효 영상은 스티칭되어 본체(110)를 기준으로 한 구형 영상을 구성할 수 있다.In one embodiment, the
도 3c를 참조하여 예를 들면, 특징 추출부(520)는 제1 측면 영상(IMAGE1)의 제1 경계 영역에서 제1 특징점(예를 들어, 제1 객체(OBJ1)에 대응하는 제2 지점(P2))을 추출하고, 제2 지점(P2)에 기초하여 제3 부분 영상(IP3)을 제1 유효 영상으로 결정할 수 있다. 유사하게, 특징 추출부(520)는 제2 측면 영상(IMAGE2)의 제2 경계 영역에서 제2 특징점(예를 들어, 제1 객체(OBJ1)에 대응하는 제4 지점(P4))을 추출하고, 제4 지점(P4)에 기초하여 제2 부분 영상(IP2)을 제2 유효 영상으로 결정할 수 있다.Referring to FIG. 3C, for example, the
오차 산출부(530)는 제2 유효 영상의 제2 크기에 기초하여 제1 유효 영상의 제1 크기에 대한 제1 스케일링 비율을 결정할 수 있다.The
도 3c를 참조하여 예를 들면, 제3 부분 영상(IP3)의 일측면 길이 대비 제2 부분 영상(IP2)의 일측면 길이의 비율을 나타내는 제1 비율은 1.33 (또는, 4/3) 이고, 제3 부분 영상(IP3)의 면적(또는, 해상도) 대비 제2 부분 영상(IP2)의 면적의 비율을 나타내는 제2 비율은 1.77(또는, 16/9) 일 수 있다. 이 경우, 오차 산출부(530)는 제1 비율 또는 제2 비율을 제1 스케일링 비율로 결정할 수 있다.Referring to FIG. 3C, for example, a first ratio representing a ratio of one side length of the second partial image IP2 to one side length of the third partial image IP3 is 1.33 (or 4/3) The second ratio indicating the ratio of the area of the second partial image IP2 to the area (or resolution) of the third partial image IP3 may be 1.77 (or 16/9). In this case, the
길이 조절부(540)는 제1 스케일링 비율에 기초하여 제1 길이조절부재의 제1 길이를 결정할 수 있다. 예를 들어, 길이 조절부(540)는 제1 측면 지지대(121)의 길이 및 제1 스케일링 비율(또는, 제1 스케일링 비율에서 1을 차감한 값)을 곱연산함으로써, 제1 길이조절부재의 제1 길이를 결정할 수 있다.The
제어부(540)는 영상 수신부(510), 특징 추출부(520), 오차 산출부(530) 및 길이 조절부(540) 각각을 제어하고, 이들 간의 데이터 흐름을 제어할 수 있다.The
한편, 영상 처리부(560)는 측면 영상들로부터 결정(또는, 추출)된 유효 영상들을 스티칭하여 구형 영상(또는, 360도 영상)을 생성할 수 있다.Meanwhile, the
도 4 및 도 5를 참조하여 설명한 바와 같이, 드론용 카메라 시스템(100)은 측면 지지대들(121 내지 128) 각각의 일단부에 설치되는 길이조절부재(400)를 이용하여 측면 카메라들(131 내지 138)의 위치를 조절함으로써, 별도의 영상 처리(예를 들어, 스케일링, 픽셀 렌더링) 없이 용이하게 구형 영상을 생성할 수 있다.4 and 5, the
또한, 드론용 카메라 시스템(100)은 길이 제어 모듈(500)을 통해 측면 영상들을 분석하고, 분석 결과에 기초하여 길이조절부재(400)의 길이를 결정 및 조절할 수 있다.In addition, the
도 6은 도 1의 드론용 카메라 시스템을 설정하는 과정을 설명하는 도면이다.FIG. 6 is a view for explaining a process of setting the drones camera system of FIG. 1. FIG.
도 1, 도 4, 도 5 및 도 6을 참조하면, 드론용 카메라 시스템의 측면 카메라들(131 내지 138) 각각의 위치(또는 길이조절부재(400)의 길이)를 조절하는데 이용되는 설정 보조 장치(600)와, 드론용 카메라 시스템(100)에 대한 평면도가 도시되어 있다.Referring to FIGS. 1, 4, 5 and 6, a setting assistance device (not shown) used to adjust the position (or the length of the length adjusting member 400) of each of the
설정 보조 장치(600)는 드론용 카메라 시스템(100)보다 큰 반경을 가지는 원통형으로 구성되고, 내측면에 등간격(또는, 설정 보조 장치(600)의 무게 중심을 기준으로 등각도)를 가지고 배열된 눈금들(GRAD)을 포함할 수 있다. 예를 들어, 눈금들은 1도 단위로 도시될 수 있다.The
또한, 설정 보조 장치(600)는 드론용 카메라 시스템(100)의 무게 중심을 설정 보조 장치(600)의 무게 중심에 일치시키기 위한 일반적인 지지 부재를 포함할 수 있다.The setting
이 경우, 드론용 카메라 시스템(100)은 측면 카메라들(131 내지 138)을 통해 획득한 측면 영상들 각각이 일정 각도(예를 들어, 일정 개수의 눈금들)를 가지는지 확인하고, 이에 기초하여 측면 카메라들(131 내지 138) 각각의 위치(또는, 이들 각각에 대응하는 길이조절부재들 각각의 길이)를 조절할 수 있다.In this case, the
예를 들어, 드론용 카메라 시스템(100)은 제1 측면 카메라(131)의 제1 측면 영상이 336도 내지 25도 범위(또는, -24도 내지 25도 범위로, 총 50도 범위)의 눈금들을 포함하는지 여부, 해당 영상의 크기가 기준 크기(예를 들어, 기 설정된 유효 영상의 크기)와 일치하는지 여부 등을 판단하며, 판단결과에 기초하여 제1 길이조절부재의 제1 길이를 조절할 수 있다. 유사하게, 드론용 카메라 시스템(100)은 제2 측면 카메라(131)의 제2 측면 영상이 20도 내지 70도 범위(또는, 총 50도 범위)의 눈금들을 포함하는지 여부, 해당 영상의 크기가 기준 크기와 일치하는지 여부 등을 판단하며, 판단결과에 기초하여 제2 길이조절부재의 제2 길이를 조절할 수 있다. 따라서, 드론용 카메라 시스템(100)은 용이하게 측면 카메라들(131 내지 138) 각각의 위치(또는, 길이조절부재의 길이)를 결정 및 조절할 수 있다.For example, the
도 7은 도 1의 드론용 카메라 시스템의 일 예를 나타내는 도면이다.7 is a view showing an example of a drones camera system of Fig. 1. Fig.
도 1 및 도 7을 참조하면, 드론용 카메라 시스템(700)은 본체(710), 측면 지지대들(722, 724, 726, 728), 측면 카메라들(732, 734, 736, 728) 및 상부 카메라(840)를 포함할 수 있다.Referring to Figures 1 and 7, the
본체(710), 측면 지지대들(722, 724, 726, 728), 측면 카메라들(732, 734, 736, 728) 및 상부 카메라(840)는 도 1을 참조하여 설명한 본체(110), 측면 지지대들(121 내지 128), 측면 카메라들(131 내지 138) 및 상부 카메라(140)와 실질적으로 동일할 수 있다. 따라서, 중복되는 설명은 반복하지 않기로 한다.The
도 1에 도시된 드론용 카메라 시스템(100)은 드론과 일체로 구성되고, 도 7에 도시된 드론용 카메라 시스템(700)은 드론(10)과 별개로 구성되며, 본체(710)를 통해 드론(10)의 하부에 결합될 수 있다.The
즉, 드론용 카메라 시스템(100)은 드론과 별개로 구성되어, 드론(10)에 탈부착 방식으로 용이하게 설치될 수 있다.That is, the
도 8 및 도 9는 도 7의 드론용 카메라 시스템의 일 예를 나타내는 도면이다.Figs. 8 and 9 are views showing an example of the drones camera system of Fig. 7. Fig.
도 7 및 도 8을 참조하면, 드론용 카메라 시스템(900)은 도 8에 도시된 드론용 카메라 시스템(800)과 비교하여, 구형 프레임(810)을 더 포함할 수 있다.Referring to FIGS. 7 and 8, the
구형 프레임(810)은 구 형상을 가지고, 측면 지지대들(722 내지 728) 각각의 일단과 연결되며, 드론(10)을 감쌀 수 있다.The spherical frame 810 has a spherical shape and is connected to one end of each of the
구형 프레임(810)은 수평 원형 프레임(811), 제1 수직 원형 프레임(812) 및 제2 수직 원형 프레임(813)을 포함할 수 있다. 수평 원형 프레임(811)은 측면 지지대들(722 내지 728)보다 큰 반경을 가지는 환 형상을 가지고, 수평 원형 프레임(811)은 측면 지지대들(722 내지 728)에 연결될 수 있다. 유사하게, 제1 수직 원형 프레임(812)은 수평 원형 프레임(811)의 반경과 실질적으로 동일한 반경을 가지며, 수평 원형 프레임(811)에 수직하여 연결될 수 있다. 제2 수직 원형 프레임(813)은 수평 원형 프레임(811)의 반경과 실질적으로 동일한 반경을 가지며, 수평 원형 프레임(811) 및 제1 수직 원형 프레임(812)에 상호 수직하여 연결될 수 있다.The spherical frame 810 may include a horizontal
구형 프레임(810)(또는, 수평 원형 프레임(811), 제1 수직 원형 프레임(812) 및 제2 수직 원형 프레임(813) 각각)은 측면 지지대들(722 내지 728)과 직접적으로 연결되거나, 별도의 탄성을 가지는 탄성 연결 부재(예를 들어, 도 2를 참조하여 설명한 연결 부재(200) 또는 탄성 부재(230))를 통해 연결될 수 있다.The spherical frame 810 (or the horizontal
한편, 측면 카메라들(811 내지 814)는 수평 원형 프레임(811)의 가장자리를 따라 상호 등간격(또는, 상호 등각도)를 가지고 이격되어 배치될 수 있다. 측면 카메라들(811 내지 814)는 상술한 탄성 연결 부재를 통해 수평 원형 프레임(811)(또는, 구형 프레임(810))에 연결될 수 있다.Meanwhile, the
또한, 상부 카메라(825)는 제1 및 제2 수직 원형 프레임들(812, 813)의 제1 교차점(예를 들어, 상부 교차점)에 배치되고, 드론(10)(또는, 구형 프레임(810))을 기준으로 상부 영상을 획득할 수 있다. 유사하게, 하부 카메라(826)는 제1 및 제2 수직 원형 프레임들(812, 813)의 제2 교차점(예를 들어, 하부 교차점)에 배치되고, 드론(10)(또는, 구형 프레임(810))을 기준으로 하부 영상을 획득할 수 있다.The
일 실시예에서, 드론용 카메라 시스템(800)은 수직 프레임(824)과 착률 모듈(830)(또는, landing module)을 더 포함할 수 있다.In one embodiment, the
수직 프레임(824)은 본체(710)로부터 수직 방향으로 연장되어, 구형 프레임(810)의 천저(또는, 제1 및 제2 원형 프레임들(812, 813)의 제2 교차점)에 연결될 수 있다. 수직 프레임(824)은 구형 프레임(810)의 수직 방향으로의 강도를 향상시킬 수 있다.The
착륙 모듈(830)은 구형 프레임(810)의 바닥면에 인접하여 배치되며, 랜딩 기어를 내부에 내장하며, 필요한 경우 랜딩 기어를 구형 프레임(810) 외부로 돌출 시킬 수 있다. 예를 들어, 착륙 모듈(830)은 드론(10)에 내장된 고도 센서 등으로부터 드론(10)의 고도 정보(또는, 높이 정보)를 수신하고, 고도 정보가 기준 고도 이하인 경우(예를 들어, 고도가 10m 이하인 경우) 항공기의 랜딩 기어와 유사하게, 내부의 랜딩 기어를 구형 프레임(810)의 외부로 돌출시킬 수 있다. 다른 예를 들어, 착륙 모듈(830)은 지표면까지의 거리를 감지하는 거리 센서(또는, 지표면 감지 센서)를 포함하고, 지표면까지의 거리가 기준 거리 이하인 경우 내부의 랜딩 기어를 구형 프레임(810)의 외부로 돌출시킬 수 있다. 또 다른 예를 들어, 착륙 모듈(830)은 외부(예를 들어, 외부 리모트 컨트롤러)로부터 랜딩 기어 제어 신호를 수신하고, 내부의 랜딩 기어를 구형 프레임(810)의 외부로 돌출시킬 수 있다. The
실시예들에서, 드론용 카메라 시스템(800)은 자이로스코프 기능을 가지는 구형 프레임(900)을 포함할 수 있다.In embodiments, the
도 7 및 도 9를 참조하면, 구형 프레임(900)은 제1 원형 프레임(910), 제2 원형 프레임(920) 및 제3 원형 프레임(930)을 포함할 수 있다.Referring to FIGS. 7 and 9, the
제1 원형 프레임(910)은 제1 반경을 가지는 환 형상을 가지며, 측면 지지대들(724 내지 728)과 연결될 수 있다. 제1 원형 프레임(910)은 제1 방향(예를 들어, 수평 방향)으로 상호 대칭을 이루며, 외측 방향으로 돌출 형성된 제1 및 제2 회동 결합 부재들(PCM1, PCM2)를 포함할 수 있다. 제1 원형 프레임(910)은 피치(pitch) 동작을 수행할 수 있다.The first
제2 원형 프레임(920)은 제1 반경보다 큰 제2 반경을 가지는 환 형상을 가지며 제1 방향(예를 들어, 수평 방향)으로 상호 대칭을 이루며, 내측 방향으로 돌출 형성된 제3 및 제4 회동 결합 부재들(PCM3, PCM4)를 포함할 수 있다. 제1 원형 프레임(910)의 제1 및 제2 회동 결합 부재들(PCM1, PCM2)은 제3 및 제4 회동 결합 부재들(PCM3, PCM4)에 삽입되는 방식으로 각각 회동 결합될 수 있다.The second
제2 원형 프레임(920)은 제2 방향(예를 들어, 수직 방향)으로 상호 대칭을 이루며, 외측 방향으로 돌출 형성된 제5 및 제6 회동 결합 부재들(PCM5, PCM6)를 포함할 수 있다. 제2 원형 프레임(910)은 롤(roll) 동작을 수행할 수 있다.The second
한편, 제3 원형 프레임(930)은 제2 반경보다 큰 제3 반경을 가지는 환 형상(또는, 구 형상)을 가지며 제2 방향(예를 들어, 수직 방향)으로 상호 대칭을 이루며, 내측 방향으로 돌출 형성된 제7 및 제8 회동 결합 부재들(PCM7, PCM8)를 포함할 수 있다. 제2 원형 프레임(920)의 제5 및 제6 회동 결합 부재들(PCM5, PCM6)은 제7 및 제8 회동 결합 부재들(PCM7, PCM8)에 삽입되는 방식으로 각각 회동 결합될 수 있다. 제3 원형 프레임(930)은 도 8을 참조하여 설명한 구형 프레임(810)과 실질적으로 동일할 수 있다.On the other hand, the third
한편, 측면 카메라들(821 내지 824), 상부 카메라(825) 및 하부 카메라(826)는 제3 원형 프레임(930)의 측면/상부/하부에 각각 배치될 수 있다.The side cameras 821 to 824, the
일 실시예에서, 랜딩 모듈(830)은, 도 8을 참조하여 설명한 바와 유사하게, 제3 원형 프레임(930)의 하부에 인접하여 배치될 수 있다. 제3 원형 프레임(930)은 무게 추로서 역할 함으로써, 드론(10)의 비행 자세와 무관하게, 측면/상부/하부 카메라들(821 내지 826)이 항상 일정한 방향을 향하도록 할 수 있다.In one embodiment, the
즉, 구형 프레임(900)은 자이로스코프(또는, 짐볼(gimbal)) 기능을 가짐으로써, 드론(10)의 비행 자세와 무관하게, 측면/상부/하부 카메라들(821 내지 826)이 안정적으로 영상을 촬영할 수 있도록 할 수 있다.That is, the
한편, 도 8 및 도 9에서 4개의 측면 지지대들, 3개의 원형 프레임들(811 내지 813) 및 4개의 측면 카메라들(811 내지 814)이 도시되어 있으나, 이는 예시적인 것으로 드론용 카메라 시스템(800)이 이에 한정되는 것은 아니다. 예를 들어, 드론용 카메라 시스템(800)은 2개, 3개, 5개 이상의 측면 지지대들을 포함하거나, 2개, 4개 이상의 원형 프레임들을 포함하거나, 3개, 5개 이상의 측면 카메라들을 포함할 수 있다. 즉, 구형 프레임(810)은 구 형상을 가지면 족하고 드론과 연결하기 위한 측면 지지대들의 개수와, 구형 프레임(810)을 구성하는 원형 프레임들의 개수는 드론용 카메라 시스템(800)의 용도, 안정성 등을 고려하여 다양하게 변경될 수 있다.8 and 9, four side supports, three
본 발명은 드론을 이용하여 영상 촬영 시스템, 카메라 설치용 리그 등에 적용될 수 있다. The present invention can be applied to a video shooting system, a camera installation rig, and the like using a drones.
상술한 바와 같이, 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. It will be understood that the invention may be varied and changed without departing from the scope of the invention.
100: 드론용 카메라 시스템
110: 본체
120: 측면 지지대
130: 측면 카메라
121 내지 128: 제1 내지 제8 측면 지지대들
131 내지 138: 제1 내지 제8 측면 카메라들
140: 상부 카메라
150: 회전익
200: 연결 부재
210: 결합 부재
220: 지지 부재
230: 탄성 부재
400: 길이조절부재
410: 가이드 본체
420: 슬라이딩 부재
430: 구동 모듈
440: 구동축
500: 길이 제어 모듈
800: 드론용 카메라 시스템
810: 구형 프레임
830: 착률 모듈
900: 구형 프레임
910, 920, 930: 제1 내지 제3 원형 프레임들100: Camera system for drones 110:
120: side support 130: side camera
121 to 128: first to eighth lateral supports
131 to 138: First to eighth side cameras
140: upper camera 150: flywheel
200: connecting member 210: connecting member
220: support member 230: elastic member
400: length adjusting member 410: guide body
420: sliding member 430: driving module
440: drive shaft 500: length control module
800: Camera system for drones 810: Spherical frame
830: Deposition module 900: spherical frame
910, 920, 930: first to third circular frames
Claims (10)
상기 본체의 무게 중심으로부터 측면 방향으로 연장되되, 상호 등각을 가지고 배열되는 복수의 측면 지지대들; 및
상기 측면 지지대들 각각의 일단에 각각 설치되어 상기 본체를 기준으로 측면 방향의 측면 영상들을 각각 촬영하는 측면 카메라들을 포함하는 드론용 카메라 시스템.
main body;
A plurality of side supports extending in a lateral direction from a center of gravity of the main body, the side supports being disposed at an equal angle with each other; And
And side cameras mounted on one end of each of the side supports for photographing side images in the lateral direction on the basis of the body.
The camera system for a drones according to claim 1, wherein the side support members include first to eighth side support members arranged at an angle of 45 degrees with respect to each other in a plan view.
The camera system for a drones according to claim 1, wherein at least a part of each of the side supports is arranged with a rotor blade of a drones.
상기 본체의 상부면에 배치되어 상기 본체를 기준으로 상부 방향의 상부 영상을 촬영하는 상부 카메라를 더 포함하는 것을 특징으로 하는 드론용 카메라 시스템.
The method according to claim 1,
Further comprising an upper camera disposed on an upper surface of the main body, for photographing an upper image in an upper direction with respect to the main body.
상기 측면 지지대들 중 제1 측면 지지대와 상기 측면 카메라들 중 제1 측면 카메라를 연결하되, 상기 제1 측면 지지대에서 발생되는 진동의 제1 측면 카메라에 대한 영향을 감소시키는 연결 부재를 더 포함하는 것을 특징으로 하는 드론용 카메라 시스템.
The method according to claim 1,
Further comprising a connecting member connecting the first side support of the side support to the first side camera of the side cameras and reducing the influence of the vibration generated in the first side support to the first side camera Features a drones camera system.
상기 제1 측면 지지대의 외측 단부에 결합되는 제1 결합 부재;
상기 제1 측면 카메라를 지지 고정하는 제1 지지 부재; 및
탄성을 가지고 상기 제1 결합 부재와 상기 제1 지지 부재를 연결하되 상기 제1 측면 지지대에서 발생하는 진동을 흡수하는 탄성 부재를 포함하는 것을 특징으로 하는 드론용 카메라 시스템.
The connector according to claim 1,
A first engaging member coupled to an outer end of the first side support;
A first support member for supporting and fixing the first side camera; And
And an elastic member having elasticity to connect the first engagement member and the first support member and absorb vibration generated in the first side support member.
상기 제1 측면 지지대의 상기 외측 단부와 상기 제1 결합 부재 사이에 배치되어 상기 제1 측면 지지대와 상기 제1 결합 부재를 연결하되, 상기 본체의 상기 무게 중심으로부터 상기 측면 방향으로의 길이가 가변되는 제1 길이조절부재를 더 포함하는 것을 특징으로 하는 드론용 카메라 시스템.
The connector according to claim 6,
The first side support is connected to the first side support and the first engagement member to connect the first side support and the first engagement member, and the length of the body from the center of gravity in the lateral direction is variable The camera system as claimed in claim 1, further comprising a first length adjustment member.
상기 측면 영상들 중 제1 측면 영상의 제1 경계 영역에서 제1 특징점을 추출하고, 상기 제1 특징점에 기초하여 상기 제1 측면 영상의 제1 유효 영상을 결정하며, 상기 측면 영상들 중 제2 측면 영상의 제2 경계 영역에서 상기 제1 특징점에 대응하는 제2 특징점을 추출하고, 제2 특징점에 기초하여 상기 제2 측면 영상의 제2 유효 영상을 결정하며, 상기 제2 유효 영상의 제2 크기에 기초하여 상기 제1 유효 영상의 제1 크기에 대한 제1 스케일링 비율을 결정하고, 상기 제1 스케일링 비율에 기초하여 상기 제1 길이조절부재의 제1 길이를 결정하는 길이 제어 모듈을 더 포함하며,
상기 제1 유효 영상과 상기 제2 유효 영상은 스티칭되어 상기 본체를 기준으로 구형 영상을 구성하는 것을 특징으로 하는 드론용 카메라 시스템.
The method according to claim 6,
Extracting a first feature point in a first border area of a first side image of the side images and determining a first valid image of the first side image based on the first feature point, Extracting a second feature point corresponding to the first feature point in a second border region of the side image and determining a second valid image of the second side image based on the second feature point, Further comprising a length control module for determining a first scaling ratio for the first size of the first valid image based on the size and determining a first length of the first length adjusting member based on the first scaling ratio In addition,
Wherein the first effective image and the second effective image are stitched together to form a spherical image based on the main body.
상기 드론의 하부에 결합되는 본체;
상기 본체의 무게 중심으로부터 측면 방향으로 연장되되, 상호 등각을 가지고 배열되는 복수의 측면 지지대들; 및
상기 측면 지지대들 각각의 일단에 각각 설치되어 상기 본체를 기준으로 측면 방향의 측면 영상들을 각각 촬영하는 측면 카메라들을 포함하는 드론용 카메라 시스템.
A dron including a plurality of rotor blades;
A body coupled to a lower portion of the drones;
A plurality of side supports extending in a lateral direction from a center of gravity of the main body, the side supports being disposed at an equal angle with each other; And
And side cameras mounted on one end of each of the side supports for photographing side images in the lateral direction on the basis of the body.
구 형상을 가지고, 상기 복수의 측면 지지대들 각각의 일단과 연결되며, 상기 드론을 감싸는 구형 프레임; 및
탄성을 가지고 상기 측면 카메라들을 상기 구형 프레임에 연결하는 탄성 연결 부재를 더 포함하는 것을 특징으로 하는 드론용 카메라 시스템.10. The method of claim 9,
A spherical frame having a spherical shape, connected to one end of each of the plurality of side supports, and surrounding the drones; And
Further comprising an elastic connecting member having elasticity and connecting the side cameras to the spherical frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170151690A KR20190054755A (en) | 2017-11-14 | 2017-11-14 | Camera system for drone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170151690A KR20190054755A (en) | 2017-11-14 | 2017-11-14 | Camera system for drone |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190054755A true KR20190054755A (en) | 2019-05-22 |
Family
ID=66680770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170151690A KR20190054755A (en) | 2017-11-14 | 2017-11-14 | Camera system for drone |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190054755A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021045577A1 (en) * | 2019-09-06 | 2021-03-11 | Samsung Electronics Co., Ltd. | Multi-sensor-based unmanned aerial vehicle and method for controlling same |
KR102338776B1 (en) * | 2021-06-01 | 2021-12-15 | (주)미도지리정보 | Image Processing System |
KR102341610B1 (en) * | 2021-06-01 | 2021-12-22 | (주)미도지리정보 | Image Processing System |
KR20240069034A (en) * | 2022-11-11 | 2024-05-20 | 지오랩스(주) | Image processing system for expressing only flat image by modifying position image |
KR20240103745A (en) | 2022-12-27 | 2024-07-04 | 동국대학교 산학협력단 | Drone frame and drone having the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170059893A (en) | 2015-11-20 | 2017-05-31 | 주식회사 드론메이트 | Drone comprising self camera |
KR101752998B1 (en) | 2016-02-26 | 2017-07-19 | 정우철 | Tilting and rotating apparatus of camera for drone |
-
2017
- 2017-11-14 KR KR1020170151690A patent/KR20190054755A/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170059893A (en) | 2015-11-20 | 2017-05-31 | 주식회사 드론메이트 | Drone comprising self camera |
KR101752998B1 (en) | 2016-02-26 | 2017-07-19 | 정우철 | Tilting and rotating apparatus of camera for drone |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021045577A1 (en) * | 2019-09-06 | 2021-03-11 | Samsung Electronics Co., Ltd. | Multi-sensor-based unmanned aerial vehicle and method for controlling same |
US11619952B2 (en) | 2019-09-06 | 2023-04-04 | Samsung Electronics Co., Ltd. | Multi-sensor-based unmanned aerial vehicle and method for controlling same |
KR102338776B1 (en) * | 2021-06-01 | 2021-12-15 | (주)미도지리정보 | Image Processing System |
KR102341610B1 (en) * | 2021-06-01 | 2021-12-22 | (주)미도지리정보 | Image Processing System |
KR20240069034A (en) * | 2022-11-11 | 2024-05-20 | 지오랩스(주) | Image processing system for expressing only flat image by modifying position image |
KR20240103745A (en) | 2022-12-27 | 2024-07-04 | 동국대학교 산학협력단 | Drone frame and drone having the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190054755A (en) | Camera system for drone | |
US9185290B1 (en) | Wide-area aerial camera systems | |
US9641736B2 (en) | Wide-area aerial camera systems | |
US9440750B2 (en) | Wide-area aerial camera systems | |
US9797980B2 (en) | Self-calibrated, remote imaging and data processing system | |
EP3071482B1 (en) | Uav panoramic imaging | |
US8994822B2 (en) | Infrastructure mapping system and method | |
US10659690B2 (en) | Systems and methods for mobile platform imaging | |
US9052571B1 (en) | Wide-area aerial camera systems | |
US7725258B2 (en) | Vehicle based data collection and processing system and imaging sensor system and methods thereof | |
JP6282275B2 (en) | Infrastructure mapping system and method | |
CN103038761B (en) | Self-alignment long-range imaging and data handling system | |
US20030048357A1 (en) | Digital imaging system for airborne applications | |
KR20050043925A (en) | Retinal array compound camera system | |
TW201321059A (en) | Camera ball turret having high bandwidth data transmission to external image processor | |
KR101591996B1 (en) | Operating method of picture image processing with similarity picture image position adjust for image processing | |
KR101349255B1 (en) | Aerial photography system for precise image | |
WO2020198963A1 (en) | Data processing method and apparatus related to photographing device, and image processing device | |
JP4137028B2 (en) | Camera stabilizer mounting error acquisition method and camera stabilizer to which this method is applied | |
USRE49105E1 (en) | Self-calibrated, remote imaging and data processing system | |
KR102174826B1 (en) | Overlapping photoflight system for acquiring precise image | |
KR101830296B1 (en) | System for drawing digital map | |
WO2022259795A1 (en) | Camera-angle determination device, camera-angle determination method and program, photography system, and damage evaluation system | |
JP2004117496A (en) | Device and method for omnidirectional imaging, program, and recording medium with the program recorded | |
JP2014511155A (en) | Self-calibrating remote imaging and data processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |