KR101195446B1 - A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same - Google Patents
A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same Download PDFInfo
- Publication number
- KR101195446B1 KR101195446B1 KR1020120007816A KR20120007816A KR101195446B1 KR 101195446 B1 KR101195446 B1 KR 101195446B1 KR 1020120007816 A KR1020120007816 A KR 1020120007816A KR 20120007816 A KR20120007816 A KR 20120007816A KR 101195446 B1 KR101195446 B1 KR 101195446B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- maintenance
- guide
- information
- maintenance guide
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 155
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063116—Schedule adjustment for a person or group
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법에 관한 것으로서, 더욱 상세하게는 정비 대상 구조물을 단말기에 구비된 카메라를 통해 촬영하고, 촬영된 영상을 이미지처리하여 메모리에 저장된 도면과 매칭시킨 뒤, 매칭된 도면에 해당하는 정비가이드 정보를 촬영된 영상과 정합하여 증강현실 기반으로 디스플레이하여 제공함에 따라, 복잡한 구조물의 정비일지라도 초보자가 가이드의 순차적인 지시에 따라 쉽게 정비가 가능하며, 무선인터넷 통신이 되지 않는 음영지역에서도 증강현실 기반의 정비 가이드를 실시간으로 제공받을 수 있는 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법에 관한 것이다.
본 발명은, 정비 작업 스케쥴 정보를 입력받는 단계와, 촬영모듈을 통해 정비하고자 하는 영역을 촬영하여 실사영상을 획득하는 단계와, 획득한 실사영상을 이미지처리하여 상기 실사영상에 해당하는 도면위치를 파악하는 단계와, 상기 파악된 도면위치에 따른 설비의 가이드 정보를 메모리에서 추출하는 단계와, 상기 추출된 가이드 정보가 실사영상과 중첩되어 디스플레이 될 수 있도록 맵핑된 가이드 화상 정보를 생성하는 단계 및 생성된 가이드 화상 정보를 디스플레이하는 단계를 포함하여 구성되는 증강현실 기반 구조물 정비 가이드 제공 방법을 제공한다.The present invention relates to a maintenance guide providing terminal based on augmented reality and a method for providing a maintenance guide using the same. More particularly, the maintenance target structure is photographed through a camera provided in the terminal, and the captured image is stored in a memory. After matching with the drawings, the maintenance guide information corresponding to the matched drawing is matched with the photographed images and displayed on the basis of augmented reality, so that even the maintenance of complex structures can be easily maintained by the beginner according to the sequential instructions of the guide. The present invention relates to an augmented reality based maintenance guide providing terminal and a maintenance guide providing method using the same, which can be provided in real time in a shaded area where wireless internet communication is not available.
The present invention includes the steps of receiving maintenance work schedule information, photographing a region to be maintained through a photographing module to obtain a photorealistic image, and processing the acquired photorealistic image to obtain a drawing position corresponding to the photorealistic image. Grasping, extracting guide information of a facility according to the identified drawing position from a memory, and generating and generating mapped guide image information so that the extracted guide information can be superimposed with a live-action image. It provides a method for providing a guide for augmented reality-based structure maintenance comprising a step of displaying the guide image information.
Description
본 발명은 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법에 관한 것으로서, 더욱 상세하게는 정비 대상 구조물을 단말기에 구비된 카메라를 통해 촬영하고, 촬영된 영상을 이미지처리하여 메모리에 저장된 도면과 매칭시킨 뒤, 매칭된 도면에 해당하는 정비 가이드 정보를 촬영된 영상과 정합하여 증강현실 기반으로 디스플레이하여 제공함에 따라, 복잡한 구조물의 정비일지라도 초보자가 가이드의 순차적인 지시에 따라 쉽게 정비가 가능하며, 무선인터넷 통신이 되지 않는 음영지역에서도 증강현실 기반의 정비 가이드를 실시간으로 제공받을 수 있는 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법에 관한 것이다.The present invention relates to a maintenance guide providing terminal based on augmented reality and a method for providing a maintenance guide using the same. More particularly, the maintenance target structure is photographed through a camera provided in the terminal, and the captured image is stored in a memory. After matching with the drawing, the maintenance guide information corresponding to the matching drawing is displayed and provided on the basis of augmented reality by matching with the photographed image, even for the maintenance of complex structures, beginners can easily maintain the guide according to the sequential instructions of the guide. The present invention relates to an augmented reality based maintenance guide providing terminal and a maintenance guide providing method using the same, which can be provided in real time in a shaded area where wireless internet communication is not available.
현대 사회가 소통하기 위해서는 수송, 에너지 등의 사회기반이 원활이 작동해야한다. 이러한 사회기반은 특히 필수 구조물의 안정적인 유지보수가 중요한데, 최근에는 고정밀 구조물이 증가하고 있어 유지보수 시간이 점점 증가하고 있다. 유지보수시 발생하는 과다비용발생과 인력 부족의 문제는 불안정한 사회 소통을 만드는데 주요 원인으로 작용할 수 있다. 이를 관리하는 것은 단순히 비용과 노력을 줄이는 문제뿐만 아니라, 안정적인 사회소통을 실현하는 핵심이다.In order for modern society to communicate, social infrastructure such as transportation and energy must work smoothly. This infrastructure is particularly important for stable maintenance of essential structures. Recently, maintenance time is increasing due to the increase in the number of high-precision structures. The problems of excessive costs and labor shortages in maintenance can be a major factor in creating unstable social communication. Managing this is not only a matter of reducing costs and effort, but also a key to achieving stable social communication.
구조물의 유지관리를 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 구조물 도입시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 정비 절차를 숙지하고 있을 수가 없고, 언제 어떤 정비 요구가 발생할지 예측하기가 어렵다. 이에 따라, 정비사들은 설비 유지 보수를 위한 메뉴얼을 항상 휴대하여, 유지보수 업무를 수행하여 왔다.The maintenance of the structure requires several years of experience, and even a skilled person takes a long time to know when introducing a new structure. In addition, no matter how skilled, it is difficult to know all maintenance procedures, and it is difficult to predict when any maintenance needs will occur. Accordingly, mechanics have always carried the manual for the maintenance of the equipment, performing the maintenance work.
종래의 설비 유지 보수를 위한 메뉴얼은 일반적으로 책으로 제작되어 있거나 2D 이미지로 제작되어 있다. 책으로 제작된 메뉴얼의 문제점은 1개의 부품이라도 고장 날 경우에 해당되는 페이지를 찾아야하고 메뉴얼이 오래되면 색이 변질되거나 손상이 심해지는 문제점이 있으며, 항공기 등과 같이 복잡한 형태의 기계 구조물의 경우에는 수십만가지 상의 메뉴얼이 필요하기 때문에, 그 양이 방대하여 휴대가 불가능한 문제점이 있었다.Conventional manuals for facility maintenance are generally produced in books or in 2D images. The problem of the manual produced by the book is to find the page corresponding to the failure of even one part, and if the manual is old, there is a problem that the color is deteriorated or the damage is severe.In the case of a complicated mechanical structure such as an aircraft, hundreds of thousands Since the manual on the branch is necessary, the amount is enormous and there is a problem that it is not portable.
2차원 도면으로 제작된 메뉴얼은 컴퓨터 화면 상으로 고장난 부위를 검색하여 볼 수 있어 책보단 유리한 장점이 있지만, 숙련된 기술자 없이 초보자나 숙련되지 못한 기술자가 고장 부위를 점검할 경우에 각 부품의 상세도를 알기 힘들고 분해를 어떻게 해야하는지 등을 파악하기 힘든 단점이 있었다. 또한, 종래의 2차원 메뉴얼은 단순히 구성요소의 설명과 2차원 도면으로만 각 부품의 확인이 가능하고, 각 부품의 상세 설명이나 분해, 조립, 회전, 확대, 축소가 불가능하여 여전히 설비 유지 보수를 위한 메뉴얼 사용 등의 문제점이 있었다.The manual produced by 2D drawing has the advantage over the book by searching the broken part on the computer screen, but the detail of each part when a novice or inexperienced technician checks the broken part without the experienced technician. It was hard to know how to decompose and had a disadvantage. In addition, the conventional two-dimensional manual can be identified only by the description of the components and the two-dimensional drawings, and detailed description of each component or disassembly, assembly, rotation, enlargement, and reduction are not possible. There was a problem such as using the manual.
이러한 문제점을 해결하기 위하여, 실사영상을 기반으로 한 정비메뉴얼 단말기를 제공하는 방법이 안출되었다. 실사영상을 기반으로 한 정비메뉴얼 단말기는 정비하고자 하는 영역을 카메라로 촬영하여 무선통신을 통해 정비 가이드 관리 서버로 전송하고, 정비 가이드 관리 서버는 전송받은 실사영상을 분석하여, 이에 따른 정비 가이드 영상을 무선통신을 통해 정비 메뉴얼 단말기로 전송함으로써, 정비하고자 하는 영역에 대해서 실사영상으로 구현된 정비 가이드를 실시간으로 제공받을 수 있게 된다.In order to solve this problem, a method for providing a maintenance manual terminal based on the live-action image has been devised. The maintenance manual terminal based on the live action image captures the area to be maintained with a camera and transmits it to the maintenance guide management server through wireless communication, and the maintenance guide management server analyzes the received live image and performs the maintenance guide image accordingly. By transmitting to the maintenance manual terminal via wireless communication, it is possible to receive a real-time maintenance guide implemented in the real-time image for the area to be maintained.
그러나, 현재의 구조물들은 무선통신이 지원되지 않는 음영지역이 많아, 정비 가이드 영상을 무선통신을 통해 실시간으로 전송받는 것은 현실적으로 불가능하며, 실사영상으로 구성된 정비 가이드 영상은 대부분 파일크기가 매우 커서 무선통신을 통해 전송받는 런닝타임이 매우 길고, 휴대용 단말기의 메모리의 한계로 인하여 정비에 필요한 실사영상을 모두 저장하여 휴대하는 것은 불가능한 문제점이 있었다.However, current structures have many shaded areas where wireless communication is not supported, so it is practically impossible to receive maintenance guide images in real time through wireless communication, and maintenance guide images composed of live-action images are mostly very large in file size. The running time received through is very long, and due to the limitation of the memory of the portable terminal, it is impossible to store and carry all the live-action images necessary for maintenance.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본발명의 목적은, 정비 대상 구조물을 단말기에 구비된 카메라를 통해 촬영하고, 촬영된 영상을 이미지처리하여 메모리에 저장된 도면과 매칭시킨 뒤, 매칭된 도면에 해당하는 정비 가이드 정보를 촬영된 영상과 정합하여 증강현실 기반으로 디스플레이하여 제공함에 따라, 복잡한 구조물의 정비일지라도 초보자가 가이드의 순차적인 지시에 따라 쉽게 정비가 가능하며, 무선인터넷 통신이 되지 않는 음영지역에서도 증강현실 기반의 정비 가이드를 실시간으로 제공받을 수 있는 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art. That is, an object of the present invention is to shoot the maintenance target structure through a camera provided in the terminal, and to process the image photographed by matching the drawing stored in the memory, and to take the maintenance guide information corresponding to the matched drawing As it is displayed and provided based on augmented reality based on matching images, even a maintenance of complex structures can be easily performed by beginners according to the sequential instructions of the guide. It provides an augmented reality-based maintenance guide providing terminal that can be provided in real time and a maintenance guide providing method using the same.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 카메라 및 자이로센서를 구비하여 정비하고자 하는 구조물을 촬영하는 촬영모듈, 다수의 선택키가 구비된 키입력부, 구조물 별 도면 및 도면에 따른 각각의 정비 가이드 정보가 저장되는 메모리, 정비 가이드 관리 서버와 네트워크로 연결되어 유무선 통신을 수행하는 통신모듈, 상기 촬영모듈을 통해 촬영된 실사영상을 이미지처리하여 실사영상에 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 따른 구조물의 정비 가이드 정보를 추출하여, 상기 실사영상에 추출된 가이드 정보가 중첩되어 디스플레이 될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성하는 제어모듈, 상기 제어모듈을 통해 생성된 가이드 화상 정보를 디스플레이하는 표시부 및 단말기의 동작 전원을 공급하기 위한 전원부를 포함하여 구성되는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 단말기를 제공한다.As a technical idea for achieving the above object, the present invention, a photographing module for photographing a structure to be equipped with a camera and a gyro sensor, a key input unit provided with a plurality of selection keys, each according to the drawings and drawings for each structure Memory to store the maintenance guide information, a communication module connected to the maintenance guide management server via a network to perform wired and wireless communication, to process the actual image captured by the imaging module to identify the drawings of the structure matching the actual image, Control module for extracting the maintenance guide information of the structure according to the identified drawing, generating a guide image information mapped (mapping) so that the guide information extracted in the live-action image is superimposed, generated by the control module Display unit for displaying the guide image information and for supplying the operating power of the terminal It provides an augmented reality-based structure maintenance guide providing terminal, characterized in that configured to include a power supply.
또한, 본 발명은 단말기에 정비 작업 스케쥴 정보를 입력받는 단계와, 촬영모듈을 통해 정비하고자 하는 구조물을 촬영하여 실사영상을 획득하는 단계와, 상기 획득한 실사영상을 이미지처리하여 메모리에 저장된 구조물의 도면과 비교하여 실사영상에 매칭되는 구조물의 도면을 파악하는 단계와, 상기 파악된 도면에 따른 정비 가이드 정보를 메모리에서 추출하는 단계와, 상기 추출된 정비 가이드 정보가 실사영상과 중첩되어 디스플레이 될 수 있도록 맵핑된 가이드 화상 정보를 생성하는 단계 및 상기 생성된 가이드 화상 정보를 디스플레이하는 단계를 포함하여 구성되는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 방법을 제공한다.In addition, the present invention is the step of receiving the maintenance work schedule information input to the terminal, the step of acquiring the actual image by photographing the structure to be maintained by the photographing module, and the image processing of the obtained actual image to the structure of the structure stored in the memory Comparing the drawing with a drawing of the structure matching the live-action image, extracting the maintenance guide information according to the identified drawing from the memory, and the extracted maintenance guide information can be displayed superimposed with the live-action image It provides a method for providing a guide structure maintenance based on augmented reality, characterized in that it comprises a step of generating the mapped guide image information and displaying the generated guide image information.
본 발명에 따른 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법은, 정비 대상 구조물에 대한 정비 가이드가 증강현실을 기반으로 순차적으로 제공되어 복잡한 구조물의 정비일지라도 초보자가 가이드의 지시에 따라 쉽게 정비가 가능하며, 상대적으로 데이터 크기가 작은 도면정보에 근거하여 실사영상에 매칭하는 구조물의 위치를 파악함에 따라 단말기에 구비되는 메모리 용량의 부담이 상대적으로 적다. Terminal for providing a maintenance guide based on augmented reality according to the present invention and a method for providing a maintenance guide using the same, the maintenance guide for the maintenance target structure is provided sequentially based on augmented reality, even if the maintenance of a complex structure according to the instructions of the guide It can be easily maintained, and the burden of the memory capacity provided in the terminal is relatively small as the position of the structure matching the actual image is determined based on the drawing information having a relatively small data size.
또한, 무선인터넷 통신이 되지 않는 음영지역에서도 정비사가 원하는 영역에 대한 정비가이드 정보를 증강현실 기반으로 언제든지 제공받을 수 있게 된다.In addition, even in a shaded area where wireless Internet communication is not available, the maintenance guide information for the desired area can be provided at any time based on augmented reality.
도 1은 본 발명의 일실시예에 따른 정비 가이드 제공 단말기의 내부 구성도를 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 가이드 화상 정보가 디스플레이된 정비 가이드 제공 단말기 화면의 예.
도 3은 본 발명의 일실시예에 따른 정비 가이드 제공 방법을 나타낸 순서도.
도 4 내지 도 7은 본 발명의 일실시예에 따른 정비 가이드 제공 단말기에서 디스플레이 된 증강현실 기반 정비 가이드 제공 화면의 예.1 is a view showing the internal configuration of a maintenance guide providing terminal according to an embodiment of the present invention.
2 is an example of a maintenance guide providing terminal screen on which guide image information is displayed according to an embodiment of the present invention.
Figure 3 is a flow chart illustrating a maintenance guide providing method according to an embodiment of the present invention.
4 to 7 are examples of augmented reality-based maintenance guide display screen displayed in the maintenance guide providing terminal according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명의 정비 가이드 제공 단말기의 설명에 앞서, 본 발명이 적용되는 정비 시스템을 관리하는 정비 가이드 관리 서버에 대해서 설명하고자 한다. 현재 인터넷 기술과 네트워크 기술의 발달로 인해, 대부분의 기업들은 구조물에 배치된 각 프로세스 컴퓨터들로부터 설비의 가동 정보, 하부 제어 시스템의 가동 정보와 현장 데이터를 온라인으로 수집하여 저장, 관리함으로써, 기업의 생산성 향상에 큰 도움이 되고 있다. 정비 가이드 관리 서버는 이러한 구조물의 각 프로세스 컴퓨터들로부터, 정비가 필요한 구조물 및 설비에 대한 정보를 실시간으로 수집하고, 이에 적합한 정비사들을 배치하여 정비사별 정비 작업 스케쥴 정보를 제공한다.First, prior to the description of the maintenance guide providing terminal of the present invention, a maintenance guide management server for managing the maintenance system to which the present invention is applied will be described. With the development of internet and network technology, most companies collect, store and manage the operation information of equipment, operation information of sub-control system and field data online from each process computer in the structure. It is a great help to improve productivity. The maintenance guide management server collects, in real time, information on structures and facilities that require maintenance from each process computer of such a structure, and arranges the appropriate mechanics to provide maintenance work schedule information for each mechanic.
이에 따라, 정비사들은 정비시작 전 자신이 보유한 정비 가이드 제공 단말기를 정비 가이드 관리서버와 유/무선 네트워크를 통해 연결하여, 정비 작업 스케쥴 정보를 전송받아 메모리에 저장하며, 정비 작업 스케쥴 정보에 따라 정비 작업에 필요한 구조물의 고유정보와 위치정보, 구조물의 도면, 각 도면에 대한 순차적인 정비 가이드 정보, 부품정보를 업데이트 받을 수 있다.
Accordingly, the mechanics connect the maintenance guide providing terminal owned by the maintenance guide management server and the wired / wireless network before the start of maintenance, and receive the maintenance work schedule information and store it in the memory and perform the maintenance work according to the maintenance work schedule information. Unique information and location information of the structure, the drawings of the structure, sequential maintenance guide information for each drawing, parts information can be updated.
도 1은 본 발명의 일실시예에 따른 정비 가이드 제공 단말기의 내부 구성도를 나타낸 도면이며, 도 2는 본 발명의 일실시예에 따른 가이드 화상 정보가 디스플레이된 정비 가이드 제공 단말기 화면의 예이다.1 is a view showing the internal configuration of the maintenance guide providing terminal according to an embodiment of the present invention, Figure 2 is an example of the maintenance guide providing terminal screen is displayed with the guide image information according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 정비 가이드 제공 단말기(100)는 카메라(132) 및 자이로센서(134)를 구비하여 정비하고자 하는 구조물을 촬영하는 촬영모듈(130), 구조물의 도면 및 각 도면에 해당하는 정비 가이드 정보를 데이터로 저장하고 있는 메모리(150), 정비 가이드 관리 서버와 네트워크로 연결되어 유/무선통신을 수행하는 통신모듈(140), 다수개의 선택키를 구비한 키입력부(110), 상기 촬영모듈(130)을 통해 촬영된 실사영상을 이미지처리하여 실사영사에 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 따른 정비 가이드 정보를 메모리(150)에서 추출하여, 상기 실사영상에 추출된 정비 가이드 정보가 중첩되어 디스플레이 될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성하는 제어모듈(170), 제어모듈을 통해 생성된 가이드 화상 정보를 디스플레이하는 표시부(120) 및 정비 가이드 제공 단말기의 동작 전원을 공급하기 위한 전원부(160)를 포함하여 구성된다.
As shown in FIG. 1, the maintenance guide providing terminal 100 according to the present invention includes a
키입력부(110)는 다수의 선택키를 구비하여 사용자의 키입력에 의해 입력되는 입력신호를 제어모듈(170)에 전달하는 수단으로서, 구조물을 촬영하기 위한 촬영버튼, 가이드 화상 정보를 제어하기 위한 메뉴키 및 정비 가이드 제공 단말기의 전원구동을 위한 전원버튼 등을 구비하고 있다.The
촬영모듈(130)은 실사영상을 촬영하기 위한 카메라(132) 및 자세를 측정하기 위한 자이로센서(134)를 포함하여 구성된다. 촬영모듈(130)은 카메라(132)를 이용하여 촬영된 실사영상과 함께 자이로센서(134)를 통한 자세 정보를 제어모듈(170)로 전송함에 따라 더욱 정확하게 실사영상에 따른 구조물의 도면을 파악할 수 있도록 제공 한다. 자이로센서의 자세 정보 등의 센싱기술은 이미 당해 기술분야에서 널리 알려진 공지기술로서 이에 대한 상세한 설명은 생략하기로 한다.The photographing module 130 includes a
통신모듈(140)은 유/무선 네트워크와 통신을 담당하는 통신 인터페이스로서, 정비 가이드 관리 서버로부터 각종 데이터를 송수신하는 기능부이다. 단말기는 정비 가이드 관리 서버와 전용의 네트워크를 통해 연결되거나 또는 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.The
메모리(150)는 구조물의 고유정보와 위치정보, 구조물의 도면, 각 도면에 따른 순차적인 정비 가이드 정보, 부품객체정보 및 정비 작업 스케쥴 정보를 데이터로 저장하고 있다. 메모리(150)는 하드디스크(Hard Disk), 플래시메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동시 메모리로서 장치의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다.The
제어모듈(170)은 상기 각 구성의 동작을 제어하며, 상기 촬영모듈(130)을 통해 촬영된 실사영상을 이미지처리하여 실사영사에 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 따른 정비 가이드 정보를 메모리(150)에서 추출하여, 실사영상에 추출된 정비 가이드 정보가 중첩되어 디스플레이 될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성하여, 정비사가 원하는 설비에 대한 증강현실 기반의 정비 가이드 정보를 제공한다.The control module 170 controls the operation of each of the components, grasping the drawings of the structure matched to the real-time projection by processing the actual image photographed by the photographing module 130, maintenance guide according to the figure Augmented reality-based maintenance guide information for a facility desired by a mechanic by extracting information from the
이를 위해, 제어모듈(170)은 촬영모듈(130)을 통해 촬영된 실사영상을 이미지처리하는 영상처리부(172)와, 영상처리부를 통해 이미지처리된 영상과 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 따른 정비 가이드 정보를 추출하는 영상분석부(174) 및 영상분석부를 통해 추출된 정비 가이드 정보가 실사영상에 중첩되어 디스플레이될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성하는 영상합성부(176)를 포함하여 구성된다.To this end, the control module 170 grasps the drawing of the structure matching the image processed by the image processing unit 172 and the image processing image captured by the image capture module 130, and grasping the figure The image analyzing unit 174 extracts the maintenance guide information according to the drawings, and the image synthesis unit generating the mapped guide image information so that the maintenance guide information extracted through the image analyzing unit is superimposed on the real image. And 176.
영상처리부(172)는 촬영된 실사영상이 정비대상 구조물의 어떤 도면에 매칭되는지 비교 판단하기 위하여, 실사영상을 이미지처리하여 흑백의 라인신호로 된 이미지를 획득한다. 이를 위해, 영상처리부(172)는 촬영모듈(130)을 통해 촬영된 실사영상에 이미지 에지(image edge)처리 및 세선화처리를 수행하여 흑백의 라인신호로 된 이미지를 획득한다.The image processor 172 acquires an image of a black and white line signal by performing image processing on the actual image to determine whether the photographed real image is matched to which drawing of the structure to be repaired. To this end, the image processor 172 performs image edge processing and thinning processing on the live image captured by the imaging module 130 to obtain an image of a black and white line signal.
영상분석부(174)는 영상처리부(172)를 통해 실사영상을 이미지처리하여 획득한 이미지를 메모리에 저장된 구조물의 도면과 매칭시켜, 정비대상 구조물의 어떤 도면에 해당하는지를 파악한다. 이때, 영상분석부(174)는 이미지처리된 영상을 메모리(150)에 저장되어 있는 전체 구조물의 도면과 모두 비교하여 판단하는 대신, 메모리(150)에 저장되어 있는 정비 작업 스케쥴 정보에 따라 정비사가 정비하고자 하는 구조물에 대한 도면만을 추출하여 이미지처리된 영상과 비교한다. 이렇게 사전 추출작업을 거침으로써, 비교판단에 소요되는 시간을 절약할 수 있음은 물론, 전체 구조물 상에 존재하는 유사 구조물과의 혼동으로 인한 오류 발생을 효과적으로 방지할 수 있다. 또한, 영상분석부는 파악된 도면에 따른 구조물의 정비 가이드 정보를 메모리로부터 추출한다. The image analyzer 174 matches the image obtained by processing the real image through the image processor 172 with the drawing of the structure stored in the memory to determine which drawing of the structure to be repaired. In this case, the image analyzer 174 compares the image processed image with all the drawings of the entire structure stored in the
영상합성부(176)는, 영상분석부(174)를 통해 추출한 정비 가이드 정보가 앞서 촬영모듈(130)을 통해 촬영된 실사영상에 중첩되어 디스플레이될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성한다. 이러한 가이드 화상 정보는, 도 2에 도시된 바와 같이, 실사영상(210)에 정비순서를 안내하기 위한 그래픽 객체(220)가 정합되어 표시되며, 순차적 정비순서에 따른 안내(230)가 함께 디스플레이된다. 또한, 사용자가 디스플레이된 구조물의 부품객체를 선택하였을 경우, 그에 대한 세부설명(240)을 함께 디스플레이 할 수도 있다. 이를 위해, 본 발명의 표시부는 화면에 보이는 대상물을 직접 선택하여 지정할 수 있도록 터치스크린으로 구성되는 것이 바람직하다.
The image synthesizing unit 176 generates mapped guide image information so that the maintenance guide information extracted through the image analyzing unit 174 may be superimposed on the photorealistic image photographed by the photographing module 130 and displayed. do. As shown in FIG. 2, the guide image information is displayed by matching
도 3은 본 발명의 일실시예에 따른 증강현실 기반의 구조물 정비 가이드 제공 방법을 나타낸 순서도이며, 도 4 내지 도 7은 본 발명의 일실시예에 따른 정비 가이드 제공 단말기에서 디스플레이 된 증강현실 기반의 정비 가이드 제공 화면의 예를 나타낸 도면이다.3 is a flowchart illustrating a method for providing a maintenance guide based on augmented reality according to an embodiment of the present invention, and FIGS. 4 to 7 illustrate augmented reality based display displayed on a maintenance guide providing terminal according to an embodiment of the present invention. It is a figure which shows the example of the maintenance guide provision screen.
먼저, 본 발명에 따른 증강현실 기반의 정비 가이드 제공 단말기는 정비 작업 스케쥴 정보를 입력받는다(S312). 이러한, 정비 작업 스케쥴 정보는 정비대상 구조물 및 정비상세내용을 포함하며, 키입력부를 통해 정비사로부터 정비 작업 스케쥴 정보를 직접 입력받을 수도 있고, 통신모듈을 통해 정비 가이드 관리 서버와 유/무선 네트워크로 연결되어 정비 작업 스케쥴 정보를 전송받을 수도 있다.First, the augmented reality-based maintenance guide providing terminal according to the present invention receives the maintenance work schedule information (S312). The maintenance work schedule information includes a maintenance target structure and maintenance details, and may directly receive maintenance work schedule information from a mechanic through a key input unit, or connect to a maintenance guide management server and a wired / wireless network through a communication module. It can also receive maintenance work schedule information.
이때, 정비 가이드 제공 단말기에 구비된 메모리에는 각 구조물에 대한 구조물의 고유정보와 위치정보, 구조물의 도면, 각 도면에 대한 순차적인 정비 가이드 정보, 부품객체정보가 기 저장되어 있으며, 상기 각 정보들에 대한 변동이 있을 경우, 필요에 따라서 통신모듈을 통해 정비 가이드 관리 서버와 유/무선 네트워크로 연결되어 업데이트를 수행할 수도 있다.In this case, the memory provided in the maintenance guide providing terminal stores the unique information and location information of each structure, the drawings of the structure, the sequential maintenance guide information for each drawing, and the part object information. If there is a change in, the update can be performed by connecting to the maintenance guide management server and the wired / wireless network through the communication module as necessary.
이어서, 제어모듈은 도 4에 도시된 바와 같이 표시부를 통해 정비사로부터 현재 정비하고자 하는 정비 대상 스케쥴 정보를 선택받는다(S314). 더불어, 제어모듈은 정비사가 정비하고자 하는 구조물의 위치안내를 요청할 경우, 해당 구조물에 대한 구조물의 고유정보와, 위치정보를 메모리에서 추출하여 도 5에 도시된 바와 같이 표시부를 통해 디스플레이한다.Subsequently, the control module receives the maintenance target schedule information to be currently maintained from the mechanic through the display unit as shown in FIG. 4 (S314). In addition, when the control module requests the location guide of the structure to be maintained by the mechanic, the control module extracts the unique information of the structure and the location information from the memory and displays the same through the display unit as shown in FIG. 5.
다음으로, 제어모듈은 정비사가 촬영모듈을 통해 원하는 정비대상을 촬영한 실사영상을 전송받아(S316), 실사영상에서 흑백의 라인신호로 된 이미지를 획득하기 위한 이미지처리를 수행한다(S318). 본 발명의 실시예에서는 실사영상을 이미지 에지(image edge)처리 및 세선화처리를 수행하여 선명한 흑백의 라인신호로 된 이미지를 획득한다.Next, the control module receives a live image photographing a desired maintenance target through a photographing module (S316), and performs image processing to obtain an image of a black and white line signal from the live image (S318). In an exemplary embodiment of the present invention, an image of a clear black and white line signal is obtained by performing image edge processing and thinning processing on the real image.
이어서, 제어모듈은 이미지처리된 영상을 해당 구조물의 도면과 매칭시켜 정비대상 구조물의 어떤 도면에 해당하는지를 파악한다(S320). 이때, 이미지처리된 영상과 구조물의 도면을 매칭시켜 비교함에 있어서는, 전술한 바와 같이, 이미지처리된 영상을 메모리에 저장되어 있는 전체 구조물의 도면 모두와 비교판단할 필요는 없으며, 해당 정비사에 의해 선택된 정비 작업 스케쥴 정보에 따라 정비사가 정비하고자 하는 구조물에 대한 도면만을 추출하여 이미지처리된 영상과 매칭시켜 비교한다. Subsequently, the control module matches an image processed image with a drawing of the corresponding structure to determine which drawing of the maintenance target structure corresponds to the drawing (S320). At this time, in matching and comparing the image processed image and the drawings of the structure, as described above, it is not necessary to compare the image processed image with all the drawings of the entire structure stored in the memory, selected by the mechanic Based on the maintenance work schedule information, only the drawings of the structure to be maintained by the mechanic are extracted and matched with the image processed images.
이미지처리된 영상과 매칭되는 도면에 대한 파악이 완료되면, 제어모듈은 해당 도면에 따른 정비 가이드 정보를 메모리에서 추출하며(S322), 추출한 정비 가이드 정보가 앞서 촬영된 실사영상에 중첩되어 디스플레이될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성한다(S324). When the grasp of the drawing matching the image processed image is completed, the control module extracts the maintenance guide information according to the corresponding drawing (S322), and the extracted maintenance guide information may be displayed by being superimposed on the photorealistic image previously photographed. The mapped guide image information is generated so as to be mapped (S324).
이러한 가이드 화상 정보가 생성되면 제어모듈은 표시부를 통해 가이드 화상 정보를 디스플레이한다(S326). 가이드 화상 정보는 도 6에 도시된 바와 같이, 실사영상에 정비순서를 안내하기 위한 그래픽 객체가 정합되어 표시되며, 순차적 정비순서에 따른 안내가 함께 디스플레이된다. 이때, 정비사는 디스플레이된 화면에 표시된 메뉴 선택을 통해, 정비순서를 페이지 선택에 따라 순차적으로 디스플레이할 수도 있으며, 정비순서를 시뮬레이션 영상처럼 일괄적으로 디스플레이할 수도 있다.When such guide image information is generated, the control module displays the guide image information through the display unit (S326). As illustrated in FIG. 6, the guide image information is displayed by matching graphic objects for guiding the maintenance procedure on the live-action image, and the guidance according to the sequential maintenance procedure is displayed together. In this case, the mechanic may display the maintenance sequence sequentially according to the page selection through menu selection displayed on the displayed screen, or may collectively display the maintenance sequence like a simulation image.
또한, 제어모듈은 정비사가 디스플레이된 부품객체를 선택하고, 상세보기를 요청하였을 경우, 도 7에 도시된 바와 같이 선택된 정비부품의 품번, 수명주기, 최근교체내역, 이상내역 등을 포함하는 세부설명을 함께 디스플레이 할 수도 있다.
In addition, the control module, when the mechanic selects the displayed component object, and requesting a detailed view, as shown in Figure 7, a detailed description including the part number, life cycle, recent replacement details, abnormal details, etc. of the selected maintenance parts Can also be displayed together.
이에 따라, 정비 대상 구조물에 대한 정비 가이드 정보가 증강현실을 기반으로 순차적으로 제공되어 복잡한 구조물의 정비일지라도 초보자가 가이드의 지시에 따라 쉽게 정비가 가능하며, 무선인터넷 통신이 되지 않는 음영지역에서도 정비사가 원하는 구조물에 대한 정비가이드 정보를 증강현실 기반으로 언제든지 제공받을 수 있게 된다.
As a result, maintenance guide information on the structure to be repaired is provided sequentially based on augmented reality, so even a complex structure can be easily maintained by a beginner according to the guide's instructions. Maintenance guide information for the desired structure can be provided at any time based on augmented reality.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
110 : 키입력부 120 : 표시부
130 : 촬영모듈 132 : 카메라
134 : 자이로센서 140 : 통신모듈
150 : 메모리 160 : 전원부
170 : 제어모듈 172 : 영상처리부
174 : 영상분석부 176 : 영상합성부
210 : 실사영상 220 : 그래픽 객체
230 : 정비 안내 240 : 부품객체 세부설명110: key input unit 120: display unit
130: recording module 132: camera
134: gyro sensor 140: communication module
150: memory 160: power supply
170: control module 172: image processing unit
174: image analysis unit 176: image synthesis unit
210: Live image 220: Graphic object
230: Maintenance instructions 240: Details of the parts object
Claims (10)
카메라 및 자이로센서를 구비하여 정비하고자 하는 구조물을 촬영하는 촬영모듈;
다수의 선택키가 구비된 키입력부;
정비 작업 스케쥴 정보, 구조물 별 도면 및 도면에 따른 각각의 정비 가이드 정보가 저장되는 메모리;
정비 가이드 관리 서버와 네트워크로 연결되어 유선 또는 무선 통신을 수행하는 통신모듈;
상기 촬영모듈을 통해 촬영된 실사영상을 이미지처리하여 실사영상에 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 따른 구조물의 정비 가이드 정보를 추출하여, 상기 실사영상에 추출된 정비 가이드 정보가 중첩되어 디스플레이 될 수 있도록 맵핑(mapping)된 가이드 화상 정보를 생성하는 제어모듈;
상기 제어모듈을 통해 생성된 가이드 화상 정보를 디스플레이하는 표시부; 및
단말기의 동작 전원을 공급하기 위한 전원부;
를 포함하여 구성되되,
상기 제어모듈은,
상기 촬영모듈을 통해 촬영된 실사영상을 이미지처리하여 흑백의 라인신호로 이루어진 이미지로 변환하는 영상처리부;
상기 영상처리부를 통해 변환된 실사 영상을 메모리에 저장된 구조물의 도면 중, 상기 정비 작업 스케쥴 정보에 따라 정비의 대상이 되는 구조물에 대한 도면만을 추출하여 비교함으로써 실사영상에 매칭되는 구조물의 도면을 파악하고, 파악된 도면에 해당하는 정비 가이드 정보를 추출하는 영상분석부; 및
상기 실사영상에 추출된 정비 가이드 정보가 중첩되어 디스플레이 될 수 있도록 맵핑(mapping)된 가이드화상정보를 생성하는 영상합성부;
를 포함하여 구성되어,
촬영된 실사 영상과 그에 해당하는 정비 가이드 정보를 정합하여 증강현실 기반으로 디스플레이하여 제공하는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 단말기.
In the portable terminal providing a structure maintenance guide at the site where the structure to be repaired is located,
A photographing module including a camera and a gyro sensor to photograph a structure to be maintained;
A key input unit provided with a plurality of selection keys;
A memory for storing maintenance work schedule information, respective maintenance guide information according to drawings and drawings for each structure;
Maintenance guide A communication module connected to a network with a management server to perform wired or wireless communication;
Image processing the actual image photographed by the photographing module to grasp the drawings of the structure matching the actual image, extract the maintenance guide information of the structure according to the identified drawing, the maintenance guide information extracted in the actual image is superimposed A control module for generating guide image information mapped to be displayed and mapped;
A display unit which displays the guide image information generated by the control module; And
A power supply unit for supplying operation power of the terminal;
, ≪ / RTI >
The control module includes:
An image processor converting the photo-realistic image photographed by the photographing module into an image composed of black and white line signals;
From the drawings of the actual image converted by the image processing unit stored in the memory, the drawings of the structure matching the actual image by grasping the drawings of the structure that is subject to the maintenance according to the maintenance work schedule information to compare and grasp An image analyzer extracting maintenance guide information corresponding to the identified drawing; And
An image synthesizer configured to generate mapped guide image information such that maintenance guide information extracted in the live image is superimposed and displayed;
Consists of including,
Augmented reality-based structure maintenance guide providing terminal, characterized in that to match the photographed real-life image and the corresponding maintenance guide information to provide a display based on augmented reality.
상기 영상처리부에서 수행하는 실사영상의 이미지처리는,
이미지 에지(image edge)처리 및 세선화처리가 포함되는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 단말기.
The method of claim 1,
Image processing of the photorealistic image performed by the image processing unit,
Augmented reality-based structure maintenance guide providing terminal comprising an image edge processing and thinning processing.
상기 메모리에는,
구조물의 고유정보, 구조물의 도면, 각 도면에 대한 정비 가이드 정보, 부품객체정보, 정비 작업 스케쥴 정보가 포함되어 저장되는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 단말기.
The method of claim 1,
In the memory,
Augmented reality-based structure maintenance guide providing terminal, characterized in that the structure is stored, including the unique information of the structure, drawings of the structure, maintenance guide information, parts object information, maintenance work schedule information for each drawing.
상기 표시부는,
터치스크린으로 구성되는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 단말기.
The method of claim 1,
The display unit includes:
Augmented reality-based structure maintenance guide providing terminal, characterized in that consisting of a touch screen.
단말기에 정비 작업 스케쥴 정보를 입력받는 단계와;
촬영모듈을 통해 정비하고자 하는 구조물을 촬영하여 실사영상을 획득하는 단계와;
상기 획득한 실사영상을 이미지처리하여 흑백의 라인신호로 이루어진 이미지로 변환하는 단계;
상기 변환된 실사 영상을 메모리에 저장된 구조물의 도면 중, 상기 정비 작업 스케쥴 정보에 따라 정비 대상이 되는 구조물에 대한 도면만을 추출하여 비교하여 실사 영상에 매칭되는 구조물의 도면을 파악하는 단계;
상기 파악된 도면에 해당하는 정비 가이드 정보를 메모리에서 추출하는 단계;
상기 추출된 정비 가이드 정보가 실사영상과 중첩되어 디스플레이될 수 있도록 맵핑된 가이드 화상 정보를 생성하는 단계; 및
상기 생성된 가이드 화상 정보를 디스플레이하는 단계;
를 포함하여 구성되어,
촬영된 실사 영상과 그에 해당하는 정비 가이드 정보를 정합하여 증강현실 기반으로 디스플레이하여 제공하는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 방법.
In the method for providing a maintenance guide based on augmented reality through a maintenance guide providing terminal comprising a photographing module, a key input unit, a memory, a display unit and a control module,
Receiving maintenance schedule information on the terminal;
Photographing a structure to be maintained through a photographing module to obtain a live-action image;
Converting the obtained photoreal image into an image formed of a black and white line signal;
Identifying a drawing of a structure matching the live image by extracting and comparing only the drawings of the structure to be maintained according to the maintenance work schedule information among the drawings of the converted live image in the memory;
Extracting maintenance guide information corresponding to the identified figure from a memory;
Generating mapped guide image information such that the extracted maintenance guide information is superimposed with the actual image; And
Displaying the generated guide image information;
Consists of including,
Method for providing augmented reality-based structure maintenance guide, characterized in that to match the photographed real-life image and the corresponding maintenance guide information to display based on augmented reality.
상기 정비 작업 스케쥴 정보를 입력받는 단계에서는,
유선 또는 무선 네트워크를 통해 연결된 정비 가이드 관리 서버로부터 정비 작업 스케쥴 정보를 전송받는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 방법.
The method according to claim 6,
In the step of receiving the maintenance work schedule information,
Method for providing augmented reality-based structure maintenance guide characterized in that for receiving the maintenance work schedule information from the maintenance guide management server connected via a wired or wireless network.
상기 획득한 실사영상을 이미지처리하여 흑백의 라인신호로 이루어진 이미지로 변환하는 단계에서는,
상기 실사영상에 이미지 에지(image edge)처리 및 세선화처리를 수행하여 흑백의 라인신호로 된 이미지로 변경하는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 방법.
The method according to claim 6,
In the step of converting the obtained live image to an image consisting of a black and white line signal,
And performing image edge processing and thinning processing on the actual image to change the image into a black and white line signal.
상기 생성된 가이드 화상 정보를 디스플레이하는 단계에서는,
디스플레이된 구조물의 부품객체에 대한 세부 설명을 함께 디스플레이 하는 것을 특징으로 하는 증강현실 기반의 구조물 정비 가이드 제공 방법.The method according to claim 6,
In the displaying of the generated guide image information,
Method for providing augmented reality-based structure maintenance guide, characterized in that for displaying the detailed description of the object part of the displayed structure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120007816A KR101195446B1 (en) | 2012-01-26 | 2012-01-26 | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120007816A KR101195446B1 (en) | 2012-01-26 | 2012-01-26 | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101195446B1 true KR101195446B1 (en) | 2012-12-24 |
Family
ID=47906639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120007816A KR101195446B1 (en) | 2012-01-26 | 2012-01-26 | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101195446B1 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101354688B1 (en) * | 2013-07-05 | 2014-01-27 | 한국건설기술연구원 | System and method for supervision of construction site |
| KR20160000346A (en) * | 2014-06-24 | 2016-01-04 | 테크빌닷컴 주식회사 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
| WO2017100654A1 (en) * | 2015-12-11 | 2017-06-15 | Daqri, Llc | System and method for tool mapping |
| KR101822883B1 (en) * | 2017-09-08 | 2018-01-29 | 스케치온 주식회사 | Printing guide method for skin printer |
| KR101814962B1 (en) * | 2017-09-27 | 2018-01-30 | 한국전력공사 | Management device and management method for power substation |
| KR20190056935A (en) * | 2017-11-17 | 2019-05-27 | 주식회사 코이노 | Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same |
| KR20190071514A (en) * | 2017-12-14 | 2019-06-24 | 주식회사 엔터리얼 | Providing system for a virtual manual of electronic device based on the agmented reality and method therefor |
| KR20190109350A (en) | 2019-09-16 | 2019-09-25 | 주식회사 테크인모션 | Vr education system |
| KR102088012B1 (en) * | 2019-03-14 | 2020-03-11 | 이병호 | System and method for maintaining based on augmented reality using wearable oscilloscope |
| KR102088011B1 (en) * | 2019-03-14 | 2020-03-11 | 이병호 | Apparatus and method for maintaining based on augmented reality using 3d object recognition algorithm |
| WO2020130267A1 (en) * | 2018-12-19 | 2020-06-25 | 삼성전자 주식회사 | Electronic device used for provision and maintenance of other electronic device, and control method therefor |
| KR20210021639A (en) * | 2019-08-19 | 2021-03-02 | 퓨처메인 주식회사 | System and Method for Augmented Reality-Based Predictive Maintenance in Facilities |
| KR20210057432A (en) * | 2019-11-12 | 2021-05-21 | 한국전자기술연구원 | Head Mount Display and the Control Method thereof |
| KR20220114691A (en) | 2021-02-09 | 2022-08-17 | 주식회사 큐에스 | The method and the system of displaying the object information using machine learning and augmented reality(AR) technology |
| CN115037886A (en) * | 2022-05-11 | 2022-09-09 | 张峻 | A split augmented reality visual observation device |
| KR20230149594A (en) | 2022-04-20 | 2023-10-27 | 주식회사 큐에스 | Method for display augmented reality image |
| KR102681822B1 (en) | 2023-03-23 | 2024-07-04 | 주식회사 큐에스 | Method for display augmented reality image considering the position change |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100978373B1 (en) * | 2010-01-12 | 2010-08-26 | 파워테크주식회사 | Control system for facility by using a/v record device |
-
2012
- 2012-01-26 KR KR1020120007816A patent/KR101195446B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100978373B1 (en) * | 2010-01-12 | 2010-08-26 | 파워테크주식회사 | Control system for facility by using a/v record device |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101354688B1 (en) * | 2013-07-05 | 2014-01-27 | 한국건설기술연구원 | System and method for supervision of construction site |
| KR20160000346A (en) * | 2014-06-24 | 2016-01-04 | 테크빌닷컴 주식회사 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
| KR101645241B1 (en) * | 2014-06-24 | 2016-08-12 | 테크빌교육 주식회사 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
| US9824437B2 (en) | 2015-12-11 | 2017-11-21 | Daqri, Llc | System and method for tool mapping |
| US10217209B2 (en) | 2015-12-11 | 2019-02-26 | Daqri, Llc | System and method for tool mapping |
| WO2017100654A1 (en) * | 2015-12-11 | 2017-06-15 | Daqri, Llc | System and method for tool mapping |
| US10679337B2 (en) | 2015-12-11 | 2020-06-09 | Daqri, Llc | System and method for tool mapping |
| KR101822883B1 (en) * | 2017-09-08 | 2018-01-29 | 스케치온 주식회사 | Printing guide method for skin printer |
| KR101814962B1 (en) * | 2017-09-27 | 2018-01-30 | 한국전력공사 | Management device and management method for power substation |
| KR20190056935A (en) * | 2017-11-17 | 2019-05-27 | 주식회사 코이노 | Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same |
| KR102031670B1 (en) * | 2017-11-17 | 2019-10-14 | 주식회사 코이노 | Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same |
| KR20190071514A (en) * | 2017-12-14 | 2019-06-24 | 주식회사 엔터리얼 | Providing system for a virtual manual of electronic device based on the agmented reality and method therefor |
| KR102092290B1 (en) * | 2017-12-14 | 2020-03-23 | 주식회사 엔터리얼 | Providing system for a virtual manual of electronic device based on the agmented reality and method therefor |
| WO2020130267A1 (en) * | 2018-12-19 | 2020-06-25 | 삼성전자 주식회사 | Electronic device used for provision and maintenance of other electronic device, and control method therefor |
| KR102721817B1 (en) * | 2018-12-19 | 2024-10-25 | 삼성전자주식회사 | Electronic device used in installation and maintenance of another electronic device and method of controlling the same |
| KR20200076326A (en) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | Electronic device used in installation and maintenance of another electronic device and method of controlling the same |
| KR102088012B1 (en) * | 2019-03-14 | 2020-03-11 | 이병호 | System and method for maintaining based on augmented reality using wearable oscilloscope |
| KR102088011B1 (en) * | 2019-03-14 | 2020-03-11 | 이병호 | Apparatus and method for maintaining based on augmented reality using 3d object recognition algorithm |
| KR20210021639A (en) * | 2019-08-19 | 2021-03-02 | 퓨처메인 주식회사 | System and Method for Augmented Reality-Based Predictive Maintenance in Facilities |
| KR102350702B1 (en) * | 2019-08-19 | 2022-01-13 | 퓨처메인 주식회사 | System and Method for Augmented Reality-Based Predictive Maintenance in Facilities |
| KR20190109350A (en) | 2019-09-16 | 2019-09-25 | 주식회사 테크인모션 | Vr education system |
| KR20210057432A (en) * | 2019-11-12 | 2021-05-21 | 한국전자기술연구원 | Head Mount Display and the Control Method thereof |
| KR102398584B1 (en) * | 2019-11-12 | 2022-05-17 | 한국전자기술연구원 | Head Mount Display and the Control Method thereof |
| KR20220114691A (en) | 2021-02-09 | 2022-08-17 | 주식회사 큐에스 | The method and the system of displaying the object information using machine learning and augmented reality(AR) technology |
| KR20230149594A (en) | 2022-04-20 | 2023-10-27 | 주식회사 큐에스 | Method for display augmented reality image |
| CN115037886A (en) * | 2022-05-11 | 2022-09-09 | 张峻 | A split augmented reality visual observation device |
| KR102681822B1 (en) | 2023-03-23 | 2024-07-04 | 주식회사 큐에스 | Method for display augmented reality image considering the position change |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101195446B1 (en) | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same | |
| US9251582B2 (en) | Methods and systems for enhanced automated visual inspection of a physical asset | |
| CN109919331A (en) | An auxiliary system and method for intelligent maintenance of airborne equipment | |
| US10347000B2 (en) | Entity visualization method | |
| JP6780767B2 (en) | Inspection support device, inspection support method and program | |
| CN108388649B (en) | Method, system, device and storage medium for processing audio and video | |
| KR20120076175A (en) | 3d street view system using identification information | |
| US20220005284A1 (en) | Method for automatically capturing data from non-networked production equipment | |
| Chalhoub et al. | Leveraging site survey points for mixed reality BIM visualization | |
| CN107316131A (en) | A kind of electric power meter mounting process quality detecting system based on image recognition | |
| JP2020115284A (en) | Data creation system and data creation method | |
| CN114239774A (en) | A method, device and computer equipment for synchronizing account of substation equipment and real scene | |
| JP2020086980A (en) | Facility inspection supporting terminal, facility inspection supporting system, and program | |
| CN110779460B (en) | Offline guidance device, measurement control device, and storage medium | |
| TWI468849B (en) | Building texture extracting apparatus and method thereof | |
| JP2006309405A (en) | Meter recognition system, meter recognition method, and meter recognition program | |
| CN203276340U (en) | Handheld device for automatic counting of bars | |
| CN111722544A (en) | Artificial intelligence measurement non-inductive design operation system and operation method thereof | |
| CN109741422B (en) | Intelligent wiring auxiliary method and intelligent wiring auxiliary system | |
| JP2013156909A (en) | Shape model generation device and pre-and-post work corresponding image determination system | |
| JP7111694B2 (en) | Inspection support device, inspection support method and program | |
| CN116134480A (en) | Image processing device, image processing method, and program | |
| CN103900713A (en) | Device and method for detecting thermal image | |
| WO2023074124A1 (en) | Building inside structure recognition system and building inside structure recognition method | |
| JP2019185349A (en) | Search device, search method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120126 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20120126 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120510 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120911 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20121023 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20121024 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20150806 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150806 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170322 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170322 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180104 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180104 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20181018 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181018 Start annual number: 7 End annual number: 7 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20200803 |