KR101360999B1 - 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 - Google Patents
증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 Download PDFInfo
- Publication number
- KR101360999B1 KR101360999B1 KR1020130094592A KR20130094592A KR101360999B1 KR 101360999 B1 KR101360999 B1 KR 101360999B1 KR 1020130094592 A KR1020130094592 A KR 1020130094592A KR 20130094592 A KR20130094592 A KR 20130094592A KR 101360999 B1 KR101360999 B1 KR 101360999B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- target object
- marker
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005259 measurement Methods 0.000 claims abstract description 51
- 238000002474 experimental method Methods 0.000 claims abstract description 30
- 239000003550 marker Substances 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012938 design process Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- NQEQTYPJSIEPHW-UHFFFAOYSA-N 1-C-(indol-3-yl)glycerol 3-phosphate Chemical compound C1=CC=C2C(C(O)C(COP(O)(O)=O)O)=CNC2=C1 NQEQTYPJSIEPHW-UHFFFAOYSA-N 0.000 description 1
- 108010063678 Indole-3-Glycerol-Phosphate Synthase Proteins 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Environmental & Geological Engineering (AREA)
- Emergency Management (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Environmental Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기에 관한 것으로, 보다 상세하게는 과학실험 등의 실험상황을 촬영한 영상에, 실험용 센서로부터 측정된 데이터를 증강현실로 오버래핑하여 실시간으로 제공할 수 있도록 한 것이다.
특히, 본 발명은 사용자의 스마트폰, 태블릿 등의 휴대단말기를 이용하여 실험상황의 촬영, 측정데이터가 오버래핑 된 증강현실 영상의 생성 및 측정데이터의 제공을 수행함으로써, 실험자의 이해도와 활용성을 크게 향상시킬 수 있다.
더불어, 본 발명은 원격의료진단, 방송, 건축설계, 제조공정관리 등의 분야에서도, 다양한 상황에 따른 데이터를 실시간으로 취합 및 제공할 수 있도록 함으로써, 해당 분야의 사용자가 각 상황에 대하여 가장 효율적인 방법으로 신속하게 대처할 수 있게 해줄 수 있는 효과가 있다.
따라서, 증강현실 분야, 특히 과학실험 분야는 물론, 원격의료진단, 방송, 건축설계, 제조공정관리 등의 다양한 분야에서도 에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
특히, 본 발명은 사용자의 스마트폰, 태블릿 등의 휴대단말기를 이용하여 실험상황의 촬영, 측정데이터가 오버래핑 된 증강현실 영상의 생성 및 측정데이터의 제공을 수행함으로써, 실험자의 이해도와 활용성을 크게 향상시킬 수 있다.
더불어, 본 발명은 원격의료진단, 방송, 건축설계, 제조공정관리 등의 분야에서도, 다양한 상황에 따른 데이터를 실시간으로 취합 및 제공할 수 있도록 함으로써, 해당 분야의 사용자가 각 상황에 대하여 가장 효율적인 방법으로 신속하게 대처할 수 있게 해줄 수 있는 효과가 있다.
따라서, 증강현실 분야, 특히 과학실험 분야는 물론, 원격의료진단, 방송, 건축설계, 제조공정관리 등의 다양한 분야에서도 에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
Description
본 발명은 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기에 관한 것으로서, 보다 상세하게는 과학실험 등의 실험상황을 촬영한 영상에, 실험용 센서로부터 측정된 데이터를 증강현실로 오버래핑하여 실시간으로 제공할 수 있도록 한 것이다.
특히, 본 발명은 사용자의 스마트폰 등의 휴대단말기를 이용하여 실험상황의 촬영, 측정데이터가 오버래핑 된 증강현실 영상의 생성 및 측정데이터의 제공을 수행함으로써, 실험자의 이해도와 활용성을 크게 향상시킬 수 있는 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기에 관한 것이다.
일반적으로, 증강현실은 사용자가 눈으로 보는 현실세계에 가상의 물체(이미지)를 겹치도록 보여주는 기술로서, 원격의료진단, 방송, 건축설계, 제조공정관리 등 다양한 분야에서 이용되고 있다.
이러한 증강현실분야는 주로 GPS/IGPS(Indoor GPS) 등의 위치감지 센서를 이용한 위치기반 증강현실과, QR코드나 바코드 등을 이용하는 영상인식기반 증강현실, 정해진 정보를 그대로 디스플레이하는 데이터기반 증강현실 등으로 구분할 수 있다.
다시 말해, 기존의 증강현실은 설정된 위치정보나 인식정보가 인식되거나 사용자에 의해 요청되면, 이에 대응하여 미리 정해진 정적정보를 오버래핑하는 방식으로 제공되고 있다. 여기서, 정적정보는 사용자에 의해 한번 결정되면 능동적으로 변경되지 못하는 정보(사용자가 변경해야만 변경되는 정보)를 말하며, 센서에 의해 입력되는 정보와 같이 실시간으로 변경되는 동적정보에 반대되는 의미로 사용될 수 있다.
따라서, 지금까지의 증강현실 분야는 단순히 사용자에 의해 만들어진 정적정보를 제공하는 정도에 그치고 있기 때문에, 과학분야의 실험실 등에서 센서에 의해 측정되어 실시간으로 변경되는 측정데이터 등을 보여주는 분야에는 적합하지 못하였다.
하기의 선행기술(대한민국 등록특허공보 제10-1195446호)에서도, 미리 저장된 도면과 이에 매칭된 정비가이드 정보(정적정보)를 증강현실 기반으로 제공하는 기술에 대해 나타나 있으나, 동적정보를 증강현실 기반으로 제공하는 기술에 대해서는 나타나 있지 않다.
결과적으로, 선행기술과 같이 정적정보를 제공하는 증강현실 분야는 정해진 상황에 대해서는 쉽게 대응할 수 있으나, 다양한 상황변화(특히, 예상하지 못한 문제가 발생하는 상황 등)에 대해서는 능동적으로 대응하지 못하는 결과를 초래할 수 있다.
한편, 종래의 과학실험은 센서에 의해 측정된 데이터를 텍스트, 그래프, 테이블과 같은 형태로 저장하였고, 이를 필요에 따라 이미지 등의 보충 설명문과 함께 실험과정 및 데이터, 그리고 데이터의 분석결과를 문서화 하였다.
이러한 과정은, 실제 실험을 위한 환경 구축과 실험과정의 기록, 분석 및 결과 정리 등 일련의 문서화 과정이 번거롭고, 문서를 작성하기 위해 별도의 프로그램을 익히고 사용하였다. 복잡한 실험의 경우에는 과정 정리 및 비전문가의 이해도를 높이기 위해서는 많은 표현기법 도표, 동영상, 이미지 등의 번거로운 과정을 필요로 하면서도 표현의 한계가 있었다.
상기와 같은 문제점을 해결하기 위해서, 본 발명은 실시간으로 변화되는 다양한 상황에 대하여 능동적으로 데이터를 제공할 수 있는 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기를 제공하는데 목적이 있다.
예를 들어, 과학실험 등에서 일련의 준비과정, 센서의 위치, 실험순서, 각 센서가 검출하는 값의 변화 표현 등의 과정을 쉽게 정리하고 표현하여 실험에 보다 집중하고, 교육적 효과를 높이며, 비전문가에게 실험과정 및 분석결과를 쉽게 이해시키고 공유할 수 있는 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기를 제공하는데 목적이 있다.
이를 위하여, 본 발명은 과학실험 등의 실험상황을 촬영한 영상에, 실험용 센서로부터 측정된 데이터를 증강현실로 오버래핑하여 실시간으로 제공할 수 있도록 한 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기를 제공하는데 목적이 있다.
또한, 본 발명은 사용자의 스마트폰, 태블릿 등의 휴대단말기를 이용하여 실험상황의 촬영, 측정데이터가 오버래핑 된 증강현실 영상의 생성 및 측정데이터의 제공을 수행함으로써, 실험자의 이해도와 활용성을 크게 향상시킬 수 있는 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기를 제공 하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 증강현실 기반의 실시간 데이터 제공 방법은, 증강현실 기반의 데이터를 디스플레이 하기 위한 대상이 되는 적어도 하나의 대상객체를 설정하는 대상객체 설정단계; 촬영된 원영상을 영상인식처리하여 설정된 상기 대상객체 중 상기 원영상에 포함된 대상객체를 확인하는 대상객체 확인단계; 상기 원영상 내에서 상기 대상객체의 측정데이터를 디스플레이하기 위한 마커(Marker)의 위치를 추적하는 마커위치 확인단계; 상기 원영상에 포함된 대상객체별 측정데이터를 상기 마커위치에 대응하도록 상기 원영상에 오버래핑하여 가공영상을 생성하는 가공영상 생성단계; 및 상기 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 실험데이터로 제공하는 실험정보 제공단계를 포함한다.
또한, 상기 마커위치 확인단계는, 상기 원영상에서 밝기성분과 색상성분을 분류하는 원영상 보정과정; 상기 마커의 색상으로 설정된 색상값을 갖는 픽셀을 추출하는 설정픽셀 추출과정; 추출된 상기 설정픽셀들 중 인접된 픽셀들을 하나의 영역으로 분류하는 픽셀영역 확인과정; 분류된 픽셀영역들 중 설정범위 이내에 포함된 픽셀영역을 마커영역으로 선택하는 마커영역 확인과정; 및 선택된 마커영역의 위치를 추적하는 마커위치 추적과정을 포함할 수 있다.
또한, 본 발명에 따른 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기는, 실험상황을 원영상으로 촬영하는 영상촬영부; 상기 영상촬영부에서 촬영된 원영상을 영상인식처리하여 설정된 대상객체를 확인하는 영상인식부; 상기 영상인식부에서 영상인식처리된 원영상에서 상기 대상객체에 대응하는 마커(Marker)를 추적하는 마커확인부; 상기 마커에 상기 대상객체의 측정데이터를 오버래핑하여 가공영상을 생성하는 가상현실 매핑부; 및 상기 가상현실 매핑부에서 생성된 가공영상을 사용자의 설정에 대응하여 출력하는 디스플레이를 포함한다.
또한, 사용자의 설정에 대응하여 상기 실험의 대상이 되는 상기 대상객체 및 상기 마커 중 적어도 하나에 대한 이미지, 색상 및 크기 중 적어도 하나를 포함하는 영상정보를 상기 영상인식부로 전송하는 객체설정부; 및 상기 실험에 대응하여 설치된 센서로부터 상기 대상객체의 변화를 측정한 측정데이터를 상기 가상현실 매핑부로 전송하는 측정데이터 수신부를 더 포함할 수 있다.
또한, 상기 가상현실 매핑부로부터 상기 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 전송받고, 상기 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 사용자의 설정에 대응하여 변환하는 데이터처리부; 상기 데이터처리부에서 변환된 상기 대상객체별 측정데이터, 가공영상 및 상기 원영상을 분류하여 정지영상 또는 동영상으로 저장하는 데이터저장부; 및 상기 데이터처리부 또는 상기 데이터저장부로부터 변환 또는 저장된 상기 대상객체별 측정데이터, 가공영상 및 상기 원영상을 외부장치로 전송하는 송수신부를 더 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 과학실험 분야와 같이 실시간으로 변화되는 일련의 준비과정, 센서의 위치, 실험순서, 각 센서가 검출하는 값의 변화 표현 등의 과정을 쉽게 정리하고 표현하여 능동적으로 데이터를 제공할 수 있는 장점이 있다.
결과적으로, 사용자에게 실험에 보다 집중하고, 교육적 효과를 높이며, 비전문가에게 실험과정 및 분석결과를 쉽게 이해시키고 공유할 수 있는 효과가 있다.
특히, 본 발명은 사용자가 자신이 휴대한 스마트폰 등의 휴대단말기를 이용하여, 실험현장을 실시간으로 촬영하면서 다양한 정보를 증강현실 기반의 영상으로 확인할 수 있도록 함으로써, 실험결과를 사용자에게 제공함은 물론 생성된 증강현실 기반의 정보를 교육 등에 활용하거나 다양한 통계자료로 활용할 수 있는 장점이 있다.
더불어, 본 발명은 원격의료진단, 방송, 건축설계, 제조공정관리 등의 분야에서도, 다양한 상황에 따른 데이터를 실시간으로 취합 및 제공할 수 있도록 함으로써, 해당 분야의 사용자가 각 상황에 대하여 가장 효율적인 방법으로 신속하게 대처할 수 있게 해줄 수 있는 효과가 있다.
따라서, 증강현실 분야, 특히 과학실험 분야는 물론, 원격의료진단, 방송, 건축설계, 제조공정관리 등의 다양한 분야에서도 에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법의 일 실시예를 설명하는 흐름도이다.
도 2는 도 1의 단계 'S300'에 대한 구체적인 일 실시예를 설명하는 흐름도이다.
도 3은 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기를 이용한 실험데이터 제공 시스템의 일 실시예를 설명하는 구성도이다.
도 4는 도 3에 나타난 휴대단말기의 일 실시예를 설명하는 블록도이다.
도 5는 본 발명에 의해 생성된 가공영상의 일 실시예를 설명하는 도면이다.
도 2는 도 1의 단계 'S300'에 대한 구체적인 일 실시예를 설명하는 흐름도이다.
도 3은 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기를 이용한 실험데이터 제공 시스템의 일 실시예를 설명하는 구성도이다.
도 4는 도 3에 나타난 휴대단말기의 일 실시예를 설명하는 블록도이다.
도 5는 본 발명에 의해 생성된 가공영상의 일 실시예를 설명하는 도면이다.
본 발명에 따른 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시예에 대해 설명하기로 한다.
먼저, 본 발명에 의한 증강현실 기반의 실험데이터 제공 시스템의 일 실시예를 살펴본 후, 이에 기초하여 증강현실 기반의 실시간 데이터 제공 방법과 이용한 휴대단말기에 대하여 살펴보기로 한다.
도 3은 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기를 이용한 실험데이터 제공 시스템의 일 실시예를 설명하는 구성도이다.
도 3을 참조하면, 증강현실 기반의 실험데이터 제공 시스템(A)은 센서(100), 휴대단말기(200), 실험데이터 제공서버(300) 및 클라이언트(400)를 포함할 수 있다.
센서(100)는 다양한 실험현장(T)에서 요구되는 데이터를 측정하기 위한 것으로, 해당 과학실험에 따라 다양하게 적용될 수 있다. 예를 들어, 센서(100)는 온도를 측정하는 경우에는 온도센서를 포함할 수 있다.
휴대단말기(200)는 실험현장(T)의 영상을 촬영(이하, 촬영된 실험현장 영상을 원영상이라 함)하고, 센서(100)로부터 전송되는 측정데이터를 수신하여 증강현실 기반의 영상(이하, 가공영상이라 함)을 생성 및 디스플레이하기 위한 것이며, 휴대단말기(200)의 구성 및 데이터처리 방법에 대해서는 하기에서 보다 상세히 설명하기로 한다. 여기서, 휴대단말기(200)는 스마트폰, 태블릿, PDA 등을 포함할 수 있다.
실험데이터 제공서버(300)는 휴대단말기(200)로부터 원영상, 측정데이터 및 가공영상을 수신하여 저장하고, 휴대단말기(200) 및 클라이언트(400)의 요청에 대응하여 저장된 정보를 제공할 수 있다.
또한, 실험데이터 제공서버(300)는 센서(100)로부터 측정데이터를 수신하여 저장하고, 휴대단말기(200)의 요청에 의해 저장된 측정데이터를 휴대단말기(200)로 전송할 수 있다.
다시 말해, 휴대단말기(200)는 센서(100)로부터 직접 측정데이터를 수신하거나, 실험데이터 제공서버(300)로부터 제공받을 수 있다. 또한 휴대단말기(200)에 내장된 센서로부터 직접 데이터를 가져올 수 있다.
클라이언트(400)는 실험데이터 제공서버(300)에 저장된 원영상, 측정데이터 및 가공영상를 수신하여 다양하게 편집 및 활용할 수 있다.
또한, 당업자의 요구에 따라 클라이언트(400)에서도, 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법을 처리할 수 있으며, 이러한 경우 실험현장(T)의 영상을 촬영하기 위한 별도의 카메라가 필요함은 물론이다.
이하에서는, 도 3에 나타난 실험데이터 제공 시스템에 적용되는 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법에 대해 구체적으로 살펴보기로 한다.
도 1은 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법의 일 실시예를 설명하는 흐름도이다.
먼저, 휴대단말기(200)는 증강현실 기반의 데이터를 디스플레이 하기 위한 대상이 되는 적어도 하나의 대상객체를 설정한다(단계 S100). 예를 들어, 도 5에 나타난 바와 같이 비커에 들어있는 액체에 의해 낮아진 온도와 실내온도를 측정하는 경우, 대상객체는 액체를 포함한 비커(Obj)를 포함할 수 있다.
이와 같은 대상객체의 설정은 사용자에 의해 입력되어 영상인식 알고리즘을 통해 휴대단말기(200)에서 이루어질 수 있다. 여기서, 대상객체의 설정은 당업자의 요구에 따라 다양한 방법으로 변경되어 적용될 수 있음은 당연하다.
한편, 측정데이터를 원영상에 나타내는 방법으로는, 측정데이터를 대상객체에 인접하여 출력하는 방법과, 사용자에 의해 설정된 마커에 출력하는 방법이 있다.
측정데이터를 대상객체에 인접하여 출력하는 방법의 경우, 하기에서 설명될 마커의 추적과정을 생략할 수 있으며, 출력 위치를 사용자가 직접 지정할 수 있다. 측정데이터를 마커에 출력하는 경우, 하기에서 설명될 대상객체 확인을 생략할 수 있다.
본 발명에서는 실험이 진행되는 과정에서 사용자(실험자)에 의해 대상객체가 제거되는 경우(대상객체가 이후 실험진행에 불필요하여 실험현장에서 치워진 경우 등), 해당 대상객체에 대응하는 측정데이터가 마커에 지속적으로 나타나는 것을 방지하기 위하여, 원영상에서 대상객체를 인식하고 원영상에 포함된 대상객체에 대응하는 마커에만 측정데이터를 출력하는 것으로 설명하기로 한다.
대상객체가 설정되면 사용자는 실험을 시작할 수 있으며, 휴대단말기(200)는 사용자에 의해 실험이 시작되면 실험현장을 촬영하면서, 촬영된 원영상을 영상인식처리하여 설정된 대상객체 중 원영상에 포함된 대상객체를 확인한다(단계 S200).
그리고, 휴대단말기(200)는 원영상 내에서 대상객체의 측정데이터를 디스플레이하기 위한 마커(Marker)의 위치를 추적한다(단계 S300). 마커의 위치를 추적하는 방법에 대해서는 하기에서 보다 구체적으로 설명하기로 한다.
이후 도 5에 나타난 센서(S)로부터 측정데이터가 수신되면, 휴대단말기(200)는 원영상에 포함된 대상객체별 측정데이터를 마커위치에 대응하도록 원영상에 오버래핑하여 도 5에 나타난 바와 같은 가공영상을 생성한다(단계 S400). 가공영상은 센서나 실험상황에 따라 텍스트, 그래프, 도형 등의 다양한 이미지형태로 생성된다.
도 5에서, 'M1'은 어느 하나의 대상객체(Obj)에 대응하는 마커이고, 'M2'는 다른 하나의 대상객체(실내공간)에 대응하는 마커이며, 'D1'은 어느 하나의 대상객체(Obj)에 의한 온도를 측정한 데이터이고, 'D2'는 다른 하나의 대상객체에 의한 온도(실내온도)를 측정한 데이터이다.
휴대단말기(200)는 상기와 같은 과정에 의해 얻어진 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를, 실험데이터 제공서버(300) 및 클라이언트(400) 중 적어도 하나에 실험데이터로 제공한다(단계 S500).
도 2는 도 1의 단계 'S300'에 대한 구체적인 일 실시예를 설명하는 흐름도이다.
먼저, 휴대단말기(200)는 원영상에서 밝기성분을 제거할 수 있다(과정 S301). 예를 들어, 휴대단말기(200)는 원영상을 YUV영상으로 변환한 후, 변환된 YUV영상에서 Y성분(명암)을 제거할 수 있다. Y성분의 제거는 실내외의 다양한 실험환경에서 마커의 인식율을 높일 수 있다.
원영상에서 밝기성분이 제거되면, 휴대단말기(200)는 마커의 색상으로 설정된 색상값을 갖는 픽셀을 추출할 수 있다(과정 S302). 예를 들어, 휴대단말기(200)는 UV영상의 좌표에서 해당 색상값을 검출할 수 있다.
그리고, 휴대단말기(200)는 추출된 설정픽셀들 중 인접된 픽셀들을 하나의 독립된 영역으로 분류할 수 있으며(과정 S303), 각각의 영역에 대한 면적을 산출하여 분류된 픽셀영역들 중 설정범위 이내에 포함된 픽셀영역을 마커영역으로 선택할 수 있다(과정 S304). 예를 들어, 도 5에 나타난 'M1'과 'M2'의 면적에 대하여 일정한 허용오차 범위에 해당하는 면적을 설정범위로 설정함으로써, 'M1'과 'M2'를 마커로 선택할 수 있다.
이 후, 휴대단말기(200)는 실시간으로 촬영되는 영상에 대하여, 상기와 같은 과정에 의해 선택된 마커영역의 위치를 실시간으로 추적할 수 있으며(과정 S305), 도 1에 나타난 바와 같이 추적하여 확인되는 마커의 위치에 측정데이터를 오버래핑할 수 있다.
도 4는 도 3에 나타난 휴대단말기의 일 실시예를 설명하는 블록도이다.
도 4를 참조하면, 본 발명에 의한 증강현실 기반의 실시간 데이터를 제공하는 휴대단말기(200)는 영상촬영부(210), 영상인식부(220), 마커확인부(230), 가상현실 매핑부(240) 및 디스플레이(250)를 포함한다.
영상촬영부(210)는 현장의 실험상황을 원영상으로 촬영하는 것으로, 휴대단말기(200)에 내장된 카메라를 포함할 수 있다. 물론, 당업자에 의해 별도의 카메라를 설치하여 실험상황을 촬영할 수 있으며, 이러한 경우 카메라에 의해 촬영된 원영상은 휴대단말기(200)로 제공될 수 있다.
영상인식부(220)는 영상촬영부(210)에서 촬영된 원영상을 영상인식처리하여 설정된 대상객체를 확인하는 것으로, 객체설정부(225)에 대상객체에 대한 영상정보를 요청하고, 수신된 설정정보에 기초하여 원영상에서 대상객체를 추출할 수 있다.
객체설정부(225)는 사용자의 설정에 대응하여 해당 실험의 대상이 되는 대상객체 및 마커 중 적어도 하나에 대한 이미지, 색상 및 크기 중 적어도 하나를 포함하는 영상정보를 영상인식부(220)로 전송할 수 있다. 여기서, 객체설정부(225)는 영상정보를 저장한 상태에서, 영상인식부(220)의 요청에 의해 저장된 영상정보를 전송할 수 있다. 또한, 객체설정부(225)는 사용자에 의해 입력된 영상정보를 영상인식부(220)에 전송할 수 있다.
마커확인부(230)는 영상인식부(220)에서 영상인식처리된 원영상에서, 원영상에 포함된 대상객체에 대응하는 마커(Marker)를 추적할 수 있으며, 영상인식부(220)에서 전송된 원영상, 영상처리된 대상객체 및 마커에 대한 데이터를 가상현실 매핑부(240)로 전송할 수 있다.
가상현실 매핑부(240)는 마커확인부(230)에서 확인된 대상객체의 마커에, 해당 대상객체의 측정데이터를 오버래핑하여 도 5와 같은 가공영상을 생성할 수 있다. 이때, 가상현실 매핑부(240)는 측정데이터 수신부(245)를 통해 센서에 의해 측정된 데이터를 수신할 수 있다.
측정데이터 수신부(245)는 해당 실험에 대응하여 설치된 센서(예를 들어, 온도센서)로부터 대상객체의 변화(예를 들어, 온도변화)를 측정하고, 측정된 측정데이터를 가상현실 매핑부(240)로 전송할 수 있다.
디스플레이(250)는 가상현실 매핑부(240)에서 생성된 가공영상을 사용자의 설정에 대응하여 출력할 수 있다. 또한, 본 발명에 의한 증강현실 기반의 실시간 데이터를 제공하는 휴대단말기(200)는 데이터처리부(260) 및 데이터저장부(270)를 더 포함할 수 있다.
데이터처리부(260)는 가상현실 매핑부(240)로부터 전송된 데이터를 다양한 형태의 포멧(정지영상, 동영상, HTML)으로 변환하여, 데이터저장부(270)에 저장하거나 송수신부(265)를 통해 실험데이터 제공서버(300) 또는 클라이언트(400) 등의 외부장치로 전송할 수 있다.
보다 구체적으로, 데이터처리부(260)는 가상현실 매핑부(240)로부터 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 전송받을 수 있고, 수신된 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 사용자의 설정에 대응하여 변환할 수 있다.
데이터저장부(270)는 데이터처리부(260)에서 변환된 대상객체별 측정데이터, 가공영상 및 상기 원영상을 분류하여 저장하는 것으로, 원영상을 동영상으로 저장하는 원영상 저장모듈(271), 측정데이터를 대상객체별 항목으로 분류하여 저장하는 측정데이터 저장모듈(272) 및 가공영상을 증강현실 기반으로 저장하는 가공영상 저장모듈(273)을 포함할 수 있다.
이상에서 본 발명에 의한 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지는 것이므로, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 센서
200 : 휴대단말기 210 : 영상촬영부
220 : 영상인식부 225 : 객체설정부
230 : 마커확인부 240 : 가상현실 매핑부
245 : 측정데이터 수신부 250 : 디스플레이
260 : 데이터처리부 265 : 송수신부
270 : 데이터저장부 271 : 원영상 저장모듈
272 : 측정데이터 저장모듈 273 : 가공영상 저장모듈
300 : 실험데이터 제공서버
400 : 클라이언트
200 : 휴대단말기 210 : 영상촬영부
220 : 영상인식부 225 : 객체설정부
230 : 마커확인부 240 : 가상현실 매핑부
245 : 측정데이터 수신부 250 : 디스플레이
260 : 데이터처리부 265 : 송수신부
270 : 데이터저장부 271 : 원영상 저장모듈
272 : 측정데이터 저장모듈 273 : 가공영상 저장모듈
300 : 실험데이터 제공서버
400 : 클라이언트
Claims (5)
- 증강현실 기반의 데이터를 디스플레이 하기 위한 대상이 되는 적어도 하나의 대상객체를 설정하는 대상객체 설정단계;
촬영된 원영상을 영상인식처리하여 설정된 상기 대상객체 중 상기 원영상에 포함된 대상객체를 확인하는 대상객체 확인단계;
상기 원영상 내에서 상기 대상객체의 측정데이터를 디스플레이하기 위한 마커(Marker)의 위치를 추적하는 마커위치 확인단계;
상기 원영상에 포함된 대상객체별 측정데이터를 상기 마커위치에 대응하도록 상기 원영상에 오버래핑하여 가공영상을 생성하는 가공영상 생성단계; 및
상기 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 실험데이터로 제공하는 실험정보 제공단계를 포함하며,
상기 마커위치 확인단계는,
상기 원영상에서 밝기성분을 제거하는 원영상 보정과정;
상기 마커의 색상으로 설정된 색상값을 갖는 픽셀을 추출하는 설정픽셀 추출과정;
추출된 상기 설정픽셀들 중 인접된 픽셀들을 하나의 영역으로 분류하는 픽셀영역 확인과정;
분류된 픽셀영역들 중 설정범위 이내에 포함된 픽셀영역을 마커영역으로 선택하는 마커영역 확인과정; 및
선택된 마커영역의 위치를 추적하는 마커위치 추적과정을 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 데이터 제공 방법.
- 삭제
- 실험상황을 원영상으로 촬영하는 영상촬영부;
상기 영상촬영부에서 촬영된 원영상을 영상인식처리하여 설정된 대상객체를 확인하는 영상인식부;
상기 영상인식부에서 영상인식처리된 원영상에서 상기 대상객체에 대응하는 마커(Marker)를 추적하는 마커확인부;
상기 마커에 상기 대상객체의 측정데이터를 오버래핑하여 가공영상을 생성하는 가상현실 매핑부; 및
상기 가상현실 매핑부에서 생성된 가공영상을 사용자의 설정에 대응하여 출력하는 디스플레이를 포함하며,
상기 가상현실 매핑부로부터 상기 원영상, 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 전송받고, 상기 대상객체별 측정데이터 및 가공영상 중 적어도 하나를 사용자의 설정에 대응하여 변환하는 데이터처리부;
상기 데이터처리부에서 변환된 상기 대상객체별 측정데이터, 가공영상 및 상기 원영상을 분류하여 정지영상 또는 동영상으로 저장하는 데이터저장부; 및
상기 데이터처리부 또는 상기 데이터저장부로부터 변환 또는 저장된 상기 대상객체별 측정데이터, 가공영상 및 상기 원영상을 외부장치로 전송하는 송수신부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기.
- 제 3항에 있어서,
사용자의 설정에 대응하여 상기 실험의 대상이 되는 상기 대상객체 및 상기 마커 중 적어도 하나에 대한 이미지, 색상 및 크기 중 적어도 하나를 포함하는 영상정보를 상기 영상인식부로 전송하는 객체설정부; 및
상기 실험에 대응하여 설치된 센서로부터 상기 대상객체의 변화를 측정한 측정데이터를 상기 가상현실 매핑부로 전송하는 측정데이터 수신부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 데이터 제공 방법을 이용한 휴대단말기.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130094592A KR101360999B1 (ko) | 2013-08-09 | 2013-08-09 | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130094592A KR101360999B1 (ko) | 2013-08-09 | 2013-08-09 | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101360999B1 true KR101360999B1 (ko) | 2014-02-10 |
Family
ID=50270463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130094592A Expired - Fee Related KR101360999B1 (ko) | 2013-08-09 | 2013-08-09 | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101360999B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160073025A (ko) | 2014-12-16 | 2016-06-24 | 이주성 | 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법 |
| WO2018016928A1 (ko) * | 2016-07-22 | 2018-01-25 | 김계현 | 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 |
| CN107801016A (zh) * | 2017-09-15 | 2018-03-13 | 上海理工大学 | 虚拟远程诊断治疗系统 |
| CN113366541A (zh) * | 2019-05-30 | 2021-09-07 | 三星电子株式会社 | 用于在增强现实中获取虚拟对象数据的方法和设备 |
| CN113672090A (zh) * | 2021-08-25 | 2021-11-19 | 上海电气集团股份有限公司 | 一种结构力学试验交互的方法及设备 |
| WO2023163376A1 (ko) * | 2022-02-25 | 2023-08-31 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130011037A (ko) * | 2011-07-20 | 2013-01-30 | 국민대학교산학협력단 | 지식기반 증강현실 시스템 |
| KR20130042219A (ko) * | 2011-10-18 | 2013-04-26 | 한국과학기술연구원 | 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법 |
-
2013
- 2013-08-09 KR KR1020130094592A patent/KR101360999B1/ko not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130011037A (ko) * | 2011-07-20 | 2013-01-30 | 국민대학교산학협력단 | 지식기반 증강현실 시스템 |
| KR20130042219A (ko) * | 2011-10-18 | 2013-04-26 | 한국과학기술연구원 | 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160073025A (ko) | 2014-12-16 | 2016-06-24 | 이주성 | 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법 |
| WO2018016928A1 (ko) * | 2016-07-22 | 2018-01-25 | 김계현 | 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 |
| CN107801016A (zh) * | 2017-09-15 | 2018-03-13 | 上海理工大学 | 虚拟远程诊断治疗系统 |
| CN113366541A (zh) * | 2019-05-30 | 2021-09-07 | 三星电子株式会社 | 用于在增强现实中获取虚拟对象数据的方法和设备 |
| CN113672090A (zh) * | 2021-08-25 | 2021-11-19 | 上海电气集团股份有限公司 | 一种结构力学试验交互的方法及设备 |
| WO2023163376A1 (ko) * | 2022-02-25 | 2023-08-31 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
| KR20230127734A (ko) * | 2022-02-25 | 2023-09-01 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
| KR102706447B1 (ko) * | 2022-02-25 | 2024-09-11 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106446873B (zh) | 人脸检测方法及装置 | |
| KR101360999B1 (ko) | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 | |
| CN106228628B (zh) | 基于人脸识别的签到系统、方法和装置 | |
| US10832037B2 (en) | Method and apparatus for detecting image type | |
| IL256885A (en) | Device and methods for facial recognition and video analysis for identifying individuals in the context of video streaming | |
| JP5783885B2 (ja) | 情報提示装置、その方法及びそのプログラム | |
| CN103168467B (zh) | 使用热图像坐标的安防摄像机追踪和监控系统及方法 | |
| US20120105447A1 (en) | Augmented reality-based device control apparatus and method using local wireless communication | |
| JP2014106692A5 (ko) | ||
| CN104320616A (zh) | 一种基于三维场景建模的视频监控系统 | |
| KR20150039252A (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| US9554060B2 (en) | Zoom images with panoramic image capture | |
| TW201222288A (en) | Image retrieving system and method and computer program product thereof | |
| CN112434546A (zh) | 人脸活体检测方法及装置、设备、存储介质 | |
| CN107005655A (zh) | 图像处理方法 | |
| CN114494487B (zh) | 基于全景图语义拼接的户型图生成方法、设备及存储介质 | |
| CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
| KR101176743B1 (ko) | 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버 | |
| CN108804971A (zh) | 一种图像识别系统、增强现实显示设备和图像识别方法 | |
| US10535154B2 (en) | System, method, and program for image analysis | |
| TWM482797U (zh) | 能顯示三維影像的擴增實境系統 | |
| US20170200044A1 (en) | Apparatus and method for providing surveillance image based on depth image | |
| CN107704851B (zh) | 人物识别方法、公共传媒展示装置、服务器和系统 | |
| KR20220124676A (ko) | 부동산 정보 제공방법 및 그를 위한 어플리케이션 | |
| CN112073640B (zh) | 全景信息采集位姿获取方法及装置、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20130809 |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20131011 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20130809 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20131119 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140129 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140204 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140204 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170203 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170203 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180226 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180226 Start annual number: 5 End annual number: 5 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20191115 |