KR102684194B1 - 함교 증강현실 시스템 및 이의 동작 방법 - Google Patents
함교 증강현실 시스템 및 이의 동작 방법 Download PDFInfo
- Publication number
- KR102684194B1 KR102684194B1 KR1020230174274A KR20230174274A KR102684194B1 KR 102684194 B1 KR102684194 B1 KR 102684194B1 KR 1020230174274 A KR1020230174274 A KR 1020230174274A KR 20230174274 A KR20230174274 A KR 20230174274A KR 102684194 B1 KR102684194 B1 KR 102684194B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- bridge
- augmented reality
- head
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000010365 information processing Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 7
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001112258 Moca Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
- B63G1/00—Arrangements of guns or missile launchers; Vessels characterised thereby
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
- B63G13/00—Other offensive or defensive arrangements on vessels; Vessels characterised thereby
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Architecture (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명에 따른 함교 증강현실 시스템의 동작 방법은 함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하는 단계; 헤드업 디스플레이 장치로부터 제2 영상 정보를 수신하는 단계; 전술정보처리장치로부터 소정의 전술 정보를 수신하는 단계; 상기 제1 및 제2 영상 정보와 상기 전술 정보를 융합하는 단계; 및 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계를 포함한다.
Description
본 발명은 함교 증강현실 시스템 및 이의 동작 방법에 관한 것이다.
함교에서 얻을 수 있는 정보를 크게 2가지로 분류할 수 있다. 첫 번째는 시청각으로 얻는 직관 정보이며, 두 번째는 전투체계 전시기를 포함한 함내 장비로부터 얻는 가공 정보이다.
이때, 시청각으로 얻는 직관 정보는 시각 및 청각 정보를 통해 얻는 것으로, 주로 해상 상황을 직접 관찰하여 얻는 정보로서, 시야 내에서 발생하는 사건, 상대 선박의 시각적 특성, 소리, 기상 조건 등이 포함될 수 있다. 직관 정보는 빠르게 인식되며, 상황 평가에 중요한 역할을 할 수 있다.
또한, 전투체계 및 함내 장비로부터 얻는 가공 정보는 군함 내부에 설치된 전투체계와 센서 시스템 등을 통해 수집되는 정보로, 군함의 운용 및 전투 능력 향상을 위해 수집되는 정보로서, 예를 들어 각 표적 정보(타겟 위치, 식별 정보), 교전정보(적 선박의 행동 및 응답), 항해지원 정보(해상 지도 및 항로 정보), 자함 정보(군함 자체의 상태 및 성능 정보) 등이 이에 해당할 수 있다.
하지만, 종래에는 함교에서 주로 시청각 정보를 통해 상황을 평가하였으나 시청각 정보만으로는 특정 표적의 정확한 방위와 거리를 파악하는 데 어려움이 있었습니다. 즉, 시각과 청각으로 얻는 직관 정보만으로는 표적의 위치 및 특성을 충분히 식별하고 판단하기 어렵다는 문제가 있다.
또한, 전투체계로부터 얻는 가공 정보는 해석하는 데는 전문적인 지식과 시간이 필요하므로, 직관 정보를 얻었을 때처럼 즉각적으로 이해하고 상황에 따른 적절한 조치를 취하기 어렵다는 문제가 있다.
또한, 해군 승조원은 직관 정보와 가공 정보를 따로 받은 후, 이 두 종류의 정보를 융합하고 상황을 분석하는 시간이 필요하였으며, 이것은 상황을 실시간으로 평가하고 효과적인 결정을 내리는데 있어서 지연과 혼란을 초래하는 문제가 있었다.
이러한 종래 기술의 문제점을 극복하고 더 효율적인 정보 수집 및 분석을 위한 새로운 기술 또는 방법이 필요한 실정이다.
본 발명이 해결하고자 하는 과제는 전투함의 함교(BRIDG) 내에서 함정에 설치된 전투체계를 활용한 증강현실을 구현하기 위한 것으로, 전투체계로부터 습득한 가공 정보를 헤드업 디스플레이 장치에 전시하여, 승조원이 외창을 통해 관측되는 직관 정보와 통합하여 융합 정보로 활용할 수 있도록 하는, 함교 증강현실 시스템 및 이의 동작 방법에 관한 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 함교 증강현실 시스템의 동작 방법은 함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하는 단계; 헤드업 디스플레이 장치로부터 제2 영상 정보를 수신하는 단계; 전술정보처리장치로부터 소정의 전술 정보를 수신하는 단계; 상기 제1 및 제2 영상 정보와 상기 전술 정보를 융합하는 단계; 및 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하는 단계는, 함교의 외창을 통해 관측 가능한 FOV와 대응되는 FOV를 갖는 상기 함 외부 주간 카메라 모듈을 통해 제1 영상 정보를 수신할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계는, 상기 융합된 정보를 상기 헤드업 디스플레이 장치의 반투명 디스플레이 영역 상에 오버레이할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 헤드업 디스플레이 장치는 군용 전투헬멧 상에 탈부착 가능하도록 구성될 수 있다.
본 발명의 일부 실시예에 있어서, 상기 함교 증강현실 시스템과 전투체계 내 타 모듈 간 데이터의 송수신은 DSS 메시지 포맷을 이용하여 수행될 수 있다.
본 발명의 일부 실시예에 있어서, 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계는, 용자가 바라보고 있는 진북 기준 방위 정보를 획득하는 단계; 상기 헤드업 디스플레이 장치의 자이로 센서의 센싱 정보에 기초하여 착용자의 시선각 정보를 추정하는 단계; 및; 상기 진북 기준 방위 정보와 시선각 정보를 반영하여 상기 융합된 정보를 전시하는 단계를 포함할 수 있다.
또한, 본 발명의 제2 측면에 따른 함교 증강현실 시스템은 함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하고, 헤드업 디스플레이 장치로부터 제2 영상 정보를 수신하고, 전술정보처리장치로부터 소정의 전술 정보를 수신하는 통신모듈, 상기 헤드업 디스플레이 장치를 통해 증강현실 서비스를 제공하기 위한 프로그램이 저장된 메모리 및 상기 제1 및 제2 영상 정보와 상기 전술 정보를 융합하고, 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하도록 상기 통신모듈을 통해 전송하는 프로세서를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 통신모듈은 함교의 외창을 통해 관측 가능한 FOV와 대응되는 FOV를 갖는 상기 함 외부 주간 카메라 모듈을 통해 제1 영상 정보를 수신할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 융합된 정보를 상기 헤드업 디스플레이 장치의 반투명 디스플레이 영역 상에 오버레이하도록 제어할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 헤드업 디스플레이 장치는 군용 전투헬멧 상에 탈부착 가능하도록 구성될 수 있다.
본 발명의 일부 실시예에 있어서, 기 함교 증강현실 시스템과 전투체계 내 타 모듈 간 데이터의 송수신은 DSS 메시지 포맷을 이용하여 수행될 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 착용자가 바라보고 있는 진북 기준 방위 정보를 획득에 따라, 상기 헤드업 디스플레이 장치의 자이로 센서의 센싱 정보에 기초하여 착용자의 시선각 정보를 추정하고, 상기 진북 기준 방위 정보와 시선각 정보를 반영하여 상기 융합된 정보를 전시하도록 제어할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 함교 증강현실 시스템 및 이의 동작 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
전술한 본 발명의 일 실시예에 의하면, 직관 정보와 가공 정보의 융합을 헤드업 디스플레이를 통해 제공받음으로써 착용자가 두 가지 정보를 별도로 수집하고 분석하는 시간을 줄일 수 있는바, 이로써 결정을 신속하게 내릴 수 있으며, 상황에 대한 이해도를 향상시킬 수 있다.
또한, 기존의 전투체계와의 연동이 가능한 감시체계를 구축하여 용이하게유지 보수 및 확장 작업을 할 수 있다. 이를 통해, 새로운 기능을 추가하거나 기존 시스템을 업그레이드하며, 정보 교환 및 통신의 표준화된 방법을 사용하여 향후 유지 보수를 효과적으로 수행할 수 있도록 할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 함교 증강현실 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 함교 증강현실 시스템을 포함하는 전체 구성 블록을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 함교 증강현실 시스템에서의 데이터 송수신의 흐름을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에서의 함 외부 주간 카메라 모듈의 설치 위치를 도시한 도면이다.
도 5는 본 발명의 일 실시예에서의 헤드업 디스플레이 장치의 설치 위치를 도시한 도면이다.
도 6은 본 발명의 일 실시예에서의 헤드업 디스플레이 장치로의 융합 정보를 전송하는 흐름을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에서의 데이터 교환 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에서 헤드업 디스플레이 장치에 표출되는 융합 정보의 일 예시를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 함교 증강현실 시스템의 동작 방법에 대한 순서도이다.
도 1은 본 발명의 일 실시예에 따른 함교 증강현실 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 함교 증강현실 시스템을 포함하는 전체 구성 블록을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 함교 증강현실 시스템에서의 데이터 송수신의 흐름을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에서의 함 외부 주간 카메라 모듈의 설치 위치를 도시한 도면이다.
도 5는 본 발명의 일 실시예에서의 헤드업 디스플레이 장치의 설치 위치를 도시한 도면이다.
도 6은 본 발명의 일 실시예에서의 헤드업 디스플레이 장치로의 융합 정보를 전송하는 흐름을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에서의 데이터 교환 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에서 헤드업 디스플레이 장치에 표출되는 융합 정보의 일 예시를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 함교 증강현실 시스템의 동작 방법에 대한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 함교 증강현실 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 함교 증강현실 시스템(100)은 통신모듈, 메모리 및 프로세서를 포함한다.
통신모듈(110)은 함 외부 주간 카메라 모듈(10)로부터 제1 영상 정보를 수신하고, 헤드업 디스플레이 장치(20)로부터 제2 영상 정보를 수신하고, 전술정보처리장치로부터 소정의 전술 정보를 수신한다. 이와 같은 통신모듈(110)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술, 그밖에 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity) 등의 기능을 구현하기 위한 모듈로 구성될 수 있다.
메모리(120)에는 헤드업 디스플레이 장치(20)를 통해 증강현실 서비스를 제공하기 위한 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 제1 및 제2 영상 정보와 전술 정보를 융합하고, 융합된 정보를 헤드업 디스플레이 장치(20)에 전시하도록 통신모듈을 통해 전송한다.
한편, 본 발명의 일 실시예에서, 프로세서(130)는 결합 3D 맵 생성 과정에서, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있다. 일 예로, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있으며, 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network)과 같은 모델을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 함교 증강현실 시스템(100)을 포함하는 전체 구성 블록을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 전체 시스템(1)은 함 외부 주간 카메라 모듈(10, ECAM), 헤드업 디스플레이 장치(20, HUDD) 그리고 전투체계 장치(30, CMS: Combat Management System)를 포함한다. 여기에서 전투체계 장치(30)는 함교 증강현실 시스템(100, BARSYSMGR: Battle Management System Manager)과, 전술정보처리장치(200, IPNTAC: Integrated Platform Navigation and Tactical Action Console) 및 정보 제어 장치(300, ICU: Information Control Unit)를 포함하도록 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 함교 증강현실 시스템(100)에서의 데이터 송수신의 흐름을 나타낸 도면이다. 도 4는 본 발명의 일 실시예에서의 함 외부 주간 카메라 모듈(10)의 설치 위치를 도시한 도면이다. 도 5는 본 발명의 일 실시예에서의 헤드업 디스플레이 장치(20)의 설치 위치를 도시한 도면이다. 도 6은 본 발명의 일 실시예에서의 헤드업 디스플레이 장치(20)로의 융합 정보를 전송하는 흐름을 나타낸 도면이다.
도 3 및 도 4를 참조하면 일 실시예로, 본 발명은 함 외부 주간 카메라 모듈(10)로부터 제1 영상 정보를 수신할 수 있다. 이때, 함 외부 주간 카메라 모듈(10)은 함교의 외창을 통해 관측 가능한 FOV(Field Of View)와 대응되는 FOV 또는 그 이상의 FOV를 가질 수 있다.
이는 함교의 외창을 바라보는 지역과, 함 외부 주간 카메라 모듈(10)이 관찰할 수 있는 영역을 일치시키는 것으로, 이렇게 함교의 외창과 함 외주 부간 카메라 모듈(10)의 FOV를 동기화함으로써 제1 영상 정보를 효과적으로 수신할 수 있다.
도 5 및 도 6을 참조하면 본 발명의 일 실시예에서, 프로세서는 함 외부 주간 카메라 모듈(10)로부터 획득한 제1 영상 정보와 헤드업 디스플레이 장치(20)로 출력될 제2 영상 정보를 전술 정보와 융합한다. 그리고 융합된 정보를 헤드업 디스플레이 장치(20)의 반투명 디스플레이 상에 오버레이할 수 있다. 즉, 본 발명의 일 실시예는 융합된 정보인 가공 정보는 반투명 디스플레이 상으로 제공하여 직관 정보 위에 가공 정보를 겹쳐 표시할 수 있다.
이때, 본 발명의 일 실시예는, 융합된 정보를 헤드업 디스플레이 장치(20)에 전시하는 과정에서, 착용자가 바라보고 있는 진북 기준 방위 정보를 획득하고, 헤드업 디스플레이 장치(20)의 자이로 센서의 센싱 정보에 기초하여 착용자의 시선각 정보를 추정한 후, 진북 기준 방위 정보와 시선각 정보를 반영하여 융합된 정보를 전시할 수 있다.
구체적으로, 착용자가 현재 바라보고 있는 방향 또는 위치를 나타내는 "진북 기준 방위 정보"를 수집 또는 측정하여 획득한다. 그 디음, 헤드업 디스플레이 장치(20)에 내장된 자이로 센서 등의 센싱 장치를 사용하여 착용자의 시선각 정보를 추정한다. 이는 착용자의 시선이 어떤 방향 또는 위치로 향하고 있는지를 나타내며, 시선이 화면 상의 어느 부분을 가리키는지를 결정하는 데 사용된다. 그 다음, 이전 단계에서 얻은 "진북 기준 방위 정보"와 "시선각 정보"를 결합하여 착용자에게 표시할 정보를 계산하고, 헤드업 디스플레이 장치(20)에 전시한다. 이를 통해 착용자의 시야에 융합된 정보를 투영하여 표시하게 된다. 이처럼, 본 발명의 일 실시예는 착용자가 현재 시선 방향에 따라 정보를 시각적으로 볼 수 있으며, 이는 헤드업 디스플레이 장치(20)를 통해 구현될 수 있다.
이러한 헤드업 디스플레이 장치(20)는 일반적으로 인간 눈의 시야와 동일한 180도의 FOV를 가질 수 있으며, 이는 사용자에게 넓은 시야를 제공하여 정보를 효과적으로 확인할 수 있도록 한다.
한편, 헤드업 디스플레이 장치(20)는 군용 전투헬멧 상에 탈부착 가능하도록 구성될 수 있다. 이에 따라, 전투 상황에서 사용자는 헤드업 디스플레이 장치(20)를 상황에 따라 헬멧에 부착하고 제거할 수 있다.
도 7은 본 발명의 일 실시예에서의 데이터 교환 실시예를 설명하기 위한 도면이다.
그밖에 본 발명의 일 실시예는, 전투체계와의 연동성, 유지보수 및 기능 확장성을 고려하여, 함교 증강현실 시스템(100)과 전투체계 내 타 모듈 간 데이터 송수신은 DSS(Data Sharing Standard) 메시지 포맷을 이용할 수 있다. 이러한 DSS 메시지 포멧은 데이터 교환을 위한 표준 규칙과 형식을 정의하며, 전투체계 내 다양한 모듈 간 데이터를 효과적으로 교환 및 처리하도록 할 수 있다.
도 8은 본 발명의 일 실시예에서 헤드업 디스플레이 장치(20)에 표출되는 융합 정보의 일 예시를 나타낸 도면이다.
예를 들어, 융합된 정보에는 피아식별, 표적 번호 및 탐지 센서 정보가 표시되거나, 어뢰 발사 방위 정보가 표시되거나, 지그재그 계획 정보가 표시될 수 있다. 또한, 현재 헤드업 디스플레이 장치(20)의 방위와 자함 정보 등을 표시할 수 있다. 또한, CPA(Closest Point of Approach) 정보를 표시하거나, 투묘 정보를 표시할 수 있다.
이하에서는 도 9를 참조하여 함교 증강현실 시스템(100)에 의해 수행되는 동작 방법을 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 함교 증강현실 시스템(100)의 동작 방법에 대한 순서도이다.
본 발명의 일 실시예는 먼저, 함 외부 주간 카메라 모듈(10)로부터 제1 영상 정보를 수신하고(S110), 헤드업 디스플레이 장치(20)로부터 제2 영상 정보를 수신한다(S120). 여기에서 S110 단계와 S120 단계의 수행 순서는 어느 것이 먼저 수행되어도 무방하다.
다음으로, 전술정보처리장치로부터 소정의 전술 정보를 수신함에 따라(S130), 제1 및 제2 영상 정보와 전술 정보를 융합한다(S140).
다음으로, 융합된 정보를 헤드업 디스플레이 장치(20)에 전시한다(S150).
한편, 상술한 설명에서, 단계 S110 내지 S150는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에 기술된 내용과 도 9에 기술된 내용은 상호 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 함교 증강현실 시스템(100) 및 이의 동작 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 함 외부 주간 카메라 모듈
20: 헤드업 디스플레이 장치
100: 함교 증강현실 시스템
110: 통신모듈
120: 메모리
130: 프로세서
20: 헤드업 디스플레이 장치
100: 함교 증강현실 시스템
110: 통신모듈
120: 메모리
130: 프로세서
Claims (12)
- 함교 증강현실 시스템의 동작 방법에 있어서,
함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하는 단계;
헤드업 디스플레이 장치로부터 제2 영상 정보를 수신하는 단계;
전술정보처리장치로부터 소정의 전술 정보를 수신하는 단계;
상기 제1 및 제2 영상 정보와 상기 전술 정보를 융합하는 단계; 및
상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계를 포함하고,
상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계는,
착용자가 바라보고 있는 진북 기준 방위 정보를 획득하는 단계;
상기 헤드업 디스플레이 장치의 자이로 센서의 센싱 정보에 기초하여 착용자의 시선각 정보를 추정하는 단계; 및;
상기 진북 기준 방위 정보와 시선각 정보를 반영하여 상기 융합된 정보를 전시하는 단계를 포함하는,
함교 증강현실 시스템의 동작 방법.
- 제1항에 있어서,
상기 함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하는 단계는,
함교의 외창을 통해 관측 가능한 FOV와 대응되는 FOV를 갖는 상기 함 외부 주간 카메라 모듈을 통해 제1 영상 정보를 수신하는 것인,
함교 증강현실 시스템의 동작 방법.
- 제1항에 있어서,
상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하는 단계는,
상기 융합된 정보를 상기 헤드업 디스플레이 장치의 반투명 디스플레이 영역 상에 오버레이하는 것인,
함교 증강현실 시스템의 동작 방법.
- 제1항에 있어서,
상기 헤드업 디스플레이 장치는 군용 전투헬멧 상에 탈부착 가능하도록 구성되는 것인,
함교 증강현실 시스템의 동작 방법.
- 제1항에 있어서,
상기 함교 증강현실 시스템과 전투체계 내 타 모듈 간 데이터의 송수신은 DSS 메시지 포맷을 이용하여 수행되는 것인,
함교 증강현실 시스템의 동작 방법.
- 삭제
- 함교 증강현실 시스템에 있어서,
함 외부 주간 카메라 모듈로부터 제1 영상 정보를 수신하고, 헤드업 디스플레이 장치로부터 제2 영상 정보를 수신하고, 전술정보처리장치로부터 소정의 전술 정보를 수신하는 통신모듈,
상기 헤드업 디스플레이 장치를 통해 증강현실 서비스를 제공하기 위한 프로그램이 저장된 메모리 및
상기 제1 및 제2 영상 정보와 상기 전술 정보를 융합하고, 상기 융합된 정보를 상기 헤드업 디스플레이 장치에 전시하도록 상기 통신모듈을 통해 전송하는 프로세서를 포함하고,
상기 프로세서는 착용자가 바라보고 있는 진북 기준 방위 정보를 획득에 따라, 상기 헤드업 디스플레이 장치의 자이로 센서의 센싱 정보에 기초하여 착용자의 시선각 정보를 추정하고, 상기 진북 기준 방위 정보와 시선각 정보를 반영하여 상기 융합된 정보를 전시하도록 제어하는 것인,
함교 증강현실 시스템.
- 제7항에 있어서,
상기 통신모듈은 함교의 외창을 통해 관측 가능한 FOV와 대응되는 FOV를 갖는 상기 함 외부 주간 카메라 모듈을 통해 제1 영상 정보를 수신하는 것인,
함교 증강현실 시스템.
- 제7항에 있어서,
상기 프로세서는 상기 융합된 정보를 상기 헤드업 디스플레이 장치의 반투명 디스플레이 영역 상에 오버레이하도록 제어하는 것인,
함교 증강현실 시스템.
- 제7항에 있어서,
상기 헤드업 디스플레이 장치는 군용 전투헬멧 상에 탈부착 가능하도록 구성되는 것인,
함교 증강현실 시스템.
- 제7항에 있어서,
상기 함교 증강현실 시스템과 전투체계 내 타 모듈 간 데이터의 송수신은 DSS 메시지 포맷을 이용하여 수행되는 것인,
함교 증강현실 시스템.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230174274A KR102684194B1 (ko) | 2023-12-05 | 2023-12-05 | 함교 증강현실 시스템 및 이의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230174274A KR102684194B1 (ko) | 2023-12-05 | 2023-12-05 | 함교 증강현실 시스템 및 이의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102684194B1 true KR102684194B1 (ko) | 2024-07-12 |
Family
ID=91950547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230174274A Active KR102684194B1 (ko) | 2023-12-05 | 2023-12-05 | 함교 증강현실 시스템 및 이의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102684194B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180103066A (ko) * | 2016-01-15 | 2018-09-18 | 가부시키가이샤 메리프 | 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 |
| KR20210072902A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 피앤씨솔루션 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
-
2023
- 2023-12-05 KR KR1020230174274A patent/KR102684194B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180103066A (ko) * | 2016-01-15 | 2018-09-18 | 가부시키가이샤 메리프 | 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 |
| KR20210072902A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 피앤씨솔루션 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
| CN109561282B (zh) | 一种用于呈现地面行动辅助信息的方法与设备 | |
| US20180102034A1 (en) | Fire disaster monitoring method and apparatus | |
| US20080301570A1 (en) | Spaciotemporal graphical user interface for collaborative and secure information sharing | |
| US9696798B2 (en) | Eye gaze direction indicator | |
| US20200059551A1 (en) | Intelligent electronic device and mode setting method | |
| CN102595103B (zh) | 一种基于gis地图推演智能视频的方法 | |
| US20200336708A1 (en) | Duplicate monitored area prevention | |
| SA517390547B1 (ar) | طرق وأجهزة لمعالجة جدار فيديو مع مؤشرات للتغذية | |
| CN112885153A (zh) | 一种基于多网融合的通用航空安全监控系统 | |
| JPWO2014103731A1 (ja) | 画像処理装置および方法、並びにプログラム | |
| KR20130076844A (ko) | 무인항공기를 활용한 해파리 및 이안류와 녹조감시방재시스템 | |
| Fürstenau et al. | Remote tower experimental system with augmented vision videopanorama | |
| CN108881846A (zh) | 信息融合方法、装置及计算机可读存储介质 | |
| KR102684194B1 (ko) | 함교 증강현실 시스템 및 이의 동작 방법 | |
| KR101076240B1 (ko) | 증강현실을 이용한 방공 전장상황 제공 장치 및 방법 | |
| JP2016195323A (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN110267087B (zh) | 一种动态标签添加方法、设备及系统 | |
| Zheng et al. | Forest farm fire drone monitoring system based on deep learning and unmanned aerial vehicle imagery | |
| CN106534787A (zh) | 一种视频显示系统 | |
| CN113919737B (zh) | 多功能应急消防救援前突综合保障数据处理方法及系统 | |
| CN112085638B (zh) | 突发地质灾害应急指挥交互方法、系统及设备 | |
| KR101281687B1 (ko) | 악천후 지역의 모니터링 방법 | |
| KR101440503B1 (ko) | 위성영상 기반의 교관석 화면을 제공하는 비행시뮬레이터 장치 | |
| US20170214879A1 (en) | Airborne optoelectronic equipment for imaging, monitoring and/or designating targets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20231205 |
|
| PA0201 | Request for examination |
Patent event code: PA02011R01I Patent event date: 20231205 Comment text: Patent Application |
|
| PA0302 | Request for accelerated examination |
Patent event date: 20231208 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240207 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240626 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240708 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240709 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |