[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102212336B1 - Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치 - Google Patents

Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR102212336B1
KR102212336B1 KR1020190088841A KR20190088841A KR102212336B1 KR 102212336 B1 KR102212336 B1 KR 102212336B1 KR 1020190088841 A KR1020190088841 A KR 1020190088841A KR 20190088841 A KR20190088841 A KR 20190088841A KR 102212336 B1 KR102212336 B1 KR 102212336B1
Authority
KR
South Korea
Prior art keywords
head
user
display device
worn
emergency
Prior art date
Application number
KR1020190088841A
Other languages
English (en)
Other versions
KR20210011665A (ko
Inventor
최치원
배영헌
정희재
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190088841A priority Critical patent/KR102212336B1/ko
Publication of KR20210011665A publication Critical patent/KR20210011665A/ko
Application granted granted Critical
Publication of KR102212336B1 publication Critical patent/KR102212336B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 HMD 프레임의 일 측에 설치되며 IMU 센서를 포함하는 센서부; 상기 센서부에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성하는 연산부; 상기 연산부가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있다.
또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.

Description

IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치{A HEAD MOUNTED DISPLAY APPARATUS HAVING AN EMERGENCY NAVIGATING FUNCTION WITH IMU}
본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
한편, 유독물질이 저장된 탱크, 액화천연가스 저장탱크, 선박 탱크, 화학설비 공장 등의 산업시설은 주기적으로 유지보수 및 청소 작업이 이루어지고 있다. 이러한 유지보수 및 청소 작업에 투입되는 작업자들은 대부분이 마스크, 랜턴, 안전모 등의 간단한 안전장비를 구비한 상태로 작업에 투입되는데, 복잡한 내부 구조 및 산업시설의 설비에서 누출되는 환경 유해 가스나 화재 시에 발생하는 연기 등으로 인한 시인성 저하 때문에, 위급상황 시 작업자의 탈출이 어렵고, 이로 인한 치명적인 인명사고가 발생될 수 있다.
일반적으로 화재 등의 위급상황 발생 시, 비상구 또는 지정된 대피장소로 사람들을 유도하기 위해 비상구 방향을 표시하는 비상구 유도등이 건물 내에 부착되어 있다. 그러나 실제 위급상황 발생 시에는, 작업자가 복잡한 내부 구조를 정확히 파악하지 못하고 있을 수 있으며, 산업시설 내에서 발생한 연기 등에 의해 비상구 유도등이 가려져서 시인성이 저하되므로, 사람들이 비상구 유도등을 제대로 확인하기 어렵게 되어, 신속한 탈출이 어려운 한계가 있다. 따라서 사고가 발생한 위급상황에서 위험작업 현장으로부터 작업자가 신속하게 탈출할 수 있도록 안내해 줄 수 있는 기술의 개발이 필요한 실정이다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1644933호(발명의 명칭: 재난 대피 경로 안내 방법 및 그 시스템, 공고일자: 2016년 08월 12일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치는,
머리 착용형 디스플레이 장치로서,
위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;
상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;
상기 HMD 프레임의 일 측에 설치되며 IMU 센서를 포함하는 센서부;
상기 센서부에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성하는 연산부;
상기 연산부가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 HMD 프레임은,
사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.
바람직하게는, 상기 연산부는,
추적 시작 신호를 입력받은 시점부터 상기 사용자의 이동 경로를 추적할 수 있다.
바람직하게는, 상기 머리 착용형 디스플레이 장치는,
위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치로 구성되고, 복수의 머리 착용형 디스플레이 장치 중 하나의 머리 착용형 디스플레이 장치의 디스플레이를 통해 내비게이션 영상 정보의 출력 시 상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치에서도 상기 연산부가 생성한 탈출 경로가 공유되도록 전파할 수 있다.
더욱 바람직하게는, 상기 머리 착용형 디스플레이 장치는,
위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치가 서로 무선으로 연동되고, 위급 상황으로 판단되면 자동으로 상기 연산부가 생성한 탈출 경로의 공유를 통해 위험 지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능할 수 있다.
더더욱 바람직하게는, 상기 제어부는,
다른 머리 착용형 디스플레이 장치로부터 공유된 탈출 경로를, 상기 센서부에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.
더더욱 바람직하게는, 상기 제어부는,
다른 머리 착용형 디스플레이 장치로부터 공유된 탈출 경로와 상기 연산부가 생성한 탈출 경로를 비교하여, 상기 사용자에게 최적의 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.
바람직하게는, 상기 머리 착용형 디스플레이 장치는,
상기 HMD 프레임에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;
상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라;
상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;
상기 전원 공급부의 온/오프를 위한 스위치부; 및
상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부를 더 포함하여 구성할 수 있다.
본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있다.
또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 디스플레이 화면을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치들 사이에 탈출 경로를 공유하는 구현 일례의 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치가 최적의 탈출 경로를 안내하는 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 구성을 기능블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 센서부(140), 연산부(150) 및 제어부(160)를 포함하여 구성될 수 있으며, GPS 모듈(170), 카메라(180), 전원 공급부(190), 스위치부(200) 및 통신부(210)를 더 포함하여 구성될 수 있다.
HMD 프레임(110)은, 위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다. 여기서, 위험작업 현장은 산업시설, 국방, 치안 등의 분야에서의 위험한 작업 현장으로 이해될 수 있다.
광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.
디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보(10)가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(160)의 제어 하에, 산업시설, 국방, 치안 등의 분야에서의 위험작업 현장에서 작업 중인 사용자에게 위급상황 이벤트 발생 시 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력할 수 있다.
센서부(140)는, HMD 프레임(110)의 일 측에 설치되며 IMU 센서를 포함할 수 있다. 센서부(140)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)의 HMD 프레임(110)에 부착될 수 있으며, 부착 위치는 머리 착용형 디스플레이 장치(100)의 자세를 가장 정확하게 측정할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(140)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다.
특히, 본 발명의 센서부(140)가 포함하는 IMU 센서는, 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 머리 착용형 디스플레이 장치(100)의 정확한 자세 파악이 가능할 수 있다. 보다 구체적으로, IMU 센서는 MPU9250 센서로 구현될 수 있다.
또한, 센서부(140)는 IMU 센서 이외에, 사용자의 위치 파악을 위한 센서를 더 포함할 수 있고, 환경 유해 가스나 온습도 등을 검출할 수 있는 센서를 포함할 수도 있다. 실시예에 따라서는, 정확한 실내 측위를 위해, 센서부(140)는, HMD 프레임(110)에 설치되는 IMU 센서 이외에, 사용자의 신발 등에 설치되는 IMU 센서, MEMS 압력 센서 등을 포함할 수도 있다.
연산부(150)는, 센서부(140)에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성할 수 있다. 여기서, 위급상황 이벤트는, 유해 가스 누출, 화재 발생 등 산업시설, 국방, 치안 등의 위험작업 현장에서 발생할 수 있는 위급상황으로서, 머리 착용형 디스플레이 장치(100)의 제어부(160)가 위급상황 여부를 직접 판단할 수 있으나, 다른 머리 착용형 디스플레이 장치(100) 또는 관제 서버 등으로부터 위급상황 이벤트 발생을 전달받을 수도 있다.
또한, 연산부(150)는, 추적 시작 신호를 입력받은 시점부터 사용자의 이동 경로를 추적할 수 있다. 즉, 연산부(150)는, 입력 인터페이스를 통해 사용자로부터 추적 시작 신호를 입력받으면, 센서부(140)에 의해 수집되는 사용자의 위치 정보 및 자세 정보에 기초하여 사용자의 이동 경로를 추적하고, 위급상황이 발생하면 추적된 이동 경로를 역산하여 탈출 경로를 생성할 수 있다. 이때, 연산부(150)는, 추후 상세히 설명할 GPS 모듈(170)에서 수집된 정보와 센서부(140)에서 측정된 정보를 결합하여, 더욱 정확하게 사용자의 이동 경로를 추적할 수 있다.
한편, 실시예에 따라서는, 연산부(150)는 클라우드 형태로 구현될 수 있다. 즉, 머리 착용형 디스플레이 장치(100)와 네트워크로 연결된 클라우드 관제 서버가, 머리 착용형 디스플레이 장치(100)의 센서부(140)로부터 정보를 전송받아 작업 중인 사용자의 이동 경로를 정밀하게 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로를 역산해 탈출 경로를 생성하여 제어부(160)에 전송할 수도 있다.
제어부(160)는, 연산부(150)가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송되도록 제어할 수 있다. 이때, 제어부(160)는, 센서부(140)에 의해 수집되는 정보 및 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180)에서 촬영된 영상 등에 기초하여 사용자의 위치, 자세, 방향, 각도 등에 따라 탈출 경로를 안내하는 화살표, 탈출 경로, 탈출 경로 상의 현재 위치 정보 등을 포함하는 내비게이션 영상 정보(10)를 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 디스플레이(130) 화면을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 사용자의 위치, 자세, 방향 등에 최적화 된 내비게이션 영상 정보(10)를 생성하고, 생성된 내비게이션 영상 정보(10)를 디스플레이(130)로 전송하여, 디스플레이(130)에서 광학계(120)를 통해 투과되어 보이는 실제 세계 위에 탈출 경로를 안내하는 화살표, 탈출 경로 등의 내비게이션 영상 정보(10)가 최적화되어 제공될 수 있다. 따라서 사용자는, 조명의 부재, 연기 등으로 시야가 확보되지 않는 상황에서도, 내비게이션 영상 정보(10)를 이용해 탈출 경로를 파악하고 신속하게 이동할 수 있다.
한편, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170)과, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190)와, 전원 공급부(190)의 온/오프를 위한 스위치부(200)와, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 더 포함하여 구성될 수 있다.
또한, GPS 모듈(170)은 위험작업 현장에서 작업 중인 사용자의 현장 위치 정보를 제공하고, 카메라(180)는 위험작업 현장에서 작업 중인 사용자가 바라보는 시선의 작업 현장을 촬영할 수 있다. 또한, 스위치부(200)는 전원 공급부(190)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(210)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(210)와 연동하여 연결 접속되고, 탈출 경로가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(210)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
또한, 머리 착용형 디스플레이 장치(100)는 디스플레이(130)를 통해 제공되는 내비게이션 영상 정보(10)에 대응하는 청각적 정보를 더 출력할 수도 있다. 예를 들어, 도 4에 도시된 바와 같은 내비게이션 영상 정보(10)와 대응하여 전방 5m 앞에서 우회전과 같은 음향 정보를 제공할 수 있다. 이를 위해, 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 음성 통신이 가능한 마이크, 스피커 등을 더 포함할 수 있다.
한편, 머리 착용형 디스플레이 장치(100)는, 위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 디스플레이(130)를 통해 내비게이션 영상 정보(10)의 출력 시, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 연산부(150)가 생성한 탈출 경로가 공유되도록 전파할 수 있다.
도 5는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)들 사이에 탈출 경로를 공유하는 구현 일례의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 위급상황 이벤트 발생을 인지하고 탈출 경로를 생성한 머리 착용형 디스플레이 장치(100)가, 인접한 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 공유하도록 전파함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 공유된 탈출 경로를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.
또한, 머리 착용형 디스플레이 장치(100)는, 위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)가 서로 무선으로 연동되고, 위급상황으로 판단되면 자동으로 연산부(150)가 생성한 탈출 경로의 공유를 통해, 위험 지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능할 수 있다.
한편, 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로를, 센서부(140)에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 즉, 탈출 경로를 공유하더라도 각각의 사용자의 위치, 자세, 방향 등의 상황이 모두 상이하므로, 제어부(160)는 디스플레이(130)로 출력되는 내비게이션 영상 정보(10)를 최적화하여 공유된 탈출 경로로 안내할 수 있다.
또한, 제어부(160)는, 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로와 연산부(150)가 생성한 탈출 경로를 비교하여, 사용자에게 최적의 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 여기서, 공유된 탈출 경로는 복수일 수 있으며, 제어부(160)는 탈출 경로의 비교를 위해 다른 머리 착용형 디스플레이 장치(100)로부터 카메라(180) 영상, 센서부(140)에서 수집된 정보, 사고 위치 등 판단을 위한 정보를 수집할 수 있다.
도 6은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)가 최적의 탈출 경로를 안내하는 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 연산부(150)에서 생성한 탈출 경로 1과 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로 2를 상호 비교하여, 사용자의 위치 등 상황에 맞는 최적의 탈출 경로를 선정할 수 있다. 예를 들어, 연산부(150)에서는 사용자의 이동 경로를 추적하고 추적된 이동 경로를 기반으로 탈출 경로를 생성하는데, 해당 사용자가 이동한 이동 경로상에 사고가 발생하여 탈출이 불가능한 경우, 제어부(160)는 공유된 탈출 경로를 최적의 탈출 경로로 선정할 수 있다. 또한, 공유된 탈출 경로보다 해당 사용자의 이동 경로를 이용한 탈출 경로가 더 가깝고 빠른 경우, 제어부(160)는 연산부(150)에서 생성한 탈출 경로를 최적의 탈출 경로로 선정할 수 있다.
본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치(100)에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치(100)에 자동으로 표시되는 내비게이션 영상 정보(10)에 따라 신속하고 안전하게 탈출할 수 있다.
또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보(10)를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 내비게이션 영상 정보
100: 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 센서부
150: 연산부
160: 제어부
170: GPS 모듈
180: 카메라
190: 전원 공급부
200: 스위치부
210: 통신부

Claims (8)

  1. 머리 착용형 디스플레이 장치(100)로서,
    위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
    상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보(10)가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
    상기 HMD 프레임(110)의 일 측에 설치되며 IMU 센서를 포함하는 센서부(140);
    상기 센서부(140)에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 역산하여 탈출 경로를 생성하는 연산부(150);
    상기 연산부(150)가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하는 제어부(160);
    상기 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170);
    상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180);
    상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190);
    상기 전원 공급부(190)의 온/오프를 위한 스위치부(200); 및
    상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 포함하며,
    상기 위급상황 이벤트는, 상기 제어부(160)의 위급상황 판단에 따라 발생하거나, 다른 머리 착용형 디스플레이 장치(100)로부터 수신하여 발생하고,
    상기 머리 착용형 디스플레이 장치(100)는,
    위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 디스플레이(130)를 통해 내비게이션 영상 정보(10)의 출력 시 상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 상기 연산부(150)가 생성한 탈출 경로가 공유되도록 전파하고,
    상기 머리 착용형 디스플레이 장치(100)는,
    위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)가 서로 무선으로 연동되고, 위급 상황으로 판단되면 자동으로 상기 연산부(150)가 생성한 탈출 경로의 공유를 통해 위험지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능하며,
    상기 제어부(160)는,
    다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로와 상기 연산부(150)가 생성한 탈출 경로를 비교하여, 상기 사용자에게 제공할 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하며, 탈출 경로의 비교를 위해 다른 머리 착용형 디스플레이 장치(100)로부터 카메라(180) 영상, 센서부(140)에서 수집된 정보를 포함하는 정보를 수집하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
  2. 제1항에 있어서, 상기 HMD 프레임(110)은,
    사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성되는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
  3. 제1항에 있어서, 상기 연산부(150)는,
    추적 시작 신호를 입력받은 시점부터 상기 사용자의 이동 경로를 추적하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 제어부(160)는,
    다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로를, 상기 센서부(140)에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
  7. 삭제
  8. 삭제
KR1020190088841A 2019-07-23 2019-07-23 Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치 KR102212336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190088841A KR102212336B1 (ko) 2019-07-23 2019-07-23 Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190088841A KR102212336B1 (ko) 2019-07-23 2019-07-23 Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20210011665A KR20210011665A (ko) 2021-02-02
KR102212336B1 true KR102212336B1 (ko) 2021-02-05

Family

ID=74558758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190088841A KR102212336B1 (ko) 2019-07-23 2019-07-23 Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102212336B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213915A1 (de) 2021-12-07 2023-06-07 Psa Automobiles Sa Fernsteuerung einer Fahrzeugfunktion mit Sensorfusion aus Touchscreen und IMU
US20230252730A1 (en) * 2022-02-04 2023-08-10 The Boeing Company Situational awareness headset

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495641B1 (ko) * 2021-05-14 2023-02-06 주식회사 피앤씨솔루션 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템
KR102573067B1 (ko) * 2022-12-14 2023-09-01 주식회사 피앤씨솔루션 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치
KR102698214B1 (ko) * 2023-02-02 2024-08-26 주식회사 피앤씨솔루션 윙슈트 점프용 ar 글라스 헬멧 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6082272B2 (ja) * 2013-02-25 2017-02-15 東京エレクトロン株式会社 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
KR102362117B1 (ko) * 2014-07-01 2022-02-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치
KR20160017593A (ko) * 2014-08-06 2016-02-16 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 탈출경로 제공방법 및 프로그램
KR101848276B1 (ko) * 2016-07-29 2018-04-12 선문대학교 산학협력단 재난대응을 위한 스마트 웨어러블장치 및 이를 이용한 재난대응 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213915A1 (de) 2021-12-07 2023-06-07 Psa Automobiles Sa Fernsteuerung einer Fahrzeugfunktion mit Sensorfusion aus Touchscreen und IMU
US20230252730A1 (en) * 2022-02-04 2023-08-10 The Boeing Company Situational awareness headset

Also Published As

Publication number Publication date
KR20210011665A (ko) 2021-02-02

Similar Documents

Publication Publication Date Title
KR102212336B1 (ko) Imu 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치
US11231897B2 (en) Display system, display device, information display method, and program
US11140939B2 (en) Sensor assisted head mounted displays for welding
CN108378450B (zh) 一种燃爆事故感知与风险预测预警智能消防头盔实现方法
KR102201959B1 (ko) 위급 상황에서 긴급 상황 공유 기능을 갖는 머리 착용형 디스플레이 장치
US10788671B2 (en) Enhanced vision for firefighter using heads up display and gesture sensing
US7110013B2 (en) Augmented reality display integrated with self-contained breathing apparatus
US20110261176A1 (en) Tactical vision system
JP7003633B2 (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
KR101671981B1 (ko) 무선 통신을 이용한 협업 소방관의 위치 제공 방법 및 그 시스템과, 협업 소방관의 위치 표시 방법 및 이를 수행하기 위한 소방 헬멧
US11915376B2 (en) Wearable assisted perception module for navigation and communication in hazardous environments
JPH0854282A (ja) 頭部装着ディスプレイ装置
US10921592B2 (en) Self-contained breathing apparatus face piece lens vision system
JPWO2015060393A1 (ja) 遠隔行動誘導システム及びその処理方法
JP6590050B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
Wilson et al. Design of monocular head-mounted displays for increased indoor firefighting safety and efficiency
KR102305405B1 (ko) 머리 착용형 디스플레이 장치 및 증강현실을 이용한 원격 업무지원 시스템
KR20200061564A (ko) 복합재난 사고대응 지원용 지휘통제시스템
JP2007121600A (ja) 画像情報表示装置
KR102396379B1 (ko) 센서 모듈의 탈착이 가능한 머리 착용형 디스플레이 장치
KR102324129B1 (ko) 지도 정보와 imu 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치
US20240346906A1 (en) Mountable apparatus for providing user data monitoring and communication in hazardous environments
JPH04370207A (ja) ディスプレイ付ヘルメット
KR102409880B1 (ko) Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
RU2535229C2 (ru) Шлем с проекционной системой

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190723

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201027

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210122

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210129

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210201

End annual number: 3

Start annual number: 1

PG1501 Laying open of application
PG1601 Publication of registration