KR20210042784A - 시선 검출 기반의 스마트 안경 표시 장치 - Google Patents

Abstract

본 발명은 안저를 포함하는 안구에 레이저를 조사하여 안저부터의 제1 거리 및 안구의 표면으로부터의 제2 거리를 측정하는 복수의 거리측정부; 제1 거리 및 제2 거리에 기초하여 시선 방향을 검출하는 시선검출부; 오버레이 이미지를 획득하는 이미지 취득부; 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 시선맞춤대상체에 따라 지정된 위치에 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하는 화면합성부; 및 연산된 위치에 오버레이 이미지를 디스플레이 하며 스마트 안경 형태의 디스플레이부를 포함하는, 시선 검출 기반의 스마트 안경 표시 장치를 제공한다. 따라서, 본 발명에 따르면, 의사의 시선을 방해하지 않으면서도 관련 정보를 자연스럽게 표시할 수 있는 디스플레이 방법 및 장치가 제공된다.

Description

시선 검출 기반의 스마트 안경 표시 장치{SMART GLASSES DISPLAY DEVICE BASED ON EYE TRACKING}

본 발명은 시선 검출 기반의 스마트 안경 표시 장치에 관한 것으로서, 보다 상세하게는 사용자의 시선을 검출하고 시선 방향에 따른 자연스러운 오버레이 이미지를 스마트 안경을 통하여 제공하는 시선 검출 기반의 스마트 안경 표시 장치에 관한 것이다.

최근 들어 가상현실(Virtual Reality, “VR”), 증강현실(Augmented Reality, “AR”), 또는 혼합현실(Mixed Reality, “MR”)의 응용분야로 의료 및 헬스케어가 각광을 받고 있다. 고령화 시대의 도래와 경쟁 심화로 인한 심리질환 등 의료서비스 수요 증가에 대응하기 위한 의료전문가 육성 및 심리치료 대안으로 스마트 안경을 활용한 VR, AR 및 MR 기술이 부상하고 있다. 특히, 종래에는 트라우마 치료에 제한적으로 활용했던 것에서 벗어나 VR, AR 및 MR은 수술, 치료, 재활 등 의료 전 영역으로 적용 범위가 확대되고 있다. VR, AR 및 MR을 이용하면 가상 환자나 장기를 구현하여 수련 교육이 가능하며, 의료진이 수술 전 적합한 계획을 세우고 사전에 테스트할 수 있다.

VR, AR 및 MR을 이용하지 않았던 종래의 의료장비, 예컨대, 초음파 스캐너는 표시하고자 하는 초음파 영상을 별도의 모니터 화면으로 확인해야 하므로 의사가 치료를 위해 환자와 모니터를 교대로 확인해야 한다는 번거로움이 존재하였다. 또는, 원격 수술 장비 또는 로봇 수술 장비들도 수술에 필요한 각종 정보들을 의료진에게 효율적으로 보여주지 못하는 경우가 많았다. 따라서, 필요한 정보를 보기 위해 고개를 돌리거나, 또는 수술 시 필요한 정보 없이 의사의 직감으로 치료해야 하는 경우가 발생하게 된다.

이러한 번거로움 및 시선 분산으로 인하여, 진단 시 의사의 집중을 방해하는 요소로 작용하였다. 특히, 진단 또는 수술 중에 관련 정보 화면을 봐야 하는 상황이 발생하였을 때에 의료진의 집중력이 흩어지는 상황이 발생하게 되면, 환자는 위험에 처하거나, 또는 집중해서 관찰해야 할 부분을 놓칠 수도 있다.

따라서, 종래의 의료 장비에 VR, AR 및 MR을 도입하여, 진단 시 의사의 집중력을 최대화할 수 있고 의료진의 편의성을 최대한으로 도모할 수 있는 디스플레이 방법에 대한 수요가 점차적으로 증가하고 있다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안된다.

본 발명은 의료기기에서 AR, MR, VR 등의 장비를 통하여 의사가 원하는 시점 및 원하는 지점에 표시하여 진단 시 의사의 시선 분산을 막는 획기적인 디스플레이 방법을 제공한다.

특히, 본 발명이 해결하고자 하는 과제는 사용자의 시선을 검출하여 관련 정보를 담은 이미지 또는 영상을 직관적으로 편하게 느끼는 특정영역에 표시하여 사용자가 가상의 오브젝트를 통해 환자의 환부 또는 신체 내부를 보다 정확하게 파악할 수 있는 시선 검출 기반의 스마트 안경 표시 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 시선 검출 기반의 스마트 안경 표시 장치는 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하는 복수의 거리측정부; 상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하는 시선검출부; 오버레이 이미지를 획득하는 이미지 취득부; 상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하는 화면합성부; 및 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하며 스마트 안경 형태의 디스플레이부를 포함할 수 있다.

이 경우, 상기 시선검출부는 상기 복수의 거리측정부 각각에서 측정된 거리가 제1 거리인지 또는 제 2 거리인지의 정보에 기초하여 동공의 위치를 센싱할 수 있다.

이 때, 상기 시선검출부는 상기 복수의 거리측정부 중 일부의 거리측정부에서 측정된 제1 거리에 의하여 상기 안구에서 동공이 향하는 방향을 센싱하여 시선 방향을 검출할 수 있다.

또한, 상기 복수의 거리측정부의 적어도 일부는 상기 디스플레이부를 지지하는 지지대를 따라 배치될 수 있다.

또한, 상기 디스플레이부는 원형 형상의 가이드 영역을 포함한 화면을 제공하고, 상기 화면합성부는 제공된 가이드 영역을 따라 시선이 이동되면, 사용자의 시선 방향을 검출하고, 가이드 영역에 따라 검출된 시선 방향에 기초하여 시선 보정 기준값을 구할 수 있다.

또한, 상기 시선 보정 기준 값은 이심률, 편평도 또는 타원의 초점 위치를 포함할 수 있다.

또한, 상기 화면합성부는 상기 시선맞춤대상체가 조사하는 광을 센싱하고, 상기 오버레이 이미지를 표시하기 위한 기준점을 추출할 수 있다.

또한, 상기 화면합성부는 상기 기준점으로부터 일정 간격 이격된 지점을 화면 경계점으로 추출할 수 있다.

또한, 상기 디스플레이부는 상기 오버레이 이미지를 3D입체 형상으로 표시할 수 있다.

또한, 상기 디스플레이부는 마이크로디스플레이, 렌즈, 패널, 및 스플리터를 포함할 수 있다.

한편, 본 발명에 따른 시선 검출 기반 스마트 안경 표시 방법은, 복수의 거리측정부에 의하여 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하는 거리측정단계; 상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하는 시선검출단계; 오버레이 이미지를 획득하는 이미지획득단계; 상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하는 표시위치연산단계; 및 스마트 안경 형태의 디스플레이부를 통해 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하는 표시단계를 할 수 있다.

이 경우, 상기 시선검출단계는 상기 복수의 거리측정부 각각에서 측정된 거리가 제1 거리인지 또는 제 2 거리인지의 정보에 기초하여 동공의 위치를 센싱할 수 있다.

상기 시선검출단계는 상기 복수의 거리측정부 중 일부의 거리측정부에서 측정된 제1 거리에 의하여 상기 안구에서 동공이 향하는 방향을 센싱하여 시선 방향을 검출할 수 있다.

또한, 시선 검출 기반의 스마트 안경 표시 방법은 상기 디스플레이부가 원형 형상의 가이드 영역을 포함한 화면을 제공하는 단계; 제공된 가이드 영역을 따라 사용자의 시선이 이동되면, 사용자의 시선 방향을 검출하고, 가이드 영역에 따라 검출된 시선 방향에 기초하여 시선 보정 기준값을 구하는 단계;를 더 포함할 수 있다.

또한, 상기 시선 보정 기준값은 이심률, 편평도 또는 타원의 초점 위치를 포함할 수 있다.

또한, 상기 표시위치연산단계는 상기 시선맞춤대상체가 조사하는 광을 센싱하고, 상기 오버레이 이미지를 표시하기 위한 기준점을 추출하는 단계를 포함할 수 있다.

또한, 상기 표시위치연산단계는 상기 기준점으로부터 일정 간격 이격된 지점을 화면 경계점으로 추출하는 단계를 더 포함할 수 있다.

또한, 상기 표시단계는 상기 오버레이 이미지를 3D입체 형상으로 표시하는 단계를 포함할 수 있다.

한편, 본 발명의 실시예에 따른 컴퓨터 판독 가능 기록매체는 복수의 거리측정부에 의하여 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하고, 오버레이 이미지를 획득하고, 상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하고, 스마트 안경 형태의 디스플레이부를 통해 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하는 명령어들을 저장할 수 있다.

본 발명에 따른 과제의 해결수단은 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

기본적으로 본 발명은 VR, AR 및 MR을 활용하여 의사가 원하는 시점 및 원하는 지점에 의사의 시선을 분산시키지 않고 필요한 정보를 디스플레이 할 수 있는 장치를 제공할 수 있다.

본 발명은 시선 움직임을 기반으로 움직이는 증강현실 이미지를 사용자가 직관적으로 편하게 느끼는 특정영역에 표시하여 사용자가 가상의 오브젝트를 통해 환자의 환부 또는 신체 내부를 시선 분산 없이 집중력 있게 파악할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 스마트 안경의 표시 과정을 나타낸 예시도이다.
도 2a는 본 발명의 일 실시예에 따른 시선 검출 기반의 스마트 안경 표시 시스템의 개략도이다.
도 2b는 본 발명의 일 실시예에 따른 시선 검출 기반의 스마트 안경 표시 장치의 구성도이다.
도 2c는 본 발명의 일 실시예에 따른 시선 검출 기반의 스마트 안경 표시 장치의 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 시선 검출에 따른 캘리브레이션 모드를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이에 화상이 생성되는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 스마트 안경 표시 방법을 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 스마트 안경 표시 방법을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 스마트 안경 표시 방법을 나타낸 도면이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 오버레이 이미지 표시 과정을 나타낸 예시도이다. 도 2a는 본 발명의 일 실시예에 따른 시선 검출 기반의 증강현실 표시 시스템의 개략도이다. 도 2b는 본 발명의 일 실시예에 따른 시선 검출 기반의 스마트 안경 표시 장치의 구성도이다. 도 2c는 본 발명의 일 실시예에 따른 스마트 안경 표시 장치의 블록도이다. 도 3a 및 도 3b는 본 발명의 일 실시예에 따른 시선 검출에 따른 시선 방향 보정을 설명하기 위한 도면이다. 도 4는 디스플레이에 오버레이 이미지가 표시되는 과정을 설명하기 위한 도면이다.

도 1을 참조하면, 시선 검출 기반의 스마트 안경 표시 시스템은 이미지 취득부(205)로부터 획득된 이미지 또는 영상을 시선맞춤대상체(200)에 따른 디스플레이 상의 특정영역에 증강현실, 혼합현실 또는 가상현실의 오버레이 이미지 또는 영상으로 표시하는 시선 검출 기반의 스마트 안경 표시 장치(100) 및 시선 검출 서버(900)를 포함한다. 단, 도 1의 실시예에서는 시선 검출 기반의 스마트 안경 표시 장치(100)와 시선 검출 서버(900)가 분리된 형태로 도시되었지만, 시선 검출 기반의 스마트 안경 표시 장치(100)와 시선 검출 서버(900)는 하나의 하우징 내에 탑재될 수도 있다. 하나의 하우징 내에 탑재된 경우에는 시선 검출 기반의 스마트 안경 표시 장치 (100)와 시선 검출 서버(900)는 유선으로 연결될 수 있다.

또한 본 실시예에서는 시선맞춤대상체(200)과 이미지 취득부(205)가 초음파 스캐너로서 하나의 장치 내에 구현된 경우를 도시하였으나, 시선맞춤대상체(200)와 이미지 취득부(205)가 별도의 장치일 수도 있다. 예컨대, 원격 수술 로봇에서 시선맞춤대상체(200)는 메스일 수 있고 또는 수술환자의 수술 부위일 수 있다. 이미지 취득부(205)는 예컨대, 수술 환자의 신경으로 메스가 지나가면 안되는 영역을 표시한 이미지를 시선 검출 서버(900) 내에 저장된 이미지로부터 취득하는 유닛일 수도 있다. 다시 말해, 시선 검출 서버(900)에는 수술 환자가 수술 전에 촬영한 영상을 기초로 환자의 신경을 표시한 이미지가 저장될 수 있다.

시선 검출 기반의 스마트 안경 표시 장치(100)는 내장된 복수의 거리측정부(11)에 의해 사용자의 시선을 검출하고, 이미지 취득부(205)로부터 획득한 이미지를 디스플레이부(103)의 화면 상에 표시할 수 있는 장치이다. 여기서, 스마트 안경 표시 장치(100)는 시선맞춤대상체(200)를 인식한 후, 인식된 시선맞춤대상체(200)과 관련하여 미리 설정한 영역에 상기 이미지 취득부(205)로부터 취득한 영상을 표시한다. 이 때, 시선맞춤대상체(200)는 수술, 치료 등에 사용되는 전자기기 또는 일반 도구일 수도 있다. 예를 들면, 시선맞춤대상체(200)는 초음파 스캐너, 시저(scissors), 클립(clip), 메스(mes) 등일 수 있다. 본 실시예에서는 시선맞춤대상체(200)가 초음파 스캐너인 것을 기준으로 설명한다.

본 발명에서 시선 검출 기반의 스마트 안경 표시 장치(100)는 디스플레이부(103)의 마이크로디스플레이(110, 도 2b 참조)에서 프로젝션되는 화면(114)이 양쪽 렌즈(111), 패널(112) 및 스플리터(113)를 통해 반사되어 눈에 보여지는 방식일 수 있다. 또는 HMD 디스플레이를 활용하면서 씨스루(See-through) 모드에서 스마트 안경 표시 장치(100)의 외부 카메라(12)를 통해 또는 분리된 별도의 카메라를 통해 촬영한 외부 화면을 VR의 화면을 통하여 오버레이 화면과 중첩하여 보여주는 형태일 수도 있다.

도 2a, 도 2b 및 도 2c를 참조하면, 시선 검출 기반의 스마트 안경 표시 장치(100)는 동공 센싱부(101), 시선 검출부(102), 디스플레이부(103), 화면합성부(104) 및 제어부(105)를 포함할 수 있다. 이러한 동공 센싱부(101), 시선 검출부(102) 및 디스플레이부(103)는, 화면합성부(104) 및 제어부(105)는 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구성될 수 있으며, 당업자는 적절한 수단을 활용하여 이러한 구성요소들을 구현할 수 있다.

동공 센싱부(101)는 사용자의 동공을 센싱하는 구성으로, 복수의 거리측정부(11)를 포함한다. 이 때, 복수의 거리측정부(11)는 시선 검출 기반의 스마트 안경 표시 장치(100)의 안경태의 가장자리를 따라 복수개가 배치될 수 있다.

거리측정부(11)는 사용자의 시선 움직임을 파악하기 위해 동공(15)의 위치를 센싱하며 레이저 발광부와 수광부를 포함하는 센서로서, 바람직하게는 동공의 시력 손상이 없는 파장대의 적외선 레이저를 조사한다. 도 2a에서는 설명의 편의를 위해, 거리측정부(11)로부터 조사되는 레이저 조사선(LL)을 도시하였다.

도 4를 참조하면, 복수의 거리측정부(11)는 안구(10)에 적외선을 조사한 후, 동공(15)을 통하여 안구의 안저에서 반사된 거리(d1 + d2) 또는 안구의 표면에서 직접 반사된 거리(d2)를 측정할 수 있다. 즉, 반사 거리는 안저에서 안구 표면(또는 동공)까지의 거리(d1) 및 안구 표면에서 센서 유닛(114)까지의 거리(d2)로 구분할 수 있다. 이 경우, 복수의 센서를 통하여 구한 각각의 거리(d1 및 d2)를 측정하여 동공의 위치를 센싱한다.

구체적으로, 사용자의 일부 거리측정부(11)에서 조사한 레이저 광은 동공(15)을 통과한 후 사용자의 안구(10) 내측인 안저에서 반사되어 다시 동공(15)을 통해 다시 거리측정부(11)에서 센싱되게 된다.

이때, 복수의 거리측정부(11)에서 조사된 복수의 레이저 광 중 일부만 동공을 통과할 수 있다. 동공을 통과하지 못한 레이저 광은 안구(10)의 내부가 아닌 표면에서 반사되어 거리측정부(11)의 수광부에 입사하게 된다.

복수의 거리측정부(11)에서 조사되는 레이저를 이용하여 안저로부터 안구 표면까지의 길이(d1)와 안구 표면(10)에서 디스플레이부(103)까지의 길이(d2)를 측정할 수 있다. 즉, 동공(15)을 통과한 거리(d1+d2)는 동공(15)을 통과하지 않은 거리(d1 + d2)보다 길이가 상대적으로 짧기 때문에, 길이 비교를 통해 사용자 동공(15)의 위치를 파악할 수 있다. 또한, 복수의 거리측정부(11)의 거리 정보에 의하여 하나의 거리측정 유닛(11)에서 조사한 레이저 광이 동공을 통과하는지 여부 및/또는 통과한 광에서 측정된 거리에 기초하여, 안구에서 동공이 향한 방향을 정확하게 결정할 수 있다.

따라서, 본 발명은 도 4에 도시된 바와 같이, 복수의 거리측정부(11)가 위치한 다양한 위치에서 안저까지의 거리를 측정하므로 매우 상세한 시선 방향을 도출하는 것이 가능하다.

이 경우, 복수의 거리측정부(11)는 스마트 안경 표시 장치(100)의 상기 디스플레이부(103)를 지지하는 지지대(안경테)의 후면(얼굴과 바라보는 면)의 상측(L1) 및 하측(L2)을 따라 배치된다. 단, 거리측정부(11)의 위치는 이에 제한되지 않으며 시선 검출 기반의 스마트 안경 표시 장치(100)의 안경테의 후면의 측부에 배치되거나, 스마트 안경 표시 장치(100)의 디스플레이부(103)의 렌즈(111) 또는 패널(112)에 직접 배치될 수도 있다.

시선 검출부(102)는 디스플레이부(103) 상에 표시하기 위한 증강현실 이미지에 대한 사용자의 시선방향을 센싱하는 구성으로, 동공을 통하여 안구의 안저에서 반사된 거리(d1 + d2), 안구의 표면에서 직접 반사된 거리(d2) 및 동공의 위치에 기초하여 시선 방향을 검출할 수 있다. 동공 센싱부(101) 및 시선 검출부(102)와 관련한 보다 상세한 설명은 도 3a 내지 도 3b를 참조하여 후술하기로 한다.

디스플레이부(103)는 시선맞춤대상체(200)로부터 획득된 이미지를 디스플레이부(103)에 증강현실, 가상현실 또는 혼합현실 이미지로 표시하는 구성이다. 예컨대, 도 2b를 참조하면, 디스플레이부(103)는 마이크로디스플레이(10), 렌즈(111), 패널(112), 및 스플리터(13)를 포함할 수 있다. 이 경우, 마이크로디스플레이(10)가 정면에 배치된 렌즈(111)를 통해 상을 조사하면, 조사된 상은 렌즈(111)를 통해 패널(112)의 일 영역에 도달한 뒤 디스플레이 패널(12)의 일면에 부착된 스플리터(13, splitter)에 의해 상이 전반사(total　reflection)되고, 다시 눈 앞쪽의 스플리터(13)에 의하여 상(114)이 사용자의 눈에 보여질 수 있다.

또한, 디스플레이부(103)는 이미지 취득부(205)에 의하여 획득한 이미지 또는 영상을 증강현실, 가상현실 또는 혼합현실 이미지로 표시할 뿐만 아니라, 상기 획득된 이미지 관련 다양한 정보들을 표시할 수 있다. 예를 들어, 의료진이 수술 시 환자의 혈관을 잘랐을 경우, 안전하게 혈관을 연결하기까지 남은 시간이 대략 60.0초 남았음을 제2 이미지(220)로 제1 이미지(210)와 함께 중첩하여 표시할 수 있다.

이미지 취득부(205)에서 획득한 증강현실, 가상현실 또는 혼합 이미지(이하, 오버레이 이미지), 예컨대, 초음파 스캐너로 스캐닝한 이미지는 시선맞춤대상체(200)에 따라 지정된 특정 위치에 디스플레이(103)를 통해 오버레이 된다. 예를 들면, 이미지 취득부(205)에서 획득한 이미지는 초음파 검진을 받는 산모의 초음파 영상일 수 있다. 이 경우, 스마트 안경 표시 장치(100)는 시선맞춤대상체(200)(도 4의 실시예에서는 초음파 스캐너)가 시선 방향으로부터 특정 범위(250) 내에 있는지를 인식한다. 그리고, 시선맞춤대상체(200)에 따른 특정 위치(예컨대, 초음파 스캐너의 경우, 초음파 스캐너의 초음파 조사면)에 취득부(205)에서 획득한 오버레이 이미지가 중첩되도록 한다.

이미지는 시선 검출 기반의 스마트 안경 표시 장치(100)의 좌측 렌즈 및 우측 렌즈에 표시된다. 이때, 좌측 렌즈 및/또는 우측 렌즈는 동일한 이미지를 표시할 수 있다. 이미지는 도 1b에 도시된 바와 같이, 동일 물체에 대한 좌안 이미지(T1') 및 우안 이미지(T1')가 표시되어 사용자가 입체 형상(3D)으로 가상 오브젝트(T1)를 인식할 수도 있다.

또한, 이미지는 사용자의 시선 움직임에 기초하여 디스플레이부(103) 내에서 이동할 수 있다. 이와 관련된 구체적인 설명은 추후 설명하기로 한다.

화면합성부(104)는 이미지 취득부(205)에서 획득한 이미지 또는 영상을 적절한 위치에 배치 및 합성할 수 있다. 화면합성부(104)는 외부 카메라(12)에서 획득한 영상을 통하여 시선맞춤대상체(200)의 위치를 확인하고, 시선 방향과 연동하여 오버레이 이미지가 디스플레이 되어야 할 위치를 연산한다. 도 4의 초음파 스캐너 실시예에서, 오버레이 이미지가 디스플레이될 위치는 초음파 스캐너의 초음파 조사면이다. 화면합성부(104)는 초음파 영상을 상기 연산된 위치에 표시하도록 디스플레이(103)을 제어할 수 있다. 이 경우, 의사는 산모의 배를 초음파로 스캐닝할 때, 초음파 조사면을 보면서 스캐닝한 화면이 잘 나오는지도 확인할 수 있다. 따라서, 의사는 시선을 분산시키지 않으면서도 태아의 위치, 원하는 부분이 잘 스캔될 수 있도록 조정하면서 초음파 검진을 할 수 있다.

스마트 안경 표시 장치(100)이 가상 현실을 보여주는 HMD인 경우에 화면합성부(104)는 외부 카메라(12)의 영상과 이미지 취득부(205)의 영상을 중첩시켜서 디스플레이 할 수 있다. 단 이 경우에도 시선 방향과 연동하여 오버레이 이미지가 디스플레이 되어야 할 위치를 연산한 후 외부 카메라(12)의 영상과 이미지 취득부(205)의 영상을 중첩시켜서 디스플레이한다.

제어부(105)는 동공 센싱부(101), 시선 검출부(102), 디스플레이부(103) 및 화면합성부(104)에 대한 전반적인 동작을 제어하는 기능을 수행할 수 있다.

이하에서는 도3a 및 도3b를 참조하여 화면합성부(104)가 동공의 위치 및 측정된 거리들(d1 및 d2)로부터 추정한 거리를 보정하는 방법에 대하여 상세하게 기술한다.

구체적으로, 도 3a에 도시된 바와 같이, 화면합성부(104)는 캘리브레이션 모드에서 디스플레이(103)를 통하여 사용자에게 원형 형상의 가이드 영역(TR)을 표시한 임의의 화면(300)을 제공한다. 여기서, 캘리브레이션 모드는 사용자의 시선 방향을 측정하는 모드로서, 이다. 사용자는 임의의 화면(300)에 표시된 가이드 영역(TR)을 따라 최초 시작 지점(SP)에서 가이드 영역(TR)의 가장자리를 따라 시계방향(사용자 기준, 한편, 반시계방향일 수 있음)으로 시선을 이동시키도록 안내받는다.

이때, 사용자가 가이드 영역(TR)을 따라 시선 방향을 이동시킬 때에 시선 검출부(102)는 사용자의 시선 방향을 검출한다. 이 경우, 도 3b에 도시된 바와 같이, 이상적인 사용자의 시선(ideal)은 이상적인 원형 궤도를 갖지만, 실제 사용자의 시선(actual)은 이상적인 사용자의 시선(ideal) 보다 가로 폭이 좁고, 세로 폭이 넓은 타원형 궤도를 갖도록 형성된다. 다시 말해, 사용자가 편하게 응시할 수 있는 시선 방향은 통상적으로 정확한 원형 형태가 아닌 타원 형태를 가지게 된다. 이 경우, 화면합성부(104)는 캘리브레이션 모드에서 측정한 실제 시선 방향에 기초하여 시선 보정 기준값을 구한다. 이 경우, 시선 보정 기준 값은 예컨대, 이심률, 편평도, 타원의 초점 위치 등 타원을 대표할 수 있는 값을 포함할 수 있다.

따라서, 본 발명에 따른 스마트 안경 표시 장치(100)는 시선 검출부(102)에서 검출한 시선 방향을 시선 보정 기준 값에 기초하여 보정할 수 있다. 따라서, 사용자가 실제 바라보고자 의도한 시선 방향을 정확하게 추정해 낼 수 있으며, 화면 처리에 있어서 오버레이 이미지의 표시위치의 정확성이 현저하게 증가하게 된다.

본 실시예에서는 외부 카메라(12)를 통하여 획득한 이미지에 기초하여 시선맞춤대상체(200)의 위치를 파악하였지만, 본 발명은 이에 제한되지 않는다. 예컨대, 화면합성부(104)는 시선맞춤대상체(200)의 적어도 3개의 위치에 탑재한 비콘(Beacon, 260)을 이용하여 시선맞춤대상체(200)의 위치를 파악할 수도 있다. 즉, 화면합성부(104)는 시선맞춤대상체(200)에 탑재된 비콘(260) 신호를 주기적으로 검출하여, 시선맞춤대상체(200)의 위치를 파악할 수 있다.

이하에서는 도 5를 참조하여 본 발명에 따른 또 다른 실시예에 대하여 설명한다.

도 5의 실시예에서는 시선맞춤대상체(200)는 초음파 스캐너의 일면에 장착된 광조사부(260)에서 조사하는 광 일 수 있다. 예컨대, 의사가 초음파 스캐너를 통하여 검진을 하는 중에 전체적인 초음파 영상을 원하는 곳에 보고 싶은 경우, 의사는 초음파 스캐너에 탑재된 광조사부(260)를 켜서 원하는 위치를 표시하게 된다.

이 경우, 외부카메라(12)를 통하여, 광조사부(260)에서 조사하는 광이 센싱되는 경우에는 도 5에 도시된 바와 같이, 광이 조사된 지점을 중심으로, 화면 경계점(P1-P4, P2-P3)을 연산한다. 여기서, 적외선 레이저가 조사된 지점을 기준점이라고 가정할 경우, 상기 기준점을 중심으로 대각선 방향으로 일정 간격 이격된 네 지점(P1, P2, P3, P4)을 화면 경계점으로 추출할 수 있다. 이에 따라, 화면합성부(104)는 시선맞춤대상체(200)인 광조사부(260)에서 조사하는 광을 기준으로 오버레이 이미지(210)의 위치를 연산할 수 있다.

한편, 도 2a는 일 실시예로서, 당업자의 필요에 따라 일부 구성 요소를 삭제하거나, 새로운 구성 요소를 추가할 수 있다. 예를 들면, 시선 검출 기반의 스마트 안경 표시 장치(100)와 유무선으로 연결되는 컨트롤러를 더 포함할 수도 있다..

이하에서는 도 6를 참조하여 본 발명에 따른 또 다른 실시예에 대하여 설명한다.

도 6의 실시예에서는 시선맞춤대상체(200)는 메스 및 수술 대상자의 얼굴일 수 있다. 또한, 이 경우에 오버레이 이미지(210)는 예정된 수술선 일 수 있다. 예컨대, 의사가 메스를 들고, 환자의 얼굴을 절개하는 수술을 진행할 경우에 수술선 이미지가 환자의 얼굴에 오버레이 될 수 있다. 이 경우, 수술자의 시선 방향의 일정 범위 내에 환자의 얼굴과 메스가 외부 카메라(12)에 의하여 촬영된 영상 중 검출되는 경우에, 환자의 얼굴 위에 오버레이 이미지인 수술선이 중첩되어 표시되게 된다. 즉, 시선 맞춤 대상체(200)는 복수개 일 수 있으며, 여러 조건(메스와 수술 대상자의 얼굴의 적어도 일부가 검출되는 경우)을 만족시킬 때에 화면합성부(104)는 시선맞춤대상체(200)인 수술 대상자의 얼굴을 기준으로 오버레이 이미지(210)의 위치를 연산할 수 있다. 또는 이 경우, 오버레이 이미지(210)는 참고를 위한 상황(집도되는 칼이 피부에 들어가는 깊이가 적절한지에 대한 정보)에 대한 정보가 될 수도 있다. 또는 수술 중 절대로 건드리면 안되는 신경/혈관의 위치 등이 오버레이 이미지(210)로서 표시될 수도 있다. 이때, 오버레이(혹은 중첩)되는 오버레이 이미지(210)는 영상의 블럭서치(block search)나 엣지(edge) 검출 방식 등을 포함한 기존에 알려진 영상처리 방법에 의해 표시될 수 있다.

따라서, 본 발명은 시선 방향에 기초하여 움직이는 오버레이 이미지를 스마트 안경의 특정영역에 표시함으로써 의료진의 시선을 분산시키지 않고 수술이나 검진 등의 본연의 작업에만 집중할 수 있게 한다.

이하에서는, 도 7을 참조하여, 본 발명의 일 실시예에 따른 시선 검출 기반 스마트 안경의 표시 방법에 대하여 상세히 설명한다.

먼저, 본 발명의 실시예에 따른 스마트 안경의 표시 방법은, 복수의 거리측정부(11)에 의하여 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하는 거리측정단계(S110)를 포함한다.

이 경우, 시선검출부(102)는 각 거리측정부(11)에서 측정한 거리가 안저로부터 반사되어 나온 것인지, 또는 안구 표면에서 반사된 것인지, 즉, 상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출할 수 있다. (시선검출단계, S120)

한편, 스마트 안경의 표시 방법은 오버레이 이미지를 획득한다. 오버레이 이미지는 앞서 설명한 바와 같이, 초음파 스캐너, 외부 카메라, 별도의 연결된 카메라, 또는 이미지/영상을 저장하는 서버로부터 획득 가능하다. (이미지획득단계, S130) 이 경우, 시선검출부(102)는 상기 복수의 거리측정부 각각에서 측정된 거리가 제1 거리인지 또는 제 2 거리인지의 정보에 기초하여 동공의 위치를 센싱할 수 있다. 또는, 시선검출부(102)는 상기 복수의 거리측정부 중 일부의 거리측정부에서 측정된 제1 거리에 의하여 상기 안구에서 동공이 향하는 방향을 센싱하여 시선 방향을 검출할 수 있다.

화면합성부(104)는 상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산할 수 있다. (표시위치연산단계, S140) 이 때, 화면합성부(104)는 상기 디스플레이부(103)에 의해 원형 형상의 가이드 영역을 포함한 화면을 제공한 후, 사용자가 제공된 가이드 영역을 따라 시선을 이동하면, 사용자의 시선 방향을 검출하고, 가이드 영역에 따라 검출된 시선 방향에 기초하여 시선 보정 기준값을 구할 수 있다.

한편, 상기 표시위치연산단계(S140)는 상기 시선맞춤대상체가 조사하는 광을 센싱하고, 상기 오버레이 이미지를 표시하기 위한 기준점을 추출하는 단계를 포함할 수 있다. 이 경우, 상기 표시위치연산단계는 상기 기준점으로부터 일정 간격 이격된 지점을 화면 경계점으로 추출하는 단계를 더 포함할 수 있다.

마지막으로 스마트 안경 형태의 디스플레이부(103)는 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하는 표시단계를 포함할 수 있다.

따라서, 본 발명에 따르면, VR, AR 및 MR을 활용하여 의사가 원하는 시점 및 원하는 지점에 의사의 시선을 분산시키지 않고 필요한 정보를 디스플레이 할 수 있는 장치를 제공할 수 있다.

또한, 본 발명은 시선 움직임을 기반으로 움직이는 증강현실 이미지를 사용자가 직관적으로 편하게 느끼는 특정영역에 표시하여 사용자가 가상의 오브젝트를 통해 환자의 환부 또는 신체 내부를 시선 분산 없이 집중력 있게 파악할 수 있는 효과가 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 시선 방향 기반의 스마트 안경 표시 장치
10: 동공 11: 거리측정부
12: 촬영유닛 LL: 레이저 조사선
200: 시선맞춤대상체 210: 오버레이 이미지

Claims (19)

1. 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하는 복수의 거리측정부;
   상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하는 시선검출부;
   오버레이 이미지를 획득하는 이미지 취득부;
   상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하는 화면합성부; 및
   상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하며 스마트 안경 형태의 디스플레이부를 포함하는, 시선 검출 기반의 스마트 안경 표시 장치.
2. 제1항에 있어서,
   상기 시선검출부는 상기 복수의 거리측정부 각각에서 측정된 거리가 제1 거리인지 또는 제 2 거리인지의 정보에 기초하여 동공의 위치를 센싱하는, 시선 검출 기반의 스마트 안경 표시 장치.
3. 제1항에 있어서,
   상기 시선검출부는 상기 복수의 거리측정부 중 일부의 거리측정부에서 측정된 제1 거리에 의하여 상기 안구에서 동공이 향하는 방향을 센싱하여 시선 방향을 검출하는, 시선 검출 기반의 스마트 안경 표시 장치.
4. 제1항에 있어서,
   상기 복수의 거리측정부의 적어도 일부는 상기 디스플레이부를 지지하는 지지대를 따라 배치되는, 시선 검출 기반의 스마트 안경 표시 장치.
5. 제1항에 있어서,
   상기 디스플레이부는 원형 형상의 가이드 영역을 포함한 화면을 제공하고, 상기 화면합성부는 제공된 가이드 영역을 따라 시선이 이동되면, 사용자의 시선 방향을 검출하고, 가이드 영역에 따라 검출된 시선 방향에 기초하여 시선 보정 기준값을 구하는, 시선 검출 기반의 스마트 안경 표시 장치.
6. 제5항에 있어서,
   상기 시선 보정 기준 값은 이심률, 편평도 또는 타원의 초점 위치를 포함하는, 시선 검출 기반의 스마트 안경 표시 장치.
7. 제1항에 있어서,
   상기 화면합성부는 상기 시선맞춤대상체가 조사하는 광을 센싱하고, 상기 오버레이 이미지를 표시하기 위한 기준점을 추출하는, 시선 검출 기반의 스마트 안경 표시 장치.
8. 제7항에 있어서,
   상기 화면합성부는 상기 기준점으로부터 일정 간격 이격된 지점을 화면 경계점으로 추출하는, 시선 검출 기반의 스마트 안경 표시 장치.
9. 제1항에 있어서,
   상기 디스플레이부는 상기 오버레이 이미지를 3D입체 형상으로 표시하는, 시선 검출 기반의 스마트 안경 표시 장치.
10. 제1항에 있어서,
    상기 디스플레이부는 마이크로디스플레이, 렌즈, 패널, 및 스플리터를 포함하는, 시선 검출 기반의 스마트 안경 표시 장치.
11. 복수의 거리측정부에 의하여 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하는 거리측정단계;
    상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하는 시선검출단계;
    오버레이 이미지를 획득하는 이미지획득단계;
    상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하는 표시위치연산단계; 및
    스마트 안경 형태의 디스플레이부를 통해 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하는 표시단계를 포함하는, 시선 검출 기반의 스마트 안경 표시 방법.
12. 제11항에 있어서,
    상기 시선검출단계는 상기 복수의 거리측정부 각각에서 측정된 거리가 제1 거리인지 또는 제 2 거리인지의 정보에 기초하여 동공의 위치를 센싱하는, 시선 검출 기반의 스마트 안경 표시 방법.
13. 제11항에 있어서,
    상기 시선검출단계는 상기 복수의 거리측정부 중 일부의 거리측정부에서 측정된 제1 거리에 의하여 상기 안구에서 동공이 향하는 방향을 센싱하여 시선 방향을 검출하는, 시선 검출 기반의 스마트 안경 표시 방법.
14. 제11항에 있어서,
    상기 디스플레이부가 원형 형상의 가이드 영역을 포함한 화면을 제공하는 단계;
    제공된 가이드 영역을 따라 사용자의 시선이 이동되면, 사용자의 시선 방향을 검출하고, 가이드 영역에 따라 검출된 시선 방향에 기초하여 시선 보정 기준값을 구하는 단계;를 더 포함하는,
    시선 검출 기반의 스마트 안경 표시 방법.
15. 제14항에 있어서,
    상기 시선 보정 기준값은 이심률, 편평도 또는 타원의 초점 위치를 포함하는, 시선 검출 기반의 스마트 안경 표시 방법.
16. 제11항에 있어서,
    상기 표시위치연산단계는 상기 시선맞춤대상체가 조사하는 광을 센싱하고, 상기 오버레이 이미지를 표시하기 위한 기준점을 추출하는 단계를 포함하는, 시선 검출 기반의 스마트 안경 표시 방법.
17. 제16항에 있어서,
    상기 표시위치연산단계는 상기 기준점으로부터 일정 간격 이격된 지점을 화면 경계점으로 추출하는 단계를 더 포함하는, 시선 검출 기반의 스마트 안경 표시 방법.
18. 제11항에 있어서,
    상기 표시단계는 상기 오버레이 이미지를 3D입체 형상으로 표시하는 단계를 포함하는, 시선 검출 기반의 스마트 안경 표시 방법.
19. 복수의 거리측정부에 의하여 안저를 포함하는 안구에 레이저를 조사하여 상기 안저부터의 제1 거리 및 상기 안구의 표면으로부터의 제2 거리를 측정하고,
    상기 제1 거리 및 상기 제2 거리에 기초하여 시선 방향을 검출하고,
    오버레이 이미지를 획득하고,
    상기 시선 방향에서 일정 범위 내에 있는 시선맞춤대상체를 인식하고, 상기 시선맞춤대상체에 따라 지정된 위치에 상기 오버레이 이미지를 디스플레이할 수 있도록 위치를 연산하고,
    스마트 안경 형태의 디스플레이부를 통해 상기 연산된 위치에 상기 오버레이 이미지를 디스플레이 하는 명령어들을 저장하는, 컴퓨터 판독 가능 기록매체.

Images