KR101782476B1 - 사용자 시선 기반 디스플레이 출력 자동 회전 방법 - Google Patents

Abstract

본 발명은 사용자 시선을 이용하여 디스플레이 장치의 출력 방향을 자동으로 회전하는 방법에 관한 것이다.
본 발명에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법은 자동회전 기능이 실행되는 경우, 카메라를 구동하여 사용자의 시선 정보를 획득하고 사용자 시선 좌표축을 생성하는 단계와, 사용자 시선 좌표축 및 카메라 좌표축의 회전각을 계산하는 단계 및 계산된 회전각을 고려하여 디스플레이의 출력 방향을 결정하는 단계를 포함하여 구성된다.

Description

사용자 시선 기반 디스플레이 출력 자동 회전 방법{METHOD FOR ROTATING OUTPUT OF DISPLAY AUTOMATICALLY BASED ON USER'S EYE GAZE}

본 발명은 사용자 시선을 이용하여 디스플레이 장치의 출력 방향을 자동으로 회전하는 방법에 관한 것이다.

종래 기술에 따른 휴대전화 또는 태블릿 PC 등은 사용자 편의를 위하여 자동 화면 회전 기능을 제공한다.

이러한 자동 화면 회전 기능이 활성화되면, 가로 또는 세로 방향인 휴대단말기의 자세에 따라 가로모드 또는 세로모드로 화면상의 정보가 표시된다.

그러나, 종래 기술에 따르면 휴대 단말기가 회전되더라도, 평평한 곳에서 천천히 회전되는 경우에는 이러한 자동 화면 회전 기능이 원활히 제공되지 아니하는 문제점이 있다.

또한, 종래 기술에 따르면 예를 들어 사용자가 휴대 단말기를 이용하며 누워있거나, 비스듬히 앉아있는 자세를 취하는 경우, 사용자의 의도와 상관 없이 화면이 회전되어 사용에 불편함을 초래하는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 사용자 시선 정보를 기반으로 디스플레이 장치의 출력을 자동으로 회전하여, 사용자 의도에 부합하는 디스플레이 자동 회전 방법을 제공하는 데 목적이 있다.

본 발명에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법은 자동회전 기능이 실행되는 경우, 카메라를 구동하여 사용자의 시선 정보를 획득하고 사용자 시선 좌표축을 생성하는 단계와, 사용자 시선 좌표축 및 카메라 좌표축의 회전각을 계산하는 단계 및 계산된 회전각을 고려하여 디스플레이의 출력 방향을 결정하는 단계를 포함하여 구성된다.

본 발명에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법은 개인용 휴대단말기의 화면 정보를 시청하는 사용자의 시선 방향을 정확히 판별하고, 이를 고려하여 디스플레이 출력 방향을 자동으로 회전시킴으로써, 사용자 의도에 부합하는 디스플레이 자동 화면 회전 기능을 제공하여 사용자 편의성을 증대시키는 효과가 있다.

또한, 본 발명에 따르면 카메라가 기본적으로 포함되는 기존 개인용 휴대 단말기에 별도의 추가 비용 없이 신호 처리 알고리즘만을 추가함으로써, 사용자 시선을 기반으로 한 디스플레이 자동 화면 회전 기능을 구현하는 것이 가능한 효과가 있다.

본 발명에 따르면 디스플레이 장치로부터 기설정된 거리 내에 위치한 것으로 판단된 사용자의 응시 방향을 토대로 자동 화면 회전 기능을 제공하고, 디스플레이 장치의 각 방향으로의 회전을 수행하기 위한 임계 각도 영역을 명확히 구분 지음으로써, 불필요한 회전 동작 또는 회전 오동작을 방지하는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래 기술에 따른 개인용 단말기의 디스플레이 출력 회전 방법을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법을 나타내는 순서도이다.
도 3은 도 2의 S400단계를 상세히 도시하는 상세 순서도이다.
도 4는 본 발명의 실시예에 따른 카메라 좌표축 및 사용자 시선 좌표축의 회전각 산출을 나타내는 개념도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

이하에서는 본 발명의 실시예를 설명하기에 앞서, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 살펴보기로 한다.

도 1은 종래 기술에 따른 개인용 단말기의 디스플레이 출력 회전 방법을 나타내는 예시도이다.

도 1에 따르면, 자동회전 기능을 OFF 하였을 때는 개인용 단말기의 상하 회전과 상관 없이, 항상 기설정된 A 방향이 위쪽 방향이 되도록 컨텐츠가 디스플레이된다.

자동회전 기능이 ON되면, 개인용 단말기의 상하 방향을 센서가 인식하고, 회전 후 단말기의 위쪽 방향과 일치하도록 그 디스플레이 출력을 A, B, C, D 중 어느 하나의 방향이 위쪽이 되도록 컨텐츠를 디스플레이한다.

그러나 종래 기술에 따르면, 단말기가 수평으로 놓여져 있는 상태에서 회전되는 경우 등 단말기가 상하 방향을 인식하지 못하는 경우에는 사용자가 의도하는 방향으로 디스플레이를 출력하지 못하는 문제점이 있다.

또한, 자동회전 기능이 ON되어 있는 경우, 사용자가 개인용 단말기를 이용하여 누워서 또는 비스듬히 앉아서 컨텐츠를 시청하는 경우에는, 사용자의 의도와는 달리 컨텐츠가 자동 회전되어 사용자 편의성을 떨어뜨리는 문제점이 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 이하에서는 도 2 내지 도 4의 상세한 설명으로서 본 발명의 바람직한 실시예를 서술하기로 한다.

도 2는 본 발명의 실시예에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법을 나타내는 순서도이며, 도 3은 도 2의 S500단계 이후의 디스플레이 출력 방향 결정 단계(S600)를 보다 상세히 도시하는 상세 순서도이다.

본 발명의 실시예에 따른 사용자 시선 기반 디스플레이 출력 자동 회전 방법은 자동회전 기능이 실행되는 경우, 카메라를 구동하여 사용자의 시선 정보를 획득하고 사용자 시선 좌표축을 생성하는 단계(S400)와, 사용자 시선 좌표축 및 카메라 좌표축의 회전각을 계산하는 단계(S500) 및 계산된 회전각을 고려하여 디스플레이의 출력 방향을 결정하는 단계(S600)를 포함하여 구성된다.

S400 단계에서 카메라를 구동하기에 앞서, 자동회전 기능이 실행되는지 여부를 판단하고(S100), 실행되지 않은 경우에는 기설정된 방향이 위쪽 방향이 되도록 컨텐츠를 디스플레이 한다(S150).

이 때 기설정된 방향이란 도 4의 A방향이 위쪽 방향이 되도록 컨텐츠를 디스플레이하거나, 최근 마지막으로 시청이 이루어진 방향(예컨대, 화면 활성화 버튼이 OFF 되기 전 B 방향이 위쪽 방향이 되도록 컨텐츠 시청이 이루어진 경우, B방향)이 위쪽 방향이 되도록 그 히스토리 정보를 저장하여 두었다가 그대로의 방향으로 컨텐츠를 디스플레이하는 것이 가능하다.

S100 단계에서 자동회전 기능이 ON된 것으로 확인된 경우, 카메라를 구동하여 개인용 단말기로부터 사용자의 얼굴이 얼마만큼의 거리를 두고 이격되어 있는지를 판별한다(S200).

본 발명에 따르면, 일정한 거리 내에 있는 사용자의 시선 정보를 획득하고, 이를 기반으로 자동 화면 회전 기능을 제공하게 되는데, 이는 자동회전 기능이 ON 된 경우에도 일정한 거리 내에서만 사용자의 시선 정보를 기반으로 한 자동 회전 기능이 제공되도록 함으로써, 사용자의 의도를 보다 정확히 인지하고 이에 부합하는 자동 회전 기능을 제공할 수 있도록 하기 위함이다.

S300 단계는 S200 단계에서 판별된 거리가 기설정 거리 이내인지 판단하여, 기설정된 거리 이내에 포함되지 않는 경우 출력 방향을 유지(S650)하고, 기설정된 거리 이내에 포함되는 경우에는 사용자의 시선 정보를 획득하고 사용자 시선 좌표축을 생성하는 단계(S400)가 뒤이어 수행된다.

본 발명의 실시예에 따른 일정한 거리 내에 있는지 여부에 대한 판별 단계(S300)는, 사용자가 단말기를 손에 쥐고 있는 경우이거나, 단말기로부터 사용자의 얼굴이 기설정된 거리(예: 1미터) 이내에 있는 경우에 일정한 거리 내에 있다고 판별하게 된다.

일정한 거리 내에 있는지 여부에 대한 판단 기준으로서, 사용자가 단말기를 쥐고 있는지 여부에 대한 파악은, 일 실시예로서 단말기 케이스에 정전기 센서를 부착하고, 정전기 센서의 전압 변화를 통하여 사용자가 단말기를 쥐고 있는지 여부를 확인하게 된다.

또한, 단말기로부터 사용자의 얼굴이 기설정된 거리 내에 있는지 파악하는 방법으로는, 근접 센서를 이용하여 그 이격 거리를 측정하거나, 카메라가 촬영한 영상에서 카메라 화소 별 얼굴 이미지의 크기로 그 이격 거리를 판단하거나, 듀얼 카메라를 사용하는 경우에는 시차맵을 통하여 그 이격 거리를 측정하는 것이 가능하다.

본 발명의 실시예에 따르면, 개인용 단말기(100, 휴대전화 또는 태블릿)의 출력 화면 자동 회전 기능이 ON 된 경우, 개인용 단말기의 전면에 배치된 카메라(110)를 이용하여, 획득된 카메라 화면(111) 내의 카메라 좌표축(112)과 사용자의 시선(113)의 틀어진 각도를 측정하여, 자동적으로 사용자 의도에 부합하여 디스플레이 출력 방향을 결정한다.

S100 단계에서 출력 화면 자동 회전 기능이 On된 경우, 개인용 단말기의 전면에 배치된 카메라(110)는 전면에 대하여 촬상을 수행하여, 영상 정보를 획득한다.

S400 단계는 사용자 시선을 획득하여, 사용자 시선 좌표축을 생성하는 단계로서, 기구비된 얼굴 인식 알고리즘을 이용하여, 영상 내 인식된 얼굴 내의 두 눈을 잇는 가상의 선을 Xe좌표축으로, 이에 직교하며 두 눈 사이의 중점을 지나는 가상의 선을 Ye좌표축으로 생성하며, 이는 도 4의 사용자 시선 좌표축(114)로 도시된다.

S500 단계는 S400 단계에서 생성된 사용자 시선 좌표축(114)과, 기설정되어 고정된 카메라 좌표축(112) 사이의 회전각 Θ를 계산한다.

본 발명의 실시예에 따른 S600 단계는 회전각 Θ 의 크기에 따라, 개인용 단말기의 디스플레이 출력 방향을 A, B, C, D 중 어느 하나의 방향으로 출력하도록 제어한다.

도 3은 S500 단계 이후의 프로세스를 상세히 도시하는 순서도로서, 본 발명의 실시예에 따르면 회전각 Θ가 속하는 범위에 따라, 그 출력 방향이 아래와 같이 결정된다.

회전각 Θ가 330 ° 보다 크고 30 ° 보다 작은 경우, 개인용 단말기는 디스플레이에 표출되는 컨텐츠의 방향을 도 4의 A방향이 되도록 출력한다(S610).

회전각 Θ가 60 ° 보다 크고 120 ° 보다 작은 경우, 개인용 단말기는 디스플레이에 표출되는 컨텐츠의 방향을 도 4의 B방향이 되도록 출력한다(S620).

회전각 Θ가 150 ° 보다 크고 210 ° 보다 작은 경우, 개인용 단말기는 디스플레이에 표출되는 컨텐츠의 방향을 도 4의 C방향이 되도록 출력한다(S630).

회전각 Θ가 240 ° 보다 크고 300 ° 보다 작은 경우, 개인용 단말기는 디스플레이에 표출되는 컨텐츠의 방향을 도 4의 D방향이 되도록 출력한다(S640).

회전각 Θ가 전술한 범위 내에 속하지 아니하는 경우에는, 디스플레이 출력 방향을 변경하지 아니하고, 이전에 표출되는 방향대로 영상을 출력한다(S650).

이러한 회전각 의 크기를 구분하는 영역은 전술한 실시예에 한정되지 아니하고, 민감도 등에 따라 그 범위가 조절되는 것이 가능하다.

종래 기술에 따른 경우, 사용자가 개인용 단말기를 이용하여 옆으로 누워서 컨텐츠를 시청하는 경우(본 발명의 실시예에 따르면 카메라 좌표축과 사용자 시선 좌표축이 일치하는 경우, 즉 회전각 Θ가 0인 경우)를 예로 들면, 종래 기술에 따른 자동회전 방법은 모션 센서를 이용하여 개인용 단말기를 가로모드로 설정한다.

그러나, 사용자의 시선은 A방향이 위쪽이 되도록 컨텐츠를 시청하는 바, 컨텐츠의 디스플레이 방향(B 방향 또는 D방향)이 사용자의 시선과 90도 각도를 이루어 사용자 의도에 부합하지 않는 디스플레이가 수행된다.

종래 기술에 따르면, 이러한 문제점을 해결하기 위해서는 그 시청 상황에 따라 사용자가 일일이 자동회전 기능의 On/Off를 설정하여 주어야 하는 바, 사용자 편의성이 크게 떨어진다.

그러나, 본 발명의 실시예에 따르면, 컨텐츠를 시청하는 사용자의 시선 정보를 획득하고, 이를 고려하여 디스플레이의 표출 방향을 설정하여 제공하므로, 종래 기술에 따른 모션 센서를 통한 모드 변경보다 사용자 의도에 더욱 부합하는 디스플레이를 수행하는 것이 가능하다.

또한, 본 발명의 실시예에 따르면 자동회전 기능이 ON된 경우 무조건 모션 센서를 이용하여 자동회전 기능을 수행하는 것이 아니라, 단말기로부터 사용자가 일정 거리 내에 있는 경우에 한하여 자동 회전 기능을 제공함으로써, 사용자의 의도에 보다 부합하는 자동 회전 기능을 제공하고 회전 오동작 또는 불필요한 회전 동작을 방지하는 것이 가능한 효과가 있다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110:카메라 111: 카메라 화면
112: 카메라 좌표축 113: 사용자의 시선
114: 사용자 시선 좌표축 120: 디스플레이

Claims (9)

1. (a) 자동회전 기능이 실행되는 경우 카메라를 구동하여 영상을 획득하는 단계;
   (a-1) 사용자와 단말기 간의 이격 거리를 판별하고, 상기 이격 거리가 기설정된 거리 이내에 해당하는지 여부를 확인하되, 정전기 센서, 근접 센서, 상기 카메라가 촬영한 영상에서 카메라 화소 별 얼굴 이미지의 크기, 시차맵 중 적어도 어느 하나를 이용하여 상기 이격 거리를 판단하고, 상기 이격 거리가 기설정된 거리 이내에 해당하지 않는 경우 기존의 출력 방향을 유지시키고, 상기 이격 거리가 기설정된 거리 이내일 경우 자동 회전 기능을 활성화하는 단계;
   (b) 상기 획득된 영상 내에서 사용자 시선 정보를 획득하고, 이를 이용하여 사용자 시선 좌표축을 생성하는 단계;
   (c) 카메라 좌표축 및 상기 생성된 사용자 시선 좌표축이 이루는 회전각을 계산하는 단계; 및
   (d) 상기 계산된 회전각을 고려하여 디스플레이 출력 방향을 결정하는 단계
   를 포함하는 사용자 시선 기반 디스플레이 출력 자동 회전 방법.
   
2. 제1항에 있어서,
   상기 (a) 단계 이전에 자동회전 기능의 실행 여부를 판단하는 단계를 포함하고, 상기 자동회전 기능의 실행이 이루어지지 않는 경우에는 기설정된 고정 출력 방향으로 상기 디스플레이 출력을 수행하는 것
   인 사용자 시선 기반 디스플레이 출력 자동 회전 방법.
   
3. 제2항에 있어서,
   상기 기설정된 고정 출력 방향은 상기 카메라가 장착된 단말기의 베젤의 윗면 방향 또는 최근 저장된 시청 이력에 따른 출력 방향인 것
   을 특징으로 하는 사용자 시선 기반 디스플레이 출력 자동 회전 방법.
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 (b) 단계는 인식 알고리즘을 통하여 사용자의 양안의 위치 정보를 획득하고, 상기 양안을 잇는 가상의 선 및 상기 양안 사이의 중심을 지나고 상기 가상의 선에 직교하는 선을 이용하여 상기 사용자 시선 좌표축을 생성하는 것
   인 사용자 시선 기반 디스플레이 출력 자동 회전 방법.
   
9. 제1항에 있어서,
   상기 (d) 단계는 상기 계산된 회전각에 대하여 기설정된 범위 중 어느 범위에 속하는지 여부를 판정하고, 그 판정 결과에 따라 디스플레이의 외곽면 중 어느 하나의 외곽면을 기준으로 한 상기 디스플레이의 출력 방향을 결정하며,
   상기 계산된 회전각이 상기 기설정된 범위에 속하지 않는 경우 상기 디스플레이 출력 방향을 변경하지 않고 이전의 디스플레이 출력 방향을 유지시키는 것
   인 사용자 시선 기반 디스플레이 출력 자동 회전 방법.

Images