KR101360322B1 - 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 - Google Patents

Abstract

다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치는 기존의 터치 기반의 전자칠판에 카메라 기반 손모양 검출을 통하여 새로운 원격 제어 방법을 제공하는 장치를 어떻게 효과적으로 구성하는지를 제시하고, 또한 이를 실시간으로 효과적으로 처리하기 위하여 관심영역 설정 및 계층적인 손모양 검출 방법 등에 의하여 계산량을 최소화하는 방법을 제시하여 실시간으로 전자칠판을 효과적을 제어하는 방법을 제시한다.

Description

다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법{APPARATUS AND METHOD FOR CONTROLLING ELECTRIC BOARDS USING MULTIPLE HAND SHAPE DETECTION AND TRACKING}

본 발명은 다양한 손모양의 검출 및 이에 대한 추적을 통하여, 기존의 터치 방식으로만 제공되는 전자칠판 제어에 원격제어 기능을 제공함으로 학습을 전달하는 교수자가 다양한 공간 안에서 전자칠판을 제어할 수 있는 기능을 제공하는 장치 및 그 방법에 관한 것이다.

최근에 교육시설을 개선하고자 하는 국가적인 지원과 IT와 결합한 스마트 교육 환경을 구성하고자 하는 수요를 바탕으로, 전자칠판 시장이 크게 팽창하고 있다. 전자칠판 관련 시장은 콘텐츠 시장을 포함할 경우, 1조원 이상의 큰 시장을 형성하고 있으며, 앞으로 더욱 시장이 성장할 것으로 보인다. 이러한 전자 칠판의 핵심 기술은 어떻게 사용자에게 대형스크린에서 효과적인 상호작용을 제공할 것인가의 문제이다. 대부분의 전자칠판 제품은 이러한 문제를 해결하기 위하여 터치 기술을 적용하고 있으며, 최근에는 멀티 터치 기술이 개발되어 적용되고 있다.

제스처를 이용한 다양한 사용자 인터페이스에 대한 연구가 진행되고 있으며, 기존의 전자 칠판의 경우에 터치 인식 기술을 바탕으로 한 전자칠판의 경우에는, 실제적인 터치가 일어나지 않을 경우에는 사용자의 입력을 받을 수가 없으며, 따라서 사용자(또는 교수자)와의 상호작용에 제안이 생기게 된다. 이러한 제한을 없애기 위한 여러가지 제안들이 되고 있으나, 대부분의 경우에는 추가적인 도구나 장치가 요구되어 실제 적용에는 어려움이 있다.

본 발명은 전자칠판에 장착된 카메라를 이용하여 사용자의 다양한 손모양을 검출하고 이를 추적함으로써, 다른 도구가 없이도 전자칠판과 사용자의 상호 작용이 가능한 시스템을 제공하고자 한다.

본 발명은 일반 카메라 또는 적외선 영역의 카메라에서 사용자의 다양한 손모양을 우선 순위를 두고 검출하고, 연속적인 영상에서 손모양의 검출을 효과적으로 수행하기 위하여 검출 관심영역(ROI: Region Of Interests)을 설정하고, 설정된 관심영역을 바탕으로 한 연속적인 추적을 통한 움직임 검출과, 움직임 및 손모양을 바탕으로 전자칠판과의 효과적인 인터페이스를 제공하기 위한 방법을 제공한다.

본 발명의 일 측면에 따르면, 원격 전자칠판 제어 장치로서,

전자칠판으로부터 원격에 있는 사용자를 촬상하기 위한 카메라 영상획득부;

상기 카메라 영상획득부에 의해 획득된 영상 중 사용자의 손이 위치하는 영역을 관심영역(Region of Interest, ROI)으로 설정하는 관심영역 설정부;

상기 관심영역에 관한 계층적 영상 분석을 통해 사용자가 취한 손 모양을 검출하는 손 모양 검출부; 및

상기 손 모양 검출부에 의해 검출된 손 모양에 상응하여, 상기 전자칠판의 제어를 위한 미리 지정된 제어 이벤트를 생성하는 제어 이벤트 생성부

를 포함하는 제스처 기반의 원격 전자칠판 제어 장치가 제공된다.

일 실시예에서, 상기 생성된 제어 이벤트에 기초하여 상기 전자칠판에 관한 원격 제어를 수행하는 전자칠판 제어부를 더 포함할 수 있다.

일 실시예에서, 상기 카메라 영상획득부는,

캘리브레이션 루틴(Calibration routine)의 호출을 통해, 사용자가 자신의 위치에서 원거리에 있는 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인함으로써, 사용자가 보는 시점 상에서의 사용자의 제스처에 상응하여 적용될 스케일 값을 자동 설정할 수 있다.

일 실시예에서, 상기 카메라 영상획득부는,

상기 캘리브레이션 루틴의 수행 과정에서 사용자가 취한 미리 지정된 캘리브레이션 제스처에 관한 영상을 분석하여,

사각 형상의 전자칠판의 대각선 길이, 2개의 대각선이 교차될 때에 이루는 각의 크기, 각 꼭지점의 위치, 4개의 변 중 적어도 3개의 변의 길이 중 어느 하나 이상을 산출함으로써 사용자가 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인하고, 확인 결과에 근거하여 수평축 및 수직축에 관한 상기 스케일 값을 고정 스케일값으로 또는 위치에 따라 스케일 값을 달리하는 스케일 함수 형태로 설정할 수 있다.

일 실시에에서, 상기 카메라 영상획득부는,

PTZ(Pan-Tilt-Zoom) 제어 기능을 포함함으로써, 사용자의 상체가 영상의 중앙부에 들어오도록 카메라에 대한 상/하/좌/우 방향 중 적어도 하나 이상의 방향으로의 회동 또는 줌인(Zoom In)/줌아웃(Zoom Out)을 실행할 수 있다.

일 실시예에서, 상기 관심영역 설정부는,

기존 검출된 손 위치에 근거하여 관심영역을 설정하거나, 상기 카메라 영상획득부에 의해 획득된 이전 영상과 현재 영상을 비교한 차 영상을 이용하여 움직임이 발생된 영역을 관심영역으로 설정하거나, 또는 피부색 샘플을 이용하여 피부색이 검출되는 영역을 관심 영역으로 설정할 수 있다.

일 실시에에서, 상기 손 모양 검출부는, 미리 지정된 개개의 손 모양을 검출하기 위한 개별 손 모양 검출기를 포함하되-여기서, 상기 미리 지정된 손 모양은, 이동 커서 손 모양, 실행 손 모양, 선택 이동 손 모양 중 적어도 하나가 포함됨-,

상기 미리 지정된 개개의 손 모양은, 미리 설정된 우선 순위에 근거한 순서대로의 상기 개개의 손 모양을 검출하기 위한 계층적 단계를 거쳐 검출될 수 있다.

일 실시예에서, 상기 손 모양 검출부는,

미리 지정된 선행 제스처가 검출된 이후에 후속하여 상기 실행 손 모양이 검출되는 경우에만, 유효한 실행 손 모양의 검출로 판정할 수 있다.

일 실시예에서, 상기 손 모양 검출부는,

검출된 손 모양을 기초로 해당 손 모양에 따라 발생된 영상 내의 위치 변화량을 계산하되, 계산된 위치 변화량에 상기 설정된 스케일 값을 반영함으로써, 이미지 공간 상에서의 위치 변화가 실제 전자칠판 상에서의 움직임으로 변환될 수 있도록 할 수 있다.

본 발명의 다른 측면에 따르면, 전자칠판을 원격에서 제어하는 방법으로서,

전자칠판으로부터 원격에 있는 사용자를 촬상한 영상을 이용하여, 사용자가 자신의 위치에서 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인하고, 사용자가 보는 시점 상에서의 사용자의 제스처에 상응하여 적용될 캘리브레이션 스케일 값을 설정하는 단계;

전자칠판으로부터 원격에 있는 사용자를 촬상한 영상을 이용하여, 획득된 영상 중 사용자의 손이 위치하는 영역을 관심영역으로 설정하는 단계;

상기 관심영역에 관한 계층적 영상 분석을 통해 사용자가 취한 손 모양을 검출하는 단계;

상기 검출된 손 모양에 상응하여, 상기 전자칠판의 제어를 위한 미리 지정된 제어 이벤트를 생성하는 단계; 및

상기 생성된 제어 이벤트에 기초하여 상기 전자칠판에 관한 원격 제어를 수행하는 단계를 포함하는 전자칠판 원격 제어 방법이 제공된다.

본 발명의 실시예에 의하면, 손 검출과 손 움직임 추적을 통하여 전자칠판에 대한 제어를 터치를 하지 않고 원격으로 제어할 수 있다.

또한 본 발명의 실시예에 의하면, ROI 설정과 계층적인 손모양 검출을 통하여 수행에 필요한 시간을 최소한으로 줄일 수 있는 효과가 있다.

또한 본 발명의 실시예에 의하면, 다양한 손모양의 검출을 통하여, 커서의 이동을 통하여 메뉴나 아이콘을 선택할 수 있으며, 선택된 메뉴나 아이콘을 실행하거나 이동할 수 있고, 다양한 손모양을 통하여 선택된 지점에 대한 ZOOM IN/OUT을 수행할 수 있다.

도 1은 다양한 손모양 기반 전자칠판 제어를 간략히 예시한 블록도.
도 2는 카메라에서 얻은 영상에 대하여 캘리브레이션 및 사람의 상체 검출을 바탕으로 한 대상 영역을 재설정하는 PTZ제어 루틴에 대한 순서도.
도 3은 스캐일링 설정을 위한 선택영역의 크기를 주기 위한 캘리브레이션용 제스처의 예.
도 4는 주어진 영상으로부터 관심영역을 설정하는 과정을 보여주는 순서도.
도 5는 관심영역으로부터 다양한 손모양을 계층적으로 인식하는 과정을 나타내는 순서도.
도 6은 검출된 손모양과 이동량을 바탕으로 이벤트 발생을 나타내는 순서도.
도 7은 손검출을 위한 특징 추출에 사용된 Harr-like 특징 추출의 예.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다", "전송된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나, 직접 접속, 직접 전송될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속, 전송될 수도 있다고 이해되어야 할 것이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들를 상세히 설명한다. 본 발명은 전자칠판과의 인터페이스에 중점을 두고 있으나, 전자칠판이 아니더라도 마우스 등을 이용한 인터페이스를 제공하는 다양한 정보기기에서 제스처를 이용한 인터페이스의 방법으로도 적용될 수 있다.

도 1은 손모양 기반 전자칠판 제어 블록도이다.

도 1을 참조하면, 손모양 검출을 기반으로 한 원격 전자칠판 제어 장치는 카메라 영상획득부(100), 관심영역 설정부(200), 계층적 손모양 검출부(300), 손모양 인식기반 제어 이벤트 생성부(400) 및 이벤트 기반 전자칠판 제어부(500)를 포함한다. 이하, 위 각 구성부에 대해서는 도 2 ~ 도 7을 참조하여 구체적으로 설명하기로 한다.

도 2는 카메라에서 얻은 영상에 대하여 캘리브레이션 및 사람의 상체 검출을 바탕으로 한 대상 영역을 재설정하는 PTZ제어 루틴에 대한 순서도이다. 그리고 도 3은 스캐일링 설정을 위한 선택영역의 크기를 주기 위한 캘리브레이션용 제스처의 예이다. 이하, 도 2 및 도 3을 참조하여 도 1에서의 카메라 영상획득부(100)의 기능 및 역할에 대해 설명한다.

카메라 영상획득부(100)는 카메라 모듈(미도시)을 포함하며, 도 2를 참조할 때, 이러한 카메라 모듈을 통해서 영상을 획득할 수 있다[단계 S105 참조].

이후, 카메라 영상획득부(100)는 단계 S110에 따라 캘리브레이션(Calibration) 루틴을 호출한다. 이러한 캘리브레이션 루틴은 사용자의 현재 위치에서 시점상의 움직임을 바탕으로 원거리에 있는 전자 칠판의 크기를 확인하며, 또한 사용자의 일반적인 제스처 움직임을 최소한의 제스처를 통하여 설정하는 과정이다.

캘리브레이션 루틴이 호출되는 경우, 사용자는 이러한 캘리브레이션을 위한 특정 제스처를 취하게 되며, 카메라 영상획득부(100)는 이에 의해 획득된 영상을 분석함으로써 캘리브레이션을 수행한다[단계 S120 참조].

단계 S120을 설명하면 다음과 같다.

사용자가 예를 들어 도 3에서 제시한 것과 같이 설정하고자 하는 위치에서 왼쪽 위쪽에서 시작하여 오른쪽 아래쪽으로 움직이는 제스처(움직임)를 취하면, 이러한 제스처를 바탕으로 전자칠판으로부터 원거리에 떨어져 있는 사용자의 위치에서 사용자가 바라볼 때의 전자칠판의 크기를 확인할 수 있다. 일 예로, 카메라 모듈이 전자칠판의 테두리의 임의의 일 위치(ex. 테두리 상단 중앙부)에 설치되어 있다고 가정할 때, 그 카메라 모듈에 의해 위와 같은 사용자의 제스처가 연속적으로 촬상된 복수개의 영상 프레임이 획득되면, 카메라 영상획득부(100)는 그 복수개의 영상 프레임에서 해당 제스처를 트래킹함으로써, 사용자가 바라볼 때의 사각의 전자칠판에서의 대각선 길이 및 대각선 방향의 양쪽 끝점을 확인할 수 있어, 이를 통해 전자칠판의 전체적인 형상 및 크기를 확인할 수 있게 되는 것이다.

물론 이상의 예시에서는, 사용자가 전자칠판의 정면을 바라볼 때를 가정하여 전자칠판의 테두리 상단 중앙부 등의 위치에 카메라 모듈이 설치되는 경우를 가정하였지만, 이외에도 다양한 위치에 설치될 수 있으며, 또한 카메라 모듈은 반드시 전자칠판의 특정 부위에 설치(고정 또는 부착)될 필요도 없음은 물론이다. 즉, 카메라 모듈이 전자칠판과 격리된 위치에 설치되는 경우라 하더라도 사용자의 제스처를 촬상할 수 있는 위치에만 배치/설치된다면 무방하다. 다만 사용자가 전자칠판을 정면에서 바라보는 상태에서의 사용자의 제스처를 측면에서 촬상하는 경우 전자칠판의 크기 계산(확인) 과정이 조금 더 복잡해질 수는 있지만, 이는 소프트웨어적 처리에만 관련된 것이므로 실제 적용에 큰 무리는 없을 것이기 때문이다.

다만 이하에서는 본 발명의 이해의 편의 및 설명의 집중을 위해, 카메라 모듈이 전자칠판의 테두리 일 위치에 설치되며, 사용자는 전자칠판을 정면에서 바라본 상태에서 각종 제스처를 취하는 것으로 가정하여 설명하기로 한다.

또한 이상에서는 사용자가 자신에게 보이는 전자칠판의 왼쪽 위쪽 모서리로부터 오른쪽 아래쪽 모서리로의 대각선 방향의 제스처를 취하는 경우만을 가정하였지만, 이와 반대로 오른쪽 위쪽 모서리로부터 왼쪽 아래쪽 모서리로의 대각선 방향의 제스처를 취하거나, 왼쪽 위쪽 모서리로부터 오른쪽 아래쪽 모서리로의 "ㄱ" 자 제스처 또는 "ㄴ"자 제스처를 취하는 것 등 다양한 제스처가 이용될 수도 있음은 물론이다. 다만 이는 전자칠판이 기울어지지 않아 사용자가 보기에 대체적으로 그 형상이 직사각형 또는 정사각형의 형상을 가지고 있는 상황, 그리고 사용자가 전자칠판을 정면에서 바라보고 있어 전자칠판의 원래 형상(예를 들어, 직사각형 또는 정사각형 형상)이 그대로 유지될 수 있는 상황에서 유용할 수 있다.

즉, 만일 전자칠판이 기울어진 경우 사용자 시점에서 볼 때 해당 전자칠판은 윗변/아랫변/좌변/우변 중 어느 하나가 마주보는 변에 비해 길이가 짧은 사다리꼴 형상 또는 어느 2개가 마주보는 각 변에 비해 길이가 짧은 사각형 형상을 가질 수 있다. 또한 만일 사용자가 전자칠판을 측면 방향에서 바라보는 경우 평행사변형 형상 등을 가질 수 있다. 위 경우와 같이 사용자 시점의 차이 또는/및 전자칠판의 기울어짐 등을 고려하기 위해, 도 3에서와 같이, 전자칠판의 왼쪽 위쪽 모서리로부터 대각선 방향으로 오른쪽 아래쪽 모서리로 앞선 설명에서와 같이 제스처를 취한 후, 연이어, 오른쪽 아래쪽 모서리(꼭지점)으로부터 오른쪽 위쪽 모서리를 지나 왼쪽 아래쪽 모서리까지의 대각선 방향에 이르는 제스처를 통해서 전자칠판의 크기 및 형상을 확인할 수 있다. 물론 앞서도 설명한 바와 같이 위 예시에서와는 다른 다양한 제스처가 이용될 수 있음은 자명하다. 이는, 해당 제스처를 통해서 사각 형상의 대각선 길이, 그 2개의 대각선이 이루는 각의 크기, 각 꼭지점의 위치(이는 제스처를 트래킹하였을 때 갑작스럽게 변하는 변곡점의 위치에 대응될 수 있음), 4개의 변 중 적어도 3개의 변의 길이(이는 각 꼭지점 간의 거리를 산출함으로써 가능함) 등 중 적어도 하나의 조합을 산출할 수 있는 제스처라면 어떠한 다양한 제스처라도 무방하기 때문이다. 이하 본 명세서에서는 이와 같은 제스처들을 캘리브레이션 제스처라 명명하기로 한다.

이와 같은 캘리브레이션 제스처에 의하면, 사용자의 현재 위치에서 사용자의 움직임에 관한 x 축 스케일 요소와 y축 스케일 요소를 설정할 수 있다. 여기서, x축 스케일 값은 sx, y축 스케일 값은 sy로 이하 명명한다. 이는 주어진 전자칠판의 원래 해상도와 측정된 이미지 공간에서의 비를 고려함으로 작성 가능하다. 그리고 기울여진 전자칠판과 같이 위와 아래의 크기 비율이 동일하지 않는 경우에 대해서도 보다 정확한 스케일 값을 얻고자 할 경우에는 y축의 스케일 값을 y축의 각 행에 따라 다른 값을 sy(yi)의 함수와 같은 형식으로 나타낼 수 있다.

또한 카메라 모듈에 대한 PTZ(Pan-Tilt-Zoom) 제어가 가능한 경우에는, 최적의 손동작 움직임을 추적하기 위하여, 교수자 또는 사용자의 상체를 검출하고 검출된 상체를 바탕으로, 상체가 영상의 중심에 들어오도록 카메라 모듈을 상/하/좌/우로의 회동 또는/및 줌인, 줌아웃 시킬 수 있다[단계 S125 및 S130 참조]. 예를 들어, 영상 내에 검출된 상체 크기가 전체 영상의 높이의 일정한 비율 가령, 1/4이하인 경우에는 ZOOM IN 기능을 사용하여 보다 큰 영상에서 동작을 추적할 수 있도록 한다. 반대로 사용자가 카메라에서 지나치게 크게 나온 경우, 가령 1/2 이상인 경우에는 ZOOM OUT을 통하여 손의 움직임이 영상을 벗어나지 않도록 한다. 물론 이외에도 상/하/좌/우의 카메라 모듈의 회동을 통한 조정도 가능하다.

이와 같이 캘리브레이션 초기화나 PTZ 제어가 일어나는 경우에는 움직인 후의 영상을 새로운 손 검출을 위하여 제공하도록 한다. 즉, 앞선 과정의 초기화 및 PTZ 제어를 반복 수행할 수도 있다. 예를 들어, ZOOM IN 또는 ZOOM OUT이 일어났을 경우에는 이에 따라 스케일 요소 sx와 sy를 이에 맞추어 다시 수정하도록 한다.

이상에서는 도 2의 순서도를 기준하여 설명하였지만, 도 2에서 단계 S125 및 단계 S130은, 상황에 따라 또는 설계 구현 방식에 따라 단계 S110 및 단계 S120 이전에 수행되어도 무방하다. 즉, 카메라 영상획득부(100)를 통해 획득된 사용자 촬영 영상을 기준하여 사용자의 상체가 카메라 중앙(즉, 영상의 중앙)에 위치하는지를 먼저 확인하고, 이와 같은 조건이 완비되었을 때 캘리브레이션 과정을 후 수행하는 방식도 가능함을 당업자라면 별도의 구체적 설명이 없더라도 쉽게 이해할 수 있을 것이다.

상술한 과정에서와 같은 캘리브레이션 초기화 과정이 완료되면, 그때 획득된 영상을 손 검출을 위한 영상으로 관심영역 설정부(200)로 전달한다[단계 S150 참조].

도 4는 주어진 영상으로부터 관심영역을 설정하는 과정을 보여주는 순서도이다. 이하, 도 4를 참조하여 도 1의 관심영역 설정부(200)의 기능 및 역할을 구체적으로 설명한다.

카메라 영상획득부(100)에서 얻어진 영상은 계층적 손모양 검출부(300)로 전체 영상이 보내지는 대신에, 관심영역 설정부(200)를 통해서 실제 손이 존재할 수 있는 영역에 대해서만 손 검출을 할 수 있도록 함으로써, 그 처리 속도를 향상시킨다. 이 관심영역(ROI 영역)은 도 4에서 보여주는 것과 같이, 이전에 손 검출이 있었던 경우에는 이를 통하여 설정된 관심영역을 그대로 사용하게 되고[단계 S205 및 단계 S210 참조], 만약 그러한 설정된 관심영역이 없는 경우에는 단계 S215 이하의 과정을 통해서 관심영역을 설정한다.

기존에 관심영역이 설정되어 처리되고 있던 경우(즉, 사용자가 전자칠판원격제어를 계속적으로 실행하고 있던 경우)와 달리, 새롭게 관심영역이 설정되어야 하는 경우(즉, 사용자가 전자칠판 원격제어를 시작하고자 하는 경우), 카메라 영상획득부(100)에 의해 획득된 이전 영상 및 현재 영상을 기초로, 1차적으로 현재 영상을 이전 영상과 비교하여 이에 대한 차 영상 영역을 통해 움직임을 추출하고[단계 S215 참조], 움직임이 있으면 움직임이 있는 영역(즉, 차 영상 영역)을 중심으로 관심영역을 설정할 수 있다[단계 S220 참조]. 만약에 움직임을 찾을 수 없을 경우에는 피부색 샘플을 가지고 있어서 피부색이 검출되는 영역 중에 일정한 크기 이상의 영역을 관심 영역으로 설정할 수 있다[단계 S225 및 단계 S230 참조]. 이러한 방법으로 검출을 할 수 없을 경우에는 입력 영상 전체를 관심영역으로 설정할 수도 있다[단계 S240 참조]. 다만, 상술한 단계 S205, S215, S225 과정을 통해서도 관심영역을 검출할 수 없는 경우에 단계 S240과 같이 입력 영상 전체를 관심영역으로 검출하지 않고, 그 다음 입력 영상과 비교하는 과정을 재수행할 수도 있음은 물론이다.

이와 같이 설정된 검출 대상 영역(즉, 관심영역)이 다음 손 검출을 위하여 사용되게 되며, 이는 계층적 손모양 검출부(300)로 전달된다[단계 S250 참조].

도 5는 관심영역으로부터 다양한 손모양을 계층적으로 인식하는 과정을 나타내는 순서도이다. 이하, 도 5를 참조하여 도 1의 계층적 손모양 검출부(300)의 기능 및 역할에 대하여 구체적으로 설명한다.

계층적 손모양 검출부(300)는 도 5에 나타낸 것과 같이 단계별로 손모양을 검출하여 여러 종류의 손모양을 검출하는 경우에도 동시에 여러종류의 손모양을 검출하는 것이 아니라, (이러한 경우에는 많은 리소스를 사용하게 되어 반응 속도가 크게 떨어지게 될 수 있음) 검출할 손 모양에 대한 계층 구조를 가지고 있어서, 이러한 계층구조를 바탕으로 검출하도록 하게 된다.

이 때 각각의 손모양은 개별 손모양 검출기(미도시)를 학습하여 사용하할 수 있으며, 개별 손모양 검출기는 케스케이드 아다부스트(Cascade Adaboost) 기반의 손모양 검출기나 그 변형 또는 SVM 기반의 손모양 검출기를 사용할 수 있다. 여기서, 케스케이드 아다부스트를 기반으로 한 손 제스처 인식을 수행하는 경우를 예를 들어 설명하면, 도 7과 같은 Harr-like 특징값을 뽑아내고, 이를 기반으로 케스케이드 아다부스트 학습기를 학습한다. 이 학습을 위하여 각각의 손모양에 대한 포지티브(positive) 영상과 네거티브(negative) 영상을 수백장에서 수천장을 수집하여 학습에 사용한다. 이에 따라 각각의 손모양에 대하여 개별적으로 인식할 수 있는 학습시스템이 말들어 진다. 이를 바탕으로, 학습 후에는 개별 영상에 대하여 손모양을 검출하기 위해서는 각각의 손모양 검출기를 설정된 윈도우 크기와 이에 대한 일정배수의 크기에 대하여 전체 원도우에 대하여 검색함으로 학습한 손모양을 검출하게 된다. 이 때, Harr-like 특징값을 효과적으로 계산하기 위하여 인테그럴 이미지(integral image)가 사용된다. 원하는 다수의 손모양에 대한 학습은 개별적으로 이루어지며, 만약에 개별 손모양을 n개 검출하고자 한다면, 검출 속도는 한 개의 손모양에 비하여 n배 느려지게 된다. 따라서 동시에 모든 손모양을 검출하는 것이 아니라 계층적인 구조를 가지고, 가장 흔히 사용되는 손모양부터 검출하도록 하며, 어떤 손모양의 경우에는 일정한 조건이 만족된 경우에만 검출을 시도하도록 한다.

일 예로 가장 흔하게 일어나는 커서이동 손모양을 편 손모양(즉, 손을 편상태의 모양)이라고 정의한다면 이러한 편 손모양을 케스케이드 아다부스트 방법에 의하여 검출하게 되고, 검출하게 되면 그 제어를 위하여 손움직임을 계산하여 위치변화를 전달하게 된다[단계 S315 및 단계 S320 참조]. 이는 관심영역 설정부(200)로부터 전달된 관심영역의 영상을 대상으로 커서이동 손모양 검출 루틴을 호출함으로써 시작될 수 있다[단계 S305 및 단계 S310 참조].

만약, 이 손모양이 검출되지 않게 되면, 마우스의 더블클릭과 같은 기능에 흔히 사용될 수 있는 실행손 모양을 검출하게 된다[단계 S330 참조]. 실행 손모양은 주먹과 같은 손모양을 설정할 수 있다. 실행손 모양의 검출하기 전에 실행을 위해서는 움직임 제스처가 있는 것을 요구하고 이에 따라 스크로크가 발생한 경우에 대해서만 실행 제스처를 인식하도록 할 수도 있다[단계 S325 참조]. 스트로크 발생이 없었거나 실행손 모양이 검출되지 않은 경우에는 선택이동에 대한 손모양을 검출하게 되며 이 손모양이 검출된 경우에는 손움직임에 따른 위치 변화량을 전달하게 된다[단계 S340 및 단계 S350 참조]. 선택이동 손모양의 일예는 가위 모양의 손모양을 사용할 수 있다.

또한 여기서, 위치 변화량의 전달의 경우에는 앞선 캘리브레이션 과정에서 획득된 또는 초기화 과정에서 미리 설정된 스케일 값을 곱하여 실제 제어를 위한 변화량을 계산하게 된다. 즉 실제 이미지 영상에서, Δx 만큼의 변화가 발생했다면, 실제 제어를 위하여 전달되는 값은 sx(x축 스케일 값)와 Δx(영상 내에서의 x축 변위)를 곱한 수치만큼의 위치(좌표) 변화를 하게 된다. 마찬가지로 Δy에 대해서도 sy(y축 스케일 값)와 Δy(영상 내에서의 y축 변위)를 곱한 수치만큼의 위치 변화를 하게 된다. 이외에도 추가적으로 제스처를 설정하여 추가적인 제스처, 가령 ZOOM IN/OUT을 위한 제스처를 설정하여 이를 바탕으로 줌 IN/OUT을 손의 움직임을 바탕으로 제어하도록 할 수 있다[단계 S380 참조]. 이와 같이 차례대로 설정된 손모양에 대한 모든 제스처에 대한 인식을 단계적으로 수행하며, 검출된 손모양 또는/및 위치 변화량은 도 1의 손모양 인식 기반 제어 이벤트 생성부(400)로 전달된다[단계 S360, S370, S390 참조]. 혹은 설정된 손모양이 하나도 검출되지 않은 경우에는 NO ACTION 메시지를 전달하게 된다[단계 S390 참조].

도 6은 검출된 손모양과 이동량을 바탕으로 이벤트 발생을 나타내는 순서도이다. 이하, 도 6을 참조하여 도 1의 손모양 인식 기반 제어 이벤트 생성부(400)의 기능 및 역할에 대해 구체적으로 설명한다.

검출된 손모양과 움직임의 변화량은 손모양 인식 기반 제어 이벤트 생성부(400)에서 각각의 손모양에 따른 제어 이벤트를 생성하게 된다. 도 6은 이러한 손모양 제스처의 생성의 일예를 보여준다.

도 6을 참조하면, 계층적 손모양 검출부(300)에 의해 검출된 손모양이 커서이동 손모양의 경우, 그 검출된 손모양 및 이동량(즉, 위치 변화량)에 근거하여 전자칠판 위에 커서를 이동하기 위하여 사용되는 명령어로 변환된다[단계 S405, S415, S420 참조]. 또한 실행손 모양이 검출된 경우에는 이전 단계의 커서에서 선택된 메뉴나 아이콘에 해당하는 명령어를 수행하게 된다[단계 S425 및 S435 참조]. 그리고 선택이동 손모양의 경우에는 선택된 객체의 위치를 이동시키기 위한 명령어를 생성하도록 하며[단계 S440 및 S445 참조], 추가적인 손모양에 대해서도 대응하는 명령어를 생성하도록 한다[단계 S450 참조].

명령어 생성단계에서는 동작에 따라 순차적으로 발생해야 하는 손모양등을 가능 시나리오를 바탕으로 상태 다이어그램으로 구성하여, 이를 바탕으로 손모양 오검출로 인한 오동작을 줄이도록 한다. 명령어 생성은 메시지 형태의 명령어 전달에 의한 방법이나, 해당하는 전자칠판 프로그램의 직접 구동에 의하여 가능하다.

도 1의 이벤트 기반 전자칠판 제어부(500)는, 도 6의 단계 S460에 따라 손모양 인식 기반 제어 이벤트 생성부(400)로부터 각각의 손제스처에 의하여 생성된 명령어를 전달받고, 이와 같이 전달받은 명령어에 기반하여 실제 프로그램에서 수행하도록 한다. 이부분이 제어 이벤트 생성부와 나누어진 것은 전자칠판 업체에 따라서 요구되는 전자 칠판의 사양이나 제공되는 API에 차이가 있기 때문이다. 따라서 설계 구현 방식에 따라 전자칠판 제어부(500)와 제어 이벤트 생성부(400)는 병합 구현될 수도 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (12)

1. 원격 전자칠판 제어 장치로서,
   전자칠판으로부터 원격에 있는 사용자를 촬상하기 위한 카메라 영상획득부;
   상기 카메라 영상획득부에 의해 획득된 영상 중 사용자의 손이 위치하는 영역을 관심영역(Region of Interest, ROI)으로 설정하는 관심영역 설정부;
   상기 관심영역에 관한 계층적 영상 분석을 통해 사용자가 취한 손 모양을 검출하는 손 모양 검출부; 및
   상기 손 모양 검출부에 의해 검출된 손 모양에 상응하여, 상기 전자칠판의 제어를 위한 미리 지정된 제어 이벤트를 생성하는 제어 이벤트 생성부;
   를 포함하되,
   상기 손 모양 검출부는, 미리 지정된 개개의 손 모양을 검출하기 위한 개별 손 모양 검출기를 포함하며, -여기서, 상기 미리 지정된 손 모양은, 이동 커서 손 모양, 실행 손 모양, 선택 이동 손 모양 중 적어도 하나가 포함됨-,
   상기 미리 지정된 개개의 손 모양은, 미리 설정된 우선 순위에 근거한 순서대로의 상기 개개의 손 모양을 검출하기 위한 계층적 단계를 거쳐 검출되는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
2. 제1항에 있어서,
   상기 생성된 제어 이벤트에 기초하여 상기 전자칠판에 관한 원격 제어를 수행하는 전자칠판 제어부를 더 포함하는, 제스처 기반의 원격 전자칠판 제어 장치.
   
3. 제1항에 있어서,
   상기 카메라 영상획득부는,
   캘리브레이션 루틴(Calibration routine)의 호출을 통해, 사용자가 자신의 위치에서 원거리에 있는 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인함으로써, 사용자가 보는 시점 상에서의 사용자의 제스처에 상응하여 적용될 스케일 값을 자동 설정하는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
4. 제3항에 있어서,
   상기 카메라 영상획득부는,
   상기 캘리브레이션 루틴의 수행 과정에서 사용자가 취한 미리 지정된 캘리브레이션 제스처에 관한 영상을 분석하여,
   사각 형상의 전자칠판의 대각선 길이, 2개의 대각선이 교차될 때에 이루는 각의 크기, 각 꼭지점의 위치, 4개의 변 중 적어도 3개의 변의 길이 중 어느 하나 이상을 산출함으로써 사용자가 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인하고, 확인 결과에 근거하여 수평축 및 수직축에 관한 상기 스케일 값을 고정 스케일값으로 또는 위치에 따라 스케일 값을 달리하는 스케일 함수 형태로 설정하는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
5. 제3항에 있어서,
   상기 카메라 영상획득부는,
   PTZ(Pan-Tilt-Zoom) 제어 기능을 포함함으로써, 사용자의 상체가 영상의 중앙부에 들어오도록 카메라에 대한 상/하/좌/우 방향 중 적어도 하나 이상의 방향으로의 회동 또는 줌인(Zoom In)/줌아웃(Zoom Out)을 실행하는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
6. 제1항에 있어서,
   상기 관심영역 설정부는,
   기존 검출된 손 위치에 근거하여 관심영역을 설정하거나, 상기 카메라 영상획득부에 의해 획득된 이전 영상과 현재 영상을 비교한 차 영상을 이용하여 움직임이 발생된 영역을 관심영역으로 설정하거나, 또는 피부색 샘플을 이용하여 피부색이 검출되는 영역을 관심 영역으로 설정하는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
7. 삭제
8. 제1항에 있어서,
   상기 실행 손 모양의 검출의 경우, 상기 손 모양 검출부는,
   미리 지정된 선행 제스처가 검출된 이후에 후속하여 상기 실행 손 모양이 검출되는 경우에만, 유효한 실행 손 모양의 검출로 판정하는,
   제스처 기반의 원격 전자칠판 제어 장치.
   
9. 제3항에 있어서,
   상기 손 모양 검출부는,
   검출된 손 모양을 기초로 해당 손 모양에 따라 발생된 영상 내의 위치 변화량을 계산하되, 계산된 위치 변화량에 상기 설정된 스케일 값을 반영함으로써, 이미지 공간 상에서의 위치 변화가 실제 전자칠판 상에서의 움직임으로 변환될 수 있도록 하는,
   제스처 기반의 원격 전차칠판 제어 장치.
10. 전자칠판을 원격에서 제어하는 방법으로서,
    전자칠판으로부터 원격에 있는 사용자를 촬상한 영상을 이용하여, 사용자가 자신의 위치에서 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인하고, 사용자가 보는 시점 상에서의 사용자의 제스처에 상응하여 적용될 캘리브레이션 스케일 값을 설정하는 단계;
    전자칠판으로부터 원격에 있는 사용자를 촬상한 영상을 이용하여, 획득된 영상 중 사용자의 손이 위치하는 영역을 관심영역으로 설정하는 단계;
    상기 관심영역에 관한 계층적 영상 분석을 통해 사용자가 취한 손 모양을 검출하는 단계;
    상기 검출된 손 모양에 상응하여, 상기 전자칠판의 제어를 위한 미리 지정된 제어 이벤트를 생성하는 단계; 및
    상기 생성된 제어 이벤트에 기초하여 상기 전자칠판에 관한 원격 제어를 수행하는 단계
    를 포함하는 전자칠판 원격 제어 방법.
    
11. 제10항에 있어서,
    상기 캘리브레이션 스케일 값을 설정하는 단계는,
    상기 캘리브레이션 루틴의 수행 과정에서 사용자가 취한 미리 지정된 캘리브레이션 제스처에 관한 영상을 분석하여,
    사각 형상의 전자칠판의 대각선 길이, 2개의 대각선이 교차될 때에 이루는 각의 크기, 각 꼭지점의 위치, 4개의 변 중 적어도 3개의 변의 길이 중 어느 하나 이상을 산출함으로써 사용자가 전자칠판을 바라보았을 때의 전자칠판의 크기 및 형상 중 적어도 하나를 확인하고, 확인 결과에 근거하여 수평축 및 수직축에 관한 상기 스케일 값을 고정 스케일값으로 또는 위치에 따라 스케일 값을 달리하는 스케일 함수 형태로 설정하는 것인,
    전자칠판 원격 제어 방법.
    
12. 제10항에 있어서,
    획득된 영상 중 사용자의 손이 위치하는 영역을 관심영역으로 설정하는 단계는,
    기존 검출된 손 위치에 근거하여 관심영역을 설정하거나, 상기 카메라 영상획득부에 의해 획득된 이전 영상과 현재 영상을 비교한 차 영상을 이용하여 움직임이 발생된 영역을 관심영역으로 설정하거나, 또는 피부색 샘플을 이용하여 피부색이 검출되는 영역을 관심 영역으로 설정하는 것인,
    전자칠판 원격 제어 방법.

Images