KR101692335B1 - 증강현실 영상표시 시스템 및 증강현실 영상표시 방법 - Google Patents

Abstract

본 발명은 증강현실 영상표시 시스템 및 증강현실 영상표시 방법에 관한 것으로, 보다 상세하게는 가상캐릭터 이미지를 실제공간 이미지에 보다 현실감 있게 구현할 수 있는 증강현실 영상표시 시스템 및 증강현실 영상표시 방법에 관한 것이다.
본 발명에 따른 증강현실 영상표시 시스템은, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지를 생성하는 영상촬영 카메라; 증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지를 미리 저장하며, 실제공간 이미지에서 증강현실 마커가 인식되면, 가상캐릭터 이미지와, 실제공간 이미지를 서로 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 제작 장치; 증강현실영상 이미지를 화면 상에 표시하는 증강현실영상 디스플레이; 및 증강현실영상 제작 장치에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러를 포함한다.

Description

증강현실 영상표시 시스템 및 증강현실 영상표시 방법{SYSTEM FOR AUGMENTED REALITY IMAGE DISPLAY AND METHOD FOR AUGMENTED REALITY IMAGE DISPLAY}

본 발명은 증강현실 영상표시 시스템 및 증강현실 영상표시 방법에 관한 것으로, 보다 상세하게는 가상캐릭터 이미지를 실제공간 이미지에 보다 현실감 있게 구현할 수 있는 증강현실 영상표시 시스템 및 증강현실 영상표시 방법에 관한 것이다.

증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 증강현실은 또한 혼합현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 보잉사에서 1990년경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.

증강현실과 가상현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 컴퓨터 게임으로 예를 들면, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 때문에 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.

이 밖에 가상현실은 일반적으로 영화나 영상 분야 등 특수 환경에서만 사용되지만, 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다. 예를 들어, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함되며, 스마트폰이나 태블릿 PC 등의 휴대용 기기를 대상으로 한 증강현실 기술이 주목을 받기 시작하고 있는 실정이다.

한편, 종래의 증강현실 기술은 3차원적으로 물체의 깊이감을 인식 못하고 실제 사물과 가상캐릭터 간에 이미지가 매칭되지 않는 등의 사실감 저하의 문제점과, 교감 없이 단순히 보여 주는 정도에 그쳐 사용자의 흥미가 저하되는 문제점이 있다.

이를 개선하기 위하여, 화상인식 기술로 마치 상호 교감하는 것처럼 구현하는 기술이 있으나, 이는 오작동과, 느린 반응 등 기술적 문제점이 있다.

또한, 국내기업이 자체개발하기 보다는 국내의 대부분의 증강현실 업체가 해외 기업에서 개발한 증강현실 엔진을 사용해 오고 있다. 현재 국내에서 개발되어지는 모든 증강현실 시스템의 결과물은 퀄컴이 개발한 Vuforia라는 증강현실 엔진으로 개발되어진 것이다. 증강현실 엔진을 사용함으로써 국내의 증강현실 개발업체는 자체적인 증강현실 핵심기술을 개발하기 보다는 해외 개발사의 증강현실 엔진을 활용한 응용 제품에만 집중되어 있는 상황이다. 해외에서 제공한 증강현실 제품을 활용하게 되면 응용 제품의 개발에는 용이하지만 엔진에서 제공하는 기술 이상의 제품을 개발할 수가 없는 문제점이 있다.

특히, 현재 국내에서 제공하는 증강현실 엔진은 100% 모바일 제품만 가능하도록 되어 있다. 따라서 현재 국내에서 사용되고 있는 증강현실 제품은 대부분 스마트폰으로 국한되어 있으며 모바일 플랫폼의 특성상 사용 하는 곳 대부분은 특정 제품의 광고 및 홍보성 이벤트에서만 사용되고 있는 현실이다.

대한민국 등록특허공보 제10-1206264호(2012년11월23일)

본 발명은 상기의 문제점들을 개선하기 위하여 안출된 것으로, 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 가상캐릭터 이미지를 상황에 맞게 동작시킬 수 있는 증강현실 영상표시 시스템 및 증강현실 영상표시 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 마커를 이용하여 가상캐릭터 이미지를 사실감 있게 표시할 수 있는 증강현실 영상표시 시스템 및 증강현실 영상표시 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 마커가 증강현실 화면 상에 표시되지 않도록 하여 사실감을 더욱더 향상할 수 있는 증강현실 영상표시 시스템 및 증강현실 영상표시 방법을 제공하는데 그 목적이 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하고자 하는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 증강현실 영상표시 시스템은, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지를 생성하는 영상촬영 카메라; 증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지를 미리 저장하며, 실제공간 이미지에서 증강현실 마커가 인식되면, 가상캐릭터 이미지와, 실제공간 이미지를 서로 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 제작 장치; 증강현실영상 이미지를 화면 상에 표시하는 증강현실영상 디스플레이; 및 증강현실영상 제작 장치에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러를 포함한다.

또한, 본 발명의 증강현실영상 제작 장치는 실제공간 이미지에서 증강현실 마커가 인식되는 마커 인식면을, 가상캐릭터 이미지를 구현하기 위한 기준 바닥면으로 설정하는 것을 특징으로 한다.

또한, 본 발명의 가상캐릭터 컨트롤러는, 가상캐릭터 이미지가 향하는 방향과 이동 방향을 제어하는 방향 버튼부와, 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼부를 포함하는 것을 특징으로 한다.

또한, 본 발명의 증강현실 영상표시 시스템은, 가상캐릭터를 원격으로 조절하기 위하여, 증강현실영상 제작 장치로부터 증강현실영상 이미지를 전송받으며, 증강현실영상 제작 장치로 가상캐릭터의 원격 제어신호를 전송하는 증강현실영상 서버; 증강현실영상 서버에 연결되어 증강현실영상 이미지를 원격으로 표시하는 원격 디스플레이; 및 원격 제어신호를 생성하여 증강현실영상 서버로 전송하는 원격 컨트롤러;를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 증강현실영상 제작 장치는, 증강현실 마커의 이미지를 미리 등록시킨 후, 증강현실 마커의 이미지를 제거한 상태에서 가상캐릭터 이미지를 구현하는 것을 특징으로 한다.

또한, 본 발명의 증강현실영상 제작 장치는, 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장하는 캐릭터이미지 저장부와, 증강현실을 구현하기 위한 공간에 증강현실 마커를 위치시킨 상태에서 촬영된 제1 실제공간 이미지를 미리 저장하는 마커이미지 등록부와, 제1 실제공간 이미지에서 증강현실 마커를 인식하여 캐릭터이미지 저장부로부터 가상캐릭터 이미지를 읽어 오는 마커 인식부와, 증강현실을 구현하기 위한 공간에서 증강현실 마커를 제거시킨 상태에서 촬영된 제2 실제공간 이미지를 수신하는 실제공간 이미지 수신부와, 가상캐릭터 이미지와 제2 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 생성부를 포함하는 것을 특징으로 한다.

또한, 본 발명의 증강현실영상 제작 장치는, 제1 실제공간 이미지를 촬영할 때, 영상촬영 카메라의 위치를 저장하는 카메라위치 저장부와, 제2 실제공간 이미지를 촬영할 때, 영상촬영 카메라의 위치를 카메라위치 저장부에 저장된 위치로 고정시키는 카메라위치 고정부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 증강현실영상 제작 장치는, 제2 실제공간 이미지를 미리 저장된 제1 실제공간 이미지와 비교하여 촬영 공간의 위치 및 크기가 일치하면, 마커 인식부로 제1 실제공간 이미지를 전송시키는 마커리스 판단부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 증강현실영상 제작 장치는 윈도우플랫폼 기반의 컴퓨터로 구성되며, 영상촬영 카메라는 1920p 이상의 고해상도 카메라로 구성되는 것을 특징으로 한다.

본 발명에 따른 증강현실 영상표시 방법은, 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장하는 제1 단계; 증강현실을 구현하기 위한 공간에 증강현실 마커를 위치시킨 상태에서 촬영한 제1 실제공간 이미지를 미리 저장하는 제2 단계; 증강현실을 구현하기 위한 공간에서 증강현실 마커를 제거시킨 상태에서 촬영하여 제2 실제공간 이미지를 생성하는 제3 단계; 제1 실제공간 이미지에서 증강현실 마커를 인식하여 미리 저장된 가상캐릭터 이미지를 읽어 오는 제4 단계; 가상캐릭터 이미지와 제2 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 제5 단계; 증강현실영상 이미지를 화면 상에 표시하는 제6 단계; 및 가상캐릭터 이미지가 일방향으로 회전하도록 제어하거나, 가상캐릭터 이미지가 일방향으로 이동하도록 제어하거나, 가상캐릭터 이미지가 미리 설정된 행동을 실행하도록 제어하는 제7 단계를 포함한다.

상기 과제의 해결 수단에 의해, 본 발명의 증강현실 영상표시 시스템 및 증강현실 영상표시 방법은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 가상캐릭터 이미지를 상황에 맞게 동작시킬 수 있어 사용자가 가상캐릭터와 상호 교감하는 효과를 줌에 따라 사용자의 흥미를 상승시킬 수 있는 효과가 있다.

또한, 본 발명의 증강현실 영상표시 시스템 및 증강현실 영상표시 방법은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 마커를 이용하여 가상캐릭터 이미지를 사실감 있게 표시할 수 있는 효과가 있다.

또한, 본 발명의 증강현실 영상표시 시스템 및 증강현실 영상표시 방법은 마커가 증강현실 화면 상에 표시되지 않도록 하여 사실감을 더욱더 향상할 수 있는 효과가 있다.

도 1은 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템의 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템에서 표시되는 증강현실 영상을 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 가상캐릭터 컨트롤러를 나타낸 블록도이다.
도 4는 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템의 변형된 형태를 나타낸 개략도이다.
도 5는 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치를 나타낸 블록도이다.
도 6은 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치의 변형된 형태를 나타낸 블록도이다.
도 7은 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치의 변형된 다른 형태를 나타낸 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 증강현실 영상표시 시스템을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 증강현실 영상표시 방법을 설명하기 위한 플로차트이다.

이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.

<제1 실시예>

도 1 내지 도 4는 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템을 설명하기 위한 도면이다. 구체적으로, 도 1은 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템의 블록도이고, 도 2는 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템에서 표시되는 증강현실 영상을 나타낸 도면이고, 도 3은 본 발명의 제1 실시예에 따른 가상캐릭터 컨트롤러를 나타낸 블록도이며, 도 4는 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템의 변형된 형태를 나타낸 개략도이다.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템은, 영상촬영 카메라(110), 증강현실영상 제작 장치(120), 증강현실영상 디스플레이(130) 및 가상캐릭터 컨트롤러(140)를 포함한다.

영상촬영 카메라(110)는 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지(20)를 생성한다.

증강현실영상 제작 장치(120)는 증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지(30)를 미리 저장하며, 실제공간 이미지에서 증강현실 마커(10)가 인식되면, 가상캐릭터 이미지와, 실제공간 이미지를 서로 합성하여 증강현실영상 이미지를 생성한다. 또한, 증강현실영상 제작 장치(120)는 실제공간 이미지에서 증강현실 마커가 인식되는 마커 인식면을, 가상캐릭터 이미지를 구현하기 위한 기준 바닥면으로 설정하도록 한다. 여기서, 증강현실영상 제작 장치(120)는 스마트폰, 테블릿PC, 노트북, PC 등으로 구현할 수 있다. 또한, 가상캐릭터 이미지는, 사람, 동물, 사물 등 다양한 캐릭터를 이용할 수 있다.

증강현실영상 디스플레이(130)는 증강현실영상 이미지를 화면 상에 표시한다. 여기서, 가상캐릭터를 사람과 비슷한 크기로 나타내기 위해 대형 텔레비전이나 프로젝터 등의 큰 화면으로 보여주는 것이 좋으며, 스마트폰의 화면, 테블릿PC 화면, 노트북 모니터, PC 모니터 등으로 구현하여도 무방하다.

가상캐릭터 컨트롤러(140)는 증강현실영상 제작 장치(120)에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이(130)에 표시되는 가상캐릭터의 동작을 실시간으로 조절한다. 구체적으로, 가상캐릭터 컨트롤러(140)는, 가상캐릭터 이미지가 향하는 방향과 이동 방향을 제어하는 방향 버튼부(141)와, 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼부(142)를 포함하는 것이 가능하다.

즉, 증강현실영상으로 보여준 가상캐릭터와 영상 속에서 사람이 상호 교감을 하도록 무선 게임용 조이패드나 키보드로 가상캐릭터를 조정하여 영상 속에 사람은 마치 자신의 행동이 교감을 하는 것처럼 더욱더 현실감을 느끼게 된다.

또한, 가상캐릭터 컨트롤러(140)는 무선 게임 콘트롤러, 무선 키보드, 유선 키보드, 유선 키보드로 구현할 수 있다.

한편, 도 4를 참조하면, 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템은, 가상캐릭터를 원격으로 조절하기 위하여, 증강현실영상 제작 장치(120)로부터 증강현실영상 이미지를 전송받으며, 증강현실영상 제작 장치(120)로 가상캐릭터의 원격 제어신호를 전송하는 증강현실영상 서버(150)와, 증강현실영상 서버(150)에 연결되어 증강현실영상 이미지를 원격으로 표시하는 원격 디스플레이(160)와, 원격 제어신호를 생성하여 증강현실영상 서버(150)로 전송하는 원격 컨트롤러(170)를 더 포함하는 것이 가능하다. 즉, 가상캐릭터의 사실감을 높이기 위해서 콘트롤러를 사용하여 조정하되, 현장에 콘트롤 하는 경우 현실감을 저해할 수 있으므로, 상황을 네트워크를 활용하여 콘트롤 타워에서 조정하도록 한다.

이와 같이, 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 가상캐릭터 이미지를 상황에 맞게 동작시킬 수 있어 사용자가 가상캐릭터와 상호 교감하는 효과를 줌에 따라 사용자의 흥미를 상승시킬 수 있는 장점이 있다. 즉, 가상캐릭터가 출현하고 난 후에 그 캐릭터를 조정함으로써, 함께 출현하는 사람은 가상캐릭터가 마치 살아 있는 것과 같은 느낌을 가질 수 있다.

또한, 본 발명의 제1 실시예에 따른 증강현실 영상표시 시스템 및 증강현실 영상표시 방법은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 마커를 이용하여 가상캐릭터 이미지를 사실감 있게 표시할 수 있는 장점이 있다. 즉, 가상캐릭터가 등장해서 사람과 함께 비춰주는 것이 아니라 바닥면 또는 마커 이미지를 정확하게 인식하여 그 위에 비춰줌으로써 사람과 같은 평면에 존재하는 것처럼 보이게 된다.

<제2 실시예>

도 5 내지 도 7은 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템을 설명하기 위한 도면이다. 구체적으로, 도 5는 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치를 나타낸 블록도이고, 도 6은 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치의 변형된 형태를 나타낸 블록도이며, 도 7은 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템의 증강현실영상 제작 장치의 변형된 다른 형태를 나타낸 블록도이다.

도 5 내지 도 7에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 증강현실영상 제작 장치(120)는, 증강현실 마커의 이미지를 미리 등록시킨 후, 증강현실 마커의 이미지를 제거한 상태에서 가상캐릭터 이미지를 구현하는 것이 가능하다.

구체적으로, 본 발명의 제2 실시예에 따른 증강현실영상 제작 장치(120)는, 캐릭터이미지 저장부(121), 마커이미지 등록부(122), 마커 인식부(123), 실제공간 이미지 수신부(124) 및 증강현실영상 생성부(125)를 포함한다.

캐릭터이미지 저장부(121)는 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장한다.

마커이미지 등록부(122)는 증강현실을 구현하기 위한 공간에 증강현실 마커를 위치시킨 상태에서 촬영된 제1 실제공간 이미지를 미리 저장한다.

마커 인식부(123)는 제1 실제공간 이미지에서 증강현실 마커를 인식하여 캐릭터이미지 저장부(121)로부터 가상캐릭터 이미지를 읽어 온다.

실제공간 이미지 수신부(124)는 증강현실을 구현하기 위한 공간에서 증강현실 마커를 제거시킨 상태에서 촬영된 제2 실제공간 이미지를 수신한다.

증강현실영상 생성부(125)는 가상캐릭터 이미지와 제2 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성한다.

이와 같이, 마커가 있음으로써 바닥면을 인식하고 캐릭터가 움직일 때 바닥면을 인식하면서 움직이기 때문에 사실감이 높아 질 수 있으나, 마커 이미지가 존재함으로써 사실감이 떨어지는 부분을 최대한 줄이기 위하여, 마커 이미지를 미리 등록시킨 후에 마커 이미지를 제거 한 상태에서 캐릭터를 나타나게 한다.

한편, 도 6을 참조하면, 본 발명의 제2 실시예에 따른 증강현실영상 제작 장치(120)는, 제1 실제공간 이미지를 촬영할 때, 영상촬영 카메라(110)의 위치를 저장하는 카메라위치 저장부(126)와, 제2 실제공간 이미지를 촬영할 때, 영상촬영 카메라(110)의 위치를 카메라위치 저장부(126)에 저장된 위치로 고정시키는 카메라위치 고정부(127)를 더 포함하는 것이 가능하다. 이에 따라, 마커를 인식하기 위한 제1 실제공간 이미지와 실제 구현되는 제2 실제공간 이미지의 크기 및 해상도, 그리고 위치를 정확하게 일치시켜, 제1 실제공간 이미지를 통해 인식되는 가상캐릭터의 위치 및 크기가 제2 실제공간 이미지에서 정확하게 구현될 수 있다. 이는 제1 실제공간 이미지의 마커를 사용함으로 인하여, 가상캐릭터가 제1 실제공간 이미지에 해당하는 위치 및 크기를 따르기 때문이다. 즉, 제1 실제공간 이미지와 다른 위치 및 크기의 제2 실제공간 이미지를 사용한다면, 가상캐릭터가 이에 맞지 않게 나올 수 있다.

또한, 도 7을 참조하면, 본 발명의 제2 실시예에 따른 증강현실영상 제작 장치(120)는, 제2 실제공간 이미지를 미리 저장된 제1 실제공간 이미지와 비교하여 촬영 공간의 위치 및 크기가 일치하면, 마커 인식부(123)로 제1 실제공간 이미지를 전송시키는 마커리스 판단부(128)를 더 포함하는 것이 가능하다. 이 경우도 마찬가지로, 마커를 인식하기 위한 제1 실제공간 이미지와 실제 구현되는 제2 실제공간 이미지의 크기 및 해상도, 그리고 위치를 정확하게 일치시켜, 제1 실제공간 이미지를 통해 인식되는 가상캐릭터의 위치 및 크기가 제2 실제공간 이미지에서 정확하게 구현하기 위한 것이다. 즉, 제1 실제공간 이미지와 제2 실제공간 이미지가 일치하는지 여부를 미리 확인한 후에 마커리스 동작을 수행하도록 한다.

이와 같이, 본 발명의 제2 실시예에 따른 증강현실 영상표시 시스템은 마커가 증강현실 화면 상에 표시되지 않도록 하여 사실감을 더욱더 향상할 수 있는 장점이 있다.

<다른 실시예>

(A) 도 8은 본 발명의 다른 실시예에 따른 증강현실 영상표시 시스템을 설명하기 위한 도면이다.

도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 증강현실 영상표시 시스템은, 가상캐릭터 이미지를 종이에 이차원 상태의 캐릭터로 나타내되, 캐릭터의 각 부분에 색상을 채울 수 있도록 선으로만 그려진 마커 페이퍼를 더 포함하며, 마커 페이퍼의 캐릭터에 색상이 채워지면, 증강현실영상 제작 장치(120)가, 영상촬영 카메라(110)를 통해 색상을 인식하여 가상캐릭터 이미지에 해당 색상을 넣는 것이 가능하다.

이때, 일반적으로 사용되는 종이나, 색칠공부 책이나 교재 등의 종이책에도 적용하여 활용 할 수 있으며, 크레파스, 색연필, 물감 어떤 재료를 사용해도 무방하다.

이와 같은 구성에 의해, 사용자가 색칠한 색깔 그대로, 같은 색깔이 칠해진 가상캐릭터가 나타나며, 색칠뿐만 아니라 사용자가 작성한 간단한 글씨나 문자들도 입체의 가상캐릭터로 표현될 수 있다. 미리 설정된 조건에 따라 가상캐릭터들이 자동으로 정해진 동작을 하거나, 동작을 하도록 조종할 수 있다. 캐릭터들과 실제 공간상의 화면에 표시되므로 사용자와 함께 포즈를 취하거나 사진을 찍을 수도 있다. 즉, 색칠하기 등의 학습에 본 발명의 다른 실시예에 따른 증강현실 영상표시 시스템을 적용할 수 있다.

(B) 또한, 본 발명의 다른 실시예에 따른 증강현실 영상표시 시스템은, 영어, 숫자 등 학습 교재로 사용할 수 있고, 가상캐릭터를 통한 댄스, 골프, 헬스 등 다양한 운동 교재로 활용할 수 있으며, 가상캐릭터의 조정을 통한 게임을 행할 수 있다. 예컨대, 최강 골프 타이거 우즈가 코치 지도를 자세부터 스윙 자신의 스윙 폼과 문제점을 한눈에 알아볼수 있도록 옆에서 스윙을 같이 해줌으로써 프로자세와 자신의 자세를 비교해 보며 연습할 수 있다.

(C) 또한, 본 발명의 또 다른 실시예에 따른 증강현실영상 제작 장치는 윈도우플랫폼 기반의 컴퓨터로 구성되며, 영상촬영 카메라는 1920p 이상의 고해상도 카메라로 구성되는 것이 바람직하다.

구체적으로, 사람과 가상의 3d캐릭터가 함께 한 화면에 나와서 함께 교류 교감하며 놀이와 공부를 하는 마커리스 및 HCI(Human Computer Interaction)형태의 교감 증강현실(Communication AR)을 구현하기 위해, 구성요소들은 다음의 실제 장치들로 구현되어야 한다. 즉, 최소 1920p 이상을 지원하는 카메라, 리얼한 묘사를 가능하게 하는 3d 그래픽엔진, 대용량 그래픽을 실시간으로 처리할 수 있는 강력한 증강현실 엔진, 모션인식, 음성인식, 실시간 이벤트 처리 및 마지막으로 위의 모든 것들을 실시간으로 처리하려면 모바일 플랫폼에서는 불가능하며 CPU, 메모리 등의 리소스 자원을 무한 확장할 수 있는 윈도우 기반의 플랫폼에서 구현 가능하다.

이에 따라, 표현 가능한 영역이 보다 사실적이고 확장성에서 자유로워 지므로서 현재 증강현실이 사용되고 있는 단순 모바일용 광고용에서 벗어나 실생활에 사용할 수 있는 무한한 가능성의 증강현실로 사용될 수 있다. 실질적으로, 윈도우용(PC용) 증강현실에서는 장치 성능상에 많은 차이가 있다. 우선 CPU, 메모리, 그래픽 등 모든 면에서 PC가 우월하므로, 렌더링의 질이 차이난다. 현재 PC에서는 fantasic으로 설정하고 프로그램을 실행시키는데 IOS를 포함 안드로이드 기기에서는 그렇게 할 수 없다. 즉, 성능상 지원을 해주지 못한다. fantasic으로 설정하면 anti-aliasing, shadow의 질을 비롯하여 3D렌더링 되는 품질이 최고로 될 수 있다. 이는 증강현실 그래픽에서 사용할 수 있는 3D 오브젝트 결과물에서 많은 차이를 발생시킨다.

또한, 카메라해상도 지원에서도 차이가 난다. 안드로이드에서 카메라의 해상도가 높아도 그것을 AR엔진에서 처리하지 못한다. 예를 들어 안드로이드 카메라 해상도가 4608 x 3456 이라고 해도 모바일 CPU , 메모리 등의 한계로 인해 엔진에서 처리속도가 따라가지 못하므로 모바일용에서는 카메라 해상도를 최고로 1280*720으로 설정하고 있다. 하지만 PC에서 엔진을 돌리면 성능상 높은 카메라 해상도도 지원해줄 수 있다.

따라서, PC로 플랫폼이 바뀜으로써 표현할 수 있는 범위가 사실적으로 바뀌고 모션인식 및 음성 인식과 같은 여러 가지 기술 및 장비와의 결합으로 적용할 수 있는 범위가 매우 넓어진다. 또한, 증강현실 기술 자체가 상품으로 적용이 가능해진다.

(D) 도 9는 본 발명의 일실시예에 따른 증강현실 영상표시 방법을 설명하기 위한 플로차트이다.

도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 영상표시 방법은 다음과 같은 단계로 이루어진다.

먼저, 제1 단계(S110)에서는 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장한다.

또한, 제2 단계(S120)에서는 증강현실을 구현하기 위한 공간에 증강현실 마커를 위치시킨 상태에서 촬영한 제1 실제공간 이미지를 미리 저장한다.

또한, 제3 단계(S130)에서는 증강현실을 구현하기 위한 공간에서 증강현실 마커를 제거시킨 상태에서 촬영하여 제2 실제공간 이미지를 생성한다.

또한, 제4 단계(S140)에서는 제1 실제공간 이미지에서 증강현실 마커를 인식하여 미리 저장된 가상캐릭터 이미지를 읽어 온다.

또한, 제5 단계(S150)에서는 가상캐릭터 이미지와 제2 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성한다.

또한, 제6 단계(S160)에서는 증강현실영상 이미지를 화면 상에 표시한다.

또한, 제7 단계(S170)에서는 가상캐릭터 이미지가 일방향으로 회전하도록 제어하거나, 가상캐릭터 이미지가 일방향으로 이동하도록 제어하거나, 가상캐릭터 이미지가 미리 설정된 행동을 실행하도록 제어한다.

이와 같이, 본 발명의 일실시예에 따른 증강현실 영상표시 방법은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 가상캐릭터 이미지를 상황에 맞게 동작시킬 수 있어 사용자가 가상캐릭터와 상호 교감하는 효과를 줌에 따라 사용자의 흥미를 상승시킬 수 있는 장점이 있다.

또한, 본 발명의 일실시예에 따른 증강현실 영상표시 방법은 실제공간 이미지에 가상캐릭터 이미지를 합성할 때, 마커를 이용하여 가상캐릭터 이미지를 사실감 있게 표시할 수 있는 장점이 있다.

또한, 본 발명의 일실시예에 따른 증강현실 영상표시 방법은 마커가 증강현실 화면 상에 표시되지 않도록 하여 사실감을 더욱더 향상할 수 있는 장점이 있다.

이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10 : 증강현실 마커
20 : 실제공간 이미지
30 : 가상캐릭터 이미지
110 : 영상촬영 카메라
120 : 증강현실영상 제작 장치
121 : 캐릭터이미지 저장부
122 : 마커이미지 등록부
123 : 마커 인식부
124 : 실제공간 이미지 수신부
125 : 증강현실영상 생성부
126 : 카메라위치 저장부
127 : 카메라위치 고정부
128 : 마커리스 판단부
130 : 증강현실영상 디스플레이
140 : 가상캐릭터 컨트롤러
141 : 방향 버튼부
142 : 실행 버튼부
150 : 증강현실영상 서버
160 : 원격 디스플레이
170 : 원격 컨트롤러

Claims (10)

1. 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지를 생성하는 영상촬영 카메라;
   증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지를 미리 저장하며, 상기 실제공간 이미지에서 상기 증강현실 마커가 인식되면, 상기 가상캐릭터 이미지와, 상기 실제공간 이미지를 서로 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 제작 장치;
   상기 증강현실영상 이미지를 화면 상에 표시하는 증강현실영상 디스플레이; 및
   상기 증강현실영상 제작 장치에 상기 가상캐릭터의 동작 제어신호를 전송하여 상기 증강현실영상 디스플레이에 표시되는 상기 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러;
   를 포함하며,
   상기 증강현실영상 제작 장치는, 상기 증강현실 마커의 이미지를 미리 등록시킨 후, 상기 증강현실 마커의 이미지를 제거한 상태에서 상기 가상캐릭터 이미지를 구현하도록,
   상기 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장하는 캐릭터이미지 저장부와,
   동일한 위치의 상기 증강현실을 구현하기 위한 공간에 상기 증강현실 마커를 위치시킨 상태에서 촬영된 제1 실제공간 이미지를 미리 저장하는 마커이미지 등록부와,
   상기 제1 실제공간 이미지에서 상기 증강현실 마커를 인식하여 상기 캐릭터이미지 저장부로부터 상기 가상캐릭터 이미지를 읽어 오는 마커 인식부와,
   동일한 위치의 상기 증강현실을 구현하기 위한 공간에서 상기 증강현실 마커를 제거시킨 상태에서 촬영된 제2 실제공간 이미지를 수신하는 실제공간 이미지 수신부와,
   상기 가상캐릭터 이미지와 상기 제2 실제공간 이미지를 합성하여 상기 증강현실영상 이미지를 생성하는 증강현실영상 생성부를 포함하는 것을 특징으로 하는 증강현실 영상표시 시스템.
2. 제1항에 있어서,
   상기 증강현실영상 제작 장치는 상기 실제공간 이미지에서 상기 증강현실 마커가 인식되는 마커 인식면을, 상기 가상캐릭터 이미지를 구현하기 위한 기준 바닥면으로 설정하는 것을 특징으로 하는 증강현실 영상표시 시스템.
3. 제1항에 있어서,
   상기 가상캐릭터 컨트롤러는,
   상기 가상캐릭터 이미지가 향하는 방향과 이동 방향을 제어하는 방향 버튼부와, 상기 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼부를 포함하는 것을 특징으로 하는 증강현실 영상표시 시스템.
4. 제1항에 있어서,
   상기 가상캐릭터를 원격으로 조절하기 위하여, 상기 증강현실영상 제작 장치로부터 상기 증강현실영상 이미지를 전송받으며, 상기 증강현실영상 제작 장치로 상기 가상캐릭터의 원격 제어신호를 전송하는 증강현실영상 서버;
   상기 증강현실영상 서버에 연결되어 상기 증강현실영상 이미지를 원격으로 표시하는 원격 디스플레이; 및
   상기 원격 제어신호를 생성하여 상기 증강현실영상 서버로 전송하는 원격 컨트롤러;를 더 포함하는 것을 특징으로 하는 증강현실 영상표시 시스템.
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 증강현실영상 제작 장치는,
   상기 제1 실제공간 이미지를 촬영할 때, 상기 영상촬영 카메라의 위치를 저장하는 카메라위치 저장부와,
   상기 제2 실제공간 이미지를 촬영할 때, 상기 영상촬영 카메라의 위치를 상기 카메라위치 저장부에 저장된 위치로 고정시키는 카메라위치 고정부를 더 포함하는 것을 특징으로 하는 증강현실 영상표시 시스템.
8. 제1항에 있어서,
   상기 증강현실영상 제작 장치는,
   상기 제2 실제공간 이미지를 미리 저장된 상기 제1 실제공간 이미지와 비교하여 촬영 공간의 위치 및 크기가 일치하면, 상기 마커 인식부로 상기 제1 실제공간 이미지를 전송시키는 마커리스 판단부를 더 포함하는 것을 특징으로 하는 증강현실 영상표시 시스템.
9. 제1항에 있어서,
   상기 증강현실영상 제작 장치는 윈도우플랫폼 기반의 컴퓨터로 구성되며, 상기 영상촬영 카메라는 1920p 이상의 고해상도 카메라로 구성되는 것을 특징으로 하는 증강현실 영상표시 시스템.
10. 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장하는 제1 단계;
    증강현실을 구현하기 위한 공간에 상기 증강현실 마커를 위치시킨 상태에서 촬영한 제1 실제공간 이미지를 미리 저장하는 제2 단계;
    동일한 위치의 상기 증강현실을 구현하기 위한 공간에서 상기 증강현실 마커를 제거시킨 상태에서 촬영하여 제2 실제공간 이미지를 생성하는 제3 단계;
    상기 제1 실제공간 이미지에서 상기 증강현실 마커를 인식하여 미리 저장된 상기 가상캐릭터 이미지를 읽어 오는 제4 단계;
    상기 증강현실 마커의 이미지를 제거한 상태에서 상기 가상캐릭터 이미지를 구현하도록, 상기 가상캐릭터 이미지와 상기 제2 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 제5 단계;
    상기 증강현실영상 이미지를 화면 상에 표시하는 제6 단계; 및
    상기 가상캐릭터 이미지가 일방향으로 회전하도록 제어하거나, 상기 가상캐릭터 이미지가 일방향으로 이동하도록 제어하거나, 상기 가상캐릭터 이미지가 미리 설정된 행동을 실행하도록 제어하는 제7 단계;
    를 포함하는 증강현실 영상표시 방법.

Images