KR100643415B1 - 이동 단말기의 3차원 아바타 메신저 시스템 - Google Patents

Abstract

본 발명은 이동 단말기에서 3차원 애니메이션(3D Animation)을 기반으로 하는 메신저 시스템(Messenger System)에 관한 것으로서, 특히 문자 메시지를 수신하였을 때 이 문자 메시지를 음성신호로 변환하고, 미리 설정해 놓은 3차원 아바타 영상을 상기 문자, 음성신호와 동기화시켜서 애니메이팅 처리함으로써 입체적인 음성 및 영상의 멀티미디어 메시징 시스템을 이동 단말기에서 구현할 수 있도록 한 이동 단말기의 3차원 아바타 메신저 시스템에 관한 것이다.

본 발명의 이동 단말기의 3차원 아바타 메신저 시스템은, 문자 데이터를 수신하기 위한 문자 데이터 수신수단과, 상기 수신된 문자 데이터를 음성으로 합성하는 음성 합성수단과, 3차원 아바타를 저장하고 서비스에 사용될 아바타를 생성하는 3차원 아바타 설정수단과, 상기 생성된 3차원 아바타에 상기 문자에 대응하는 애니메이팅 처리를 수행하는 3차원 아바타 애니메이션 생성수단과, 상기 문자, 합성된 음성을 애니메이팅 처리된 3차원 아바타의 애니메이션과 동기화시켜주는 동기화 수단과, 상기 동기화된 문자,음성,3차원 아바타를 음성 및 영상으로 출력해주는 출력수단을 포함하여 이루어지는 것을 특징으로 한다.

이동단말기,문자메시지,애니메이션,음성합성

Description

이동 단말기의 3차원 아바타 메신저 시스템{3D AVATAR MESSENGER SYSTEM BASED ON MOBILE DEVICE}

도1은 본 발명의 이동 단말기의 3차원 아바타 메신저 시스템의 구성을 나타낸 도면

도2는 본 발명에서 3D 아바타 생성 과정을 나타낸 도면

도3은 본 발명에서 얼굴 템플릿 메쉬 변환 과정을 나타낸 도면

도4는 본 발명에서 3D 아바타 애니메이션의 예를 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

10: 문자 데이터 수신부 20: 음성 합성모듈

30: 3차원 아바타 설정모듈 40: 3차원 아바타 애니메이션 생성모듈

50: 동기화 모듈 60: 출력부

본 발명은 이동 단말기에서 3차원 애니메이션(3D Animation)을 기반으로 하는 메신저 시스템(Messenger System)에 관한 것으로서, 특히 문자 메시지를 수신하였을 때 이 문자 메시지를 음성신호로 변환하고, 미리 설정해 놓은 3차원 아바타 영상을 상기 문자, 음성신호와 동기시켜 애니메이팅 처리함으로써 입체적인 음성 및 영상의 멀티미디어 메시징 시스템을 이동 단말기에서 구현할 수 있도록 한 이동 단말기의 3차원 아바타 메신저 시스템에 관한 것이다.

이동 단말기의 하드웨어 사양이 눈부시게 발전하면서 수백만 화소급의 카메라가 탑재된 이동 단말기가 등장하고 있는 것은 물론, 계산량이 많아서 기존에는 구현하기 어려웠던 3차원 그래픽스 콘텐츠를 이용한 서비스들이 가능하게 되었다. 그 예로 2차원(2D) 아바타를 뛰어넘어 3차원(3D) 아바타가 등장하였고, 2차원 게임 일색이었던 모바일 게임도 점차 3차원 기반의 게임으로 변화하고 있으며, 최근에는 "3D 게임폰"이라는 이름으로 게임기 모양의 신개념 이동 단말기가 출시되기도 하였다.

그런데 이동 단말기 상에서 제공되는 대표적인 3차원 그래픽스 콘텐츠인 아바타의 경우, 지금까지는 이동 단말기에서 제공하는 여러 개의 아바타(애니메이션 포함) 중에서 하나를 선택하여 자신의 아바타로 등록하고 그 아바타가 보여주는 애니메이션을 즐기는 정도이다. 또한 3차원 게임의 경우는 3차원 모델(캐릭터)들이 등장하는 게임이지만 아직까지는 사용자가 3차원 모델과 관련된 특별한 서비스를 제공받지는 못하고 단지 게임을 하는 정도에 그치고 있다.

한편, 이동 단말기에서 음성 분야의 서비스를 살펴보면, 등록해 놓은 전화번호를 음성으로 호출하여 전화를 거는 단말기 서비스가 이루어진 상태이며, 최근에는 다양한 음성 관련 기술이 적용된 응용 서비스들을 탑재하고 있다. 하지만 현재는 음성으로 메뉴를 선택하거나, 음성으로 전화를 거는 정도에 국한되고 있는 실정 이고, 음성과 관련된 다양한 서비스의 개발여지는 아직도 충분하게 남아있는 실정이다.

그리고, 현재의 이동 단말기에서는 단순한 음성 통화의 수준을 넘어서, 문자 메시지의 송수신은 물론, 무선 인터넷을 기반으로 하는 다양한 서비스와, 모바일 뱅킹을 비롯하여 각종 응용 서비스들이 망라된 모바일 기반 통합 멀티미디어 통신 서비스 환경의 구축을 가능하게 하고 있다.

따라서, 문자, 음성, 3차원 영상에 이르는 다양한 하드웨어 및 소프트웨어적인 자원을 활용하고 융합시켜서 보다 사용자 중심적이고 사용자 편의적인 통합 멀티미디어 환경의 구현을 이룰 수 있는 응용수단들이 요구되고 있다.

본 발명의 목적은 이동 단말기에서 기존의 SMS(단문 메시지 전송) 서비스와 음성 합성 및, 3차원 아바타를 융합한 새로운 서비스 시스템으로서 이동 단말기의 3차원 아바타 메신저 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 이동 단말기 상에서 단말기로 수신된 문자 메시지를 3차원 아바타가 음성으로 읽어주는 3차원 아바타 메신저 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 전송받은 문자 메시지를 분석하여 이를 음성으로 합성하고, 문자의 유형에 따라 3차원 아바타에 적절한 애니메이션을 주어 문자와 음성, 3차원 아바타 애니메이션이 결합된 고차원의 메신저 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 메신저 역할을 수행하는 3차원 아바타를 이동 단말기 상에서 새로운 아바타로 재생성하는 방법과, 문자 내용에 따라 입 모양이 달라지는 애니메이션을 구현하는 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 이동 단말기의 3차원 아바타 메신저 시스템은, 문자 데이터를 수신하기 위한 문자 데이터 수신수단과, 상기 수신된 문자 데이터를 음성으로 합성하는 음성 합성수단과, 3차원 아바타를 저장하고 서비스에 사용될 아바타를 생성하는 3차원 아바타 설정수단과, 상기 생성된 3차원 아바타에 상기 문자에 대응하는 애니메이팅 처리를 수행하는 3차원 아바타 애니메이션 생성수단과, 상기 문자, 합성된 음성을 애니메이팅 처리된 3차원 아바타의 애니메이션과 동기화시켜주는 동기화 수단과, 상기 동기화된 문자,음성,3차원 아바타를 음성 및 영상으로 출력해주는 출력수단을 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 이동 단말기의 3차원 아바타 메신저 서비스 방법은, 3차원 아바타를 획득하는 단계; 서비스에 사용할 3차원 아바타를 설정하는 단계; 단말기에 수신된 문자 메시지를 음성으로 합성함과 함께, 상기 문자 메시지에 맞는 애니메이션 데이터를 생성하는 단계; 상기 3차원 아바타, 전송된 문자, 음성으로 합성된 데이터, 3차원 아바타의 애니메이션 데이터의 동기를 맞춰 출력해 주는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명에서 상기 3차원 아바타의 획득은, 이동 단말기에 디폴트로 내장되어 있는 3차원 아바타를 이용하거나, 사업자가 제공하는 서버로부터 다운로드 받아 이를 이용하거나, 단말기에 1개 이상의 유한한 개수의 3차원 아바타를 갖고 있는 상태에서 사용자가 새로운 3차원 아바타를 생성하여 이용하는 것을 특징으로 한다.

또한 본 발명에서, 상기 3차원 아바타는 애니메이션이 가능하도록 적어도 메쉬(mesh)와 텍스쳐(texture) 및 렌더링(rendering) 정보를 포함하는 3차원 아바타 모델을 갖고 있는 것임을 특징으로 한다.

또한 본 발명에서, 상기 3차원 아바타는 애니메이션이 가능하도록 적어도 모음을 발음하는 입 모양을 나타내는 메쉬와 텍스쳐 및 렌더링 정보를 포함하는 3차원 아바타 모델을 갖고 있는 것이고, 여기서 모음은 모든 모음에 해당하는 입 모양 메쉬이거나 대표적인 모음에 해당하는 입 모양 메쉬로 구성된 것을 특징으로 한다.

또한 본 발명에서, 상기 3차원 아바타는 이미 갖고 있는 3차원 아바타의 메쉬를 기본으로 사용자가 선택한 영상에 맞춰 메쉬를 수정하고 사용자가 선택한 영상으로 텍스쳐를 바꾸어 새로운 3차원 아바타를 획득할 수 있도록,

새로운 3차원 아바타로 저장하려는 3차원 아바타와 텍스쳐로 사용할 영상을 선택하는 단계, 선택한 텍스쳐 영상에서 메쉬의 얼굴 및 얼굴 요소에 대응되는 지점의 지리적 정보를 추출하는 단계, 상기 추출된 얼굴 및 얼굴 요소의 지리 정보를 이용하여 메쉬를 수정하고 텍스쳐를 가공하는 단계, 상기 선택한 3차원 아바타에 상기 가공한 텍스쳐를 결합하여 새로운 3차원 아바타를 생성하는 단계를 통해서 새로운 3차원 아바타를 획득하는 것을 특징으로 한다.

또한 본 발명에서, 상기 텍스쳐로 이용할 영상은 3차원 아바타를 생성하는 순간에 카메라 모듈로 촬영하거나, 단말기 내의 영상 앨범에 저장된 모든 영상 중에서 선택함을 특징으로 한다.

또한 본 발명에서, 상기 텍스쳐로 이용할 영상은 3차원 아바타를 생성하는 순간에 카메라 모듈로 촬영하여 선택하되, 텍스쳐로 사용하려고 선택한 영상으로부터 상기 지리 정보 추출을 손쉽게 하기 위하여 사용자로 하여금 얼굴, 눈, 코, 입 등을 지정된 지점에 위치시키도록 유도할 수 있는 지시자를 화면에 보여주는 것과 같은 제한된 촬영을 유도함을 특징으로 한다.

또한 본 발명에서, 상기 선택한 텍스쳐 영상으로부터 얼굴 및 얼굴 요소의 지리 정보를 자동, 반자동, 수동 얼굴 및 얼굴 검출 요소 검출모듈을 통해서 추출하는 것을 특징으로 한다.

또한 본 발명에서, 상기 얼굴의 지리 정보는 얼굴 영역의 위치 정보나 얼굴 영역의 윤곽정보를 포함하되, 적어도 눈이나 입이나, 코 영역에 대한 위치정보를 하나 이상 포함하는 것을 특징으로 한다.

또한 본 발명에서, 상기 텍스쳐의 가공은 텍스쳐 영역의 정규화 및, 사용자가 선택한 영상으로부터 얻어낼 수 없는 이미지 데이터를 오려낸 텍스쳐 영역의 지정된 위치에 삽입함으로써 이루어지는 것을 특징으로 한다.

또한 본 발명에서, 상기 텍스쳐 영역의 정규화는 상기 생성된 텍스쳐 영역을 추출된 얼굴 요소의 지리정보를 이용해서 실제 사용되는 텍스쳐와 크기 및, 두 눈 사이의 거리:눈과 입 사이의 거리의 비율, 두 눈의 기울어진 각도를 동일하게 만드는 것임을 특징으로 한다.

또한 본 발명에서, 상기 사용자가 선택한 영상으로부터 얻어낼 수 없는 이미지 데이터는 벌린 입을 표현하기 위한 치아와 입안 영상, 정면 사진에서 얻기 힘든 귀 영상인 것을 특징으로 한다.

또한 본 발명에서, 상기 메쉬의 수정은 정규화된 텍스쳐 영역에 맞춰 선택된 메쉬를 변형시켜 주는 것으로, 텍스쳐 영역 정규화 시에 사용된 비율을 이용하여 이동 변환 요소를 계산하여 수행함을 특징으로 한다.

또한 본 발명에서, 상기 메쉬의 수정은 메쉬를 구성하는 눈 그룹, 코 그룹, 입 그룹별로 수행함을 특징으로 한다.

또한 본 발명에서, 상기 애니메이션 데이터를 생성하는 단계는, 현재 선택한 3차원 아바타의 메쉬들 중에서 문자의 모음에 해당하는 메쉬를 찾는 단계와, 선택된 각 메쉬들 중간에 자연스러운 입 모양 애니메이션을 위한 중간 메쉬를 생성하는 단계로 구성되어 연속되는 메쉬들의 시퀀스를 정해주는 것을 특징으로 한다.

또한 본 발명에서, 상기 선택된 메쉬들 사이의 중간 메쉬를 생성하는 단계는 연속되는 두 메쉬에서 입 주변 영역의 메쉬 데이터를 보간하여 생성하는 것을 특징으로 한다.

또한 본 발명에서, 상기 선택된 메쉬들 사이의 중간 메쉬를 생성하는 단계에서 중간 메쉬는 애니메이션의 속도에 따라 그 개수가 유동적으로 선택됨을 특징으로 한다.

또한 본 발명에서, 상기 문자, 음성으로 합성된 데이터, 3차원 아바타 애니메이션의 동기화에 의하여 3차원 아바타가 전송받은 메시지를 음성으로 들려주는 것과 함께 상기 전송받은 문자 메시지를 화면에 디스플레이하는 것을 특징으로 한다.

상기한 바와 같이 이루어지는 본 발명의 이동 단말기의 3차원 아바타 메신저 시스템의 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.

[시스템 개요]

본 발명은 앞서 설명한 이동 단말기의 하드웨어적인 성능과 소프트웨어적인 3차원 그래픽스, 그리고 음성 합성 솔루션을 이용하여 기존의 2차원, 문자 중심이었던 메시지 서비스를 3차원 아바타가 음성으로 메시지를 읽어주는 고차원의 3차원 아바타 메신저 시스템이다.

본 발명은 이동 단말기로 전송된 문자 메시지를 분석하여 음성으로 합성하고, 문자의 유형에 따라 3차원 아바타에 적절한 애니메이션을 주어 문자와 음성, 3차원 아바타 애니메이션이 결합된 메시지 서비스를 구현한다.

본 발명에 따른 이동 단말기의 3차원 아바타 메신저 시스템은 도1에 나타낸 바와 같이, 문자 데이터 수신부(10), 음성 합성모듈(20), 3차원 아바타 설정모듈(30), 3차원 아바타 애니메이션 생성모듈(40), 문자-음성-아바타 동기화 모듈(50), 출력부(60), 3차원 아바타 획득수단(71,72)을 포함하여 이루어진다. 상기 3차원 아바타 획득수단은 사업자 서버(71), 단말기(72)에 내장된 카메라, 전송받은 SMS, PC로부터의 업로드 등의 3차원 아바타를 획득하는 수단이다. 3차원 아바타 설정모듈(30)은 이용 가능한 1개 이상의 3차원 아바타를 저장수단(31)에 포함하며 또한 3차원 아바타 생성모듈(32)을 포함한다. 문자 메시지 수신을 위한 문자 데이터 수신부 (10)는 이동 단말기로 전송된 문자 메시지를 받아들이는 수단이다. 음성 합성모듈(20)은 문자 데이터를 음성으로 합성해주는 수단이다. 애니메이션 생성모듈(40)은 문자 데이터로부터 각 문자에 맞는 입 모양 애니메이션 생성하는 수단이다. 동기화 모듈(50)은 3차원 아바타와 음성, 문자 데이터의 동기를 맞춰주는 수단이다.

본 발명의 3차원 아바타 메신저 서비스에 이용되는 3차원 아바타는 일정한 데이터 포맷-애니메이션이 가능한 3차원 아바타 모델(메쉬와 텍스쳐 및 기타 렌더링 정보)-으로 이동 단말기에 내장되어 있거나, 사업자의 서버로부터 다운로드 받았거나, 사용자의 PC에서 업로드하였거나, 기타 SMS나 메일 등을 이용해서 외부로부터 취득되거나, 단말기 상에서 생성될 수 있다.

즉, 이동 단말기에서 3차원 아바타 메신저 서비스를 제공하기 위해서는 서비스에 이용할 3차원 아바타를 갖고 있어야 하는데, 이는 단말기 혹은 통신 사업자가 오프라인으로 제작하여 단말기에 내장되어 있거나, 외부로부터 취득되거나, 단말기에서 생성될 수 있다. 외부로부터 취득하는 방법은 단말기에 내장된 카메라를 이용해서 취득하거나, 사업자 서버로부터 다운로드받아 저장하거나, 전송받은 SMS로부터 취득하여 저장하거나, PC로부터 업로드하여 저장함으로써 이루어질 수 있다. 사용자가 새로운 3차원 아바타를 생성하는 방법은 이미 갖고 있는 3차원 아바타의 메쉬를 기본으로 사용자가 선택한 영상에 맞춰서 메쉬를 수정하고 사용자가 선택한 영상으로 텍스쳐를 바꾸어 주는 것으로부터 이루어질 수 있다.

그리고, 여러 개의 아바타 중에서 음성 메시지 서비스에 이용할 아바타를 설정해 놓아야 하는데, 이는 3차원 아바타 설정모듈(30)을 이용해서 수행되며, 만약 사용자가 별다른 아바타 설정을 수행하지 않았다면 단말기에 디폴트(default)로 설정된 아바타가 사용된다.

본 발명의 이동 단말기의 3차원 아바타 메신저 시스템에서 이동 단말기로 전송된 문자 데이터는 음성 합성모듈(20)과 3차원 아바타의 애니메이션 생성모듈(40)로 각각 전달되는데, 음성 합성모듈(20)로 전달된 문자 데이터는 분석되어 각 문자에 해당하는 음성 데이터로 합성되고, 애니메이션 생성모듈(40)로 전달된 문자 데이터는 각 문자에 적합한 3차원 메쉬(3D mesh)를 추출하는 등, 해당 문자들을 읽는 연속된 입 모양을 나타내기 위한 애니메이션 데이터를 생성해 준다. 즉, 3차원 아바타 애니메이션 생성모듈(40)에서는 각 문자마다 가장 비슷한 입 모양을 갖는 메쉬를 선정하여 문장에 해당하는 메쉬의 시퀀스, 즉 애니메이션 데이터를 만들어 준다. 이렇게 각각 처리된 음성, 3차원 아바타의 애니메이션, 문자 데이터들이 동기화 모듈(50)에 의해서 동기를 맞추어 결합되면서 하나의 메신저로서 정확하게 동기가 맞는 음성, 입 모양, 문자를 사용자에게 전달해 주는 시스템으로, 3차원 아바타 애니메이션이 진행되는 가운데 음성으로 메시지가 읽혀지게 되는 것이다. 즉, 상기 동기화된 애니메이션 및 해당 문자는 출력부(60)에 디스플레이됨과 함께 해당 문자 메시지의 합성된 음성이 스피커로 출력되는 것이다. 상기 아바타, 문자, 음성 데이터, 애니메이션의 동기를 맞추어 주는 것은 따로 따로 가공되고 처리된 데이터들을 한데 모아서 하나의 프로세스로 수행될 수 있도록 만들어주는 것이다.

지금까지 설명한 본 발명에 따른 이동 단말기의 3차원 아바타 메신저 시스템의 각 단계 및 구성요소별 작용을 첨부된 도면을 참조하여 더욱 상세하게 설명하면 다음과 같다.

[3차원 아바타 생성모듈]

하나의 3차원 아바타는 1개 이상의 3차원 메쉬 데이터(x,y,z에서의 vertex 좌표로 구성), 메쉬에 대한 텍스쳐 영상(texture image), 메쉬에 대한 텍스쳐 좌표(각 vertex에 mapping되는 텍스쳐 영상의 pixel 좌표), 애니메이션 데이터(애니메이션을 구성하는 메쉬의 시퀀스), 그리고 각 아바타가 갖는 특정 렌더링 정보로 구성되는데, 이러한 데이터들은 본 서비스를 제공하는 사업자가 정한 형식으로 만들어져야 한다.

본 발명에서 제안하는 3차원 아바타 생성은 위에 언급한 3차원 아바타 데이터 전부를 실시간으로 생성해 내는 것이 아니라, 이미 갖고 있는 3차원 아바타 데이터에 약간의 수정을 가하여 새로운 아바타로 재구성(생성)해 주는 방법을 사용한다. 이미 갖고 있는 3차원 아바타의 메쉬를 베이스 메쉬로 삼아서 메쉬의 특정 부분을 수정하고 텍스쳐를 변경하여 완전히 다른 아바타로 재탄생시켜 주는 것인데, 도2에 이 방법의 수순을 나타내었다.

사용자가 메시지 서비스에 이용할 3차원 아바타를 생성하겠다고 결정하면,

새로운 3차원 아바타로 저장하려는 3차원 아바타를 선택하고, 텍스쳐로 사용할 영상을 선택하며, 선택한 텍스쳐 영상에서 메쉬의 얼굴 및 얼굴 요소에 대응되는 지점의 지리 정보를 추출하고, 얼굴 및 얼굴 요소의 지리 정보를 이용하여 메쉬의 수정 및 텍스쳐 가공을 수행한 다음, 선택한 3차원 아바타에 상기 새롭게 가공한 텍스쳐를 결합하여 새로운 3차원 아바타로 저장한다.

먼저, 어떤 3차원 아바타의 텍스쳐를 변경할 것인지, 재탄생시킬 3차원 아바타를 선택하는 과정이 필요하다. 이 것은 단계(S10)에 의해서 수행된다. 3차원 아바타 데이터 베이스(3D 아바타 DB)(110)에서 재탄생시킬 3차원 아바타를 아바타 메쉬 선택 인터페이스(120)를 이용해서 선택한다.

다음에는 수정할 아바타가 선택되었으면 텍스쳐로 이용할 영상을 선택해야 하는데, 텍스쳐는 이미 갖고 있는 영상을 이용할 수도 있고, 바로 카메라 모듈로 이동하여 사용자가 직접 원하는 영상을 촬영할 수도 있다. 이 것은 단계(S20)에서 카메라로 촬영할 것인지를 판별하여 그런 경우에는 다음 단계(S30)에서 카메라 모듈을 구동시켜 촬영한 피사체를 선택한 영상으로 설정하며, 그렇지 않은 경우에는 단계(S40)으로 진행하여 영상 DB(410)를 참조하여 영상 앨범(420)에서 선택한다.

상기 단말기 앨범에 저장되어 있는 모든 영상은 카메라를 이용해서 촬영한 것이거나, 사업자들의 서버를 통해서 다운로드 받거나, PC로부터 받았거나, SMS, 메일로 전송받는 등의 수단을 통해서 사전에 획득한 것이다.

이와 같이 텍스쳐로 이용할 영상이 선택되었으면, 선택된 텍스쳐 영상에서의 얼굴, 얼굴 요소의 지리정보를 추출해야 한다. 지리 정보의 추출은 단계(S50)에 의해서 수행되며 후에 상세히 설명될 것이다. 여기서 추출된 지리정보는 베이스 메쉬 수정 및 텍스쳐 생성에 반드시 필요한 요소이다.

다음에는 상기 추출된 얼굴의 특징정보, 즉 눈, 코, 입의 지리정보를 이용해서 텍스쳐를 정규화시킨다(단계 S60). 텍스쳐를 정규화시키는 작업은 기본적인 얼굴 템플릿 메쉬를 얼굴 이미지에 부합되게 수정하기 위해서 불가피한 작업이다.

다음 단계(S70)에서는 상기 정규화된 텍스쳐를 이용하여 얼굴 특징의 지리정보에 따라 얼굴 템플릿 메쉬를 변형한다. 얼굴 템플릿 메쉬의 변형은 후에 도3을 참조하여 상세하게 설명될 것이다. 그리고 상기 단계(S10)에서 선택한 3차원 아바타에 상기 수정된 메쉬 및 텍스쳐를 연결하여 매핑 가능한 형태의 텍스쳐로 표현되는 새로운 3차원 아바타(710)를 완성하고 이를 다음 단계(S80)에서 해당 데이터 베이스에 저장함으로써 3차원 아바타의 생성이 완성된다.

[선택된 텍스쳐 영상에서의 얼굴 및 얼굴 요소의 지리정보 추출]

상기 도3에 나타낸 3차원 아바타 생성과정에서 얼굴 및 얼굴 요소의 지리 정보를 추출하는 단계(S50)를 상세히 설명한다.

자연스러운 애니메이션을 기반으로 하는 3차원 아바타 생성을 위해서 텍스쳐 영상에서의 얼굴 및 얼굴 요소의 지리정보가 사용된다. 여기서 얼굴의 지리 정보는 얼굴 영역의 위치 정보이거나, 얼굴 영역의 위치 정보에 얼굴 영역의 윤곽 정보를 포함할 수 있으며, 또한 얼굴 요소의 지리 정보는 눈과 입 영역에 대한 위치 정보이거나, 눈과 입 뿐만 아니라 코 영역에 대한 위치 정보를 포함할 수 있다.

상기 선택된 텍스쳐 영상에서 얼굴 및 얼굴 요소의 지리정보는 자동, 수동, 반자동 얼굴 및 얼굴 요소 검출 모듈을 통해서 추출될 수 있는데, 특히 얼굴 위치 및 크기와 얼굴 요소의 위치를 유도하는 지시자를 보여주는 특정 카메라 모듈을 제공하여, 제공되는 카메라 모듈로 촬영된 영상만 선택하도록 제한한다면, 보다 손쉽게 필요한 정보를 획득할 수 있다. 즉, 텍스쳐로 이용하기 위한 영상을 촬영하는 카메라 모듈은 제한된 촬영을 유도하는 것으로서, 여기서 제한된 촬영이란 텍스쳐 로 사용하려고 선택한 영상으로부터 지리 정보 추출을 쉽게 하기 위하여 사용자로 하여금 얼굴이나 눈이나 코나 입 등을 지정된 지점에 위치시키도록 유도할 수 있는 지시자를 화면에 보여준다는 것이다. 이와 같이 얼굴,눈,코,입 등을 지정된 지점에 위치시키도록 유도하는 지시자에 대한 사용자 인터페이스는 다양할 수 있다.

[텍스쳐 영상 가공]

상기 도3에 나타낸 3차원 아바타 생성과정에서 텍스쳐 영상을 가공하는 과정(S60, S70)을 상세히 설명한다.

텍스쳐 영상 가공의 첫번째 단계는 선택된 텍스쳐 영상을 정해진 텍스쳐에 맞게 정규화해 주는 것인데, 이 때 상기 추출된 얼굴 및 얼굴 요소의 지리정보가 사용된다. 텍스쳐 영상의 가공은 기울어짐 영상의 정규화, 두 눈 사이의 거리와 눈과 입 사이의 거리의 비율 정규화, 텍스쳐 영역의 오리기, 기타 데이터 첨가의 단계들로 수행된다.

먼저, 기울어짐 정규화를 수행한다. 텍스쳐 영상의 두 눈이 이루는 각도를 이용하여 두 눈이 수평을 유지하도록 회전시킨다. 이 것은 기본적으로 3차원 아바타가 정확하게 좌우로 기울어지지 않았다는 가정을 하고 있기 때문인데, 만약 선택한 3차원 아바타가 x도 기울어져 있다면 선택한 텍스쳐 영상도 x도 만큼의 각도로 회전시켜 주어야 한다.

다음에는 두 눈 사이의 거리와 눈과 입 사이의 거리의 비율을 정규화한다. 이를 위하여, 텍스쳐 영상에 나타난 얼굴이 실제 매핑(mapping) 가능한 텍스쳐의 것과 같은 크기가 되도록 스케일링(scaling) 해줘야 하는데, 우선 선택한 텍스쳐 영상에서의 두 눈 사이의 거리:정해진 두 눈 사이의 거리의 비율을 고려하여 상기 정해진 눈과 입 사이의 거리는 실제로 선택한 텍스쳐 영상에서 얼마가 되어야 하는지를 구한다. 이에 따라 두 눈의 y좌표를 중심으로 위, 아래로 각각 얼굴 영역을 스케일링하면, 선택된 텍스쳐 영상에서의 두 눈 사이의 거리:눈과 입 사이의 거리 비율이 정해진 거리 비율과 같아지게 된다.

다음에는 텍스쳐 영역 오리기를 수행한다. 위 과정을 수행하면, 실제 절대적인 크기는 맞지 않더라도 비율적으로 실제 매핑 가능한, 정해진 텍스쳐와 똑같은 얼굴 영역이 만들어지는데, 이제는 두 눈의 위쪽, 양 옆, 입 아래쪽 여백을 주어 실제 매핑 가능한 텍스쳐 영역을 설정해 주는 과정이 필요하다. 역시 두 눈 사이의 거리 비율과 정해진 여백 값으로부터 선택한 텍스쳐 영상에서의 여백 값을 구해서 오려내면 크기는 다르지만 얼굴 요소의 지리적 비율이 정확하게 똑 같은 텍스쳐 영역이 구해진다.

다음에는 기타 필요한 데이터를 첨가한다. 예를 들어, 입을 크게 벌리고 있는 메쉬의 입을 오므리고 있는 텍스쳐를 매핑하게 되면 입술과 입안, 치아 등에 해당하는 텍스쳐가 있어야 하는데, 현재 새로 생성한 텍스쳐에는 그러한 데이터가 없으므로 이에 대한 데이터를 첨가해 주는 것이다. 또한 얼굴을 좌우로 돌리는 애니메이션을 갖고 있는 메쉬의 경우, 양 옆의 귀 부분에 대한 텍스쳐도 필요한데, 이 역시 현재 선택한 텍스쳐 영상으로부터 만들어낼 수 없는 데이터이므로, 사용자가 선택한 텍스쳐 영상으로부터 만들어내는 것이 어려운 특정 텍스쳐 데이터들은 일괄적으로 미리 만들어서 가지고 있다가 상기 오려낸 텍스쳐 영역에 복사하여 넣어주 는 것이다.

[메쉬 수정]

얼굴 템플릿 메쉬를 수정하는 과정은 도3에 나타내었다.

앞서 설명한 정규화된 텍스쳐 이미지와 얼굴 특징의 지리정보를 이용하여 저장되어 있는 메쉬를 수정한다. 먼저 단계(S100)에서 해당 이미지(110)의 얼굴 특징 정보를 취득하고, 다음 단계(S200)에서 얼굴 특징의 이동 변환 요소를 계산하고, 다음 단계(S300)에서 기본 얼굴 템플릿 메쉬 정보(310)를 로딩하며, 다음 단계(S400, S500, S600)에서 메쉬를 구성하는 세 그룹(눈 그룹, 코 그룹, 입 그룹) 별로 메쉬의 변형을 수행한 후, 메쉬 변형을 완료한다(S700).

본 발명에서 사용되는 얼굴 템플릿 메쉬는 눈의 위치가 고정되어 있고, 정규화된 얼굴 텍스쳐 이미지를 이용하여 코와 입의 지리정보에 맞게 메쉬를 변형한다. 이를 위하여 얼굴 특징의 이동 변환 요소를 계산하고, 얼굴 템플릿 메쉬 변환을 수행하는 것이다.

얼굴 특징의 이동 변환 요소의 계산은 텍스쳐 정규화 과정에서 눈 사이의 간격을 스케일링할 때 사용된 스케일링 요소를 계산하는 것으로부터 출발한다. 이를 이용하여 얼굴의 각 특징의 이동 변환 요소를 구한다. 즉, 눈을 기준으로 정규화했을 때 그에 따른 코의 이동 변환 요소와 입의 이동 변환 요소를 구한다. 이는 얼굴 템플릿 메쉬를 텍스쳐 이미지의 얼굴 정보와 유사하게 변형시키는데 사용된다.

다음의 얼굴 템플릿 메쉬 변환은 얼굴 특징의 이동 변환 요소를 이용하여 메쉬를 변형시키는 것으로서 눈 그룹 정규화(S400), 코 그룹 정규화(S500), 입 그룹 정규화(S600)를 토대로 한다.

도3에 예시한 바와 같이 얼굴 템플릿 메쉬는 삼각형들로 이루어져 있고, 각각의 삼각형들은 크게 세개의 그룹을 이루어 저장이 되어 있다. 즉, 눈 그룹, 코 그룹, 입 그룹으로 나누어져 있는데, 메쉬에 스케일링이나 이동 변환을 할 때 각각의 그룹 단위(410, 510, 610)로 변환된다.

앞서 설명한 텍스쳐 정규화 과정에서 눈은 기본 얼굴 템플릿 메쉬에 정해진 눈 사이의 길이와 크기로 정규화되었기 때문에 눈 그룹은 변환되지 않고 눈을 기준으로 코 그룹과 입의 그룹을 변형시킨다. 정규화된 텍스쳐에서 코의 위치를 x라고 한다면 코 그룹에 속한 삼각형들을 x만큼 이동시키는데, 코 그룹이 이동함에 따라 입 그룹에 속한 삼각형들도 같이 움직이게 된다. 코의 위치를 맞추었으면 입 그룹도 마찬가지로 입의 위치에 따라 이동 변환을 수행하여 전체적인 얼굴 메쉬를 텍스쳐 이미지의 얼굴과 유사하게 생성하여 해당 이미지 정보(710)를 구한다.

[3차원 아바타 입 모양 애니메이션 생성]

본 발명의 이동 단말기의 3차원 아바타 메신저 시스템에 따른 애니메이션 데이터를 생성하는 방법에서는 현재 선택한 3차원 아바타의 메쉬들 중에서 문자의 모음에 해당하는 메쉬를 찾아주고, 여기서 선택된 각 메쉬들의 중간에 자연스러운 입 모양 애니메이션을 내기 위한 중간 메쉬를 생성해 줌으로써, 결국 연속되는 메쉬들의 시퀀스를 정해 준다.

본 발명에 따른 이동 단말기의 3차원 아바타 메신저 시스템에서 사용하는 3차원 아바타는 기본적으로 1개 이상의 메쉬와 애니메이션 데이터를 갖고 있어서 타 이머 설정 후 애니메이션 데이터에 따라 메쉬를 바꿔주면 아바타가 움직이는 효과를 낼 수 있다. 따라서, 문자(언어)에 존재하는 모든 모음에 대한 입 모양을 메쉬로 갖고 있다가 전송받은 문자 데이터의 모음에 따라 적절한 메쉬를 선택해 주면 아바타가 실제로 해당 글자를 발음하고 있는 것처럼 보이게 된다. 여기서, 문자의 모음에 해당하는 메쉬를 찾아 줄 때 정확하게 매칭되는 모음을 찾아 줄 수 없다면 가장 유사한 모음을 찾아준다.

자연스러운 입 모양 애니메이션을 위하여, 일단 입력받은 문자 데이터의 모음에 해당하는 메쉬를 선택한 후, 현재 메쉬에서 다음 메쉬로 넘어가는 중간에 자연스러운 입 모양 애니메이션을 위한 메쉬 보간을 수행한다. 이런 경우 메쉬의 어느 영역이 보간되어야 하는지에 대한 정보가 있어야 하며, 이렇게 보간된 메쉬들로 인해서 보다 자연스러운 애니메이션 메신저 표현이 가능하게 된다. 선택된 메쉬들 사이의 중간 메쉬를 생성할 때에는 연속되는 두 메쉬에서 입 주변 영역의 메쉬 데이터를 보간하여 중간 메쉬를 생성하는 방법을 사용할 수 있다. 또한, 중간 메쉬는 애니메이션의 속도에 따라 유동적인 개수로 선택 될 수 있다.

한편, 앞서 설명한 바와 같이 모든 모음에 대한 메쉬 데이터를 가지고 있는 것이 실제로는 작지않은 메모리 부담을 야기하는데, 이런 경우 해당 문자에 대한 대표적인 모음에 대한 메쉬만을 가지고 있다가 그 중에서 적절한 메쉬를 선택하여 애니메이션을 생성할 수도 있다. 이렇게 하면 메모리 부담을 줄일 수는 있지만 다소 부자연스러운 애니메이션 메신저를 감수해야 한다.

예를 들어 한글의 대표적 모음인 "아, 에, 이, 오, 우"에 해당하는 메쉬만 가지고 있다가 이 중에서 적절한 메쉬를 선택하여 애니메이션을 생성할 수도 있다. 이러한 경우 메모리 및 처리 시간은 줄일 수 있지만 모든 모음에 대한 메쉬 데이터를 가지고 있는 경우에 비하여 애니메이션의 자연스러움은 떨어지는 것을 감수해야 한다.

도4는 본 발명에서 3D 아바타 애니메이션의 예를 나타낸 도면이다. 도4에 나타낸 바와 같이 이동 단말기의 디스플레이부(410~460)에 3차원 아바타가 표시되는 것과 함께 그 하단에 문자 메시지가 표시되고, 해당 문자 메시지를 발음하는 모양에 따라 3차원 아바타 애니메이션 처리가 이루어지고 있으며, 이 메시지에 해당하는 음성신호가 동시에 동기되어 출력되는 것을 알 수 있다.

지금까지 설명한 본 발명의 이동 단말기의 3차원 아바타 메신저 시스템은 이동 단말기에서 3차원 그래픽스 솔루션과 음성 합성 솔루션을 결합하여 단말기로 전송된 문자 메시지를 3차원 아바타가 화면에 나와 낭독해 주는 느낌을 주는 3차원 아바타 메신저 서비스를 구현하게 해준다.

기본적으로 1개 이상 가지고 있어야 하는 3차원 아바타는 본 발명에 따른 서비스를 제공하는 사업자에 의해서 오프라인으로 제작되어야 하며, 음성 합성에 사용되는 1개 이상의 음성 데이터 역시 오프라인으로 제작되어 앞서 설명한 바와 같이 이동 단말기에 내장되거나, 다른 소스(source)로부터 다운로드 받는다.

본 발명은 이동 단말기에서 단말기로 수신된 문자 메시지를 3차원 아바타가 음성으로 읽어주는 시스템을 제공한다. 본 발명에서는 음성 합성 솔루션과 3차원 그래픽스 솔루션을 결합하여 새로운 서비스를 고안한 것으로 각각의 솔루션들을 효과적으로 이용하면서 사용자들에게 보다 진보된 메시지 서비스를 제공할 수 있다. 또한 기존의 문자 메시지가 2차원 상의 시각적으로만 전달이 가능했던 것에 비해, 3차원 아바타 메신저의 애니메이팅에 의해서 음성으로 전달되는 본 발명의 메시지는 메시지 전달의 시청각적 효과를 극대화할 수 있을 뿐만 아니라, 시각 장애인의 편의를 도모할 수 있는 기반을 제공한다.

Claims (19)

1. 3차원 아바타를 획득하는 단계; 서비스에 사용할 3차원 아바타를 설정하는 단계; 단말기에 수신된 문자 메시지를 음성으로 합성함과 함께, 상기 문자 메시지에 맞는 애니메이션 데이터를 생성하는 단계; 상기 3차원 아바타, 전송된 문자, 음성으로 합성된 데이터, 3차원 아바타의 애니메이션 데이터의 동기를 맞춰 출력해주는 단계;를 포함하여 이루어지는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
2. 제 1 항에 있어서, 상기 3차원 아바타의 획득은, 이동 단말기에 디폴트로 내장되어 있는 3차원 아바타를 이용하거나, 사업자가 제공하는 서버로부터 다운로드받아 이를 이용하거나, 단말기에 1개 이상의 유한한 개수의 3차원 아바타를 갖고 있는 상태에서 사용자가 새로운 3차원 아바타를 생성하여 이용하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
3. 제 1 항에 있어서, 상기 3차원 아바타는 메쉬와 텍스쳐 및 렌더링 정보를 포함하는 3차원 아바타 모델을 갖고 있는 것임을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
4. 제 1 항에 있어서, 상기 3차원 아바타는 모음을 발음하는 입 모양을 나타내는 메쉬와 텍스쳐 및 렌더링 정보를 포함하는 3차원 아바타 모델을 갖고 있는 것이고, 여기서 모음은 모든 모음에 해당하는 입 모양 메쉬이거나 대표적인 모음에 해당하는 입 모양 메쉬로 구성된 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
5. 제 1 항에 있어서, 상기 3차원 아바타를 획득하는 단계는,

   새로운 3차원 아바타로 저장하려는 3차원 아바타와 텍스쳐로 사용할 영상을 선택하는 단계, 선택한 텍스쳐 영상에서 메쉬의 얼굴 및 얼굴 요소에 대응되는 지점의 지리적 정보를 추출하는 단계, 상기 추출된 얼굴 및 얼굴 요소의 지리적 정보를 이용하여 메쉬를 수정하고 텍스쳐를 가공하는 단계, 상기 선택한 3차원 아바타에 상기 가공한 텍스쳐를 결합하여 새로운 3차원 아바타를 생성하는 단계를 통해서 새로운 3차원 아바타를 획득하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
6. 제 5 항에 있어서, 상기 텍스쳐로 이용할 영상은 3차원 아바타를 생성하는 순간에 카메라 모듈로 촬영하거나, 단말기 내의 영상 앨범에 저장된 모든 영상 중에서 선택함을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
7. 제 5 항에 있어서, 상기 텍스쳐로 이용할 영상은 3차원 아바타를 생성하는 순간에 카메라 모듈로 촬영하여 선택하되, 텍스쳐로 사용하려고 선택한 영상으로부터 상기 지리적 정보 추출을 손쉽게 하기 위하여 사용자로 하여금 얼굴, 눈, 코, 입 등을 지정된 지점에 위치시키도록 유도할 수 있는 지시자를 화면에 보여주는 것과 같은 제한된 촬영을 유도함을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
8. 제 5 항에 있어서, 상기 선택한 텍스쳐 영상으로부터 얼굴 및 얼굴 요소의 지리 정보를 자동, 반자동, 수동 얼굴 및 얼굴 검출 요소 검출모듈을 통해서 추출하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
9. 제 5 항에 있어서, 상기 얼굴의 지리 정보는 얼굴 영역의 위치 정보나 얼굴 영역의 윤곽정보를 포함하되, 적어도 눈이나 입이나, 코 영역에 대한 위치정보를 하나 이상 포함하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
10. 제 5 항에 있어서, 상기 텍스쳐의 가공은 텍스쳐 영역의 정규화 및, 사용자가 선택한 영상으로부터 얻어낼 수 없는 이미지 데이터를 오려낸 텍스쳐 영역의 지정된 위치에 삽입함으로써 이루어지는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
11. 제 10 항에 있어서, 상기 텍스쳐 영역의 정규화는 상기 생성된 텍스쳐 영역을 추출된 얼굴 요소의 지리정보를 이용해서 실제 사용되는 텍스쳐와 크기 및, 두 눈 사이의 거리:눈과 입 사이의 거리의 비율, 두 눈의 기울어진 각도를 동일하게 만드는 것임을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
12. 제 10 항에 있어서, 상기 사용자가 선택한 영상으로부터 얻어낼 수 없는 이미지 데이터는 벌린 입을 표현하기 위한 치아와 입안 영상, 정면 사진에서 얻기 힘든 귀 영상인 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
13. 제 5 항에 있어서, 상기 메쉬의 수정은 정규화된 텍스쳐 영역에 맞춰 선택된 메쉬를 변형시켜 주는 것으로, 텍스쳐 영역 정규화 시에 사용된 비율을 이용하여 이동 변환 요소를 계산하여 수행함을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
14. 제 13 항에 있어서, 상기 메쉬의 수정은 메쉬를 구성하는 눈 그룹, 코 그룹, 입 그룹별로 수행함을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
15. 제 1 항에 있어서, 상기 애니메이션 데이터를 생성하는 단계는, 현재 선택한 3차원 아바타의 메쉬들 중에서 문자의 모음에 해당하는 메쉬를 찾는 단계와, 선택된 각 메쉬들 중간에 자연스러운 입 모양 애니메이션을 위한 중간 메쉬를 생성하는 단계로 구성되어 연속되는 메쉬들의 시퀀스를 정해주는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
16. 제 15 항에 있어서, 상기 선택된 메쉬들 사이의 중간 메쉬를 생성하는 단계는 연속되는 두 메쉬에서 입 주변 영역의 메쉬 데이터를 보간하여 생성하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
17. 제 15 항에 있어서, 상기 선택된 메쉬들 사이의 중간 메쉬를 생성하는 단계에서 중간 메쉬는 애니메이션의 속도에 따라 그 개수가 선택됨을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
18. 제 1 항에 있어서, 상기 문자, 음성으로 합성된 데이터, 3차원 아바타 애니메이션의 동기화에 의하여 3차원 아바타가 전송받은 메시지를 음성으로 들려주는 것과 함께 상기 전송받은 문자 메시지를 화면에 디스플레이하는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 서비스 방법.
19. 문자 데이터를 수신하기 위한 문자 데이터 수신수단과, 상기 수신된 문자 데 이터를 음성으로 합성하는 음성 합성수단과, 3차원 아바타를 저장하고 서비스에 사용될 아바타를 생성하는 3차원 아바타 설정수단과, 상기 생성된 3차원 아바타에 상기 문자에 대응하는 애니메이팅 처리를 수행하는 3차원 아바타 애니메이션 생성수단과, 상기 문자, 합성된 음성을 애니메이팅 처리된 3차원 아바타의 애니메이션과 동기화시켜주는 동기화 수단과, 상기 동기화된 문자,음성,3차원 아바타를 음성 및 영상으로 출력해주는 출력수단을 포함하여 이루어지는 것을 특징으로 하는 이동 단말기의 3차원 아바타 메신저 시스템.

Images