KR20020086306A - Animation character generation system and the method on mobile device - Google Patents
Animation character generation system and the method on mobile device Download PDFInfo
- Publication number
- KR20020086306A KR20020086306A KR1020020028561A KR20020028561A KR20020086306A KR 20020086306 A KR20020086306 A KR 20020086306A KR 1020020028561 A KR1020020028561 A KR 1020020028561A KR 20020028561 A KR20020028561 A KR 20020028561A KR 20020086306 A KR20020086306 A KR 20020086306A
- Authority
- KR
- South Korea
- Prior art keywords
- character
- image
- face
- user
- unit
- Prior art date
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성시스템 및 그 방법에 관한 것이다.The present invention relates to a live-action animation character generation system and method thereof in a wireless communication device.
특히, 무선 통신 기기에서 영상처리 기술과 통신기술을 이용하여 캐릭터의 얼굴을 생성하는 방법 및 생성된 캐릭터에 표정애니메이션 및 바디애니메이션을 적용하는 방법에 관한 것이다.In particular, the present invention relates to a method of generating a face of a character using image processing technology and communication technology in a wireless communication device, and a method of applying facial expression animation and body animation to the generated character.
무선 통신 기기의 발전으로 인해 최근 다양한 컨텐츠의 개발이 이루어지고 있다. 그 중에서 핸드폰에서 캐릭터를 다운 받아 바탕화면으로 사용하는 서비스가 각광받고 있다. 하지만, 이 서비스는 디자이너에 의해 미리 만들어진 캐릭터를 사용하는 방식을 취하고 있다. 따라서 유저의 생김새와는 별개일 뿐만 아니라 유저를 대표한다고 보기에는 더더욱 취약하다고 할 수 있다. 따라서 유저의 얼굴과 닮은 캐릭터를 생성하는 것이 요구되어져 왔다. 이러한 목적을 달성하기 위해 몇몇의 연구 및 기술의 개발이 진행되어져 왔는데 그 중 하나가 캐릭터를 웹사이트에서 각각의 파트를 구매하여 조합해서 하나의 캐릭터를 만드는 방법이다. 하지만, 아무리 조합을 잘한다 할지라도 자신과 닮은 캐릭터를 만들어 내기란 아주 어렵다는 단점을 가지고 있다.Recently, various contents have been developed due to the development of wireless communication devices. Among them, a service that downloads a character from a mobile phone and uses it as a wallpaper is in the spotlight. However, the service takes the form of using a character pre-made by the designer. Therefore, it is not only separate from the appearance of the user, but also more vulnerable to represent the user. Therefore, it has been required to generate a character that resembles a user's face. Several researches and technologies have been developed to achieve this purpose, and one of them is a method of creating a character by combining characters by purchasing each part from a website. However, no matter how good the combination, it is very difficult to create a character that looks like you.
사진에 바탕을 둔 초상화의 예로는, 1998년에 'Annual Meeting of Engineers in Tokai Branch'에 게시된바 있는 일본 Chukyo 대학의 연구 시스템인 PICASSO를 예로 들 수 있다. PICASSO는 초상화를 생성하기 위한 프로젝트로 평균적인 얼굴을 이용하여 개인의 얼굴에서 뽑아 낸 특징 정보와의 수치적 차를 이용하여 초상화를 생성하고, 수치적 차를 조절하여 과장시키는 방식이다. 이것은 얼굴을 37개의 포인트에 기초하여 평균 모델을 생성한다. 하지만, PICASSO는 점과 선만으로 얼굴을 구성할 뿐만 아니라 흑백이어서 그것을 캐릭터에 적용하기에는 적합하지 않았다.An example of a photograph-based portrait is PICASSO, a research system from the Japanese Chukyo University, published in 1998 at the Annual Meeting of Engineers in Tokai Branch. PICASSO is a project for creating portraits, using portraits to create portraits using numerical differences from feature information extracted from individual faces, and exaggerating numerical differences. This creates an average model of the face based on 37 points. However, PICASSO is not only suitable for constructing faces with dots and lines, but also because it is black and white and not suitable for applying it to characters.
그 외의 종래 시스템은 정규화 된 표준 얼굴 이미지와 입력된 얼굴 이미지를 이목구비의 크기만을 비교하여 다양한 상대적 크기 데이터를 얻어낸 뒤 캐리커처를 표현해주는 시스템으로, 표준 얼굴 이미지의 21개의 특징 파라미터( 눈 크기, 눈썹두께, 코의 위치, 높이, 얼굴형태, 머리 길이 등)를 이용하여 입력된 이미지의 특징 정보를 추출한다. 이렇게 추출된 각각의 크기 데이터를 49개의 feature terms(big, small, round, thin, tall, short 등)로 분석하여 유사이미지를 얼굴에 배치시킴으로써 캐리커처를 생성한다.The other conventional system expresses the caricature after comparing the normalized standard face image and the input face image only by comparing the size of the neck and neck and obtaining various relative size data. The 21 feature parameters of the standard face image (eye size, eyebrow thickness) Feature information of the input image using the location of the nose, height, face shape, hair length, etc.). Each size data extracted in this way is analyzed by 49 feature terms (big, small, round, thin, tall, short, etc.) to create a caricature by placing similar images on the face.
마지막으로 또 다른 시스템으로 표준 얼굴 이미지의 특징(이목구비)과 얼굴 윤곽선을 455개의 포인트에 의해 표현하고, 입력된 얼굴 이미지와 표준 얼굴 이미지의 각 포인트를 비교하여 확대와 축소를 통해 입력된 이미지를 처리하고, 최종적으로 455개의 포인트를 윤곽선으로 나타내어 초상화를 그려 주는(drawing) 시스템이 있었다.Lastly, another system expresses the features of the standard face image (contrast) and the face contour by 455 points, and processes the input image through zooming in and out by comparing each point of the input face image with the standard face image. Finally, there was a system for drawing portraits by contouring 455 points.
하지만, 위와 같은 기존의 초상화 생성 시스템의 문제점은 다양하지 않은 데이터를 이용하여 생성하므로 얼굴의 다양성이 반영되지 않는다는 점과 표준 얼굴 이미지를 기반으로 변형 작업을 통하여 입력된 얼굴 이미지의 캐리커처를 생성하여 얼굴의 형태를 그대로 그려주므로 캐리커처의 의미보다는 사진의 변형의 효과를 준다는 점에 있다. 또, 조합형 외는 모두 흑백이어서 컬러 세대에 적합하지 않다는 문제점을 갖고 있다.However, the problem of the conventional portrait generation system as described above is that it does not reflect the diversity of the face because it is generated using different data, and the caricature of the face image input through the transformation operation based on the standard face image is generated. It is in that it gives the effect of the transformation of the photograph rather than the meaning of caricatures because it is drawn as it is. In addition, the combination type is all black and white, and has a problem that it is not suitable for color generation.
또, 웹상에서 또는 어플리케이션에서 이러한 캐릭터 생성 시스템을 구성하여서 컴퓨터가 없이는 캐릭터를 생성할 수 없으며, 그 방법도 복잡하여 일반 사용자들이 캐릭터를 만들기란 그리 쉽지 않은 실정이다.In addition, by configuring such a character generation system on the Web or in an application, it is impossible to generate a character without a computer, and the method is also complicated and it is not easy for general users to make a character.
덧붙여, 사진에 바탕을 둔 실사형 캐릭터에 표정 애니메이션과 바디 애니메이션을 적용한 사례는 어디에도 없었다.In addition, there have been no examples of applying facial animation and body animation to photo-based photorealistic characters.
본 발명을 통해 얻고자 하는 것은 무선 통신 기기에서 얻어낸 개인의 사진을 서버로 전송해서 캐릭터 얼굴 생성 기법을 이용하여 자신과 닮은 얼굴의 캐릭터를 실시간으로 즉석에서 자동 생성하고 수정하여 음성과 함께 제3자에게 전송하거나 바탕화면에 저장 또는 신상 정보 등에 첨부하여 개인의 얼굴을 대신하거나 착신 캐릭터 등에 이용할 수 있도록 하는 모바일 캐릭터 생성 방법을 제공하는데 있다.What is to be obtained through the present invention is to send a photo of an individual obtained from a wireless communication device to a server to automatically generate and modify a character of a face similar to oneself in real time using a character face generation technique in real time and a third party with voice. The present invention provides a method of generating a mobile character that can be transmitted to a user or stored on a desktop or attached to personal information, to replace an individual's face or to use a called character.
본 발명을 통해 얻고자 하는 것은 PC환경과는 다른 모바일 시스템 환경 하에서의 캐릭터 생성 장치를 제공하는데 있다.It is an object of the present invention to provide a character generating device in a mobile system environment different from that of a PC environment.
도 1은 본 발명에 따른 실사형 애니메이션 캐릭터생성시스템의 간략구성도 도 2는 본 발명에 따른 실사형 애니메이션 캐릭터생성시스템의 상세구성도1 is a simplified configuration diagram of the photo-realistic animation character generation system according to the present invention FIG. 2 is a detailed configuration diagram of the photo-realistic animation character generation system according to the present invention.
도 3은 본 발명에 따른 캐릭터이미지생성부의 구성을 도시한 도면3 is a diagram illustrating a configuration of a character image generation unit according to the present invention;
도 4는 본 발명에 따른 캐릭터생성방법에 따른 흐름을 개략적으로 도시한 도면4 is a view schematically showing a flow according to a character generation method according to the present invention.
도 5는 본 발명에 따른 실사형 애니메이션 캐릭터생성방법에 있어서, 카메라를 이용한 사용자 얼굴 이미지를 촬영하는 방법을 도시한 도면5 is a diagram illustrating a method of capturing an image of a user's face using a camera in the method of generating a realistic animation character according to the present invention.
도 6a, 6b, 6c는 각각 본 발명에 따른 캐릭터생성을 위해 서비스서버에서 제공되는 메뉴를 도시한 도면6A, 6B, and 6C illustrate menus provided by a service server for character generation according to the present invention, respectively.
도 7은 본 발명에 따른 캐릭터이미지생성부에 의해 수행되는 캐릭터이미지 생성절차를 도시한 흐름도7 is a flowchart illustrating a character image generation procedure performed by the character image generation unit according to the present invention.
도 8은 본 발명에 따른 캐릭터생성시스템에서 사용자 얼굴 윤곽선 추출방법을 설명하기 위한 도면8 is a view for explaining a user face contour extraction method in the character generation system according to the present invention.
도 9a 및 도 9b는 각각 본 발명에 따른 캐릭터생성시스템에 의해 검색된 사용자의 얼굴 이미지와 유사한 캐릭터를 도시한 도면9A and 9B show characters similar to the face images of a user searched by the character generation system according to the present invention, respectively.
도 10은 상기 도 9a 및 도 9b가 합성된 캐릭터이미지FIG. 10 is a character image of FIG. 9A and FIG. 9B synthesized.
도 11은 상기 도 10의 완성된 얼굴 캐릭터이미지에 음영을 조절하는 방법을 설명하기 위한 도면FIG. 11 is a diagram for describing a method of adjusting a shadow on the completed face character image of FIG. 10. FIG.
도 12는 본 발명에 따른 캐릭터생성시스템에 의해 완성된 캐릭터이미지가 사용자단말기에서 보여지는 모습을 도시한 도면12 is a view illustrating a state in which a character image completed by the character generation system according to the present invention is displayed on a user terminal.
도 13a 및 13b는 각각 완성된 캐릭터이미지를 수정하기 위해 본 발명에 따른 서비스서버에서 제공하는 메뉴를 도시한 도면13A and 13B illustrate menus provided by a service server according to the present invention for modifying completed character images, respectively.
도 14는 본 발명에 따른 캐릭터생성시스템에서 캐릭터이미지의 수정이 완료된 화면을 도시한 도면14 is a view showing a screen of the modification of the character image is completed in the character generation system according to the present invention
도 15a 및 도 15b는 각각 본 발명에 따른 캐릭터생성시스템을 이용해 움직이는 캐릭터 애니메이션의 생성방법을 설명하기 위한 도면15A and 15B are diagrams for explaining a method of generating a moving character animation using the character generation system according to the present invention, respectively.
도 16은 상기 도 2의 서비스서버 구성에 음원DB를 더욱 포함한 구성을 도시한 도면FIG. 16 is a diagram illustrating a configuration further including a sound source DB in the service server configuration of FIG.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 이동통신단말기110 : 카메라100: mobile communication terminal 110: camera
200 : 무선이터넷서비스망300 : 서비스서버200: wireless Ethernet service network 300: service server
310 : 사용자정보DB320 : 사용자확인부310: user information DB320: user identification unit
330 : 이미지저장부340 ; 캐릭터이미지생성부330: image storage unit 340; Character image generator
341 : 이목구비캐릭터DB342 : 악세사리캐릭터DB341: Lee Mokbi Character DB342: Accessories Character DB
343 : 이미지특징추출부344 : 유사캐릭터검색부343: image feature extraction unit 344: similar character search unit
345 : 캐릭터매핑부350 : 캐릭터이미지저장부345: character mapping unit 350: character image storage unit
360 : 캐릭터이미지저장부370 : 메뉴서비스제공부360: Character image storage unit 370: Menu service provider
380 : 서버운영부390 : 음원DB380: server operation unit 390: sound source DB
상기와 같은 목적을 달성하기 위해, 본 발명은 무선인터넷 접속이 가능하며 카메라가 내장되고 이미지데이터저장부를 구비한 이동통신단말기와; 상기 이동통신단말기에게 무선인터넷 서비스를 제공하기 위한 무선인터넷서비스망과; 상기 무선인터넷망에 로드되어 있으며, 사용자정보를 저장하고 있는 사용자정보DB와, 상기 무선인터넷망을 통해 접속한 사용자단말기에서 사용자정보를 추출하기 위한 사용자확인부와, 상기 카메라로 촬영한 이미지를 전송 받아 저장하기 위한 이미지저장부와, 상기 이미지에서 특징을 추출하여 매칭되는 캐릭터로 대체함으로서 캐릭터이미지를 생성하기 위한 캐릭터이미지생성부와, 상기 생성된 캐릭터이미지를 저장하기 위한 캐릭터이미지저장부와, 상기 캐릭터이미지를 상기 이동통신단말기로 전송하기 위한 캐릭터이미지전송부와, 상기 이동통신단말기로 서비스메뉴를 제공하기 위한 메뉴서비스제공부와, 상기 각 구성부의 운영과 관리를 수행하기 위한 서버운영부를 구비한 서비스서버를 포함하는 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성시스템을 제안한다.In order to achieve the above object, the present invention is a mobile communication terminal having a wireless Internet connection and a built-in camera and an image data storage unit; A wireless internet service network for providing a wireless internet service to the mobile communication terminal; A user information DB loaded on the wireless Internet network and storing user information, a user identification unit for extracting user information from a user terminal connected through the wireless Internet network, and an image photographed by the camera An image storage unit for receiving and storing the character image generator for generating a character image by replacing a character with a feature extracted from the image, and a character image storage unit for storing the generated character image; Character image transmission unit for transmitting a character image to the mobile communication terminal, a menu service providing unit for providing a service menu to the mobile communication terminal, and a server operating unit for performing the operation and management of each component Photorealistic animation caching in wireless communication device including service server We propose a character generation system.
여기서 상기 캐릭터이미지생성부는, 얼굴 각 부분에 대한 캐릭터이미지를 저장하고 있는 이목구비캐릭터DB와, 얼굴부분을 제외한 나머지 신체부위 및 물건에대한 캐릭터이미지를 저장하고 있는 악세사리캐릭터DB와, 상기 카메라에 의해 촬영된 이미지에서 신체부위별 특징을 추출하기 위한 이미지특징추출부와, 상기 추출된 이미지특징에 대응되는 유사캐릭터이미지를 검색하기 위한 유사캐릭터검색부와, 상기 검색된 이목구비캐릭터와 사용자가 선택한 악세사리캐릭터를 합성하기 위한 캐릭터매핑부를 구비하는 것을 특징으로 한다.Here, the character image generation unit, the character character DB for storing the character image for each part of the face, the accessory character DB for storing the character image for the body parts and objects except for the face part, and photographed by the camera An image feature extraction unit for extracting a feature of each body part from the extracted image, a similar character search unit for searching for a similar character image corresponding to the extracted image feature, the searched mocked character and the accessory character selected by the user Characterized in that it comprises a character mapping unit.
또한 상기 카메라는 이동통신단말기와 연결되어 호환되는 내장형 또는 외장형카메라인 것을 특징으로 한다.In addition, the camera is characterized in that the built-in or external camera compatible with the mobile communication terminal.
상기 이목구비캐릭터DB는 얼굴 형태, 귀, 눈, 입, 코, 눈썹에 대한 각 캐릭터이미지 및 여러 가지 정의 동적표현 실현을 위한 다수의 프레임을 남녀별로 구분하여 저장하고 있는 데이터베이스이며 상기 악세사리캐릭터DB는 헤어스타일별, 체형별, 동작별 각 캐릭터이미지를 남녀별로 구분하여 저장하고 있는 것을 특징으로 한다.The Imok-gubi character DB is a database that stores each character image for face shape, ears, eyes, mouth, nose, and eyebrows and a plurality of frames for realizing various defined dynamic expressions by gender, and the accessory character DB is hair. Character images by style, body type, and motion are classified and stored by gender.
또한 상기 서비스서버는 다수의 음원 및 음성데이터를 저장하고 있는 음원DB를 더욱 포함하는 것을 특징으로 한다.In addition, the service server is characterized in that it further comprises a sound source DB that stores a plurality of sound sources and voice data.
상기와 같은 구성을 가지는 본 발명에 따른 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성시스템은, 얼굴형과, 얼굴 각 부위, 신체 각 부위, 물건에 대한 다수의 캐릭터를 제작하고 상기 이목구비캐릭터DB와 악세사리DB에 각각 저장하는 단계와; 상기 이동통신단말기의 카메라를 이용해 사용자의 얼굴을 촬영하고 이미지로 저장하는 단계와; 상기 이동통신단말기를 이용해 상기 서비스서버로 접속하는 단계와; 상기 서비스서버는 사용자확인부를 통해 사용자정보를 추출하고 추출된정보를 상기 사용자정보DB에 저장하는 단계와; 상기 이동통신단말기에 저장된 이미지를 상기 서비스서버로 전송하고, 상기 서비스서버는 상기 이미지를 이미지저장부에 저장하는 단계와; 상기 이미지특징추출부를 통해 상기 이미지에서 얼굴형 및 얼굴 각 부위별 특징을 추출하는 단계와; 상기 유사캐릭터검색부는 상기 각 부위별로 추출된 특징에 해당하는 캐릭터를 상기 이목구비캐릭터DB에서 검색하는 단계와; 상기 캐릭터매핑부는 상기 검색된 각 캐릭터들을 매핑하여 하나의 얼굴캐릭터이미지로 합성하는 단계와; 사용자는 상기 얼굴캐릭터이미지에 대한 검토를 수행하는 단계와; 사용자는 상기 메뉴서비스제공부를 이용해 상기 악세사리캐릭터DB에서 얼굴 외의 신체 각 부위 및 물건에 대한 캐릭터를 선택하는 단계와; 상기 선택된 신체부위캐릭터와 물건 캐릭터를 상기 얼굴캐릭터이미지에 매핑하여 합성하는 단계와; 상기 합성된 캐릭터이미지를 상기 캐릭터이미지저장부에 저장하는 단계와; 상기 저장된 캐릭터이미지를 상기 캐릭터이미지전송부를 통해 사용자단말기로 전송하는 단계를 포함하는 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성방법을 제안한다.The live-action animation character generation system in the wireless communication device according to the present invention having the configuration as described above is to produce a number of characters for the face type, each part of the face, each part of the body, the object, and the yimokgubi character DB and accessories Storing each in a DB; Photographing a user's face using a camera of the mobile communication terminal and storing the image as an image; Accessing the service server using the mobile communication terminal; The service server extracting user information through a user identification unit and storing the extracted information in the user information database; Transmitting an image stored in the mobile communication terminal to the service server, and the service server storing the image in an image storage unit; Extracting facial features and facial features from the image through the image feature extracting unit; Searching for a character corresponding to a feature extracted for each part in the mock-up character database; The character mapping unit mapping each of the found characters to synthesize one face character image; A user performing a review on the face character image; Selecting a character for each part of the body other than the face and the object from the accessory character DB by the user using the menu service providing unit; Synthesizing the selected body part character and the object character by mapping them to the face character image; Storing the synthesized character image in the character image storage unit; A method of generating a realistic animation character in a wireless communication device including transmitting the stored character image to a user terminal through the character image transmitter.
여기서 상기 이미지특징추출부는 상기 이미지에서 얼굴영역을 판별하는 단계와; 상기 이미지에서 이목구비를 판별하는 단계와; 상기 판별된 각 부분에 대한 특징정보를 추출하는 단계와; 상기 추출된 특징정보와 저장된 캐릭터와의 유사도를 계산하는 단계를 통해 상기 이미지에서의 얼굴형 및 얼굴 각 부위별 특징을 추출하는 것을 특징으로 한다.Wherein the image feature extraction unit determines a face region in the image; Determining an eye ratio in the image; Extracting feature information on each of the determined portions; By calculating the similarity between the extracted feature information and the stored character, it is characterized in that the facial feature and the feature for each part of the image is extracted.
또한 상기 합성된 얼굴캐릭터이미지에 대한 사용자의 검토에 있어서, 사용자가 확인메시지를 전송할 경우 다음 단계로 진행하고, 수정메시지를 전송할 경우 상기 메뉴서비스제공부는 얼굴형 및 얼굴 각 부위에 대한 선택메뉴를 상기 사용자단말기로 제공하는 단계와; 상기 선택메뉴에서 선택된 항목에 대한 캐릭터를 상기 이목구비캐릭터DB에서 로드하여 상기 사용자단말기로 출력하는 단계와; 사용자는 상기 출력되는 캐릭터에서 선택을 수행하고 상기 선택된 캐릭터는 상기 얼굴캐릭터이미지에 재매핑하는 단계를 더욱 포함하는 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성방법인 것을특징으로 한다.In the user's review of the synthesized face character image, when the user transmits a confirmation message, the user proceeds to the next step. When the user transmits a correction message, the menu service provider displays a selection menu for each face type and face part. Providing to a user terminal; Loading a character for the item selected in the selection menu from the mock-up character DB and outputting the character to the user terminal; A user performs a selection on the output character, and the selected character is a realistic animation character generation method in a wireless communication device further comprising the step of remapping the face character image.
아울러 상기 합성된 얼굴캐릭터이미지에 대한 사용자의 검토에 있어서, 사용자는 상기 메뉴서비스제공부를 통해 상기 음원DB에 저장된 음원중 적어도 하나를 선택하는 단계와; 상기 선택된 음원을 상기 이동통신단말기로 전송하는 단계를 더욱 포함하는 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성방법을 제안한다.In the user's review of the synthesized face character image, the user may select at least one of sound sources stored in the sound source DB through the menu service providing unit; A method of generating a realistic animation character in a wireless communication device further comprising transmitting the selected sound source to the mobile communication terminal.
이하 상기와 같이 제안된 본 발명에 따른 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성시스템 및 그 방법에 대해 첨부된 도면을 참조하여 보다 상세히 설명하기로 한다.A realistic animation character generation system and method thereof for a wireless communication device according to the present invention proposed as described above will be described in more detail with reference to the accompanying drawings.
도 1과 도 2는 각각 본 발명에 따른 실사형 애니메이션 캐릭터생성시스템의 간략구성도 및 상세구성도로서, 무선인터넷 접속이 가능하며 카메라(110)가 내장되고 이미지데이터저장부(120)를 구비한 이동통신단말기(100)와; 상기 이동통신단말기에게 무선인터넷 서비스를 제공하기 위한 무선인터넷서비스망(200)과; 상기 카메라를 통해 얻어진 얼굴이미지를 유사캐릭터로 대체하여 얼굴캐릭터이미지를 생성하고 상기 생성된 얼굴캐릭터이미지에 또다른 캐릭터를 매핑하여 캐릭터 이미지를 생성하기 위한 서비스서버(300)를 도시하고 있다.1 and 2 are simplified and detailed configuration diagrams of the live-action animation character generation system according to the present invention, respectively, which can be connected to the wireless Internet and include a camera 110 and an image data storage unit 120. A mobile communication terminal 100; A wireless internet service network 200 for providing a wireless internet service to the mobile communication terminal; The service server 300 for generating a character image by generating a face character image by replacing the face image obtained through the camera with a similar character and mapping another character to the generated face character image is illustrated.
여기서 상기 서비스서버(300)는 상기 무선인터넷서비스망(200)에 로드되어 있으며, 사용자정보를 저장하고 있는 사용자정보DB(310)와, 상기 무선인터넷망을 통해 접속한 사용자단말기에서 사용자정보를 추출하기 위한 사용자확인부(320)와, 상기 카메라로 촬영한 이미지를 전송 받아 저장하기 위한 이미지저장부(330)와, 상기 이미지에서 특징을 추출하여 매칭되는 캐릭터로 대체함으로서 캐릭터이미지를 생성하기 위한 캐릭터이미지생성부(340)와, 상기 생성된 캐릭터이미지를 저장하기 위한 캐릭터이미지저장부(350)와, 상기 캐릭터이미지를 상기 이동통신단말기(100)로 전송하기 위한 캐릭터이미지전송부(360)와, 상기 이동통신단말기(100)로 서비스메뉴를 제공하기 위한 메뉴서비스제공부(370)와, 상기 각 구성부의 운영과 관리를 수행하기 위한 서버운영부(380)를 구비하고 있다.Here, the service server 300 is loaded in the wireless Internet service network 200, and extracts user information from a user information DB 310 storing user information and a user terminal connected through the wireless Internet network. A user identification unit 320 for performing the operation, an image storage unit 330 for receiving and storing the image photographed by the camera, and a character for generating a character image by extracting a feature from the image and replacing it with a matching character. An image generator 340, a character image storage unit 350 for storing the generated character image, a character image transmitter 360 for transmitting the character image to the mobile communication terminal 100, A menu service providing unit 370 for providing a service menu to the mobile communication terminal 100, and a server operating unit 380 for performing operation and management of each component unit. Equipped with.
상기 본 발명에 따른 실시예의 설명에 있어서 이해를 위해, 이하 "이미지"는 카메라를 이용해 얻은 사진을 칭하고, "캐릭터"는 얼굴 또는 신체의 일부위 및 일 물건을 캐릭터화한 것을 칭하고, "캐릭터이미지"는 상기 다수의 "캐릭터"가 합성된 것을 칭한다.For the purpose of understanding in the description of the embodiment according to the present invention, "image" refers to a photograph obtained by using a camera, "character" refers to a character of a face or a part of the body and a work object, "character image" Refers to the synthesis of the plurality of "characters".
상기 이동통신단말기(100)는 무선인터넷으로의 접속이 가능한 단말기로서, 데이터의 출력을 위해 LCD(Liquid Crystal Display)와 같은 소자로 제작된 디스플레이장치(미도시)를 구비하고 있으며, 또한 본 발명에 따른 캐릭터이미지를 저장하기 위해 메모리장치인 이미지데이터저장부(미도시)를 구비하고 있는 휴대전화, PDA, 팜탑PC, 노트북컴퓨터 등이다.The mobile communication terminal 100 is a terminal capable of accessing the wireless Internet, and includes a display device (not shown) made of a device such as an LCD (Liquid Crystal Display) for outputting data. A mobile phone, a PDA, a palmtop PC, a notebook computer, and the like having an image data storage unit (not shown) which is a memory device for storing a character image according to the present invention.
상기 카메라(110)는 상기 이동통신단말기(100)와 물리적 및/또는 전기적으로연결될 수 있고, 상기 이동통신단말기(100)에 의해 제어 또는 호환되는 카메라로서 전자적 데이터로 구성된 이미지를 생성할 수 있는 장치이다. 물론 상기 조건을 만족할 경우 디지털카메라일 수도 있음은 당연하다.The camera 110 may be physically and / or electrically connected to the mobile communication terminal 100 and may generate an image composed of electronic data as a camera that is controlled or compatible by the mobile communication terminal 100. to be. Of course, if the above conditions are satisfied, it may be a digital camera.
상기 무선인터넷서비스망(200)은 이동전화나 PDA 같은 무선통신(장비)을 이용하여 인터넷서비스를 이용할 수 있도록 하는 서비스망을 말하는데, HTML을 사용하는 유선 인터넷과는 달리 보통 WML이나 HDML 혹은 mHTML과 같은 무선 인터넷에 적합한 언어로 서비스되며, WAP방식과 Mobile Explorer방식, 그리고 i-mode 등 여러방식의 프로토콜을 이용한 서비스를 제공한다.The wireless Internet service network 200 refers to a service network that enables the use of Internet services by using a wireless communication (equipment) such as a mobile phone or a PDA. Unlike wired Internet using HTML, WML or HDML or mHTML is usually used. It is serviced in a language suitable for the same wireless Internet, and provides services using various types of protocols such as WAP method, Mobile Explorer method, and i-mode.
상기 사용자정보DB(310)는 본 발명에 따른 실사형 애니메이션 캐릭터생성서비스를 이용하는 사용자들의 정보를 저장하고 있으며, 상기 저장되는 정보로는 사용자의 이름, 회원아이디, 접속패스워드, 연락처, 주소, 이동통신단말기정보, 주민번호, 서비스이용기록 등이 될 수 있다. 여기서 상기 이동통신단말기정보는 사용자단말기 하드웨어 고유의 정보인 무선전화기식별번호(MIN:Mobile Identification Number) 또는 단말기고유번호(ESN:Electric Serial Number)이다. 또한 상기 서비스기록은 서비스이용횟수, 서비스이용시간, 서비스 이용요금 등이다.The user information DB 310 stores information of users using the live-action animation character generation service according to the present invention. The stored information includes a user's name, member ID, access password, contact information, address, and mobile communication. Terminal information, social security number, service usage record, and the like. Herein, the mobile communication terminal information is a mobile telephone identification number (MIN) or a terminal unique number (ESN), which is information unique to user terminal hardware. In addition, the service record is the number of service usage, service usage time, service usage fee, and the like.
상기 사용자확인부(320)는 상기 본 발명에 따른 서비스의 이용을 위해 접속한 사용자에 대해 서비스이용 요금부과 등의 목적을 위해 사용자를 식별하기 위한 구성부로서, 통상에 이용되는 회원아이디와 접속패스워드를 이용한 사용자 인증을 수행할 수도 있으나, 바람직하게는 무선인터넷망을 통해 전송 받은 데이터패킷에 포함된 상기 이동통신단말기정보를 이용하여 상기 사용자정보DB(310)에 저장된 정보와의 비교를 통한 사용자확인 또는 인증을 수행한다. 상기 사용자확인부(320)를 통한 기록은 상기 사용자정보DB(310)에 업데이트됨은 당연하다.The user identification unit 320 is a component for identifying a user for the purpose of charging a service, etc. for a user connected for the use of the service according to the present invention. Although user authentication may be performed using a user, preferably, user verification through comparison with information stored in the user information DB 310 using the mobile communication terminal information included in a data packet transmitted through a wireless Internet network. Or perform authentication. Naturally, the recording through the user confirmation unit 320 is updated in the user information DB 310.
상기 이미지저장부(330)는 상기 카메라(110)로 촬영하여 상기 이동통신단말기(100)와 무선인터넷서비스망(200)을 통해 전송 받은 얼굴이미지를 저장하고 있는데, 사용자별로 구분하여 저장된다.The image storage unit 330 stores the face image taken by the camera 110 and transmitted through the mobile communication terminal 100 and the wireless Internet service network 200, and is stored separately for each user.
상기 캐릭터이미지생성부(340)는 상기 이미지저장부(330)에 저장된 이미지를 이용하여 캐릭터이미지를 생성하는 구성부로서, 도 3과 같이, 얼굴 각 부분에 대한 캐릭터이미지를 저장하고 있는 이목구비캐릭터DB(341)와, 얼굴부분을 제외한 나머지 신체부위 및 물건에 대한 캐릭터이미지를 저장하고 있는 악세사리캐릭터DB(342)와, 상기 카메라에 의해 촬영된 이미지에서 신체부위별 특징을 추출하기 위한 이미지특징추출부(343)와, 상기 추출된 이미지특징에 대응되는 유사캐릭터이미지를 검색하기 위한 유사캐릭터검색부(344)와, 상기 검색된 이목구비캐릭터와 사용자가 선택한 악세사리캐릭터를 합성하기 위한 캐릭터매핑부(345)로 구성된다.The character image generation unit 340 is a component that generates a character image using the image stored in the image storage unit 330, as shown in Figure 3, Lee Mok-gu Bi Character DB that stores the character image for each part of the face 341, an accessory character DB 342 that stores character images of body parts and objects other than the face part, and an image feature extraction unit for extracting features of each body part from an image photographed by the camera; 343, a similar character search unit 344 for searching for similar character images corresponding to the extracted image features, and a character mapping unit 345 for synthesizing the searched mocking character and the accessory character selected by the user. It is composed.
상기 이목구비캐릭터DB(341)는 본 발명에 따른 캐릭터생성시스템을 통한 캐릭터이미지를 생성하기 위해, 얼굴형과 얼굴 각 부위(눈, 코, 입, 눈썹, 귀)에 대한 캐릭터를 저장하고 있는데, 바람직하게는 다양한 모습과, 표정에 따른 캐릭터들을 저장하고 있다. 또한 상기 각 얼굴부위 캐릭터에 대해 애니메이션 생성시 필요한 부분 프레임들을 저장하고 있다.In order to generate the character image through the character generation system according to the present invention, the Leemok-gu character DB 341 stores a face type and a character for each face (eye, nose, mouth, eyebrow, ear). Hagi stores characters in various shapes and expressions. In addition, the partial frames necessary for generating an animation are stored for each face character.
상기 악세사리캐릭터DB(342)는 상기 이목구비캐릭터를 제외한 나머지 신체부분(몸, 다리, 팔, 헤어)에 대한 캐릭터와, 기타 물건들에 대한 캐릭터를 저장하고있다.The accessory character DB 342 stores the characters for the body parts (body, legs, arms, hair), and other objects except for the Imokeun character.
상기 이미지특징추출부(343)는 상기 카메라(110)를 통해 생성된 얼굴 이미지에서 얼굴형과 이목구비를 구별하고, 사용자 이미지에서 사용자 피부의 밝기, 즉 음영에 대한 정보를 추출하기 위한 부분이다.The image feature extracting unit 343 is a part for distinguishing a face shape from an eyeball in a face image generated by the camera 110 and extracting information about brightness or shadow of a user's skin from a user image.
상기 유사캐릭터검색부(344)는 상기 추출된 이미지특징에 대해 저장된 캐릭터와의 유사도를 계산한 후 가장 유사한 캐릭터를 상기 이목구비캐릭터DB(341)에서 검색하는 부분이다.The similar character search unit 344 calculates the similarity with the stored character with respect to the extracted image feature, and then searches for the most similar character in the mock-up character DB 341.
상기 캐릭터매핑부(345)는 상기 검색된 유사 캐릭터들을 이용하여 완성된 캐릭터이미지로의 합성을 수행하는 부분이다.The character mapping unit 345 is a part which performs synthesis to the completed character image by using the found similar characters.
상기 캐릭터이미지저장부(350)는 상기 캐릭터이미지생성부(340)에 의해 생성된 캐릭터이미지를 저장하는 부분이다.The character image storage unit 350 stores a character image generated by the character image generation unit 340.
상기 캐릭터이미지전송부(360)는 상기 캐릭터이미지를 상기 이동통신단말기(100)로 전송을 수행한다.The character image transmitter 360 transmits the character image to the mobile communication terminal 100.
상기 메뉴서비스제공부(370)는 상기 무선인터넷서비스망(200)을 통해 상기 본 발명에 따른 서비스서버(300)로 접속한 이동통신단말기(100)로 다양한 서비스메뉴를 제공하는데, 이미지의 전송과 저장을 메뉴, 캐릭터선택 또는 수정을 위한 다양한 서비스메뉴를 구비하고 있다.The menu service provider 370 provides various service menus to the mobile communication terminal 100 connected to the service server 300 according to the present invention through the wireless Internet service network 200. It is equipped with various service menus for storing menus, character selection or modification.
상기 서버운영부(380)는 상기 본 발명에 따른 서비스서버(300)의 각 구성부에 대한 운영과 관리를 수행한다. 물론 관리자에 의한 서비스관리 및 데이터베이스의 관리가 가능하도록 하는 것이 바람직하다.The server operating unit 380 operates and manages each component of the service server 300 according to the present invention. Of course, it is desirable to enable service management and database management by the administrator.
이하 상기와 같은 구성을 가지는 본 발명에 따른 무선 통신 기기에서의 실사형 애니메이션 캐릭터생성방법에 대해 설명하기로 한다.Hereinafter, a method of generating a realistic animation character in a wireless communication device according to the present invention having the above configuration will be described.
도 4는 본 발명에 따른 캐릭터생성방법에 따른 흐름을 개략적으로 도시한 도면으로서, 먼저 본 발명에 따른 캐릭터생성시스템을 운영하는 관리자는 이목구비와 얼굴형 및 각종 신체부위와 물건을 포함하는 다양한 캐릭터를 제작하고 상기 각 캐릭터DB(341)(342)에 저장해 두어야 한다.4 is a view schematically showing the flow according to the character generation method according to the present invention. First, the administrator who operates the character generation system according to the present invention displays various characters including an eye and face, various body parts and objects. Produced and stored in each of the character DB (341) (342).
사용자는 자신의 이동통신단말기(100))와 카메라(110)를 이용하여 얼굴 이미지를 촬영한다.(S1) 이때 상기 얼굴이미지 촬영에 있어서, 본 발명에서는 상기 이미지추출의 용이함을 위해 도 5와 같이, 상기 카메라(110)를 이용한 이미지 촬영시 얼굴의 특정 부위(눈과 입술)의 위치를 미리 지정된 제한영역에 위치하도록 하여 촬영한다. 물론 상기 도 5에서 원으로 표시된 영역은 실제로 표시되어 있지 않기 때문에 사용자가 적절히 위치를 판단하여 얼굴 이미지를 촬영하여야 한다.A user photographs a face image using his mobile communication terminal 100 and the camera 110. (S1) At this time, in the face image capture, in the present invention, as shown in FIG. When photographing an image using the camera 110, the position of a specific part (eye and lips) of the face is photographed by being positioned in a predetermined restriction area. Of course, since the area indicated by the circle in FIG. 5 is not actually displayed, the user should appropriately determine the position to take a face image.
상기와 같이 눈과 입술을 특정 영역에 위치하여 촬영하는 것은 얼굴의 캐릭터 생성에 적합한 사진을 획득하기 위함인데, 여기서 적합한 사진이라 함은 정면을 보고 있으며 눈, 코, 입이 뚜렷하게 나온 사진을 말하는데, 무선 통신기기는 일반적으로 해상도가 낮고 내/외장된 카메라의 해상도(DPI) 또한 높지 않기 때문에 적합한 이미지 사진을 얻기가 힘든 문제점이 있다. 또한 상기 적합한 사진이 아니면 영상처리에 있어서 아무리 좋은 알고리즘이라 할지라도 유사한 캐릭터를 만들어 내기란 쉬운 일이 아니다. 예를 들어, 사진이 아주 작거나, 사진의 해상도는 높으나 얼굴의 영역이 작거나, 얼굴이 정면을 보고 있지 않고 측면을 주시하고 있는 경우가 이러한 경우이다. 상기와 같은 예시의 경우 눈 또는 입을 찾지 못하여 다른 부분을 눈 또는 입으로 잘못 인식하여 닮은 캐릭터를 만들어 내는데 어려움이 있는 것이다. 그러나, 일반적인 무선 통신기기의 카메라는 즉석에서 사진을 찍기 때문에 특정한 조건만 맞추어 주면 하드웨어적인 문제점(예를 들면, 카메라의 해상도(DPI))을 제외한 상태에서 좋은 사진을 획득할 수 있는 장점이 있다. 상기와 같은 문제점으로 인해 고안된 방법이 본 발명에서 사용되는 도 5에서의 도시와 같이, 사용자는 3개의 원에 눈과 입이 위치하도록 상기 이동통신단말기(100)의 카메라(110)의 거리를 조절하여 촬영하는 것이다. 따라서 사용자의 정면 사진이면서 이목구비의 대충의 영역을 미리 알 수 있는 이점이 있는 방법인 것이다.Positioning the eyes and lips in a specific area as described above is to obtain a picture suitable for the creation of the character of the face, where a suitable picture refers to a picture with a clear view of the eyes, nose and mouth. Wireless communication devices generally have a low resolution and have a high resolution (DPI) of internal / external cameras, which makes it difficult to obtain a suitable image. It is also not easy to produce a similar character, no matter how good an algorithm is in image processing, unless it is a suitable picture. For example, this is the case when the picture is very small, the picture resolution is high but the area of the face is small, or the face is looking at the side rather than looking at the front. In the case of the above example, it is difficult to create a character that resembles the eyes or the mouth by misrecognizing other parts as the eyes or the mouth. However, since a camera of a general wireless communication device takes a picture on the fly, it is advantageous to obtain a good picture in a state excluding a hardware problem (for example, a resolution of the camera (DPI)) by providing specific conditions. As shown in FIG. 5 in which the method devised due to the above problems is used in the present invention, the user adjusts the distance of the camera 110 of the mobile communication terminal 100 so that eyes and mouth are located in three circles. By shooting. Therefore, it is a method having an advantage of knowing in advance the roughly the area of the front view of the user as well as the eye.
상기와 같은 방법으로 얼굴이미지를 촬영하여 저장한 후, 사용자는 상기 서비스서버(300)로 접속하게 된다.(S2) 이때 상기 사용자확인부(320)는 상기 사용자정보DB(310)를 이용하여 사용자에 대한 서비스이용승인 또는 서비스이용기록을 생성하게 된다.After capturing and storing the face image in the same manner as above, the user accesses the service server 300. (S2) In this case, the user identification unit 320 uses the user information DB 310 to perform the user's operation. The service usage authorization or service usage record for the service is generated.
상기 이동통신단말기(100)를 이용한 서비스서버(300)로의 접속이 수행되면 캐릭터이미지의 생성을 수행할 수 있도록 상기 메뉴서비스제공부(370)에 의해 도 6a, 6b, 6c 에서와 같이, 메뉴를 제공하는데, 사용자는 자신의 얼굴이미지에 대한 캐릭터이미지를 생성하기 위해 자신의 성별을 선택한다.(S3)When a connection to the service server 300 using the mobile communication terminal 100 is performed, the menu service providing unit 370 performs a menu as shown in FIGS. 6A, 6B, and 6C to perform character image generation. In operation S3, the user selects his / her gender to generate a character image of his / her face image.
상기 성별이 선택되면, 사용자는 자신의 얼굴 이미지를 상기 서비스서버(300)로 전송한다.(S4) 상기 얼굴 이미지를 전송 받은 서비스서버(300)는 바람직하게는 상기 이미지저장부(330)에 사용자별로 저장한다.When the gender is selected, the user transmits his or her face image to the service server 300. (S4) The service server 300 receiving the face image is preferably a user in the image storage unit 330. Save it very much.
상기 서비스서버(300)는 이동통신단말기(100)로부터 전송 받은 얼굴 이미지를 이용하여 캐릭터이미지생성을 수행해야 하는데(S5), 상기 캐릭터이미지생성부(340)에 의해 수행되는 캐릭터생성방법에 대해 보다 상세히 설명하기로 한다.The service server 300 should perform the character image generation using the face image received from the mobile communication terminal 100 (S5), more than the character generation method performed by the character image generation unit 340 It will be described in detail.
도 7은 상기 캐릭터이미지생성부(340)에 의해 수행되는 캐릭터이미지 생성절차를 도시한 흐름도로서, 먼저 상기 도 5에서와 같이, 눈과 입이 제한 영역에 맞추어져 촬영된 이미지에서 전체적인 얼굴영역을 추론하여 추출한다.(P1)FIG. 7 is a flowchart illustrating a character image generation procedure performed by the character image generation unit 340. First, as shown in FIG. Inferred to extract (P1)
상기와 같이 미리 정해진 제한영역에 맞춘 촬영 사진에서 얻어진 눈과 입의 위치를 참고로 일반적인 통계수치에 의해 눈썹과 코의 위치를 추론한다.(P2) 물론 상기 "일반적인 통계수치"는 눈, 입, 눈썹 ,귀, 코 등이 얼굴에 위치한 정보를 통계한 것으로 미리 상기 수치를 구축하여 입력해 두는 것이 바람직할 것이다.The eyebrows and noses are inferred by general statistics based on the positions of eyes and mouths obtained from the photographed images that fit the predetermined restricted areas as described above (P2). Eyebrows, ears, nose, etc. are statistics on the information located on the face, it would be desirable to build and enter the above values in advance.
상기와 같이 얻어진 이목구비에 대한 위치정보를 이용하여 각 부분에 대한 특징정보를 추출해야 하는데(P3), 상기 사용자의 얼굴 이미지에서 얼굴형과 이목구비의 모양, 높이, 각도, 진하기 등이 상기 특징정보에 포함된다.It is necessary to extract the feature information for each part by using the positional information on the eyeballs obtained as described above (P3), and the shape, height, angle, darkening, etc. of the face shape and the eyeballs in the face image of the user. Included in
상기 특징정보의 추출방법에 대해 설명하면, 순수한 눈 영역을 분리해 내는 과정과 스캐닝과정, 그리고 정규화 과정으로 이루어진다.The method of extracting the feature information includes a process of separating a pure eye region, a scanning process, and a normalization process.
먼저 순수한 눈 영역을 분리해 내는 과정은 눈과 그 외 얼굴살 부분과의 분리과정을 말하는데 이미지프로세싱에서 밝기 분포 정보와 윤곽선추출기법을 이용하여 얻어질 수 있다. 상기 윤곽선추출기법으로는 주로 Sobel, Perwitt 알고리즘이 사용된다. 상기 sobel(소벨)은 윤곽선검출 알고리즘의 하나이며, 윤곽선 검출의 가장 대표적인 미분연산자로서, 2차 미분 연산자이며, x축, y축으로 각각 한번씩 미분하여 윤곽선을 추출을 위한 기울기를 산출하는 알고리즘이며, 상기 Perwitt(프리윗)은 상기 소벨(Sobel) 필터의 결과와 거의 같은 결과 값을 나타내는데 응답시간이 약간 빠르며 마스크의 형태는 비슷하나 밝기의 경계에 대해 비중을 약간 다르게 주어서 윤곽선 검출 시 윤곽선이 덜 부각되어 나타나도록 하는 특징을 가진 윤곽선추출 알고리즘이다. 상기 각 알고리즘은 당업계에서 이미 널리 알려진 알고리즘으로 상세한 설명은 생략한다.First, the process of separating the pure eye region refers to the process of separating the eye and other parts of the face, which can be obtained by using brightness distribution information and contour extraction technique in image processing. As the contour extraction technique, Sobel and Perwitt algorithms are mainly used. The sobel (Sobel) is one of the contour detection algorithm, the most representative differential operator of the contour detection, the second derivative operator, the algorithm for calculating the slope for extracting the contour by differentiating once in the x-axis, y-axis, The Perwitt (Prewitt) shows almost the same result as the Sobel filter, but the response time is slightly faster and the shape of the mask is similar, but the weight is slightly different for the boundary of the brightness so that the contour is less prominent when detecting the contour. It is a contour extraction algorithm with a characteristic to appear. Each of the above algorithms is well known in the art and will not be described in detail.
상기 눈 영역의 분리가 끝나면 마찬가지로 입 부분의 분리도 가능하다.After the separation of the eye area is complete, the mouth part can be separated as well.
다음으로 상기 스캐닝과정은 특정정보를 찾기 위해 윤곽선을 따라 픽셀값을 얻어내는 과정을 말하는데, 얼굴 형태의 윤곽선을 추출하는 과정이다.Next, the scanning process refers to a process of obtaining pixel values along contours in order to find specific information, and extracting contours of a face shape.
도 8에서 보듯이, 본 발명에서 사용하는 얼굴의 윤곽선을 추출하는 과정은 기본얼굴모델을 준비하고, 상기 기본얼굴모델에서 윤곽선 특징정보를 추출하여 수치화한 후, 상기 카메라(110)를 통해 입력된 사용자의 얼굴이미지가 상기 기본얼굴모델의 윤곽선 특징정보와의 거리차만큼 상기 기본 얼굴 모델 이미지에 더하거나 빼서 변형하는 방법을 사용한다. 이를 공식으로 표현하면, 수식(1)과 같다.As shown in FIG. 8, the process of extracting the contour of the face used in the present invention includes preparing a basic face model, extracting and quantifying contour feature information from the basic face model, and inputting the same through the camera 110. The user's face image is added to or subtracted from the basic face model image by a distance difference from the contour feature information of the basic face model. If this is expressed as a formula, it is the same as Formula (1).
[수식(1)] Mi= Mi+ (Si- Mi), (Mi= 얼굴 좌표, S:입력영상, i = 0,1,2,...N) 과 같다.Equation (1) M i = M i + (S i -M i ), (M i = face coordinates, S: input image, i = 0, 1, 2, ... N)
상기와 같이 눈, 입, 코, 눈썹, 귀 얼굴형 등에 대한 특징정보가 추출되면, 상기 이목구비캐릭터DB(341)에서 유사한 캐릭터를 검색하기 위해 유사도를 계산해야 하는데, 이때 상기 캐릭터의 검색에 사용되는 유사도 계산식은 다음 수식(2)와 같다.When the feature information on the eyes, mouth, nose, eyebrows, ear face shape and the like is extracted as described above, the similarity should be calculated in order to search for similar characters in the Lee Mok-Gu Character DB 341, which is used to search for the character. The similarity calculation formula is shown in the following equation (2).
[수식(2)] [Equation (2)]
상기와 같이, 유사도가 계산되면 상기 유사캐릭터검색부(344)는 상기 이목구비캐릭터DB(341)에서 상기 유사도에 가장 접근하는 각 캐릭터들을 검색한다.(P4)As described above, when the similarity is calculated, the similar character search unit 344 searches for each character closest to the similarity in the mock-up character DB 341 (P4).
상기 검색된 유사 캐릭터들은 상기 캐릭터매핑부(345)에 의해 합성되는데, 예를 들어 도 9a와 같은 이목구비 캐릭터와, 도 9b의 얼굴형 캐릭터가 검색되었을 경우, 상기 각 캐릭터들을 매핑하여 도 10와 같은 완성된 캐릭터이미지로 합성하게 된다.(P5)The searched similar characters are synthesized by the character mapping unit 345. For example, when a noble-necked character such as FIG. 9A and a face-shaped character of FIG. 9B are found, the respective characters are mapped and completed as shown in FIG. It will be composited into the generated character image (P5).
상기 도 10와 같이 캐릭터의 매핑이 끝나면 상기 합성된 캐릭터이미지가 사용자의 이미지와 유사하도록 도 11과 같이, 음영을 조절하는 작업을 수행하게 되는데(P6), 상기 이미지특징추출부(343)에서 추출한 사용자 이미지의 음영정보를 상기 합성된 캐릭터이미지에 적용하는 과정이다. 상기 음영조절은 그래픽스의 알파 블랜딩 또는 영상처리의 밝기 정보값을 이용하게 되는데, 상기 알파 블랜딩은 사진을 아래에 놓고 그 위에 캐릭터 얼굴을 올려놓은 뒤 둘을 오버랩(Overlap)시켜 그 오버랩 정도를 조절하는 방법을 말한다. 상기 작업 이후에 보다 정교한 캐릭터이미지의 생성을 위해 음영의 색처리 작업을 별도로 수행할 수도 있음은 당연하다.After the mapping of the character is completed as shown in FIG. 10, the operation of adjusting the shadow is performed as shown in FIG. 11 so that the synthesized character image is similar to the image of the user (P6), which is extracted by the image feature extraction unit 343. A process of applying shadow information of a user image to the synthesized character image. The shading control uses the alpha blending of the graphics or the brightness information value of the image processing. The alpha blending adjusts the degree of overlap by placing the photo on the bottom and placing the character face on it. Say how. After the above operation, it is natural that the color processing of shading may be performed separately to generate more sophisticated character images.
상기와 같은 방법을 통해 생성되는 캐릭터이미지는, 상기 캐릭터이미지저장부(350)에 일단 저장되고, 도 12와 같이 사용자단말기로 출력되어 보여 진다.Character image generated through the above method is stored in the character image storage unit 350, and is output to the user terminal as shown in FIG.
상기 메뉴서비스제공부(370)는 상기 생성된 캐릭터이미지의 수정을 위해 눈썹부분을 예를 들어 도 13a 및 13b와 같이, 사용자에게 수정을 위한 서비스메뉴를 제공하여 캐릭터 수정을 제공한다.(S6)The menu service providing unit 370 provides the character correction by providing a service menu for correction to the user as shown in FIGS. 13A and 13B for correcting the generated character image, for example (S6).
상기 캐릭터이미지의 수정이 완료되면, 사용자는 상기 도 14와 같은 완성 캐릭터이미지를 볼 수 있다.When the modification of the character image is completed, the user can see the completed character image as shown in FIG.
또한 상기 캐릭터의 부분이미지 수정에 있어서, 상기 캐릭터에 대한 표정과 신체(Body)의 특정부위에 대한 캐릭터 애니메이션를 설정할 수 있는데, 캐릭터 애니메이션은 상기 도 13a에서 제시된 표정애니 또는 바디애니 등과 같은 메뉴로 호칭되고 여러 프레임(Frame)들의 연결동작 캐릭터이다.(S7)In addition, in modifying the partial image of the character, it is possible to set a character animation for the facial expression and a specific part of the body (Body), the character animation is called a menu such as the facial expression or body animation shown in FIG. It is a connection operation character of several frames (S7).
상기 캐릭터 애니메이션은 도 15a와 15b에서 보듯이, 상기 이목구비캐릭터DB(341)와 악세사리캐릭터DB(342)에 저장된 캐릭터 각 부분에 대한 다수의 연결프레임들을 차례대로 불러와 이미 생성된 캐릭터이미지의 이목구비와 일정시간 간격으로 치환하게 된다. 이때도 역시 상기 이미지특징추출부(343)에서 추출한 눈, 코, 입 등의 위치정보(즉, 좌표)를 이용하게 된다. 물론 몸통이나 팔, 다리의 경우도 마찬가지이다.As shown in FIGS. 15A and 15B, the character animation calls a plurality of connection frames for each part of the character stored in the mocking character DB 341 and the accessory character DB 342 in turn, and displays the mocking character of the already generated character image. Substitute at regular time intervals. In this case, too, location information (ie, coordinates) of eyes, nose, and mouth extracted from the image feature extractor 343 is used. Of course, the same applies to the body, arms and legs.
이때 상기 생성된 캐릭터 애니메이션은 여러개의 프레임파일과 하나의 GIF포멧을 가지는 애니메이션파일로 저장된다. 상기와 같이 저장하는 이유는 특정 몇 개의 키프레임만을 사용한다든지 또는 웹을 위해 GIF 애니메이션을 통째로 사용할 수도 있기 때문이다.In this case, the generated character animation is stored as an animation file having several frame files and one GIF format. The reason for this is that you can only use a few specific keyframes, or you can use the entire GIF animation for the web.
상기와 같은 절차와 방법들을 통해 캐릭터이미지가 최종적으로 완성되면 상기 캐릭터이미지전송부(360)에 의해 상기 이동통신단말기(100)로 전송되고, 사용자는 상기 캐릭터이미지를 저장하여 사용하게 된다.When the character image is finally completed through the above procedures and methods, the character image transmitting unit 360 is transmitted to the mobile communication terminal 100, and the user stores and uses the character image.
도 16은 상기 본 발명에 따른 캐릭터생성시스템에 있어서, 상기 생성되어 이동통신단말기(100)로 전송된 캐릭터이미지에 음원을 포함하여 실행되도록 하기 위해 음원DB(390)를 더욱 포함하고 있는 구성으로서, 사용자가 상기 메뉴서비스제공부(370)를 통해 제공되는 선택서비스를 이용하여 음원을 선택할 수 있도록 하는 것이 바람직하다 하겠다.16 is a configuration in which the character generation system according to the present invention further includes a sound source DB 390 to be executed by including a sound source in the character image generated and transmitted to the mobile communication terminal 100. It is preferable that the user can select a sound source using the selection service provided through the menu service providing unit 370.
상술한 바와 같이, 본 발명에 따라 캐릭터의 얼굴을 무선 통신기기상에서 생성하고, 표정 애니메이션과 바디 애니메이션을 생성했을 경우, 그 응용분야는 다양하다. 본 발명은 무선 통신기기를 위해 창안되어졌다. 따라서, 이동중에도 캐릭터를 생성할 수 있을 뿐만 아니라, 전자명함 교환시 사진대신에 캐릭터를 이용할 수도 있으며, 캐릭터 메일도 손쉽게 이동중에 보낼 수 있다. 또한, 제3자에게 메시지와 함께 전송할 수도 있으며, 다른 사람의 전화번호와 함께 저장하여 착신 캐릭터로도 이용할 수 있고, 본인이 선택한 음성 또는 직접 녹음한 음성과 함께 저장하여 본인의 착신 캐릭터로도 이용할 수 있다. 또, 자신과 닮은 캐릭터를 무선 통신기기의 바탕화면으로도 쓸 수 있어 엔터테인먼트를 추구하는 청소년들에게 선풍적 인기를 끌 것으로 예상된다. 덧붙여, 애니메이션도 가능하다는 것이 본 발명이 차별성을 갖는 큰 장점이라 여겨진다.As described above, when a face of a character is generated on a wireless communication device and a facial expression animation and a body animation are generated according to the present invention, the application fields are various. The present invention has been devised for a wireless communication device. Therefore, not only can a character be generated while moving, but also a character can be used instead of a picture when the electronic card is exchanged, and a character mail can be easily sent while moving. It can also be sent with a message to a third party, can be stored with another person's phone number to be used as a caller character, or can be saved with a voice of your choice or your own recorded voice to be used as your caller character. Can be. In addition, the character resembling himself can be used as a wallpaper of a wireless communication device, and is expected to be popular with teenagers seeking entertainment. In addition, the fact that animation is also possible is considered to be a great advantage of the present invention.
여기서 생성된 캐릭터를 웹과 연동 또는 오프라인과 연계도 가능하기 때문에 이외에도 응용 분야는 무궁무진하다 하겠다.In addition, since the generated character can be linked with the web or offline, the application field is infinite.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020028561A KR20020086306A (en) | 2002-05-23 | 2002-05-23 | Animation character generation system and the method on mobile device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020028561A KR20020086306A (en) | 2002-05-23 | 2002-05-23 | Animation character generation system and the method on mobile device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20020086306A true KR20020086306A (en) | 2002-11-18 |
Family
ID=27726469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020028561A KR20020086306A (en) | 2002-05-23 | 2002-05-23 | Animation character generation system and the method on mobile device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20020086306A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100603580B1 (en) * | 2004-06-18 | 2006-07-24 | 주식회사 지오텔 | Method for realizing user interface of mobile terminal |
| KR100745290B1 (en) * | 2006-06-12 | 2007-08-01 | 엘지전자 주식회사 | Avata generating method for mobile device |
| KR100755416B1 (en) * | 2007-03-22 | 2007-09-04 | 주식회사 제스틴 | System for generating caller's image and method therefor |
| KR100827294B1 (en) * | 2007-01-29 | 2008-05-07 | (주)누리봄 | Apparatus and method for outputting mutimedia and education apparatus by using camera |
| EP2018049A2 (en) | 2007-07-18 | 2009-01-21 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image, method of providing a virtual 3D projection of a panoramic image and camera therefor |
| KR100983745B1 (en) * | 2003-09-27 | 2010-09-24 | 엘지전자 주식회사 | Avatar generation service method for mobile communication device |
| KR101028257B1 (en) * | 2003-06-16 | 2011-04-11 | 엘지전자 주식회사 | Avatar editing method for mobile communication device |
| KR20200052812A (en) | 2019-06-20 | 2020-05-15 | (주)셀빅 | Activity character creating method in virtual environment |
| KR20210034468A (en) | 2019-09-20 | 2021-03-30 | (주)셀빅 | Activity character creating method in virtual environment based on sketch character |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054209A (en) * | 2000-05-26 | 2000-09-05 | 서상인 | A Face Model Enhancement Service on the Internet and Mobile Video Phone |
| KR20010110029A (en) * | 2000-06-05 | 2001-12-12 | 유요섭 | Personal character producing method using databases on internet |
| KR20020030686A (en) * | 2000-10-19 | 2002-04-25 | 정화용 | My Face Character Service for Mobile Telecommunication |
| KR20020043522A (en) * | 2002-05-15 | 2002-06-10 | 최중현 | 3d avatar creating and using method in mobile phone |
| KR20030068342A (en) * | 2002-02-15 | 2003-08-21 | (주)버추얼미디어 | Apparatus and method for generating character using mobile machine |
-
2002
- 2002-05-23 KR KR1020020028561A patent/KR20020086306A/en not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054209A (en) * | 2000-05-26 | 2000-09-05 | 서상인 | A Face Model Enhancement Service on the Internet and Mobile Video Phone |
| KR20010110029A (en) * | 2000-06-05 | 2001-12-12 | 유요섭 | Personal character producing method using databases on internet |
| KR20020030686A (en) * | 2000-10-19 | 2002-04-25 | 정화용 | My Face Character Service for Mobile Telecommunication |
| KR20030068342A (en) * | 2002-02-15 | 2003-08-21 | (주)버추얼미디어 | Apparatus and method for generating character using mobile machine |
| KR20020043522A (en) * | 2002-05-15 | 2002-06-10 | 최중현 | 3d avatar creating and using method in mobile phone |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101028257B1 (en) * | 2003-06-16 | 2011-04-11 | 엘지전자 주식회사 | Avatar editing method for mobile communication device |
| KR100983745B1 (en) * | 2003-09-27 | 2010-09-24 | 엘지전자 주식회사 | Avatar generation service method for mobile communication device |
| KR100603580B1 (en) * | 2004-06-18 | 2006-07-24 | 주식회사 지오텔 | Method for realizing user interface of mobile terminal |
| KR100745290B1 (en) * | 2006-06-12 | 2007-08-01 | 엘지전자 주식회사 | Avata generating method for mobile device |
| KR100827294B1 (en) * | 2007-01-29 | 2008-05-07 | (주)누리봄 | Apparatus and method for outputting mutimedia and education apparatus by using camera |
| KR100755416B1 (en) * | 2007-03-22 | 2007-09-04 | 주식회사 제스틴 | System for generating caller's image and method therefor |
| EP2018049A2 (en) | 2007-07-18 | 2009-01-21 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image, method of providing a virtual 3D projection of a panoramic image and camera therefor |
| KR20200052812A (en) | 2019-06-20 | 2020-05-15 | (주)셀빅 | Activity character creating method in virtual environment |
| KR20210034468A (en) | 2019-09-20 | 2021-03-30 | (주)셀빅 | Activity character creating method in virtual environment based on sketch character |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4449723B2 (en) | Image processing apparatus, image processing method, and program | |
| TWI708152B (en) | Image processing method, device, and storage medium | |
| US20200020173A1 (en) | Methods and systems for constructing an animated 3d facial model from a 2d facial image | |
| EP2127341B1 (en) | A communication network and devices for text to speech and text to facial animation conversion | |
| US9064344B2 (en) | Image transformation systems and methods | |
| CN110766777A (en) | Virtual image generation method and device, electronic equipment and storage medium | |
| WO2020211347A1 (en) | Facial recognition-based image modification method and apparatus, and computer device | |
| CN109857311A (en) | Generate method, apparatus, terminal and the storage medium of human face three-dimensional model | |
| US20190045270A1 (en) | Intelligent Chatting on Digital Communication Network | |
| KR20020086306A (en) | Animation character generation system and the method on mobile device | |
| US7006102B2 (en) | Method and apparatus for generating models of individuals | |
| US20240062500A1 (en) | Generating ground truths for machine learning | |
| CN114779948B (en) | Method, device and equipment for controlling instant interaction of animation characters based on facial recognition | |
| KR20030068509A (en) | Generating Method of Character Through Recognition of An Autual Picture And Service Method using same | |
| WO2002097732A1 (en) | Method for producing avatar using image data and agent system with the avatar | |
| EP2827589A1 (en) | Display device and device for adapting an information | |
| CN113763517B (en) | Facial expression editing method and electronic equipment | |
| JP2013242835A (en) | Image communication system, image generation device and program | |
| KR20030096983A (en) | The Integrated Animation System for the Web and Mobile Downloaded Using Facial Image | |
| KR102728245B1 (en) | Avatar display device, avatar creation device and program | |
| KR101520863B1 (en) | Method and terminal for automatically manufacturing charactor | |
| TW202409974A (en) | Simulation doll forming method, system, computer equipment, and storage medium | |
| JP2007026088A (en) | Model creation apparatus | |
| KR20070032432A (en) | Method and system for providing call service transmitting alternate image | |
| KR20020094940A (en) | Wired/Wireless Internet Face-lifting Method Using Face Recognition Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |