KR102298070B1 - System for providing active artificial intelligence image character based on mobile device - Google Patents
System for providing active artificial intelligence image character based on mobile device Download PDFInfo
- Publication number
- KR102298070B1 KR102298070B1 KR1020190122205A KR20190122205A KR102298070B1 KR 102298070 B1 KR102298070 B1 KR 102298070B1 KR 1020190122205 A KR1020190122205 A KR 1020190122205A KR 20190122205 A KR20190122205 A KR 20190122205A KR 102298070 B1 KR102298070 B1 KR 102298070B1
- Authority
- KR
- South Korea
- Prior art keywords
- character
- user
- mobile device
- video
- artificial intelligence
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 53
- 230000009471 action Effects 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 31
- 230000006399 behavior Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000009118 appropriate response Effects 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 230000001815 facial effect Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002996 emotional effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 244000240602 cacao Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 208000036993 Frustration Diseases 0.000 description 1
- 206010061991 Grimacing Diseases 0.000 description 1
- 241000997494 Oneirodidae Species 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006757 chemical reactions by type Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007087 memory ability Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- BQJCRHHNABKAKU-KBQPJGBKSA-N morphine Chemical compound O([C@H]1[C@H](C=C[C@H]23)O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4O BQJCRHHNABKAKU-KBQPJGBKSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 능동형 인공지능 캐릭터 시스템을 개시한다. 보다 상세하게는, 본 발명은 스마트폰, 태블릿PC 등 사용자가 휴대하는 모바일 디바이스를 기반으로 하여 각종 기능을 활용함에 있어 가상의 인격을 부여한 영상 기반의 능동적인 인공지능 영상 캐릭터를 매개로 함으로써 감성교류를 구현한 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템에 관한 것이다.
본 발명의 실시예에 따르면, 모바일 디바이스에 가상의 능동형 인공지능 영상 캐릭터를 설치하고, 모바일 디바이스에서 제공하는 다양한 통화 기능, 문자 전송 기능, 음악 및 영상 재생 기능 등에 대하여, 저장된 사진, 영상, 통화기록, 메시지, 카톡 내용, 친구 목록, 구매 결제 내역, 차량운행 또는 이동 기록 및 웹 검색 기록을 활용하여 사용자가 직접 실행한 기능 이외에도, 인공지능 영상 캐릭터가 판단한 특정 기능을 자동으로 실행함으로써, 마치 가상의 인물과 교류하는 것과 같은 효과를 제공할 수 있다.The present invention discloses an active artificial intelligence character system. More specifically, the present invention provides emotional exchange through an image-based active artificial intelligence image character with a virtual personality in utilizing various functions based on mobile devices carried by users, such as smartphones and tablet PCs. It relates to a mobile device-based active AI character system that implements
According to an embodiment of the present invention, a virtual active AI video character is installed in a mobile device, and various call functions, text transmission functions, music and video playback functions, etc. provided by the mobile device, stored photos, images, and call records , messages, KakaoTalk contents, friend list, purchase and payment history, vehicle operation or movement records, and web search records are used to automatically execute specific functions determined by the artificial intelligence video character in addition to the functions performed by the user. It can provide the same effect as interacting with a character.
Description
본 발명은 인공지능 영상 캐릭터 시스템에 관한 것으로, 스마트폰, 태블릿PC 등 사용자가 휴대하는 모바일 디바이스를 기반으로 하여 각종 기능을 활용함에 있어 가상의 인격을 부여한 인공지능 캐릭터를 매개로 함으로써 감성교류를 구현한 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템에 관한 것이다.The present invention relates to an artificial intelligence image character system, which implements emotional exchange through an artificial intelligence character with a virtual personality in utilizing various functions based on a mobile device carried by a user such as a smartphone or tablet PC. It is related to a mobile device-based active artificial intelligence image character system.
전자정보기술의 급속한 발전에 따라, 스마트폰 및 태블릿PC 등 모바일 디바이스는 이제 현대인에게 일상생활에서 없어서는 안될 필수품이 되었다. 사용자는 모바일 디바이스에 전화, 문자 전송, 음악 재생, 영상 재생, 인터넷 검색, 대금결제 등을 위한 어플리케이션을 다운로드 하여 문자를 전송하거나, 동영상 또는 음악을 감상을 하는 등의 다양한 기능을 이용할 수 있고, 이러한 기능은 일상생활에서 차지하는 비중이 상당히 크다고 할 수 있다.BACKGROUND With the rapid development of electronic information technology, mobile devices such as smartphones and tablet PCs have become indispensable in daily life for modern people. Users can download applications for phone calls, text transmission, music playback, video playback, Internet search, payment, etc. to the mobile device and use various functions, such as sending text messages, or watching videos or music. It can be said that functions play a significant role in our daily life.
한편, 현재를 살아가는 현대인들은 상실감이 점차 커지는 젊은 세대와 직장이 없이 방황하는 중년세대가 급격하게 증가하면서 자기만의 울화와 스트레스를 그 어디에도 하소연하거나 풀 수 있는 바람직한 방법이 없음에 따라 최근 분노조절장애, 우울증 및 조현병 등의 환자수가 급격하게 증가하고 있는 추세이다.On the other hand, the modern people living in the present are experiencing a rapid increase in the number of young generations who are experiencing a growing sense of loss and middle-aged people who wander without a job. , the number of patients with depression and schizophrenia is rapidly increasing.
스트레스가 극도로 증가한 사회에서 외로움을 해소하지 못하는 현대인이 일상생활에서 가장 많이 접하는 상대는 자신이 소지한 휴대폰 즉, 모바일 디바이스라 해도 과언이 아니다.It is no exaggeration to say that the person most often encountered in daily life is a cell phone, that is, a mobile device, that modern people who are unable to relieve loneliness in a society where stress is extremely high.
이러한 모바일 디바이스를 활용한 서비스 중 하나로서, 이동통신 단말의 이벤트 발생에 대한 바탕화면 사이버 캐릭터의 인공지능 적용을 통한 표현 서비스가 제안되었다.As one of the services using such a mobile device, an expression service through the application of artificial intelligence of a cyber character on the desktop to the occurrence of an event in a mobile communication terminal has been proposed.
공개특허공보 제10-2005-0019368호는 이동통신단말의 바탕화면에 인공지능을 갖춘 사이버 캐릭터를 생성시켜 이동통신단말에서 발생하는 모든 이벤트를 사이버 캐릭터의 움직임 및 음원을 통하여 표현함으로써 사용자가 이동통신단말의 동작 및 상태를 보다 용이하게 인식하게 함과 동시에 사용자가 보다 흥미롭게 이동통신단말을 사용할 수 있도록 하는 서비스를 개시하고 있다.Patent Laid-Open Publication No. 10-2005-0019368 creates a cyber character equipped with artificial intelligence on the desktop of a mobile communication terminal and expresses all events occurring in the mobile communication terminal through the movement of the cyber character and sound source, thereby allowing users to communicate through mobile communication. Disclosed is a service that makes it easier to recognize the operation and state of the terminal and at the same time allows the user to use the mobile communication terminal more interestingly.
그러나, 전술한 선행기술은 모바일 디바이스에서 제공하는 기능의 출력에 캐릭터의 수동적인 표현을 단순하게 추가하는 수준으로, 모바일 디바이스 사용자가 능동적인 인공지능 캐릭터와 다양하게 교감함으로써 위로를 받거나, 자율적인 이벤트를 제공하는 쌍방향의 현실적인 서비스를 제공하지는 못한다는 한계가 있다.However, the above-mentioned prior art is at a level of simply adding a passive expression of a character to the output of a function provided by a mobile device. There is a limit in that it cannot provide a realistic two-way service that provides
본 발명은 전술한 한계를 극복하기 위해 안출된 것으로, 본 발명은 모바일 디바이스 기반으로 구동하며, 가상의 인격이 부여된 인공지능 캐릭터를 통해 사용자와의 상호 교감을 수행할 수 있도록 하는 어플리케이션 프로그램 형태의 영상 캐릭터 시스템을 제공하는 데 과제가 있다.The present invention has been devised to overcome the above-described limitations, and the present invention is an application program in the form of an application program that operates based on a mobile device and enables interaction with a user through an artificial intelligence character with a virtual personality. There is a challenge in providing a video character system.
또한, 본 발명의 실시예에 따르면, 사용자의 명령에 따라 수동적으로 반응하여 원하는 정보를 제공하는 기존 형태를 과감히 탈피하여 인공지능에 기반하여 캐릭터에 구축된 지식과 기록에 따라 스스로 판단하여 일정한 범위 내에서 능동적인 행위를 별도의 명령 없이도 시도하는 새로운 개념의 영상 캐릭터 시스템을 제공하는 데 다른 목적의 과제가 있다.In addition, according to an embodiment of the present invention, the existing form of providing desired information by reacting passively according to a user's command is boldly escaped, and based on artificial intelligence, it determines by itself based on the knowledge and records built into the character and falls within a certain range. Another objective is to provide a new concept image character system that attempts an active action without a separate command.
전술한 과제를 해결하기 위해, 본 발명의 바람직한 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템은, 모바일 디바이스에서 실행되는 서비스 시스템으로서, 복수의 구동모드에 따라, 입력되는 사용자 행위에 응답하여 사운드 및 그래픽으로 구현되는 가상의 영상 캐릭터에 의한 응답을 커뮤니케이션 형태로 제공하는 캐릭터 구현부, AI 엔진에 의해 사용자 행위에 상호작용하는 영상 캐릭터에 의한 자율적인 응답을 도출하고, 도출된 응답에 상기 캐릭터의 행위를 제어하는 제어부 및 상기 모바일 디바이스에 설치된 하나 이상의 타 어플리케이션과 연동하고, 영상 캐릭터를 상기 타 어플리케이션의 실행에 참여시키는 어플 연동부를 포함할 수 있다.In order to solve the above problems, the mobile device-based active artificial intelligence character system according to a preferred embodiment of the present invention is a service system executed in a mobile device, according to a plurality of driving modes, a sound in response to an input user action and a character implementation unit that provides a response by a virtual image character implemented in a graphic form in a communication form, derives an autonomous response by a video character interacting with a user action by an AI engine, and responds to the derived response of the character It may include a control unit for controlling an action and an application interworking unit for interworking with one or more other applications installed in the mobile device, and participating in the execution of the other application, the video character.
상기 복수의 구동모드는, 상기 사용자와 영상 캐릭터 간의 대화 행위를 제공하는 대화모드, 사용자와 영상 캐릭터 또는 캐릭터와 제3 자간 게임을 수행하는 게임모드 및 사용자가 설정한 조건에 부합되는 시점에 영상 캐릭터가 특정 행위를 수행하도록 하는 비서모드 중, 적어도 하나를 포함할 수 있다.The plurality of driving modes include a dialogue mode providing a dialogue action between the user and a video character, a game mode in which a user and a video character or a character and a third-party game are performed, and a video character at a point in time that meets the conditions set by the user. may include at least one of the assistant modes for performing a specific action.
상기 게임모드는, 게임 환경에서 각 영상 캐릭터의 얼굴을 상기 모바일 디바이스에 미리 저장된 사용자 자신의 사진 및 사용자가 지정한 상대방의 사진을 각각의 캐릭터의 안면부위에 합성한 것으로 설정하고, 사용자가 입력하는 명칭을 캐릭터 상에 표시하는 방법으로 게임을 진행하는 기능을 포함할 수 있다.The game mode sets the face of each image character in the game environment as a combination of the user's own photo stored in advance in the mobile device and the other's photo designated by the user on the face part of each character, and the name entered by the user The method of displaying on the character may include a function of proceeding with the game.
상기 타 어플리케이션은, 동영상을 재생하는 동영상 플레이어, 음원을 재생하는 뮤직 플레이어, 게임 어플리케이션, 타 시스템과 메시지를 송수신하는 메신저 어플리케이션, 타 시스템과의 호를 연결하는 호 처리기, 특정일자 또는 기간에 사용자의 일정을 기록하는 스케쥴러 어플리케이션 및 이미지 또는 텍스트를 표시하는 뷰어 어플리케이션 중, 적어도 하나를 포함할 수 있다.The other applications include a video player that plays a video, a music player that plays a sound source, a game application, a messenger application that transmits and receives messages with other systems, a call processor that connects calls with other systems, and the user's It may include at least one of a scheduler application for recording a schedule and a viewer application for displaying an image or text.
상기 영상 캐릭터를 구현하기 위한 다수의 속성이 정의된 캐릭터 정보 및 상기 영상 캐릭터가 수행하는 다수의 행위가 정의된 행위정보가 저장되는 저장소 및 상기 사용자와 영상 캐릭터간 커뮤니케이션이 발생하면, 발생한 커뮤니케이션의 내용을 사용자 패턴으로 저장소에 기록하고, 저장소에 기록된 사용자 패턴을 일정 주기로 관리서버에 전송하는 패턴 축적부를 더 포함할 수 있다.A storage in which character information in which a plurality of attributes for implementing the video character are defined and action information in which a plurality of actions performed by the video character are defined, and when communication between the user and the video character occurs, the content of the communication It may further include a pattern accumulator for recording the user pattern in the storage, and transmitting the user pattern recorded in the storage to the management server at regular intervals.
상기 캐릭터 구현부는, 캐릭터 서비스에서 제시하는 기본 영상 캐릭터의 일정 형태와 속성 범위내에서 사용자의 입력에 따라 상기 영상 캐릭터의 이름 또는 애칭, 외형, 체형, 색상, 음성, 성격 및 행동 방식 중, 하나 이상의 속성을 선택받아 상기 영상 캐릭터의 형상과 속성을 일정부분 생성 또는 변화시키는 커스터마이징 기능을 포함할 수 있다.The character implementation unit may include one or more of the video character's name or nickname, appearance, body shape, color, voice, personality, and behavior according to a user's input within a certain form and attribute range of the basic image character presented by the character service. It may include a customizing function for selecting a property and generating or changing a certain part of the shape and property of the image character.
타 사용자의 모바일 디바이스와 연동하여 상기 영상 캐릭터와 타 사용자의 캐릭터간 커뮤니케이션 및 게임 실행을 구현하는 캐릭터 연동부를 더 포함할 수 있다.It may further include a character linking unit that implements communication and game execution between the image character and the character of another user by interworking with another user's mobile device.
상기 제어부는, 현재 상황에 따라, 상기 영상 캐릭터가 표정 및 행동을 통해 사람에 감정에 대응하는 행위를 구현하도록 제어할 수 있다.The controller may control the video character to implement an action corresponding to an emotion in a person through an expression and an action according to a current situation.
상기 모바일 디바이스는, 하나 이상이 정보통신망을 통해 연결되어, 상기 사용자의 회원정보를 관리하고, 상기 모바일 디바이스에 저장된 사용자의 기본정보, 파일 및 메모리를 상기 영상 캐릭터의 인공지능과 공유하며, 상기 영상 캐릭터가 수행하는 다수의 행위가 정의된 행위정보를 상기 모바일 디바이스에 제공하는 중앙 관리 서버와 연결될 수 있다.One or more mobile devices are connected through an information communication network to manage member information of the user, and share the user's basic information, files and memory stored in the mobile device with the artificial intelligence of the image character, the image It may be connected to a central management server that provides action information in which a plurality of actions performed by the character are defined to the mobile device.
상기 중앙 관리 서버는, 상기 정보통신망을 통해 연결된 상기 모바일 디바이스와 데이터 통신을 수행하는 통신부, 상기 사용자의 회원정보를 생성하고, 접속 시도하는 모바일 디바이스에 대한 회원등록절차 및 로그인 절차를 수행하는 회원 관리부, 딥러닝 기술에 기반하여 하나 이상의 기 정의된 학습 모델에 학습 데이터를 적용하여 상기 사용자의 행위에 따른 적합한 응답을 도출하는 학습엔진;The central management server includes a communication unit that performs data communication with the mobile device connected through the information communication network, a member management unit that generates member information of the user, and performs a member registration procedure and a login procedure for a mobile device attempting to access , a learning engine for deriving an appropriate response according to the user's behavior by applying learning data to one or more predefined learning models based on deep learning technology;
상기 학습 데이터 및 학습결과가 저장되는 데이터 베이스 및 기 배포된 학습결과가 갱신되면, 갱신된 학습결과를 상기 모바일 디바이스에 배포하여 AI엔진의 업데이트를 수행하는 업데이트부를 포함할 수 있다.When the database in which the learning data and learning results are stored and the previously distributed learning results are updated, an update unit for distributing the updated learning results to the mobile device to update the AI engine may be included.
상기 통신부는 일정 주기에 따라, 상기 모바일 디바이스로부터 상기 사용자와 영상 캐릭터간 발생한 커뮤니케이션의 내용을 포함하는 사용자 패턴을 수신하고, 상기 학습엔진은 상기 사용자 패턴을 학습 데이터로 이용하여 학습 모델에 적용할 수 있다.The communication unit receives, from the mobile device, a user pattern including the contents of the communication between the user and the image character according to a predetermined period, and the learning engine can apply the user pattern to a learning model by using the user pattern as learning data. have.
본 발명의 실시예에 따르면, 모바일 디바이스에 가상의 인공지능 영상 캐릭터를 설치하고, 모바일 디바이스에서 제공하는 다양한 통화 기능, 문자 전송 기능 및 음악 재생 기능 등에 대하여, 저장된 사진, 영상, 통화기록, 메시지, 카톡 내용, 친구 목록, 구매 결제 내역, 차량운행 또는 이동 기록 및 웹 검색 기록을 활용하여 사용자가 직접 실행한 기능 이외에도, 인공지능 영상 캐릭터가 판단한 특정 기능을 자동으로 실행함으로써, 가상의 인물과 영상을 통하여 대화하거나 게임을 즐기거나 메시지를 주고 받는 것은 물론 가상의 인물이 사용자의 역할을 일정부분 대신하는 기능으로 마치 가상의 인물과 현실세계에서 실제로 교류하는 것과 같은 효과를 제공할 수 있다.According to an embodiment of the present invention, a virtual artificial intelligence video character is installed in a mobile device, and various call functions, text transmission functions and music playback functions provided by the mobile device, such as stored photos, images, call logs, messages, In addition to functions directly executed by the user using KakaoTalk contents, friend list, purchase and payment history, vehicle operation or movement records, and web search records, by automatically executing specific functions determined by the AI video character, virtual people and images are created. It can provide the same effect as actually interacting with a virtual person in the real world as it is a function in which a virtual person takes over a part of the user's role as well as having a conversation, playing a game, or exchanging a message through it.
도 1은 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템이 운영되기 위한 전체 구조를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템 및 그 시스템이 설치된 모바일 디바이스의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템과 연동하는 중앙 관리 서버의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템에 의한 서비스 제공방법을 나타낸 도면이다.
도 5a 내지 도 5e는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템이 제공하는 화면을 예시한 도면이다.1 is a diagram showing the overall structure for operating a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
2 is a diagram showing the structure of a mobile device-based active AI image character system and a mobile device in which the system is installed according to an embodiment of the present invention.
3 is a diagram showing the structure of a central management server interworking with a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
4 is a diagram illustrating a service providing method by a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
5A to 5E are diagrams illustrating screens provided by a mobile device-based active AI image character system according to an embodiment of the present invention.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)" 및 "...시스템(System)" 등의 용어는 하나 또는 그 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.When a part "includes" or "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "...system" described in the specification mean a unit that processes one or more functions or operations, which is hardware, software, or hardware and a combination of software.
또한 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한 "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용될 수 있다.Also, in this specification, the term "embodiment" is meant to serve as an illustration, example, or illustration, but the subject matter of the invention is not limited by such examples. Also, "comprising", "comprising", "having" and other similar terms are used, but when used in the claims, "comprising" is an open transition word that does not exclude any additional or other elements. may be used generically in a manner similar to the term "Comprising".
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 프로그램에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.The various techniques described herein may be implemented with hardware or software, or a combination of both, where appropriate. As used herein, terms such as "...Unit" and "...System" likewise refer to computer-related entities, i.e. hardware, a combination of hardware and software, software or execution. It can be treated as equivalent to the city's software. In addition, each function executed in the program of the present invention may be configured in units of modules, and may be recorded in one physical memory or may be recorded while being dispersed between two or more memories and recording media.
도 1은 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템이 운영되기 위한 전체 구조를 나타낸 도면이다.1 is a diagram showing the overall structure for operating a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템은 스마트폰, 태블릿PC 등 사용자가 소지한 휴대용 단말에 설치 및 실행되는 것으로, 어플리케이션 형태로 구현될 수 있고, 사용자가 생성한 캐릭터가 사용자와 상호작용하여 인공지능에 기반하여 도출된 행위를 수행하고 이를 모바일 디바이스 상에서 표시하는 형태의 서비스를 제공할 수 있다.1, the mobile device-based active artificial intelligence image character system according to an embodiment of the present invention is installed and executed in a portable terminal possessed by a user, such as a smartphone or a tablet PC, and may be implemented in the form of an application, A service in the form of a character created by a user interacting with the user to perform an action derived based on artificial intelligence and displaying it on a mobile device may be provided.
본 발명의 능동형 인공지능 영상 캐릭터 시스템이 설치되는 모바일 디바이스(100)는 적어도 하나의 프로세싱 유닛 및 메모리를 포함할 수 있다. 여기서, 프로세싱 유닛은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 모바일 디바이스(100)는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다.The
또한, 본 발명의 모바일 디바이스(100)는 사용자 인증 및 AI 캐릭터의 행위정보에 대한 업데이트 등을 위해, 정보통신망을 통해 중앙 관리 서버(200)와 연동할 수 있다.In addition, the
중앙 관리 서버(200)는 하나 이상의 모바일 디바이스(100)와 정보통신망을 통해 연결될 수 있고, 모바일 디바이스(100)와 연동하여 서비스 제공을 위한 사용자 인증 및 인공지능 영상 캐릭터 시스템의 캐릭터 생성 및 상호작용에 대한 행위정보를 제공 및 갱신할 수 있다. The
이러한 중앙 관리 서버(200)는 본 발명의 능동형 인공지능 영상 캐릭터 시스템의 AI엔진이 스탠드 얼론(stand-alone)방식으로 구현됨을 가정할 경우, 그 행위패턴이 제한적이며, 학습모델에 방대한 학습데이터를 적용하는 데 한계가 존재함에 따라, 인공지능 캐릭터의 다채로운 행위를 지속적으로 업데이트 하는 역할을 하게 된다.If it is assumed that the AI engine of the active AI image character system of the present invention is implemented in a stand-alone manner, the
전술한 모바일 디바이스(100) 및 중앙 관리 서버(200)는 공지의 통신 기술에 의해 데이터 통신을 수행할 수 있다. 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나가 사용될 수 있다.The above-described
전술한 구조에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템은 다음과 같은 기능을 제공할 수 있다.The mobile device-based active AI image character system according to the above-described structure may provide the following functions.
먼저, 본 발명의 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템은, 사용자가 소유한 모바일 디바이스가 항상 사용자와 같은 생활공간에서 그의 의사 결정과 제 3자와의 연결에 깊이 관여하고 있다는 점에 착안된 것으로, 모바일 디바이스(100)를 의인화하여 인공지능을 가지는 하나의 인격을 부여하고 고유한 이름과 형상을 부여한 가상의 인물 - 이하, "영상 캐릭터"라 함 - 을 제공하는 것을 특징으로 한다.First, the mobile device-based active AI image character system of the present invention is based on the fact that a mobile device owned by a user is always deeply involved in his decision-making and connection with a third party in the same living space as the user. , characterized by providing a virtual person - hereinafter referred to as "video character" - given a unique personality and a unique name and shape by personifying the
본 발명은 인공지능을 가진 영상 캐릭터에게 모바일 디바이스(100)에 저장되어 있는 사용자의 기본 인적사항과 사진, 영상, 통화기록, 메시지, 카톡 내용, 친구 목록, 구매 결제 내역, 차량운행 또는 이동 기록, 웹 검색 기록 등은 물론 캐릭터 자신과 대화했던 내용과 캐릭터와 함께 했던 활동까지 일자별 시간별로 모두 저장하고, 지속적으로 업데이트함으로써 상호작용을 구현하게 된다.The present invention provides a video character with artificial intelligence to the user's basic personal information and photos, videos, call records, messages, Kakao Talk, friends list, purchase and payment history, vehicle operation or movement records stored in the
여기서, 영상 캐릭터는 모바일 디바이스(100) 내에 별도로 저장된 공인인증서, 생체인증 보안 데이터, 금융계좌번호 및 비밀번호 등 보안에 관련된 중요항목들에 접근하거나 인식하는 권한이 차단 될 수 있다. 단, 영상 캐릭터는 가상의 인공지능에 기반한 가상의 인격체로서, 고유한 이름이 설정될 수 있고, 사용자에 관련된 대부분의 정보를 공유할 수 있다. 즉, 모바일 디바이스에 저장된 사용자의 기본정보, 파일 및 메모리는 영상 캐릭터의 인공지능과 공유될 수 있다.Here, the image character may be blocked from accessing or recognizing important items related to security, such as public certificates, biometric security data, financial account numbers and passwords stored separately in the
영상 캐릭터의 이름 또는 애칭은 사용자의 의도에 따라 자유롭게 설정될 수 있으나, 본 발명의 인공지능 영상 캐릭터 시스템과의 연동시 이를 사용하는 다른 누구에게나 공통의 이름을 가진 비슷한 형상의 영상 캐릭터로 표시되어야 한다. 이는, 개인이 제작한 캐릭터를 활용한 관련 사업이나 마케팅 편의상 모든 국가나 지역에서 누구에게나 통일적인 명칭과 형상이 필수적이기 때문이다.The name or nickname of the video character can be freely set according to the user's intention, but when interworking with the AI video character system of the present invention, it should be displayed as a video character of a similar shape with a common name to anyone who uses it. . This is because a uniform name and shape is essential for everyone in all countries or regions for the convenience of marketing or related businesses using characters created by individuals.
이에 따라, 영상 캐릭터의 이름은 사용자의 의해 "꿈돌이"이라고 설정되었다고 가정하면, 이는 국가에 따라, "드림이", "Dreamer" 또는 "ゆめ丸" 등, 유사한 의미 또는 발음으로 설정될 수 있고, 영상 캐릭터의 형상 또한 특정된 하나의 통일된 모습으로 표현될 수 있다.Accordingly, assuming that the name of the video character is set as "Keumdori" by the user, it can be set to have a similar meaning or pronunciation, such as "Dream", "Dreamer" or "ゆめ丸", depending on the country. The shape of the video character may also be expressed as a single, unified shape.
또한, 영상 캐릭터는 사용자의 선택에 따라서 복장이 변경될 수 있고, 다양한 형태의 악세서리 및 아이템을 착용할 수 있다.In addition, the image character may change clothes according to the user's selection, and may wear various types of accessories and items.
또한, 영상 캐릭터는 AI엔진을 통해 기억능력, 학습 능력, 제한적인 인지 능력과, 일정한 범위 내에서 자율 행동 방식과 언어 표현을 구현하되, 사용자의 취향이나 성격에 맞추어 점차 변화하는 자동 업그레이드 기능이 포함될 수 있다. 이에 따라, 일정한 범위 내에서 자율적으로 말하고 움직이며 상황에 따른 표정의 변화와 감탄사, 비명, 웃음, 울음, 찡그림, 탄성, 탄식, 하품, 졸음, 놀람, 분노, 기쁨, 슬픔, 좌절, 기침, 재채기 및 신음까지도 음성과 얼굴 표정과 신체 동작으로 표현이 가능할 수 있고, 초기 일정한 수준까지 표현이 가능한 설정에서 사용자의 영상 캐릭터 사용 빈도에 따라 그 능력치가 상승되어 점차 복잡한 표정이나 동작이 사실적으로 가능하도록 발전되도록 구현될 수 있다.In addition, the video character implements memory ability, learning ability, limited cognitive ability, and autonomous behavior and language expression within a certain range through the AI engine, but includes an automatic upgrade function that gradually changes according to the user's taste or personality. can Accordingly, they speak and move autonomously within a certain range, changing their facial expressions according to the situation, exclamation, screaming, laughing, crying, grimacing, groaning, sighing, yawning, drowsiness, surprise, anger, joy, sadness, frustration, coughing, sneezing And even moans can be expressed with voice, facial expressions, and body movements, and in the initial setting where expression is possible up to a certain level, the ability is increased according to the frequency of use of the user's video character, and gradually complex expressions and movements can be realistically developed. It can be implemented as much as possible.
또한, 영상 캐릭터는, 능동적인 기능에 따라 자율적으로 판단하여 사용자에게 모바일 디바이스(100)의 알림을 출력하여 가상의 호를 호출하고 사용자와 적절한 내용의 통화, 예를 들어 축하, 위로, 격려 등의 커뮤니케이션을 구현할 수 있고, 능동적으로 메시지 또는 카카오톡 등의 SNS에 제공하는 다자간 대화방을 이용한 대화, 예를 들면, 약속, 일정, 안내, 알람, 축하, 위로, 격려, 건강 또는 기분상태 문의 등의 커뮤니케이션을 사용자와 수행할 수 있다.In addition, the video character autonomously determines according to the active function, outputs a notification of the
전술한 능동형 자율 커뮤니케이션 기능은, 단독 세대가 많고 혼자만의 생활에 익숙한 고독한 현대인에게 언제 어디서나 나와 통화하고 그 어떤 내용이라도 대화할 수 있으며 자신의 모든 것을 너무나 잘 알고 있으면서도 완벽하게 비밀을 지켜주는 가상의 친구인 캐릭터를 모바일 디바이스에 기반하여 구현한 신개념의 능동형 영상표현 인공지능 서비스라고 할 수 있다.The active autonomous communication function described above is a virtual friend who can talk with me anytime, anywhere and talk about anything to a lonely modern person who has many single generations and is accustomed to living alone. It can be said that it is a new concept active image expression artificial intelligence service implemented based on a mobile device.
여기서, 전술한 가상 통화 기능은 영상 캐릭터에게 제 2의 가상 전화번호 즉, 해당 모바일 디바이스에 부여된 단말번호에 종속되는 다른 하나의 전화번호를 부여하거나 사용자가 2개의 전화번호를 발급받아 적용하는 방식으로 구현될 수 있다. Here, the above-described virtual call function is a method in which a second virtual phone number, that is, another phone number dependent on the terminal number assigned to the mobile device, is given to the video character, or the user is issued and applied two phone numbers. can be implemented as
이하, 도면을 참조하여 본 발명의 실시예 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템의 구조에 대해 상세히 설명한다.Hereinafter, the structure of a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 2는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템 및 그 시스템이 설치된 모바일 디바이스의 구조를 나타낸 도면이다.2 is a diagram showing the structure of a mobile device-based active artificial intelligence character system and a mobile device in which the system is installed according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템(300)은, 모바일 디바이스(100)에서 실행되는 서비스 시스템으로서, 복수의 구동모드에 따라, 입력되는 사용자 행위에 응답하여 사운드 및 그래픽으로 구현되는 가상의 영상 캐릭터에 의한 응답을 커뮤니케이션 형태로 제공하는 캐릭터 구현부(310), AI 엔진에 의해 사용자 행위에 상호작용하는 영상 캐릭터에 의한 자율적인 응답을 도출하고, 도출된 응답에 영상 캐릭터의 행위를 제어하는 제어부(320), 모바일 디바이스(100)에 설치된 하나 이상의 타 어플리케이션과 연동하고, 영상 캐릭터를 타 어플리케이션의 실행에 참여시키는 어플 연동부(330), 영상 캐릭터를 구현하기 위한 다수의 속성이 정의된 영상 캐릭터 정보 및 영상 캐릭터가 수행하는 다수의 행위가 정의된 행위정보가 저장되는 저장소(340) 및 사용자와 영상 캐릭터간 커뮤니케이션이 발생하면, 발생한 커뮤니케이션의 내용을 사용자 패턴으로 저장소에 기록하고, 저장소에 기록된 사용자 패턴을 일정 주기로 관리서버에 전송하는 패턴 축적부(350)를 포함할 수 있다.Referring to FIG. 2 , a mobile device-based active artificial intelligence
캐릭터 구현부(310)는 모바일 디바이스(100)에서 표시 및 출력 가능한 형태로 구현할 수 있다. 사용자는 인공지능 캐릭터 시스템(300)에서 제시하는 영상 캐릭터의 기본 형상을 자신의 성향에 따라 원하는 형상의 영상 캐릭터로 일정한 범위내에서 생성 또는 변환시켜서 저장할 수 있고, 이후 인공지능 캐릭터 시스템(300)의 실행시 사용자가 저장한 영상 캐릭터가 호출되어 사용자와 커뮤니케이션을 수행할 수 있다.The
이러한 영상 캐릭터가 수행하는 커뮤니케이션은 복수의 구동모드로 이루어질 수 있고, 이러한 구동모드는 사용자와의 대화와 관련된 기능들을 수행하는 대화모드, 영상 캐릭터 또는 제3자를 대상으로 하거나, 영상 캐릭터를 제2 플레이어로 하여 함께 진행하는 게임과 관련된 기능들을 제공하는 게임모드 및 사용자의 정보에 기초하여 일정을 관리, 메시지 전송, 알림 표시 등과 관련된 기능을 제공하는 비서모드 등을 포함할 수 있다.The communication performed by the video character may be made in a plurality of driving modes, and this driving mode is a conversation mode that performs functions related to conversation with a user, a video character or a third person, or uses the video character as a second player. It may include a game mode that provides functions related to a game to be played together, and a secretary mode that provides functions related to schedule management, message transmission, and notification display based on user information.
또한, 캐릭터 구현부(310)는 캐릭터 서비스에서 제시하는 기본 캐릭터의 일정 형태와 속성의 범위내에서 사용자의 입력에 따라, 영상 캐릭터의 이름 또는 애칭, 외형, 체형, 색상 및 음성 중, 하나 이상의 속성을 선택받아 상기 영상 캐릭터의 형상과 속성을 일정부분 생성 또는 변화시키는 커스터마이징 기능을 제공할 수 있다.In addition, the
사용자는 영상 캐릭터 생성시, 시스템에 미리 지정된 공통의 이름과 형태를 단순 선택하여 설정할 수 있고, 기호에 따라 남성성과 여성성을 선택할 수 있다. 또한, 사용자는 의도에 따라 기본 설정에서 캐릭터의 성향을 지정할 수도 있다.When creating a video character, the user can simply select and set a common name and shape predefined in the system, and can select masculinity and femininity according to preferences. In addition, the user may designate the character's disposition in the basic setting according to the intention.
예를 들어, 영상 캐릭터의 성향은 파이터형, 수다형, 대화형, 공감 리액션형, 놀이형 등으로 설정가능하고, 형태나 성격을 복수로 적용하여 선택 가능하다. 또한, 복장을 사용자가 원하는 패션으로 변경, 착용시킬 수 있다.For example, the tendency of the video character can be set as a fighter type, a talkative type, a conversation type, a sympathetic reaction type, a play type, etc., and can be selected by applying a plurality of forms or personalities. In addition, it is possible to change and wear the clothes to the fashion desired by the user.
이때, 사용자가 변화시켜서 저장한 영상 캐릭터는 제3 자가 시각적으로 인식할 때, 능동형 인공지능 영상 캐릭터 시스템(300)에서 제시하는 남성 캐릭터 또는 여성 캐릭터의 기본 형상과 동일한 영상 캐릭터로 용이하게 인식되는 수준의 형상이어야 한다. 따라서, 영상 캐릭터의 복장의 일부 변화, 키 또는 몸무게의 변화, 머리 모양 또는 피부색의 변화, 악세사리 또는 장비 등의 착용은 영상 캐릭터의 기본 형상을 해치지 않는 일정한 범위내에서 변화시켜서 저장할 수 있도록 제한하는 것이 바람직하다.At this time, the image character changed and stored by the user is easily recognized as the same image character as the basic shape of the male character or the female character presented by the active artificial intelligence
제어부(320)는 인공지능에 기반하여 정의된 복수의 영상 캐릭터 행위들을 실행중인 캐릭터의 현재상황 또는 행위에 반영하여 영상 캐릭터를 제어할 수 있고, 연계된 타 어플리케이션을 실행하거나, 모바일 디바이스의 구동을 제어할 수 있다.The
이를 위해, 제어부(320)는 AI엔진(325)을 포함할 수 있다. 이러한 AI엔진(325)은 가상의 영상 캐릭터가 모바일 디바이스(100)에서 취할 수 있는 다양한 행위가 정의되어 있고, AI엔진(325)은 모바일 디바이스(100)에 입력되는 사용자의 행위에 따른 응답 또는 자율 행위로서 영상 캐릭터에 설정된 행위정보에 따라 현재 가상의 영상 캐릭터가 수행해야 하는 행위를 결정하고, 그 결정에 따라 제어부(320)는 모바일 디바이스(100)에 표시되는 영상 캐릭터를 제어하여 표정, 몸짓을 변경하거나, 음성을 출력하여 커뮤니케이션을 진행하게 된다. To this end, the
어플 연동부(330)는, 본 발명의 인공지능 캐릭터 시스템(300)이 아닌, 모바일 디바이스(100)에 설치된 타 어플리케이션(400)과 영상 캐릭터를 연동하여 커뮤니케이션으로서 실행할 수 있다. The
모바일 디바이스(100)에 설치되는 타 어플리케이션(400)으로는 동영상을 재생하는 동영상 플레이어(410), 음원을 재생하는 뮤직 플레이어(420), 게임(430), 타 시스템과 메시지를 송수신하는 메신저 어플리케이션(440), 타 시스템과의 호를 연결하는 호 처리기(450), 특정일자 또는 기간에 사용자의 일정을 기록하는 스케쥴러 어플리케이션(460) 및 이미지 또는 텍스트를 표시하는 뷰어 어플리케이션(470) 등이 있다.
이러한 어플 연동부(330)에 의한 영상 캐릭터와 타 어플리케이션과의 연동을 통해 구현 가능한 커뮤니케이션은 다음과 같다.Communication that can be implemented through the linkage between the image character and other applications by the
먼저, 동영상 플레이어(410)와의 연동기능으로서, 영상 캐릭터의 형상을 모바일 디바이스(100) 화면에 표시하고, 사용자와 간단한 대화를 주고 받으며 상황에 따른 리액션을 음성과 동작으로 표현할 수 있다. 또한, 사용자가 주문한 일정한 동작을 노래, 춤 및 모션 등으로 지정된 시간 동안 표시할 수 있다.First, as an interworking function with the
이러한 기능을 구현하기 위해 어플 연동부(330)는 영상 캐릭터의 렌더링을 표준 코덱으로 변환하여 동영상 포맷으로 변환하고, 동영상 플레이어(410)를 통해 재생할 수 있다.In order to implement such a function, the
뮤직 플레이어(420)와의 연동기능으로서, 사용자가 특정 노래를 요청하면 영상 캐릭터가 해당 노래를 불러주는 서비스를 제공할 수 있다. 이러한 기능은 해당 노래음원을 온라인 상에서 검색하고, 다운로드 또는 스트리밍 형태로 뮤직 플레이어를 통해 재생하는 형태로 구현될 수 있다.As a function of interworking with the
게임(430)과의 연동기능으로서, 사용자가 지정한 제3자의 얼굴 사진이나 이름을 표시하여 화면에 불러낸 특정 형상을 이용하여, 격투게임, 펀치볼, 체벌게임 및 역할게임 등 다양한 장르의 게임에서 사용자를 대신하여 게임자로 직접 참여하거나 게임의 응원자로 참여하는 형태로 게임(430)을 실행할 수 있다.As an interlocking function with the
또한, 게임(430)과의 연동기능으로서, 게임 환경에서 사용자의 영상 캐릭터와 게스트 캐릭터간 게임을 진행하는 방식이 적용될 수 있고, 이때, 각 영상 캐릭터의 얼굴은 모바일 디바이스에 미리 저장된 사용자 자신의 사진과 사용자가 지정한 상대방의 사진을 각각 안면 부위에 합성한 것으로 설정될 수 있고, 사용자가 입력한 명칭을 영상 캐릭터에 표시하여 게임을 진행할 수 있다. In addition, as an interworking function with the
또한, 게임방식은 그 의도에 따라, 사용자의 스트레스를 해소시키는 형태일 수 있고, 게임이 진행되는 과정 중에 사용자의 행위에 대응하는 별도의 행위를 게스트 캐릭터가 취하도록 설정될 수 있다. In addition, the game method may be a form of relieving the user's stress according to the intention thereof, and may be set so that the guest character takes a separate action corresponding to the user's action during the course of the game.
이러한 게임(430)의 종류로는, 사용자가 지정하는 제3 자와 영상 캐릭터간의 격투 게임, 영상 캐릭터가 펀치볼을 터치하는 펀치볼 게임, 유도 및 레슬링 게임, 물풍선을 던지거나 뿅망치를 이용하여 지정한 상대방의 얼굴이나 이름이 표현된 타격 대상물을 가격하는 타격게임 및 사용자가 지정한 상대방에게 원하는 행위를 취하는 역할 반전 게임 등이 될 수 있다.As the type of the
메신저 어플리케이션(440)과의 연동기능으로서, 영상 캐릭터는 메시지나 카카오톡 등과의 연결을 통해 사용자인 나와 1대 1로 가상의 대화를 수행하고, 하소연을 들어주고 스트레스를 낮추는 위로의 멘트 및 리액션을 제공할 수 있다. 또한, 메신저 어플리케이션(440)이 제공하는 이모티콘을 전송하거나 특수문자, 그림 등을 대화 중에 표현할 수 있다.As an interworking function with the
호 처리기(450)와의 연동기능으로서, 사용자가 지정한 영상 또는 음성 (녹음)을 사용자가 예약한 일자와 시간에 지정하는 타 사용자에게 영상 캐릭터가 통화방식으로 전송할 수 있다. As a function of interworking with the
예를 들어, 사용자가 소정의 목적으로 일정 분량의 영상을 녹화하여 모바일 디바이스(100)에 저장하고, 특정 제목으로 저장된 영상파일을 타 사용자인 '홍XX'를 수신자로 하여 2019년 M월 D일 H시에 전송할 것을 캐릭터에게 명령하면, 영상 캐릭터는 해당시간에 타 사용자에게 전화를 걸고 호가 연결되면 타 사용자의 모바일 디바이스의 화면에 사용자의 영상 캐릭터 형상이 자동으로 로딩되면서 해당 영상 파일이 도착하였다는 안내 멘트가 표시되도록 하고, 영상 수신에 대한 동의 여부에 따라 영상을 재생할 수 있다.For example, a user records a certain amount of video for a predetermined purpose and stores it in the
이후, 영상 재생이 종료되면 영상 캐릭터는 영상 발신자에게 따로 답장하실 내용이 있는지 영상의 수신자에게 질의하고, 답장이 존재하는 경우 그 내용을 임시 저장하거나, 사용자의 모바일 디바이스로 전송하여 저장할 수 있다. 여기서, 임시 저장된 답장은 사용자가 필요한 시간에 영상 캐릭터에게 대화방식으로 물어서 전달받을 수 있다.Thereafter, when the video playback is finished, the video character inquires to the video sender if there is something to reply to the video sender, and if there is a reply, the video character can be temporarily stored or transmitted to the user's mobile device for storage. Here, the temporarily stored reply may be delivered to the user by asking the video character in a conversational manner at a required time.
또한, 사용자가 타 사용자에게 예약형식으로 전하고자 하는 내용이 음성녹음인 경우, 영상 캐릭터가 수신자의 화면에 로딩되어 해당 음성녹음을 대신 말하는 형식으로 표현하거나, 수신 동의 여부에 따라 음성녹음 내용을 재생할 수 있다. 여기서, 답장에 대한 처리는 전술한 영상통화의 답장과 유사한 방법으로 처리할 수 있다.In addition, if the content that the user wants to convey to other users in the form of a reservation is a voice recording, a video character is loaded on the receiver's screen to express the voice recording in a speaking form instead, or to play the voice recording content depending on whether the user agrees to the reception. can Here, the processing of the reply may be processed in a similar manner to the reply of the above-described video call.
또한, 호 처리기(450) 및 스케줄러 어플리케이션(460)과의 연동기능으로서, 영상 캐릭터는 사용자의 일정정보에 포함된 중요한 약속, 기념일, 중요행사, 기쁜일, 슬픈일, 행운한 사건 및 불운한 사건 등을 추출하고, 자율 판단에 따라 호 처리기(450)에 요청하여 발신자를 영상 캐릭터로 하는 호를 호출함으로써 벨소리를 울리게 하는 기능을 제공할 수 있다. 이러한 기능은 랜덤함수에 의해 결정되는 임의의 시점에 사용자의 명령없이 자율적으로 전화를 걸어서 축하나 위로의 대화를 시도하거나, 메시지나 SNS 대화를 시도하는 형태로 구현될 수 있다.In addition, as a function of interworking with the
또한, 사용자의 지인이 본 발명의 능동형 인공지능 영상 캐릭터 시스템을 이용하는 경우, 전술한 일정정보를 참조하여 사용자의 지인의 영상 캐릭터와 대화할 수 있는 기능 또는, 사용자의 중요한 일정이나 사건, 사고를 알려주는 기능을 제공할 수 있다.In addition, when an acquaintance of the user uses the active AI image character system of the present invention, a function to talk with the image character of the user's acquaintance with reference to the aforementioned schedule information, or to inform the user of an important schedule, event, or accident can provide a function.
뷰어 어플리케이션(470)과의 연동기능으로서, 모바일 디바이스에 저장된 사진 등을 표시하되, 사진 상에 자신의 영상 캐릭터를 중첩 표시함으로써 마치 영상 캐릭터가 사진에 등장하는 것과 같은 효과를 제공할 수 있다. As an interworking function with the
패턴 축적부(350)는 사용자와 영상 캐릭터 간의 커뮤니케이션이 발생하면, 그 내역을 사용자 패턴 정보로서 저장소(340)에 저장할 수 있다. 본 발명의 실시예에서 사용자의 행위는 사용자의 패턴을 나타내는 지표로서 딥러닝 학습에 활용할 수 있고, 패턴 축적부(350)는 능동형 인공지능 영상 캐릭터 서비스의 실행에 따른 사용자의 행위를 패턴 정보에 기록하고, 일정 주기에 따라 관리 서버(200)에 제공함으로써 학습 데이터로서 반영되도록 하여 추후 AI엔진(325)을 업데이트 하는 데 활용하도록 한다.When communication between the user and the image character occurs, the
또한, 본 발명의 실시예에 따른 능동형 인공지능 영상 캐릭터 시스템은 타 사용자의 모바일 디바이스와 연동하여 영상 캐릭터와 타 사용자의 캐릭터간 커뮤니케이션 및 게임실행을 구현하는 캐릭터 연동부(360)를 더 포함할 수 있다.In addition, the active artificial intelligence image character system according to an embodiment of the present invention may further include a
이러한 캐릭터 연동부(360)에 의해 제공되는 기능으로서, 사용자가 능동형 인공지능 영상 캐릭터 시스템(300)을 통해 타 사용자의 캐릭터를 초대하면, 가상의 공간에서 자신의 영상 캐릭터와 만나서 대화 또는 게임을 하거나 일정한 범위 내에서 한정된 행동을 함께 수행하고 이를 사용자가 관찰할 수 있도록 하는 기능을 제공할 수 있다. As a function provided by this
여기서, 모바일 디바이스(100)의 화면상에는 사용자와 타 사용자의 두 캐릭터가, 사용자 및 타 사용자의 두 모바일 디바이스(100)에서 두 화면에 각각 동시에 표시되도록 할 수 있다. 이때, 두 캐릭터는 어느 하나가 화면을 오프하여 해당 화면을 시청하지 못하도록 하는 자율 행위가 적용될 수 있다.Here, on the screen of the
저장소(340)는 사용자가 생성한 캐릭터 정보, 영상 캐릭터가 수행하는 행위가 정의되는 행위정보 및 기타 서비스를 구현하기 위한 사용자 정보가 저장될 수 있다.The
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템과 연동하는 중앙 관리 서버를 설명한다.Hereinafter, a central management server interworking with a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention will be described with reference to the drawings.
도 3은 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템과 연동하는 중앙 관리 서버의 구조를 나타낸 도면이다.3 is a diagram showing the structure of a central management server interworking with a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시예에 따른 중앙 관리 서버(200)는, 상기 정보통신망을 통해 연결된 상기 모바일 디바이스와 데이터 통신을 수행하는 통신부(210), 사용자의 회원정보를 생성하고, 접속 시도하는 모바일 디바이스에 대한 회원등록절차 및 로그인 절차를 수행하는 회원 관리부(220), 딥러닝 기술에 기반하여 하나 이상의 기 정의된 학습 모델에 학습 데이터를 적용하여 사용자의 행위에 따른 적합한 응답을 도출하는 학습엔진(230), 학습 데이터 및 학습결과가 저장되는 데이터 베이스(240) 및 기 배포된 학습결과가 갱신되면, 갱신된 학습결과를 상기 모바일 디바이스에 배포하여 AI엔진의 업데이트를 수행하는 업데이트부(250)를 포함할 수 있다.Referring to FIG. 3 , the
통신부(210)는 정보통신망에 연결되고, 본 발명의 능동형 인공지능 영상 캐릭터 시스템이 저장 및 실행되는 하나 이상의 모바일 디바이스(100)와 연결되어 서로간의 데이터 통신을 수행할 수 있다.The
회원 관리부(220)는 본 발명의 능동형 인공지능 영상 캐릭터 시스템을 이용하고자 하는 사용자의 회원가입절차, 사용자 인증절차 등의 수행할 수 있다. 본 발명의 인공지능 영상 캐릭터 서비스를 이용하고자 하는 사용자에게는 계정 및 패스워드와 모바일 디바이스의 전화번호 또는 사용자의 생체인식 정보 등을 입력하여 회원등록 절차를 수행해야 하며, 회원 관리부(220)는 모바일 디바이스(100)의 요청에 따라 해당 사용자에 대한 회원정보를 생성하고 데이터 베이스(240)에 저장할 수 있다.The
또한, 회원 관리부(220)는 모바일 디바이스(100)에서 인공지능 영상 캐릭터 시스템이 실행됨에 따라, 등록된 회원정보를 통한 사용자 인증절차를 거쳐 정상적으로 인증된 사용자의 모바일 디바이스에 한하여 본 발명의 인공지능 영상 캐릭터 서비스를 이용 가능하도록 한다.In addition, as the AI image character system is executed in the
학습엔진(230)은 능동형 인공지능 영상 캐릭터 시스템에 탑재된 AI엔진을 구현하기 위한 하나 이상의 학습모델이 정의되어 있고, 데이터 베이스(240)에 저장된 하나 이상의 학습 데이터를 적용하여 사용자 행위에 상호작용하는 영상 캐릭터의 행위를 정의하고, 그 행위정보를 AI엔진에 반영할 수 있다.The
또한, 학습엔진(230)은 추후 각 모바일 디바이스(100)로부터 사용자 패턴 정보가 제공되면, 이를 학습 데이터로 이용하여 학습결과를 강화할 수 있으며, 보다 개인화된 AI엔진을 구현할 수 있도록 한다. In addition, when user pattern information is provided from each
데이터 베이스(240)는 전술한 회원정보, 행위정보와, 딥 러닝을 위한 학습 데이터를 저장할 수 있다. 또한 데이터 베이스(240)에는 능동형 인공지능 영상 캐릭터 시스템을 구현하기 위한 각종 설정값, 예를 들면, 영상 캐릭터 생성시 이용되는 속성값, 아이템 등이 저장될 수 있고, 이는 모바일 디바이스(100)에 배포될 수 있다.The
업데이트부(250)는 모바일 디바이스(100)에 설치된 AI엔진의 버전이 업데이트되면 이를 반영하고, 업데이트 파일을 모바일 디바이스(100)에 배포할 수 있다. 또한, 업데이트부(250)는 각 사용자 별로 개인화된 영상 캐릭터의 행위정보도 업데이트 할 수 있고, 이는 회원정보를 참조하여 해당 사용자 및 모바일 디바이스(100)를 특정하고, 해당 모바일 디바이스(100)에만 업데이트 정보로 제공할 수 있다.When the version of the AI engine installed in the
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템에 의한 서비스 제공방법을 설명한다.Hereinafter, a service providing method by a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention will be described with reference to the drawings.
도 4는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템에 의한 서비스 제공방법을 나타낸 도면이다.4 is a diagram illustrating a service providing method by a mobile device-based active artificial intelligence image character system according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템에 의한 서비스 제공방법에 의하면, 먼저 사용자가 자신의 모바일 디바이스를 이용하여 본 발명의 능동형 인공지능 영상 캐릭터 시스템을 다운로드 및 설치하고, 능동형 인공지능 영상 캐릭터 시스템을 실행하여 중앙 관리 서버에 접속한다(S100).Referring to FIG. 4 , according to the service providing method by the mobile device-based active artificial intelligence image character system according to the embodiment of the present invention, first, the user uses his/her mobile device to create the active artificial intelligence image character system of the present invention. Download and install, and connect to the central management server by executing the active AI image character system (S100).
이어서, 시스템에 최초 접속한 사용자는 자신의 성명, 나이 등의 개인정보와, 계정, 패스워드 및 모바일 디바이스의 전화번호 등의 사용자 정보를 입력하여 회원가입 절차를 진행한다(S110).Next, the user who first accesses the system enters personal information such as his or her name and age, and user information such as account, password, and phone number of the mobile device to proceed with the membership registration procedure (S110).
S110 단계에 따라, 정상적으로 회원 등록된 사용자는 자신의 모바일 디바이스를 이용하여 영상 캐릭터의 외형, 목소리 및 색상 등의 속성을 설정하여 자신만의 캐릭터를 생성한다(S120). According to step S110, the user who is normally registered as a member creates his/her own character by setting attributes such as appearance, voice, and color of the image character using his/her mobile device (S120).
이후, 능동형 인공지능 영상 캐릭터 시스템은 사용자의 행위가 발생할 때까지 입력 대기 상태를 유지하고(S130), 사용자의 입력 또는 음성 등의 행위가 발생하는지 판단(S140)하여 사용자의 행위에 대응하여 구동 모드를 설정하고(S150), 인공지능 기반 AI엔진에 의해 상호작용을 연산하여 응답을 도출하게 된다(S160).After that, the active AI image character system maintains the input standby state until the user's action occurs (S130), determines whether the user's input or an action such as voice occurs (S140), and responds to the user's action in the driving mode is set (S150), and a response is derived by calculating the interaction by the AI engine based on artificial intelligence (S160).
여기서, 도시되어 있지는 않으나, S140 단계에서 사용자의 행위가 발생하지 하지 않더라도 특정 조건에 따라 영상 캐릭터가 자율 행위를 수행 할 수 있다. Here, although not shown, the video character may perform an autonomous action according to a specific condition even if the user's action does not occur in step S140.
S160 단계 이후, 능동형 인공지능 영상 캐릭터 시스템은 AI엔진에 의해 도출된 응답에 대응하는 행위를 캐릭터가 수행하도록 제어하게 된다(S170).After step S160, the active AI image character system controls the character to perform an action corresponding to the response derived by the AI engine (S170).
한편, S170 단계 이후, 능동형 인공지능 영상 캐릭터 시스템은 일정 주기에 따라 사용자와 영상 캐릭터간 커뮤니케이션에 대한 정보를 기록함으로써 사용자 패턴을 생성 및 중앙 관리 서버에 제공되어 사용자 패턴 분석에 활용될 수 있다(S180)On the other hand, after step S170, the active AI image character system creates a user pattern by recording information about communication between the user and the image character according to a predetermined period, and is provided to the central management server to be utilized for user pattern analysis (S180) )
이하, 본 발명의 실시예에 따른 능동형 인공지능 영상 캐릭터 시스템이 제공하는 캐릭터 화면의 예시를 통해 본 발명의 기술적 사상을 상세히 설명한다.Hereinafter, the technical idea of the present invention will be described in detail through an example of a character screen provided by an active AI image character system according to an embodiment of the present invention.
도 5a 내지 도 5e는 본 발명의 실시예에 따른 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템이 제공하는 화면을 예시한 도면이다.5A to 5E are diagrams illustrating screens provided by a mobile device-based active AI image character system according to an embodiment of the present invention.
먼저, 도 5a를 참조하면 본 발명의 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템은 사용자가 자신만의 캐릭터를 직접 생성하는 기능을 제공할 수 있다. 본 발명의 능동형 인공지능 영상 캐릭터 시스템이 제공하는 캐릭터 생성 화면(W100)은 캐릭터 전신의 모습이 표시되는 캐릭터 창(W11), 캐릭터의 외형에 대한 구체적 속성, 예를 들면 얼굴모양, 머리모양, 머리색, 눈모양, 눈색, 키, 체형, 귀모양 등을 선택할 수 있는 제1 템플릿 창(W120), 안경, 모자, 상의, 하의, 시계 및 신발 등의 의복 및 액세서리 등을 선택할 수 있는 제2 템플릿 창(W125) 및 캐릭터 이름 또는 애칭을 입력할 수 있는 이름 입력창(W130) 등을 포함할 수 있다.First, referring to FIG. 5A , the mobile device-based active AI image character system of the present invention may provide a function for a user to directly create his/her own character. The character creation screen W100 provided by the active AI image character system of the present invention includes the character window W11 in which the entire character is displayed, and specific attributes of the character's appearance, for example, face shape, hair shape, and head. A first template window (W120) for selecting color, eye shape, eye color, height, body type, ear shape, etc., and a second template for selecting clothes and accessories such as glasses, hats, tops, bottoms, watches and shoes, etc. It may include a window W125 and a name input window W130 into which a character name or nickname can be input.
사용자는 시스템이 제공하는 유저 인터페이스(UI)를 통해 자신이 원하는 이름 또는 애칭 및, 외형을 갖는 영상 캐릭터를 생성할 수 있다.A user may create a video character having a desired name or nickname and an external appearance through a user interface (UI) provided by the system.
도 5b를 참조하면, 생성된 영상 캐릭터는 사용자의 행위에 상호작용하여 특정한 행위를 수행하게 되며 그 모습은 모바일 디바이스의 화면(W200)상에 표시될 수 있다. 일례로서, 사용자가 해당 영상 캐릭터의 이름 또는 애칭을 부르면, 영상 캐릭터는 그 음성에 대응하는 응답을 사운드를 출력하거나 텍스트를 표시할 수 있고, 적절한 자세를 취할 수 있다.Referring to FIG. 5B , the generated image character interacts with the user's action to perform a specific action, and the image may be displayed on the screen W200 of the mobile device. As an example, when the user calls the name or nickname of the video character, the video character may output a sound or display text in response to the voice, and may take an appropriate posture.
도 5c를 참조하면, 타 어플리케이션과의 연동기능으로서, 사용자가 영상 캐릭터와의 상호작용을 통해 동영상을 재생하는 기능을 예시하고 있다.Referring to FIG. 5C , as a function of interworking with other applications, a function in which a user plays a video through interaction with a video character is exemplified.
사용자는 모바일 디바이스에 설치된 다양한 어플리케이션과 연동한 서비스를 실행할 수 있고, 본 발명의 능동형 인공지능 영상 캐릭터 시스템은 사용자의 명령에 따라 다양한 타 어플리케이션과의 연동을 통해 유용한 서비스를 제공할 수 있다.A user may execute a service interworking with various applications installed on a mobile device, and the active AI image character system of the present invention may provide useful services through interworking with various other applications according to a user's command.
도면에 예시된 바와 같이, 사용자가 능동형 인공지능 영상 캐릭터 시스템을 실행하고, 자신의 영상 캐릭터에게 특정 동영상의 재생을 음성 또는 텍스트 입력의 형태로 명령하면, 영상 캐릭터는 이를 인식하고, 모바일 디바이스에 저장된 동영상 파일에서 해당 파일을 추출하여 탑재된 동영상 플레이어와 연계하여 해당 동영상을 재생 및 모바일 디스플레이의 화면(W300)에서 재생할 수 있다.As illustrated in the figure, when a user executes an active AI video character system and commands his/her video character to play a specific video in the form of voice or text input, the video character recognizes it and stores it in the mobile device By extracting the file from the video file, the video can be played and played on the screen W300 of the mobile display in connection with the mounted video player.
이때, 사용자의 영상 캐릭터는, 모바일 디바이스의 화면 하단에 표시될 수 있고, 사용자의 명령에 대한 응답을 사운드 또는 텍스트 형태로 출력할 수 있다. 또한, 모바일 디바이스의 화면 상단으로, 동영상 플레이어에 의해 해당 동영상 파일의 재생화면(W310)을 표시할 수 있다.In this case, the user's image character may be displayed at the bottom of the screen of the mobile device, and a response to the user's command may be output in the form of sound or text. Also, at the top of the screen of the mobile device, the playback screen W310 of the corresponding video file may be displayed by the video player.
도 5d를 참조하면, 타 어플리케이션과의 연동기능으로서, 사용자가 영상 캐릭터와의 상호작용을 통해 호 연결 기능을 예시하고 있다.Referring to FIG. 5D , as an interworking function with other applications, a call connection function is exemplified by a user interacting with a video character.
본 발명의 실시예에 따른 능동형 인공지능 캐릭터 시스템은 사용자가 음성 또는 입력을 통해 타 사용자와의 통화를 명령하면, 모바일 디바이스에 설치된 타 어플리케이션으로서 호 처리기와 연동하여 상대방의 전화번호를 통해 호 연결을 시도할 수 있다.In the active AI character system according to an embodiment of the present invention, when a user commands a call with another user through voice or input, as another application installed on the mobile device, it interworks with a call processor to establish a call connection through the phone number of the other party. you can try
이때, 영상 캐릭터는 호 연결화면(W400)에서 사용자가 입력한 타 사용자에 대한 전화번호를 모바일 디바이스의 저장소에서 추출하고, 호 처리기를 통해 해당 전화번호에 대한 호 연결을 시도함과 동시에, 현재 호 연결중인 내용을 음성 또는 텍스트 형태로 출력할 수 있다.At this time, the video character extracts the phone number for another user input by the user on the call connection screen W400 from the storage of the mobile device, attempts a call connection to the corresponding phone number through the call processor, and at the same time, the current call The content being connected can be output in the form of voice or text.
도 5e를 참조하면, 본 발명의 실시예에 따른 능동형 인공지능 영상 캐릭터 시스템을 통한 게임과의 연동 기능으로서, 사용자는 자신의 영상 캐릭터와 함께 게임을 실행할 수 있고, 이러한 게임 중 사용자의 스트레스를 해소시키는 것으로, 타 캐릭터를 터치하는 펀치볼 게임화면(W500)을 예시하고 있다.Referring to FIG. 5E , as an interworking function with a game through an active AI image character system according to an embodiment of the present invention, the user can run the game together with his or her image character, and relieve the user's stress during the game. As a result, the punch ball game screen W500 that touches other characters is exemplified.
이러한 펀치볼 게임에서는 사용자가 모바일 디바이스의 화면상에 표시된 타 캐릭터를 터치함으로써 타격하는 게임을 진행하는 것으로, 사용자는 타 캐릭터의 영역을 터치(T1, T2)하여 그 반응을 보는 형태의 게임을 진행할 수 있다. 이때, 타 캐릭터는 터치(T1, T2)된 영역에 대응하는 반응을 음성 또는 텍스트로 출력할 수 있으며, 사용자는 자신의 영상 캐릭터 뿐만 아니라 타 캐릭터를 이용한 게임을 이용할 수 있다.In such a punch ball game, the user plays a hitting game by touching another character displayed on the screen of the mobile device. can In this case, the other character may output a response corresponding to the touched area (T1, T2) as voice or text, and the user may use the game using the other character as well as his/her own image character.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.Although many matters are specifically described in the above description, these should be construed as examples of preferred embodiments rather than limiting the scope of the invention. Accordingly, the invention should not be defined by the described embodiments, but should be defined by the claims and equivalents to the claims.
100 : 모바일 디바이스 200 : 관리 서버
210 : 통신부 220 : 회원 관리부
230 : 학습엔진 240 : 데이터 베이스
250 : 업데이트부 300 : 인공지능 캐릭터 시스템
310 : 캐릭터 구현부 320 : 제어부
325 : AI엔진 330 : 어플 연동부
340 : 저장소 350 : 패턴 축적부
360 : 캐릭터 연동부 400 : 외부 어플리케이션100: mobile device 200: management server
210: communication unit 220: member management unit
230: learning engine 240: database
250: update unit 300: artificial intelligence character system
310: character implementation unit 320: control unit
325: AI engine 330: application linkage
340: storage 350: pattern accumulation unit
360: character linkage 400: external application
Claims (11)
복수의 구동모드에 따라, 입력되는 사용자 행위에 응답하여 사운드 및 그래픽으로 구현되는 가상의 영상 캐릭터에 의한 응답을 커뮤니케이션 형태로 제공하는 캐릭터 구현부;
AI 엔진에 의해 사용자 행위에 상호작용하는 영상 캐릭터에 의한 자율적인 응답을 도출하고, 도출된 응답에 영상 캐릭터의 행위를 제어하는 제어부; 및
상기 모바일 디바이스에 설치된 하나 이상의 타 어플리케이션과 연동하고, 영상 캐릭터를 상기 타 어플리케이션의 실행에 참여시키는 어플 연동부; 및
타 사용자의 모바일 디바이스와 연동하여 영상 캐릭터와 타 사용자의 영상 캐릭터간 커뮤니케이션 및 게임 실행을 구현하는 캐릭터 연동부를 포함하고,
상기 복수의 구동모드는,
사용자와 영상 캐릭터간, 또는 사용자의 영상 캐릭터와 타 사용자의 영상 캐릭터간 게임을 수행하는 게임모드 및, 사용자가 설정한 조건에 부합되는 시점에 영상 캐릭터가 특정 행위를 수행하도록 하는 비서모드 중, 어느 하나를 포함하고,
상기 타 어플리케이션은 타 시스템과의 호를 연결하는 호 처리기, 특정일자 또는 기간에 사용자의 일정을 기록하는 스케쥴러 어플리케이션을 포함하고,
상기 어플 연동부는,
상기 호 처리기 및 스케줄러 어플리케이션과의 연동에 따라, 사용자의 일정정보로부터 특정 일정 또는 사건을 추출하고, 자율 판단에 따라 상기 호 처리기에 요청하여 사용자의 명령없이 발신자를 영상 캐릭터로 하여 전화를 거는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.A service system running on a mobile device, comprising:
a character implementation unit that provides a response by a virtual image character implemented as sound and graphics in a communication form in response to an input user action according to a plurality of driving modes;
a controller for deriving an autonomous response by a video character interacting with a user action by the AI engine, and controlling the action of the video character in response to the derived response; and
an application interworking unit that interworks with one or more other applications installed in the mobile device, and allows a video character to participate in the execution of the other application; and
It includes a character linkage unit that interworks with another user's mobile device to implement communication and game execution between the video character and the video character of another user,
The plurality of driving modes,
Which of a game mode in which a game is played between a user and a video character or between a user's video character and another user's video character, and a secretary mode in which the video character performs a specific action at a point in time that meets the conditions set by the user? including one,
The other application includes a call processor that connects a call with another system, and a scheduler application that records the user's schedule on a specific date or period,
The app linkage unit,
A mobile device that extracts a specific schedule or event from the user's schedule information according to interworking with the call processor and scheduler application, requests the call processor according to autonomous judgment, and makes a call using the caller as a video character without a user's command Based active AI character system.
상기 복수의 구동모드는,
상기 사용자와 영상 캐릭터 간의 대화 행위를 제공하는 대화모드를 더 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.The method of claim 1,
The plurality of driving modes,
The mobile device-based active AI character system further comprising a conversation mode for providing a dialogue action between the user and the image character.
상기 게임모드는,
게임 환경에서 각 영상 캐릭터의 얼굴은 상기 모바일 디바이스에 미리 저장된 사용자 자신의 사진 및 사용자가 지정한 상대방의 사진을 각각의 캐릭터의 안면부위에 합성한 것으로 설정하고, 사용자가 입력하는 명칭을 캐릭터 상에 표시하는 방법으로 게임을 진행하는 기능
을 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.3. The method of claim 2,
The game mode is
In the game environment, the face of each video character is set as a composite of the user's own photo and the other's photo designated by the user, stored in advance in the mobile device, on the face of each character, and the name input by the user is displayed on the character. The ability to progress the game in a way
A mobile device-based active artificial intelligence character system comprising a.
상기 타 어플리케이션은,
동영상을 재생하는 동영상 플레이어, 음원을 재생하는 뮤직 플레이어, 게임 어플리케이션, 타 시스템과 메시지를 송수신하는 메신저 어플리케이션 및 이미지 또는 텍스트를 표시하는 뷰어 어플리케이션 중, 적어도 하나를 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.The method of claim 1,
The other applications are
A mobile device-based active AI character system comprising at least one of a video player that plays a video, a music player that plays a sound source, a game application, a messenger application that transmits and receives messages with other systems, and a viewer application that displays images or text .
상기 영상 캐릭터를 구현하기 위한 다수의 속성이 정의된 캐릭터 정보 및 상기 영상 캐릭터가 수행하는 다수의 행위가 정의된 행위정보가 저장되는 저장소; 및
상기 사용자와 영상 캐릭터간 커뮤니케이션이 발생하면, 발생한 커뮤니케이션의 내용을 사용자 패턴으로 저장소에 기록하고, 저장소에 기록된 사용자 패턴을 일정 주기로 관리서버에 전송하는 패턴 축적부
를 더 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.The method of claim 1,
a storage for storing character information in which a plurality of attributes for implementing the image character are defined and behavior information in which a plurality of actions performed by the image character are defined; and
When communication occurs between the user and the video character, the pattern accumulation unit records the contents of the communication as a user pattern in the storage, and transmits the user pattern recorded in the storage to the management server at regular intervals.
A mobile device-based active artificial intelligence character system further comprising a.
상기 캐릭터 구현부는,
캐릭터 서비스에서 제시하는 기본 영상 캐릭터의 일정 형태와 속성 범위내에서 사용자의 입력에 따라 상기 영상 캐릭터의 이름 또는 애칭, 외형, 체형, 색상, 음성, 성격 및 행동 방식 중, 하나 이상의 속성을 선택받아 상기 영상 캐릭터의 형상과 속성을 일정부분 생성 또는 변화시키는 커스터마이징 기능
을 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.6. The method of claim 5,
The character implementation unit,
According to a user's input within a certain form and attribute range of the basic image character presented by the character service, one or more attributes of the image character's name or nickname, appearance, body type, color, voice, personality and behavior are selected and said A customizing function to create or change a certain part of the shape and properties of a video character
A mobile device-based active artificial intelligence character system comprising a.
상기 제어부는,
현재 상황에 따라, 상기 영상 캐릭터가 표정 및 행동을 통해 사람에 감정에 대응하는 행위를 구현하도록 제어하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.The method of claim 1,
The control unit is
A mobile device-based active AI character system that controls the video character to implement an action corresponding to an emotion in a person through facial expression and action according to the current situation.
상기 모바일 디바이스는,
하나 이상이 정보통신망을 통해 연결되어, 상기 사용자의 회원정보를 관리하고, 상기 모바일 디바이스에 저장된 사용자의 기본정보, 파일 및 메모리를 상기 영상 캐릭터의 인공지능과 공유하며, 상기 영상 캐릭터가 수행하는 다수의 행위가 정의된 행위정보를 상기 모바일 디바이스에 제공하는 중앙 관리 서버와 연결되는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.The method of claim 1,
The mobile device is
At least one is connected through an information communication network, manages the user's member information, shares the user's basic information, files, and memory stored in the mobile device with the artificial intelligence of the video character, A mobile device-based active AI character system that is connected to a central management server that provides behavior information in which the behavior of the user is defined to the mobile device.
상기 중앙 관리 서버는,
상기 정보통신망을 통해 연결된 상기 모바일 디바이스와 데이터 통신을 수행하는 통신부;
상기 사용자의 회원정보를 생성하고, 접속 시도하는 모바일 디바이스에 대한 회원등록절차 및 로그인 절차를 수행하는 회원 관리부;
딥러닝 기술에 기반하여 하나 이상의 기 정의된 학습 모델에 학습 데이터를 적용하여 상기 사용자의 행위에 따른 적합한 응답을 도출하는 학습엔진;
상기 학습 데이터 및 학습결과가 저장되는 데이터 베이스; 및
기 배포된 학습결과가 갱신되면, 갱신된 학습결과를 상기 모바일 디바이스에 배포하여 AI엔진의 업데이트를 수행하는 업데이트부
를 포함하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.10. The method of claim 9,
The central management server,
a communication unit for performing data communication with the mobile device connected through the information communication network;
a member management unit generating member information of the user and performing a member registration procedure and a login procedure for a mobile device attempting to access;
a learning engine for deriving an appropriate response according to the user's behavior by applying learning data to one or more predefined learning models based on deep learning technology;
a database in which the learning data and learning results are stored; and
When the previously distributed learning result is updated, an update unit that distributes the updated learning result to the mobile device to update the AI engine
A mobile device-based active artificial intelligence character system comprising a.
상기 통신부는 일정 주기에 따라, 상기 모바일 디바이스로부터 상기 사용자와 영상 캐릭터간 발생한 커뮤니케이션의 내용을 포함하는 사용자 패턴을 수신하고,
상기 학습엔진은,
상기 사용자 패턴을 학습 데이터로 이용하여 학습 모델에 적용하는 모바일 디바이스 기반 능동형 인공지능 캐릭터 시스템.11. The method of claim 10,
The communication unit receives, from the mobile device, a user pattern including the contents of the communication generated between the user and the image character according to a predetermined period,
The learning engine is
A mobile device-based active AI character system that uses the user pattern as learning data and applies it to a learning model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190122205A KR102298070B1 (en) | 2019-10-02 | 2019-10-02 | System for providing active artificial intelligence image character based on mobile device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190122205A KR102298070B1 (en) | 2019-10-02 | 2019-10-02 | System for providing active artificial intelligence image character based on mobile device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210040208A KR20210040208A (en) | 2021-04-13 |
KR102298070B1 true KR102298070B1 (en) | 2021-09-07 |
Family
ID=75482718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190122205A KR102298070B1 (en) | 2019-10-02 | 2019-10-02 | System for providing active artificial intelligence image character based on mobile device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102298070B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102534788B1 (en) * | 2021-11-02 | 2023-05-26 | 주식회사 에이아이파크 | Video service device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101992424B1 (en) * | 2018-02-06 | 2019-06-24 | (주)페르소나시스템 | Apparatus for making artificial intelligence character for augmented reality and service system using the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050019368A (en) | 2003-08-18 | 2005-03-03 | (주)픽토소프트 | Apparatus and method of mobile service that describes the mobile's state via cyber character's artificial intelligence(AI) |
US20050054381A1 (en) * | 2003-09-05 | 2005-03-10 | Samsung Electronics Co., Ltd. | Proactive user interface |
EP2407941A1 (en) * | 2005-12-22 | 2012-01-18 | PKR Limited | Improvements Relating to On-line Gaming |
-
2019
- 2019-10-02 KR KR1020190122205A patent/KR102298070B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101992424B1 (en) * | 2018-02-06 | 2019-06-24 | (주)페르소나시스템 | Apparatus for making artificial intelligence character for augmented reality and service system using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20210040208A (en) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4395687B2 (en) | Information processing device | |
US8082297B2 (en) | Method and apparatus for managing communication between participants in a virtual environment | |
KR101261349B1 (en) | System and Method for Enhancing Socialization in Virtual Worlds | |
JP4862877B2 (en) | GAME CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
EP2690847A1 (en) | Virtual assistant for a telecommunication system | |
US12033265B2 (en) | Artificial intelligence character models with goal-oriented behavior | |
US11954451B1 (en) | Observation-based training of artificial intelligence character models | |
JP2005235142A (en) | System and program for measuring degree of intimacy between users | |
KR102298070B1 (en) | System for providing active artificial intelligence image character based on mobile device | |
JP5005574B2 (en) | Virtual space providing server, virtual space providing method, and computer program | |
US20230351142A1 (en) | Relationship graphs for artificial intelligence character models | |
Geser | Me, my self and my Avatar: some microsociological reflections on" Second Life" | |
Collister | Multimodality as a sociolinguistic resource | |
Wadley | Voice in virtual worlds | |
JP2005250859A (en) | Avatar control system | |
Birmingham | A comparative analysis of nonverbal communication in online multi-user virtual environments | |
US12033086B2 (en) | Artificial intelligence character models with modifiable behavioral characteristics | |
US12118320B2 (en) | Controlling generative language models for artificial intelligence characters | |
US11954570B2 (en) | User interface for construction of artificial intelligence based characters | |
JP7549312B2 (en) | Information processing system, information processing method, and program | |
WO2024230302A1 (en) | Method and apparatus for interaction with non-player character, device, storage medium, and product | |
KR20240164359A (en) | Method and apparatus for providing game service | |
Nishimura | Surechigai sociality: location-aware technology on the Yamanote line | |
Richardson-Quamina | Online behavioral boundaries: an investigation of how engaged couples negotiate agreements regarding what is considered online infidelity | |
CN118903835A (en) | Interaction method, device, equipment, storage medium and product for non-player character |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |