KR100772911B1

KR100772911B1 - 생활 패턴 정보 정리 장치 및 방법

Info

Publication number: KR100772911B1
Application number: KR1020060049906A
Authority: KR
Inventors: 이종호; 권순주; 조성배; 류희섭; 이영범
Original assignee: 삼성전자주식회사; 연세대학교 산학협력단
Priority date: 2006-06-02
Filing date: 2006-06-02
Publication date: 2007-11-05
Also published as: US20070299807A1

Abstract

생활 패턴 정보 정리 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 생활 패턴 정보 정리 장치는, 사용자의 생활 패턴을 나타내는 로그 정보를 근거로 하여 적어도 하나 이상의 특이성을 확률적으로 추론하는 특이성 확률 추론부, 상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑된 복수의 그룹 중에서, 선택된 그룹에 속한 특이성에 대응하는 이미지를 생성하는 이미지 생성부 및, 상기 생성된 이미지가 소정 배치 기준에 따라 배치된 이미지 그룹을 생성하는 이미지 그룹 생성부를 포함한다.

생활 패턴, 특이성(Landmark), 베이지안 네트워크(Bayesian Network), 일기

Description

생활 패턴 정보 정리 장치 및 방법{Apparatus and method for organizing user's life experiences}

도 1은 본 발명의 일 실시예에 따른 생활 패턴 정보 정리 장치의 구성을 도시한 도면이다.

도 2는 지리정보 테이블을 예시한 도면이다.

도 3은 사용자 프로파일 정보를 예시한 도면이다.

도 4는 패널 정보를 예시한 도면이다.

도 5a는 특이성에 대한 패널 정보가 매핑되어 있는 제1 패널정보 매핑 테이블을 예시한 도면이다.

도 5b는 장소 및 시간에 따른 패널 정보가 매핑되어 있는 제2 패널정보 매핑 테이블을 예시한 도면이다.

도 6은 도 1에 도시된 생활 패턴 정보 정리 장치에서 발생한 로그 정보에 대한 임팩트 분석결과를 예시한 그래프이다.

도 7은 도 1의 분석부에 의해 분석된 로그 컨텍스트를 예시한 도면이다.

도 8a 내지 도 8d는 특이성 추론 과정을 설명하기 위한 도면이다.

도 9a 내지 도 9d는 특이성들 간의 연결 강도를 계산하는 과정을 설명하기 위한 도면이다.

도 10은 일기로 표현할 특이성을 선택하는 과정을 설명하기 위한 도면이다.

도 11은 일기로 표현할 특이성에 대응하는 이미지가 기술된 XML을 예시한 도면이다.

도 12는 감정을 나타내는 캐릭터의 종류를 예시한 도면이다.

도 13은 하나 이상의 패널이 합성된 이미지를 예시한 도면이다.

도 14는 본 발명의 일 실시예에 따른 생활 패턴 정보 정리 방법을 도시한 흐름도이다.

도 15는 도 14의 특이성 추론 단계 S710을 보다 상세히 도시한 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 생활 패턴 정보 정리 장치 ,110: 입력부

115: 저장부, 120: 정보 수집부

130: 분석부 , 140: 특이성 확률 추론부

150: 특이성 선택부, 160: 코딩부

170: 이미지 생성부, 175: 이미지 그룹 생성부

180: 디스플레이부 , 190: 제어부

본 발명은 생활 패턴 정보 정리 장치 및 방법에 관한 것으로, 보다 상세하게는 사용자의 생활 패턴을 나타내는 데이터로부터 사용자의 경험을 요약하고, 요약 된 경험을 멀티미디어 형태로 표현하여 사용자에게 제공할 수 있는 장치 및 방법에 관한 것이다.

최근 유비쿼터스 및 유무선 기술의 발전으로 사용자의 일상과 관련된 정보를 지속적으로 수집할 수 있게 되었다. 특히, 디지털 카메라 및 휴대전화 등과 같은 모바일 디바이스는 사용자가 항상 휴대하기 때문에, 통화 기록, 사진 촬영, 음악 파일 재생, 위지 정보 등 다양한 정보를 효과적으로 수집할 수 있다.

이와 같이, 사용자가 밀접하게 휴대하고 다니는 모바일 디바이스를 통해 수집된 정보를 이용한다면, 모바일 디바이스들을 라이프 레코더로 사용하는 사용자들에게 보다 다양한 서비스를 제공할 수 있다.

예를 들어, 모바일 디바이스를 통해 수집된 로그 데이터로부터 개인의 경험을 요약할 수 있다면, 요약된 경험은 일기와 같이 개인의 기억 회상을 도울 수 있을 것이다. 뿐만 아니라, 요약된 경험은 주변의 스마트 기기(가전제품, 스마트 홈 등)이나 다른 사람들과의 상호 작용을 증대시키는데 사용될 수도 있다. 특이 상호 작용 과정에서 이미지와 같은 멀티미디어를 사용한다면, 텍스트를 사용하는 것보다 개인의 경험을 보다 효과적으로 전달할 수 있다.

따라서 모바일 디바이스를 통해 수집된 데이터로부터 개인의 경험을 요약하고, 요약된 정보를 멀티미디어 형태로 제공할 수 있는 기술이 필요하다.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 모바일 디바이스를 통해 수집된 데이터로부터 사용자의 경험을 요약하고, 요약된 정보를 멀티미디 어 형태로 제공할 수 있는 생활 패턴 정보 정리 장치 및 방법을 제공하는데 그 목적이 있다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 생활 패턴 정보 정리 장치는, 사용자의 생활 패턴을 나타내는 로그 정보를 근거로 하여 적어도 하나 이상의 특이성을 확률적으로 추론하는 특이성 확률 추론부, 상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑된 복수의 그룹 중에서, 선택된 그룹에 속한 특이성에 대응하는 이미지를 생성하는 이미지 생성부 및, 상기 생성된 이미지가 소정 배치 기준에 따라 배치된 이미지 그룹을 생성하는 이미지 그룹 생성부를 포함한다.

또 상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 생활 패턴 정보 정리 방법은, 사용자의 생활 패턴을 나타내는 로그 정보를 근거로하여 적어도 하나 이상의 특이성을 확률적으로 추론하는 (a) 단계, 상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑된 복수의 그룹 중에서, 선택된 그룹에 속한 특이성에 대응하는 이미지를 생성하는 (b) 단계 및, 상기 생성된 이미지가 소정 배치 기준에 따라 배치된 이미지 그룹을 생성하는 (c) 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있으며, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에서 사용하게 될 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 각 구성요소들에서 제공되는 기능은 더 작은 수의 구성요소들로 결합되거나 추가적인 구성요소들로 더 분리될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 생활 패턴 정보 정리 장치 및 방법을 설명하기로 한다.

본 발명의 실시예에 따른 생활 패턴 정보 정리 장치는, 사용자의 생활패턴을 나타내는 데이터를 수집하고, 수집된 데이터를 기반으로 하여 사용자의 경험을 만화일기로 구성한다. 본 발명의 실시예에 따른 생활 패턴 정보 정리 장치는, 사용자의 생활패턴을 탐지하기 위하여 다양한 데이터를 활용할 수 있다. 예를 들면, 생활 패턴 정보 정리 장치는, 외부로부터 수신되는 데이터, 생활 패턴 정보 정리 장치 내부적으로 생성되는 데이터 및 외부 저장소의 데이터를 참조할 수 있다. 좀 더 구체적으로, 날씨, 기온, 풍속 등과 같이 웹을 통해 제공된 데이터, 나이, 성별, 직업, 기호, 습관, 주소, 기념일 등과 같이 개인 정보 관리기(Personal Imformation Managers; PIMs)에서 제공된 데이터 및 통화, SMS, 이미지 촬영, 음악 파일 재생 등과 관련된 로그 정보 등이 사용될 수 있다.

이러한 생활 패턴 정보 정리 장치는 디지털 장치로 구현될 수 있다. 여기서 디지털 장치란 디지털 데이터를 처리하는 디지털 회로를 가진 장치로서, 컴퓨터, 디지털 카메라, 디지털 가전기기, 디지털 전화, 디지털 프로젝트, 홈서버, 디지털 비디오 레코더, 디지털 위성 방송 수신기, 셋탑박스 및 디지털 TV 방송 수신기 등을 예로 들 수 있다. 이하의 실시예에서는 생활 패턴 정보 정리 장치가 휴대전화로 구현되는 경우를 예로 들어 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 생활 패턴 정보 정리 장치(100)의 구성을 도시한 블록도이다. 도시된 생활 패턴 정보 정리 장치(100)는 입력부(110), 저 장부(115), 정보 수집부(120), 분석부(130), 특이성 확률 추론부(140), 특이성 선택부(150), 코딩부(160), 이미지 생성부(170), 이미지 그룹 생성부(175), 디스플레이부(180) 및 제어부(190)를 포함하여 구성된다.

입력부(110)는 사용자의 명령을 입력받는 부분으로, 복수의 키를 구비할 수 있다. 예를 들면, 전원키, 각종 문자 입력을 위한 문자 키 등을 구비할 수 있다. 입력부(110)에 구비된 키들은 사용자에 의해 인가되는 경우, 소정 키신호를 발생시킨다. 발생된 키신호는 후술될 제어부(190)로 제공된다.

저장부(115)는, 도 2와 같이 사용자의 위치를 나타내는 좌표값과 지명(地名) 간의 대응 관계가 정의된 지리정보 테이블, 도 3과 같이 사용자가 선호하는 캐릭터의 종류 등의 정보를 포함하는 사용자 프로파일, 후술될 특이성 확률 추론부(140)에 의해 사용자의 행동, 감정상태, 주변상황 등과 관련된 특이성을 추론하기 위한 모듈화된 베이지안 네트워크들을 저장한다.

또한, 저장부(115)는 도 4와 같이, 일기로 표현할 특이성에 대응하는 이미지를 생성하는데 필요한 패널(pannel)들을 저장한다. 여기서, 패널의 종류로는 주 캐릭터, 보조 캐릭터, 주 배경, 보조 배경, 캐릭터 효과, 코멘트 등을 예로 들 수 있다. 전술한 패널들 중 적어도 하나 이상의 패널들을 합성하여 소정 특이성에 대응하는 이미지를 생성할 수 있다.

또한 저장부(115)는 특이성과 관련된 패널 정보가 매핑되어 있는 제1 패널정보 매핑 테이블과, 장소 및 시간에 따른 패널 정보가 매핑되어 있는 제2 패널정보 매핑 테이블을 저장한다. 여기서, 도 5a 및 도 5b를 참조하여 패널정보 매핑 테이 블에 대해서 설명하기로 한다. 도 5a 및 도 5b는 제1 패널정보 매핑 테이블 및 제2 패널정보 매핑 테이블을 각각 예시한 것이다.

도 5a에서, 제1 패널정보 매핑 테이블은 특이성과 패널별 만화 이미지의 대응 관계를 보여주고 있다. 일 예로, '기쁨'이라는 특이성의 경우, 주 배경으로는 식별부호가 0인 단색 이미지가 매핑되어 있으며, 보조 배경에 대한 이미지 정보는 없고, 주 캐릭터로는 식별부호가 10인 캐릭터 이미지가 매핑되어 있으며, 보조 캐릭터에 대한 매핑 정보는 없으며, 커멘트(coment)로는 23이라는 식별부호를 갖는 커멘트가 매핑되어 있음을 알 수 있다.

도 5b에서, 제2 패널정보 테이블은 장소 및 시간 정보와 주 배경 이미지 정보 간의 대응 관계를 보여주고 있다. 일 예로, 장소가 '길거리'이고, 시간이 '낮'인 경우에는 식별부호가 47인 주 배경 이미지가 매핑되어 있음을 알 수 있다. 다른 예로, 장소가 '길거리'이고, 시간이 '밤'인 경우에는 식별부호가 48인 주 배경 이미지가 매핑되어 있음을 알 수 있다. 이러한 패널정보 매핑 테이블들은, 후술될 코딩부(160)가 일기로 표현될 특이성에 대한 이미지를 마크업 문서로 기술하기 위해 참조된다.

이외에도 저장부(115)는 후술될 정보 수집부(120)에 의해 수집된 위치 정보 및 각종 로그 정보, 특이성에 대응하는 이미지 등을 저장한다. 이러한 저장부(115)는 롬(Read Only Memory: ROM), 피롬(Programable ROM: PROM), 이피롬(Erasable Programmable ROM: EPROM), 이이피롬(Electrically Erasable Programmable ROM: EEPROM), 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 램(Random Access Memory: RAM)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(Hard Disk Drive; HDD)와 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.

정보 수집부(120)는 사용자의 생활 패턴을 나타내는 데이터를 수집한다. 다시 말해, 정보 수집부(120)는, 생활 패턴 정보 정리 장치(100)의 사용 정보 예를 들면, 통화(call) 내역, 단문 메시지(Short Message Service; SMS) 송수신, 영상 촬영 및 멀티미디어 컨텐츠 재생과 관련된 로그 정보를 수집한다. 좀 더 구체적으로, 사용자가 단문 메시지를 송신하는 경우, 사용 정보 수집부(120)는 예를 들어, 단문 메시지의 내용, 단문 메시지 수신자, 단문 메시지가 송신된 시간 등의 데이터를 수집한다. 통화 내역의 경우, 사용 정보 수집부(120)는 예를 들어, 통화 상대, 통화 시간, 통화량 등에 대한 데이터를 수집한다. 또한, 멀티미디어 컨텐츠 중 음악 파일(DMB, 영상 파일 등)이 재생된 경우, 사용 정보 수집부(120)는 예를 들어, 재생된 음악 파일(DMB, 영상 파일 등)의 장르, 제목, 가수명(배우명), 재생 횟수, 재생 시간 등에 대한 정보를 수집한다.

또한, 정보 수집부(120)는 사용자의 위치 정보를 수집할 수도 있다. 이를 위하여 정보 수집부(120)는 예를 들어, 위성항법장치(Global Positioning System; GPS)를 포함할 수 있다. 위성항법장치는, 사용자의 위치를 나타내는 좌표값을 수신한다. 이외에도 정보 수집부(120)는 웹을 통해 날씨, 기온, 풍속 및 뉴스 등의 정보를 수집할 수도 있다.

분석부(130)는 정보 수집부(120)에 의해 수집된 정보를 통계적으로 분석하는 역할을 한다. 이를 위하여 분석부(130)는 위치 정보 분석부(131) 및 로그 정보 분석부(132)를 포함하여 구성된다.

위치 정보 분석부(131)는, 정보 수집부(120)에서 제공된 위치 정보를 분석하는 역할을 한다. 좀 더 구체적으로, 정보 수집부(120)로부터 사용자의 위치에 대응하는 좌표값이 제공되면, 위치 정보 분석부(131)는 도 2의 지리정보 테이블을 참조하여, 수신된 좌표값에 대응하는 지명(地名)을 검색한다. 이외에도, 위치 정보 분석부(131)는, 사용자가 해당 장소에 머문 시간, 이동 속도 등을 분석한다.

로그 정보 분석부(132)는, 정보 수집부(120)에서 제공된 로그 정보를 통계적으로 분석하여 로그 컨텍스트를 생성한다. 이를 위해 로그 정보 분석부(132)는 다양한 전처리 함수를 사용할 수 있다. 예를 들면, 데일리 프리퀀시(Daily frequency) 함수, 타임 인터벌(Time-inerval) 함수, 인스턴트 임팩트(Instant impact) 함수, 데일리 임팩트(Daily impact) 함수, 이벤트 타임 스팬(Event time-span) 함수, 데일리 타임 포션(Daily time-portion), 데일리 프라이어리티(Daily priority) 함수 등을 사용할 수 있다. 여기서, 각 함수가 의미하는 바를 나타내면 (표1)과 같다.

함수	기능
Daily frequency	하루 중 이벤트가 발생한 횟수
Time-interval	해당 이벤트가 마지막으로 발생한 시기로부터 지난 시간
Instant impact	이벤트 발생에 따른 임팩트 (High/Low)
Daily impact	하루 단위의 임팩트를 체크 (High/Low)
Event time-span	이벤트의 시작부터 끝까지 걸린 시간
Daily time-portion	하루 동안 이벤트가 차지하는 시간
Daily priority	하루 동안 시간적으로 우위를 차지한 이벤트를 체크

예를 들어, 음악 파일 재생과 관련된 로그 정보를 분석할 때, 로그 정보 분석부(132)는 (표1)에 도시된 전처리 함수들을 기반으로, 하루 동안 음악 파일이 몇번이나 재생되었는지, 마지막으로 음악 파일이 재생된 이후로 지난 시간이 얼마인지, 음악 파일이 재생되기 시작한 시점부터 재생이 중지되기까지 걸린 시간 즉, 음악 파일을 몇시간 동안 재생되었는지, 하루동안 음악 파일이 재생된 시간이 총 몇시간인지, 음악 파일 재생이 소정 시간 동안 집중적으로 이루어졌는지 등을 분석한다. 이 때, 음악 파일 재생이 소정 시간 동안 집중적으로 이루어진 것인지에 대한 여부는 임팩트 분석을 통해서 알 수 있다. 여기서, 임팩트 분석에 대한 보다 구체적인 설명을 위해 도 6을 참조하기로 한다.

도 6은 음악 파일의 로그 정보에 대한 임팩트 분석 결과를 예시한 그래프이다. 도 6에 도시된 그래프를 참조하면, 처음으로 음악 파일이 재생되는 경우, 소정 값의 임팩트가 발생하는 것을 알 수 있다. 음악 파일 재생으로 인해 발생된 임팩트는 시간이 경과됨에 따라 자연적으로 소멸된다. 만약, 최초 음악 파일 재생으로 인해 발생된 임팩트가 모두 소멸되기 이전에 다시 음악 파일이 재생되는 경우에는 해당 시점에서의 임팩트 값을 기준으로 추가 임팩트가 증가하게 된다. 예를 들어, 음악 파일 재생시 기본값으로 부여되는 임팩트 값이 5이고, 임팩트값은 10초당 1씩 감소한다고 하자. 이 경우, 음악 파일이 최초 재생시에는, 임팩트 값으로 5가 부여된다. 이로부터 20초 후에는 임팩트 값이 3이 된다. 임팩트 값이 3으로 감소한 시점에서, 만약 음악 파일이 다시 한번 재생된다면, 현재 임팩트 값인 3을 기준으로 5만큼의 추가 임팩트가 발생되어 최종적인 임팩트 값은 8이 된다. 이와 같이, 각 로그 정보에 대한 임팩트 분석이 이루어지면, 각 로그 정보에 대한 임팩트 분석 결과로부터 해당 이벤트가 단시간에 집중적으로 이루어졌는지의 여부를 알 수 있다.

(표1)에 도시한 전처리 함수들을 기반으로 로그 정보에 대한 통계적인 분석이 이루어지면, 도 7에 도시된 바와 같은 로그 컨텍스트를 얻을 수 있다.

특이성 확률 추론부(140)는 위치 정보 분석부(131)에서 제공된 분석 결과 및 로그 정보 분석부(132)에서 제공된 로그 컨텍스트에 따라 특이성을 확률적으로 추론한다. 즉, 특이성 확률 추론부(140)는 사용자의 행동, 감정상태, 주변상황 및 이벤트 등과 관련된 특이성을 추론한다.

사용자의 행동, 감정상태, 주변상황 및 이벤트 등과 관련된 특이성을 추론하기 위해서는 베이지안 네트워크를 사용할 수 있다. 여기서, 베이지안 네트워크란, 데이터에 내재하는 변수들간의 관계를 노드(node)와 호(arc)를 가지고 시각적으로 나타내어 주는 모델링 방법을 말한다. 즉, 베이지안 네트워크에서 각 노드들은 랜덤 변수를 의미하며, 호(arc)는 각 노드들 간의 연관성을 나타낸다.

베이지안 네트워크는 특이성 추론을 위한 연산이 효율적으로 이루어질 수 있도록 모듈화되어 설계되는 것이 바람직하다. 좀 더 구체적으로, 사용자의 행동 유형은 예를 들어, 휴식, 수면, 식사, 공부, 운동, 등교, 하교, 수업, 유흥, 회식, 여행, 등산, 산책, 쇼핑 및 외식 등으로 분류될 수 있으며, 사용자의 감정상태는 예를 들어, 기쁨, 화남 등의 긍정적인 감정 상태, 화남, 짜증 등의 부정적인 감정 상태 및 기타 감정 상태로 분류될 수 있다. 또한, 주변상황은 예를 들어, 시간적 상황, 공간적 상황, 날씨, 기기의 상태 및 주변사람의 상황 등으로 분류될 수 있으며, 이벤트는 행사, 기념일 및 기타 사건 등으로 분류될 수 있다. 이와 같은 경우, 분류된 각 항목에 대한 베이지안 네트워크를 모듈화하여 설계하는 것이 바람직하다. 또한, 각 항목에 대한 베이지안 네트워크는 계층적인 구조를 갖는 계층적 베이지안 네트워크(Hierarchical Bayesian Network)인 것이 바람직하다.

특이성 확률 추론부(140)는 설계된 계층적 베이지안 네트워크를 통해 특이성을 추론한다. 이를 위해, 특이성 확률 추론부(140)는 현재 시점을 기준으로 하여 발견된 증거 예를 들면, 사진, 음악 파일 재생, 통화, SMS 사용 기록, 날씨, 현재 장소, 이동 여부, 이동 속도, 이전 행동 등의 데이터를 각 항목의 베이지안 네트워크에 증거로 입력하여, 특이성을 추론한다. 좀 더 구체적인 설명을 위해 도 8a 내지 도 8d를 참조하기로 한다.

도 8a는 특이성 추론을 위한 계층적 베이지안 네트워크의 일부를 예시한 것으로서, 사용자의 행동을 추론하기 위한 항목 중 '외식'이란 항목에 대한 계층적 베이지안 네트워크를 예시한 것이다. 도 8a는, 사용자의 이전 행동과 관련된 노드들, 시간과 관련된 노드들, 장소와 관련된 노드들 및 사용자의 행동과 관련된 노드들이 서로 계층적인 구조를 이루고 있는 모습을 보여주고 있다. 도시된 바와 같이, 계층적인 구조를 이루고 있는 노드들은 크게 입력 노드와 출력 노드로 구분될 수 있다. 여기서, 입력 노드는 특정 출력 노드에 영향을 미치는 노드를 의미하며, 출력 노드는 적어도 하나 이상의 입력 노드로부터 영향을 받는 노드를 의미한다. 도 8a의 경우, 사용자의 이전 행동과 관련된 노드들, 장소와 관련된 노드들 및 시간에 대한 노드들 중 '아침식사 시간' 노드, '점심식사 시간' 노드 및 '저녁식사 시간' 노드 등은 입력 노드에 포함된다. 이에 비해, '식사시간' 노드, '차마시기' 노드, '간편식사' 노드, '식사(양식)' 노드, '식사(한식)' 노드, '식사' 노드 및 '외식' 노드는 출력 노드에 포함된다.

여기서, 현재 시점을 기준으로 한 로그 컨텍스트가 (표2)와 같다고 하자.

현재 장소	레스토랑	YES
	평소 가던 곳	NO
	고급 식당	NO
현재 시간	저녁 식사 시간	YES
이전 행동	없음

특이성 확률 추론부(140)는 (표2)와 같은 로그 컨텍스트를 도 8a에 도시된 '외식' 항목의 계층적 베이지안 네트워크에 증거로 입력하여, 입력 노드들에 대한 확률값을 계산한다. 즉, 특이성 확률 추론부(140)는 도 8b에 도시된 바와 같이, 이전 행동, 시간 및 장소에 포함되는 노드들의 확률값을 각각 산출한다. 좀 더 구체적으로, (표2)를 참조하면, 사용자의 이전 행동이 없으므로, 도 8b에서 사용자가 이전에 식사를 하지 않았을 확률 및 사용자가 이전에 산책을 하지 않았을 확률은 각각 100% 가 됨을 알 수 잇다. 마찬가지로 (표2)를 참조하면, 현재 시간이 저녁식사 시간이므로, 도 8b에서 현재 시간이 점심식사 시간이 아닐 확률 및 아침식사 시간이 아닐 확률은 각각 100% 가 됨을 알 수 있다.

도 8b에 도시된 바와 같이, 입력 노드들에 대한 확률값이 산출되면, 특이성 확률 추론부(140)는 각 입력 노드들 간의 연결 관계에 따라, 출력 노드에 대한 확률값을 계산한다. 즉, 특이성 확률 추론부(140)는 도 8c에 도시된 바와 같이, 사용자의 행동과 관련된 노드들의 확률값을 산출한다. 좀 더 구체적으로, 도 8b를 참조하면, 사용자가 간편한 식사를 했을 확률은, 사용자가 현재 패스트푸드점이 있을 확률 및 현재 시간이 점심식사 시간일 확률, 현재 시간이 저녁식사 시간일 확률에 의해 영향을 받음을 알 수 있다. 그런데 도 8b에서, 사용자가 현재 패스트푸드점에 있을 확률 및 현재 시간이 점심식사 시간일 확률은 각각 0%이고, 현재 시간이 저녁식사 시간일 확률은 100%이므로, 사용자가 간편한 식사를 했을 확률은 도 8c와 같이 40%가 됨을 알 수 있다. 또한, 사용자가 차를 마셨을 확률은, 사용자의 이전 행동 및 사용자가 커피점에 있을 확률에 의해 영향을 받음을 알 수 있다. 그런데 도 8b에서, 사용자가 이전에 식사 및 산책을 했을 확률은 각각 0% 이고, 사용자의 현재 위치가 커피점이 아닐 확률이 100% 이므로, 사용자가 차를 마셨을 확률은 도 8c와 같이, 2%가 됨을 알 수 있다.

마찬가지로, 특이성 확률 추론부(140)는, 사용자의 현재 위치가 평소 가던 곳일 확률, 고급 식당일 확률 및 사용자가 식사 중일 확률에 기반하여, 사용자가 현재 외식 중일 확률을 구한다.

만약, 현재 시점을 기준으로 한 로그 컨텍스트가 (표3)과 같은 경우, 이 로그 컨텍스트를 외식 항목에 대한 계층적 베이지안 네트워크에 증거로 입력하였을 때 얻을 수 있는 결과는 도 8d와 같다.

현재 장소	커피점	YES
현재 시간	식사 시간	NO
이전 행동	없음

좀 더 구체적으로, 외식 항목에 대한 계층적 베이지안 네트워크에서, 사용자가 차를 마실 확률은, 사용자가 이전 행동으로 식사를 했을 확률, 사용자가 이전 행동으로 산책을 했을 확률, 사용자의 현재 장소가 커피점일 확률 및 현재 시간이 식사시간일 확률에 의해 영향을 받음을 알 수 있다. 그런데 (표3)을 참조하면, 사용자의 현재 위치는 커피점이고, 식사 시간이 아니라는 증거가 입력된다. 그러므로 입력되는 증거로부터 사용자가 차를 마실 확률은 95%에 해당함을 알 수 있다.

마찬가지로, 사용자가 간편 식사를 할 확률은, 사용자가 현재 패스트푸드점에 있을 확률, 현재 시간이 점심식사 시간일 확률, 현재 시간이 저녁식사 시간일 확률에 의해 영향을 받음을 알 수 있다. 그런데 (표3)을 참조하면, 사용자의 현재 위치는 커피점이고, 현재 시간은 식사 시간이 아니므로, 사용자가 현재 패스트푸드점에 있는 확률, 현재 시간이 점심식사 시간일 확률 및 현재 시간이 저녁식사 시간일 확률은 각각 0% 임을 알 수 있다. 따라서, 사용자가 간편 식사를 할 확률은, 10%로 매우 낮음을 알 수 있다.

마찬가지로, 특이성 확률 추론부(140)는 식사 메뉴가 양식일 확률 및 식사 메뉴가 한식일 확률을 각각 구한 후, 각 결과로부터 사용자가 식사 중일 확률을 구한다. 그 다음, 특이성 확률 추론부(140)는 사용자가 식사 중일 확률, 현재 장소가 평소 가던 곳일 확률 및 고급 식당일 확률 등을 기반으로 하여, 사용자가 외식 중일 확률을 구한다. (표3)과 같은 증거를 기반으로 하여, 외식 항목에 대한 특이성 확률을 추론한 결과, 사용자가 현재 외식 중일 확률은 26% 임을 알 수 있다.

특이성 확률 추론부(140)는 전술한 방법과 같이, 현재 시점을 기준으로 발견된 로그 컨텍스트를 각 항목의 계층적 베이지안 네트워크에 증거로 입력하여, 특이성을 추론한다.

그 다음, 특이성 확률 추론부(140)는 추론된 특이성 및 로그 컨텍스트를 각 베이지안 네트워크에 증거로 재입력하여, 2차적으로 특이성을 추론한다. 이 때, 증거로 입력되는 특이성을 좀 더 정확하게 반영하기 위해 가상 노드 기법을 사용할 수 있다. 여기서, 가상 노드 기법은 확률적인 증거를 반영하기 위해 가상 노드를 추가하고, 추가된 노드의 확률값(CPV: Conditional Probability Value)을 통해 증거의 확률을 적용하는 방법이다. 가상 노드 기법에 대한 구체적인 설명은 [E. Horvitz, S. Dumais, P. Koch. "Learning predictive models of memory landmarks," CogSci 2004: 26th Annual Meeting of the Cognitive Science Society, 2004.] 에 기술되어 있으므로 상세한 설명을 생략하기로 한다.

이 후, 특이성 확률 추론부(140)는 2차적으로 추론된 특이성들 간의 인과 관계 및 연결 강도를 계산한다. 이 때, 특이성들 간의 연결 강도를 구분짓기 위해서 NoisyOR 가중치가 사용될 수 있다. 여기서, NoisyOR 가중치는, 설계 및 학습 비용을 줄이기 위한 베이지안 확률 테이블 계산 방법의 하나인 NoisyOR BN 모델에서 사용되는 원인 별 조건부 확률의 연결 강도를 의미한다. NoisyOR 가중치는 일반 조건확률표(CPT)를, NoisyOR 조건확률표로 변환함으로써 얻을 수 있다. 보다 구체적인 설명을 위해 도 9a 내지 도 9d를 참조하기로 한다.

먼저, 도 9a는 2차적으로 추론된 특이성들 간의 인과 관계를 예시한 예시도이다. 도 9a에서, '바쁜시간' 및 '스팸문자'는 '짜증 SMS'의 원인이 됨을 알 수 있다. 이러한 인과 관계를 일반적인 조건확률표로 나타내면 도 9b와 같다. 도 9b의 조건확률표를 살펴보면, 스팸문자이고, 바쁜시간에 온 경우, 짜증 SMS일 확률은 0.8임을 알 수 있다. 이에 비해, 스팸문자이고, 바쁜시간이 아닌 경우, 짜증 SMS일 확률은 이보다 조금 더 낮은 0.65임을 알 수 있다.

이러한 일반적인 조건확률표는 도 9c에 도시된 바와 같은 NoisyOR 조건확률표로 변환될 수 있다. 도 9c에 도시된 NoisyOR 조건확률표는, 스팸문자일 경우 짜증 SMS일 확률은 0.630566이고, 바쁜시간일 경우 짜증 SMS일 확률은 0.531934 임을 보여주고 있다. 여기서, Leak는 모든 원인이 발생하지 않은 경우의 확률을 나타낸다.

도 9c에 도시된 바와 같은 NoisyOR 조건확률표로부터 도 9d에 도시된 바와 같이, 각 특이성들 간의 연결강도를 알 수 있다.

이러한 방법으로 각 특이성들 간의 연결강도가 계산되면, 특이성 확률 추론부(140)는 연결강도를 기준으로 의미 있는 연결 경로를 추출한다. 즉, 각 노드들 간의 연결관계에 대한 연결강도가 소정 임계값 이하인 경우, 특이성 확률 추론부(140)는 해당 노드들 간의 연결 경로는 의미가 적은 것으로 판단하고, 해당 연결 경로에 대한 노드를 베이지안 네트워크에서 제거한다. 예를 들어, 각 노드들 간의 연결강도를 계산한 결과가 도 9d와 같고, 연결강도에 대한 임계값이 0.6인 경우, 바쁜시간에 대한 노드와 짜증 SMS에 대한 노드 간의 연결강도는 0.53이므로, 특이성 확률 추론부(140)는 해당 연결 경로가 의미가 적은 것으로 판단한다. 그 결과, 베이지안 네트워크에서 바쁜시간에 대한 노드를 제거한다. 이에 비해, 스팸문자에 대한 노드와 짜증 SMS에 대한 노드 간의 연결 강도는 0.63이므로, 특이성 확률 추론부(140)는 스팸 문자에 대한 노드를 남겨둔다.

특이성 선택부(150)는, 특이성 확률 추론부(140)에 의해 추론된 특이성들 중에서 일기로 표현될 특이성 및 강조 효과를 적용할 특이성을 선택한다. 특이성 선택 과정에 대한 보다 구체적인 설명을 위해 도 10을 참조하기로 한다.

도 10은 일기로 표현할 특이성 및 강조 효과를 적용할 특이성을 선택하는 과정을 도시한 도면이다.

우선, 특이성 선택부(150)는 특이성 확률 추론부(140)에 의해 추론된 특이성이 많을 경우, 추론된 특이성들 중 일기로 표현될 특이성을 선택한다. 이를 위하여 특이성 선택부(150)는, 추론된 특이성들 간의 연결관계를 기준으로 특이성들을 그룹핑한다. 예를 들면, 도 10과 같이, 12개의 특이성들을 연결관계를 기준으로 5개의 그룹으로 그룹핑한다. 그 다음, 특이성 선택부(150)는 각 그룹에 포함된 특이성마다 가중치를 적용한다. 여기서, 각 특이성마다 적용되는 가중치는 해당 특이성의 우선 순위 확률값에 따라 결정될 수 있다. 이 후, 특이성 선택부(150)는 각 그룹에 대한 가중치의 합을 계산하여 가중치의 합이 가장 높은 그룹을 선택한다. 즉, 일기로 표현될 특이성들을 선택한다. 예를 들어, 도 10에서 각 특이성마다 가중치가 1씩 적용되는 경우, 제1 그룹(610)은 가중치의 합이 4가 된다. 제2 그룹(620) 역시 가중치의 합이 4가 된다. 이에 비해, 제3 그룹(630)은 가중치의 합이 2가 되며, 제4 그룹(640) 및 제5 그룹(650)은 가중치의 합이 각각 1이 된다. 이 경우, 제1 그룹(610) 및 제2 그룹(620)은 각각 가중치의 합이 동일하므로, 특이성 선택부(150)는 일기로 표현할 특이성으로서, 제1 그룹(610)의 특이성들 및 제2 그룹(620)의 특이성들을 선택한다.

일기로 표현될 특이성들이 선택되면, 특이성 선택부(150)는 선택된 특이성들 중에서 강조 효과를 적용할 특이성을 선택한다. 예를 들면, 특이성 선택부(150)는, 선택된 그룹(610, 620)에 포함되는 특이성들 중 클라이막스에 해당되는 특이성 즉, 연결관계 상 마지막에 위치한 1개~2개의 특이성을 강조할 특이성으로 선택할 수 있다. 도 10은 강조 효과를 적용할 특이성으로서, 각 그룹에서 연결관계 상 마지막에 위치한 특이성이 선택된 경우를 보여주고 있다. 다른 실시예에 따르면, 강조 효과를 적용할 특이성으로서, 임계값 이상의 확률값을 갖는 특이성을 선택할 수도 있다. 예를 들면, 사용자의 행동과 관련된 특이성 중 '서두르기'라는 특이성에서, 사용자의 속도가 시속 6km~7km 인 경우가 일반적인 상황이라고 할 때, 만약 사용자의 속도가 시속 8km 이상이라면, '서두르기'라는 특이성에 대해 강조 효과를 적용할 수 있다.

본 발명에 의하면, 전술한 과정에 의해 선택된 특이성들로부터 다양한 스토리 라인(story line)을 얻을 수 있다. 예를 들면, 도 10의 제1 그룹(610)으로부터는 특이성1, 특이성3 및 특이성6이 순차적으로 나열된 서브 스토리 라인과, 특이성1, 특이성4 및 특이성6이 차례대로 나열된 서브 스토리 라인을 얻을 수 있다. 마찬가지로, 제2 그룹(620)의 경우, 특이성9, 특이성10, 특이성11 및 특이성12가 차례대로 나열된 서브 스토리 라인과, 특이성9 및 특이성12가 차례로 나열된 서브 스토리 라인을 얻을 수 있다. 또한, 제1 그룹(610) 및 제2 그룹(620)으로부터 얻어진 서브 스토리 라인의 조합에 따라 다양한 메인 스토리 라인을 얻을 수 있다.

코딩부(160)는, 기저장된 사용자 프로파일 및 패널정보 매핑 테이블을 참조하여 일기로 표현될 특이성에 대응하는 이미지를 마크업 언어 예를 들면, XML(eXtensible Markup Language)로 기술한다. 도 11은 코딩부(160)에 의해 기술된 XML을 예시한 것이다. 도 11은, 메인 스토리 라인을 구성하는 서브 스토리 라인들 중 특정 서브 스토리 라인에 포함되는 이미지들에 대한 XML을 보여주고 있다. 도 11을 참조하면, 식별부호가 3인 서브 스토리 라인에 포함되는 이미지의 종류 및 배열 순서, 각 이미지를 구성하는 패널 정보 등을 알 수 있다. 또한, 이미지 생성에는 기저장되어 있는 패널 이외에도 사용자에 의해 촬영된 사진이나, SMS 등이 참조됨을 알 수 있다.

이미지 생성부(170)는, XML에 기술된 내용에 근거하여 저장부(115)에서 패널들을 선택하고, 선택된 패널들을 합성하여 특이성에 대응하는 이미지를 생성한다. 예를 들어, XML에 기술된 내용이 도 11과 같은 경우, 이미지 생성부(170)는, 식별부호가 48인 주 캐릭터 패널, 식별부호가 27인 보조 캐릭터 패널, 식별부호가 33인 주 배경 패널, 식별부호가 37인 보조 배경 패널 및 식별부호가 48인 커멘트를 합성한다. 패널 합성시, 이미지 생성부(170)는, 배경에 명시된 캐릭터의 위치, 캐릭터간 시선관계, 배치관계 등에 대한 정보에 따라 합성하는 것이 바람직하다.

한편, 강조 효과가 적용되는 특이성에 대해서는, 강조 효과와 관련된 패널을 선택하여 합성하는 것이 바람직하다. 좀 더 구체적인 설명을 위해 도 12를 참조하기로 한다. 도 12는 사용자의 감정을 표현하는 캐릭터의 종류를 나타낸 것이다. 도 12를 참조하면, 사용자의 감정을 나타내는 캐릭터는 크게 일반적인 캐릭터, 세밀한 캐릭터, 과장된 캐릭터의 세 종류로 분류되어 있음을 알 수 있다. 예를 들어, 강조 효과를 적용할 특이성이 '기쁨'이고, '기쁨'이라는 특이성이 임계치 이상의 확률값을 갖는 경우, 이미지 생성부(170)는 주 캐릭터를 선택할 때, 일반적으로 표현된 주 캐릭터 보다는 과장된 주 캐릭터를 선택하여 합성한다.

전술한 방법에 따라 각 패널을 합성하면 도 13과 같은 이미지를 얻을 수 있다.

이미지 그룹 생성부(175)는, 이미지 생성부(170)에 의해 생성된 개개의 이미지들을 소정 기준에 따라 배치하여 이미지 그룹 즉, 일기를 생성한다. 이 때, 이미지 배치 기준은 시간, 공간 및 연관성 중 어느 하나일 수 있다.

디스플레이부(180)는 사용자의 명령 처리 결과를 가시적으로 표시하는 역할을 한다. 예를 들면, 이미지 생성부(170)에 의해 생성된 이미지를 디스플레이한다. 이러한 디스플레이부(180)는 예를 들어, LCD(Liquid Crystal Display)와 같은 평판 디스플레이 소자로 구현될 수 있다.

제어부(190)는 입력부(110)로부터 제공된 키신호에 따라 장치 내의 구성 요소들을 서로 연결하고 제어한다.

다음으로, 도 14는 본 발명의 일 실시예에 따른 생활 패턴 정보 정리 방법을 도시한 흐름도이다.

생활 패턴 정보 정리 장치(100)는, 사용자의 생활 패턴을 나타내는 로그 정보에 근거하여 특이성을 추론한다. 이 단계에 대한 보다 구체적인 설명을 위해 도 15를 참조하기로 한다.

도 15는 특이성을 추론하는 단계 S710을 보다 상세히 도시한 흐름도이다.

먼저, 정보 수집부(120)는 사용자의 생활 패턴을 나타내는 로그 정보를 수집한다. 예를 들면, 위치 정보, 통화 내역, SMS 수신 및 발신 내역, 음악 파일 재생 관련 기록, 웹을 통해 날씨 및 뉴스와 관련된 정보를 수집한다(S711).

로그 정보가 수집되면, 분석부(130)는 수집된 로그 정보를 각종 전처리 함수를 기반으로 하여 통계적으로 분석한다(S712). 예를 들면, 음악 파일 재생과 관련된 로그 정보를 분석하는 경우, 분석부(130)는, 하루 중 음악 파일이 몇 번이나 재생되었는지, 음악 파일이 몇 시간 동안 재생되었는지, 하루 중 음악 파일이 재생된 시간이 몇 시간인지 등을 분석한다.

로그 정보를 분석한 결과 로그 컨텍스트가 생성되면, 특이성 확률 추론부(140)는 로그 컨텍스트를 각 베이지안 네트워크에 증거로 입력하여, 1차적으로 특이성을 추론한다(S713). 예를 들어, (표1)에 도시된 바와 같은 로그 컨텍스트가 도 8a 에 도시된 '외식' 베이지안 네트워크에 입력되었다면, 1차적으로 도 8c와 같은 특이성이 추론될 수 있다. 즉, 식사시간, 식사(양식), 식사(한식), 식사 및 외식이라는 특이성들이 추론될 수 있다.

이와 같이, 1차적으로 특이성이 추론되면, 특이성 확률 추론부(140)는, 1차적으로 추론된 특이성 및 로그 컨텍스트를 각 베이지안 네트워크에 증거로 재입력하여 2차적으로 특이성을 추론한다(S714).

이 후, 특이성 확률 추론부(140)는 각 베이지엔 네트워크에서 추론된 특이성들 간의 연결관계 및 연결강도를 계산한다(S715). 특이성들 간의 연결강도를 계산하기 위하여 특이성 확률 추론부(140)는, 각 특이성들 간의 관계에 근거한 조건확률표를 NoisyOR 조건확률표로 변환한다.

NoisyOR 조건확률표에 근거하여 각 특이성들 간의 연결강도가 계산되면, 특이성 확률 추론부(140)는 계산된 연결강도를 기준으로 의미 있는 연결관계를 갖는 특이성을 추출한다(S716). 즉, 소정 임계값 이상의 연결강도를 갖는 특이성들을 추출한다.

한편, 특이성 선택부(150)는 추출된 특이성들 중에서 일기로 표현될 특이성을 선택한다(S720). 이를 위해 특이성 선택부(150)는 우선, 특이성들 간의 연결관계에 따라 그룹핑한다. 그 다음, 특이성 선택부(150)는 각 그룹에 포함되는 특이성에 가중치를 적용하여 가중치의 합이 가장 높은 그룹에 포함되는 특이성들을 선택한다. 이 후, 특이성 선택부(150)는 일기 생성시, 강조 효과가 적용될 특이성을 선택한다. 예를 들면, 선택된 그룹 내에서 연결관계 상 마지막에 위치한 특이성을 강조 효과가 적용될 특이성으로 선택한다.

일기로 표현된 특이성 및 강조 효과가 적용될 특이성에 대한 선택이 이루어지면, 코딩부(160)는 사용자 프로파일 정보 및 패널정보 매핑 테이블을 참조하여, 선택된 특이성에 대응하는 이미지를 마크업 언어로 기술한다(S730). 예를 들면, 도 11과 같이 XML로 기술한다.

이 후, 이미지 생성부(170)는 XML에 기술된 내용에 근거하여 이미지 생성에 필요한 패널들을 저장부(115)에서 선택한 다음, 선택된 패널들을 합성하여 특이성에 대응하는 이미지를 생성한다(S740). 이 때, 이미지 생성부(170)는 강조 효과가 적용된 특이성에 대해서는 그에 대응하는 패널을 선택하여 합성한다. 합성 결과, 이미지 생성부(170)는 도 13과 같은 이미지를 생성한다. 이미지 생성부(170)에 의해 생성된 이미지들은 디스플레이부(180)를 통해 디스플레이되거나, 저장부(115)에 저장될 수 있다.

이미지 생성부(170)에 의해 이미지들이 생성되면, 이미지 그룹 생성부(175)는 생성된 이미지들을 소정 기준에 따라 배치하여 이미지 그룹 즉, 일기를 생성한다(S750). 이미지 그룹 생성부(175)에 의해 생성된 이미지 그룹은, 추후 입력부(110)로 입력된 사용자의 명령에 따라 디스플레이부(180)를 통해 디스플레이된다.

이상과 같이 예시된 도면을 참조로 하여, 본 발명에 따른 생활 패턴 정보 정리 장치 및 방법에 대해여 설명하였으나, 본 발명은 본 명세서에 개시된 실시예와 도면에 의해 한정되지 않으며, 그 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

상기한 바와 같이 본 발명에 의한 생활 패턴 정보 정리 장치 및 방법에 따르면 적은 수의 특이성 사건들을 중심으로 사용자의 생활 패턴을 요약할 수 있으며, 요약된 정보를 적은 수의 이미지들을 사용하여 조직적으로 조합하여 시각적으로 표현함으로써, 사용자의 기억을 도울 수 있으며 감성과 생활패턴에서 추론할 수 있는 필요성을 만족시킬 수 있다는 효과가 있다.

Claims

사용자의 생활 패턴을 나타내는 로그 정보를 근거로하여 적어도 하나 이상의 특이성을 확률적으로 추론하는 특이성 확률 추론부;

상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑된 복수의 그룹 중에서, 선택된 그룹에 속한 특이성에 대응하는 이미지를 생성하는 이미지 생성부; 및

상기 생성된 이미지가 소정 배치 기준에 따라 배치된 이미지 그룹을 생성하는 이미지 그룹 생성부를 포함하는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑하는 특이성 선택부를 더 포함하는 생활 패턴 정보 정리 장치.
제 2 항에 있어서,

상기 특이성 선택부는, 상기 복수의 그룹들 중 각 그룹에 포함되는 특이성에 부여되는 가중치를 기반으로 하여 소정 그룹을 선택하는 생활 패턴 정보 정리 장치.
제 3 항에 있어서,

상기 특이성 선택부는, 상기 선택된 그룹에 포함되는 특이성들 중에서 강조 효과를 적용할 특이성을 선택하는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 이미지는, 주 캐릭터(main character), 보조 캐릭터(sub character), 주 배경(main background), 보조 배경(sub background), 코멘트(coment), 캐릭터 효과(character effect)에 대한 패널 중 적어도 하나 이상의 패널을 포함하는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 이미지는, 마크업 언어(markup language)로 이루어지는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 이미지 그룹 생성부는, 상기 생성된 이미지를 스토리 라인을 근거로 연결하여 상기 이미지 그룹을 생성하는 생활 패턴 정보 정리 장치.
제 7 항에 있어서,

상기 스토리 라인은, 상기 선택된 그룹에 속한 특이성들 간의 연결관계에 의해 설정되는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 배치 기준은, 시간, 공간 및 연관성을 포함하는 생활 패턴 정보 정리 장치.
제 1 항에 있어서,

상기 이미지 그룹을 디스플레이하는 디스플레이부를 더 포함하는 생활 패턴 정보 정리 장치.
사용자의 생활 패턴을 나타내는 로그 정보로부터 사용자의 경험을 요약하여 멀티미디어 형태로 표현할 수 있는 장치를 이용하여 생활 패턴 정보를 정리하는 방법에 있어서,

상기 로그 정보를 근거로하여 적어도 하나 이상의 특이성을 확률적으로 추론하는 (a) 단계;

상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑된 복수의 그룹 중에서, 선택된 그룹에 속한 특이성에 대응하는 이미지를 생성하는 (b) 단계; 및

상기 생성된 이미지가 소정 배치 기준에 따라 배치된 이미지 그룹을 생성하는 (c) 단계를 포함하는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 추론된 특이성들 간의 연결관계에 따라 적어도 하나 이상의 특이성을 포함하도록 그룹핑하는 (d) 단계를 더 포함하는 생활 패턴 정보 정리 방법.
제 12 항에 있어서,

상기 (d) 단계는, 상기 복수의 그룹들 중 각 그룹에 포함되는 특이성에 부여되는 가중치를 기반으로 하여 소정 그룹을 선택하는 (d-1) 단계를 포함하는 생활 패턴 정보 정리 방법.
제 13 항에 있어서,

상기 (d-1) 단계는, 상기 선택된 그룹에 포함되는 특이성들 중에서 강조 효과를 적용할 특이성을 선택하는 단계를 포함하는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 이미지는, 주 캐릭터(main character), 보조 캐릭터(sub character), 주 배경(main background), 보조 배경(sub background), 코멘트(coment), 캐릭터 효과(character effect)에 대한 패널 중 적어도 하나 이상의 패널을 포함하는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 이미지는, 마크업 언어(markup language)로 이루어지는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 (c) 단계는, 상기 생성된 이미지를 스토리 라인을 근거로 연결하여 상기 이미지 그룹을 생성하는 단계를 포함하는 생활 패턴 정보 정리 방법.
제 17 항에 있어서,

상기 스토리 라인은, 상기 선택된 그룹에 속한 특이성들 간의 연결관계에 의해 설정되는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 배치 기준은, 시간, 공간 및 연관성을 포함하는 생활 패턴 정보 정리 방법.
제 11 항에 있어서,

상기 이미지 그룹을 디스플레이하는 단계를 더 포함하는 생활 패턴 정보 정리 방법.