KR101194186B1 - 지능형 상황 인식을 이용한 라이프로그 시스템 - Google Patents

Abstract

본 발명은 에이전트, 서버 및 라이프로그 DB를 포함하는 지능형 상황 인식을 이용한 라이프로그 시스템에 있어서, 에이전트는, 동일한 사용자로서 식별 가능한 복수개의 디바이스에 설치되어 상황정보를 수집하여 서버로 전송하며, 서버는 상기 상황정보에 자동으로 태깅하여 라이프로그 정보를 생성한 후에 라이프로그 DB로 전송하며, 상기 에이전트가 원하는 라이프로그 서비스를 상기 라이프로그 DB를 참조하여 제공하는 지능형 상황 인식을 이용한 라이프로그 시스템에 관한 것이다.

Description

지능형 상황 인식을 이용한 라이프로그 시스템{A lifelog system by using intelligent context-aware}

본 발명은 에이전트, 서버 및 라이프로그 DB를 포함하되, 에이전트는, 동일한 사용자로서 식별 가능한 복수개의 디바이스에 설치되어 상황정보를 수집하여 서버로 전송하며, 서버는 상기 상황정보에 자동으로 태깅하여 라이프로그 정보를 생성한 후에 라이프로그 DB로 전송하며, 상기 에이전트가 원하는 라이프로그 서비스를 상기 라이프로그 DB를 참조하여 제공하는 지능형 상황 인식을 이용한 라이프로그 시스템에 관한 것이다.

또한 상기 에이전트가 전송한 상황정보는 이미지정보, 환경정보 및 생체정보를 포함하고, 이러한 상황정보는 상기 라이프로그 DB와 동기화되고, 사용자는 상기 에이전트를 이용하여 상기 라이프로그 정보의 태깅 정보를 수정할 수 있고, 상기 에이전트가 원하는 라이프로그 서비스는 시간, 추억 또는 장소를 기준으로 또는 앨범 형태로 라이프로그 정보를 제공하는 지능형 상황 인식을 이용한 라이프로그 시스템에 관한 것이다.

최근 Web 2.0과 UCC등의 활성화와 함께 GPS와 카메라를 부착한 스마트폰 사용자가 늘어나고, SNS가 각광을 받으면서 라이프로그에 대한 관심이 높아지고 있으며 개인의 라이프로그를 기록하는 서비스나 어플이 다양해지고 있다.

여기에서, 라이프로그는 개인의 일상 정보를 수집하여 태깅하여 개인 중심으로 가공하여 제공되는 서비스를 의미한다.

그런데 자동 태깅에 대한 연구는 주로 지리, 텍스트 및 이미지를 활용한 자동 태깅 기술 등에 집중되어 왔으며 이러한 정보를 이용하여 라이프로그 서비스를 제공하고 있다.

그러나 이러한 정보 이외에 온도, 조도, 습도 등과 같은 환경정보와 호흡, 혈압, 맥박 등 생체정보 등을 태깅함으로써, 보다 다양한 라이프로그 서비스를 제공받고자 하는 욕구가 나타나고 있다.

종래의 라이프로그의 운용 방법 및 시스템에 관한 연구에 대한 일 예로서, 대한민국 공개특허공보 10-2010-0063965에 웹 서비스 기반의 라이프로그 운용 방법 및 시스템이 개시되어 있다.

개략적으로 살펴보면, 각종 디지털 기기로부터 멀티미디어 파일 데이터를 수집하고 웹 서버로부터 웹 데이터를 수집하여, 파일 데이터와 웹 데이터를 라이프로그 데이터로 저장하고 사용자 요청에 따라 라이프로그 데이터를 가공하여 제공하고 있다.

그러나 이는 사용자의 생활패턴에 관한 내용만 수집하고, 통화기록이나 전자메일을 통해 사용자의 이름, 전화번호와 같은 일반적인 정보를 수집하는 것에 한정되어 있다.

종래의 자동 태깅 시스템에 관한 연구에 대한 예로서, 대한민국 공개특허공보 10-2011-0013073에 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 콘텐츠 자동 태깅 시스템이 개시되어 있다

개략적으로 살펴보면, 디지털 캠코더, 카메라 등과 같은 디지털 촬영기기의 멀티미디어 콘텐츠의 검색을 위해, 얼굴 인식을 통해 얻을 수 있는 얼굴에 관련된 정보를 찾아 이를 콘텐츠 저장시에 자동으로 태그정보를 추가시킬 수 있는, 멀티미디어 콘텐츠의 자동 태깅 시스템이 구비된 디지털 촬영기기 및 그 방법을 제공하고 있다.

그러나 이는 디지털 촬영기기의 멀티미디어 콘텐츠에서 얼굴을 인식하여 태깅하는 것에 국한된 기술로써, 보다 다양한 상황정보를 얻어 자동 태깅할 수 있는 기술이 필요하다.

따라서 본 발명은 이미지 정보 이외에도, 시간, 날씨를 포함한 지리 정보 및 생체 정보를 태깅함으로써 보다 다양한 라이프로그 서비스를 제공하고자 한다.

본 발명인 지능형 상황 인식을 이용한 라이프로그 시스템은, 이미지, 텍스트, 환경 및 생체 정보를 포함한 콘텐츠를 수집하고, 이로부터 지능적으로 상황인식을 하여 태깅함으로써 다양한 라이프로그 서비스를 제공할 수 있는 시스템을 제공하고자 한다.

본 발명은, 에이전트, 서버 및 라이프로그 DB를 포함하되, 에이전트는, 동일한 사용자로서 식별 가능한 복수개의 디바이스에 설치되어 상황정보를 수집하여 서버로 전송하며, 서버는 상기 상황정보에 자동으로 태깅하여 라이프로그 정보를 생성한 후에 라이프로그 DB로 전송하며, 상기 에이전트가 원하는 라이프로그 서비스를 상기 라이프로그 DB를 참조하여 제공하는 지능형 상황 인식을 이용한 라이프로그 시스템을 제공함으로써, 기술적 과제를 해결하고자 한다.

본 발명인 지능형 상황 인식을 이용한 라이프로그 시스템은, 이미지, 텍스트, 환경 및 생체 정보를 포함한 콘텐츠를 수집하고 이를 태깅함으로써 다양한 라이프로그 서비스를 제공할 수 있는 현저한 효과를 보유하고 있다.

도 1은 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 주요 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 얼굴 영역 검출 모듈이 얼굴 영역을 검출하는 예를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 얼굴 특징 검출 모듈이 얼굴 특징을 검출하는 예를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 성별 태깅 모듈이 성별을 태깅하는 예를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 연령대 태깅 모듈이 연령대를 태깅하는 예를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템에서 제공하는 라이프로그 응용서비스의 예를 개략적으로 도시한 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.

도 1은 본 발명의 실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템의 주요 구성을 개략적으로 도시한 도면이다.

본 발명의 일실시예에 따른 지능형 상황 인식을 이용한 라이프로그 시스템은 스마트 디바이스부(100), 정보수집처리부(200), 상황인식처리부(300) 및 응용서비스부(400)를 포함하며, 상황인식처리부(300)는 이미지정보 태깅 모듈(310)과 환경정보 태깅 모듈(320), 생체정보 태깅 모듈(330)을 포함한다.

바람직하게, 정보수집처리부(200)는 사용자의 스마트 디바이스부(100)에 설치되는 에이전트로 기능되도록 구성하고, 그 외 나머지 구성요소는 서버에 포함되도록 구성한다.

설계조건에 따라서, 에이전트에 포함된 기능은 서버에서 일부 사용이 가능하도록 할 수 있으며 그 반대의 경우도 가능하다.

스마트 디바이스부(100)는 스마트 디바이스, 인체 부착 센서 또는 외부환경을 인식하고 스스로 상황을 판단하여 자율적으로 동작하는 지능형 로봇 등을 포함한다.

여기에서, 스마트 디바이스는 스마트폰, 스마트 패드, 디지털 카메라, 디지털 캠코더, PMP, 네비게이션 등을 예로 들 수 있으며, 지능형 로봇은 카메라, 마이크 및 센서 등을 포함하는 로봇을 들 수 있다.

정보수집처리부(200)는 스마트 디바이스부(100)를 이용하여 다양한 상황정보를 수집하는 수단으로서, 사용자 인터페이스, 상황 정보 수집 모듈, 태깅 정보 처리 모듈, 동기화 모듈을 포함한다.

사용자 인터페이스는 스마트 디바이스부(100)에 동작하고 있는 에이전트의 인터페이스로서 기능하는데, 자동 태깅된 정보를 제시해주고 또한 사용자가 태깅정보를 수정할 수 있는 인터페이스로서 기능한다.

상황 정보 수집 모듈은 스마트 디바이스부(100)에 포함된 감지 구성요소들로부터 획득된 각종 상황 정보를 수집하는 기능을 수행한다.

예를 들어, 상황 정보 수집 모듈은, GPS와 카메라가 내장된 스마트폰과 같은 스마트 디바이스를 통해 사진, 동영상, GPS 정보, 시간, 무게 등을 입력받으며, 지능형 로봇에 장착된 카메라, 마이크, 센서 등을 통해 사진, 음성, 동영상, 온도/습도 등을 수집한다.

바람직하게, 수집된 상황 정보는 정해진 기준 시간에 상황인식처리부(300)로 전송되도록 설계된다.

태깅 정보 처리 모듈은 상황 정보 수집 모듈에서 획득한 각종 상황 정보를 상황인식처리부(300)로 전송하는 기능을 수행한다.

또한 상황인식처리부(300)에서 전송된 태깅 정보를 시간, 장소, 사람, 행동, 방법을 기준으로 분류하여 사용자의 스마트 디바이스부(100) 및/또는 응용서비스부(400)의 라이프로그 DB에 저장하도록 한다.

설계조건에 따라, 분류 기준은 변경될 수 있으며, 또한 응용서비스부(400)의 라이프로그 DB 로부터 태깅 정보를 수신하여 처리하도록 할 수도 있다.

또한 태깅 정보 처리 모듈은 자동 태깅된 정보를 분류 기준 등에 따라 수정하는 기능을 수행하도록 할 수 있다.

동기화 모듈은 정보수집처리부(200)와 응용서비스부(400)의 태깅 정보가 동기화되도록 하는 기능을 수행한다. 즉 정보수집처리부(200)를 포함하는 에이전트와 그 외 구성요소가 포함된 서버의 정보를 비교하여 업데이트 함으로써 에이전트와 서버가 동일한 정보를 가질 수 있도록 하는 기능을 수행한다.

바람직하게, 에이전트에서 처리된 정보를 서버에 백업하는 시간을 지정한다. 업데이트 간격은 1시간, 3시간, 6시간, 하루 등으로 설정하여 설정된 지정된 일정 시간이 지나면 자동으로 에이전트에서 서버로 데이터가 전송이 되어, 양자간의 동기화를 수행한다.

상황인식처리부(300)는 이미지정보 태깅 모듈(310)과 환경정보 태깅 모듈(320), 생체정보 태깅 모듈(330)을 포함한다.

먼저, 이미지정보 태깅 모듈(310)은 사진 및 동영상 컨텐츠로부터 실시간으로 객체를 인식하여 자동으로 태깅하는 기능을 수행한다.

특히 이미지에서 얼굴 영역 및 얼굴 특징을 빠르고 정확하게 검출한 후에, 이름, 표정, 성별, 연령대 등에 대하여 태깅하는 기능을 수행한다.

바람직하게, 얼굴 영역 및 얼굴 특징을 검출하여 태깅하는 것을 기반으로 하여 인맥 관리 서비스, 개인별 앨범 서비스 등을 제공하거나 관계도 및 친밀도를 분석하기 위한 자료 등으로 활용한다.

또한 바람직하게, 이미지정보 태깅 모듈(310)은 얼굴이 포함된 사진뿐만 아니라 각종 이미지 및 동영상 컨텐츠를 이용하여 태깅할 수 있는 기능을 포함하도록 한다.

이미지정보 태깅 모듈은 주요하게 얼굴 영역 검출 모듈, 얼굴 특징 검출 모듈, 이름 태깅 모듈, 표정 태깅 모듈, 성별 태깅 모듈, 연령대 태깅 모듈, 장면 태깅 모듈을 포함한다.

얼굴 영역 검출 모듈은 주어진 이미지들로부터 인물과 배경을 구분하여 얼굴 영역을 검출하는 모듈이다.

도 2를 참조해보면, 얼굴 영역 검출 모듈이 배경으로부터 얼굴 영역을 검출하는 기능을 수행하고 있음을 알 수 있다.

바람직하게, 주어진 이미지에서 얼굴 영역 검출을 위해 검색 윈도우를 사용하여 빠르고 정확하게 스캔하여, 배경에서 사람 얼굴을 구분하여 검출한다.

얼굴 특징 검출 모듈은 검출된 얼굴 영역을 이용하여 얼굴의 특징점을 자동으로 검출하는 기능을 수행한다.

예를 들어, 도 3을 참조해보면, 얼굴 특징 검출 모듈은 인물의 눈썹, 눈, 코, 입, 턱선 등의 얼굴의 특징점을 자동으로 추출하도록 한다.

바람직하게, 주성분 분석을 이용하여 특징을 추출하도록 하며, 유사한 얼굴에 대한 정확도를 높이기 위하여 눈, 코, 입 등의 특징뿐 아니라 얼굴의 점이나 얼굴색 등과 같이 세밀한 특징점을 자동으로 추출하도록 할 수 있다.

바람직하게, 얼굴 특징 검출 모듈은 얼굴 특징점의 검출 이외에 특징점을 태깅 정보로 생성하는 기능을 수행하며, 이를 이용하여 3D 얼굴(아바타)의 메타데이터를 생성할 수 있다.

이름 태깅 모듈은 검출된 얼굴 특징점을 이용하여 얼굴을 인식하여 이름을 태깅하는 기능을 수행한다.

예를 들어, 얼굴 특징 검출 모듈이 복수 개의 얼굴이 포함된 이미지로부터 각 얼굴의 특징점들을 추출하게 되면, 이름 태깅 모듈은 각각의 얼굴에 대한 이름을 자동 또는 수동으로 태깅하도록 한다.

즉 기준 조건에 따라 사용자로 하여금 정보수집처리부(200)의 사용자 인터페이스를 이용하여 수동으로 이름을 태깅하도록 할 수도 있으며 또는 자동 태깅과 수동 태깅이 동시에 수행되도록 할 수도 있다.

예를 들어, 이름을 수동으로 태깅하게 되면 그 후에 저장되는 이미지 가운데 유사 이미지를 검색하여 얼굴의 이름이 자동으로 태깅되거나 추천되도록 할 수 있다.

표정 태깅 모듈은 검출된 얼굴의 주요한 특징점 및 특징점들의 조합을 통해 자동 및 실시간으로 얼굴 표정을 인식하는 기능을 수행한다.

예를 들어, 우울, 짜증, 웃음, 일반, 놀람 등의 얼굴 표정으로 사람의 얼굴 표정을 태깅하는 기능을 수행한다.

성별 태깅 모듈은 주어진 이미지의 얼굴이 남자인지 여자인지를 판별하는 모듈이다. 도 4를 참조해보면, 복수 명의 사람이 포함된 이미지에서 각 얼굴 영역을 검출하고 성별을 태깅하는 예가 나타나 있다.

연령대 태깅 모듈은 주어진 이미지에 포함된 얼굴의 연령대 및 나이를 판별하여 태깅하는 기능을 수행한다. 도 5에는 연령대 태깅 모듈이 연령대를 태깅한 예가 나타나 있다.

바람직하게, 표정, 성별 및 연령대 태깅모듈의 경우에도 자동/수동 태깅이 가능하도록 구성하며, 얼굴 특징점에 대한 기하학적 분석, 학습 DB(미도시) 등을 이용하여 자동 태깅할 수 있도록 한다.

장면 태깅 모듈은 이미지의 배경을 구분하여 장소를 검출하여 자동으로 태깅하는 모듈이다.

바람직하게, 주어진 이미지의 배경이 실내인지 실외인지, 실내의 경우엔 집안의 거실인지 침실인지, 아니면 집 이외의 회사인지, 도서관인지, 실외의 경우엔 산인지 바다인지 등을 주변에 있는 사물을 파악하여 검출하고 분류하여 태깅한다.

환경정보 태깅 모듈(320)은 스마트 디바이스부(100)의 위성항법장치(GPS)에 저장된 GPS 위치 정보를 이용하여 해당 위치의 주소 정보와 주변 주요 건물 등의 지리와 관련된 정보를 시간, 지리, 날씨별로 자동으로 태깅하는 모듈이다.

바람직하게, 환경정보 태깅 모듈(320)에 저장된 위치 정보를 이용하여 일반적인 자신의 행동 패턴과 범위를 요일별, 시간별로 파악할 수 있다. 또한 환경정보 태깅 모듈(320)과 이미지정보 태깅 모듈(310)을 이용하여 해당 지역의 날씨 및 장면을 파악함으로써 지역에 따른 날씨변화 서비스를 제공할 수 있다.

설계조건에 따라서, 보호가 필요한 저학년 아이들의 스마트폰에 저장된 위치 정보를 이용하여 아이들이 이동하는 경로를 파악할 수 있다. 이러한 정보는 필요에 따라, 귀가하고 있지 않은 아이들을 찾는데 도움이 될 수 있으며 위치를 실시간으로 다운받을 수 있도록 설정하여 길을 잃은 아이를 찾는데도 도움을 줄 수 있다.

생체정보 태깅 모듈(330)은 사용자의 디바이스에 포함된 각 종 센서 또는 인체(허리와 무릎, 피부 등)에 부착된 생체인식 센서를 이용하여 수집된 몸의 움직임과 상태에 관한 정보, 몸의 온도 변화 등을 이용하여, 체중, 식사, 건강 및 감정 정보 등을 태깅할 수 있도록 한다.

예를 들어, 장기관찰이 요구되는 환자에게 아픈 부위에 생체인식 센서를 부착하여 매시간 진행되는 몸의 변화를 수집하여 태깅할 수 있다. 수집한 정보를 실시간으로 파악함으로써 환자의 상태를 지속적으로 정확하게 판단할 수 있어 환자에게 보다 안전하고 편리한 서비스를 제공할 수 있다. 또한 병이 의심되는 사람들에게 해당 부위에 생체인식 센서를 부착하여 몸의 상태를 지속적으로 관찰함으로써 빠르고 정확하게 병을 진단할 수 있음은 물론이다.

설계조건에 따라, 상황인식처리부(300)는 텍스트 태깅 모듈을 포함할 수 있으며, 이 경우에는 NLP(자연어 처리) 기술을 이용한다. 자연어 처리기술을 사용함으로써, 대량의 텍스트 컨텐츠에 태깅 처리가 가능해진다.

응용서비스부(400)는 상황인식처리부(300)에서 태깅한 정보를 라이프로그 DB에서 전송받아 이를 이용한 응용 서비스를 제공하는 기능을 수행하며, 라이프로그 DB, 서비스 처리 모듈, 동기화 모듈을 포함한다.

라이프로그 DB는 라이프로그 정보를 포함한다. 라이프로그 정보는, 상황인식처리부(300)에서 전송한 태깅정보를 이용하여 데이터베이스로 형성한 것으로서, 이러한 정보는 이미 설정된 기준에 따른 분류에 맞추어 각각의 폴더에 저장된다.

예를 들어, 인식된 얼굴에 대하여 얼굴 영역과 이름을 자동으로 태깅하고 분류하여 개인별 디렉토리에 구분하여 저장하는 예를 들 수 있다.

개인별 디렉토리는 친구/가족/직장 등으로 분류하고, 자주 만나는 사람인지, 가끔 만나는 사람인지, 오래된 친구인지 등의 친밀도를 표기하여 관계도를 한눈에 볼 수 있게 나타낼 수 있다.

또한 철수, 영희와 찍은 사진의 이름이 '철수, 영희와 함께 경포대에서' 라고 태깅된 경우에는, 하나의 사진과 하나의 이름만 태깅되었지만, 다양한 정보로 데이터베이스화 될 수 있다.

즉 철수, 영희란 폴더가 생성되며 하나의 사진은 각각의 폴더에 복사되어 저장될 수 있으며, 이때 입력된 이름의 데이터양이나 빈도수를 파악하여 나와의 친밀도 통계를 낼 수가 있다.

또한 라이프로그 DB를 이용하여 주소록을 만들고자 할 경우, 사용자가 미리 집, 회사, 친구 등 그룹별로 지인의 이름을 제목으로 한 폴더를 만든다. 상황인식처리부(300)에서 이미지의 얼굴 특징을 검출하여 자동으로 태깅한 이름과, 사용자가 미리 만들어 놓은 주소록 내의 폴더 이름을 비교하여 동일한 이름 폴더 안에 이미지가 자동으로 저장되게 한다. 이로써 자동으로 주소록이 만들어진다.

또한 명함이나 핸드폰에 저장된 핸드폰번호, 주소, 이메일 등과 같은 정보를 사용자가 미리 만들어 놓은 주소록 내의 폴더 이름과 비교하여 동일한 이름 폴더 안에 핸드폰번호, 주소 등의 정보를 자동 저장한다.

또한 얼굴 영역 검출 모듈과 이름 태깅 모듈, 연령대 태깅 모듈을 이용하여 '나의 10년 전 사진'과 같은 해당 년도로부터 이전 연도별 사진에 대한 검색이 가능하도록 데이터베이스가 형성되도록 한다.

서비스 처리 모듈은 라이프로그 DB를 이용하여 사용자에게 응용서비스를 제공하는 모듈이다. 이미지정보 태깅 모듈을 활용한 서비스, 환경정보 태깅 모듈을 활용한 서비스 및 생체정보 태깅 모듈을 활용한 서비스 등을 포함한다. 도 6을 참조하여 설명한다. 도 6은 본 발명의 실시예에 따른 라이프로그 서비스를 개략적으로 도시한 도면이다.

먼저, 각 태깅 모듈을 활용한 응용 서비스는 주로 이용하는 정보가 어떤 태깅 정보인지를 뜻할 뿐으로서 각 서비스는 상황인식처리부(300)에서 제공된 태깅 정보를 이용한 라이프로그 DB에 근거함을 밝혀둔다.

이미지정보 태깅 모듈을 활용한 서비스는 이미지 콘텐츠 저장 서비스, 콘텐츠 온라인 공유 및 블로깅 서비스, 유사 얼굴 검색 서비스, 감정에 따른 검색 서비스, 자동 인물 분류 및 검색 서비스, 인물 정보 서비스, 개인화/그룹별 앨범 서비스, 개인정보관리 서비스, 성별/연령대 통계/분류 및 검색서비스, 일생/추억 이미지 분류 서비스, 3D 아바타 메타데이터 생성 서비스 등을 포함한다.

또한 이미지정보 태깅 모듈을 활용한 서비스를 이용하여, 원본 이미지와 포토샵 등으로 수정한 이미지를 따로 구분하여 저장하고, 저장된 콘텐츠를 온라인에 공유할 수 있다.

이때, 서버에 업데이트되는 이미지를 자동으로 사용자 블로그에 등재되게 할 수 있다. 블로그의 이미지 가운데 이름을 검색하거나, 찾고자하는 얼굴사진 하나를 클릭하여 그 사진과 유사한 얼굴을 검색하는 서비스를 제공하여, 쉽고 빠르게 찾고자 하는 이미지를 검색할 수 있는 서비스를 제공한다.

또한 우울, 짜증, 웃음과 같은 표정별로 검색하는 서비스를 제공하여 사람들이 가진 재미난 표정을 찾아볼 수 있도록 할 수 있다.

설계조건에 따라서, 이미지와 텍스트 위에 마우스를 올려놓았을 경우 관련 정보와 매칭된 문맥 광고가 위젯의 형태로 제공되는 인물 정보 서비스를 제공할 수 있다. 여기에서 문맥 광고에는 인물의 이름, 나이, 성별 등과 같은 일반적인 정보와 직업, 취미, 블로그 주소, 최근 올린 글 등의 정보가 포함될 수 있다.

또한 라이프로그 DB에 저장된 이미지의 빈도 및 횟수를 표시하고 이를 그래프로 나타내어 자주 만나는 사람인지 가끔 만나는 사람인지를 한눈에 보고 판단할 수 있다.

또한 다양한 앨범 템플릿을 제공하여, 얼굴의 특징/성별/연령대를 자동 태깅하여 분석한 결과를 이용하여 동일인의 과거부터 현재까지의 모습을 시간별로 분류하여 아기들의 성장앨범이나 개인의 성장 과정을 담은 앨범으로도 활용할 수 있는 서비스를 제공할 수 있다.

이때 앨범은 개인별, 그룹별, 장소별, 시간별 앨범 서비스를 선택할 수 있다. 앨범에 들어가는 이미지는 자동으로 크기, 화질, 색상 등을 보정해 주고, 오려붙이기 등 자유롭고 쉽게 편집이 가능하여 독특한 자신만의 앨범을 만들 수 있으며, 앨범의 사진을 즉석에서 인화할 수 있는 서비스도 추가로 제공한다. 앨범을 이용하여 치매 예방 및 치료 프로그램에 활용하는 등 기억 회생 서비스로 활용될 수 있음은 물론이다.

또한 얼굴 특징 검출 모듈을 이용하여 실물을 3D 아바타로 만들 수 있는 서비스를 제공한다.

예를 들어, 이 서비스를 게임에 적용할 경우, 본인의 3D 아바타를 게임 캐릭터로 적용하여 본인이 직접 게임을 하는 듯한 생동감을 부여할 수 있다. 이로써, 가상의 공간에서 현실에서는 체험할 수 없는 다양한 체험을 할 수 있어 게임에 대한 흥미나 몰입도를 높일 수 있다.

이러한 게임을 놀이수단으로서만이 아니라, 교육적인 면으로도 활용할 수 있다. 예를 들어, 역사 드라마와 같은 포맷으로 사용자가 주인공이 되어 사건을 해결하는 게임을 만들어 게임을 하면서 자연스레 역사를 공부할 수 있도록 활용할 수 있다.

환경정보 태깅 모듈을 활용한 응용 서비스는 장소별 사진 분류 및 검색서비스, 여행 경로 조회 서비스를 포함한다..

예를 들어, 사용자가 여행을 하면서 디지털 카메라나 캠코더 등을 이용하여 찍은 사진은 상황인식처리부(300)로 전송되어 환경정보 태깅 모듈을 이용하여 장소별로 자동 태깅 정리되어 라이프로그 DB에 장소별로 분류하여 저장된다. 장소별로 분류된 이미지를 지도 서비스와 연동하여 이미지 배경에 해당하는 실제 위치를 지도상에서 보여준다. 이때 지도상에 모든 지역의 대표이미지를 한컷씩 표시되게 할 수도 있고, 지도상의 지역을 클릭하면 그 지역의 사진을 모두 볼 수 있도록 할 수도 있다. 지도에 저장된 이미지를 연결하여 지도상에 여행 경로를 표시하거나 조회가 가능한 서비스를 제공한다. 또한, 여행 경로별로 사진을 정리하고 간단한 메모를 입력하여 자동으로 추억을 담은 여행 앨범 서비스를 제공할 수 있음은 물론이다.

또한 지도의 유명한 관광지를 클릭하면 그에 관련한 관광 자료를 볼 수 있어 여행사 관련 상품을 판매할 때 여행 경로와 이미지 자료를 함께 제공하여 고객으로부터 보다 쉽게 여행 상품을 이해하고 선택할 수 있도록 할 수 있다.

생체정보 태깅 모듈을 활용한 응용 서비스는 사용자의 생체 정보를 이용하여 건강 서비스를 제공할 수 있다.

예를 들어, 스마트디바이스부(100)에 포함된 각종 센서로부터 사용자의 건강 정보 및 신체 정보를 수집하여 태깅한 후에, 이를 분석함으로써, 식사시간을 알리는 기능, 매끼 요구하는 칼로리를 나타내는 기능, 식단을 사진으로 찍거나 입력하면 칼로리를 계산하는 기능, 실시간으로 변화하는 체중을 나타내는 기능 등을 표시하고 알려주는 서비스를 제공해줄 수 있다.

이를 이용하여 불필요한 간식을 줄이고, 규칙적인 식사를 하며, 식사시 필요한 칼로리를 정확하게 인지하여 불필요한 칼로리 섭취를 피함으로써 다이어트를 원하는 사람에게 다이어트를 성공할 수 있도록 도와주는 서비스를 제공할 수 있다.

그 외에는, 지능형 다이어리 서비스와 라이프 블로그 서비스를 제공하는 예를 들 수 있다.

즉 라이프로그 DB에 자동 태깅되어 폴더별로 저장된 자료를 이용하여 자동으로 다이어리나 라이프 블로그를 만들어 주는 서비스를 제공한다.

예를 들어, 2011년 12월 다이어리를 만들고자 할 경우 2011년 12월에 찍힌 이미지만 자동 선별하고 이를 날짜별로 구분하여 기본적인 다이어리 구조를 만든다. 이를 다시 시간, 날씨, 장소별로 구분하여 자동으로 하루 일과를 나열하고, 이미지 외의 메모나 동영상 등의 자료를 기록된 날짜에 삽입하여 전체적인 다이어리 구조를 만들어 주는 서비스를 제공할 수 있다. 이와 동일한 방법으로 블로그에도 적용하는 서비스를 제공할 수 있다.

동기화 모듈은 응용 서비스부(400)와 정보수집처리부(200)의 정보가 동기화되도록 하는 기능을 수행하는데, 사용자 인터페이스를 이용하여 사용자가 수정한 태깅 정보를 전송받아서 라이프로그 DB를 업데이트하는 기능을 수행한다.

한편, 상기에서 도 1 내지 도 6을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 6의 구성에 한정되는 것이 아님은 자명하다.

100 : 스마트 디바이스부
200 : 정보수집처리부
300 : 상황인식처리부
310 : 이미지정보 태깅 모듈
320 : 환경정보 태깅 모듈
330 : 생체정보 태깅 모듈
400 : 응용서비스부

Claims (8)

1. 에이전트; 서버; 및 라이프로그 DB;를 포함하는 지능형 상황 인식을 이용한 라이프로그 시스템에 있어서,
   에이전트는,
   (a) 동일한 사용자로서 식별 가능한 복수개의 디바이스에 설치되어;
   (b) 상황정보를 수집하여 서버로 전송하며;
   서버는,
   (a) 상기 상황정보에 자동으로 태깅(auto-tagging)하여 라이프로그 정보를 생성한 후에, 라이프로그 DB로 전송하며;
   (b) 상기 에이전트가 원하는 라이프로그 서비스를 상기 라이프로그 DB를 참조하여 제공하되,
   상기 상황정보는 이미지정보, 환경정보 및 생체정보를 포함하며,
   상기 이미지정보에 태깅되는 정보는 얼굴 영역 검출 모듈, 이름 태깅 모듈, 표정 태깅 모듈, 성별 태깅 모듈, 연령대 태깅 모듈 및 장면 태깅 모듈로부터 얼굴이름, 표정, 성별, 연령대, 장면종류를 선택적으로 포함하고,
   상기 환경정보에 태깅되는 정보는 스마트 디바이스부의 위성항법장치에 저장된 GPS 위치 정보를 이용하여 시간, 지리 및 날씨를 선택적으로 포함하며,
   상기 생체정보에 태깅되는 정보는 생체인식 센서를 이용하여 수집된 체중, 식사 및 감정 정보를 선택적으로 포함하는 것을 특징으로 하는 지능형 상황 인식을 이용한 라이프로그 시스템.
   
2. 제 1 항에 있어서,
   상기 에이전트가 전송한 상황정보는, 상기 라이프로그 DB와 동기화되는 것을 특징으로 하는 지능형 상황 인식을 이용한 라이프로그 시스템.
   
3. 제 1 항 또는 제 2 항에 있어서,
   상기 에이전트는 상기 라이프로그 정보의 태깅 정보를 수정할 수 있는 인터페이스를 제공하는 것을 특징으로 하는 지능형 상황 인식을 이용한 라이프로그 시스템.
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제 1 항 또는 제 2 항에 있어서,
   상기 에이전트가 원하는 라이프로그 서비스는 시간, 추억 또는 장소를 기준으로 또는 앨범 형태로 라이프로그 정보를 제공하는 서비스인 것을 특징으로 하는 지능형 상황 인식을 이용한 라이프로그 시스템.

Images