KR20090007320A

KR20090007320A - 멀티미디어 모바일 노트들을 동기화하기 위한 방법, 단일화환경 제공 시스템 및 컴퓨터 판독가능 매체

Info

Publication number: KR20090007320A
Application number: KR1020087024896A
Authority: KR
Inventors: 데이비드 제이. 시에드지크; 에린 엠. 릴리; 조슈아 엠. 폴로크; 니샤 람쿠마르; 산토스 코돈; 사티아 피. 티루말; 샤히다 피. 니자르; 미코 아나브 사크야 싱하 보스; 조엘 도우너
Original assignee: 마이크로소프트 코포레이션
Priority date: 2006-04-17
Filing date: 2007-03-23
Publication date: 2009-01-16
Also published as: JP2009533779A; EP2016502A1; EP2016502A4; US20070245223A1; WO2007126699A1; CN101421713A

Abstract

멀티미디어 노트를 테이킹하면서 모바일 컴퓨팅 장치를 사용하고 데스크탑 노트 테이킹 애플리케이션과 동기화하기 위한 소프트웨어-기반 메커니즘이 제공된다. 텍스트적 데이터와 다른 데이터 유형을 나타내는 객체들을 포함하는 노트 문서는 두 개의 애플리케이션들 간에 전체 또는 부분적으로 동기화될 수 있다. 비-텍스트 데이터의 파일 포맷팅을 포함하는 문서는 동기화 동안 기본설정 포맷으로 변환될 수 있다.

멀티미디어 노트 테이킹 애플리케이션, 노트 문서, 포맷팅, 동기화, 텍스트적 데이터, 비-텍스트 데이터

Description

멀티미디어 모바일 노트들을 동기화하기 위한 방법, 단일화 환경 제공 시스템 및 컴퓨터 판독가능 매체{SYNCHRONIZING MULTIMEDIA MOBILE NOTES}

최근 소형의 핸드헬드 컴퓨팅 장치들이 꾸준히 인기를 얻어 오고 있다. 이들 장치들은 포켓 컴퓨터, PDA(personal digital assistants), 퍼스널 오가나이저(personal organizers), H/PC 등과 같은 다른 이름으로 알려져 있다. 게다가, 셀룰러 폰과 같은 많은 휴대용 전화 시스템은, 이 소형의 핸드헬드 컴퓨팅 장치들의 범주 내에 들어가는 정도의 컴퓨팅 기능(capability)을 포함(incorporate)한다. 이하에서는 "모바일 컴퓨팅 장치(mobile computing devices)"라 지칭되는 이들 장치는 그것들의 더 큰 장치들(counterparts)과 많은 동일한 기능성을 제공한다. 특히, 모바일 컴퓨팅 장치는 워드 프로세싱, 작업 관리, 스프레드시트 처리, 주소록 기능, 인터넷 브라우징 및 캘린더링 뿐만 아니라 많은 다른 기능을 포함하는 많은 기능을 사용자에게 제공한다.

많은 모바일 컴퓨팅 장치가 온-보드 카메라 및/또는 오디오 레코더(on-board cameras and/or audio recorders)를 포함한다. 따라서, 사용자는 멀티미디어 파일을 레코딩하고, 다운로드하고 액세스할 수 있으며, 잉크 엔트리(ink entry) 및 다른 유형의 문서들을 생성할 수 있다. 그러나, 사용자가 각종 이미지, 오디오 파일, 텍스트적 데이터 등을 단일의 컨텍스트, 특히 생산성 환경(productivity environment)의 퍼스널 컴퓨터에서 사용하기에 적합한 하나의 컨텍스트 내로 수집(collect)하는 것은 어려운 일이다. 통상적으로, 일부 애플리케이션은 사용자가 오디오 또는 비디오 파일에 주석을 달거나(annotate) 또는 그 반대로 하는 것을 가능하게 하지만, 원시 데이터는 대부분의 경우 그 환경에서 다른 유형의 데이터와 자연스럽게(seamless) 결합하지 못한 채 다루어진다.

모바일 컴퓨팅 장치의 사용자의 추가의 과제는, 데스크탑 애플리케이션에 대한 각종 유형의 데이터를 수집하거나 그 반대를 위해 그 장치의 기능을 확장하는 것이다.

본 발명은 이들 및 다른 고려사항에 대하여 고안되었다.

본 설명은 이하의 실시예에서 더 설명된 개념의 선택을 간략한 형태로 소개하기 위해 제공된다. 본 설명은 청구되는 요지의 핵심 특징 또는 주요 특징을 식별하고자 의도하는 것이 아니며, 또한 청구되는 요지의 범위를 결정하기 위한 목적을 갖는 것도 아니다.

본 발명의 양태들은 모바일 컴퓨팅 장치에서 서로 다른 데이터 유형을 위한 단일화된 환경(unified environment)을 제공하는 것에 관한 것이다. 온-보드 자원 또는 파일로부터 비-텍스트(non-text) 데이터가 수신될 수 있다. 문서가 생성되고, 비-텍스트 데이터에 대응하는 객체가 텍스트적 데이터의 주석(annotations)과 함께 삽입될 수 있다.

문서와 그 컨텐츠(즉, 텍스트적 데이터와 비-텍스트 데이터에 대응하는 객체)는 텍스트적 데이터, 비-텍스트 데이터 파일 등을 재포맷함으로써 다른 플랫폼상의 문서와 동기화될 수 있다.

이들과 기타 특징 및 이점은 이하의 상세한 설명을 읽고 관련된 도면을 리뷰하여 명백해질 것이다. 전술된 일반적인 설명과 이어지는 상세한 설명 둘 다 단지 예시적인 것이며, 청구되는 양태들을 제한하는 것이 아님을 이해해야 한다.

도 1은 예시적인 모바일 컴퓨팅 장치의 도면.

도 2는 도 1에 도시된 컴퓨터와 같은 일 실시예에서 사용되는 모바일 컴퓨팅 장치의 컴포넌트들을 도시하는 블록도.

도 3은 실시예들이 실시될 수 있는 네트워크된 환경을 도시하는 도면.

도 4는 일 실시예에 따른 소프트웨어 환경을 도시하는 블록도.

도 5는 실시예들에 따른, 포함된 객체들과 그 각각의 자원들의 상호작용과 함께 노트 문서를 도시하는 개념도.

도 6은 모바일 컴퓨팅 장치에서 동적 정보를 캡처하는 데에 있어 단일화된 경험을 제공하는 프로세스에 대한 논리 흐름도.

도 7은 모바일 컴퓨팅 장치와 데스크탑 컴퓨팅 장치 간에 노트 문서와 그 컨텐츠의 동기화를 도시하는 개념도.

간략하게 상술된 바와 같이, 본 실시예들은 서로다른 데이터 유형들을 소형의 폼팩터(form-factor)인 모바일 컴퓨팅 장치상에서 사용하기에 적합한, 동적 정 보를 캡쳐하기 위한 단일화된 경험에 결합시키는 것에 관한 것이다.

이하의 실시예에서, 본원의 일부를 형성하는 첨부된 도면을 참조하며, 이 도면에서 특정 실시예 또는 특정 예들이 예로서 도시된다. 본 개시의 사상 또는 범위를 벗어나지 않고, 이들 양태들이 조합될 수 있고, 다른 양태들이 이용될 수 있으며, 구조적인 변경이 이루어질 수 있다. 그러므로, 이하의 실시예는 제한하는 의미로 해석되지는 않으며, 본 발명의 범위는 첨부된 청구항과 그 등가물에 의해 정의된다.

본원에 사용된, "노트(note)"라는 용어는, 리치 텍스트(rich text)와 같은 텍스트적 데이터 및 객체의 모음(collection)을 포함하는 문서를 지칭한다. 객체는 비-텍스트 데이터의 내용 및 관련 위치를 나타낸다.

이제 도면을 참조해보면, 양태 및 예시적인 운영 환경이 설명될 것이다. 도 1과 이하의 설명은 본 발명이 구현되기에 적합한 컴퓨팅 환경에 대한 간단하고 일반적인 설명을 제공하고자 한다. 실시예들이 퍼스널 컴퓨터상의 운영 체제상에서 실행하는 애플리케이션 프로그램과 관련하여 실행하는 프로그램 모듈의 일반적 문맥으로 설명되겠지만, 당업자들은 본 양태들이 또한 다른 프로그램 모듈과 조합하여 구현될 수 있음을 인지할 것이다.

일반적으로, 프로그램 모듈은 특정 작업를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조 및 기타 유형의 구조를 포함한다. 게다가, 당업자들은 실시예들이 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능한 소비자 가전제품, 미니컴퓨터, 메인프레 임 컴퓨터 등을 포함하는 기타 컴퓨터 시스템 구성으로 실시될 수 있음을 이해할 것이다. 실시예들은 또한 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 작업가 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 컴퓨터 저장 장치 둘 다에 위치할 수 있다.

실시예들은 컴퓨터 프로세스(방법), 컴퓨팅 시스템, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은 제조 물품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하며 컴퓨터 프로세스를 실행시키기 위한 컴퓨터 프로그램 명령어들을 인코딩하는 컴퓨터 저장 매체일 수 있다. 이 컴퓨터 프로그램 제품은 또한 컴퓨터 시스템에 의해 판독가능하며 컴퓨터 프로세스를 실행시키기 위한 명령어들로 이루어진 컴퓨터 프로그램 인코딩하는 반송파 상의 전파된 신호일 수 있다.

도 1을 참조해 보면, 본 실시예를 구현하기 위한 예시적인 모바일 컴퓨팅 장치(100)가 도시되어 있다. 기본 구성으로, 모바일 컴퓨팅 장치(100)는 입력부와 출력부 둘 다를 갖는 핸드헬드 컴퓨터이다. 입력부는 터치 스크린 디스플레이(102)와 입력 버튼(104)을 포함하여, 사용자가 정보를 모바일 컴퓨팅 장치(100)에 입력(enter)하는 것을 가능하게 한다. 모바일 컴퓨팅 장치(100)는 또한 추후의 사용자 입력을 허용하는 측면 입력부(side input element)(106)를 포함한다. 이 측면 입력부(106)는 회전식 스위치, 버튼 또는 임의의 다른 유형의 수동 입력부일 수 있다. 대안적인 실시예에서, 모바일 컴퓨팅 장치(100)는 더 많은 또는 더 적은 개수의 입력부를 포함할 수 있다. 예를 들면, 디스플레이(102)는 일부 실시예에서 는 터치 스크린이 아닐 수 있다. 또 다른 대안적인 실시예에서, 모바일 컴퓨팅 장치는 디스플레이(102)와 입력 버튼(104)을 갖는 셀룰러 폰과 같은 휴대용 전화 시스템이다. 모바일 컴퓨팅 장치(100)는 또한 선택적인 키패드(112)를 포함할 수 있다. 선택적인 키패드(112)는 물리적인 키패드 또는 터치 스크린 디스플레이상에 생성되는 "소프트(soft)" 키패드일 수 있다. 모바일 컴퓨팅 장치(100)에 통합될 수 있는 또 다른 입력 장치로는 온-보드 카메라(on-board camera)(114)가 있다.

모바일 컴퓨팅 장치(100)는 그래픽 사용자 인터페이스(graphic user interface; GUI)를 디스플레이할 수 있는 디스플레이(102)와 같은 출력부를 포함한다. 다른 출력부로는 스피커(108)와 LED 라이트(110)가 있다. 또한, 모바일 컴퓨팅 장치(100)는, 모바일 컴퓨팅 장치(100)를 진동하게 하여 사용자에게 이벤트를 통지하는 진동 모듈(도시 생략)을 포함할 수 있다. 또 다른 실시예에서, 모바일 컴퓨팅 장치(100)는 출력 신호를 제공하는 또 다른 수단을 제공하기 위한 헤드폰 잭(headphone jack)(도시 생략)을 포함할 수 있다.

본원에서는 모바일 컴퓨팅 장치(100)와 관련하여 설명되었지만, 대안적인 실시예에서 본 발명은 데스크탑 환경, 랩탑 또는 노트북 컴퓨터 시스템, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능한 소비자 가전제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등과 같은 임의의 개수의 컴퓨터 시스템과 함께 이용된다. 본 발명의 실시예는 또한 작업들이 분산 컴퓨팅 환경에서 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되고, 프로그램은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있는 분산 컴퓨팅 환경에서 실시될 수 있다. 요약하면, 복수의 환경 센서, 사용자에게 통지를 제공하는 복수의 출력부 및 복수의 통지 이벤트 유형을 갖는 임의의 컴퓨터 시스템은 본 발명의 실시예를 포함할 수 있다.

도 2는 도 1에 도시된 컴퓨팅 장치와 같은 일 실시예에서 사용되는 모바일 컴퓨팅 장치의 컴포넌트들을 도시하는 블록도이다. 즉, 모바일 컴퓨팅 장치(100)(도 1)는 일부 실시예들을 구현하는 시스템(200)을 포함할 수 있다. 예를 들면, 시스템(200)은, 예를 들어 브라우저, 이메일, 스케줄링, 인스턴트 메시징 및 미디어 플레이어 애플리케이션과 같은, 데스크탑 또는 노트북 컴퓨터의 애플리케이션과 유사한 하나 이상의 애플리케이션들을 실행시킬 수 있는 "스마트 폰(smart phone)"을 구현하는 데에 사용될 수 있다. 시스템(200)은 워싱턴 주 레드몬드의 마이크로소프트 사에서 판매하는 WINDOWS XP®, WINDOWS MOBILE 2003® 또는 WINDOWS CE®와 같은 운영 체제(OS)를 실행할 수 있다. 일부 실시예에서, 시스템(200)은 통합된 PDA와 무선 전화와 같은 컴퓨팅 장치로서 통합된다.

이 실시예에서, 시스템(200)은 프로세서(260), 메모리(262), 디스플레이(102) 및 키패드(112)를 포함한다. 메모리(262)는 일반적으로 휘발성 메모리(예를 들면, RAM)와 비휘발성 메모리(예를 들면, ROM, 플래시 메모리 등) 둘 다를 포함한다. 시스템(200)은, 본 실시예에서 메모리(262)의 플래시 메모리 부분에 상주하고 프로세서(260) 상에서 실행하는 OS(264)를 포함한다. 키패드(112)는 (예를 들어 통상적인 전화기 상의) 누름 버튼 숫자형 다이얼링 패드, (통상적인 키보드와 같은) 멀티키 키보드일 수 있으며, 또는 터치 스크린이나 스타일러스에 따라서 모 바일 컴퓨팅 장치에 포함되지 않는 경우도 있다. 디스플레이(102)는 액정 표시 장치일 수 있으며, 또는 모바일 컴퓨팅 장치에서 일반적으로 사용되는 임의의 기타 유형의 디스플레이일 수 있다. 디스플레이(102)는 터치-감응형일 수 있어서, 또한 입력 장치로서 동작할 것이다.

하나 이상의 애플리케이션 프로그램들(266)이 메모리(262)에 로드되어 운영 체제(264) 상에서 또는 그 외부에서 실행된다. 애플리케이션 프로그램들의 예로는, 전화 걸기 프로그램(phone dialer programs), 이메일 프로그램, PIM(personal information management) 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램 등을 포함한다. 시스템(200)은 또한 메모리(262) 내에 비휘발성 저장소(268)를 포함한다. 비휘발성 저장소(268)는 시스템(200)의 전원이 꺼져도 없어져서는 안 되는 지속적인 정보를 저장하는 데에 사용될 수 있다. 애플리케이션(266)은, 이메일 애플리케이션에 의해 사용되는 이메일 또는 기타 메시지, PIM에 의해 사용되는 연락처 정보, 워드 프로세싱 애플리케이션에 의해 이용되는 문서 등과 같은 정보를 사용하고 이를 비휘발성 저장 장치(268)에 저장할 수 있다. 동기화 애플리케이션(도시 생략) 또한 시스템(200) 상에 상주하며, 이것은 호스트 컴퓨터상에 상주하는 대응하는 동기화 애플리케이션과 상호작용(interact)하여, 비휘발성 저장 장치(268)에 저장된 정보가 호스트 컴퓨터에 저장된 대응 정보와 계속 동기화되도록 프로그램된다. 일부 실시예에서, 비휘발성 저장소(268)는 OS(그리고 기타 소프트웨어)가 저장되어 있는 전술된 플래시 메모리를 포함한다.

시스템(200)은 하나 이상의 배터리로서 구현될 수 있는 전원 장치(power supply)(270)를 갖는다. 전원 장치(270)는 배터리를 보충 또는 재충전하는 AC 어댑터 또는 파워드 도킹 크래들(powered docking cradle)과 같은 외부 전력원을 더 포함할 수 있다.

시스템(200)은 또한 무선 주파수 통신을 송신 및 수신하는 기능을 수행하는 라디오(radio)(272)를 포함할 수 있다. 라디오(272)는 통신 수송자 또는 서비스 제공자를 통해, 시스템(200)과 "외부 세계" 사이의 무선 접속성을 용이하게 한다. 라디오(272)로 및 이로부터의 송신은 OS(264)의 제어 하에 행해진다. 환언하자면, 라디오(272)에 의해 수신된 통신은 OS(264)를 통해 애플리케이션 프로그램(266)으로 유포되거나(disseminated), 그 반대일 수 있다.

라디오(272)은 시스템(200)이 네트워크를 통해서와 같이 다른 컴퓨팅 장치들과 통신하게 한다. 라디오(272)은 통신 매체의 일례이다. 통신 매체는, 통상적으로, 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)인 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터에 의해 구현되고, 모든 정보 전달 매체를 포함할 수 있다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되지 않는다. 본원에서 사용되는 컴퓨터 판독가능 매체라는 용어는 저장 매체와 통신 매체 둘 다를 포함한다.

시스템(200)의 이 실시예는 두 가지 유형의 통지 출력 장치, 즉, 시각적 통지를 제공하기 위해 사용될 수 있는 LED(110)와 스피커(108)(도 1 참조)와 함께 사용되어 오디오 통지를 제공할 수 있는 오디오 인터페이스(274)를 갖는 것으로 도시되어 있다. 이 장치들은, 활성화되면, 프로세서(260)와 다른 컴포넌트들이 배터리 전력을 절감하기 위해 셧다운된다 할지라도 통지 메커니즘이 지시하는 지속기간 동안은 그대로 유지될 수 있도록, 전원 장치(270)에 직접 연결될 수 있다. LED(110)는, 사용자가 장치의 전원이 들어온 상태(powered-on status)를 나타내는 조치를 취할 때까지 무한히 유지되도록 프로그램될 수 있다. 오디오 인터페이스(274)는 사용자에게 가청 신호를 제공하고 사용자로부터 가청 신호를 수신하기 위해 사용된다. 예를 들면, 오디오 인터페이스(274)는 스피커(108)에 결합되는 것 외에, 마이크에 결합되어 전화 대화를 용이하게 하는 등과 같은 가청 입력을 수신할 수 있다. 본 발명의 실시예들에 따라, 또한 이하에 설명되는 바와 같이, 마이크는 통지의 제어를 용이하게 하기 위한 오디오 센서로서 기능할 수 있다.

시스템(200)은 온-보드 카메라(114)(도 1 참조)의 동작이 정지 이미지, 비디오 스트림 등을 레코딩할 수 있게 하는 비디오 인터페이스(276)를 더 포함할 수 있다. 일부 실시예에 따르면, 오디오, 비디오, 정지 이미지, 잉크 엔트리(ink entry) 등과 같은, 입력 장치들 중 하나를 통해 수신된 서로 다른 데이터 유형들은, 애플리케이션(266)에 의해 텍스트적 데이터와 함께 단일화된 환경에서 통합될 수 있다. 이것이 달성되는 방법에 관한 더 자세한 사항은 이하에서 설명될 것이 다.

시스템(200)을 구현하는 모바일 컴퓨팅 장치는 추가의 특징 또는 기능성을 지닐 수 있다. 예를 들면, 장치는 또한, 자기 디스크, 광 디스크 또는 테이프와 같은 추가의 데이터 저장 장치들(이동식 및/또는 비이동식)을 포함할 수 있다. 이러한 추가의 저장 장치가 저장 장치(268)에 의해 도 2에 도시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같이 정보 저장을 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다.

이제 도 3을 참조해보면, 예시적인 실시예가 구현될 수 있는 네트워크화된 시스템이 도시되어 있다. 도 1의 모바일 컴퓨팅 장치(100)와 같은 모바일 컴퓨팅 장치에서 각종 데이터 유형이 생성 및/또는 처리될 수 있다. 서로 다른 데이터 유형의 예로는 모바일 컴퓨팅 장치의 입력 장치들 중 하나 또는 기존의 파일로부터 오픈될 수 있는 동일한 데이터 유형 중 임의의 하나를 이용하여 생성될 수 있는 이미지, 비디오, 오디오 및 잉크 엔트리일 수 있다. 일부 실시예에 따르면, 서로 다른 데이터 유형들을 텍스트적 데이터와 함께 단일의 문서로 통합하는 메커니즘이 제공된다. 이러한 단일화된 문서를 생성하고, 수정하고, 제시하는 데에 필요한 액션을 수행하는 애플리케이션은 모바일 컴퓨팅 장치(300)에서 실행될 수 있다.

모바일 컴퓨팅 장치(300)는 서버(302), 데스크탑 컴퓨터(312) 및 랩탑 컴퓨터(314)와 같은 기타 컴퓨팅 장치들로 데이터를 전송하고 이들로부터 데이터를 수신하는 네트워크화된 환경에서 동작할 수 있다. 교환되는 데이터는 상술된 유형들 중 임의의 유형을 포함할 수 있다. 게다가, 모바일 컴퓨팅 장치(300)는 서버(304)에 의해 관리되는 저장 시스템(306)으로 데이터를 전송하거나 수신할 수 있다. 당해 기술분야에 공지된 기타의 컴퓨팅 장치들도 마찬가지로 이 네트워크화된 시스템에 참여할 수 있다. 단일화된 문서(들)를 생성 및 처리하는 애플리케이션은 모바일 컴퓨팅 장치(300)에 제한될 수 있거나 네트워크화된 환경에 참여하고 있는 많은 컴퓨팅 장치에 의해 분산된 방식으로 실행될 수 있다.

네트워크화된 환경에 참여하고 있는 컴퓨팅 장치들은 네트워크(들)(310) 상에서 통신할 수 있다. 네트워크(들)(310)는 하나 이상의 네트워크를 포함할 수 있다. 네트워크(들)(310)는 기업 네트워크와 같은 보안 네트워크(secure network) 또는 무선 오픈 네트워크(wireless open network)와 같은 비보안 네트워크(unsecure network)를 포함할 수 있다. 예로서, 네트워크(들)는 유선 네트워크 또는 직접 배선 접속과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함할 수 있으나, 이에 제한되지 않는다.

이제 도 4를 참조해보면, 일 실시예에 따른 소프트웨어 환경을 도시하는 블록도가 도시되어 있다. 모바일 컴퓨팅 장치에서 서로 다른 데이터 유형에 대해 단일화된 환경을 제공할 수 있는 애플리케이션의 이점들을 도시하기 위해 여러 시나리오가 설명될 수 있다. 예를 들면, 사용자는 회의중에 이미지 및/또는 오디오 레코딩을 캡쳐하여 이것들에 텍스트적 주석을 달아 단일의 문서로 결합할 수 있다. 또 다른 시나리오에 따르면, 각 엔트리 마다 주석과 함께 이전에 만들어진 잉크 엔트리들과 결합된 이미지들을 이용하여 작업 목록이 생성될 수 있다. 양쪽의 시나 리오에서, 사용자는 작업이 달성됨에 따라 작업 목록을 업데이트하는 것과 같이 반복적으로 단일화된 문서를 수정하기를 원할 수 있다.

이 시나리오들로만 한정되는 것은 아니며, 오히려 이 시나리오들은 모바일 컴퓨팅 장치의 소프트웨어 환경으로부터 획득된 서로 다른 데이터 유형 및 정보를 다루는 데 있어 멀티미디어 노트 테이킹 애플리케이션(multimedia note taking application)의 유연성(flexibility)을 설명하고자 하는 것이다.

실시예에 따르면, 애플리케이션 프로그램(302)은 텍스트적 데이터를 이 텍스트적 데이터와 정렬되는 객체들과 함께 포함하는 문서(또한 본원에서는 "노트"라 지칭됨)를 생성하도록 구성된다. 텍스트적 데이터는 리치 텍스트일 수 있으며, 텍스트의 포맷팅, 굵은 점이 있거나 또는 번호가 매겨진 목록의 생성, 하이퍼링크의 삽입 등을 가능하게 한다. 객체를 텍스트와 함께 정렬하면, 터치 스크린 기능이 없는 모바일 컴퓨팅 장치에서라도 사용자들이 노트를 다룰 수 있다.

객체들은 모바일 컴퓨팅 장치에 의해 캡쳐 또는 수신되는 서로다른 유형의 데이터를 위한 플레이스홀더(placeholder)이다. 일 실시예에 따르면, 이하의 데이터 유형들이 단일화 방식으로 문서에서 결합될 수 있다

·(장치의 온-보드 카메라 또는 이미지 파일로부터의) 이미지

·(장치의 마이크로부터 녹음된 또는 오디오 파일로부터의) 오디오

·(장치의 온-보드 카메라 또는 비디오 파일 둘 중 하나로부터의) 비디오

·텍스트적 주석(textual annotation)

·목록

·테이블들

·잉크 엔트리들

애플리케이션 프로그램(402)은 애플리케이션 프로그램 인터페이스(API)(406)를 통해 운영 체제(464)와 통신할 수 있다. 애플리케이션 프로그램(402)은 API(406)의 메소드들에게 각 데이터 유형에 특정된 애프리케이션들을 활성화시킬 것을 OS(464)에 요청하라는 호출을 행할 수 있다. 예를 들면, 오디오 플레이어 프로그램은 애플리케이션 프로그램(402)에 의해 호출될 때 OS(464)에 의해 활성화될 수 있다. 게다가, OS(464)는 애플리케이션 프로그램(402)과 통신하여 비디오 스트림, 잉크 엔트리 등과 같은 다른 애플리케이션들로부터의 데이터를 제공할 수 있다. 대안적인 실시예에서, 애플리케이션 프로그램(402)은 OS(464)와 직접 통신한다.

애플리케이션 프로그램(402)은 또한 OS(464), 입/출력 제어 모듈(410) 및 입/출력 장치들(412 및 414)을 통해 사용자와 통신한다. 입력 장치들(412)은 상술된 바와 같이 온-보드 카메라, 마이크, 잉킹 캔버스(inking canvas) 등을 포함할 수 있다. 이 실시예에서, 애플리케이션 프로그램(402)은 입력 신호를 받아서 각자의 객체를 생성하여 그것을 단일화된 환경을 제공하는 노트에 삽입한다. 각 객체와 관련된 데이터 뿐만 아니라 노트 그 자체도, 애플리케이션 프로그램(402)에 의해, OS(464)와 메모리 제어 모듈(406)을 통해 메모리 시스템(462)에 저장될 수 있다.

상술된 실시예가 개별적인 모듈 또는 컴포넌트의 견지에서 설명되었지만, 다른 실시예에서 각종 모듈 또는 컴포넌트의 기능은 다른 모듈에 의해 수행될 수 있 고 및/또는 보다 적은 모듈로 결합될 수 있다. 또 다른 실시예에서, 상술된 모듈에 의해 수행되는 기능의 일부는 더 많은 모듈로 또한 분리될 수 있다.

도 5는 실시예에 따른, 각자의 자원과 포함된 객체의 상호작용과 함께 노트 문서를 도시하는 개념도이다. 노트(502)는 도 4의 애플리케이션 프로그램(402)과 같은 애플리케이션에 의해 생성되어 모바일 컴퓨팅 장치에서 서로 다른 데이터 유형을 위한 단일화된 환경을 제공하는 문서를 나타낸다. 노트(502)는 문서의 여러 위치에 번호가 매겨진 목록인 텍스트(504) 및 추가의 텍스트(506)와 같은 텍스트적 데이터 엔트리를 가질 수 있다. 사용자 액션에 따라, 객체가 노트(502)에 삽입될 수 있다. 이미지 객체(508), 비디오 객체(510), 오디오 객체(512), 및 잉킹 객체(inking object)(514)는 서로 다른 데이터 유형에 대응하는 객체를 나타낸다. 데이터 유형은 본원에 제공되는 예시적인 것들에 제한되지 않는다. 다른 데이터 유형이 실시예에 따른 멀티미디어 노트 테이킹 애플리케이션에 의해 또한 다루어질 수 있다.

각 객체가 생성되어, 원시 애플리케이션(native application)(또는 동일한 애플리케이션) 집합을 채용하는 것으로 보일 수 있다. 또 다른 실시예에서, 멀티미디어 노트 테이킹 애플리케이션은 사용자가 또 다른 애플리케이션을 활성화시킬 필요 없이 데이터에 액세스하게 해주는 뷰어(또는 플레이어) 모듈을 포함할 수 있다. 이미지 객체(508)는 사진, 그래픽, 아이콘 등과 같은 정지 이미지 데이터를 노트에 포함시키는 데에 사용될 수 있다. 이미지 객체(508)에 의해 표현되는 데이터는 온-보드 카메라 또는 이미지 파일 선택 UI(524)에 의해 생성될 수 있다. 이 미지 뷰어(522)를 이용하여 이미지를 볼 수 있다.

한 실시예에 따르면, 통합된 뷰어 애플리케이션은 사용자 경험을 향상시키는 추가적인 모바일 장치 전용 기능을 제공할 수 있다. 예를 들면, 통합된 뷰어는 사진을 그리드 구역(grid zone)으로 분할하여, 모바일 컴퓨팅 장치의 키패드에서의 키를 각 그리드 존에 할당할 수 있다. 그러면, 사용자가 대응하는 키를 누르면 그리드 구역은 줌 모드로 디스플레이될 수 있다. 이 접근법은 사용자에 있어서, 선택된 포인트(예를 들면, 이미지의 중심)로 줌(zoom)해서 이미지에서 관심있는 구역의 방향으로 팬(pan)하는 일반적으로 사용되는 방법보다 더 빠르고 더 단순하다.

비디오 객체(510)는 이미지 객체(508)와 유사한 방식으로 동작한다. 비디오 객체(510)는 온-보드 카메라 또는 이미지 파일 선택 UI(528)에 의해 생성되어 비디오 플레이어(526)에 의해 보여지는 비디오 스트림을 나타내는데, 이는 다시 별도의 애플리케이션 또는 노트 테이킹 애플리케이션의 통합 모듈일 수 있다.

오디오 객체(512)는 (온-보드 마이크를 이용하는) 오디오 레코더 또는 오디오 파일 선택 UI(532)에 의해 레코딩된 오디오 파일을 나타낸다. 상술된 바와 같이 오디오 플레이어는 오디오 파일을 듣기 위해 이용될 수 있다.

잉킹 객체(514)는 터치 스크린 유형의 핸드라이팅(hand writing) 또는 드로잉 애프리케이션에 의해 제공되는 잉킹 엔트리를 나타낸다. 전하 결합 패드(charge couple pads)와 같은 다른 유형의 엔트리 방법 또한 잉킹 엔트리를 제공하는 데에 사용될 수 있다. 잉크 편집/뷰잉 캔버스(ink editing/viewing canvas)(534)를 이용하여 잉크 엔트리를 보기 및/또는 편집할 수 있다.

상술된 바와 같이, 모바일 컴퓨팅 장치들 모두가 스타일러스 유형의 입력 장치를 포함하는 것은 아니다. (스마트 폰과 같이) 키패드 입력만을 갖는 모바일 컴퓨팅 장치의 경우, 객체는 장치 UI에서 선택가능한 방식으로 디스플레이될 수 있다. 예를 들면, 객체들 중 임의의 하나가 다른 액션을 위해 선택될 수 있도록 객체 주위의 사각형과 같은 하이라이팅 메커니즘(highlighting mechanism)이 키스트로크에 기초하여 사방으로 이동될 수 있다. 객체가 일단 선택되면, 사용자에게는 관련된 데이터를 보기/듣기, 편집하기, 객체를 다른 장소로 이동시키기 등과 같은 옵션이 제공될 수 있다.

도 6은 모바일 컴퓨팅 장치에서 동적 정보를 캡쳐하기 위한 단일화된 경험을 제공하는 프로세스(600)를 위한 논리 흐름도를 도시한다. 프로세스(600)는 도 1 및 도 2에 도시된 모바일 컴퓨팅 장치에서 구현될 수 있다.

프로세스(600)는 노트를 개시하라는 지시(indication)가 수신되는 동작(602)에서 시작한다. 이 지시는 사진을 찍기, 오디오 파일의 레코딩 등과 같은, 객체와 관련된 데이터의 레코딩일 수 있다. 이 지시는 또한 멀티미디어 노트 테이킹 애플리케이션의 직접적 활성화일 수 있다. 처리는 동작(602)에서 결정 동작(604)으로 이동한다.

결정 동작(604)에서, 텍스트 엔트리가 요청되는지의 여부가 판정된다. 사용자는 목록과 같은 텍스트에 타이핑함으로써 노트를 시작하기를 원할 수 있다. 텍스트 엔트리를 만들 거라면, 처리는 동작(606)으로 이동한다. 그렇지 않을 경우, 처리는 결정 동작(608)으로 계속된다.

동작(606)에서, 사용자는 노트에 텍스트 엔트리를 배치하여(place) 포맷한다. 처리는 그 후 동작(602)으로 돌아간다. 결정 동작(608)에서, 객체가 노트에 삽입될 것인지의 여부가 판정된다. 노트 지시가 객체에 관련된 데이터의 레코딩이었다면, 객체는 자동으로 입력될 수 있다. 반면, 사용자는 이미 오픈된 노트에 새 객체를 삽입하기를 원할 수 있다. 객체를 삽입하고자 한다면, 처리는 동작(610)으로 이동한다.

동작(610)에서, 객체가 삽입된다. 애플리케이션은 객체의 그래픽 아이콘의 삽입 이외에도, 객체와 관련된 데이터를 삽입하기 위해 원시 애플리케이션 또는 통합 모듈을 개시할 수 있다. 이것은, 예를 들면, 온-보드 카메라를 활성화하기, 오디오 레코딩을 시작하기, 비디오 파일 선택을 위해 UI를 활성화시키기 등을 포함할 수 있다. 처리는 동작(610)에서 동작(602)으로 되돌아간다.

결정 동작(608)에서 삽입될 객체가 없다면, 처리는 객체가 리뷰될 것인지의 여부가 판정되는 결정 동작(612)으로 진행한다. 기존의 노트는 서로 다른 데이터 유형에 대응하는 하나 이상의 객체들을 포함할 수 있다. 사용자가 이들 객체들 중 하나를 리뷰하고자 하는 바램을 나타내는 경우에, 처리는 동작(614)으로 이동한다. 그렇지 않으면, 처리는 결정 동작(616)으로 계속된다.

동작(614)에서, 객체 리뷰어(reviewer)가 활성화된다. 동작(610)에서 데이터를 생성하는 것과 마찬가지로, 객체(예를 들면, 오디오 플레이어, 비디오 플레이어, 잉킹 캔버스 등)와 관련된 데이터를 리뷰하기 위해 별도의 애플리케이션 또는 통합 모듈이 사용될 수 있다. 처리는 동작(614)으로부터 동작(602)으로 돌아간다.

결정 동작(616)에서, 객체가 편집될지의 여부가 결정된다. 객체가 편집되는 경우에는, 처리는 동작(618)으로 이동한다. 동작(618)에서, 리뷰하는 동작과 마찬가지로 객체 편집자가 활성화된다. 처리는 이후 동작(602)으로 돌아간다.

결정 동작(616)에서 편집될 객체가 없다면, 처리는 결정 동작(620)으로 진행한다. 결정 동작(620)에서, 노트가 저장될 것인지의 여부가 결정된다. 노트가 저장되지 않을 경우에는, 처리는 동작(622)으로 이동한다. 그렇지 않다면, 처리는 동작(602)으로 돌아간다.

동작(622)에서, 업데이트 노트가 저장된다. 사용자가 객체를 삽입, 제거, 및 편집하는 것 뿐만 아니라 노트 내의 텍스트적 데이터를 편집하는 것을 허용함으로써, 노트는 반복적으로 편집될 수 있다. 동작(622) 후에, 처리는 추가의 액션을 위해 호출 프로세스로 이동한다.

프로세스(600)에 포함된 동작들은 설명하기 위한 것이다. 모바일 컴퓨팅 장치에서 동적 정보를 캡쳐하기 위한 단일화된 경험을 제공하는 것은, 보다 적은 단계들 또는 추가의 단계들을 갖는 유사한 프로세스에 의할 뿐만 아니라 본원에 설명된 원리를 이용하는 동작들의 다른 순서로도 구현될 수 있다.

이제 도 7을 참조해 보면, 모바일 컴퓨팅 장치와 데스크탑 컴퓨팅 장치 간에 노트 문서와 그 내용을 동기화하는 것을 도시하는 개념도가 도시되어 있다. 일부 프로그램은 다른 데이터 유형으로의 링크가 있는 데스크탑 애플리케이션에서 노트 테이킹을 허용한다. 이러한 프로그램의 예로는, 워싱턴 주 레드몬드의 마이크로소프트 사의 ONENOTE®이다. 그러나, 통상적으로, 이러한 프로그램은 온-보드 카메 라로 찍은 사진과 같이 직접 온-보드 소스로부터의 비-텍스트 데이터를 삽입하는 기능을 제공하지는 않는다.

반면, 데스크탑 노트 테이킹 애플리케이션과 모바일 노트 테이킹 애플리케이션의 두 개의 애플리케이션이 협력하여 작업할 수 있는 시나리오가 떠오를 수 있다. 예를 들면, 고객을 만나러 가는 영업 사원은 고객 정보, 논의해야할 항목 목록, 심지어는 식별을 용이하게 하기 위한 고객의 사진을 삽입한 데스크탑 애플리케이션에 자신의 미팅을 위한 노트를 준비할 수 있다. 랩탑 컴퓨터를 가지고 가는 대신, 영업 사원은 이 준비된 노트를 자신의 모바일 장치(예를 들면, 셀룰러 폰)에 다운로드하기 원할 수 있다. 미팅 동안, 영업 사원은 자신의 전화기를 이용하여 몇가지 노트를 추가하거나 하나 이상의 사진을 찍게 될 수 있다. 그후, 사무실로 돌아와서, 모든 정보를 자신의 데스크탑 애플리케이션에 통합시키기를 원할 수 있다. 따라서, 데스크탑 노트 테이킹 애플리케이션과 모바일 컴퓨팅 장치 애플리케이션 간의 자연스러운 천이(seamless transition) 및 동기화는 영업 사원에게 종합적인 생산성 환경(comprehensive productivity environment)을 제공할 수 있다.

도 7의 모바일 컴퓨팅 장치(702)는 상술된 바와 같은 멀티미디어 노트 테이킹 애플리케이션을 포함한다. 데스크탑 컴퓨팅 장치(706)는 데스트톱 노트 테이킹 애플리케이션을 포함한다. 두 개의 장치는 매체(704)를 통해 서로 통신한다. 통신은 유선 또는 무선일 수 있다(예를 들면, 적외선, RF, 직렬, 병렬 등).

노트(708)는 모바일 컴퓨팅 장치(702)의 노트 테이킹 애플리케이션에 의해 생성되는 예시적인 문서이다. 이것은 텍스트적 데이터와 서로 다른 유형의 비-텍 스트 데이터에 대응하는 많은 객체를 포함할 수 있다. 마찬가지로, 노트(710)는 데스크탑 컴퓨팅 장치(706)에서 노트 테이킹 애플리케이션에 의해 생성되는 예시적인 문서이다. 노트(710)는 동일하거나 서로 다른 텍스트적 데이터, 및 서로 다른 유형의 비-텍스트 데이터에 대응하는 기타 객체를 포함할 수 있다.

일 실시예에 따르면, 노트(708)는 리치 텍스트 포맷을 이용해 생성되어 텍스트적 데이터의 포맷팅과 그와 유사한 속성들을 유지할 수 있다. 노트(710)는 XML(eXtensible Markup Language)과 같은 또 다른 포맷을 이용하여 생성될 수 있다. 각 노트의 데이터 포맷은 또한 비-텍스트 데이터가 이 문서에 포함되는 방법을 결정한다. 예를 들면, 한 포맷에서는 이미지와 같은 비-텍스트 데이터는 이진 포맷의 문서에 통합될 수 있는 반면, 또 다른 포맷에서는, 이미지는 그 원시(native) 포맷으로 유지되며 이미지 파일과 노트 문서의 객체 간에 링크가 확립된다.

동기화 프로세스(712) 동안, 한 쪽 장치 상의 노트가 한 장치에서 다른 장치로 완전히 전송될 수 있거나, 노트가 대상 장치의 기본설정 포맷팅으로 변환될 수 있다. 다른 실시예에 따르면, 노트 내의 객체와 같은 개개의 항목들은 어느 한쪽의 장치에서 업데이트될 수 있다. 예를 들면, 모바일 컴퓨팅 장치(702)로 찍은 사진이 노트(708) 내에 이진 포맷으로 저장될 수 있다. 동기화 처리(712) 동안, 이 사진 데이터는 JPEG와 같은 이미지 포맷으로 변환되어 대응 노트(710)에 링크로서 삽입될 수 있다.

상술된 데이터의 유형, 파일 포맷 및 동기화 유형은 예시를 위한 것이다. 멀티미디어 노트를 동기화함으로써 모바일 생산성을 위한 단일화된 환경을 제공하는 것은 본원에 설명된 것 이외의 데이터 유형 및 포맷을 이용하여 달성될 수 있다.

상술된 명세서, 예시 및 데이터는 실시예의 구성의 제조 및 사용에 관한 완벽한 설명을 제공한다. 본 내용이 구조적인 특징 및/또는 방법론적인 액트에 특정한 언어로 설명되었지만, 첨부된 청구항에 정의된 내용이 상술된 특정 특징 또는 액트에 반드시 제한될 필요가 없음을 이해할 것이다. 오히려, 상술된 특정 특징 및 액트는 청구항과 실시예를 구현하는 예시적인 형태로서 개시된다.

Claims

모바일 컴퓨팅 장치에서의 멀티미디어 노트 테이킹(multimedia note taking)을 위해, 컴퓨팅 장치에서 적어도 부분적으로 실행되는 컴퓨터 구현 방법으로서,

동기화 지시에 응답하여, 모바일 노트 테이킹 애플리케이션(mobile note taking application)과 데스크탑 노트 테이킹 애플리케이션(desktop note taking application)의 노트 문서들(708, 710)의 대응 쌍을 결정하는 단계;

동기화될 각 노트 문서의 요소들(508, 510, 512, 514)을 결정하는 단계;

대상 노트 테이킹 애플리케이션(target note taking application)과의 호환성(compatibility)을 위해 각 요소의 포맷을 변환하는 단계;

상기 변환된 요소들을 상기 대상 노트 테이킹 애플리케이션에 삽입하는 단계

를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 동기화 지시는, 사용자 요청, 및 상기 모바일 노트 테이킹 애플리케이션과 상기 데스크탑 노트 테이킹 애플리케이션 간의 통신의 확립 중 하나를 포함하는 컴퓨터 구현 방법.
제2항에 있어서, 상기 동기화 지시는 주기적으로 반복되는 컴퓨터 구현 방법.
제1항에 있어서, 상기 각 문서의 요소들은 텍스트적 데이터(textual data)(504, 506), 및 비-텍스트 데이터(non-text data)에 대응하는 적어도 하나의 객체(508, 510, 512, 514)를 포함하는 컴퓨터 구현 방법.
제4항에 있어서, 상기 모바일 노트 테이킹 애플리케이션의 텍스트적 데이터(504, 506)는 리치 텍스트 포맷(rich text format)인 컴퓨터 구현 방법.
제4항에 있어서, 상기 비-텍스트 데이터(508, 510, 512, 514)는 오디오 데이터, 비디오 데이터, 정지 이미지 데이터(still image data) 및 잉킹 엔트리 데이터(inking entry data)의 집합으로부터 적어도 하나를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 각 요소의 포맷을 변환하는 단계(712)는, 원시 포맷(native format)의 비-텍스트 데이터를 이진 포맷으로 변환하는 단계, 및 이 이진 포맷으로 변환된 비-텍스트 데이터를 상기 모바일 노트 테이킹 애플리테이션의 상기 노트 문서 내로 삽입하는 단계를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 각 요소의 포맷을 변환하는 단계(712)는, 상기 모바일 노트 문서로부터의 이진 포맷의 비-텍스트 데이터를 기본설정의 원시 포맷(a preferred native format)으로 변환하는 단계, 및 상기 비-텍스트 데이터에의 링크를 상기 데스크탑 노트 테이킹 애플리케이션의 노트 문서 내에 삽입하는 단계를 포 함하는 컴퓨터 구현 방법.
제8항에 있어서, 상기 모바일 노트 문서에 이진 포맷으로 저장된 이미지를 변환하는 단계는, 상기 이미지를 이미지 포맷으로 변환하는 단계, 별도의 파일로서 저장하는 단계, 및 상기 저장된 이미지 파일에 대한 링크를 상기 데스크탑 노트 테이킹 애플리케이션에 삽입하는 단계를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 모바일 노트 테이킹 애플리케이션의 노트 문서로의 변환 동안, 상기 데스크탑 노트 테이킹 애플리케이션이 준비한 노트 문서의 적어도 하나의 포맷팅 특징(feature)을 동적으로 감소시키는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 모바일 컴퓨팅 장치의 기능(capability)에 기초하여, 상기 모바일 노트 테이킹 애플리케이션의 노트 문서로의 변환 동안, 상기 데스크탑 노트 테이킹 애플리케이션이 준비한 노트 문서의 적어도 하나의 객체를 동적으로 제거하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 대상 컴퓨팅 장치(target computing device)상에 대응하는 노트 문서가 없는 경우에는, 노트 문서(708, 710) 전체를 상기 대상 애플리케이션으로 이동시키는 단계를 더 포함하는 컴퓨터 구현 방법.
모바일 컴퓨팅 장치에서 사용하기에 적합한 동적 정보를 캡쳐하기 위한 단일화된 환경을 제공하기 위한 시스템으로서,

텍스트적 데이터와 객체로 표현되는 비-텍스트 데이터를 결합하는 노트 문서(502)를 생성하고, 상기 텍스트적 데이터 및 객체들에 관련된 상기 비-텍스트 데이터의 삽입, 리뷰, 편집 및 제거를 가능하게 하도록 구성된 모바일 노트 테이킹 애플리케이션;

텍스트적 데이터와 객체로 표현되는 비-텍스트 데이터를 결합하는 다른 노트 문서(502)를 생성하고, 상기 텍스트적 데이터 및 객체들에 관련된 상기 비-텍스트 데이터의 삽입, 리뷰, 편집 및 제거를 가능하게 하도록 구성된 데스크탑 노트 테이킹 애플리케이션; 및

하나의 노트 테이킹 애플리케이션의 노트 문서의 적어도 하나의 요소의 포맷을 변환하여 그 요소를 나머지 다른 노트 테이킹 애플리케이션의 대응 노트 문서로 이동시킴으로써, 상기 노트 테이킹 애플리케이션들에 의해 생성되는 노트 문서들을 동기화(712)하도록 구성된 동기화 엔진

을 포함하는, 단일화된 환경 제공 시스템.
제13항에 있어서, 상기 동기화 엔진은 노트 문서 전체를 대상 노트 테이킹 애플리케이션으로 이동시키도록 더 구성되는, 단일화된 환경 제공 시스템.
제13항에 있어서, 상기 동기화 엔진은 상기 모바일 노트 테이킹 애플리케이션과 상기 데스크탑 노트 테이킹 애플리케이션으로부터의 각각의 비-텍스트 데이터 유형의 기본설정 포맷 목록을 결정하도록 더 구성되는, 단일화된 환경 제공 시스템.
제13항에 있어서, 상기 동기화 엔진은, 상기 모바일 노트 테이킹 애플리케이션이 실행되는 모바일 컴퓨팅 장치(702) 및 상기 데스크탑 노트 테이킹 애플리케이션이 실행되는 데스크탑 컴퓨팅 장치의 능력(capability)에 기초하여, 어느 요소들을 이동시킬지를 결정하도록 더 구성되는, 단일화된 환경 제공 시스템.
제16항에 있어서, 상기 모바일 컴퓨팅 장치 및 상기 데스크탑 컴퓨팅 장치(706)의 능력은, 온-보드 자원들(on-board resources), 메모리 용량(capacity), 처리 용량 및 디스플레이 용량의 집합으로부터 적어도 하나를 포함하는, 단일화된 환경 제공 시스템.
모바일 컴퓨팅 장치와 다른 컴퓨팅 장치 간에 멀티미디어 노트 테이킹을 동기화하기 위한 컴퓨터 실행가능 명령어들을 갖는 컴퓨터 판독가능 매체로서,

상기 명령어들은,

텍스트적 데이터와 객체로 표현되는 비-텍스트 데이터를 결합하는 제1 노트 문서(708)를 생성하는 것;

제2 노트 문서(710)와 동기화될 상기 제1 노트 문서(708)의 요소들을 결정하는 것; 및

상기 제1 노트 문서의 적어도 하나의 요소의 포맷을 변환하고, 이 변환된 요소를 상기 제2 노트 문서로 이동시킴으로써 상기 제1 및 제2 노트 문서들을 동기화하는(712) 것

을 포함하는, 컴퓨터 판독가능 매체.
제18항에 있어서, 상기 포맷을 변환하는 것은, 비-텍스트 데이터를 원시 포맷에서 이진 포맷으로 변환(translate)시키는 것 및 비-텍스트 데이터를 상기 이진 포맷에서 상기 원시 포맷으로 변환시키는 것 중 하나를 포함하는, 컴퓨터 판독가능 매체.
제18항에 있어서, 상기 비-텍스트 데이터(508, 510, 512, 514)는 이미지 데이터, 비디오 데이터, 오디오 데이터, 및 잉킹 데이터의 집합으로부터 적어도 하나를 포함하는 컴퓨터 판독가능 매체.