CN101853253A - 在移动终端中管理多媒体内容的设备和方法 - Google Patents

Abstract

提供一种在移动终端中管理多媒体内容的设备和方法。所述设备包括：数据采集单元，用于将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；数据库建立单元，用于基于数据采集单元获得的关键字值来建立多媒体内容数据库；存储单元，用于存储数据库建立单元所建立的多媒体内容数据库；查询输入单元，用于将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；搜索单元，用于基于查询输入单元提取的搜索词从存储在存储单元中的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及搜索结果输出单元，用于向用户输出搜索单元的搜索结果。

Description

在移动终端中管理多媒体内容的设备和方法

技术领域

本发明涉及一种在移动终端中管理多媒体内容的设备和方法，更具体地说，本发明涉及一种通过将多媒体内容统一转换为文本数据，从而建立多媒体内容数据库以便管理和查询多媒体内容的设备和方法。

背景技术

随着通信技术以及数字信号处理技术的发展，移动终端除了实现基本的语音通话功能之外，还能够执行各种其它功能，诸如拍摄照片、发送消息、收发电子邮件、GPS(全球定位系统)定位等。在使用上述功能时，将产生和传输大量的各种多媒体内容或信息，诸如，短消息、电子邮件、照片、语音通话等。由于各种多媒体内容具有各自不同的数据格式，因此，难以在不同种类的多媒体内容之间执行对信息的统一管理。

此外，移动终端的普及率如此之高，以致移动终端已经变成人们彼此联络的主要手段。因此，不仅在移动终端的通讯录中存储了大量联系人信息，而且在各种多媒体内容的信息中体现出不同联系人之间的各种人际关系，例如，在甲发送给乙的电子邮件中会提到丙，而乙和丙的合照可能存储在乙的移动终端中。此外，在两个联系人之间的语音通话或短消息中也会提到另外的联系人等等。然而，这种多媒体内容中体现出来的人际关系在现有的移动终端中并不能得到适当的反映或查询。因此，需要能够在移动终端中通过管理多媒体内容来反映出各种联系人之间的人际关系的技术方案。

发明内容

本发明的目的在于提供一种能够在移动终端中管理各种媒体信息的设备和方法，通过所述设备和方法，各种多媒体信息被转换为统一的文本形式，并基于统一的形式进行搜索，而各个联系人在大量多媒体信息中体现出来的人际关系也能够得到良好地反映。

根据本发明的一方面，提供一种用于在移动终端中管理多媒体内容的设备，包括：数据采集单元，用于将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；数据库建立单元，用于基于数据采集单元获得的关键字值来建立多媒体内容数据库；存储单元，用于存储数据库建立单元所建立的多媒体内容数据库；查询输入单元，用于将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；搜索单元，用于基于查询输入单元提取的搜索词从存储在存储单元中的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及搜索结果输出单元，用于向用户输出搜索单元的搜索结果。

所述数据采集单元包括：文本转换单元，用于将多媒体内容转换为文本数据；以及文本分析单元，用于按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值。

所述文本转换单元包括以下项中的至少一个：短消息转换单元，用于将短消息转换为文本数据；电子邮件转换单元，用于将电子邮件转换为文本数据；语音通话转换单元，用于将语音通话转换为文本数据；场景分类和聚类单元，用于按照预定的类别将照片分类并通过聚类处理来得出与该照片类似的照片，并将照片的场景分类和聚类结果记录为文本数据；面部识别单元，用于识别出照片中各个人物的面部特征以及总人数，并将面部识别的结果记录为文本数据；以及电子地图转换单元，用于参照电子地图将定位系统的位置信息转换为文本数据。

所述文本分析单元包括：词语划分单元，用于将文本转换单元输出的文本正文划分为多个词语；词性确定单元，用于确定由词语划分单元划分的多个词语的词性；人名提取单元，用于依照词性确定单元的输出结果来提取文本正文中的人名；时间提取单元，用于依照词性确定单元的输出结果来提取文本正文中的时间词语；重要词语提取单元，用于依照词性确定单元的输出结果来提取文本正文中的重要词语；以及其它关键字值提取单元，用于从文本转换单元输出的除文本正文之外的其它信息提取关键字值。

所述设备还包括：时间信息解析单元，用于将时间提取单元提取的时间词语转换为时间信息。

所述设备还包括：近义词产生单元，用于针对重要词语提取单元提取的重要词语来产生相应的近义词。

所述数据库建立单元基于关键字、关键字值以及相关属性描述来建立多媒体内容数据库。

所述数据库建立单元还建立联系人数据库，并且联系人数据库的联系人记录随着多媒体内容数据库而更新。

所述查询输入单元包括：文本识别单元，用于将用户通过键盘或手写板输入的查询信息转换为文本数据；文本捕获单元和光字符识别OCR单元，用于捕获和识别被查询照片上的字符数据；面部识别单元，用于识别出查询照片中各个人物的面部特征，并将面部识别的结果记录为文本数据；以及语音识别单元，用于将用户输入的语音查询转换为文本数据。

所述搜索结果输出单元以形象化的方式向用户输出搜索单元的搜索结果。

所述搜索单元基于查询输入单元提取的搜索词，参照联系人数据库，从存储在存储单元中的多媒体内容数据库中搜索与搜索词相关的多媒体内容。

所述搜索单元基于多媒体内容数据库和联系人数据库来搜索联系人在多媒体内容中的相互关系。

如果查询输入单元提取多个搜索词，则搜索单元按照预定的逻辑关系或用户设置的逻辑关系来针对所述多个搜索词进行搜索。

根据本发明的另一方面，提供一种用于在移动终端中管理多媒体内容的方法，包括：将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；基于所述关键字值来建立多媒体内容数据库；存储所建立的多媒体内容数据库；将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；基于提取的搜索词从存储的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及向用户输出搜索结果。

将多媒体内容转换为文本数据的步骤包括以下步骤中的至少一个：将短消息转换为文本数据；将电子邮件转换为文本数据；将语音通话转换为文本数据；按照预定的类别将照片分类并通过聚类处理来得出与该照片类似的照片，并将照片的分类和聚类结果记录为文本数据；识别出照片中各个人物的面部特征以及总人数，并将识别的结果记录为文本数据；以及参照电子地图将定位系统的位置信息转换为文本数据。

按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值的步骤包括：将文本正文划分为多个词语；确定划分的多个词语的词性；依照划分的多个词语的词性来提取文本正文中的人名；依照划分的多个词语的词性来提取文本正文中的时间词语；依照划分的多个词语的词性来提取文本正文中的重要词语；以及从除文本正文之外的其它信息提取关键字值。

在所述方法中，还包括：将提取的时间词语转换为时间信息。

在所述方法中，还包括：针对提取的重要词语来产生相应的近义词。

所述多媒体内容数据库中的多媒体内容记录包括关键字、关键字值以及相关属性描述。

在所述方法中，还包括：建立联系人数据库，并且联系人数据库的联系人记录随着多媒体内容数据库而更新。

将用户输入的查询信息识别为文本数据的步骤包括以下步骤中的至少一个：将用户通过键盘或手写板输入的查询信息转换为文本数据；捕获和识别被查询照片上的字符数据；识别出查询照片中各个人物的面部特征，并将识别的结果记录为文本数据；以及将用户输入的语音查询转换为文本数据。

在向用户输出搜索结果的步骤中，以形象化的方式向用户输出搜索结果。

在所述方法中，还包括：基于提取的搜索词，参照联系人数据库，从存储的多媒体内容数据库中搜索与搜索词相关的多媒体内容。

在所述方法中，还包括：基于多媒体内容数据库和联系人数据库来搜索联系人在多媒体内容中的相互关系。

在所述方法中，还包括：如果提取多个搜索词，则按照预定的逻辑关系或用户设置的逻辑关系来针对所述多个搜索词进行搜索。

附图说明

通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的在移动终端中管理多媒体内容的设备的框图；

图2是示出根据本发明示例性实施例的在移动终端中管理多媒体内容的方法的流程图；

图3是示出图1所示的在移动终端中管理多媒体内容的设备中的数据采集单元的详细结构的示图；

图4示出输入到图3所示的数据采集单元的照片；

图5示出存储在移动终端中的联系人照片的示例；

图6是示出图1所示的在移动终端中管理多媒体内容的设备中的查询输入单元的详细结构的示图；以及

图7示出图1所示的在移动终端中管理多媒体内容的设备中的搜索结果输出单元输出的搜索结果的示例。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1是示出根据本发明示例性实施例的在移动终端中管理多媒体内容的设备的框图。如图1所示，根据本发明示例性实施例的在移动终端中管理多媒体内容的设备包括：数据采集单元10，用于将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；数据库建立单元20，用于基于数据采集单元10获得的关键字值来建立多媒体内容数据库；存储单元30，用于存储数据库建立单元20所建立的多媒体内容数据库；查询输入单元40，用于将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；搜索单元50，用于基于查询输入单元40提取的搜索词从存储在存储单元30中的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及搜索结果输出单元60，用于向用户输出搜索单元的搜索结果。

以下将参照图2来描述利用图1所示的管理多媒体内容的设备来实现根据本发明的管理多媒体内容的方法的示例。

图2是示出根据本发明示例性实施例的在移动终端中管理多媒体内容的方法的流程图。参照图2，在步骤S100，由数据采集单元10将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；在步骤S200，由数据库建立单元20基于数据采集单元10获得的关键字值来建立多媒体内容数据库，并将建立的多媒体内容数据库存储在存储单元30中；在步骤S300，由查询输入单元40将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；在步骤S400，由搜索单元50基于查询输入单元40提取的搜索词从存储在存储单元30中的多媒体内容数据库中搜索与搜索词相关的多媒体内容；然后，在步骤S500，由搜索结果输出单元60向用户输出搜索单元40的搜索结果。

以下将参照图3到图7来描述图1所示的在移动终端中管理多媒体内容的设备的各个构件及其具体操作。

图3是示出图1所示的在移动终端中管理多媒体内容的设备中的数据采集单元10的详细结构的示图。作为示例，图3所示的数据采集单元10可包括：文本转换单元101，用于将多媒体内容转换为文本数据；文本分析单元102，用于按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值。

根据本发明的示例性实施例，文本转换单元101将各种多媒体内容转换为文本数据。作为示例，对于短消息，文本转换单元101包括短消息转换单元1011，用于将短消息转换为文本数据；对于电子邮件，文本转换单元101包括电子邮件转换单元1012，用于将电子邮件转换为文本数据；上述短消息转换单元1011和电子邮件转换单元1012被设计为将完整的短消息或电子邮件信息转换为文本格式的数据，其包括发送方、接收方、抄送方、标题、正文、收发时间等。对于语音通话，文本转换单元101包括语音通话转换单元1013，用于将语音通话转换为文本数据。可利用现有的语音识别技术来构建语音通话转换单元1013，例如，语音通话转换单元1013可基于预先建立的语言模型和声学模型来识别出语音通话的内容，并将其转换为文本数据，除了语音通话的内容之外，语音通话转换单元1013还将语音通话的发送方、接收方、时间等转换为文本数据；对于照片，文本转换单元101包括场景分类和聚类单元1014，用于按照预定的类别将照片分类并通过聚类处理来得出与该照片类似的照片，其中，预定的类别是指预先设置的照片类别，例如，人像(单人照、合影、集体照)、风景(山水、海滩、天空)、物品(花卉、静物)等等，而聚类则是采用模式识别的常用算法，通过提取照片画面中的特征，根据某种距离测度，衡量照片之间的相似性，并将相互间距较小的照片聚成一类，所述场景分类和聚类单元1014将照片的场景分类和聚类结果记录为文本数据；以及面部识别单元1015，用于识别出照片中各个人物的面部特征以及总人数，优选地，可参照联系人数据库(将在稍后描述)中的照片或特定的人像数据库来识别出待转换照片中的各个人物的信息，所述面部识别单元1015将面部识别的结果记录为文本数据。此外，优选地，文本转换单元还包括电子地图转换单元1016，用于参照电子地图将定位系统的位置信息转换为文本数据，从而可提供当产生或接收多媒体内容时的地址的文本数据。本领域技术人员应该理解：上述各个单元仅仅作为示例，并不是为了限制本发明，实际上，多媒体内容的种类是灵活多变的，可针对需要管理的多媒体内容设置相应的文本转换单元，而只要能够达到文本转换的功能，任何用于实现文本转换的现有技术均能够应用于本发明。

根据本发明的示例性实施例，文本分析单元102包括：词语划分单元1021，用于将文本转换单元101输出的文本正文划分为多个词语；词性确定单元1022，用于确定由词语划分单元1021划分的多个词语的词性；人名提取单元1023，用于依照词性确定单元1022的输出结果来提取文本正文中的人名；时间提取单元1024，用于依照词性确定单元1022的输出结果来提取文本正文中的时间词语；优选地，在时间提取单元1024之后跟有时间信息解析单元1026，用于将时间提取单元1024提取的时间词语转换为时间信息；重要词语提取单元1025，用于依照词性确定单元1022的输出结果来提取文本正文中的重要词语；优选地，在重要词语提取单元1025之后可设置有近义词产生单元(未示出)，用于针对重要词语提取单元1025提取的重要词语来产生相应的“近义词”，以便搜索更加智能化和全面化；其它关键字值提取单元1027，用于从文本转换单元101输出的除文本正文之外的其它信息(诸如发送方、接收方、抄送方、标题、收发时间、地点等)提取关键字值。

如上所述，数据采集单元10在将各种多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值之后，将针对各个多媒体内容得到的数据采集结果发送到数据库建立单元20。然后，数据库建立单元20基于数据采集单元10输出的内容来建立多媒体内容数据库。作为示例，在多媒体内容数据库中，每个多媒体内容基于预定的反映多媒体内容关键属性的关键字、相应的关键字值以及相关属性描述来记录，每个多媒体内容记录具有自己的索引，索引可表示为“字母+标号”的形式，其中，字母表示媒体类型，标号表示多媒体记录在该媒体类型中的序号。

例如，对于在2008年8月3日19点55分，在国贸中心从张三接收到的短消息“小丽，晚上有空么？一起去看电影？”这一项多媒体内容，在经过数据采集单元10的处理之后，可得出：短消息的接收时间为“2008-8-3  19:55”，接收地点为“国贸中心”，发送方为“张三”，正文中的人名为“小丽”，正文中的时间为“晚上”，其可被时间信息解析单元1026解析为“2008-8-318:00-24:00”，正文中的重要词语为“电影”，词性为名词，而近义词产生单元可就此生成近义词“影片”。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表1所示。

表1、接收短消息在多媒体内容数据库中的记录示例

如表1所述，对于关键字<媒体类型>，其关键字值为“短消息”，相关属性描述指示该短消息是发送的短消息还是接收的短消息，在该示例中，短消息为接收到的短消息；对于关键字<发送方><人名>，其关键字值为“张三”，相关属性描述首先指示“张三”是否为移动终端的联系人，如果是移动终端的联系人，则“联系人”＝Y，如果不是移动终端的联系人，则“联系人”＝N；此外，优选地，在“联系人”＝Y的情况下，相关属性描述可进一步指出该联系人在联系人数据库(其将在后面描述)中的索引；对于关键字<时间>，其关键字值为“2008-8-3  19:55”；对于关键字<地点>，其关键字值为“国贸中心”，相关属性描述指示该地点是发送地点还是接收地点，在该示例中，“国贸中心”为接收地点；对于关键字<正文><人名>，其关键字值为“小丽”，相关属性描述的内容同关键字<发送人><人名>；对于关键字<正文><时间>，其关键字值为“晚上”，优选地，其相关属性描述指示时间词语“晚上”的解析结果“2008-8-3  18:00-24:00”；对于关键字<正文><重要词语>，其关键字值为“电影”，相关属性描述指示“电影”的词性，优选地，其相关属性描述还指示“电影”的近义词，即，“影片”。

类似地，对于在2008年8月3日20点00分，在国贸中心向张三发送的短消息“电影票已经订好了，晚上见”这一项多媒体内容，在经过数据采集单元10的处理之后，可得出：短消息的发送时间为“2008-8-3  20:00”，发送地点为“国贸中心”，接收方为“张三”，正文中的时间为“晚上”，其可被时间信息解析单元1026解析为“2008-8-3  18:00-24:00”，正文中的重要词语为“电影”，词性为名词，而近义词产生单元可就此生成近义词“影片”，正文中另一重要词语为“电影票”，词性为名词。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表2所示。

表2、发送短消息在多媒体内容数据库中的记录示例

作为另一示例，对于在2008年9月5日9点38分，在国贸中心从李四接收到的标题为“快递已到”、同时抄送到欣欣的电子邮件“小丽，您好！你发给我的快递已经收到了，所有货品完好无损，谢谢！李四”这一项多媒体内容，在经过数据采集单元10的处理之后，可得出：电子邮件的接收时间为“2008-9-5  9:38”，接收地点为“国贸中心”，发送方为“李四”，接收方为“小丽”，抄送方为“欣欣”，标题中的重要词语为“快递”，词性为名词，正文中的人名为“小丽”、“李四”，正文中的重要词语为“快递”，词性为名词，正文中的另一重要词语为“货品”，词性为“名词”。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表3所示。

表3、接收电子邮件在多媒体内容数据库中的记录示例

类似地，对于在2008年8月4日19点20分，在望京新城发送给欣欣的标题为“推荐一部好电影”的电子邮件“昨天和张三去看了《xxx》，挺好看的，你有空可以和小安一起去看看”这一项多媒体内容，在经过数据采集单元10的处理之后，可得出：电子邮件的发送时间为“2008-8-4  19:20”，发送地点为“望京新城”，发送方为“小丽”，接收方为“欣欣”，标题中的重要词语为“电影”，正文中的人名为“张三”、“小安”，正文中的时间为“昨天”，其可被时间信息解析单元1026解析为“2008-8-3  00:00-24:00”。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表4所示。

表4、发送电子邮件在多媒体内容数据库中的记录示例

作为另一示例，对于在2008年9月5日10点15分到10点19分，在国贸中心拨打给李四的语音呼叫“我：喂 你好 是李四吗 李四：你好 小丽吧我：你转来的贷款已经到账了 麻烦你了 李四：别客气 我：那有空再联络啦”这一项多媒体内容，在经过数据采集单元10的处理之后，可得出：语音呼叫的开始时间为“2008-9-5  10:15”，结束时间为“2008-9-5  10:19”，发送地点为“国贸中心”，发送方为“小丽”，接收方为“李四”，正文中的人名为“李四”、“小丽”，正文中的重要词语为“贷款”，词性为“名词”。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表5所示。

表5、呼出语音通话在多媒体内容数据库中的记录示例

在表5中，由于语音通话持续一段时间，因此对于关键字“时间”而言，产生两个具体时刻，此时，时间的相关属性描述需要指出开始时间是什么时刻，结束时间是什么时刻。

作为另一示例，对于如图4中的(a)所示的照片，该照片拍摄时间为2008年9月1日14点44分，拍摄地点为长安大剧院，照片左侧为欣欣，右侧为小安。该照片经过数据采集单元10的处理之后，可得出：照片的拍摄时间为“2008-9-1  14:44”，拍摄地点为“长安大剧院”，照片类别为“人像”，照片中的两个人分别是“欣欣”和“小安”，而分类和聚类单元1014还可识别出该照片存在两张相似照片。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表6所示。

表6、图4中的(a)所示照片在多媒体内容数据库中的记录示例

在表6中，“数量”指示人像中的人数，p1和p2分别指示与该照片类似的两张照片在多媒体内容数据库中的索引。

类似地，对于如图4中的(b)所示的照片，该照片拍摄时间为2008年10月3日10点00分，拍摄地点为巴松措风景区。该照片经过数据采集单元10的处理之后，可得出：照片的拍摄时间为“2008-10-3  10:00”，拍摄地点为“巴松措风景区”，照片类别为“风景”，而分类和聚类单元1014还可识别出该照片存在一张相似照片。基于上述关键词以及关键词值，数据库建立单元20在多媒体内容数据库中产生相应的多媒体内容记录，具体如表7所示。

表7、图4中的(b)所示照片在多媒体内容数据库中的记录示例

关键字	关键字值	相关属性描述
			<媒体类型>	照片
<照片类别>	风景
			<相似照片>	1张	“1”＝p3
<时间>	2008-10-3  10:00
			<地点>	巴松措风景区	“属性”＝拍摄地点

在表7中，p3表示与该照片相似的照片在多媒体内容数据库中的索引。

以上各个记录的关键字可基于多媒体内容的类型和搜索的要求而灵活设置，例如，可删除某些关键字，也可添加新的关键字，本发明并不受限于表1到表7给出的示例。数据库建立单元20将如上所述建立的多媒体内容数据库存储在存储单元30中。

从表1到表7可以看出，移动终端中的各种多媒体内容往往涉及各个联系人之间的相互联系，例如，可通过短消息的内容、电子邮件的抄送方及内容、通话内容、照片中的人像等来反映不同联系人之间的关系。由于本发明的实施例将上述各种多媒体内容转换为文本数据，并建立了相应的数据库，因此，可清楚地反映出这种不同联系人之间的各种相互关系，从而便于移动终端的用户管理他的人际资源。

为了更进一步地将多媒体内容涉及到的人际关系与终端用户的联系人相互关联，作为一种可选方式，本发明通过数据库建立单元20在联系人数据库与多媒体内容数据库之间建立关系，具体操作为在联系人数据库的每个联系人记录中额外记录涉及多媒体内容和其它联系人的信息。

例如，对于联系人欣欣，其在联系人数据库中的照片如图5中的(a)所示，在本发明的该实施例中，欣欣在联系人数据库中的索引为“n3”，联系人书库中的每个联系人基于预定的关键字及其相应的关键字值被记录，特别地，除了姓名、头像、手机、办公电话、住宅电话、铃声、电子邮件、地址等常规关键字中的至少一个或多个之外，本发明的实施例还特别针对多媒体内容数据库设置了关键字“通讯记录”、“媒体记录”和“关联记录”，其中，“通讯记录”指示该联系人在多媒体内容数据库的各个记录中作为<发送方>、<接收方>或<抄送方>出现的次数以及具体出现在哪个记录，“媒体记录”指示该联系人在多媒体内容数据库的各个记录中作为<标题>、<正文>、<人像>等其它位置出现的次数以及具体出现在哪个记录，“关联记录”基于多媒体内容数据库中的各个记录来指示该联系人与其它联系人发生关联的次数，也就是说，每当该联系人与某个其它联系人在某个多媒体内容记录中发生关联，则将指示二者关联次数的变量加1。由此可见，关键字“通讯记录”、“媒体记录”和“关联记录”的具体关键字值是随着多媒体内容记录的增加而实时更新的，具体说来，数据库建立单元20既负责建立多媒体内容数据库，还负责依据多媒体内容数据库的记录增加来更新联系人数据库。

作为示例，下面的表8和表9示出联系人数据库中的记录“欣欣”和“小安”的示例，其中，记录“欣欣”的索引为n3，记录“小安”的索引为n4。

表8、记录“欣欣”在联系人数据库中的记录

关键字	关键字值
		<姓名>	欣欣
<头像>	图5中的(a)所示
		<手机>	13800000000

关键字	关键字值
		<办公室电话>	65799989
<住宅电话>	89825643
		<铃声>	Xxx.mp3
<电子邮件>	Xinxin@abc.com
		<地址>	Xx市xx区xx路xx小区xx号楼x单元x室
<通讯记录>	“数量”＝35，“1”＝e8，“2”＝s2，“3”＝c9，...
		<媒体记录>	“数量”＝28，“1”＝p5，“2”＝e20，“3”＝c9，...
<关联记录>	“n1”＝10，“n2”＝“3”，“n4”＝20，“n5”＝0，...

在表8中，关键字<通讯记录>的关键字值指示该联系人在多媒体内容数据库的各个记录中作为<发送方>、<接收方>或<抄送方>出现的次数为35次，依次具体出现在e8、s2、c9...等记录中，其中，e8、s2和c9为相关多媒体记录在多媒体内容数据库中的索引，该索引表示法通过第一个字母表示多媒体内容的类别，后面的数字表示序号。关键字<媒体记录>的关键字值指示该联系人在多媒体内容数据库的各个记录中作为<标题>、<正文>、<人像>等其它位置出现的次数为28次，依次具体出现在p5、e20、c9...等记录中。关键字<关联记录>的关键字值基于多媒体内容数据库中的各个记录来指示该联系人与其它联系人发生关联的次数，即，与第一联系人n1联系了10次，与第二联系人n2联系了3次，与第四联系人n4联系了20次，与第五联系人n5联系了0次，其中，n1、n2、n4、n5分别为各个联系人在联系人数据库中的索引。

表9、记录“小安”在联系人数据库中的记录

关键字	关键字值
		<姓名>	小安
<头像>	图5中的(b)所示
		<手机>	13400000000
<办公室电话>	82956321

关键字	关键字值
		<住宅电话>	63215487
<铃声>	Yyy.mp3
		<电子邮件>	Xiaoan@xyz.com
<地址>	Yy市yy区yy路yy小区yy号楼y单元y室
		<通讯记录>	“数量”＝2，“1”＝s60，“2”＝c2
<媒体记录>	“数量”＝8，“1”＝p5，“2”＝e20，“3”＝s9，...
		<关联记录>	“n1”＝0，“n2”＝1，“n4”＝20，“n5”＝0，...

各个关键字及其关键字值的含义与表8的相同，就不再此一一描述了。

作为可选方式，数据库建立单元20也可将上述联系人数据库存储在存储单元30中。

图6是示出图1所示的在移动终端中管理多媒体内容的设备中的查询输入单元40的详细结构的示图。如图6所示，根据本发明示例性实施例的查询输入单元40可包括文本识别单元401，用于将用户通过键盘或手写板输入的查询信息转换为文本数据；文本捕获单元402和OCR(光字符识别)单元403，用于捕获和识别被查询照片上的字符数据；面部识别单元404，该面部识别单元404与数据采集单元10中的面部识别单元1015类似，用于识别出查询照片中各个人物的面部特征，具体说来，可参照联系人数据库中的照片或特定的人像数据库来识别出待查询照片中的各个人物的信息，并将面部识别的结果记录为文本数据；语音识别单元405，用于将用户输入的语音查询转换为文本数据，其工作方式与语音通话转换单元1013类似。上述各个单元仅仅是示例性的，本发明并不受限于此，查询输入的方式可更加简化，或者也可增加另外的查询输入方式。当用户输入的查询被识别为文本数据之后，搜索词提取单元406从识别的文本数据中提取关键的搜索词，查询词提取单元406的工作方式类似于数据采集单元10的文本分析单元102，用于将查询正文以及其它信息中的关键内容提取出来，作为搜索词。例如，所述搜索词可以是人名、时间、重要词语或其它信息。

搜索单元50基于查询输入单元40提取的关键搜索词，从存储单元30存储的数据库中查询相应的多媒体内容记录。具体说来，搜索单元50可在多媒体内容数据库中的各个多媒体内容记录的关键字值中搜索与输入的搜索词相关的项，并按照特定的方式(如按照时间、地点、媒体类型等)来划分搜索的结果，并将处理后的结果输出到搜索结果输出单元60。在这里，搜索结果输出单元60可以采用形象化的方式来输出搜索结果。

以下将参照图7来描述根据本发明示例性实施例进行搜索的示例，图7示出图1所示的在移动终端中管理多媒体内容的设备中的搜索结果输出单元60输出的搜索结果的示例。

具体说来，如图7的(a)所示，此时，查询输入单元40提取的搜索词为“张三”，搜索单元50可在多媒体内容数据库中搜索<发送方>、<接收方>或<抄送方>为“张三”的多媒体内容记录，并按照时间来进行排序，将排序后的结果输出到搜索结果输出单元60，搜索结果输出单元60输出如图7中的(a)所示的屏幕。作为另一种可选方式，如果“张三”是移动终端的联系人且已经建立了根据本发明的联系人数据库，则可通过张三在联系人数据库中的“通讯记录”项来搜索有关的多媒体记录。上述方式仅仅是示例，本领域技术人员完全可以采用不同的方式来应用已经建立的多媒体内容数据库(和联系人数据库)，对各种内容进行搜索，并按照不同的方式来筛选和排序。例如，如果“张三”是移动终端的联系人且已经建立了根据本发明的联系人数据库，则还可通过张三在联系人数据库中的“媒体记录”项来搜索有关的多媒体记录，并输出搜索的结果。

作为另一示例，如图7的(b)所示，此时，查询输入单元40提取的搜索词为“电影”，搜索单元50可在多媒体内容数据库中搜索<标题>和<正文>为“电影”或其近义词“影片”的多媒体内容记录，并按照时间来进行排序，将排序后的结果输出到搜索结果输出单元60，搜索结果输出单元60输出如图7中的(b)所示的屏幕。

作为另一示例，如图7的(c)所示，此时，查询输入单元40提取的搜索词为“张三”，而“张三”是移动终端的联系人且已经建立了根据本发明的联系人数据库，在这种情况下，搜索单元50可根据联系人数据库中记录“张三”中的“关联记录”来得到“张三”与其它联系人的联络频率，优选地，这种联络既可表示直接联络，也可表示间接联络(即，张三通过他的某个有关联的联系人与另一联系人之间建立联系)，而同时得到直接联络与间接联络的情况更有助于全面反映涉及张三的人际关系，搜索单元50将得到的联络频率输出到搜索结果输出单元60，搜索结果输出单元60可采用形象化的方式来输出搜索结果，例如，输出如图7中的(c)所示的屏幕，其中，张三与各个联系人之间用线条连接，而线条的粗细程度表示不同的联络频率，即，联络频率较高的联系人之间用较粗的线条表示，而联络频率较低的联系人之间用较细的线条表示，除了张三之外的各个联系人彼此之间的联络频率也可以一并表示出来，这样图7中的(c)就显示出了一张比较完备的以张三为主的人际关系图。

特别地，如果查询输入单元40提取了多个搜索词，而这多个搜索词又会包括人名、时间、地点和重要词语等不同情况，则可通过搜索结果输出单元60请求用户来依次选择适当的搜索条件，即，不同搜索词之间的逻辑关系可由用户来设定。此外，多个搜索词之间的逻辑关系也可按照预设的情况来建立，比如，可默认多个搜索词之间为逻辑与的关系。在设定多个搜索词之间的逻辑关系之后，由搜索单元50进一步搜索相应的多媒体内容。

根据本发明，能够将移动终端的各种多媒体内容以文本数据的形式存储在多媒体内容数据库中，从而反映出各个多媒体内容本身以及相互之间的隐含关系，用户可方便地基于建立的多媒体内容数据库进行多样化的搜索。此外，本发明还建立了与多媒体内容数据库相关的联系人数据库，从而能够实时地反映各个联系人之间的联络状态，便于用户掌握自己的人际资源。根据本发明的管理设备和方法是基于本机实现的，不需要额外的服务器，在方案实现方面也相对容易，成本较低。

本发明的以上各个实施例仅仅是示例性的，本发明并不受限于此。本领域技术人员应该理解：基于多媒体内容转换为文本数据后的各种信息建立的数据库能够提供的一切搜索方案均可应用于本发明，也就是说，本发明通过将多媒体内容转换为文本数据，从而保留了相关的信息，而基于这些信息建立搜索关系，以便用户更加便利地管理移动终端的多媒体内容，全面掌握各个联系人之间的关系。本领域的技术人员应认识到：在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (25)

1.一种用于在移动终端中管理多媒体内容的设备，包括：

数据采集单元，用于将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；

数据库建立单元，用于基于数据采集单元获得的关键字值来建立多媒体内容数据库；

存储单元，用于存储数据库建立单元所建立的多媒体内容数据库；

查询输入单元，用于将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；

搜索单元，用于基于查询输入单元提取的搜索词从存储在存储单元中的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及

搜索结果输出单元，用于向用户输出搜索单元的搜索结果。

2.如权利要求1所述的设备，其中，所述数据采集单元包括：

文本转换单元，用于将多媒体内容转换为文本数据；以及

文本分析单元，用于按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值。

3.如权利要求2所述的设备，其中，所述文本转换单元包括以下项中的至少一个：

短消息转换单元，用于将短消息转换为文本数据；

电子邮件转换单元，用于将电子邮件转换为文本数据；

语音通话转换单元，用于将语音通话转换为文本数据；

场景分类和聚类单元，用于按照预定的类别将照片分类并通过聚类处理来得出与该照片类似的照片，并将照片的场景分类和聚类结果记录为文本数据；

面部识别单元，用于识别出照片中各个人物的面部特征以及总人数，并将面部识别的结果记录为文本数据；以及

电子地图转换单元，用于参照电子地图将定位系统的位置信息转换为文本数据。

4.如权利要求3所述的设备，其中，所述文本分析单元包括：

词语划分单元，用于将文本转换单元输出的文本正文划分为多个词语；

词性确定单元，用于确定由词语划分单元划分的多个词语的词性；

人名提取单元，用于依照词性确定单元的输出结果来提取文本正文中的人名；

时间提取单元，用于依照词性确定单元的输出结果来提取文本正文中的时间词语；

重要词语提取单元，用于依照词性确定单元的输出结果来提取文本正文中的重要词语；以及

其它关键字值提取单元，用于从文本转换单元输出的除文本正文之外的其它信息提取关键字值。

5.如权利要求4所述的设备，还包括：时间信息解析单元，用于将时间提取单元提取的时间词语转换为时间信息。

6.如权利要求4所述的设备，还包括：近义词产生单元，用于针对重要词语提取单元提取的重要词语来产生相应的近义词。

7.如权利要求1所述的设备，其中，所述数据库建立单元基于关键字、关键字值以及相关属性描述来建立多媒体内容数据库。

8.如权利要求1所述的设备，其中，所述数据库建立单元还建立联系人数据库，并且联系人数据库的联系人记录随着多媒体内容数据库而更新。

9.如权利要求1所述的设备，其中，所述查询输入单元包括：

文本识别单元，用于将用户通过键盘或手写板输入的查询信息转换为文本数据；

文本捕获单元和光字符识别OCR单元，用于捕获和识别被查询照片上的字符数据；

面部识别单元，用于识别出查询照片中各个人物的面部特征，并将面部识别的结果记录为文本数据；以及

语音识别单元，用于将用户输入的语音查询转换为文本数据。

10.如权利要求1所述的设备，其中，所述搜索结果输出单元以形象化的方式向用户输出搜索单元的搜索结果。

11.如权利要求8所述的设备，其中，所述搜索单元基于查询输入单元提取的搜索词，参照联系人数据库，从存储在存储单元中的多媒体内容数据库中搜索与搜索词相关的多媒体内容。

12.如权利要求8所述的设备，其中，所述搜索单元基于多媒体内容数据库和联系人数据库来搜索联系人在多媒体内容中的相互关系。

13.如权利要求1所述的设备，其中，如果查询输入单元提取多个搜索词，则搜索单元按照预定的逻辑关系或用户设置的逻辑关系来针对所述多个搜索词进行搜索。

14.一种用于在移动终端中管理多媒体内容的方法，包括：

将多媒体内容转换为文本数据，并按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值；

基于所述关键字值来建立多媒体内容数据库；

存储所建立的多媒体内容数据库；

将用户输入的查询信息识别为文本数据，并从识别的文本数据中提取关键的搜索词；

基于提取的搜索词从存储的多媒体内容数据库中搜索与搜索词相关的多媒体内容；以及

向用户输出搜索结果。

15.如权利要求14所述的方法，其中，将多媒体内容转换为文本数据的步骤包括以下步骤中的至少一个：

将短消息转换为文本数据；

将电子邮件转换为文本数据；

将语音通话转换为文本数据；

按照预定的类别将照片分类并通过聚类处理来得出与该照片类似的照片，并将照片的分类和聚类结果记录为文本数据；

识别出照片中各个人物的面部特征以及总人数，并将识别的结果记录为文本数据；以及

参照电子地图将定位系统的位置信息转换为文本数据。

16.如权利要求14所述的方法，其中，按照预定的反映多媒体内容关键属性的关键字从转换的文本数据中提取相应的关键字值的步骤包括：

将文本正文划分为多个词语；

确定划分的多个词语的词性；

依照划分的多个词语的词性来提取文本正文中的人名；

依照划分的多个词语的词性来提取文本正文中的时间词语；

依照划分的多个词语的词性来提取文本正文中的重要词语；以及

从除文本正文之外的其它信息提取关键字值。

17.如权利要求16所述的方法，还包括：将提取的时间词语转换为时间信息。

18.如权利要求16所述的方法，还包括：针对提取的重要词语来产生相应的近义词。

19.如权利要求14所述的方法，其中，所述多媒体内容数据库中的多媒体内容记录包括关键字、关键字值以及相关属性描述。

20.如权利要求14所述的方法，还包括：建立联系人数据库，并且联系人数据库的联系人记录随着多媒体内容数据库而更新。

21.如权利要求14所述的方法，其中，将用户输入的查询信息识别为文本数据的步骤包括以下步骤中的至少一个：

将用户通过键盘或手写板输入的查询信息转换为文本数据；

捕获和识别被查询照片上的字符数据；

识别出查询照片中各个人物的面部特征，并将识别的结果记录为文本数据；以及

将用户输入的语音查询转换为文本数据。

22.如权利要求14所述的方法，其中，在向用户输出搜索结果的步骤中，以形象化的方式向用户输出搜索结果。

23.如权利要求20所述的方法，还包括：基于提取的搜索词，参照联系人数据库，从存储的多媒体内容数据库中搜索与搜索词相关的多媒体内容。

24.如权利要求20所述的方法，还包括：基于多媒体内容数据库和联系人数据库来搜索联系人在多媒体内容中的相互关系。

25.如权利要求14所述的方法，还包括：如果提取多个搜索词，则按照预定的逻辑关系或用户设置的逻辑关系来针对所述多个搜索词进行搜索。

Images