CN106454060A - 影音管理方法及其系统 - Google Patents

Abstract

本发明揭露一种影音管理方法及影音管理系统。影音管理方法包括：撷取一影音文件，其中在撷取该影音文件时，产生对应该影音文件的一情绪标签。借此使用者可在大量的影音文件中，通过情绪标签，以达到更有弹性且更为便利地将影音文件对应拍摄当下的情境进行管理、分类、剪辑或是特效处理的功效。

Description

影音管理方法及其系统

技术领域

本发明涉及一种影音管理方法及影音管理系统。具体而言，本发明涉及一种应用情绪标签的影音管理方法及影音管理系统。

背景技术

随着科技的发展，数字影像已广泛地应用在人们的生活当中。一般而言，使用者可能将大量的数字影像储存于电子装置中，并通过手动将这些数字影像进行分类，或是将这些数字影像通过电子装置预设的排序方式进行管理，例如依照文件大小、修改日期或文件名称进行排序。

然而，使用者难以在大量的数字影像中，一一判断或记录影像拍摄当下的拍摄者或被拍摄者的情绪或是生理信息，以将影像进行管理。另一方面，当使用者欲将影像进行特效处理时，无论使用者通过手动或自动挑选欲附加的影像效果，其影像效果套用后于整段影片的效果都是一致的，无法依照拍摄当下的拍摄者或被拍摄者的情绪或是生理信息将影像片段适应性地套用影像特效。如此一来，造成了数字影像于应用上的限制。

发明内容

本发明的一方面提供一种影音管理的方法。影音管理的方法包含下列步骤：撷取一影音文件；其中在撷取该影音文件时，产生对应该影音文件的一情绪标签。

本发明的另一方面是提供一种影音管理系统。影音管理系统包括一影音撷取模块及一处理装置。影音撷取模块用以撷取一影音文件；处理装置用以在撷取该影音文件时，产生对应该影音文件的一情绪标签。

透过应用上述的影音管理方法及影音管理系统，使用者可在大量的影音文件中，取得每一影音文件拍摄当下的拍摄者或被拍摄者的情绪或是生理信息，并依据情绪或生理信息以产生对应影音文件的情绪标签，借此更有弹性且更为便利地将影音文件进行管理、分类、剪辑或是特效处理。

附图说明

图1为根据本发明一实施例所绘示的影音管理系统的方块图；

图2为根据本发明一实施例所绘示的感测模块的内部元件的方块图；

图3为根据本发明一实施例所绘示的影音管理方法的流程图；

图4为根据本发明一实施例所绘示的影音管理系统的方块图；

图5为根据本发明一实施例所绘示的影音管理系统的使用者界面的示意图；

图6为根据本发明一实施例所绘示的影音管理系统的使用者界面的示意图；

图7为根据本发明一实施例所绘示的影音管理系统的使用者界面的示意图。

具体实施方式

请参照图1，图1为根据本发明一实施例所绘示的影音管理系统100的方块图。如图1所示，影音管理系统100包含影音撷取模块10与处理装置30。影音撷取模块10用以撷取影音文件，并透过有线或无线方式连接至处理装置30。处理装置30用以处理影音撷取模块10所撷取到的影音文件。

于一实施例中，处理装置30包含人脸表情识别模块32、情绪分析模块34、情绪标签产生模块36以及输出单元38。处理装置30中的人脸表情识别模块32电性耦接于影音撷取模块10，情绪分析模块34电性耦接于人脸表情识别模块32，情绪标签产生模块36电性耦接于情绪分析模块34。人脸表情识别模块32用以识别影音撷取模块10所撷取的影音文件中使用者的人脸表情。情绪分析模块34用以分析影音文件中人脸表情的情绪，例如以识别出的人脸表情与预先储存于数据库42关于情绪的表情进行比对，以分析出撷取的人脸表情属何种情绪。情绪标签产生模块36用以根据情绪分析模块34产生情绪标签，并将情绪标签嵌入于影音文件，抑或是产生对应影音文件的情绪标签并储存于于一预设或指定的暂存数据夹(例如于储存单元40)中。接着，当使用者欲依据情绪标签并透过处理装置30，以增加对应情绪标签的影音文件的影音特效时，输出单元38输出完成增加效果后的影音文件。

值得一提的是，于本发明各实施例中，处理装置30可为处理器或控制器。其中，位于处理装置30中的人脸表情识别模块32、情绪分析模块34、情绪标签产生模块36、输出单元38可以各自或合并实施为体积电路如微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signalprocessor)、特殊应用集成电路(application specific integrated circuit，ASIC)或逻辑电路；影音撷取模块10可以是一数字相机，其包含电荷耦合元件(ChargeCoupled Device，CCD)或互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，CMOS)及收音元件。

换句话说，影音撷取模块10用以撷取影音文件，并透过处理装置30产生对应该影音文件的情绪标签。其中，影音文件可以包含一图片档、一音频档、一影片片段至少其中之一。举例来说，使用者利用影音撷取模块10(例如，数字相机)撷取包括一孩童的影音文件，接着经由处理装置30中的人脸表情辨识模块32辨识出一孩童脸部表情。若处理装置30中的人脸表情识别模块32判断孩童的表情为一笑脸，则情绪分析模块34将孩童表情分析为高兴的情绪，并通过情绪标签产生模块36产生对应孩童脸部影像的情绪标签，且此情绪标签被用来表示为高兴的属性。再举例而言，透过影音撷取模块10的收音元件可撷取此孩童的影音文件中的声音讯息，若此影音文件中的声音讯息较为吵闹(例如，以音频或音量的预设值作为判断)，则情绪分析模块34将孩童分析为兴奋的情绪，并通过情绪标签产生模块36产生对应孩童的情绪标签，且此情绪标签被用来表示为兴奋的属性。因此，使用者通过情绪标签进一步将影音文件进行分类、剪辑或是特效处理。

于一实施例中，人脸表情识别模块32可利用影音文件中的声音或人脸表情(如，嘴角上扬角度或是眼角移动幅度)以判断拍摄者或被拍摄者的情绪，举例而言，当人脸表情识别模块32判断影音画面中被拍摄者的嘴角上扬角度大于一角度门槛值，且拍摄者发出较大声的说话声音，则情绪分析模块34可分析出当下拍摄场景的拍摄者或被拍摄者皆处于较兴奋的情绪，并透过情绪标签产生模块36产生对应此影音文件片段且表示为兴奋的情绪标签。更进一步的说，情绪标签产生模块36可基于影音撷取模块10撷取到的影音文件，产生对应此影音文件的情绪标签，以依据情绪标签将影音文件作管理或应用。

于一实施例中，影音管理系统100还包含储存单元40，用以储存各种数据，例如是记忆体、硬盘、随身盘记忆卡等。此储存单元40电性耦接于处理装置30，且此储存单元40可进一步包含数据库42。

于一实施例中，影音管理系统100还包含使用者界面50，用以提供使用者一操作界面。

于一实施例中，影音管理系统100可进一步包含感测模块20，感测模块20可以由至少一感测器所构成，感测模块20以无线或有线方式连接于处理装置30与影音撷取模块10，且感测模块20用以测量生理信息感测信号。生理信息感测信号可包括一瞳孔感测值、一温度感测值、一心跳感测值及一皮肤排汗感测值。请参阅图2，图2为根据本发明一实施例所绘示的感测模块20的内部元件的方块图。于图2中，感测模块20包含瞳孔感测器22、温度感测器24、心跳感测器26及皮肤排汗感测器28。其中，瞳孔感测器22用以感测使用者瞳孔大小，温度感测器24用以感测使用者体温，心跳感测器26用以感测使用者心跳频率及次数，皮肤排汗感测器28用以感测使用者的皮肤排汗程度。

于此实施例中，感测模块20利用多个感测器以感测使用者在拍摄当下的生理信息感测信号，将生理信息感测信号传送到处理装置30的情绪分析模块34中，而情绪分析模块34依据生理信息感测信号决定一情绪属性，并使情绪标签产生模块36产生情绪标签。举例而言，当皮肤排汗感测器28感测到拍摄者与拍摄装置接触的皮肤部份排汗量较多，且瞳孔感测器22计算出影音画面中的被拍摄者瞳孔较大，则可判断出当下拍摄场景的拍摄者或被拍摄者皆处于较紧张或兴奋的情绪属性，并产生对应此影音文件片段的情绪标签，将此情绪标签表示为紧张或兴奋。于另一实施例中，影音管理系统100可同时采用感测模块20与人脸表情识别模块32，以侦测到的生理信息感测信号及人脸表情以更精准地判断使用者于撷取影音画面当下的情绪。

另一方面，上述的影音撷取模块10、感测模块20、处理装置30、储存单元40、使用者界面50可包含于一手持式移动装置中。

接着，请一并参照图1～图3，图3为根据本发明一实施例所绘示的影音管理方法300的流程图。为了方便说明，图1所示的影音管理系统100的操作会与影音管理方法300一并说明。

于步骤S301中，影音撷取模块10用以撷取一影音文件。此影音文件可以是照片、影片或其他多媒体影音文件。例如，使用者透过影音撷取模块10以撷取一孩童的脸部影像。

于步骤S303中，处理装置30用以于撷取影音文件时，产生对应影音文件的一情绪标签。举例而言，处理装置30可以透过人脸表情识别模块32所识别的一人脸表情或感测模块20所侦测到的生理信息感测信号，以产生对应影音文件的一情绪标签。于另一实施例中，处理装置30可以同时依据人脸表情及生理信息感测信号，以产生对应影音文件的一情绪标签。此外，情绪标签可以是在影音文件的文件信息栏位(例如，拍摄时间、地点、文件大小)中，加上一情绪标签栏位，或是另外产生一标签文件，并将此标签文件附属至影音文件，以记录情绪标签。

另一方面，处理装置30不限于需即时产生情绪标签，例如，处理装置30可于撷取/录制影音文件后产生对应影音文件的一情绪标签。

于一实施例中，于影音撷取模块10取得影音文件及/或感测模块20接收生理信息感测信号后，处理装置30可于一手持式移动装置上依据生理信息感测信号产生对应影音文件的情绪标签，并将情绪标签储存于手持式移动装置的数据库42中。

于另一实施例中，请参阅图4，图4为根据本发明一实施例所绘示的影音管理系统400的方块图。图4与图1的不同之处在于，图4还包含一云端系统70，其中云端系统70通过有线或无线方式耦接至处理装置30、影音撷取模块10及感测模块20，且云端系统70包含一服务器(未绘示)。于一实施例中，处理装置30、影音撷取模块10及感测模块20各自包含一传输模块，可通过有线或无线方式传输信号。

于本实施例中，云端系统70具有与处理装置30相同的功能。举例而言，在影音撷取模块10取得影音文件及/或感测模块20接收生理信息感测信号后，影音撷取模块10及感测模块20各自直接将影音文件及/或生理信息感测信号传送至服务器。在影音文件及/或生理信息感测信号传送完毕后，于服务器上直接依据影音文件的人脸表情及/或生理信息感测信号，以产生对应影音文件的情绪标签，并将情绪标签储存于服务器中。

借此，在撷取完影音文件之后，可直接在云端系统70中依据影音文件的人脸表情及/或生理信息感测信号产生对应影音文件的情绪标签，待处理装置30需要情绪标签时，情绪标签再由服务器回传至处理装置30以进行后续处理。于此实施例中，通过将影音文件及/或生理信息感测信号传送到云端系统70上进行运算，可减低手持式移动装置上的处理装置30的运算负担。

此外，于一些实施例中，处理装置30可随着影音中人物情绪的改变，以产生对应各时点的情绪的多个情绪标签。以下详述对应至少一影音文件产生至少一情绪标签的实施例，然本领域具通常知识者应知，在不偏离本发明的发明精神下，本发明所述的影音管理系统100及影音管理方法300并不仅限于以下实施方式。

请参阅图5，图5为根据本发明一实施例所绘示的影音管理系统100的使用者界面50的示意图。于图5中，影音文件为一具有20秒长度的影音文件IM1，于第5秒时，人脸表情识别模块32判断被拍摄者的嘴角上角度大于一角度门槛值，且心跳感测器26判断拍摄者的心跳频率高于一心跳门槛值，则情绪分析模块34分析影音文件IM1中人物的情绪为正面的，并推断其为高兴的情绪，使情绪标签产生模块36于影音文件时间轴TL的第5秒的位置标记一情绪标签LA，情绪标签LA例如可由微笑符号标示；于第10秒时，人脸表情识别模块32判断被拍摄者的嘴角下撇，且皮肤排汗感测器28判断拍摄者的体温低于一体温门槛值，则情绪分析模块34分析影音文件IM1中人物的情绪为负面的，并推断为哀伤的情绪，使情绪标签产生模块36于影音文件时间轴TL的第10秒的位置标记一情绪标签LB，情绪标签LB例如可由一哭脸符号标示；接着，于第17秒时，若处理装置30再次判断影音文件IM1中人物的情绪为正面的，且推断为高兴的情绪，则于影音文件时间轴TL的第17秒的位置标记一情绪标签LC。

据此，可依据使用者在拍摄当下各时点的情绪，以标示至少一情绪标签，并利用情绪标签进行后续的应用。

于一实施例中，处理装置30依据情绪标签所记录的情绪属性，以将影音文件加上影音效果。其中，影音效果包括一音频档、一文字档、一图片档三者至少其中之一。

举例而言，于图5中，处理装置30将影音文件IM1中的表示高兴的情绪标签LA、LC所对应的影片段落(即第5秒与第17秒时)加上缤纷的边框效果及轻快的音乐，并利用输出单元38输出加入影音特效后的有趣画面；另一方面，处理装置30将表示哀伤的情绪标签LB所对应的影片段落(即第10秒时)以灰阶的效果呈现，配合哀伤的音乐，以并利用输出单元38输出加入影音特效后的画面，以呈现使用者拍摄当下的情绪。

于另一实施例中，处理装置30对应影音文件IM1的多个片段，分别产生情绪标签LA、LB、LC后，分析情绪标签LA、LB、LC后的一情绪变化，由影音文件IM1的多个片段中选取对应情绪变化为一预设情况的至少一片段，或是挑出所有类似属性的情绪标签的片段，并剪辑为一选集文件。例如，选择表示同为高兴的情绪标签LA、LC所对应的影片段落，以产生一影音文件IM1的选集文件。又例如，影音文件IM1中的情绪标签LA、LB对应时点的情绪改变的情绪变化为由高兴变为难过的预设情况时，则将情绪标签LA、LB剪辑影音文件IM1的选集文件。

接着，请参阅图6，图6为根据本发明一实施例所绘示的影音管理系统100的使用者界面50的示意图。于一实施例中，影音文件为一具有30秒长度的影音文件IM2，于图6中，处理装置30判断影音文件IM2中各片段的拍摄者或被拍摄者情绪，并将不同的情绪片段以不同颜色的情绪标签进行标示。处理装置30依据情绪标签TR、TG、TB，对应影音文件IM2的一时间轴加入至少一颜色标记或至少一标记符号，于影音文件IM2的时间轴TL上标示至少一颜色标记或至少一标记符号。

例如，处理装置30判断影音文件IM2在第0秒到第7秒、第14秒到第19秒及第27秒到第30秒时，拍摄者或被拍摄者的情绪为高兴的情绪属性，则以红色线段的情绪标签TR标示于时间轴TL上；另外，处理装置30判断影音文件IM2在第21秒到第27秒时，拍摄者或被拍摄者的情绪为哀伤的情绪属性，则以蓝色线段的情绪标签TB标示于时间轴TL上；当处理装置30判断影音文件IM2在第7秒到第14秒及第19秒到第21秒时，拍摄者或被拍摄者的情绪没有特别反应，则以绿色线段的情绪标签TG标示于时间轴TL上。

借此，处理装置30可判断影音文件IM2中的内容，以对应拍摄当下的拍摄者或被拍摄者的情绪产生多种情绪标签TR、TG、TB，并进一步将情绪标签TR、TG、TB对应的片段加上不同的效果，例如将表示高兴(或正面)情绪的情绪标签TR的对应片段套用缤纷的文字图片及搭配轻快的音乐，或将表示哀伤(或负面)情绪的情绪标签TB套用怀旧风效果及哀伤的音乐。借此，在影音文件IM2中，可依据各个时间点的情绪标签TR、TG、TB，以套用对应情绪标签TR、TG、TB的多种效果，使得影音文件IM2在套用效果后，能够带给使用者更生动的视觉效果。

于一实施例中，使用者可点选使用者界面50中的选单按钮，以促使处理装置30将具有类似情绪属性的情绪标签剪辑在一精选片段中，例如，将所有影音文件IM2中具有情绪标签TR的对应片段(第0秒到第7秒、第14秒到第19秒及第27秒到第30秒)剪辑为一短片，使此短片成为影音文件IM2的精选片段。

接着，请参阅图7，图7为根据本发明一实施例所绘示的影音管理系统100的使用者界面50的示意图。于此实施例中，使用者界面50具有一文件显示区域RA、图片数据夹FA、FB及影片数据夹FC。文件显示区域RA用以即时依照预设或随机的拨放顺序，以自动拨放照片或影片。图片数据夹FA可用以存放具有高兴(或正面)情绪属性的情绪标签的照片。影片数据夹FB可用以存放具有哀伤(或负面)情绪属性的情绪标签的照片，影片数据夹FC则用以存放所有影片。于另一实施例中，影片数据夹FC可进一步依据影片中的各种情绪标签的数量、情绪属性相似度、持续时间长短等信息，将影片进行分类为具有正面情绪属性的影片或具有负面情绪属性的影片。

借此，透过应用上述的影音管理方法及影音管理系统，可取得每一影音文件拍摄当下的拍摄者或被拍摄者的情绪或是生理信息，并依据情绪或生理信息或其两者，以产生对应影音文件的情绪标签，借此更有弹性且更为便利地将影音文件对应拍摄当下的情境进行管理、分类、剪辑或是特效处理。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (20)

1.一种影音管理方法，其特征在于，包括：

撷取一影音文件；

其中在撷取该影音文件时，产生对应该影音文件的一情绪标签。

2.根据权利要求1所述的影音管理方法，其特征在于，在撷取该影音文件的步骤中，还包括：

侦测一生理信息感测信号或该影音文件的一人脸表情，以产生该情绪标签。

3.根据权利要求1所述的影音管理方法，其特征在于，该情绪标签为撷取该影音文件时，侦测从一感测模块所获得的一生理信息感测信号，并依据该生理信息感测信号决定一情绪属性所产生。

4.根据权利要求2所述的影音管理方法，其特征在于，该生理信息感测信号包括一瞳孔感测值、一温度感测值、一心跳感测值及一皮肤排汗感测值。

5.根据权利要求1所述的影音管理方法，其特征在于，该方法还包括：

对应该情绪标签，将该影音文件加入至少一影音效果；其中，该影音效果包括一音频档、一文字档、一图片档三者至少其中之一。

6.根据权利要求1所述的影音管理方法，其特征在于，该影音文件包含一图片档，该方法还包括：

依据该情绪标签，以将该图片档分类至对应该情绪标签的一图片数据夹。

7.根据权利要求1所述的影音管理方法，其特征在于，该方法还包括：

对应该影音文件的多个片段，分别产生多个情绪标签；

分析所述情绪标签的一情绪变化；

由该影音文件的所述片段中选取对应该情绪变化为一预设情况的至少一片段，并剪辑为一选集文件。

8.根据权利要求1所述的影音管理方法，其特征在于，该方法还包括：

依据该情绪标签，对应该影音文件的一时间轴加入至少一颜色标记或至少一标记符号；

于该影音文件的该时间轴上标示该至少一颜色标记或该至少一标记符号。

9.根据权利要求2所述的影音管理方法，其特征在于，还包括：

传送该影音文件或该生理信息感测信号至一服务器系统的一储存单元，该储存单元包含一数据库，于该影音文件或该生理信息感测信号传送完毕后，于该服务器上依据该影音文件的该人脸表情及该生理信息感测信号，以产生对应该影音文件的该情绪标签，并将该情绪标签储存于该服务器系统的该数据库中。

10.根据权利要求2所述的影音管理方法，其特征在于，还包括：

于取得该影音文件或接收该生理信息感测信号后，于一手持式移动装置上依据该生理信息感测信号产生对应该影音文件的该情绪标签，并将该情绪标签储存于该手持式移动装置的一数据库中。

11.一种影音管理系统，其特征在于，包括：

一影音撷取模块，用以撷取一影音文件；

一处理装置，用以在撷取该影音文件时，产生对应该影音文件的一情绪标签。

12.根据权利要求11所述的影音管理系统，其特征在于，还包括：

一感测模块，用以侦测一生理信息感测信号或该影音文件的一人脸表情，以产生该情绪标签。

13.根据权利要求11所述的影音管理系统，其特征在于，该情绪标签为撷取该影音文件时，侦测从一感测模块所获得一生理信息感测信号，并依据该生理信息感测信号决定一情绪属性所产生。

14.根据权利要求12所述的影音管理系统，其特征在于，该生理信息感测信号包括一瞳孔感测值、一温度感测值、一心跳感测值及一皮肤排汗感测值。

15.根据权利要求11所述的影音管理系统，其特征在于，该处理装置用以对应该情绪标签，将该影音文件加入至少一影音效果；其中，该影音效果包括一音频档、一文字档、一图片档三者至少其中之一。

16.根据权利要求11所述的影音管理系统，其特征在于，该影音文件包含一图片档，该处理装置用以依据该情绪标签，以将该图片档分类至对应该情绪信息的一图片数据夹。

17.根据权利要求11所述的影音管理系统，其特征在于，该影音文件为一影音文件，该处理装置用以对应该影音文件的多个片段，分别产生多个情绪标签，分析所述情绪标签的一情绪变化，

由该影音文件的所述片段中选取对应该情绪变化为一预设情况的至少一片段，并剪辑为一选集文件。

18.根据权利要求11所述的影音管理系统，其特征在于，还包含一使用者界面，其中该影音文件为一影音文件，该处理装置用以依据该情绪标签，将该影音文件加入至少一颜色标记或至少一标记符号，当该影音文件显示于该使用者界面上时，于该影音文件的一时间轴上标示该至少一颜色标记或该至少一标记符号。

19.根据权利要求12所述的影音管理系统，其特征在于，还包括：

传送该影音文件或该生理信息感测信号至一服务器系统的一储存单元，该储存单元包含一数据库，于该影音文件或该生理信息感测信号传送完毕后，于该服务器上依据该影音文件的该人脸表情及该生理信息感测信号，以产生对应该影音文件的该情绪标签，并将该情绪标签储存于该服务器系统的该数据库中；

其中，该影音撷取模块、该人脸表情识别模块、该生理信息感测模块、该情绪分析模块及该情绪标签产生模块位于该服务器系统之中。

20.根据权利要求12所述的影音管理系统，其特征在于，还包括：

于取得该影音文件或接收该生理信息感测信号后，于一手持式移动装置上依据该生理信息感测信号，产生对应该影音文件的该情绪标签，并将该情绪标签储存于该手持式移动装置的一数据库中，

其中，该影音撷取模块、该人脸表情识别模块、该感测模块、该情绪分析模块及该情绪标签产生模块位于该手持式移动装置之中。