[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106463152A - 自动组织视频以适应显示时间 - Google Patents

自动组织视频以适应显示时间 Download PDF

Info

Publication number
CN106463152A
CN106463152A CN201580026294.8A CN201580026294A CN106463152A CN 106463152 A CN106463152 A CN 106463152A CN 201580026294 A CN201580026294 A CN 201580026294A CN 106463152 A CN106463152 A CN 106463152A
Authority
CN
China
Prior art keywords
image
video
capture
capture device
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580026294.8A
Other languages
English (en)
Other versions
CN106463152B (zh
Inventor
M·克尔德
A·罗曼诺夫斯基
X·朱
R·莫卡迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106463152A publication Critical patent/CN106463152A/zh
Application granted granted Critical
Publication of CN106463152B publication Critical patent/CN106463152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

处理设备从捕获设备接收至少第一组图像。所述第一组图像可以是使用第一帧速率在第一持续时间内所捕获的视频片段。处理设备分析所述第一组图像以确定与图像相关联的一个或多个属性。基于所确定的属性,修改所述第一组图像并且以第二帧速率在第二持续时间内对其进行回放。

Description

自动组织视频以适应显示时间
背景技术
许多人喜欢通过拍摄照片和/或视频来记录他们全天的事件。为了给用户提供鲁棒的和期望的体验,对于该技术领域中的制造商和其他人的挑战持续出现。
发明内容
提供了该发明内容以用简化的形式介绍在以下的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或本质特征。
各种实施例提供了被配置为具有多个捕获模式的捕获设备(例如,相机),所述多个捕获模式包括图像捕获模式和视频捕获模式。可以将捕获设备设置为其中周期性地、自动地捕获图像或照片的图像捕获模式。在检测到特定事件(例如,听觉上可检测到的事件)之后,捕获设备自动地触发视频捕获模式并且开始捕获视频。在一段时间之后,捕获设备可以转换回图像捕获模式。可以以各种方式进行到图像捕获模式的转换,例如,在经过了一段时间之后、在听觉上可检测到的事件终止或减弱之后、通过用户输入等。在一些实施例中,可以将捕获设备实施为由用户所穿戴的可穿戴相机。
在至少一些实施例中,图像和视频的集合定义了利用静止的图像和视频两者记录了用户的日常生活的“照片故事”。
各种其他实施例使得捕获设备能够捕获至少一个高分辨率图像并且基于该高分辨率图像来生成低分辨率图像。一些实施例在传输对应的相关联的高分辨率图像文件之前,将相关联的低分辨率图像文件传输至第二设备。在一些情况下,可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。接着,与高分辨率图像相关联的处理决策可以是基于低分辨率图像的属性或多个属性的。
各种其他实施例使得处理设备能够从捕获设备接收至少第一组图像。在一些情况下,第一组图像是使用第一帧速率在第一持续时间内所捕获的视频片段。在一些实施例中,处理设备分析第一组图像以确定与图像相关联的一个或多个属性。基于所确定的属性,一些实施例修改第一组图像并且以第二帧速率在第二持续时间内回放第一组图像。
附图说明
详细的描述对附图进行了参考。在附图中,附图标记的最左边的数字标识了在其中第一次出现该附图标记的图。在描述和图中的不同的实例中使用的相同的附图标记可以指代相似或相同的项。
图1示出了根据一个或多个实施例的示例操作环境。
图2示出了根据一个或多个实施例的示例捕获设备。
图3示出了根据一个或多个实施例的示例图像处理器。
图4示出了根据一个或多个实施例的示例捕获设备的前视图。
图5示出了根据一个或多个实施例的示例捕获设备的侧视图。
图6示出了根据一个或多个实施例的照片故事的一部分的代表。
图7是根据一个或多个实施例的描述了方法中的步骤的流程图。
图8是根据一个或多个实施例的描述了方法中的步骤的流程图。
图9示出了根据一个或多个实施例的示例实现。
图10示出了根据一个或多个实施例的示例实现。
图11是根据一个或多个实施例的描述了方法中的步骤的流程图。
图12示出了根据一个或多个实施例的示例实现。
图13示出了根据一个或多个实施例的示例实现。
图14示出了根据一个或多个实施例的示例实现。
图15示出了根据一个或多个实施例的示例实现。
图16是根据一个或多个实施例的描述了方法中的步骤的流程图。
图17是根据一个或多个实施例的示例设备。
具体实施方式
各种实施例提供了被配置为具有多个捕获模式的捕获设备(例如,相机),所述多个捕获模式包括图像捕获模式和视频捕获模式。可以将捕获设备设置为在其中周期性地、自动地捕获图像或照片的图像捕获模式。在检测到特定的事件(例如,听觉上可检测到的事件)之后,捕获设备自动地触发视频捕获模式并且开始捕获视频。在一段时间之后,捕获设备可以转换回图像捕获模式。可以以各种方式进行到图像捕获模式的转换,例如,在经过了一段时间之后、在听觉上可检测到的事件终止或减弱之后、通过用户输入等。在一些实施例中,可以将捕获设备实施为由用户所穿戴的可穿戴相机。
在至少一些实施例中,图像和视频的集合定义了利用静止的图像和视频两者来记录用户的日常生活的“照片故事”。
各种其他实施例使得捕获设备能够捕获至少一个高分辨率图像并且基于该高分辨率图像来生成低分辨率图像。高分辨率图像具有对应的低分辨率图像中不存在的额外的分辨率和/或像素。有时,捕获设备可以连接至第二设备以便将所捕获的图像传输至第二设备。一些实施例在传输对应的相关联的高分辨率图像文件之前,将相关联的低分辨率图像文件传输至第二设备。在一些情况下,可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。接着,与高分辨率图像相关联的处理决策可以是基于低分辨率图像的属性或多个属性的。作为示例而非限制,这样的处理决策可以包括回放决策、分组决策等。
各种其他实施例使得处理设备能够从捕获设备至少接收第一组图像。在一些情况下,第一组图像是使用第一帧速率在第一持续时间内所捕获的视频片段。在一些实施例中,处理设备分析第一组图像来确定与所述图像相关联的一个或多个属性。基于所确定的属性,一些实施例修改所述第一组图像并以第二帧速率在第二持续时间内回放所述第一组图像。
如上所述,在至少一些实施例中,捕获设备(例如,相机)可以在一些实例中是由用户所穿戴的可穿戴相机。相机可以被穿戴在任何合适的位置。例如,相机可以被穿戴在用户的头上,例如,作为示例而非限制,所述相机可以是安装在帽子上的相机、安装在眼镜上的相机、安装在头带上的相机、安装在头盔上的相机等。可替代地或额外地,相机可以被穿戴在用户的头部之外的位置。例如,相机可以被配置为安装在用户的衣服上。
各种其他实施例提供了可以安装在用户的衣服上的可穿戴相机。相机被设计为不突出的,并且在被安装在远离用户的脸部的范围内是用户友好的以不干扰用户的视线。在至少一些实施例中,相机包括外壳以及安装在外壳上以使得相机能够夹在用户的衣服上的夹子。相机被设计为轻量的,并且其重量是以当被夹在用户的衣服上时朝向用户的方式而平衡的。
在以下的讨论中,标题为“示例环境”的章节描述了其中可以利用各种实施例的示例环境。接着,标题为“示例捕获设备”的章节描述了根据一个或多个实施例的示例捕获设备,例如,相机。此后,标题为“双重编码”的章节描述了根据一个或多个实施例的其中所捕获的图像可以双重编码的实施例。接着,标题为“照片日志”的章节描述了根据一个或多个实施例的示例照片日志。此后,标题为“缩略图编辑”的章节描述了根据一个或多个实施例可以如何在编辑过程中使用缩略图。接着,标题为“自动组织(curate)视频”的章节描述了根据一个或多个实施例可以如何组织视频。最后,标题为“示例设备”的章节描述了根据一个或多个实施例的示例设备。
现在考虑其中可以实践各种实施例的示例环境。
示例环境
图1示出了根据一个或多个实施例的示例环境100。环境100包括捕获设备102和处理设备104。在这里,捕获设备102被配置为捕获图像和/或声音。可以以任何合适的方式来配置捕获设备102,作为示例而非限制,所述捕获设备102例如是移动电话、具有视频和/或静止图像捕获功能的可穿戴相机、手持式相机、摄像机、平板计算机、游戏设备、台式个人计算机(PC)、膝上型PC等。可替代地或额外地,捕获设备102可以与诸如处理设备104之类的外部设备连接和/或进行通信。
处理设备104连接并接收由捕获设备102所捕获的图像和/或声音。可替代地或额外地,处理设备104可以如在下文中更加详细地描述的那样对图像进行处理和/或分组。如在捕获设备102的情况下,处理设备104可以是任何合适的类型的计算设备,例如,平板计算机、移动电话、台式PC、膝上型PC、服务器等。在一些实施例中,处理设备104具有没有包括在捕获设备102中的更多的处理能力(例如,更快的中央处理单元(CPU)、额外的CPU等)和/或更多的存储器存储,以使得捕获设备102可以将图像传输至处理设备104以供进一步的分析和/或处理。在其他实施例中,处理设备104和捕获设备102具有等同的处理资源,或者捕获设备102可以比处理设备104具有更多处理资源。有时,处理设备104可以请求从捕获设备102传输图像,而在其他情况下,捕获设备102可以将图像推至处理设备104。在接收到图像中的至少一部分图像之后,处理设备104处理图像以供进一步分析,如在下文中进一步描述的。
环境100还包括网络106。网络106表示捕获设备102与处理设备104可以通过其连接的任何合适的类型的网络,例如,无线蜂窝网络、无线互联网接入(Wi-Fi)等。尽管未示出,但网络106可以包括额外的处理实体,例如,服务器、无线接入点、蜂窝基站等。出于简化的目的,将可以与在计算设备之间传输的数据相关联的这些额外的实体概括地称为网络106。在一些实施例中,捕获设备102和处理设备104通过网络106相互连接,在这里通过连通性链路108示出。然而,应当领会和理解的是,网络106可以是可选的。
在一些实施例中,捕获设备102和处理设备104在网络106外部例如通过连通性链路110相互连接。在这里,连通性链路110表示设备之间的更加直接的连接,例如,通过蓝牙连接和/或硬线连接(使用相关联的协议)。因此,在一些实施例中,捕获设备102和/或处理设备104使用比结合网络106所描述的那些连接更加直接的连接来相互连接。
捕获设备102包括捕获模块112以及可以是可选的的图像分析模块114(图3)等。
捕获模块112表示所捕获的可消费的(consumable)格式的图像和/或视频。这可以包括任何合适的类型的格式,作为示例而非限制,例如:联合图像专家组(JPEG)、JPEG2000、可交换图像文件格式(Exif)、带标记的图像格式文件(TIFF)、RAW、图形交换格式(GIF)、Windows位图(BMP)、便携式网络图形(PNG)、便携式像素图(PMM)、便携式灰度图(PGM)、便携式位图(PBM)、便携式任意格式(PAM)、高动态范围成像(HDR)、辐射HDR(RGBE)等。在一些实施例中,出于将在下文中变得明显的目的,捕获模块112捕获图像、存储高分辨率版本的图像、并且生成诸如缩略图之类的较低分辨率版本的图像。
在各种实施例中,捕获模块112使得捕获设备能够具有多个捕获模式,所述多个捕获模式包括图像捕获模式和视频捕获模式。可以将捕获设备设置为在其中周期性地、自动地捕获图像或照片的图像捕获模式。在检测到诸如听觉上可检测到的事件之类的特定的事件之后,捕获设备自动地触发视频捕获模式并且开始捕获视频。在一段时间之后,捕获设备可以转换回到图像捕获模式。可以以各种方式进行到图像捕获模式的转换,例如,在经过了一段时间之后、在听觉上可检测到的事件结束或减弱之后、通过用户输入等。在一些实施例中,可以将捕获设备实施为由用户所穿戴的可穿戴相机。
在至少一些实施例中,图像和视频的集合定义了利用静止的图像和视频来记录用户的日常生活的“照片故事”。
如上所述,环境100还包括图像分析模块114,其可以但非必须使其功能中的一部分功能跨环境内的各种设备分布。在该示例中,图像分析模块114被包括在处理设备104上(在这里通过实线的使用来指示)。可替代地或额外地,图像分析模块114或者由模块所执行的过程的一部分可以被包括在捕获设备102上和/或例如通过所谓的“云服务”而被包括在网络106的一个或多个组件上。然而,应当理解的是,各种这些布置是可选的(通过虚线的使用来指示)。
图像分析模块114可以包括各种不同类型的功能。如在下文中进一步讨论的,图像分析模块114可以分析一个或多个图像来确定与所述一个或多个图像相关联的属性等。例如,在一些实施例中,图像分析模块114可以分析低分辨率图像(例如,缩略图)来确定属性,例如,颜色分组特征、图像质量(模糊的对聚焦的)、内容、内容的区别等。进而,处理设备104可以基于从相关联的低分辨率图像所确定的属性来进行关于对应的高分辨率图像的决策。可替代地或额外地,图像分析模块114可以通过分析高分辨率图像而不是低分辨率图像来确定属性。在一些情况下,图像分析模块114可以分析视频来确定回放特征。例如,图像分析模块114可以对使用一个或多个捕获速率在第一时间段内所捕获的视频图像进行分析并且确定对所述视频图像进行什么修改(如果有的话),以便以回放速率在第二时间段内播放视频图像,如在下文中进一步描述的那样。
可以利用包括使得处理单元能够实现所公开的方法的一个或多个方面的指令的计算机可读存储介质以及被配置为实现所公开的方法的一个或多个方面的系统来实现在上文和下文中所描述的各种实施例。“计算机可读存储介质”指的是所有法定形式的介质。从而,诸如载波和信号本身之类的非法定形式的介质不旨在由术语“计算机可读存储介质”来涵盖。
概括而言,可以使用软件、固件、硬件(例如,固定逻辑电路)、或这些实现的组合来实现在本文中所描述的功能中的任何功能。如在本文中所使用的术语“模块”、“功能”、“组件”、和“逻辑”通常表示软件、固件、硬件、或其组合。在软件实现的情况下,模块、功能、或逻辑表示当在处理器(例如,CPU或多个CPU)上执行时执行指定的任务的程序代码。在下文中所描述的技术的特征是与平台无关的,这意味着可以在具有多种处理器的多种商业计算平台上实现所述技术。
计算机可读介质的一个这样的配置是信号承载介质,并且因此被配置为将指令(例如,载波)例如经由网络发送至相机设备。计算机可读介质还可以被配置为计算机可读存储介质,并且因此不是信号承载介质。计算机可读存储介质的示例包括:随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及可以使用磁、光、和其他技术来存储指令和其他数据的其他存储器设备。
图2示出了根据一个或多个实施例的捕获设备(例如,相机)200的示意图。捕获设备200包括具有适用于覆盖待拍摄的场景的焦距的镜头202。在一个实施例中,镜头202可以包括有机械设备以支持镜头的自动或手动对焦。在另一个实施例中,捕获设备200可以是其中没有包括用于移动镜头202的机械部件的固定焦距的设备。还包括具有感测表面(未示出)的传感器204以将由传感器204的感测表面上的入射光所形成的图像转换成数字格式。传感器204可以包括用于扫描入射光并且创建数字照片的电荷耦合器件(CCD)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器。也可以使用其他技术或设备,只要所使用的设备能够将由传感表面上的入射光所形成的图像转换成数字形式。通常而言,这些图像检测设备确定光对微型的光敏感器件的影响并且以数字格式来记录变化。
应当理解的是,捕获设备200可以包括诸如电池或电源以及需要处理器来操作的其他处理器组件之类的其他组件。然而,为了避免混淆教导,省略了这些公知的组件。在一个实施例中,捕获设备200不包括取景器或者预览显示器。然而,在其他实施例中,可以提供预览显示器。在本文中所描述的技术可以被使用在任何类型的相机中,并且在小型的、高度便携的相机(例如,在移动电话和其他便携式用户装备中所实现的那些相机)中特别有效。因此,在一个实施例中,捕获设备200包括用于进行电话呼叫和接收电话呼叫的硬件或软件。可替代地,捕获设备200可以是专用的、独立的相机。
在至少一些实施例中,捕获设备200还包括运动检测器208,所述运动检测器208可以包括加速度计,并且在一些实施例中可以包括陀螺仪。加速度计用于确定在任何方向上的重力和加速度的方向。陀螺仪既可以与加速度计一起使用也可以代替加速度计使用。陀螺仪可以提供关于捕获设备200的转动角如何随着时间改变的信息。可以使用任何其他类型的传感器来检测相机的运动。如果转动了捕获设备200,则可以使用转动角来计算捕获设备200转动的角度。在至少一些实施例中,可以以一次或多次轻击的形式向相机提供输入,所述一次或多次轻击可以具有由加速度计所感测的相关联的运动简档。可以将一次或多次轻击映射至相机功能来激活所述功能。可以将任何合适的类型的功能映射至一次或多次轻击。
在至少一些实施例中,可以将轻击的不同的组合映射至不同的相机功能。此外,在至少一些事实例中,相机包括检测相机周围的声音的麦克风213。可以使用麦克风来感测与由相机所接收的一次或多次轻击相关联的噪声简档。可以将噪声简档与运动简档一起使用来将输入确认为轻击输入。这可以帮助明确如在上文和下文中所述的可以由相机所接收的各种其他类型的输入。还可以使用麦克风来感测其他噪声简档或电话周围的其他噪声,并且响应于感测到这样的噪声,实现如在下文中所描述的各种功能。
还包括的是用于将捕获设备200连接至包括通用计算机在内的外部设备的输入/输出(I/O)端口214。可以使用I/O端口114以使得外部设备能够配置捕获设备200或者上传/下载数据。在一个实施例中,还可以使用I/O端口214以将视频或照片从捕获设备200流式传输至外部设备。在一个实施例中,还可以使用I/O端口以用于给捕获设备200供电或者为捕获设备200中的可充电电池(未示出)充电。
捕获设备200还可以包括耦合至发射机/接收机(Tx/Rx)模块216的天线218。Tx/Rx模块216耦合至处理器206。可以将天线218完全地或者部分地暴露在捕获设备200的机身外部。然而,在另一个实施例中,可以将天线218完全地封装在捕获设备200的机身内部。Tx/Rx模块216可以被配置以用于Wi-Fi发射/接收、蓝牙发射/接收或两者。在另一个实施例中,Tx/Rx模块216可以被配置为使用针对无线电信号的发射/接收的专有协议。在另一个实施例中,可以使用任何无线电传输标准或数据传输标准,只要所使用的标准能够发射/接收数字数据和控制信号。在一个实施例中,Tx/Rx模块216是具有小于十英尺的传输范围的低功率模块。在另一个实施例中,Tx/Rx模块216是具有小于五英尺的传输范围的低功率模块。在其他实施例中,传输范围可以是使用由捕获设备200经由I/O端口214或者经由天线218所接收的控制信号可配置的。
捕获设备200还包括处理器206。处理器206耦合至传感器204和运动检测器208。处理器206还可以耦合至存储210,其中在一个实施例中,所述存储210在处理器206外部。可以使用存储210以用于存储用于控制和操作捕获设备200的其他组件的编程指令。还可以使用存储210以用于存储所捕获的媒体(例如,照片和/或视频)。在另一个实施例中,存储210可以是处理器206自身的一部分。
在一个实施例中,处理器206可以包括图像处理器212,该图像处理器212可以包括如在上文中所描述的捕获模块112和图像分析模块114。图像处理器212可以是硬件组件或者也可以是可以由处理器206执行的软件模块。应当注意的是,处理器206和/或图像处理器212可以驻留在不同的芯片中。例如,可以使用多个芯片来实现处理器206。在一个示例中,图像处理器212可以是数字信号处理器(DSP)。图像处理器可以被配置为作为可以由处理器执行的计算机程序的处理模块。在至少一些实施例中,处理器212用于至少部分地基于从运动检测器208所接收的输入来处理从传感器204所接收的原始图像。诸如图像信号处理器(ISP)之类的其他组件可以用于图像处理。图像处理器212可以具有被配置为执行或以其他方式影响图像捕获并且执行在上文和下文中所描述的图像分析功能的分离的模块。以下在图3中更加详细地描述了示例图像处理器212,并且该示例图像处理器212包括捕获模块112和图像分析模块114。
在一个实施例中,存储210被配置为存储原始图像(未修改的图像)和对应的经修改的图像两者。在一个或多个实施例中,存储210可以包括可以用于促进捕获图像数据的存储器缓冲器,例如,闪速存储器缓冲器。
处理器缓冲器(未示出)还可以用于存储图像数据。可以经由I/O端口214或者经由使用天线218的无线信道将照片下载至外部设备。在一个实施例中,当外部设备发送命令以从捕获设备200下载图像时,将未修改的图像和经修改的图像两者都下载至外部设备。在一个实施例中,捕获设备200可以被配置为开始以经选择的间隔来捕获一系列的图像。
在一个实施例中,来自传感器204的原始图像是对图像处理器(例如,ISP)的输入以用于进行图像处理或模糊检测。在将图像处理应用至由图像处理器所输出的图像之后,对经修改的图像进行编码。通常执行图像编码来压缩图像数据。
在示例实施例中,捕获设备200可以不包括用于处理由传感器204所捕获的图像的组件。替代地,捕获设备200可以包括编程指令,所述编程指令用于在从传感器204中提取了图像之后将原始图像发送至基于云的处理系统或者经由互联网、局域网、或者一些其他连通性类型(例如在上文中所描述的那些连通性类型)而连接至捕获设备200的其他计算系统。在基于云的系统中,该基于云的系统被配置为接收原始图像并且处理图像或多个图像,如在上文和下文中所描述的那样。接着,将经编码的图像存储在经选择的基于云的存储中,或者将图像发送回捕获设备200或者发送至根据用户配置的任何其他设备。基于云的图像处理系统的使用可以降低将几个图像处理组件包含在每个相机设备中的需求,因此使得相机设备更轻、更能量高效、并且更便宜。
在另一个示例实施例中,捕获设备200可以将原始图像或者经过图像处理器处理的图像发送至另一个设备(例如,移动电话或计算机)而不是基于云的图像处理。可以将图像经由Wi-Fi、蓝牙、或者适用于从一个设备向另一个设备发送数字数据的任何其他类型的网络协议而发送至移动电话(或计算机)以供进一步处理。根据所描述的一个或多个实施例,在移动设备接收了图像或多个图像之后,所产生的图像可以根据用户或系统配置而被保存至设备上的本地存储、被传输以用于存储在基于云的存储系统中、或者被发送至另一个设备。
在一个实施例中,捕获设备200中的本机图像处理系统可以产生非标准格式的图像和/或视频。例如,可以产生1200×1500像素的图像。这可以通过剪裁、缩放、或者使用具有非标准分辨率的图像传感器来完成。由于用于以经选择的标准分辨率来转换图像的方法是公知的,因此将不存在关于该话题的进一步的讨论。
如上所述,捕获设备200可以设想任何合适的形式的相机,例如,非可穿戴相机或者可穿戴相机。可穿戴相机可以穿戴在相对于用户的任何合适的位置上。例如,可以将相机穿戴在用户的头上,作为示例而非限制,所述相机例如是安装在帽子的相机、安装在眼镜上的相机、安装在头带上的相机、安装在头盔上的相机等。可替代地或额外地,相机可以被穿戴在用户的头部之外的其它位置。例如,相机可以被配置为安装在用户的衣服上或者用户携带的其他物品(例如,背包、钱包、公文包等)上。
在紧接着的下文中所提供的示例中,在可以安装在用户的衣服上的相机的上下文中描述了可穿戴相机。然而,应当领会和理解的是,可以利用不能够安装在衣服上的其他类型的可穿戴相机而不脱离所要求保护的主题的精神和范围。
在描述了根据一个或多个实施例的示例操作环境之后,现在考虑对根据一个或多个实施例的示例捕获设备的讨论。
示例捕获设备
接下来,图4以前视图示出了示例捕获设备400,而图5以侧视图示出了捕获设备400。
捕获设备400包括包含在图2中所描述的组件的外壳402。同样示出的是相机镜头404(图4)以及以类似于衣夹的方式操作的以夹片为形式的固定设备500(图5)。具体而言,固定设备500包括具有主体的夹臂(prong)502,其具有拇指可操作的部分504。主体沿着远离拇指可操作的部分504的轴朝向远侧末端506延伸。由主体形成或者与主体分离并且相对在主体内部形成的弹簧机制使得夹臂502能够响应于施加至该拇指可操作的部分504上的压力而打开。当打开时,可以将一片衣服插入到区域508中。当松开拇指可操作的部分504时,由夹臂502在适当的位置将衣服夹住,从而将相机设备安全地安装在一片衣服上。例如,可以如在上文中所描述的那样将相机设备安装在领带、女装衬衫、衬衫、口袋等上。
另外,捕获设备400可以包括在510处一般性地示出的多个输入按钮。作为示例而非限制,输入按钮可以包括用于拍摄静止的照片的输入按钮以及用于开始视频捕获模式的输入按钮。应当领会和理解的是,各种输入按钮可以位于捕获设备400上的任何位置处。
应当注意的是,尽管捕获设备400被示出为具有特定的形状,但捕获设备400可以以合适并且足够容纳在上文中所描述的捕获设备400的组件的形状和尺寸来制造。捕获设备的外壳402可以由金属模(molding)、合成材料模、或其组合制成。在其他实施例中,可以使用任何合适的类型的材料来提供耐用的和坚固的外壳以供一般的便携设备的使用。
另外,固定设备500可以包括任何合适的类型的固定设备。例如,固定设备可以是简单滑开(slip-on)的夹片、鳄鱼夹、钩子、Velcro、或者磁铁或用于接收磁铁的一片金属。可以使用固定设备500将捕获设备300永久地或者半永久地固定在另一个物体上。
在考虑了根据一个或多个实施例的示例捕获设备之后,现在考虑对双重编码过程的讨论。
双重编码
在一个或多个实施例中,捕获设备的处理器206(图2)被配置为以不同等级的分辨率来对图像数据进行编码。例如,捕获设备可以以低等级的分辨率来对图像数据进行编码并且也以高等级的分辨率来对图像数据进行编码。可以利用任何合适的等级的分辨率。在至少一些实施例中,低等级的分辨率是Quarter-VGA(例如,320×240)而高等级的分辨率是720p(例如,1280×720)。
以不同的分辨率对图像进行编码可以在给予用户各种选项来传输所保存的图像数据的方面增强用户的体验。例如,可以以较低的分辨率等级将所捕获的图像流式传输至诸如智能电话之类的设备。可替代地或额外地,当用户具有Wi-Fi可接入性时,用户可以以较高的分辨率等级将图像数据传输至诸如膝上型计算机或台式计算机之类的网络设备。较低和较高的分辨率等级还可以支持在下文中所描述的额外的功能。
在考虑了双重编码场景之后,现在考虑可以使用在上文中所描述的原理来构建的照片日志的方面。
照片日志
照片日志是指使得用户能够以他们自己选择的间隔用静止的照片来记录他们的日常生活的特征。因此,例如,如果用户想要每3分钟用照片来记录其日常生活,则他们可以向相机设备提供输入以使得每3分钟相机自动地拍摄静止的照片并保存它。在一天结束的时候,用户将已经用多个不同的静止的照片记录了其日常生活。
在至少一些实施例中,可以结合包括图像捕获模式和视频捕获模式在内的多个捕获模式来使用照片日志特征。可以将捕获设备设置为其中周期性地、自动地捕获图像或照片的图像捕获模式,如在上文中所描述的那样。在检测到特定的事件(例如,听觉上可检测到的事件)之后,捕获设备自动地触发视频捕获模式并且开始捕获视频。可以以任何合适的方式来检测听觉上可检测到的事件。例如,捕获设备可以具有存储在存储器中的一个或多个声音简档。所述简档可以包括任何合适的类型的简档,作为示例而非限制,例如与笑声、掌声、音乐、突然的声音等相关联的简档。当捕获设备的麦克风捕获到背景环境中的声音时,可以将该声音数字化并且与存储在存储器中的简档进行比较。如果发现简档匹配或者模糊匹配,则相机自动地触发视频捕获模式并且开始捕获视频。可替代地或额外地,可以利用基于阈值的方法来触发视频捕获模式。例如,可以定义声音阈值或多个声音阈值,并且如果由捕获设备的麦克风所捕获的背景声音超过阈值,则可以触发视频捕获模式。应当领会和理解的是,可以使用其他事件来触发视频捕获模式。例如,用户可以通过硬输入按钮或软输入按钮来向捕获设备提供输入。
在一段时间之后,捕获设备可以转换回图像捕获模式。可以以各种方式进行到图像捕获模式的转换,例如,在经过了一段时间之后、在听觉上可检测到的事件终止或者以不再被检测到的方式减弱之后、通过用户输入等。通过该方式,可以使用视频来捕获与检测到声音的内容相关联的、比静态的图片更加丰富的内容。另外,通过将视频捕获模式限制到所定义的时间段,可以节省电池电量以及相关联的存储空间。
在至少一些实施例中,图像和视频的集合定义了利用静止的图像和视频两者来记录用户的日常生活的“照片故事”。作为示例,考虑在600处一般性地示出了照片故事的一部分的代表的图6。在该特定的示例中,照片故事600包括多个静态的图像602、604、608、612、614、和616。还注意到照片故事包括视频606和610。在该特定的示例中,以关于视频被捕获的时间的时间顺序将视频606、610插入到照片故事中。因此,在该特定的示例中,静态的图像602是在静态的图像604之前捕获的;静态的图像604是在视频606之前捕获的;视频606是在静态的图像608之前捕获的,以此类推。通过该方式,在已经被记录的特定的“故事”的上下文中以可呈现的形式来提供静态的图像和视频。
以时间顺序的形式对静态的图像和视频进行分组仅仅是可以将所捕获的内容分组的一种方式。可以以其他方式来分组所捕获的内容(静态的图像和视频两者)而不脱离所要求保护的主题的精神和范围。例如,可以分析视频片段以确定与该视频相关联的特性和属性。基于这些特性或属性,可以将视频片段与共享类似的特性或属性的其他视频片段分组在一起。例如,一些视频片段可以具有诸如绿色或蓝色的主要颜色。可以将这些视频片段分组在一起,而可以将具有白色或粉色的主要颜色的视频片段分离地分组。类似地,可以将可以与笑声相关联的视频片段分组在一起,而可以将与音乐相关联的视频片段分离地分组。此外,可以将这些分组技术应用至静态的图像和视频片段两者。例如,可以将被发现共享共同的特性或属性的静态的图像和视频片段在其自身的集合中分组在一起。
如上所述,可以在捕获设备上、在计算设备上执行在上文和下文中所描述的处理及其部分,其中,图像和视频已经从捕获设备和/或通过基于云的服务器整体地或者以分布式的方式传输至所述计算设备。
图7是描述了根据一个或多个实施例的方法中的步骤的流程图。可以以任何合适的硬件、软件、固件、或其组合来实现所述方法。在至少一些实施例中,可以由适当地配置的捕获设备来实现所述方法。
步骤700在捕获设备中启用图像捕获模式。可以以任何合适的方式来执行该步骤。例如,在至少一些实施例中,用户可以激活相机并且选择其中周期性地并且自动地捕获图像的图像捕获模式。步骤702以图像捕获模式捕获一个或多个图像。可以通过周期性地拍摄静止的图像来执行该步骤。步骤704检测可以听到的事件。可以以任何合适的方式来执行该步骤。例如,在至少一些实施例中,可以如在上文中所描述的那样利用基于简档的方法。可替代地或额外地,在其他实施例中,可以利用基于声音阈值的方法。响应于检测到可以听到的事件,步骤706自动地触发视频捕获模式。步骤708以视频捕获模式捕获视频,并且步骤710转换至图像捕获模式。可以以任何合适的方式进行至图像捕获模式的转换。例如,在至少一些实施例中,可以在经过了一段时间之后执行转换回图像捕获模式。可替代地或额外地,可以在听觉上可检测到的事件终止或者以一些方式减弱之后进行转换。在其他实施例中,可以通过对捕获设备的用户输入来进行转换。
图8是根据一个或多个实施例的方法中的步骤的流程图。可以以任何合适的硬件、软件、固件、或其组合来实现所述方法。在至少一些实施例中,可以由适当地配置的捕获设备来实现所述方法或所述方法的方面。在至少一些实施例中,可以由适当地配置的捕获设备和例如从捕获设备接收图像和视频的计算设备或服务的另一个计算设备或服务来实现所述方法的方面。
步骤800利用捕获设备捕获多个静止的图像。在至少一些实施例中,该步骤是自动执行的,并且静止的图像是以可以是或者可以不是固定间隔的间隔而自动地捕获的。步骤802基于听觉上可以检测到的事件而利用捕获设备捕获一个或多个视频。在一个或多个实施例中,该步骤是当由捕获设备检测到可以听到的事件时自动地执行的。在上文中提供了听觉上可以检测到的事件以及可以检测到这样的事件的方式的示例。步骤804使得静止的图像和视频能够分组在一起。可以以任何合适的方式来执行该步骤。例如,在至少一些实施例中,捕获设备可以将静止的图像和视频布置在“照片故事”中,其中,内容是以时间顺序来布置的。可替代地或额外地,静止的图像和视频可以被提供至计算设备或远程服务,并且可以以使用任何合适的技术的任何合适的方式来分组。在上文中提供了各种分组的示例。此外,在下文中提供了用于对内容进行分组的合适的技术的示例。
在考虑了利用多个捕获模式的实施例之后,现在考虑对关于缩略图编辑的实施例的讨论。
缩略图编辑
计算设备常常建立与彼此的连接以便在设备之间传输数据。一个这样的示例包括与另一个计算设备连接以传输所捕获的图像和/或视频的捕获设备。取决于捕获设备与计算设备之间的连接的带宽,传输所捕获的图像可以以快速率进行或者以慢速率进行。例如,具有大带宽的Wi-Fi连接通常可以快速地传输大文件,因此使得传输时间对用户而言看起来可以忽略不计。另一方面,蓝牙连接通常具有较低的带宽。通过蓝牙连接传输相同的大文件与通过Wi-Fi连接相比可能花费更长的时间,并且随后对用户而言更加显著。进而,用户有时可以感知到较慢的传输时间以及与传输设备或者接收设备相关联的性能问题,尤其是当其阻碍用户对传输中的文件的访问时。
在至少一些实施例中,捕获设备可以从高分辨率图像生成低分辨率图像。可以一开始将低分辨率图像从捕获设备传输至第二计算设备以供快速处理。在一些情况下,可以分析低分辨率图像以基于其图像内容来确定属性。当将高分辨率图像传输至第二计算设备时,可以基于从低分辨率图像文件所确定的属性来处理所述高分辨率图像。
作为示例,考虑示出了根据一个或多个实施例的实现的图9。包括在图9中的是图1的捕获设备102。在该特定的示例中,捕获设备102包括图像文件902以及缩略图文件904。图像文件902可以是任何合适的类型的文件,例如,静止的图像、视频图像等。在一些情况下,图像文件902是通过捕获模块108所捕获的高分辨率图像,并且可以以任何合适的格式来存储,在上文中提供了其示例。可替代地或额外地,所存储的格式可以包括描述与所捕获的图像相关联的属性的信息,例如,光栅信息、向量信息、元数据、日期/时间戳信息等。有时但非必须地,图像文件902除了包括高分辨率图像之外还可以包括缩略图图像。出于讨论的目的,图像文件902被示出为具有1.024兆字节(Mbyte)的数据大小,但是应当理解的是,图像文件902可以具有任何数据大小而不脱离所要求保护的主题的范围。
缩略图文件904是相关联的高分辨率图像(例如,图像文件902)的低分辨率图像。在这里,较低的分辨率表示缩略图文件904视觉上较小,并且具有比图像文件902更小的数据大小(例如,128千字节(kByte))。如在图像文件902的情况下,缩略图文件904的所示出的数据大小仅仅是出于讨论的目的的,并且应当理解的是,缩略图文件可以具有任何合适的数据大小。使用这些数据大小来指示低分辨率图像文件是与对应的高分辨率图像文件相比具有较少的图像细节的图像文件。由于较少的细节,缩略图图像的结果数据大小低于对应的高分辨率图像文件。进而,低分辨率图像文件的传输时间可以少于对应的高分辨率图像文件。在一些实施例中,捕获设备102从图像文件902生成缩略图文件,例如,通过生成模块906。
生成模块906从图像文件生成缩略图文件。在以上的示例中,缩略图文件904是通过缩小图像文件902的视觉大小来生成的。然而,应当理解的是,可以利用任何合适的压缩和/或缩小算法来生成缩略图文件。例如,当高分辨率图像文件包括所捕获的图像的低分辨率缩略图图像时,生成模块906可以提取低分辨率的缩略图图像并且创建包含缩略图图像的新的文件。在一些情况下,由捕获设备102自动地应用压缩和/或缩小算法,而在其他情况下,可以由用户手动地选择压缩和/或缩小算法。此外,可以由任何合适的事件来自动地或手动地触发生成低分辨率图像文件,例如,在捕获了高分辨率图像之后、在识别出在捕获/发送设备与处理/接收设备之间建立了连接之后、在确定设备之间的连接已经具有低于预定义阈值的带宽之后、在向接收设备进行了请求之后、在通过可选择的控件接收了用户输入之后等。
为了利用较小的数据大小,一些实施例在传输相关联的高分辨率图像文件之前首先将低分辨率图像文件传输至接收设备。低分辨率图像文件的较小的数据大小允许更快速的传输,因此使得接收设备能够更快地开始处理内容,以及允许用户更快速地访问内容。考虑示出了根据一个或多个实施例的示例实现的图10。在这里,图10分别捕获了图1的捕获设备102与处理设备104之间的在时间1002处和时间1004处的两个分离的交互。
在时间1002处,捕获设备102一开始使用连通性链路110将图9的缩略图文件904传输至处理设备104。在一些实施例中,基于连通性带宽低于预先确定的阈值的确定,捕获设备102自动地传输低分辨率图像文件(例如,缩略图文件904)。在其他实施例中,无关传输带宽而自动地传输低分辨率图像文件。然而,可以以任何合适的方式开始传输低分辨率图像,作为示例而非限制,例如,在设备之间建立了连接之后自动地开始、当建立了低分辨率图像时自动地开始、在从用户接收了输入之后手动地开始等。在一些实施例中,可以由用户通过与捕获设备102相关联的可选择的控件和/或与处理设备104相关联的可选择的控件,和/或通过处理设备104向捕获设备发送针对低分辨率图像文件或者高分辨率图像文件的传输请求来手动地开始传输。因此可以通过捕获设备102和/或处理设备104手动地和/或自动地开始对缩略图文件904的传输。
在接收了缩略图文件904之后,处理设备104经由图像分析模块114开始对缩略图文件904进行处理。可以进行任何合适的类型的处理,例如,图像内容分析、颜色调色板分析、属性识别、图像质量分析、与缩略图文件相关联的用户输入、面部识别分析、日期/时间戳识别等。当处理设备接收多个图像文件和/或视频文件时,可以基于从相关联的缩略图文件所确定的属性来自动地对这些文件进行分组。例如,有时处理设备104基于所确定的与图像相关联的这些属性而自动地将所传输的图像文件置于照片故事中,如在上文中所描述的,和/或使得用户能够手动地将图像置于照片故事中。由于高分辨率图像文件花费比相关联的低分辨率图像文件的传输时间更长的传输时间,因此一些实施例一开始向处理设备传输低分辨率图像文件,作为获得对相关联的图像的更快速的访问的一种方式。
在时间1004处,捕获设备102向处理设备104传输图像文件102。这可以在任何合适的时间点进行,例如,在确定缩略图文件904已经完全被传输之后、或者在确定捕获设备102和/或处理设备104处于空闲状态之后。在该示例中,处理设备104在传输图像文件902之前已经向用户显示了缩略图文件904的内容。这使得用户能够在已经接收到图像文件902之前,或者甚至在图像文件902的传输开始之前就输入关于缩略图文件904的命令,例如编辑命令。进而,随后可以将这些命令应用至图像文件902。例如,用户可以决定删除缩略图文件904。取决于图像文件902的传输状态,如果传输在进行中,则所述决定可以取消图像文件902的传输,如果传输还没有开始,则向捕获设备102发送不发送图像文件902的命令,和/或从处理设备104和/或捕获设备102的存储上删除图像文件902。在另一个示例中,用户可以输入命令来以特定的属性将缩略图文件904置于照片故事中,例如,开始处、结束处、或紧挨着另一个有关的图像。进而,当图像文件902被完全接收时,可以向其应用该命令。可替代地或额外地,处理设备104可以基于缩略图文件904自动地对图像文件902进行排序决策。因此,处理设备104可以在图像文件被接收之前通过首先分析相关联的缩略图文件来预先处理所述图像文件。尽管时间1004将图像文件902示出为在处理设备104分析缩略图文件904时在传输中,但应当理解的是,在访问缩略图904的过程中图像文件902可以是传输的任何合适的阶段(例如,未发送至处理设备104、由处理设备104完全地接收、由处理设备104部分地接收),而不脱离所要求保护的主题的精神。
图11是描述了根据一个或多个实施例的方法中的步骤的流程图。可以结合任何合适的硬件、软件、固件、或其组合来执行所述方法。在至少一些实施例中,由诸如图1的捕获设备102和/或处理设备104之类的适当地配置的设备来执行所述方法。在该示例中,标题为“捕获设备”的左手的列示出了由捕获设备所执行的方法中的步骤,而标题为“处理设备”的右手的列示出了由处理设备所执行的方法中的步骤。然而,应当理解的是,可以由单个计算设备和/或多个计算设备来执行这些步骤而不脱离所要求保护的主题的范围。
步骤1100捕获至少一个高分辨率图像。高分辨率图像包括低分辨率图像中不存在的额外的图像细节等。可以捕获任何合适的类型的图像,例如,静止的图像、视频图像等。在一些实施例中,高分辨率图像是由被配置为在一段时间内自动地捕获图像和/或视频的可穿戴相机所捕获的。
响应于捕获了高分辨率图像,步骤1102从所述高分辨率图像生成低分辨率图像文件。一些实施例从高分辨率图像文件提取缩略图的复本并且创建第二、分离的文件来存储该复本。其他实施例通过使用如在上文中进一步讨论的缩小和/或压缩算法来处理高分辨率图像而生成低分辨率图像文件。
步骤1104将低分辨率图像文件传输至另一个计算设备。在一些情况下,在生成了低分辨率图像之后可以自动地对其进行传输。可替代地或额外地,可以在设备之间建立了连接之后、在确定连接具有低于预先定义的阈值之后、在确定连接具有某种类型(即,确定连接是蓝牙连接、确定连接是Wi-Fi连接等)等之后,自动地传输低分辨率图像。在一些情况下,可以由用户手动地开始传输低分辨率图像文件。
步骤1106接收至少一个低分辨率图像文件。这可以以任何合适的方法发生,例如,通过直接连接或者通过网络连接。响应于接收了低分辨率图像文件,步骤1108分析所述低分辨率图像文件以确定图像文件的属性。可以执行任何合适的类型的处理和/或分析来确定任何合适的类型的属性,在上文中提供了所述属性的示例。在一些情况下,处理设备在接收了低分辨率图像文件之后可以自动地对其进行处理。在其他情况下,处理设备基于诸如从用户所接收的命令(即,编辑命令)之类的手动输入而自动地处理低分辨率图像。因此,可以自动地处理低分辨率图像文件以确定属性,或者可以经由用户输入命令而手动地处理。
步骤1110将高分辨率图像文件从捕获设备传输至处理设备。步骤1112接收与低分辨率图像文件相关联的高分辨率图像文件。在这里,步骤1110和1112被示出为在步骤1108之后进行,但应当理解的是,可以以相对于步骤1108的任何合适的顺序来进行这些步骤而不脱离所要求保护的主题的范围。例如,在一些实施例中,可以由捕获设备发送高分辨率图像,并且随后由处理设备与对低分辨率图像文件的处理并行地接收高分辨率图像。
响应于接收到高分辨率图像文件,步骤1114基于从低分辨文件所确定的属性来处理高分辨率文件。可替代地或额外地,步骤1114基于相对于低分辨率图像文件的来自用户的输入来处理高分辨率文件。例如,如在上文中所描述的,如果用户输入相对于低分辨率图像的编辑命令,则可以接着将该命令应用至高分辨率图像文件。尽管步骤1114被示出为在步骤1110和1112之后进行,但应当理解的是,如在以上的情况下,步骤114可以在这些步骤之前进行、在这些步骤之间进行、和/或代替这些步骤进行而不脱离所要求保护的主题的范围。例如,如果作为步骤1108的结果而确定低分辨率图像文件具有差的图像质量,并且用户随后删除该低分辨率图像文件,则步骤1114将该相同的过程应用至高分辨率图像文件(例如,终止对高分辨率图像的传输和/或从存储器中将其删除)。因此,可以通过首先分析低分辨率图像,并且随后将结果应用至对应的高分辨率文件来利用低分辨率图像文件,以使得在低带宽传输环境中能够较快速地分析图像。
在考虑了缩略图编辑的示例之后,现在考虑自动组织视频以适应显示时间的方面。
自动地组织视频
如在上文中所讨论的,捕获设备可以在一段时间内周期性地捕获图像和/或视频。例如,诸如可穿戴相机之类的捕获设备可以被配置为在一天中的各个时间点处捕获多个图像或视频。存在触发捕获图像或视频的不同的事件,并且通常可以使用这些多个图像和/或视频来记录一天的事件。尽管捕获设备可以执行一些初始分析来触发图像捕获,但捕获设备可能没有足够的处理能力来验证捕获后的图像的质量或内容。为了对此进行补救,一些实施例将所捕获的图像转发至具有更多处理能力的处理设备以供进一步分析。有时,处理设备可以以与相关联的捕获速率或持续时间不同的帧速率和/或不同的持续时间来回放图像。在一些实施例中,处理设备可以基于分析来修改对图像的回放。
为了进一步说明,考虑包括根据一个或多个实施例的示例实现的图12。图12包括由捕获设备所捕获的分别标记为视频1202和1204的两个分离的视频。视频1202包括捕获了进行中的篮球比赛的一系列图像(以及伴随的音频)。在这里,视频持续了3秒的持续时间,并且是使用4帧每秒的捕获帧速率捕获的。在一些实施例中,捕获设备可以根据所捕获的图像具有快速的运动/改变还是几乎没有甚至没有运动/改变来调整捕获帧速率。例如,在视频1202中,由于篮球比赛通常包括运动,因此捕获设备确定使用4帧每秒的捕获帧速率来捕获活动。相反,视频1204包括在当篮球场是空的时的不同的时间点所捕获的一系列图像(以及伴随的音频)。针对视频1204,捕获设备识别出缺少活动,并且使用1帧每秒的较粗糙的捕获帧速率(再一次,在3秒的时间内)。因此,捕获设备可以被配置不仅在不同的时间点处捕获图像,而且额外地被配置为以不同的捕获帧速率和/或不同的持续时间来捕获图像。应当理解的是,在该讨论中用来描述捕获持续时间以及捕获帧速率的值仅仅是出于讨论的目的的,并且可以将值的任何合适的组合用作持续时间和/或帧速率而不脱离所要求保护的主题的范围。
接下来,在一些任意的时间点处,捕获设备或其用户可以决定将所捕获的图像传输至处理设备。图13示出了使用图1的捕获设备102和处理设备104的这样的示例。在这里,捕获设备102将图12中的两个视频都传输至处理设备104。出于简洁的目的,视频1202和1204被示出为作为具有6秒的持续时间的级联的视频1302一起被传输。应当理解的是,这仅仅是出于讨论的目的的,并且可以在设备之间彼此独立地和/或在不同的时间点处传输图像而不脱离所要求保护的主题的范围。如在上文和下文中进一步讨论的,处理设备104分析所接收到的图像和/或视频以确定分组和/或回放顺序等。有时,处理设备接收与可以具有预先确定的回放参数的回放时段(slot)相比具有不同的捕获参数的内容。例如,在图13中,回放时段1304具有3秒的回放持续时间参数,并且当前处于空的状态和/或没有内容。在从捕获设备接收了图像之后,处理设备确定如何填充回放时段1304。然而,如在这里所说明的,当所接收的内容未经修改时,捕获设备已经捕获并且向处理设备传输了比回放时段1304所能容纳的更多的内容。
在一些实施例中,处理设备可以接收以第一帧速率在第一持续时间内所捕获的至少第一组图像。这可以在以上的示例中看到,其中,处理设备104接收以两种不同的捕获帧率所捕获的两组图像:具有4帧每秒的捕获帧速率的视频1202、以及具有1帧每秒的捕获帧速率的视频1204。处理设备104可以分析这些组图像以确定对图像的经修改的回放,例如,通过使用至少第二帧速率以用于在第二持续时间内回放。
为了进一步说明,考虑图14。该示例示出了可以由处理设备使用以修改所接收的图像以供回放的至少一个实现。在这里,修改图1的视频1202和视频1204以适应由回放时段1304所设置的回放持续时间。当以其相应的捕获帧速率来回放时,视频1202和1204的总的回放持续时间是6秒,这超过了回放时段1304的回放持续时间,该回放持续时间是3秒。为了对此进行补偿,处理设备修改播放相应的每个视频的回放速率和持续时间。可以以任何合适的方式来确定这些变量中的每个变量。例如,可以分析视频以确定哪个视频包含较多的图像内容改变和/或活动。在一些情况下,可以给具有较多的活动的视频分配更长的回放持续时间。在这里,视频1202被识别为比视频1204包括更多的图像内容改变(例如,活动)。基于该分析,给视频1202分配了比分配给视频1204的更长的回放持续时间,以便更好地观看活动。当将视频1202插入到回放时段1304中时,其被分配了持续时间1402(是1.8秒),这产生了针对视频1202的6.67的结果回放帧速率。相反,视频1204被分配了持续时间1404(是1.2秒),这产生了2.5帧每秒的结果回放帧速率。利用该特定的过程,每个视频在由回放视频1304所设置的持续时间内回放了其相关联的图像的全部。然而,可以使用替代的过程来修改和识别选择什么图像以供回放,而不脱离所要求保护的主题的范围,作为示例而非限制,例如基于图像质量而移除视频中的图像、替代视频中的图像、回放视频的部分等。有时,这些修改可以基于图像分析和/或音频分析,如在下文中进一步讨论的。
通常而言,所捕获的图像的内容根据图像而变化。所捕获的一些图像可以包括锐利的和/或聚焦的图像,而其他图像可以包含较模糊的和/或没有聚焦的图像,一些图像可以包括关于人的图像,而其他图像可以缺少人,等等。在一些情况下,所捕获的一些图像可以与包含“较有趣的”内容(即,具有高活动和/或改变的图像、具有面部捕获的图像等)的其他图像相比包含“较无趣的”内容(即,具有有限的活动和/或不从一个到另一个变化的图像)。当确定如何修改所接收的视频和/或图像以供回放进行时,可以由处理设备利用这些属性。例如,处理设备可以被配置为确定质量度量和/或近似度度量,并且基于这些度量来选择图像以供回放。
考虑示出了根据一个或多个实施例的示例实现的图15。该特定的示例示出了可以如何计算度量以衡量图像质量和/或图像相似度。可以通过测量图像的锐利度和/或清晰度来衡量图像质量。考虑表示任何合适的类型的图像(例如,高分辨率图像、低分辨率图像等)的图像1502。假设图像由所示出的4×4的网格覆盖。如由图像1504所示,可以将相关联的图像的锐利度通过在代表性的轨迹上的平均(每像素阶)差分能量来估计。轨迹的每个像素大小阶作为亮度的平方差而贡献于度量,其中亮度可以被定义为:(4G+2R+B)/7。在这里,“G”、“R”、和“B”表示归一化的RGB(红绿蓝)空间颜色分量。总能量是按像素大小阶的轨迹长度后归一化(post-normalized)的。
一些实施例处理图像以生成近似度度量。近似度标准可以包括与如在下文中进一步描述的本地(细节)域、中间(形状)域、以及全局(概况)域相对应的度量。
全局域:颜色直方图
全局域度量是高斯模糊的图像的颜色直方图(色度分量)。其他分量(饱和度和明度)远远比色度更易受到噪声影响。应用模糊来最小化由颗粒(grain)、装饰物/纹理细节、以及颜色噪声的其他源和“突出显示的”、一致的、连续的、相同颜色的区域所引起的偏差。两个图像之间的距离是其颜色直方图的归一化的点乘积。
中间域:“形状哈希”
针对中间域度量,一些实施例例如通过使用Monte-Carlo区域估计方法来从图像中挑出随机的点。接着分析所述随机的点,并且进行决策以保留具有定义的色度、高于期望的饱和度阈值的饱和度、和/或在期望的明度范围内的明度的点(例如,区别性的彩色点“选择S”)。接着,可以利用任何合适的聚类方法(例如,“K均值”)来将这些点聚类到小数量的聚类中。可替代地或额外地,接着可以生成粗糙的估计(“云匹配”),其中,图像A的聚类Ai与图像B的聚类Bj之间的距离是由以下所组成的向量的绝对值:X(水平方向)和Y(竖直方向)的(归一化的)差、相对于图像中心的聚类中心坐标、其成员的色度坐标的平均正弦和余弦、相对于计数S的聚类大小等。在一些情况下,图像A与图像B之间的总距离是针对i和j的所有可能的对的Ai与Bj之间的所有成对的距离的平均。在一些实施例中,生成精细估计。在精细估计中,并且针对每个聚类,将其成员的位置转换成基于聚类的中心的极坐标。接着,可以通过角坐标来将所得出的坐标对排序,并且可以应用高斯模糊来模拟平滑的包络。接着,可以使用傅里叶变换将包络变换至频域。形状相似度(即,所得出的频谱的归一化的点乘积)可以增加到成对的“云匹配”估计。如果在两个图像中都没有检测到“云”,则假设距离为0.5。如果在一个图像中检测到“云”而在另一个中没有发现,则假设距离为1。
特征点匹配
在一些实施例中,使用Hessian-Laplace描述符可以发现特征点和/或兴趣点(即,最佳的N个兴趣点)。此后,使用K-维树来对两个图像的兴趣点描述符组进行匹配。接着,按在每个图像中所发现的兴趣点的总数的几何平均来归一化匹配点的数量。可以将所得出的值用作距离估计。
几何匹配
除了特征点度量之外,一些实施例通过计算匹配的兴趣点的归一化的坐标之间的Pearson相关来生成几何度量。几何度量的高的值可以用于指示:不仅两个图像的细节大部分匹配,而且它们以类似地方式位于相对于彼此的位置(忽略诸如旋转、缩放、以及平移之类的线性变换)。
组合的近似度
接着,可以使用每个经计算的度量来以以下的方式贡献于组合的近似度度量:
1、预先归一化至[0..1]的范围(0代表完全相似的图像,1代表完全无关);
2、提升至其重要性的力量;
3、后归一化至[Doubt..1]的范围。
混入了Doubt权重成分以避免由已知易受到误报(false positive)影响的度量来进行决策(即,考虑两个图像的相似度)。例如,针对放弃几何并且仅仅考虑颜色的任何度量的Doubt调整应该是高的(接近0.5)。针对区别性地识别精细结构(例如,面部或文本)的度量,Doubt应该非常低。
组合的距离是每个独立的度量的步骤(3)的结果的乘积。
因此,一些实施例分析图像的内容以生成量化和/或描述该内容的一个或多个度量和/或属性。接着,可以使用这些度量来选择和/或修改由处理设备回放哪些图像,例如通过移除看起来是彼此的复本的至少一些图像、仅仅选择生成指示具有兴趣的内容的度量的图像等。
有时,用户可以希望将图像耦合至音频。一些实施例使得图像的回放能够与音频同步。例如,用户可以具有他们想要与图像同步的喜欢的歌曲的一个或多个音频音轨。可以分析这些音频音轨以确定音乐的属性,例如,节拍。进而,回放属性可以是基于音乐属性的。音乐中的节拍是与音乐同步的和/或音乐包括的频率、节奏、和/或速度。在一些实施例中,可以基于所确定的音乐的节拍来修改对视频的回放。考虑所选择的音频音轨包括每0.25秒跳动一次的100Hz的音调的简单的情况。一些实施例分析音频音轨以识别0.25秒的节拍,接着基于该节拍生成针对视频的回放帧速率。例如,假设每拍4帧是期望的回放速率。使用以下的数字,这变成了:
0.25秒的节拍间隔=4拍/秒
每拍4帧*4拍/秒=16帧/秒
这得出了16帧每秒的回放帧速率。随后,可以修改对应的视频来以该速率回放。这些值仅仅是出于讨论的目的的,并且应当理解的是,可以使用数字的任何合适的组合而不脱离所要求保护的主题的范围。此外,尽管这是关于视频描述的,当应当理解的是,也可以将这应用至静止的图像。例如,考虑图6的照片故事600。照片故事600包括各种静止的图像和视频。在一些实施例中,静止的图像和/或视频之间的转换(即,在第一时间段内显示第一静止图像,接着在第二时间段内显示第二静止图像和/或视频等)可以是基于音频音轨的所确定的属性的。使用以上的0.25秒的节拍间隔的示例,可以生成转换间隔,例如,3秒的转换间隔(0.25×12拍/转换)、10秒间隔(0.25×40拍/转换)。可替代地或额外地,可以将这应用至视频以确定回放持续时间。因此,除了基于图像内容来修改对图像的回放之外,一些实施例基于将回放同步至音频来修改对图像的回放。
在考虑了各种图像/视频处理技术之后,现在考虑对根据一个或多个实施例的示例方法的讨论。
图16是描述了根据一个或多个实施例的方法中的步骤的流程图。可以结合任何合适的硬件、软件、固件、或其组合来执行所述方法。在至少一些实施例中,所述方法是至少部分地由诸如图1的图像分析模块114之类的适当地配置的模块来执行的。
步骤1600接收至少第一组图像。在一些实施例中,第一组图像是已经以第一捕获帧速率在第一捕获持续时间内捕获的视频。可以以任何合适的方式来接收该组图像,例如,处理设备接收如在上文中进一步描述的捕获设备所捕获和传输的视频。此外,可以接收任何合适的类型的图像,例如,多个视频、静止的图像、和/或其组合。当接收多个视频时,所述多个视频可以具有任何合适的配置,例如,每个视频具有彼此不同的捕获帧速率和/或捕获持续时间、所有视频都具有相同的捕获帧速率和/或捕获持续时间等。可以在几乎相同的时间接收多个视频,或者可以在不同的时间点彼此独立地接收多个视频。
响应于接收了第一组图像,步骤1602分析第一组图像以确定至少一个属性。图像的属性可以包括任何合适的类型的属性,例如,基于图像内容的属性(即,存在活动、不存在活动、面部识别、颜色内容等)、捕获参数(即,时间/日期戳、捕获帧速率、捕获持续时间等)。在一些情况下,属性可以是对图像的内容进行量化的度量。属性可以针对一个独特的图像和/或一组图像。
步骤1604确定至少一个回放参数。例如,回放参数可以包括回放帧速率、回放持续时间、回放时间时段位置等。在一些情况下,回放参数与回放照片故事中的图像相关联。可以以任何合适的方式进行对回放参数的确定。在一些情况下,回放参数是预先确定的和/或固定的,而在其他情况下,回放参数是动态地确定的,例如,基于音乐节拍的回放帧速率和/或回放持续时间。
响应于确定至少一个回放参数,步骤1606至少部分地基于回放参数和/或所确定的图像属性来修改第一组图像。可以以任何方式来修改一组图像,例如,从已经被识别为具有更多兴趣(即,面部识别、运动检测等)的一组图像中提取图像的子集、从已经被识别为具有差的图像质量的一组图像中删除和/或移除图像、删除和/或移除已经被识别为重复(或者重复到达阈值内)的图像、删除和/或移除已经被识别为不具有运动的图像等。可替代地或额外地,可以通过分配新的回放参数来修改该组图像。
步骤1608回放经修改的第一组图像。在一些情况下,以与其被捕获的不同的帧速率和/或以不同的持续时间来回放经修改的一组图像,如前所述。可替代地或额外地,经修改的一组图像可以与经同步的音乐一起回放和/或在照片故事中回放。
在考虑了以上的实施例之后,现在考虑对可以用于实现在上文中所描述的实施例的示例设备的讨论。
示例设备
图17示出了可以被实现为用于实现在本文中所描述的实施例的任何类型的便携和/或计算机设备的示例设备1700的各种组件。设备1700包括支持设备数据1704(例如,所接收的数据、正在接收的数据、计划用于广播的数据、数据的数据分组等)的有线和/或无线通信的通信设备1702。设备数据1704或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息。存储在设备1700上的媒体内容可以包括任何类型的音频、视频、和/或图像数据。设备1700包括经由其可以接收任何类型的数据、媒体内容、和/或输入(例如,用户可选择的输入、消息、音乐、电视媒体内容、经记录的视频内容、以及从任何内容和/或数据源接收的任何其他类型的音频、视频、和/或图像数据)的一个或多个数据输入1706。
设备1700还包括可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、以及任何其他类型的通信接口中的任何一个或多个的通信接口1708。通信接口1708在设备1700与通信网络之间提供连接和/或通信链路,通过所述连接和/或通信链路,其他电子、计算、和通信设备与设备1700传送数据。
设备1700包括一个或多个处理器1710(例如,微处理器、控制器等中的任何一个),所述一个或多个处理器1710处理各种计算机可执行或可读的指令以控制设备1700的操作并且实现在上文中所描述的实施例。可替代地或另外地,可以利用硬件、固件、或结合在1712处一般性地标识的处理和控制电路实现的固定逻辑电路中的任何一个或组合来实现设备1700。尽管未示出,设备1700可以包括耦合了设备内的各种组件的系统总线或数据传输系统。系统总线可以包括不同的总线结构中的一个或组合,所述不同的总线结构例如:存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用多种总线架构中的任何一个的处理器或本地总线。
设备1700还包括计算机可读介质1714,例如,一个或多个存储器组件,所述存储器组件的示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一个或多个)、以及盘存储设备。盘存储设备可以被实现为任何类型的磁或光存储设备,例如,硬盘驱动器、可记录和/或可重写压缩盘(CD)、任何类型的数字通用盘(DVD)等。设备1700还可以包括大容量存储介质设备1716。
计算机可读介质1714提供用于存储设备数据1704、以及各种设备应用1718和有关设备1700的操作方面的任何其他类型的信息和/或数据的数据存储机制。例如,操作系统1720可以作为计算机应用保存在计算机可读介质1714上,并且可以在处理器1710上执行。设备应用1718可以包括设备管理器(例如,控制应用、软件应用、信号处理和控制模块、特定的设备的本机代码、特定的设备的硬件抽象层等)以及其他应用,所述其他应用可以包括:网络浏览器、图像处理应用、诸如即时消息传送应用之类的通信应用、文字处理应用、以及多种其他不同的应用。设备应用1718还包括用于实现在本文中所描述的技术的实施例的任何系统组件或模块。在该示例中,设备应用1718可以包括如在上文中所描述的那样操作的图像分析模块1722。
设备1700还包括向音频系统1726提供音频数据和/或向显示系统1728提供视频数据的音频和/或视频输入-输出系统1724。音频系统1726和/或显示系统1728可以包括处理、显示、和/或以其他方式呈现音频、视频、和图像数据的任何设备。可以将视频信号和音频信号经由RF(射频)链路、S-video链路、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接、或其他类似的通信链路从设备1700传送至音频设备和/或显示设备。在实施例中,视频系统1726和/或显示系统1728被实现为设备1700的外部组件。可替代地,音频系统1726和/或显示系统1728被实现为示例设备1700的集成组件。
总结
各种实施例提供了被配置为具有多个捕获模式的捕获设备(例如,相机),所述多个捕获模式包括图像捕获模式和视频捕获模式。可以将捕获设备设置为其中周期性地、自动地捕获图像或照片的图像捕获模式。在检测到特定事件(例如,听觉上可检测到的事件)之后,捕获设备自动地触发视频捕获模式并且开始捕获视频。在一段时间之后,捕获设备可以转换回图像捕获模式。可以以各种方式进行转换回图像捕获模式,例如,在经过了一段时间之后、在听觉上可检测到的事件终止或减弱之后、通过用户输入等。在一些实施例中,可以将捕获设备实施为由用户所穿戴的可穿戴相机。
在至少一些实施例中,图像和视频的集合定义了利用静止的图像和视频两者记录了用户的日常生活的“照片故事”。
各种其他实施例使得捕获设备能够捕获至少一个高分辨率图像并且基于该高分辨率图像来生成低分辨率图像。一些实施例在传输对应的相关联的高分辨率图像文件之前,将相关联的低分辨率图像文件传输至第二设备。在一些情况下,可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。接着,与高分辨率图像相关联的处理决策可以是基于低分辨率图像的属性或多个属性的。
各种其他实施例使得处理设备能够从捕获设备至少接收第一组图像。在一些情况下,第一组图像是使用第一帧速率在第一持续时间内所捕获的视频片段。在一些实施例中,处理设备分析视频的第一集合以确定与图像相关联的一个或多个属性。基于所确定的属性,一些实施例以第二帧速率在第二持续时间内修改并回放第一组图像。
尽管已经用特定于结构特征和/或方法行为的语言描述了实施例,但应当理解的是,在所附权利要求中所定义的各种实施例不一定限于所描述的具体的特征或行为。相反,具体的特征和行为是作为实现各种实施例的实例形式公开的。

Claims (10)

1.一种自动地组织图像的计算机实现的方法,包括:
经由处理设备来接收至少第一组图像;
经由所述处理设备来分析所述至少第一组图像以确定至少一个属性;
经由所述处理设备来确定至少一个回放参数;
至少部分地基于所述至少一个回放参数和所述至少一个属性,经由所述处理设备来修改所述至少第一组图像;以及
经由所述处理设备来回放经修改的至少第一组图像以实现自动地组织所回放的图像。
2.根据权利要求1所述的计算机实现的方法,其中,所述至少一个回放参数包括回放帧速率。
3.根据权利要求2所述的计算机实现的方法,其中,所述回放帧速率不同于与所述至少第一组图像相关联的捕获帧速率。
4.根据权利要求1所述的计算机实现的方法,其中,分析所述至少第一组图像还包括分析与所述至少第一组图像相关联的图像内容。
5.根据权利要求4所述的计算机实现的方法,其中,分析所述图像内容还包括衡量图像相似度。
6.包括处理器可执行的指令的一个或多个计算机可读存储存储器,其中,当被执行时,所述处理器可执行的指令被配置为执行以下操作以用于自动地组织视频,所述操作包括:
接收至少第一视频;
分析与所述至少第一视频相关联的图像内容以确定至少一个图像质量度量;
至少部分地基于所述至少一个图像质量度量来修改所述至少第一视频;以及
回放经修改的至少第一组视频以实现自动地组织所回放的视频。
7.根据权利要求6所述的一个或多个计算机可读存储存储器,其中,确定至少一个图像质量度量还包括生成以下度量中的至少一个度量:
全局域度量;
中间域度量;
特征点度量;或者
几何度量。
8.根据权利要求6所述的一个或多个计算机可读存储存储器,其中,修改所述至少第一视频还包括:从所述至少第一视频中移除被识别为彼此重复的至少一些图像。
9.根据权利要求6所述的一个或多个计算机可读存储存储器,所述处理器可执行指令还被配置为执行以下操作,所述操作包括:
分析至少一个音频音轨以确定至少一个音频属性;以及
至少部分地基于所述至少一个音频属性来回放与所述至少一个音频音轨同步的经修改的至少第一视频。
10.根据权利要求9所述的一个或多个计算机可读存储存储器,所述处理器可执行指令还被配置为执行以下操作,所述操作包括:
经由照片故事将对所述经修改的所述至少第一视频的回放与所述至少一个音频音轨进行同步。
CN201580026294.8A 2014-05-22 2015-05-20 自动组织视频以适应显示时间 Active CN106463152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/285,483 US11184580B2 (en) 2014-05-22 2014-05-22 Automatically curating video to fit display time
US14/285,483 2014-05-22
PCT/US2015/031654 WO2015179460A1 (en) 2014-05-22 2015-05-20 Automatically curating video to fit display time

Publications (2)

Publication Number Publication Date
CN106463152A true CN106463152A (zh) 2017-02-22
CN106463152B CN106463152B (zh) 2019-08-20

Family

ID=53488426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580026294.8A Active CN106463152B (zh) 2014-05-22 2015-05-20 自动组织视频以适应显示时间

Country Status (5)

Country Link
US (2) US11184580B2 (zh)
EP (1) EP3120358A1 (zh)
CN (1) CN106463152B (zh)
TW (1) TW201607314A (zh)
WO (1) WO2015179460A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US10679671B2 (en) * 2014-06-09 2020-06-09 Pelco, Inc. Smart video digest system and method
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9576460B2 (en) * 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9826013B2 (en) 2015-03-19 2017-11-21 Action Streamer, LLC Method and apparatus for an interchangeable wireless media streaming device
US9560100B1 (en) 2015-03-19 2017-01-31 Action Streamer, LLC Method and system for stabilizing and streaming first person perspective video
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
GB201510032D0 (en) * 2015-06-09 2015-07-22 Kp Acoustics Ltd Integrated sensor system
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
JP2017060029A (ja) * 2015-09-17 2017-03-23 パナソニックIpマネジメント株式会社 ウェアラブルカメラシステム及び録画制御方法
US20170085666A1 (en) * 2015-09-23 2017-03-23 Facebook, Inc. Systems and methods for adjusting progressive image transmission based on device properties
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10482345B2 (en) * 2016-06-23 2019-11-19 Capital One Services, Llc Systems and methods for automated object recognition
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10262208B2 (en) 2016-09-23 2019-04-16 Microsoft Technology Licensing, Llc Automatic selection of cinemagraphs
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
DE102016120845B4 (de) * 2016-11-02 2018-10-11 Matrix Vision Gmbh Bildverarbeitung Kamerasystem und Betriebsverfahren hierfür
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US10070154B2 (en) * 2017-02-07 2018-09-04 Fyusion, Inc. Client-server communication for live filtering in a camera view
EP3399438A1 (en) * 2017-05-04 2018-11-07 Buzzmusiq Inc. Method for creating preview track and apparatus using same
CN108063951B (zh) * 2017-12-14 2021-07-13 Oppo广东移动通信有限公司 非标准分辨率数据的传输方法、装置及电子设备
WO2020007460A1 (en) * 2018-07-04 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Wireless device, computer server node, and methods thereof
CN109151595B (zh) * 2018-09-30 2019-10-18 北京微播视界科技有限公司 视频处理方法、装置、终端和介质
US20240094890A1 (en) * 2020-11-30 2024-03-21 Kinemaster Corporation Video editing ui control method and apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207733A1 (en) * 2004-03-17 2005-09-22 Ullas Gargi Variable speed video playback
US20130148940A1 (en) * 2011-12-09 2013-06-13 Advanced Micro Devices, Inc. Apparatus and methods for altering video playback speed
CN103262169A (zh) * 2010-12-14 2013-08-21 高通股份有限公司 用于删除失效帧的视频编辑装置

Family Cites Families (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3305148A (en) 1965-07-13 1967-02-21 Arthur E Zimmerman Instrument harness
US4393415A (en) * 1980-10-28 1983-07-12 Rca Corporation Time changing system for VTR
JP2803072B2 (ja) 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
US6727949B1 (en) 1993-09-29 2004-04-27 Canon Kabushiki Kaisha Image pickup apparatus with moving image and still image focus control based on changing threshold value
US5610678A (en) 1993-12-30 1997-03-11 Canon Kabushiki Kaisha Camera including camera body and independent optical viewfinder
US5927579A (en) 1996-07-09 1999-07-27 Schwabe; Barry E. User attachable device for securing single use cameras and the like on clothing
US6058141A (en) 1995-09-28 2000-05-02 Digital Bitcasting Corporation Varied frame rate video
US6275829B1 (en) 1997-11-25 2001-08-14 Microsoft Corporation Representing a graphic image on a web page with a thumbnail-sized image
JPH11265649A (ja) 1998-03-18 1999-09-28 Mitsubishi Electric Corp 電流検出器及び電流検出器を備えた電力開閉器
US6711297B1 (en) 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
DE69914550T2 (de) 1998-09-09 2004-12-23 Mitsubishi Denki K.K. Videorecorder für eine Zielwaffe
KR100283883B1 (ko) 1998-12-04 2001-03-02 권혁섭 소형 디지털 카메라
US7920163B1 (en) 1999-06-15 2011-04-05 Tessera International, Inc. Sealed, waterproof digital electronic camera system and method of fabricating same
JP4174923B2 (ja) 1999-07-23 2008-11-05 コニカミノルタホールディングス株式会社 装着型カメラ
US6870547B1 (en) 1999-12-16 2005-03-22 Eastman Kodak Company Method and apparatus for rendering a low-resolution thumbnail image suitable for a low resolution display having a reference back to an original digital negative and an edit list of operations
US6904185B1 (en) 1999-12-16 2005-06-07 Eastman Kodak Company Techniques for recursively linking a multiply modified multimedia asset to an original digital negative
US6757027B1 (en) 2000-02-11 2004-06-29 Sony Corporation Automatic video editing
WO2001082611A1 (fr) 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
US6867680B1 (en) 2000-06-30 2005-03-15 Otto Controls Division, Otto Engineering, Inc Dual magnet hall effect switch
US6964025B2 (en) 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
GB2373944A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Wearable transmitting/receiving camera device.
US20040201774A1 (en) 2001-05-15 2004-10-14 Gennetten K. Douglas Docked camera becomes electronic picture frame
US6612404B2 (en) 2001-05-25 2003-09-02 Thyssen Elevator Capital Corp. Contactless hall effect push button switch
US7253840B2 (en) 2001-06-11 2007-08-07 Fujifilm Corporation Cradle for digital camera
GB0116113D0 (en) 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030081121A1 (en) 2001-10-30 2003-05-01 Kirmuss Charles Bruno Mobile digital video monitoring with pre-event recording
US6561702B1 (en) 2002-02-01 2003-05-13 Concord Camera Corp. Holder for a portable device
JP4990495B2 (ja) 2002-04-29 2012-08-01 トムソン ライセンシング デジタルビデオ記録装置及び記録動作制御方法
US6933964B2 (en) 2002-06-25 2005-08-23 Kingtek Electronics Technology Corp. Surveillance system
GB2393149B (en) 2002-09-23 2004-08-18 Sheng Tien Lin Image transmitting ball-point pen
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
GB2395081A (en) 2002-10-31 2004-05-12 Hewlett Packard Co Image capture system
US20050185936A9 (en) 2002-11-08 2005-08-25 Ich-Kien Lao Mobile and vehicle-based digital video system
JP3987788B2 (ja) 2002-11-26 2007-10-10 富士フイルム株式会社 デジタルカメラシステム
USD483784S1 (en) 2002-12-24 2003-12-16 Opcom Inc. Combined digital camera and writing implement
KR100582788B1 (ko) 2003-02-06 2006-05-23 엘지전자 주식회사 썸네일 이미지를 이용한 녹화 프로그램 편집방법
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
US7319485B2 (en) 2003-03-21 2008-01-15 Hewlett-Packard Development Company, L.P. Apparatus and method for recording data in a circular fashion
US7152209B2 (en) 2003-03-28 2006-12-19 Microsoft Corporation User interface for adaptive video fast forward
US7324156B2 (en) 2003-05-02 2008-01-29 Motorola Inc. Attachable carrier having an optical accessory for a portable electronic device
US8930561B2 (en) 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20050093988A1 (en) 2003-11-03 2005-05-05 Haas William R. Digital camera with automatic mode detection
JP2005191756A (ja) 2003-12-25 2005-07-14 Toshiba Corp デジタルスチルカメラ
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
US20050248453A1 (en) 2004-05-10 2005-11-10 Fechter Cary E Multiple deterrent, emergency response and localization system and method
US20060011724A1 (en) 2004-07-15 2006-01-19 Eugene Joseph Optical code reading system and method using a variable resolution imaging sensor
US7333963B2 (en) 2004-10-07 2008-02-19 Bernard Widrow Cognitive memory and auto-associative neural network based search engine for computer and network located images and photographs
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US7326869B2 (en) 2004-10-22 2008-02-05 Intergraph Hardware Technologies Company Tactile feedback plunger switch
JP2006129391A (ja) 2004-11-01 2006-05-18 Sony Corp 撮像装置
DE602005004496T2 (de) 2004-12-28 2009-02-19 Seiko Epson Corp. Abbildungsgerät und tragbare Vorrichtung sowie tragbares Telefon damit
US8224408B2 (en) 2005-01-24 2012-07-17 Ralf Tomasini Cradle for mobile phones
US7496140B2 (en) 2005-01-24 2009-02-24 Winningstad C Norman Wireless event authentication system
JP2006245726A (ja) 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
USD534939S1 (en) 2005-05-17 2007-01-09 Logitech Europe S.A. Camera clip
JP4277837B2 (ja) 2005-08-03 2009-06-10 ソニー株式会社 撮像装置
US20070071423A1 (en) 2005-09-27 2007-03-29 Fantone Stephen J Underwater adaptive camera housing
EP1793580B1 (en) 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
CA2633692A1 (en) 2006-03-15 2007-11-08 Qualcomm Incorporated Sensor-based orientation system
US7623182B2 (en) 2006-04-10 2009-11-24 Hewlett-Packard Development Company, L.P. Camera interface module
JP2007336281A (ja) 2006-06-15 2007-12-27 Sony Corp 画像記録装置、画像再生装置、画像記録方法及び画像再生方法
US20070291177A1 (en) 2006-06-20 2007-12-20 Nokia Corporation System, method and computer program product for providing reference lines on a viewfinder
US7490721B2 (en) 2006-06-26 2009-02-17 Bishop J Scott Camera holder
US8310540B2 (en) 2006-08-31 2012-11-13 Stellar, Llc Loop recording with book marking
US20080055427A1 (en) 2006-09-05 2008-03-06 Heino Wendelrup Video diary
US8374498B2 (en) 2006-09-29 2013-02-12 Microscan Systems, Inc. Systems and/or devices for camera-based inspections
US20080180537A1 (en) 2006-11-14 2008-07-31 Uri Weinberg Camera system and methods
US8199220B2 (en) 2006-12-06 2012-06-12 Samsung Electronics Co., Ltd. Method and apparatus for automatic image management
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US7783133B2 (en) 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
JP4653123B2 (ja) 2007-01-09 2011-03-16 富士フイルム株式会社 画像取得装置および画像取得方法
US8978062B2 (en) 2007-01-12 2015-03-10 Nokia Siemens Networks Gmbh & Co. Apparatus and method for processing audio and/or video data
GB2456587A (en) 2007-03-13 2009-07-22 James Bircumshaw A multi-functional body worn camera
EP1983740A1 (en) 2007-04-16 2008-10-22 STMicroelectronics (Research & Development) Limited Image stabilisation method and apparatus
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
WO2009001512A1 (ja) 2007-06-27 2008-12-31 Panasonic Corporation 撮像装置、方法、システム集積回路、及びプログラム
JP2009110351A (ja) 2007-10-31 2009-05-21 Sony Corp クレイドルおよび電子機器
JP4458151B2 (ja) 2007-11-06 2010-04-28 ソニー株式会社 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
US8538376B2 (en) 2007-12-28 2013-09-17 Apple Inc. Event-based modes for electronic devices
GB2457466A (en) 2008-02-13 2009-08-19 Sight Digital Ltd X Multi-channel digital video recorder (DVR) with user selection of MPEG codec recording parameters
US8026913B2 (en) 2008-07-29 2011-09-27 International Business Machines Corporation Image capture and buffering in a virtual world
US20100027663A1 (en) 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP4796104B2 (ja) 2008-08-29 2011-10-19 シャープ株式会社 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体
US7778023B1 (en) 2008-09-19 2010-08-17 Victor Mohoney Docking system for MP3 players and other portable electronic devices
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100107126A1 (en) 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
US8526779B2 (en) 2008-11-07 2013-09-03 Looxcie, Inc. Creating and editing video recorded by a hands-free video recording device
US8593570B2 (en) 2008-11-07 2013-11-26 Looxcie, Inc. Video recording camera headset
CN102217304A (zh) * 2008-11-14 2011-10-12 松下电器产业株式会社 拍摄装置和摘要再生方法
KR101532610B1 (ko) 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
US8482520B2 (en) 2009-01-30 2013-07-09 Research In Motion Limited Method for tap detection and for interacting with and a handheld electronic device, and a handheld electronic device configured therefor
US8159363B2 (en) 2009-02-16 2012-04-17 Research In Motion Limited Using gravity to direct a rotatable camera in a handheld electronic device
US20100208370A1 (en) 2009-02-19 2010-08-19 Ying-Kuo Chang Camera lens assembly
US8818172B2 (en) 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US20100289904A1 (en) 2009-05-15 2010-11-18 Microsoft Corporation Video capture device providing multiple resolution video feeds
US8016492B2 (en) 2009-06-16 2011-09-13 Colin James Pyle Wrist or arm strap with hinged mount for camera
GB2473235B (en) 2009-09-04 2012-02-29 Hock Thiam Saw Portable electric device charging connector arrangement
US20110064129A1 (en) 2009-09-16 2011-03-17 Broadcom Corporation Video capture and generation at variable frame rates
US9106275B2 (en) 2009-09-24 2015-08-11 Blackberry Limited Accelerometer tap detection to initiate NFC communication
KR101642400B1 (ko) 2009-12-03 2016-07-25 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8744875B2 (en) 2009-12-23 2014-06-03 Mindray Ds Usa, Inc. Systems and methods for synchronizing data of a patient monitor and a portable sensor module
CN102118560A (zh) 2009-12-30 2011-07-06 深圳富泰宏精密工业有限公司 拍照系统及方法
US8270827B2 (en) 2010-01-12 2012-09-18 Tse Jr Kenneth K Camera lens accessory holder
JP5457217B2 (ja) 2010-02-02 2014-04-02 オリンパスイメージング株式会社 カメラ
WO2011106520A1 (en) 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US8358927B2 (en) 2010-08-05 2013-01-22 Panasonic Corporation Imaging apparatus
US8322215B2 (en) 2010-09-13 2012-12-04 Itron, Inc. Accelerometer based removal and inversion tamper detection and tap switch feature
US8990199B1 (en) * 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
CA2754841C (en) 2010-10-12 2016-11-01 Research In Motion Limited Method and apparatus for image orientation indication and correction
TW201224628A (en) 2010-12-03 2012-06-16 Hon Hai Prec Ind Co Ltd Image obtaining device, projector, and method thereof
US8886015B2 (en) 2011-01-28 2014-11-11 Apple Inc. Efficient media import
US9052876B2 (en) 2011-05-13 2015-06-09 Symbol Technologies, Llc Peer-to-peer event-time secured link establishment
JP5868618B2 (ja) 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
US8515241B2 (en) 2011-07-07 2013-08-20 Gannaway Web Holdings, Llc Real-time video editing
US20130014585A1 (en) 2011-07-13 2013-01-17 P.I. Engineering, Inc. Accelerometer-based touch pad for timing swimming and other competitive events
US20130201344A1 (en) 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US8743069B2 (en) 2011-09-01 2014-06-03 Google Inc. Receiving input at a computing device
US9065967B2 (en) 2011-09-13 2015-06-23 Verizon Patent And Licensing Inc. Method and apparatus for providing device angle image correction
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9354779B2 (en) 2012-03-12 2016-05-31 Microsoft Technology Licensing, Llc Providing theme variations in a user interface
US20130259322A1 (en) * 2012-03-31 2013-10-03 Xiao Lin System And Method For Iris Image Analysis
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US9894781B2 (en) 2012-06-06 2018-02-13 Apple Inc. Notched display layers
US8989503B2 (en) * 2012-08-03 2015-03-24 Kodak Alaris Inc. Identifying scene boundaries using group sparsity analysis
CN202838971U (zh) 2012-08-30 2013-03-27 西安隆美尔臣电子科技有限责任公司 一种录音摄像笔
US9032130B2 (en) 2012-09-12 2015-05-12 Blackberry Limited Dock for data transfer to and from portable electronic device
US8907927B2 (en) 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices
WO2014052898A1 (en) 2012-09-28 2014-04-03 Digital Ally, Inc. Portable video and imaging system
US9649074B2 (en) * 2012-11-20 2017-05-16 Carstream Health, Inc. Scan geometry corrections for tomosynthesis mobile radiographic apparatus
US9093849B2 (en) 2013-01-07 2015-07-28 Superior Communications, Inc. Universal charging dock with a wall mount
US20140211031A1 (en) 2013-01-30 2014-07-31 Microsoft Corporation Auto picture alignment correction
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US20140270688A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Personal Video Replay
US9661221B2 (en) 2013-03-15 2017-05-23 Qualcomm Incorporated Always-on camera sampling strategies
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US20140333828A1 (en) 2013-05-10 2014-11-13 Microsoft Corporation Portable camera dock
US20140354880A1 (en) 2013-06-03 2014-12-04 Microsoft Corporation Camera with Hall Effect Switch
US9894311B2 (en) * 2013-07-30 2018-02-13 Robert Bosch Gmbh Adaptive methods for wireless camera communication
US9247136B2 (en) * 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
TWI510811B (zh) 2013-09-13 2015-12-01 Quanta Comp Inc 頭戴式系統
US20150243325A1 (en) * 2014-02-24 2015-08-27 Lyve Minds, Inc. Automatic generation of compilation videos
US9313401B2 (en) 2014-03-04 2016-04-12 Here Global B.V. Frame rate designation region
US20150271231A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Transport accelerator implementing enhanced signaling
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207733A1 (en) * 2004-03-17 2005-09-22 Ullas Gargi Variable speed video playback
CN103262169A (zh) * 2010-12-14 2013-08-21 高通股份有限公司 用于删除失效帧的视频编辑装置
US20130148940A1 (en) * 2011-12-09 2013-06-13 Advanced Micro Devices, Inc. Apparatus and methods for altering video playback speed

Also Published As

Publication number Publication date
EP3120358A1 (en) 2017-01-25
WO2015179460A1 (en) 2015-11-26
US10750116B2 (en) 2020-08-18
CN106463152B (zh) 2019-08-20
TW201607314A (zh) 2016-02-16
US20180309954A1 (en) 2018-10-25
US11184580B2 (en) 2021-11-23
US20150341591A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
CN106463152A (zh) 自动组织视频以适应显示时间
US9451178B2 (en) Automatic insertion of video into a photo story
US9503644B2 (en) Using image properties for processing and editing of multiple resolution images
CN109068019B (zh) 来自照片集的自动音乐视频创建和智能图库
KR102091848B1 (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
KR101906827B1 (ko) 연속 사진 촬영 장치 및 방법
US7917020B2 (en) Information processing device and method, photographing device, and program
KR101304480B1 (ko) 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR101406843B1 (ko) 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN107566529A (zh) 一种拍照方法、移动终端及云端服务器
CN111131884B (zh) 一种视频剪辑的方法、相关装置、设备以及存储介质
CN104284240B (zh) 视频浏览方法及装置
WO2018233480A1 (zh) 照片推荐方法及相关产品
CN105874780A (zh) 对一组图像生成文本色彩的方法和装置
CN107809598B (zh) 一种拍摄方法、移动终端及服务器
CN106803888A (zh) 合成图像的方法和电子设备
CN105812853A (zh) 一种图像处理方法及电子设备
CN108198162A (zh) 照片处理方法、移动终端、服务器、系统、存储介质
WO2013132557A1 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
CN112118397A (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN107613284B (zh) 一种图像处理方法、终端和计算机可读存储介质
WO2021129444A1 (zh) 文件聚类方法及装置、存储介质和电子设备
JP7393086B2 (ja) ジェスチャ埋め込みビデオ
CN107079075A (zh) 有效传送生活日志照相机捕获到的数字图像的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant