[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105917649A - 用于将兴趣区域指示包括在压缩视频数据中的技术 - Google Patents

用于将兴趣区域指示包括在压缩视频数据中的技术 Download PDF

Info

Publication number
CN105917649A
CN105917649A CN201580004961.2A CN201580004961A CN105917649A CN 105917649 A CN105917649 A CN 105917649A CN 201580004961 A CN201580004961 A CN 201580004961A CN 105917649 A CN105917649 A CN 105917649A
Authority
CN
China
Prior art keywords
roi
image
equipment
video data
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580004961.2A
Other languages
English (en)
Other versions
CN105917649B (zh
Inventor
P·李
C·王
Y-J·邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105917649A publication Critical patent/CN105917649A/zh
Application granted granted Critical
Publication of CN105917649B publication Critical patent/CN105917649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

各实施例总体上涉及用于将对兴趣区域(ROI)的指示结合到采用压缩形式表示运动视频的图像的压缩视频帧的视频比特流中。一种用于对运动视频图像进行压缩的设备包括压缩组件和增强组件，所述压缩组件用于对运动视频的图像进行压缩以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；并且所述增强组件用于利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。对其他实施例进行了描述并要求保护。

Description

用于将兴趣区域指示包括在压缩视频数据中的技术
背景技术
对运动数字视频影像进行数字捕捉、存储和观看所采用的渐增的颜色深度和分辨率现在甚至在专业水平上与基于胶片的摄影的质量展开竞争，其中，锐度和颜色再现的预期效果被提高。然而，这些增加还导致增加的数据大小，导致针对存储设备的增加的存储容量要求以及针对包括运动视频在内的数据的交换的增加的数据传输速率要求。
在表示运动视频的压缩视频数据的存储和传输中已经采用了各种类型的视频压缩。那些类型的视频压缩包括由瑞士日内瓦的国际标准化组织公布的广泛使用的运动图像专家组(MPEG)规范的多个版本。确切地，被普遍称为MPEG 2和MPEG 4(也称为H.264)的MPEG版本广泛地用于经由卫星、空中和基于电缆的配电系统来传输运动视频，并且用作经由网络(例如，互联网)流式传输的视频数据。目前正在发展的是在其开发者中被称为高效率视频编码(“HEVC”)或“H.265”的新的MPEG版本，该新版本更新MPEG的各个方面以便更好地解决“高清”电视分辨率的普遍采用。
不幸的是，即将来临的所谓的“4K”分辨率(例如，3840*2160像素)运动视频使得可以清楚地看出：数据大小的增加将继续挑战能够改进运动视频压缩算法从而通过压缩减小数据大小的步伐。因此，仍在寻找其他方法来减小数据大小。一种最近感兴趣的方法的是将运动视频影像的一个或多个帧的一个或多个部分指定为兴趣区域(ROI)，从而使得可以更好地优化那些帧的压缩以至少允许将帧的部分更强烈压缩以进一步减小数据大小不被视为是重要的。这种帧的被视为具有更高重要性的其他部分可以被较不强烈地压缩和/或可以被允许用更大的颜色深度的表示。
尽管与生成运动视频一致的指定对ROI已经开始被有效地用在控制初始编码中以压缩那个运动视频，在对运动视频进行解码和/或重新编码的存储、传输或其他处理的任何阶段上，当前必须重新推导出运动视频的每个帧的哪些部分是或不是ROI。这包括用于更改运动视频的多个方面(例如，改变分辨率或颜色深度、剪裁或尺寸改变、添加字幕等)的转码以及用于解压运动视频以进行观看的解码。不幸的是，ROI的这种重新推导需要使用消耗相当大的处理、存储和/或功率资源的各种算法，这可能由于对一个或多个这种资源(尤其是功率)的限制而在设备中迅速变得不可维系。
附图简要说明
图1展示了图像处理系统的实施例。
图2展示了图像处理系统的替代实施例。
图3A和图3B各自展示了捕捉图像并且确定ROI在图像内的位置的示例实施例。
图4展示了修改ROI的边界的示例实施例。
图5展示了生成压缩视频数据的示例实施例。
图6展示了生成消息数据的示例实施例。
图7展示了修改ROI的边界的规格的示例实施例。
图8至图10各自展示了实施例的一部分。
图11至图13各自展示了根据实施例的逻辑流程。
图14展示了根据实施例的处理架构。
图15展示了图形处理系统的另一个替代实施例。
图16展示了设备的实施例。
详细说明
各实施例总体上涉及用于将对兴趣区域(ROI)的指示结合到采用压缩形式表示运动视频的图像的压缩视频帧的视频比特流中。更确切地，将对至少针对运动视频的图像的子集的ROI的指示连同对分辨率、颜色深度、时间排序和各压缩参数的指示一起被结合到视频比特流中。在一些实施例中，对ROI的指示可以采用被格式化和/或被组织成遵循针对一种或多种广泛已知且使用的类型的视频压缩消息的规格的消息形式，以允许那些指示被包括为在指示视频帧的各方面和/或其压缩的其他消息中的消息。使对ROI的指示采用遵循一个或多个这种规格的消息的形式可以使得这些指示能够以被接受作为一个或多个这种规格的一部分的方式结合到压缩帧的视频比特流中和/或可以使得这些指示被如此结合为可选的特征，该特征至少缓和了与一个或多个这种规格的不兼容性。
在一些实施例中，可以采用MPEG版本或类似类型的压缩来压缩视频帧。在这种实施例中，一系列的视频帧可以被压缩以生成压缩帧(例如，帧内帧(I-帧)、预测帧(P-帧)和/或双预测帧(B-帧))，这些压缩帧被组织成画面组(GOP)。视频比特流可以结合一系列众多GOP，并且那些GOP可以按时间顺序被组织而在每个GOP内的压缩帧以编码顺序被安排。
在各实施例中，对ROI的每个这种指示可以应用于仅一个压缩帧上或者多个压缩帧上。在这种指示适用于多个压缩帧的情况下，该指示所适用的压缩帧可以被单独地标识，可以被标识为以特别标识的压缩帧开始的压缩帧的数量，或者可以通过指定压缩帧可以被组织成的一个或多个GOP而被标识。
在各实施例中，对ROI的每个这种指示可以指定ROI的边界在由压缩帧表示的图像中的位置，该指示通过指定关于像素和/或关于像素块距离图像的边或角的那些位置而应用于该压缩帧。在一些实施例中，可以采用关于像素和块两者的ROI的边界的位置的规范以更好地使能处理由那些压缩帧表示的图像。
在可以有多于一个ROI被表明为存在于在压缩帧的图像中的实施例中，每个这种ROI可以与优先等级相关联，所述优先等级表明其内容相对在同一图像中的一个或多个其他ROI的内容的重要程度。可以采用这种优先等级来控制对图像在每个所述ROI中的部分进行压缩的各个方面(例如，那些部分中的每一者被压缩得如何强烈)。这种优先等级可以包括较低优先等级(指定图像的一部分不如未包括在任何ROI中的其他部分重要)，并且包括较高优先等级(指定图像的一部分比未包括在任何ROI中的其他部分更重要)。ROI与这种较低优先等级的关联可以致使图像在ROI内的部分以甚至更强烈的方式被压缩，这种方式相比针对未包括在ROI中的其他部分采用的压缩而言可能损耗更多。
大致参考在此所使用的记法和命名，之后的详细描述的部分可以按照在计算机或计算机的网络上执行的程序过程来呈现。本领域的技术人员使用这些过程说明和表示来将其工作的实质最有效地传达给本领域的其他技术人员。过程在此并且通常被认为是导致所需结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的操作。通常，但不一定，这些量采用能够被存储、传递、组合、比较、以及以另外方式操纵的电、磁或光信号的形式。主要出于常见用法的原因，证明有时将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。然而，应当注意，所有这些术语和相似术语与适当的物理量相关联并且仅是应用于那些量的方便的标签。
进一步地，这些操纵经常被称为如相加或比较等术语，这些术语通常与由人类操作员执行的智力操作相关联。然而，在大多数情况下，在此所描述的形成一个或多个实施例的一部分的任何操作中不需要或不期望人类操作员的这种能力。相反，这些操作是机器操作。用于执行各实施例的操作的有用机器包括通用数字计算机和/或包括针对所需目的专门构造的设备，该通用数字计算机由存储在其中根据本文的教导编写的计算机程序选择性地激活或配置。各实施例还涉及用于执行这些操作的设备或系统。这些设备可以是针对所需目的专门构造的或者可以包括通用计算机。各种各样的这些机器的所需结构将从给出的描述中变得明显。
现在参考附图，其中，贯穿附图相同的参考号用来表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体的细节以便提供对其彻底的理解。然而，可能显而易见的是，可以在没有这些具体细节的情况下实践新颖的实施例。在其他情形下，以框图的形式示出了众所周知的结构和设备，以便促进对其的描述。本发明将涵盖落在权利要求书的范围内的所有修改、等同物和替代方案。
图1展示了结合捕捉设备100、转码设备400和观看设备700中的一者或多者的图像处理系统1000的实施例的框图。在图像处理系统1000中，以压缩形式表示运动视频880的压缩视频数据230可以由捕捉设备100生成。然后可以从捕捉设备100接收压缩视频数据230，并且可以由转码设备400以各种方式修改运动视频880的图像以生成采用修改和压缩形式表示运动视频880的压缩视频数据530。观看设备700可以分别从或者捕捉设备100或者转码设备400接收或者压缩视频数据230或者压缩视频数据530以进行视觉显示。每一个这些设备100、400和700可以是各种类型的计算设备中的任何一种计算设备，包括但不限于：台式计算机系统、数据输入终端、膝上计算机、上网本计算机、平板计算机、手持式个人数据助理、智能电话、智能眼镜、智能腕表、数码相机、并入衣服中的身体穿戴式计算设备、整合到车辆(例如，汽车、自行车、轮椅等)中的计算设备、服务器、服务器集群、服务器组等。
如所描绘的，这些设备100、400和/或700通过网络999交换传达表示运动视频880的压缩的和/或未压缩的数据和/或相关数据的信号。然而，这些计算设备中的一个或多个设备可以经由网络999与彼此和/或与又其他计算设备(未示出)交换与运动视频880完全不相关的其他数据。在各实施例中，网络999可以是可能受限于在单个建筑物或其他相对有限的区域内延伸的单个网络、可能延伸相当大距离的连通网络的组合，和/或可以包括互联网。因此，网络999可以基于通过其可以交换信号的各种通信技术中的任何一种通信技术(或组合)，包括但不限于：采用电和/或光导电线缆的有线技术、以及采用红外线、射频或其他形式的无线传输的无线技术。还应当指出的是，这种数据可以经由在不同时间将可移除存储器(例如，基于闪速存储器技术的固态存储器、光盘介质等)直接耦合到每一个上而得到交换。
在各实施例中，捕捉设备100结合了处理器组件150、存储器160、控制器120、显示器180、图像传感器113、距离传感器117以及用于将捕捉设备100耦接至网络999的接口190中的一者或多者。存储器160存储控制例程140、视频数据130、ROI数据170和压缩视频数据230中的一者或多者。图像传感器113可以基于用于捕捉场景的图像的各种技术中的任何一种技术，包括但不限于电荷耦合设备(CCD)半导体技术。若存在的话，距离传感器117可以基于用于至少确定在图像传感器113的视野中的至少一个物体距捕捉设备100的距离的各种技术中的任何一种技术。在一些实施例中，可以使用超声输出和接收的组合，其中，至少可以通过朝那个物体发射超声波并且确定那些声波在由那个物体反射后返回所需的时间量来确定这个距离。在其他实施例中，可以以类似的方式采用红外光束来代替超声波声波。本领域技术人员将想到用于确定物体距捕捉设备100的距离的另外其他技术。
控制例程140结合了在其作为捕捉设备100的主处理器组件的角色中结合了在处理器组件150上操作的指令序列以实现用于执行各种功能的逻辑。在执行控制例程140的指令序列时，使得处理器组件150捕捉组成运动视频880的一系列图像并且将那些图像压缩为视频比特流的压缩帧。在这样做时，还使得处理器组件150确定在那些图像的每个图像中是否存在至少一个ROI并且确定每个这种ROI的边界的位置。应注意的是，取决于每个图像的内容，运动视频中的系列图像中可能有众多具有一个或多个ROI的图像并且在相同系列图像中可能有众多不具有任何ROI的图像。给定在当前运动视频摄影中所使用的相对较高的帧速率，由于大多数真实世界物体在大多数运动视频中以相对较慢的速度移动，所以运动视频的多个连续的图像可能具有拥有相同边界(例如，定义了相同大小和相同区域并且在相同位置处的边界)的ROI。因此，如将被详细解释的，由于物体倾向于在许多真实世界运动视频中跨多个连续图像保持在相同位置中，ROI跨运动视频的多个连续图像“留存”可能是常见的。
捕捉运动视频880的图像并且确定ROI的边界在那些捕捉的图像的每个图像中的存在和/或位置可以通过接收用于这样做的命令而被触发。更确切地，处理器组件150可以等待信号将命令传送到捕捉设备100来至少操作图像传感器113捕捉运动视频880的图像并将那些捕捉的图像存储为视频数据130的帧。信号可从控制装置120接收并且表示由捕捉设备100的操作员手动操作控制装置120。替代性地，信号可以从另一个设备接收，并且可以通过网络999被这样接收。除了响应于该信号捕捉运动视频880之外，处理器组件150还可以分析在图像传感器113的视野中的物体和/或由距离传感器117检测到的距那些物体的距离，从而推导出一个或多个ROI和/或确定一个或多个ROI的边界的位置。
图3A更详细地描绘了捕捉组成运动视频880的一系列图像883中的一个图像883并且确定ROI 887至少在所描绘的图像883中的位置的示例。在支持自动聚焦的捕捉设备100的实施例中，处理器组件150操作距离传感器117来确定捕捉设备100与在图像传感器113视野中的有待成为图像883的物体(例如，所描绘的树)之间的距离。处理器组件150可以操作聚焦组件或与图像传感器113相关联的其他组件来调整针对此确定的距离的焦点。
在一些可能的实现方式中，距离传感器117可以被操作以确定从捕捉设备100到在图像传感器113的视野中最接近于捕捉设备100的物体的距离。在这种实现方式中，距离传感器117可以具有被用来确定最接近的物体的位置和大小的某种能力，并且处理器组件150可以确定ROI 887的边界以至少包含那个视野的捕捉的图像883内的那个最接近的物体的一部分。
在其他可能的实现方式中，距离传感器117可以被操作以确定捕捉设备100与在图像传感器113的视野中心的物体之间的距离，而不管捕捉设备100与在视野中的任何其他物体之间的距离如何。这种实现方式可以反映以下假定：所捕捉的图像883的至少大部分将集中在操作捕捉设备100的任何人所感兴趣的物体上。在这种实现方式中，ROI 887的位置可以被默认地定义为在图像883的中心处。然而，距离传感器117可以具有被用来确定在那个视野中心的物体的大小和/或形状的某种能力，由此使得处理器组件150能够确定物体填充视野达到什么程度并最终使得处理器组件150确定ROI 887在图像883中的边界。
因此，在这种实现方式中，除了使得能够确定至物体的距离以用于其他功能(如自动聚焦)之外，距离传感器117还可以用作确定ROI 887在图像883内的边界。随着焦点被调整(无论是否通过使用距离传感器117)，通过执行控制例程140以致使处理器组件150操作图像传感器113来捕捉在图像传感器113的视野中的事物的图像883。
图3B更详细地描绘了捕捉运动视频880的图像883并且确定ROI 887在图像883中的位置的替代示例。更确切地，不管距离传感器117是否存在或是否被用来执行如自动调焦等功能，可以使用可以不利用距离传感器117的其他技术来确定图像883的ROI的边界。
在一些可能的实施例中，可以致使处理器组件150采用一种或多种算法来分析在图像传感器113的视野中的物体从而尝试基于以下假定来标识一个或多个特定类型的物体：那些类型的物体可能引起正操作捕捉设备100的任何人的兴趣。因此，例如，可以致使处理器组件150采用人脸检测算法来搜索在图像传感器113的视野中的人脸。一旦标识在视野中的人脸，就可以致使处理器组件150定义ROI 887在有待拍摄的那个视野的涵盖所标识的那个人脸的图像883内的边界。
在其他可能的实施例中，处理器组件150可以接收表明由捕捉设备200的操作者手动操作控制装置120的信号从而手动地表明的ROI 887边界。这种手动提供的指示可以代替那些边界的自动确定，可以是那些边界的这种自动确定的微调和/或可以用于指定附加兴趣区域(未示出)的边界。
为了捕捉运动视频880，处理器组件150反复地操作图像传感器113来捕捉一系列图像883。通过这样操作图像传感器113，处理器组件150接收来自图像传感器113的传达所捕捉图像883的信号并将该一系列捕捉的图像883存储为视频数据130的一系列未压缩帧。相应地，在包括距离传感器177的实施例中，处理器组件可以针对每个所述图像883的每次捕捉反复操作图像传感器117来确定物体在图像传感器113的视野中的距离、位置和/或大小，从而确定是否每个所捕捉的图像883都包括ROI和/或其边界。处理器组件150将可能存在(无论通过操作距离传感器117被确定为是否存在)于运动视频880的一个或多个所捕捉的图像883中的对ROI 887的边界的指示存储为ROI数据170，以供后续用于对代表运动视频880的视频数据130的未压缩帧进行压缩。
返回到图1，并且在存储视频数据130以及伴随的ROI数据170之后，处理器组件150压缩视频数据130以使用各种压缩编码算法中的任何一种算法来创建压缩视频数据230。更确切地，处理器组件150压缩视频数据130的各自表示运动视频880的图像883之一的未压缩帧，以生成压缩视频数据230的相应的压缩帧。在一些实施例中，处理器组件150可以使用与运动视频压缩的行业公认标准相关联的压缩编码算法，如但不限于：由ISO/IEC(国际标准化组织用于和国际电工委员会)公布的MPEG(运动图像专家组)的各种版本的H.263或H.264，或者由SMPTE(电影电视工程师协会)公布的VC-1。
在这样压缩视频数据130时，处理器组件150使用对在被表示为运动视频130的未压缩帧的这些图像883中的至少一些图像内的ROI 887的边界的指示来在生成压缩视频数据230的相应的压缩帧时改变压缩程度。换言之，对于图像883中包括ROI 887的那些图像，可以致使处理器组件150将那些图像883在ROI 887内的部分压缩到与未在ROI 887内的其他部分不同的程度。例如，图像883在ROI 887内的部分的压缩的一个或多个参数可以不同于同一图像883未在ROI 887内的部分的压缩的一个或多个相应的参数。这种参数差异可以包括以下各项中的一项或多项：颜色深度差异、颜色编码差异、质量设置差异、量化参数差异、有效地选择无损压缩或有损压缩的参数差异、压缩比参数差异等。
因此，图像883的这样一个图像在ROI 887内的像素相比同一图像883未在ROI 887内的像素可以用在压缩视频数据230内具有压缩形式的每像素比特的更高平均值表示。换言之，与对于在同一个图像883中在ROI 887内的像素相比较，与在图像883中在ROI 887外部的像素相关联的信息平均每像素丢失得更多。因此，在作为观看运动视频880的一部分对压缩视频数据230进行解压的稍后时间，能够以更高的图像质量对在那个图像的ROI 887内的图像部分进行显示(例如，以更多细节和/或更大颜色深度显示等)。
在一些实施例中，ROI 887中的至少一部分可以与优先等级相关联，该优先等级指示ROI的内容相对于图像883不在ROI 887内的部分的重要程度的相对重要程度和/或相对于其他ROI 887的内容的相对重要程度。在确定每个ROI887的优先等级时，可以由处理器组件150采用各种算法中的任何一种算法。举例来讲，处理器组件150可以基于物体距捕捉设备113的相对距离来推导出优先等级，其中，相比远离捕捉设备100更远的物体，较近的物体与指示较大重要性的优先等级相关联。替代地或此外，可以经由网络999或经由控制装置120的操作将针对至少某些ROI 887的优先等级从另一个计算设备提供至捕捉设备100。图像883在一个或多个ROI 887内部或外部的不同部分被压缩的程度可以至少部分地基于与那些部分中的每个部分相关联的优先等级，包括与一个或多个ROI 887相关联的优先等级。图像883在ROI 887内具有指示相对较高重要性的优先等级的部分相比同一图像在ROI 887内具有指示较低重要性的优先等级的另一部分或同一图像未在任何ROI 887内的另一部分可以被压缩较小的程度以便保留其更多的细节。替代地或此外，ROI 887可以与实际上表明甚至相比于图像未在任何ROI 887中的部分相对较低重要性的优先等级相关联，并且由优先等级表明的这种较低重要性可以导致在那个ROI 887内的部分被压缩更大的程度(例如，“更强烈”)从而使得丢失其更多的细节。在本质上，与指示这种较低重要性的优先等级相关联的ROI 887可以被视为“较不感兴趣的区域”，从而使得其细节通过更强烈的压缩导致的丢失被视为是不重要的。如将更加详细解释的，可以使用将一系列图像883的一部分指定为具有与指示较低重要性的优先等级相关联的ROI 887，其中，那些图像883与其他图像相结合，其中，具有较低重要性的ROI 887表示将至少覆盖有不同图像的一部分的区域。
应注意的是，选择与工业标准相关联的压缩编码算法可能导致强加针对视频数据230的特性的各种要求。确切地，这种工业标准可能包括与表示采用压缩形式的图像的数据的多个部分被组织的方式(例如，数据头的内容、消息数据的消息等)、与图像的每个像素相关联的数据被组织的顺序(例如，锯齿扫描的特定模式等)、对可用颜色深度和/或颜色编码的选择的限制等有关的规范。例如并且如在图4中描绘的，某些压缩编码算法可能需要将图像883的像素组织成二维像素块885，如各种MPEG版本的典型的8*8像素块或典型的16*16像素“宏块”。此外，这种压缩编码算法中的一些压缩编码算法要求在每个这种块885中的所有像素与共同的颜色深度、共同的颜色编码和/或其他共同的压缩相关的参数相关联，从而使得块885的像素中的一些像素不可能用与那个相同的块885的其他像素不同的参数中的至少一些参数来进行压缩。
因此，在ROI 887的边界不与块885中的相邻块的边界对准的情况下，ROI 887的边界可由处理器组件150更改以与块885的边界对准。在一些实施例中，处理器组件150将ROI 887的边界中的任何未对准的边界移向块885中的相邻块的边界中的最接近的边界，不管这样做是否增大或减小了ROI 887的二维区域。在其他实现方式中，处理器组件150将ROI 887的边界中的任何未对准边界朝外移到在ROI 887的原始边界外部的块885中的相邻块的最接近的边界(具体如在图4中所描绘的)，使得ROI 887的二维区域只能增大。这可以被完成以确保在那个ROI 887内的物体随后并不由于其二维区域缩减而从那个ROI 887中被移除(或者全部地或部分地)。作为替代方案，并且假定在定义ROI 887的边界时己知压缩编码算法的选择，ROI 887的边界可以被初步定义为与块885中的相邻块的边界中的一些边界相对准，从而避免必须随后在稍后的时间转移ROI 887的边界。
然而，在其他实施例中，将图像883的ROI 887的边界更改为与块885的相邻块的边界相对准的方式可以至少部分地受与那个ROI 887的控制并且至少受图像883未在那个ROI 887内的部分相关联的相对优先等级的控制。举例来讲，在那个ROI 887与指示比在那个ROI 887外部的部分的优先等级更重要的优先等级相关联的情况下，那么可以将那个ROI 887的边界向外移动以与块885中的相邻块的最接近的边界相对准，从而确保ROI 887的所有内容以与其更高重要性一致的方式被压缩。然而，在那个ROI 887与指示不如在那个ROI887外部的部分的优先等级重要的优先等级相关联的情况下，那么可以将那个ROI 887的边界向内移动以与块885中的相邻块的最接近的边界相对准，从而确保ROI 887的所有内容以与其更高重要性一致的方式被压缩。
图5展示从视频数据130和ROI数据170中生成压缩视频数据230的示例实施例。如所描绘的，视频数据130由一系列帧133组成，每个帧代表运动视频880的图像883之一，并且相应地，压缩视频数据230由压缩帧233组成，每个压缩帧对应于帧133之一并且表示运动视频880的图像883之一。还如所描绘的，采用需要生成画面组(GOP)的压缩类型(例如，MPEG版本)，从而使得处理器组件150将视频数据130的帧133划分成多个组。这样的每组帧133然后被压缩以生成由与那组帧133的那些帧133相对应得压缩帧233组成的GOP 232。GOP 232被组织成压缩视频比特流231，该压缩视频比特流变成以压缩形式表示运动视频880的压缩视频数据230的一部分。
视频数据230还结合消息数据270，该消息数据伴随着压缩视频比特流231并且包括对压缩帧233的压缩的各参数的指示，这些指示中的一些指示针对压缩帧233中的单独帧并且这些指示中的一些指示针对一个或多个整体GOP 232。当处理器组件150对帧133进行压缩以提供对压缩帧233进行后续解压所需的信息时，处理器组件150生成那些指示并且将它们包括在消息数据270中。这种信息可以包括颜色深度、颜色空间编码、量化参数、块大小等。处理器组件150可以另外包括对可能包括在由压缩帧233表示的图像883中的至少部分图像中的ROI 887的边界和/或优先等级的指示。
如先前所讨论的，取决于所使用的压缩算法，每个ROI 887的边界可能需要被更改以变得与块885(例如，MPEG宏块)中的相邻块的边界相对准，图像883中的每个图像可以通过这种压缩算法被划分成所述块885。在一些实施例中，对ROI 887的边界的位置的指示可以指定ROI 887的边界在来自图像883的一个或多个选定的边和/或角的像素的方面(例如，基于像素的双轴笛卡尔风格坐标系统)的原始未改变的位置。在其他实施例中，对ROI 887的边界的位置的指示可以指定将ROI 887的边界的位置变更为与块885的相邻块的边界相对准。在这样做时，ROI 887的边界可以或者在像素方面或者在块885方面从图像883的一个或多个选定的边和/或角中被指定。替代性地，在块885配备有唯一标识符的情况下，可以在每个帧883中哪个块885被包括在每个ROI 887中的方面来指定ROI 887的边界。在又其他实施例中，对ROI 887的边界的位置的指示可以指定每个ROI 887的边界的原始未改变位置和已改变位置两者，并且可以使用大量像素的组合(例如，基于像素的坐标)来指定块885的原始未改变的位置和数量、来指定改变的位置。
应注意的是，表示运动视频880的图像883的视频数据130的帧133被按时间顺序从左到右被安排，其中，它们对应的图像883可能已经被捕捉设备100所捕捉(例如，在从最早至最近的方向上遵循所描绘的“时间”箭头)。进一步地，GOP 232也可以按相同的时间顺序被组织，主要是由于这些组帧133的时间顺序被处理器组件150压缩。然而，在每个GOP 232中的压缩帧233可以按编码顺序被组织，其中，压缩帧232中的被其他压缩帧232用作参考帧的压缩帧232在那些其他压缩帧232之前。如本领域技术人员熟悉的，这通常被完成使得能够以相对稳定的速率执行解压，其中，从不存在这种情况：压缩帧232中的相关性致使压缩帧232之一的解压被延迟直到另一个压缩帧232被执行解压的任何设备所接收。
图6比图5稍微更详细地展示从视频数据130中生成压缩视频数据230的单个GOP 232的示例实施例。具体地，描绘了在所描绘的GOP 232中从视频数据130的五个相应帧133生成五个压缩帧233。还描绘了可以连同所描绘的压缩帧233一起由处理器组件150生成的消息数据270的可能消息的示例集。如本领域技术人员熟悉的，至少在压缩视频数据230被生成以符合一个或多个视频压缩标准(例如，一个或多个MPEG版本)的情况下，消息数据270可以包括提供对压缩的不同方面等的指示、涉及被生成用于表示运动视频880的整个压缩比特流231、包括其所有压缩帧233的消息，如所描绘的比特流消息271。替代地或此外，消息数据270可以包括提供涉及整个GOP 232的这种指示，包括其所有压缩帧233的消息，如所描绘的GOP消息272。同样替代地或此外，消息数据270可以包括提供涉及压缩帧233中的一个或多个单独帧的这种指示的消息，如所描绘的帧消息273。应注意的是，生成压缩帧233的这种特殊描绘是稍微简化的描绘用于帮助讨论和理解，并且通常期望GOP 232将典型地结合更大系列的压缩帧233。
如已经讨论的，视频数据130的帧133可以按时间顺序被安排(描绘成从左到右从最早到最近发展)，但相应的压缩帧233可以在GOP 232内按编码顺序被组织。如在图6中明确描绘的，这种可能的顺序差异的结果可能是一对压缩帧233在GOP 232内相对于其相应的一对帧133的顺序是颠倒的。由于这种顺序改变，包括边界在相同位置处的相同ROI 887并且由三个连续的帧133表示的三个时间上连续的图像883被致使由三个非连续压缩帧233表示。更确切地，上述将两个压缩帧233的位置颠倒成编码顺序导致表示图像883的压缩帧233，该图像不包括被插入在这三个压缩帧233的两个压缩帧之间的ROI 887，这三个压缩帧表示这三个图像883中不包括ROI 887的图像。
如所描绘的，ROI数据170可以包含对ROI 887存在于由帧133中的这三个连续的帧表示的这三个连续的图像883中的单一指示177。举例来讲，这个单一指示177可以表明ROI 887的边界的位置，可以将这三个帧133中最早的那个帧(例如，这三个帧的最左侧的帧)指定为表示包括ROI 887的图像883，并且可以包括表明ROI 887存在于由在这三个帧133的此最早的帧之后的多两个的数量的帧133表示的图像883中的“持续值”。然而，由于这三个帧133的连续安排并非按其在GOP 232内的相应的压缩帧233中的顺序保存的，可以将此ROI 887表明为存在于由相应的非连续压缩帧233表示的图像883中的方式进行改变。
在一些实施例中，并且如在图6中所描绘的，可以在消息数据270中生成多于一条帧消息273以表明哪个压缩帧233表示包括此ROI 887的图像883。确切地，可以在消息数据270中生成一条帧消息273，该帧消息表明此ROI 887存在于由这三个压缩帧233中最早的压缩帧(例如，这三个压缩帧中最左侧的压缩帧)表示的图像883中；并且可以包括持续值，该持续值表明此相同的ROI 887也存在于由相继在这三个压缩帧233的此最早的帧之后的多一个的数量的压缩帧233表示的图像883中。同样，可以在消息数据270中生成另一条帧消息273，该帧消息表明此ROI 887存在于由这三个压缩帧233中最近的压缩帧(例如，这三个压缩帧中最右侧的压缩帧)表示的图像883中；并且可以包括持续值，该持续值表明此相同的ROI 887不存在于由相继在这三个压缩帧233的此最近的压缩帧之后的任何压缩帧233表示的任何图像883中。这两条帧消息273中的每条帧消息可以完全彼此独立地在消息数据270内生成，其中两条均不参考另一个帧，并且各自独立地指示此ROI 887的边界的位置。
在每个压缩帧233可用标识符或按在GOP 232内的相对位置被唯一标识的其他实施例中，可以在消息数据270内生成单条帧消息273，该单条帧消息对三个压缩帧233中表示三个图像883中包括此ROI 887的一个图像的每个压缩帧进行标识。因此，这种帧消息273将完全不采用持续值。这种帧消息273还将表明此ROI 887的边界在这三个图像883中的所有三个图像中的位置。
在压缩比特流231是通过使用如H.265(也称为HEVC)等MPEG版本从视频数据130中生成的实施例中，在消息数据270中生成的用于表明ROI的消息271、272和/或273可以采用表明此类消息是补充增强信息(SEI)消息的消息语法。此类消息可以采用与这种MPEG版本相兼容的语法，并且这种语法可以用于指定这种消息的以下参数：
nal_unit_type＝PREFIX_SEI_NUT(39)
payloadType＝region_of_interest 235
payloadSize＝variable
针对nal_unit_type的代码39表明该消息是SEI消息，代码235是保留的SEI消息类型代码的示例，该代码可以被分配以指定ROI消息，并且代码“变量”表明出消息大小(以“位”为单位)可能从这种消息的一个实例到另一个实例各有不同。
在这种消息内，内容可以如以下所表明的那样被组织，如在适用于MPEG版本的语法中描述的：
以上语法的这种消息的语义如下：
返回到图1，在从视频数据130和ROI数据170中生成压缩视频数据230(包括其中的消息数据270)之后，处理器组件150将压缩视频数据230提供到另一个设备。处理器组件150可以通过以下方式来这样做：对接口190进行操作以经由网络999将压缩视频数据230传输到另一个设备。在一些实施例中，处理器组件150可以经由网络999将压缩视频数据230传输到转码设备400和/或观看设备700。在其他实施例中，处理器组件150可以将压缩视频数据230存储到可移除介质(未示出)上，该可移除介质随后可以用于将压缩视频数据230传达至转码设备400和/或观看设备700。
观看设备700结合了处理器组件750、存储器760、控制装置720以及接口790中的一者或多者，所述接口用于将观看设备700耦接至网络999。观看设备700还可以结合显示器780，在该显示器上视觉地呈现运动视频880，或者显示器780可以与观看设备700物理地分开，但通信地耦接至观看设备。控制装置720可以是各种可手动操作的输入设备中的任何一种输入设备，观看设备700的操作人员可以通过该输入设备传达命令以选择由观看设备700在显示器780上视觉地呈现的内容。例如，控制装置720可以包括由观看设备700的外壳(观看设备自身)承载的可手动操作的控制装置，和/或可以包括由远程控制装置承载的无线地耦接至观看设备700的可手动操作的控制装置。存储器760存储以下各项中的一项或多项：压缩视频数据230(或压缩视频数据530)、控制例程740、解压视频数据730和ROI数据770。
控制例程740结合了在处理器组件750上操作的指令序列以实现用于执行各种功能的逻辑。在执行控制例程740时，处理器组件750可以接收来自捕捉设备100的压缩视频数据230。替代性地，处理器组件750可以接收来自转码设备400的压缩视频数据530，其中，如将更详细解释的，可以从对压缩视频230做出的修改中生成压缩视频数据530。再次，压缩视频数据230或530可以经由网络999或通过另一种机制(如可移除的存储介质)而被接收。在执行控制例程740时，处理器组件750解压所接收的压缩视频数据230或530中的任一者。在这样做时，处理器组件750生成以解压形式表示运动视频880的解压视频数据730，并且生成由存在于由解压视频数据730的解压帧表示的图像883内的ROI 887的指示组成的ROI数据770。
在一些实施例中，处理器组件750可以采用ROI数据770来确定一项或多项图像增强技术可被应用在每个图像883的什么部分。举例来讲，仅在ROI数据770中表明存在具有相对较高优先等级的ROI 887的情况下，处理器组件750可以采用各种平滑处理、颜色校正或其他图像增强技术作为用于分配有限的处理、存储和/或功率资源的方式以准备用于视觉地呈现运动视频880。替代地或此外，处理器组件750可以限制每个图像883的分析以仅针对每个图像883的在其处ROI 887被表明为是存在的一部分来标识人脸，并且一旦标识ROI887内的人脸，处理器组件750就可以应用肤色增强算法。
处理器组件750可以监视控制装置720以接收对操作控制装置720的指示来传达命令从而导致附加信息连同运动视频880的视觉显示，如信道数量、程序描述、应用程序的文本或图形等。在这样做时，处理器组件750可以采用对任何ROI 887的边界的位置的指示来确定在显示器780上的什么地方视觉地呈现这种附加信息。举例来讲，处理器组件750可以尝试避免将这种附加信息的视觉呈现定位在显示器780上的这种位置处：在这种位置处在ROI数据770中被表明为具有相对较高的优先等级的ROI 887被视觉地呈现。
转码设备400结合了处理器组件450、存储器460、控制器500以及用于将转码设备400耦接至网络999的接口490中的一者或多者。存储器460存储压缩视频数据230和控制例程440中的一者或多者。控制器500结合了处理器组件550和存储器560中的一者或多者。存储器560存储控制例程540、解压视频数据430、ROI数据470和压缩视频数据530中的一者或多者。
控制例程440结合了在其作为转码设备400的主处理器组件的角色中结合了在处理器组件450上操作的指令序列以实现用于执行各种功能的逻辑。在执行控制例程440时，处理器组件450可以接收来自捕捉设备100的压缩视频数据230。再次，压缩视频数据230可以经由网络999或通过另一机制(如可移除的存储介质)而被接收。应注意的是，在对压缩视频数据230进行任何使用(包括对其进行解压、修改、重新压缩和/或传输)之前可以将其存储在存储器460中相当长的时间。然后，处理器组件450为控制器500提供压缩视频数据230。
控制例程540在其作为转码设备500的控制器500的控制器处理器组件的角色中结合了处理器组件550上操作的指令序列以实现用于执行各种功能的逻辑。在执行控制例程540时，处理器组件550对压缩视频数据230进行解压。在这样做时，处理器组件550生成以解压形式表示运动视频880的解压视频数据430，并且生成由存在于由解压视频数据430的解压帧表示的图像883内ROI887的指示组成的ROI数据470。然后，处理器组件550对解压视频数据430的解压帧执行各种图像处理操作中的任何一种，并且在这样做时可以使用和/或修改对ROI数据470中的ROI 887的指示。然后，处理器组件550对视频数据430的解压帧进行压缩以生成压缩视频数据530。在这样做时，处理器组件550将来自ROI数据470的ROI 887的指示包括为消息数据中的附加消息，该消息数据以类似于较早描述的将这种消息包含在压缩视频数据230的消息数据270中的方式结合到压缩视频数据530中。
如本领域技术人员熟悉的，在需要对运动视频进行解压以执行图像处理接着再次对图像进行压缩的视频图像处理操作经常被称为“转码”操作。处理器组件550可以执行作为这种转码的一部分的可能的图像处理操作的示例可以包括：重新改变图像883的尺寸或剪裁这些图像、通过添加或去除图像883在不同的帧速率之间转换、利用附加的视觉信息(例如，字幕)增强图像883中的至少一些图像、用来自另一个运动视频中的图像来合成图像883(例如，添加画中画插入)等。在处理器组件550将更多的视觉内容添加到运动视频880的图像883的至少一些图像中的实施例中(例如，字幕文本和/或另一个运动视频的图像的插入)，处理器组件550可以采用在ROI数据470中任何ROI 887的边界的位置的指示来确定在图像883的什么地方进行这种添加。举例来讲，处理器组件550可以尝试避免将这种附加视觉内容定位在图像883中的这样的位置处：在这些位置处在ROI数据470中被表明为具有相对较高的优先等级的ROI 887被视觉地呈现。
在处理器组件550重新改变图像883的尺寸或裁剪这些图像的实施例中，处理器组件550可以修改在ROI数据470中任何ROI 887的边界的位置的指示以反映由于对帧883做出的这种修改可以水平尺寸和竖直尺寸的一者或两者中对像素数量做出什么样的改变。举例来讲，并且如在图7中所描绘的，帧883可以被剪裁以减小它们的宽度，并且此剪裁可以来自原始较宽帧883的中心，从而在左端和右端两者处的像素被丢弃。因此，可能需要对任何ROI 887的边界在帧883中的位置(相对于帧883的边或角指定)的指示进行修改以反映在那些相对测量中产生的变化缘于像素的丢弃。还如在图7所示的，在像素数量方面从那些边界的帧883的边或角中将ROI 887的边界的位置指定为不变的从而与块885的相邻块的边界对准可以被视为是优选的。这样做可以更容易地使得由于剪裁和/或尺度变化而引起可能将块885的相邻块的边界的位置移动之后能够随后对准块885的相邻块的新边界。
图2展示了视频处理系统1000的替代实施例以及转码设备400的替代实施例的框图，该视频处理系统1000包括代替图1的单个捕捉设备100的一对捕捉设备100a和100b。图2的视频处理系统1000的替代实施例在许多方面类似于图1的实施例，并且因此，贯穿附图相同的参考号用来表示相同的元件。然而，不像图1的转码设备400，图2的转码设备400接收分别来自捕捉设备100a和100b的压缩视频数据230a和230b两者，而不是仅接收来自捕捉设备100的压缩视频数据230。同样，转码设备400并不结合控制器500，从而使得不像图1的转码设备400，在图2的转码设备400中，正是处理器组件450执行控制例程540来代替处理器组件550这样做。因此，在图2的视频处理系统1000的替代实施中，是处理器组件450执行转码操作，并且该转码操作可以是由压缩视频数据230a和230b中的每个压缩视频数据的压缩帧表示的图像的内容的组合以生成压缩视频数据530。
更确切地，在执行控制例程440时，处理器组件450接收压缩视频数据230a和230b两者。然后，处理器组件450分别解压该压缩视频数据230a和230b两者，从而推导出解压视频数据430a和430b，并且从而推导出ROI数据470a和470b。然后，处理器组件450对由解压数据430a和430b中的每个解压数据的解压帧所表示的这些图像的至少一部分进行组合以生成组合图像，处理器组件450然后对该组合的图像进行压缩以生成压缩视频数据530。在这样做时，处理器组件450可以采用在每个ROI数据470a和470b中的ROI的指示以确定如何对分别由解压视频数据430a和430b的解压帧表示的图像进行组合的多个方面。举例来讲，处理器组件450可以采用在由解压视频数据430a的解压帧表示的图像中在ROI的ROI数据470a中的指示，其被表明具有相对较低的优先等级，作为由解压视频数据430b的解压帧表示的图像的至少一部分插入可以被定位的地方的指示。替代地或此外，处理器组件450可以采用在由解压视频数据430b的解压帧表示的图像中在ROI的ROI数据470b中的指示，其被表明具有相对较高的优先等级，作为由解压视频数据430b的解压帧表示的图像的哪些部分应该被定位在那些插入中的指示。
在各实施例中，处理器组件150、450、550和750中的每个处理器组件可以包括广泛的各种可商购的处理器中的任何一个处理器。进一步地，这些处理器组件中的一个或多个处理器组件可以包括多个处理器、多线程处理器、多核处理器(无论多核共存在相同的还是分离的裸片上)、和/或通过其多个物理上分离的处理器以某种方式相连接的其他种类的多处理器架构。
尽管处理器组件150、450、550和750中的每个处理器组件可以包括各种类型的处理器中的任何一种处理器，设想控制器500(如果存在的话)的处理器部件550可以稍微被专门化和/或被优化用于执行与图形和/或视频有关的任务。更广泛地，设想控制器500体现为转码设备400的图形子系统以使能够使用与处理器组件450执行与图形渲染、视频压缩、图像尺寸改变等有关的任务。
在各实施例中，存储器160、460、560和760中的每个存储器可以基于广泛的各种信息存储技术。这种技术可以包括需要不间断提供电力的易失性技术和/或需要使用可以是或可以不是可移除的机器可读存储介质的技术。因此，这些存储器中的每个存储器可以包括各种各样类型(或类型的组合)的存储设备中的任何存储设备，包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、闪存、聚合物存储器(例如，铁电聚合物存储器)、奥氏存储器、相变或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁性或光学卡、一个或多个单独的铁磁性磁盘驱动器或者组织成一个或多个阵列的多个存储设备(例如，组织成独立盘冗余阵列或者RAID阵列的多个铁磁磁盘驱动器)。应注意的是，尽管这些储存器中的每个存储器被描绘成单个数据块，这些存储器中的一个或多个存储器可以包括多个存储设备，这些存储设备可以是基于不同的存储技术。因此，例如，这些描绘的存储器中的一个或多个存储器可以表示程序和/或数据通过其可以在某种形式的机器可读存储介质上存储并传达的光驱或闪存读卡器、用于将程序和/或数据本地地存储相对延长的一段时间的铁磁性磁盘驱动器、以及使得能够相对快速访问程序和/或数据的一个或多个易失性固态存储设备(例如，SRAM或者DRAM)的组合。还应注意的是，这些存储器中的每个存储器可以是由基于完全相同的存储技术的多个存储器组件构成的，但是由于用途的专门化这些存储组件可以保持分开(例如，采用某些DRAM设备作为主存储器，而采用其他DRAM设备作为图形控制器的不同的帧缓冲器)。
在各实施例中，接口190、490和790可以采用各种各样的信令技术中的任何信令技术来使这些计算设备能够耦接到如已经描述的其他设备上。这些接口中的每个接口包括提供实现这种耦接所必需的功能性中的至少一些功能性的电路。然而，这些接口中的每个接口还可以至少部分地用由处理器组件中相应的处理器组件执行的指令序列实现(例如，来实现协议栈或其他特征)。在采用电性地和/或光学地导电线缆的情况下，这些接口可以采用与各种各样的工业标准中的任何一种工业标准相符的信令和/或协议，包括但不限于：RS-232C、RS-422、USB、以太网(IEEE-802.3)或IEEE-1394。在需要使用无线信号传输的情况下，这些接口可以采用与各种各样的工业标准中的任何一种工业标准相符的信令和/或协议，包括但不限于：IEEE 802.11a、802.11b、802.11g、802.16、802.20(通常被称为“移动宽带无线接入”)；蓝牙；ZigBee；或者蜂窝无线电话服务，如具有通用分组无线电服务的GSM(GSM/GPRS)、CDMA/1xRTT系统、针对全球演进的增强型数据速率(EDGE)、仅数据演进或演进数据优化(EV-DO)、数据和话音演进(EV-DV)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、4G LTE等。
图8、图9和图10各自更详细地展示了图1或图2中任一者的视频处理系统1000的实施例的一部分的框图。更确切地，图8描绘了捕捉设备100的操作环境的多个方面，其中，处理器组件150在执行控制例程140时捕捉运动视频880、确定ROI 887的边界并且执行压缩以生成压缩视频数据230。图9描绘了转码设备400的操作环境的多个方面，其中，处理器组件450和/或550在执行控制例程440和/或540时执行转码操作，该转码操作需要解压该压缩视频数据230、修改在其中ROI 8887的指示被使用和/或被修改的运动视频880并且进行压缩以生成压缩视频数据530。图10描绘了显示设备700的操作环境的多个方面，其中，处理器组件750在执行控制例程740时对压缩视频数据230或530进行解压，并且在利用ROI 887的指示这样做时将运动视频880视觉地呈现在显示器780上。如可由本领域技术人员认识的，包括组成各自的这些组件的控制例程140、440、540和740被选择为在任何类型的一个或多个处理器上操作，该一个或多个处理器被选择为实现处理器组件150、450、550或750中可适用的那个处理器组件。
在各实施例中，控制例程140、440、540和740中的每个控制例程可以包括以下各项中的一项或多项：操作系统、设备驱动器和/或应用级例程(例如，在光盘介质上提供的所谓的“套装软件”、从远程服务器获得的“小应用程序”等)。在包括操作系统的情况下，该操作系统可以是各种可用操作系统中的适合于处理器组件150、450、550或750中的任何一个相应的处理器组件的任何一个操作系统。在包括一个或多个设备驱动器的情况下，那些设备驱动器可以为计算设备100、400或700的相应计算设备的或者控制器500的各种其他组件中的任何组件(无论硬件组件还是软件组件)提供支撑。
控制例程140、440或740可以分别包括通信组件149、449或749，该通信组件可由处理器组件150、450或750中的任何相应的处理器组件执行以如已经描述的一样操作接口190、490或790中的相应的接口经由网络999传输和接收信号。所接收到的信号可以是经由网络999在一个或多个计算设备100、400或700中传达压缩视频数据230和/或530的信号。如将由本领域技术人员认识的，这些通信组件中的每个通信组件被选择为可用被选择用于实现接口190、490或790的相应接口的任何类型的接口技术操作。
控制例程140或540可以分别包括压缩组件142或545，压缩组件可由处理器组件150、450或550中的任何相应的处理器组件执行来压缩视频数据130和ROI数据170以生成压缩视频数据230或者来压缩解压视频数据430和ROI数据470以生成压缩视频数据530。压缩组件142或545可以分别包括增强组件1427或5457，增强组件用于利用提供可能存在于运动视频880的至少一些图像883中的ROI 887的存在、边界位置和/或优先等级的指示的消息分别增强结合在压缩视频数据230和530中的消息数据270和570。
控制例程540或740可以分别包括解压组件542或745，解压组件可由处理器组件450、550或750中的任何相应的处理器组件执行来解压该压缩视频数据230以生成解压视频数据430和ROI数据470或者来解压该压缩视频数据530以生成解压视频数据730和ROI数据770。解压组件542或745可以分别包括解析组件5427或7457，解析组件用于解析消息数据270或570的消息以检索存在于运动视频880的至少一些图像883中的ROI 887的存在、边界位置和/或优先等级的指示。
控制例程540或740可以分别包括修改组件544或747，修改组件可由处理器组件450、550或750中的任何相应的处理器组件执行来以多种方式中的任何一种方式修改解压视频数据430或730，同时对应地使用和/或修改伴随的ROI数据470或770。由修改组件544针对由解压视频数据430的解压帧表示图像的883进行的修改可以为尺度改变、剪裁、增添字幕、与来自另一个运动视频的图像进行组合等。在进行这种修改时，修改组件544可以附加地修改ROI 887的边界的位置在ROI数据470内的指示以反映由于剪裁、尺度改变或针对解压视频数据430的解压帧进行的其他修改那些ROI 887在运动视频880的图像883中的位置改变。由修改组件747针对由解压视频数据730的解压帧表示图像的883进行的修改可以为平滑处理、蒙皮颜色调整、增添由观看设备700的操作员请求的其他视觉信息等。
控制例程140或740可以分别包括用户界面组件148或748，用户界面组件可由处理器组件150或750中任何相应的处理器组件执行以提供用户界面用于控制捕捉和/或观看运动视频880。用户界面组件148可以监视控制装置120并且操作显示器180来提供用户界面使得捕捉设备100的操作员能够指定ROI887在运动视频880的图像883中的存在、边界位置和/或优先等级。用户界面组件748可以监视控制装置720并且操作显示器780来提供用户界面使得观看设备700的操作员能够控制由修改组件747针对运动视频880在显示器780上的视觉呈现做出的修改。
控制例程140可以包括可由处理器组件150执行的捕捉组件143，用于操作图像传感器113捕捉运动视频880，并且由此生成视频数据130。控制例程140可以包括ROI检测组件147，该ROI检测组件用于操作距离传感器117(如果存在的话)标识在图像传感器113的视野中的物体，其中，有待生成ROI 887和/或确定在图像传感器113的视野中的物体的大小和/或位置从而确定ROI887的边界的位置。
图11展示了逻辑流程2100的一个实施例。逻辑流程2100可以代表由在此描述的一个或多个实施例执行的操作的部分或所有。更确切地，逻辑流程2100可以展示在至少执行控制例程140时由处理器组件或150执行的和/或由捕捉设备100的其他组件执行的操作。
在2110，计算设备的处理器组件(例如，捕捉设备100的处理器组件150)确定在运动视频的图像中的ROI的优先等级和/或边界位置(例如，在运动视频880的图像883中的ROI 887)。如已经讨论的，ROI的优先等级指示图像在该ROI内的部分相对于同一图像在另一个ROI内和/或未在任何ROI内的部分的重要性。再次，优先等级实际上可以表明图像在ROI内的部分具有表明其重要性低于同一图像未在任何ROI内的部分的优先等级，从而使得ROI可以被认为是“较不感兴趣的区域”。同样如已经讨论的，ROI的边界的位置可以在ROI的指示中被指定为来自图像的边和/或角的像素和/或像素块(例如，块或MPEG宏块)的测量结果。另外，在用于对视频数据进行压缩以生成压缩视频数据的压缩编码算法需要将图像的像素划分成这种块时，可以修改ROI的边界的位置以与那些块的相邻块的边界相对准。
在2120，作为表示图像所属的运动视频的视频数据的一部分的表示图像的帧被压缩作为压缩那个视频数据以生成压缩视频数据的一部分(例如，视频数据130的帧133被压缩以生成相应的帧233作为压缩视频数据130以生成压缩视频数据230的一部分)。如已经讨论的，视频比特流可以被生成作为压缩视频数据的一部分，并且压缩视频数据还可以包括由帧的压缩的方面的指示构成的用于生成压缩帧的消息数据，如颜色深度、量化参数等。
在2130，用ROI的优先等级和/或边界位置的指示增强压缩视频数据。如已经讨论的，这种增强可能需要将提供与ROI有关的这种指示的消息添加到压缩视频数据的消息数据中。
图12展示了逻辑流程2200的一个实施例。逻辑流程2200可以代表由在此描述的一个或多个实施例执行的操作的部分或所有。更确切地，逻辑流程2200可以展示在至少执行控制例程540时分别由处理器组件450或550执行的和/或由转码设备400或控制器500的其他组件执行的操作。
在2210，作为解压表示运动视频的且压缩帧是其一部分的压缩视频数据的一部分(例如，表示压缩视频数据230的图像883的压缩帧233，该压缩视频数据表示运动视频880)，计算设备的处理器组件(例如，或者转码设备400的处理器组件450，或者控制器500的处理器组件550)对表示运动视频的图像的压缩帧进行解压。在这样做时，处理器组件生成解压视频数据(例如，解压视频数据430)，解压视频数据包括对应于压缩帧的解压帧。
在2220，由压缩视频数据的一部分构成的消息数据被解析以检索存在于图像内的ROI的优先等级和/或边界位置的指示。同样，优先权等级指示图像在ROI内的部分的重要性，并且ROI的边界位置可以被指定为来自图像的边和/或角的像素和/或像素块(例如，块或MPEG宏块)的测量结果。
在2230，修改由解压视频数据的解压帧表示的图像。如已经讨论的，这种修改可以包括以下各项中的一项或多项：尺度改变、剪裁、添加字幕、与另一个运动视频的帧的至少一部分进行组合等。如已经讨论的，一些这种修改(例如，剪裁或尺度改变)可能导致修改来自图像的边或角的ROI的边界位置的像素和/或像素块的数量。在2240，修改对ROI的边界的位置的指示以反映这种经修改的相对位置。
在2250，作为压缩解压视频数据以生成新的压缩视频数据的一部分(例如，解压视频数据430的解压帧被压缩作为生成压缩视频数据530的一部分)，对表示现在修改的图像的解压帧进行压缩。在2260，用ROI的优先等级和/或现在修改的边界位置的指示来增强新的压缩视频数据。再次，这种增强可能需要将提供与ROI有关的这种指示的消息添加到新的压缩视频数据的消息数据中。
图13展示了逻辑流程2300的一个实施例。逻辑流程2300可以代表由在此描述的一个或多个实施例执行的操作的部分或所有。更确切地，逻辑流程2300可以展示在至少执行控制例程740时由处理器组件或750执行的和/或由观看设备700的其他组件执行的操作。
在2310，作为解压表示运动视频的且压缩帧是其一部分的压缩视频数据的一部分(例如，表示压缩视频数据230或530的图像883的压缩帧，该压缩视频数据表示运动视频880)，计算设备的处理器组件(例如，观看设备700的处理器组件750)对表示运动视频的图像的压缩帧进行解压。在这样做时，处理器组件生成解压视频数据(例如，解压视频数据730)，解压视频数据包括对应于压缩帧的解压帧。
在2320，由压缩视频数据的一部分构成的消息数据被解析以检索存在于图像内的ROI的优先等级和/或边界位置的指示。同样，优先权等级指示图像在ROI内的部分的重要性，并且ROI的边界位置可以被指定为来自图像的边和/或角的像素和/或像素块(例如，块或MPEG宏块)的测量结果。
在2330，使用在检索的指示中指定的优先等级和/或边界位置修改由解压视频数据的解压帧表示的图像。如已经讨论的，这种修改可以包括添加另外的视觉信息和/或采用图像处理以选择性地增强图像在ROI内的部分的多个方面。在2240，作为将运动视频视觉地呈现在显示器上的一部分，将现在修改的图像视觉地呈现显示器上。
图14展示了适用于实现之前所述的各实施例的示例性处理架构3000的实施例。更确切地，处理架构3000(或其变体)可以被实现为一个或多个计算设备100、300或600的一部分，和/或作为控制器400。应注意的是，处理架构3000的组件被给以参考号，其中，最后两个数字对应于较早被描绘并描述作为计算设备100、300和600以及控制器400的一部分的组件的至少一些组件的参考号的最后两个数字。这是作为辅助关联各自的组件完成的。
处理架构3000包括一般在数字处理中采用的各种元件，包括但不限于：一个或多个处理器、多核处理器、协处理器、存储单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡，多媒体输入/输出(I/O)组件、电源等。如在本申请中所使用的，术语“系统”和“组件”意旨在其中执行数字处理的计算设备实体，该实体是硬件、硬件与软件的组合、软件、或运行中的软件，其示例由这个描绘的示例性处理架构提供。例如，组件可以是但不限于：在处理器组件上运行的进程、处理器组件自身、可能采用光学和/或磁性存储介质的存储设备(例如，硬盘驱动器、阵列形式的多存储驱动器等)、软件对象、可执行指令序列、执行线程、程序和/或整个计算设备(例如，整个计算机)。举例来说，运行在服务器上的应用程序和该服务器二者都可以是组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以定位在计算设备上和/或分布在两个或更多个的计算设备之间。进一步地，组件可以通过各种类型的通信介质彼此通信地耦接以协调操作。该协调可能涉及信息的单向或双向交换。例如，组件可以以在通信介质上传达的信号的形式来传达信息。信息可以被实现为分配给一条或多条信号线的信号。消息(包括命令、状态、地址或数据消息)可以是一个这样的信号或者可以是多个这样的信号，并且可以或者串联地或者基本上并行地被传输通过各种接线和/或接口中的任何接线和/或接口。
如所描绘的，在实现处理架构3000时，计算设备包括至少一个处理器组件950、存储器960、连接其他设备的接口990以及耦接头955。正如将要解释的，取决于实现处理架构3000的计算设备的不同方面(包括其预期用途和/或使用条件)，这种计算设备可以进一步包括附加的组件，如但不限于，显示器接口985。
耦接头955包括一根或多根总线、点对点互连、收发器、缓冲器、交叉点开关和/或至少将处理器组件950通信地耦接至存储器960的其他导体和/或逻辑。耦接头955可以进一步将处理器组件950耦接至接口990、音频子系统970和显示器接口985中的一者或多者(取决于这些组件和/或同样存在的其他组件)。由于处理器组件950被耦接头955如此耦接，处理器组件950能够针对上述计算设备实现处理架构3000的无论哪个部分执行以上详细描述的各种任务。耦接头955可用各项技术中的任何一项技术或多项技术的组合来实现，通过这些技术光学地和/或电性地传达信号。进一步地，耦接头955的至少一部分可以采用与各种各样的工业标准中的任何工业标准相符的计时和/或协议，包括但不限于：图形加速端口(AGP)、卡总线、扩展工业标准架构(E-ISA)、微通道架构(MCA)、网络用户总线、(扩展的)外设组件互连(PCI-X)、串行总线(PCI-E)、个人计算机存储卡国际协会(PCMCIA)总线、超传输TM、快速路径等。
如先前所讨论的，处理器组件950(对应于处理器组件350、450和650)可以包括各种各样可商购的处理器中的任何一种处理器，该处理器采用各种各样的技术中的任何一种技术并且实现为具有以多种方式中的任何一种方式物理地组合的一个或多个核芯。
如先前所讨论的，存储器960(对应于储存器360、460和660)可以基于各种各样的技术中的任何一项技术或多项技术的组合由一个或多个不同的存储设备构成。更确切地，如所描绘的，存储器960可以包括以下各项中的一项或多项：易失性存储器961(例如，基于一种或多种形式的RAM技术的固态存储器)、非易失性存储器962(例如，不需要持续提供电力以保存其内容的固态、铁磁性或其他存储器)以及可移除介质存储器963(例如，通过其可以在计算设备之间传达信息的可移除盘式或固态记忆卡存储器)。认识到在计算设备中的多于一种类型的存储设备的普通使用使得存储器960的这个描绘可能包括多个不同类型的存储器，其中，一种类型的存储器提供相对快速的读和写能力使得能够由处理器组件950更快速地操纵数据(但可能使用一种持续需要电力的“易失性”技术)而另一种类型的存储器提供相对高密度的非易失性存储器(但可能提供相对慢的读和写能力)。
给定采用不同技术的不同存储设备的通常不同的特性，使这些不同的存储设备通过不同的存储控制器耦接到计算设备的其他部分也是常见的，这些不同的存储控制器通过不同的接口耦接到其不同的存储设备。举例来讲，在易失性存储器961存在且基于RAM技术的情况下，易失性存储器961可以通过存储控制器965a通信性地耦接至耦接头955，该存储控制器965a为可能采用行和列寻址的易失性存储器961提供合适的接口，并且其中，该存储控制器965a可以执行行刷新和/或其他维护任务从而帮助保护存储在易失性存储器961中的信息。通过另一个示例，其中，非易失性存储器962存在并且包括一个或多个铁磁和/或固态磁盘驱动器，非易失性存储器962可以通过存储控制器965b通信性地耦接至耦接头955，该存储控制器965b为可能采用信息块和/或磁道和扇区寻址的非易失性存储器962提供合适的接口。通过又另一个示例，在可移除介质存储器963存在并且包括采用一块或多块机器可读存储介质969的一个或多个光学的和/或固态的磁盘驱动器的情况下，该可移除介质存储器963可以通过存储控制器965c通信性地耦接至耦接955，该存储控制器965c为可能采用信息块寻址的可移除介质存储器963提供合适的接口，并且其中，该存储控制器965c可以用专门用于延伸机器可读存储介质969的使用寿命的方式协调读取、擦除和写入操作。
易失性存储器961或非易失性存储器962中总有一个可以包括机器可读存储介质形式的制品，在该机器可读存储介质上根据其各自基于的技术可以存储包括可由处理器组件950执行的指令序列的例程。举例来讲，在非易失性存储器962包括基于铁磁的磁盘驱动器(例如，所谓的“硬盘驱动器”)的情况下，每个这种磁盘驱动器典型地采用一个或多个旋转圆形磁盘片，在旋转圆形磁盘片上磁响应性颗粒涂层被沉积并且以不同模式被磁性定向以便存储信息(如指令序列)，其方式类似于如软磁盘的存储介质。通过另一个示例，非易失性存储器962可以由用于存储信息(如指令序列)的固态存储设备组构成，其方式类似于压缩闪存卡。再次，在不同时间处在计算设备中采用不同类型的存储设备以存储可执行例程和/或数据是常见的。因此，包括有待由处理器组件950执行的指令序列的例程最初可以被存储在机器可读存储介质969上，并且随后在将那个例程复制到非易失性存储器962上用于更长期的存储而不需要机器可读存储介质969和/或易失性存储器961的继续存在的过程中可以采用可移除介质存储器963以使当那个例程被执行时能够由处理器组件950更快速地进行存取。
如先前所讨论的，接口990(对应于接口190、390或690)可以采用对应于各种通信技术中的任何通信技术的各种信令技术中的任何信令技术，这些通信技术可以被采用以将计算设备通信地耦接至一个或多个其他设备。再次，可以采用不同形式的有线或无线信令中的一者或两者以使处理器组件950能够通过网络(例如，网络999)或网络的互连集与输入/输出设备(例如，所描绘的示例键盘920或打印机925)和/或其他计算设备进行交互。在识别必须经常由任何一个计算设备支持的多种类型的信令和/或协议的经常极不相同的字符时，接口990被描绘为包括多个不同的接口控制器995a、995b和995c。接口控制器995a可以采用不同类型的有线数字串行接口或射频无线接口中的任何接口来接收来自用户输入设备(如所描绘的键盘920)的串行传输的消息。接口控制器995b可以采用各种基于线缆的或无线的信令、定时和/或协议中的任何一种来通过所描绘的网络999(可能是由一条或多条链路、较小的网络或可能互联网构成的网络)访问其他计算设备。接口995c可以采用各种导电线缆中的任何导电线缆从而使得能够使用串行或并行信令传输以将数据传达至所描绘的打印机925。可以通过接口990的一个或多个接口控制器被通信地耦接的设备的其他示例包括但不限于：麦克风、遥控器、手写笔、读卡器、指纹读取器、虚拟现实交互手套、图形输入平板计算机、操纵杆、其他键盘、视网膜扫描仪、触摸屏的触摸输入组件、轨迹球、各种传感器、用于监视人的移动员以接收由那些人通过手势和/或面部表情发送的命令和/或数据的照相机或照相机阵列、激光打印机、喷墨打印机、机械机器人、铣削机器等。
在计算设备通信地耦接至(或有可能实际上结合)显示器(例如，所描绘的示例显示980)的情况下，实现处理架构3000的这种计算设备还可以包括显示器接口985。尽管在通信地耦接至显示器时可以采用更普遍类型的接口，在显示器上视觉地显示各种形式的内容经常需要的稍微专门化的附加处理以及所使用的基于线缆的接口的稍微专门化的性质经常提供令人期望的不同的显示器接口。在显示器980的通信耦接中可以由显示器接口985采用的有线和/或无线信令技术可以利用符合各种工业标准中的任何工业标准的信令和/或协议，包括但不限于，各种模拟视频接口、数字视频接口(DVI)、显示端口等中的任何一种。
图15展示了系统4000的实施例。在各实施例中，系统4000可以代表适合用于在此所描述的一个或多个实施例的系统或架构，如图形处理系统1000；一个或多个计算设备100、300或600；和/或逻辑流程图2100或2200中的一者或两者。实施例不限于此方面。
如所示的，系统4000可以包括多个元件。如针对给定的设计或性能约束集合所期望的，一个或多个元件可以使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块、或其任何组合来实现。举例来讲，虽然在某个拓扑中示出有限数量的元件，但是可以认识到可以按给定实现方式所期望的在系统4000中使用在任何合适的拓扑中的或多或少的元件。实施例并不局限于本上下文中。
在实施例中，虽然系统4000不限于此上下文，系统4000可以是媒体系统。例如，系统4000可以并入个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
在实施例中，系统4000包括耦接到显示器4980的平台4900a。平台4900a可以接收来自内容设备的内容，如内容服务设备4900c或内容传递设备4900d或者其他类似内容源。包括一个或多个导航特征的导航控制器4920可以用来例如与平台4900a和/或显示器4980交互。以下将更详细地描述这些组件中的每个组件。
在实施例中，平台4900a可以包括处理器组件4950、芯片组4955、存储单元4969、收发器4995、存储器4962、应用程序4940和/或图形子系统4985的任意组合。芯片组4955可以在处理器组件4950、存储单元4969、收发器4995、存储器4962、应用程序4940和/或图形子系统4985中提供相互通信。例如，芯片组4955可以包括能够提供与存储器4962的相互通信的存储器适配器(未描绘)。
处理器组件4950可以使用任何处理器或逻辑设备来实现，并且可以与处理器组件150、350或650中的一个或多个处理器组件和/或与图14的处理器组件950相同或者相似。
存储单元4969可以使用能够存储数据的任何机器可读的或计算机可读的介质来实现，并且可以与图14的存储介质969相同或相似。
收发器4995可以包括能够使用各种合适的无线通信技术传输并接收信号的一个或多个无线电，并且可以与图14的收发器995b相同或相似。
显示器4980可以包括任何电视类型监视器或显示器，并且可以与显示器380和680中的一个或多个显示器和/或与图14的显示器980相同或相似。
存储器4962可以被实现为非易失性存储设备，并且可以与图14的非易失性存储器962相同或相似。
图形子系统4985可以对如用于显示的静态或视频图像执行处理。例如，图形子系统4985可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦接图形子系统4985与显示器4980。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个接口。图形子系统4985可以集成到处理器电路4950或芯片组4955中。图形子系统4985可以是通信地耦接到芯片组4955的独立卡。
在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以被集成到芯片组中。替代性地，可以使用分立的图形和/或视频处理器。如又另一个实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实现。在进一步的实施例中，该功能可以在消费电子设备中实现。
在实施例中，内容服务设备4900b可以发起于任意国家的、国际的和/或独立的服务，并因此例如经由互联网可接入平台4900a。内容服务设备4900b可以耦接到平台4900a和/或显示器4980。平台4900a和/或内容服务设备4900b可以耦接到网络4999以将媒体信息传达至网络4999或从网络4999接收(例如，发送和/或接收)。内容传递设备4900c也可以耦接到平台4900a和/或显示器4980。
在实施例中，内容服务设备4900b可以包括有线电视盒、个人电脑、网络、电话、能够传递数字信息和/或内容的启用互联网的设备或应用程序、以及能够在内容提供者与平台4900a和/或显示器4980之间经由网络4999或直接地单向或双向传达内容的任意其他类似设备。将理解，内容可以经由网络4999单向地和/或双向地来往于系统4000中的任何一个组件与内容提供者之间进行通信。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
内容服务设备4900b接收如包含媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供者的示例可以包括任何有线或卫星电视或无线电或互联网内容提供者。所提供的示例并不意在限制实施例。
在实施例中，平台4900a可以从具有一个或多个导航特征的导航控制器4920中接收控制信号。导航控制器4920的导航特征可以用来例如与用户界面4880交互。在实施例中，导航控制器4920可以是定位设备，该定位设备可以是允许用户输入空间(如连续的和多维的)数据到计算机的计算机硬件组件(特别是人机接口设备)。如图形用户界面(GUI)和电视机和监视器的许多系统允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数据。
可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示符的移动在显示器(例如，显示器4980)上回应导航控制器4920的导航特征的移动。例如，在软件应用4940的控制下，位于导航控制器4920上的导航特征可以被映射为在用户界面4880上显示的虚拟导航特征。在实施例中，导航控制器4920可以不是独立组件而是集成在平台4900a和/或显示器4980内。然而实施例不限于这些元素或此处显示或描述的内容。
在实施例中，驱动器(未示出)可以包括使用户能够通过例如在初始启动后启动的按钮的触摸立刻打开和关闭类似电视机的平台4900a的技术。当平台被“关闭”时，程序逻辑可以允许平台4900a流出内容到媒体适配器或其他内容服务设备4900b或内容传递设备4900c。此外，芯片组4955可以例如包括用于支持如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括外围组件互连(PCI)快速图形卡。
在各实施例中，可以对系统4000中示出的任何一个或多个组件进行集成。例如，平台4900a和内容服务设备4900b可以是集成的，或者平台4900a和内容传递设备4900c可以是集成的，或者平台4900a、内容服务设备4900b和内容传递设备4900c可以例如是集成的。在各实施例中，平台4900a和显示器4890可以是集成单元。例如，显示器4980和内容服务设备4900b可以是集成的，或者显示4980和内容传递设备4900c可以是集成的。这些示例并不意在限制实施例。
在各实施例中，系统4000可以被实现为无线系统、有线系统或二者的组合。当被实现为无线系统时，系统4000可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线频谱部分，如RF频谱等。当被实现为有线系统时，系统4000可以包括适用于通过有线通信介质(如I/O适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
平台4900a可以建立一个或多个逻辑或物理信道以传达信息。该信息可以包括媒体信息和控制信息。媒体信息可以指表示为用户准备的内容的任何数据。例如，内容的示例可以包括来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。例如，来自语音对话的数据可以是语音信息、沉默时段、背景噪音、舒适噪音、声调等。控制信息可以是指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于将媒体信息路由通过系统或指示节点以预定方式处理媒体信息。然而，各实施例不限于图15中示出或描述的元素或上下文。
如上所述，系统4000可以用变化的物理风格或形成因数来体现。图16展示了可以用其体现系统4000的小形成因数设备5000的实施例。例如，在实施例中，设备5000可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源(如一个或多个电池)的任何设备。
如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例还可以包括被安排来由人穿戴的计算机，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。在实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备描述，可以理解的是，其他实施例也可以使用其他无线移动计算设备实现。实施例并不局限于本上下文中。
如所示，设备5000可以包括显示器5980、导航控制器5920a、用户界面5880、外壳5905、I/O设备5920b和天线5998。显示器5980可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元，并且可以与图15的显示器4980相同或相似。导航控制器5920a可以包括一个或多个导航特征，该一个或多个导航特征可以用于与用户界面5880交互，并且可以与图15中的导航控制器4920相同或相似。I/O设备5920b可以包括任意适当的用于将信息输入移动计算设备中的I/O设备。I/O设备5920b的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、摇杆式开关、麦克风、扬声器、话音识别设备和软件等。信息也可以通过麦克风输入到设备5000中。这种信息可以由话音识别设备数字化。实施例并不局限于本上下文中。
更一般地，在此所描述和描绘的计算设备的各种元件可以包括各种硬件元件、软件元件、或二者的组合。硬件元件的示例可以包括：设备、逻辑设备、组件、处理器、微处理器、电路、处理器电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。然而，确定是否是使用硬件元件和/或软件元件来实现实施例可以根据多个因数而变化，如针对给定的实现方式所期望的，如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
一些实施例可使用表述“一个实施例”和“一实施例”及其派生词来描述。这些术语意味着与实施例相联系地描述的具体特征、结构或者特性被包含在至少一个实施例中。短语“在一个实施例中”在本说明书中各地方的出现不一定全都引用相同的实施例。进一步地，一些实施例可以使用表述“耦接”以及“连接”及其派生词来描述。这些术语并不必旨在作为彼此的同义词。例如，一些实施例可使用术语“连接”和/或“耦接”来描述，以表明两个或更多元件以直接物理的或电气的方式与彼此接触。然而，术语“耦接”还可以指两个或更多个元件未直接地彼此进行接触，但还是彼此进行合作或交互。此外，可以组合来自不同实施例中的方面和元件。
强调的是，提供本披露的摘要以允许读者快速确定本技术披露的本质。基于其将不被用于解释或者限制权利要求书的范围或者含义的理解提交该摘要。此外，在前一个详细描述中，可以看到，出于将本披露连成一体的目的而将各种特征一起组合在单个实施例中。本披露的方法并不被解释为反映以下意图：所要求保护的实施例需要比每项权利要求中明确表述的特征更多的特征。而是被解释为：以下的权利要求书反映了本发明的主题在于比单个披露的实施例的全部特征少。因此，以下的权利要求书据此被并入详细的说明书中，其中，每项权利要求独立自主地作为单独的实施例。在所附权利要求书中，术语“包括(including)”和“其中(in which)”分别用作对应术语“包括(comprising)”和“其中(wherein)”的易懂的英文等价词。此外，术语“第一”、“第二”、“第三”等仅用作标签，且不旨在对它们的对象施加数字要求。
以上所描述的内容包括所披露的架构的示例。当然，不可能描述组件和/或方法的每个可想到的组合，但是本领域普通技术人员可以认识到许多其他组合和置换是可能的。相应地，本新颖的架构旨在涵盖落入所附权利要求书的精神和范围内的全部这种变更、修改和变体。详细的披露现在变为提供与进一步的实施例有关的示例。以下提供的示例并不旨在是限制性的。
在示例1中，一种用于对运动视频图像进行压缩的设备包括压缩组件和增强组件，所述压缩组件用于对运动视频的图像进行压缩以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；并且所述增强组件用于利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。
在包括示例1的主题的示例2中，所述设备可以包括图像传感器和捕捉组件，所述捕捉组件用于操作所述图像传感器至少捕捉在所述图像传感器的视野中的物体作为所述图像。
在包括示例1至示例2中任一者的主题的示例3中，所述设备可以包括ROI检测组件，所述ROI检测组件用于基于所述物体的身份选择性地生成所述ROI并推导出所述ROI的所述边界的所述位置。
在包括示例1至示例2中任一者的主题的示例4中，所述增强组件可以利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在所述ROI内的另一个部分的重要程度相比较。
在包括示例1至示例4中任一者的主题的示例5中，所述设备可以包括距离传感器和ROI检测组件，所述ROI检测组件操作所述距离传感器以至少基于距所述物体的距离确定所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例1至示例5中任一者的主题的示例6中，所述设备可以包括可手动操作的多个控制装置以及用户界面组件，所述用户界面组件用于监视对指示操作这些控制装置的信号的控制以提供所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例1至示例6中任一者的主题的示例7中，所述设备可以包括解压组件和解析组件，所述解压组件用于从表示所述运动视频并且接收自另一个设备的另一个压缩视频数据中生成表示所述运动视频的解压视频数据；并且所述解析组件用于解析所述另一个压缩视频数据的消息数据以检索包括对所述ROI的所述边界的所述位置的所述指示的消息。
在包括示例1至示例7中任一者的主题的示例8中，所述设备可以包括修改组件，所述修改组件用于以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像并且用于修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
在包括示例1至示例8中任一者的主题的示例9中，所述修改所述图像可以包括重新调节所述图像的大小或剪裁所述图像中的至少一者。
在包括示例1至示例9中任一者的主题的示例10中，对所述ROI的所述边界的所述位置的所述指示可以包括对至少来自所述图像的边或角的像素的数量的指示或者对至少来自所述图像的边或角的像素块的数量的指示中的至少一者。
在包括示例1至示例10中任一者的主题的示例11中，所述增强组件可以利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相比较，并且所述图像在所述ROI内的所述部分的所述重要程度可以包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
在包括示例1至示例11中任一者的主题的示例12中，所述压缩视频数据可以包括由所述压缩组件生成的消息数据，所述消息数据包括指定表示所述图像的所述压缩视频数据的压缩帧的压缩方面的至少一条消息，并且所述增强组件可以将包括对所述ROI的所述边界的所述位置的所述指示的另一条消息添加至所述消息数据中。
在包括示例1至示例12中任一者的主题的示例13中，所述设备可以包括用于视觉上呈现所述图像的显示器或用于经由网络将所述压缩视频数据传输到另一个设备的接口中的至少一者。
在示例14中，用于解压运动视频图像的设备包括解压组件和解析组件，所述解压组件用于从表示运动视频并且接收自另一个设备的另一个压缩视频数据中生成表示所述运动视频的解压视频数据；并且所述解析组件用于解析所述压缩视频数据的消息数据以检索包括对ROI的边界在所述运动视频中的位置的位置的指示的消息。
在包括示例14的主题的示例15中，所述设备可以包括修改组件，所述修改组件用于以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像并且用于修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
在包括示例14和示例15中任一者的主题的示例16中，所述修改所述图像可以包括重新调节所述图像的大小或剪裁所述图像中的至少一者。
在包括示例14至示例16中任一者的主题的示例17中，所述设备可以包括压缩组件和增强组件，所述压缩组件用于在修改所述图像之后压缩所述图像以生成另一个压缩视频数据，所述另一个压缩视频数据包括表示在修改所述图像之后的所述图像的压缩帧；并且所述增强组件用于在修改所述ROI的所述位置之后利用对所述ROI的所述边界的所述位置的指示来增强所述另一个压缩视频数据。
在包括示例14至示例17中任一者的主题的示例18中，所述设备可以包括修改组件，所述修改组件用于标识在所述图像位于所述ROI内的部分中描绘的物体并且用于至少基于所述物体是否是人脸而选择性地修改所述图像位于所述ROI内的所述部分。
在包括示例14至示例18中任一者的主题的示例19中，所述解析组件可以解析所述消息数据以检索对所述ROI的优先等级的指示，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相比较，并且所述设备可以包括修改组件，所述修改组件用于基于所述优先等级选择性地执行图像处理以增强所述图像在所述ROI内的所述部分。
在包括示例14至示例19中任一者的主题的示例20中，对所述ROI的所述边界的所述位置的所述指示可以包括对至少来自所述图像的边或角的像素的数量的指示或者对至少来自所述图像的边或角的像素块的数量的指示中的至少一者。
在包括示例14至示例20中任一者的主题的示例21中，所述解析组件用于解析所述消息数据以检索对所述ROI的优先等级的指示，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相比较，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
在包括示例14至示例21中任一者的主题的示例22中，所述消息数据可以包括指定表示所述图像的所述压缩视频数据的压缩帧的压缩方面的另一条消息。
在包括示例14至示例22中任一者的主题的示例23中，所述设备可以包括用于视觉上呈现所述图像的显示器或用于经由网络接收来自另一个设备的所述压缩视频数据的接口中的至少一者。
在示例24中，一种用于对运动视频图像进行压缩的计算实现的方法包括：压缩运动视频的图像以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；并且利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。
在包括示例24的主题的示例25中，所述方法可以包括至少捕捉在图像传感器的视野中的物体作为所述图像。
在包括示例24和示例25中任一者的主题的示例26中，所述方法可以包括基于所述物体的身份选择性地生成所述ROI。
在包括示例24至示例26中任一者的主题的示例27中，所述方法可以包括利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在所述ROI内的另一个部分的重要程度相比较。
在包括示例24至示例27中任一者的主题的示例28中，所述方法可以包括至少基于捕捉设备距所述物体的距离确定所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例24至示例28中任一者的主题的示例29中，所述方法可以包括监视对指示操作这些控制装置的信号的可手动操作的控制以提供所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例24至示例29中任一者的主题的示例30中，所述方法可以包括从设备接收表示所述运动视频的另一个压缩视频数据、从所述另一个压缩视频数据中生成表示所述运动视频的解压视频数据、并且解析所述另一个压缩视频数据的消息数据以检索包括对所述ROI的所述边界的所述位置的所述指示的消息。
在包括示例24至示例30中任一者的主题的示例31中，所述方法可以包括以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像并且修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
在包括示例24和示例31中任一者的主题的示例32中，所述修改所述图像可以包括重新调节所述图像的大小或剪裁所述图像中的至少一者。
在包括示例24至示例32中任一者的主题的示例33中，对所述ROI的所述边界的所述位置的所述指示可以包括对至少来自所述图像的边或角的像素的数量的指示或者对至少来自所述图像的边或角的像素块的数量的指示中的至少一者。
在包括示例24至示例33中任一者的主题的示例34中，所述方法可以包括利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相比较，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
在包括示例24至示例34中任一者的主题的示例35中，所述压缩视频数据包括由所述压缩组件生成的消息数据，所述消息数据包括指定表示所述图像的所述压缩视频数据的压缩帧的压缩方面的至少一条消息；并且所述方法可以包括在所述压缩视频数据内生成所述消息数据，并将包括对所述ROI的所述边界的所述位置的所述指示的另一条消息添加至所述消息数据中。
在包括示例24至示例35中任一者的主题的示例36中，所述方法可以包括将所述图像视觉地呈现在显示器上或经由网络将所述压缩视频数据传输至设备中的至少一者。
在示例37中，至少一个机器可读的存储介质包括多条指令，这些指令当由计算设备执行时致使所述计算设备：对运动视频的图像进行压缩以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；并且利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。
在包括示例37的主题的示例38中，可以致使所述计算设备至少捕捉在图像传感器的视野中的物体作为所述图像。
在包括示例37和示例38中任一者的主题的示例39中，可以致使所述计算设备基于所述物体的身份选择性地生成所述ROI。
在包括示例37至示例39中任一者的主题的示例40中，可以致使所述计算设备利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在所述ROI内的另一个部分的重要程度相比较。
在包括示例37至示例40中任一者的主题的示例41中，可以致使所述计算设备至少基于捕捉设备距所述物体的距离确定所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例37至示例41中任一者的主题的示例42中，可以致使所述计算设备监视对指示操作这些控制装置的信号的可手动操作的控制以提供所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
在包括示例37至示例42中任一者的主题的示例43中，可以致使所述计算设备从设备接收表示所述运动视频的另一个压缩视频数据、从所述另一个压缩视频数据中生成表示所述运动视频的解压视频数据、并且解析所述另一个压缩视频数据的消息数据以检索包括对所述ROI的所述边界的所述位置的所述指示的消息。
在包括示例37至示例43中任一者的主题的示例44中，可以致使所述计算设备以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像，并且修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
在包括示例37和示例44中任一者的主题的示例45中，所述修改所述图像可以包括重新调节所述图像的大小或剪裁所述图像中的至少一者。
在包括示例37至示例45中任一者的主题的示例46中，对所述ROI的所述边界的所述位置的所述指示包括对至少来自所述图像的边或角的像素的数量的指示或者对至少来自所述图像的边或角的像素块的数量的指示中的至少一者。
在包括示例37至示例46中任一者的主题的示例47中，可以致使所述计算设备利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相比较，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
在包括示例37至示例47中任一者的主题的示例48中，所述压缩视频数据可以包括由所述压缩组件生成的消息数据，所述消息数据包括指定表示所述图像的所述压缩视频数据的压缩帧的压缩方面的至少一条消息；并且可以致使所述计算设备在所述压缩视频数据内生成所述消息数据，并将包括对所述ROI的所述边界的所述位置的所述指示的另一条消息添加至所述消息数据中。
在包括示例37至示例48中任一者的主题的示例49中，致使所述计算设备将所述图像视觉地呈现在显示器上。
在包括示例37至示例49中任一者的主题的示例50中，可以致使所述计算设备经由网络将所述压缩视频数据传输到设备。
在示例51中，至少一种机器可读的存储介质可以包括多条指令，这些指令当由计算设备执行时致使所述计算设备执行以上任何一个步骤。
在示例52中，一种用于处理运动视频兴趣区域的设备可以包括用于执行以上步骤的装置。

Claims (25)

1.一种用于对运动视频图像进行压缩的设备，所述设备包括：
压缩组件，所述压缩组件用于对运动视频的图像进行压缩以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；以及
增强组件，所述增强组件用于利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。
2.如权利要求1所述的设备，包括：
图像传感器；以及
捕捉组件，所述捕捉组件用于操作所述图像传感器以至少捕捉在所述图像传感器的视野中的物体作为所述图像。
3.如权利要求2所述的设备，包括ROI检测组件，所述ROI检测组件用于基于所述物体的身份选择性地生成所述ROI并推导出所述ROI的所述边界的所述位置。
4.如权利要求3所述的设备，所述增强组件用于利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在所述ROI内的另一个部分的重要程度相当。
5.如权利要求1所述的设备，包括：
解压组件，所述解压组件用于从表示所述运动视频并且接收自另一个设备的另一个压缩视频数据中生成表示所述运动视频的解压视频数据；以及
解析组件，所述解析组件用于解析所述另一个压缩视频数据的消息数据以检索包括对所述ROI的所述边界的所述位置的所述指示的消息。
6.如权利要求5所述的设备，包括修改组件，所述修改组件用于以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像并且用于修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
7.如权利要求1所述的设备，所述增强组件用于利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相当，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
8.如权利要求1所述的设备，包括用于视觉上呈现所述图像的显示器或用于经由网络将所述压缩视频数据传输到另一个设备的接口中的至少一者。
9.一种用于解压运动视频图像的设备，所述设备包括：
解压组件，所述解压组件用于从表示运动视频并且接收自另一个设备的压缩视频数据中生成表示所述运动视频的解压视频数据；以及
解析组件，所述解析组件用于解析所述压缩视频数据的消息数据以检索包括对ROI的边界在所述运动视频的图像中的位置的指示的消息。
10.如权利要求9所述的设备，包括修改组件，所述修改组件用于以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像并且用于修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
11.如权利要求10所述的设备，包括：
压缩组件，所述压缩组件用于在修改所述图像之后压缩所述图像以生成另一个压缩视频数据，所述另一个压缩视频数据包括表示修改所述图像之后的所述图像的压缩帧；以及
增强组件，所述增强组件用于在修改所述ROI的所述位置之后利用对所述ROI的所述边界的所述位置的指示来增强所述另一个压缩视频数据。
12.如权利要求9所述的设备，包括修改组件，所述修改组件用于标识在所述图像位于所述ROI内的部分中描绘的物体并且用于至少基于所述物体是否是脸部而选择性地修改所述图像位于所述ROI内的所述部分。
13.如权利要求9所述的设备，所述解析组件用于解析所述消息数据以检索对所述ROI的优先等级的指示，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相当，并且所述设备包括修改组件，所述修改组件用于基于所述优先等级选择性地执行图像处理以增强所述图像在所述ROI内的所述部分。
14.如权利要求9所述的设备，所述解析组件用于解析所述消息数据以检索对所述ROI的优先等级的指示，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相当，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
15.如权利要求9所述的设备，包括用于视觉上呈现所述图像的显示器或用于经由网络接收来自另一个设备的所述压缩视频数据的接口中的至少一者。
16.一种用于对运动视频图像进行压缩的计算机实现的方法，所述计算机实现的方法包括：
压缩运动视频的图像以生成表示所述运动视频的压缩视频数据，所述图像包括兴趣区域(ROI)；并且
利用对所述ROI的边界在所述图像中的位置的指示来增强所述压缩视频数据。
17.如权利要求16所述的计算机实现的方法，包括至少捕捉在图像传感器的视野中的物体作为所述图像。
18.如权利要求17所述的计算机实现的方法，包括基于所述物体的身份选择性地生成所述ROI。
19.如权利要求18所述的计算机实现的方法，包括利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在所述ROI内的另一个部分的重要程度相当。
20.如权利要求19所述的计算机实现的方法，包括至少基于捕捉设备距所述物体的距离来确定所述ROI的所述边界的所述位置或所述ROI的所述优先等级中的至少一者。
21.如权利要求16所述的计算机实现的方法，包括：
从设备接收表示所述运动视频的另一个压缩视频数据；
从所述另一个压缩视频数据中生成表示所述运动视频的解压视频数据；并且
解析所述另一个压缩视频数据的消息数据以检索包括对所述ROI的所述边界的所述位置的所述指示的消息。
22.如权利要求21所述的计算机实现的方法，包括：
以修改所述ROI相对于所述图像的边或角中的至少一者的位置的方式来修改所述图像；并且
修改对所述ROI的所述边界的所述位置的所述指示以反映对所述ROI的所述位置的修改。
23.如权利要求16所述的计算机实现的方法，包括利用对所述ROI的优先等级的指示来增强所述压缩视频数据，所述优先等级指示所述图像在所述ROI内的部分的重要程度至少与所述图像不在任何ROI内的另一个部分的重要程度相当，并且所述图像在所述ROI内的所述部分的所述重要程度包括大于所述另一个部分的所述重要程度的重要程度或小于所述另一个部分的所述重要程度的重要程度中的至少一者。
24.如权利要求16所述的计算机实现的方法，包括将所述图像视觉地呈现在显示器上或经由网络将所述压缩视频数据传输至设备中的至少一者。
25.至少一个机器可读存储介质，所述至少一个机器可读存储介质包括指令，所述指令当被处理器组件执行时致使所述处理器组件执行如权利要求16至24中任一项所述的方法。
CN201580004961.2A 2014-02-18 2015-01-16 用于将兴趣区域指示包括在压缩视频数据中的设备及方法 Active CN105917649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/183,026 US20150237351A1 (en) 2014-02-18 2014-02-18 Techniques for inclusion of region of interest indications in compressed video data
US14/183,026 2014-02-18
PCT/US2015/011712 WO2015126545A1 (en) 2014-02-18 2015-01-16 Techniques for inclusion of region of interest indications in compressed video data

Publications (2)

Publication Number Publication Date
CN105917649A true CN105917649A (zh) 2016-08-31
CN105917649B CN105917649B (zh) 2019-08-27

Family

ID=53799296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580004961.2A Active CN105917649B (zh) 2014-02-18 2015-01-16 用于将兴趣区域指示包括在压缩视频数据中的设备及方法

Country Status (7)

Country Link
US (1) US20150237351A1 (zh)
EP (1) EP3108655A4 (zh)
JP (1) JP6263830B2 (zh)
CN (1) CN105917649B (zh)
BR (1) BR112016016576A2 (zh)
TW (1) TWI569629B (zh)
WO (1) WO2015126545A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168032A (zh) * 2018-11-12 2019-01-08 广州酷狗计算机科技有限公司 视频数据的处理方法、终端、服务器及存储介质
CN110431522A (zh) * 2017-03-23 2019-11-08 高通股份有限公司 全向视觉媒体中的感兴趣区的高级信号发送
CN111033519A (zh) * 2017-04-21 2020-04-17 泽尼马克斯媒体公司 用于编码器引导的自适应质量渲染的系统和方法
CN114928733A (zh) * 2016-10-12 2022-08-19 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
WO2024077798A1 (en) * 2022-10-11 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image data coding methods and systems

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置
EP3472806A4 (en) 2016-06-17 2020-02-26 Immersive Robotics Pty Ltd IMAGE COMPRESSION METHOD AND DEVICE
US10499065B2 (en) 2016-07-21 2019-12-03 Samsung Display Co. Ltd. System and method for sending video data over a wireless channel
CN106228614A (zh) * 2016-07-29 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种场景再现方法和装置
US10848734B1 (en) 2016-09-26 2020-11-24 Amazon Technologies, Inc. Image frame encoding based on projection space seam
US10349055B1 (en) * 2016-09-26 2019-07-09 Amazon Technologies, Inc. Image frame encoding based on projection space
EP3542530B1 (en) 2016-11-17 2023-04-05 Intel Corporation Suggested viewport indication for panoramic video
EP3579941A4 (en) 2017-02-08 2020-10-28 Immersive Robotics Pty Ltd ANTENNA CONTROL FOR COMMUNICATION BETWEEN MOBILE DEVICES
EP3635952B1 (en) 2017-06-05 2024-07-03 Immersive Robotics Pty Ltd Digital content stream compression
US11042770B2 (en) * 2017-10-09 2021-06-22 EagleSens Systems Corporation Artificial intelligence based image data processing method and image sensor
US10848709B2 (en) * 2017-10-09 2020-11-24 EagleSens Systems Corporation Artificial intelligence based image data processing method and image processing device
WO2019100109A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Frequency component selection for image compression
CN111699693A (zh) 2017-11-21 2020-09-22 因默希弗机器人私人有限公司 用于数字现实的图像压缩
US11470356B2 (en) 2018-04-17 2022-10-11 Mediatek Inc. Method and apparatus of neural network for video coding
EP3598259B1 (en) 2018-07-19 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing method and information processing system
US10779014B2 (en) 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
US10897627B2 (en) 2019-01-11 2021-01-19 Western Digital Technologies, Inc. Non-volatile memory system including a partial decoder and event detector for video streams
US10936055B2 (en) * 2019-01-24 2021-03-02 Dell Products, L.P. Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments
US11909964B2 (en) * 2019-03-08 2024-02-20 Sony Group Corporation Information processing device, information processing method, and program
US20220224918A1 (en) * 2019-05-29 2022-07-14 Sumitomo Electric Industries, Ltd. Video transport system, video transmission device, video reception device, video distribution method, video transmission method, video reception method, and non-transitory computer readable recording medium
US11064194B2 (en) 2019-10-31 2021-07-13 Western Digital Technologies, Inc. Encoding digital videos using controllers of data storage devices
WO2021102880A1 (en) * 2019-11-29 2021-06-03 Alibaba Group Holding Limited Region-of-interest aware adaptive resolution video coding
US10841645B1 (en) 2019-12-09 2020-11-17 Western Digital Technologies, Inc. Storage system and method for video frame segregation to optimize storage
US10939126B1 (en) * 2019-12-09 2021-03-02 Guangzhou Zhijing Technology Co., Ltd Method of adding encoded range-of-interest location, type and adjustable quantization parameters per macroblock to video stream
US11562018B2 (en) 2020-02-04 2023-01-24 Western Digital Technologies, Inc. Storage system and method for optimized surveillance search
US11526435B2 (en) 2020-02-04 2022-12-13 Western Digital Technologies, Inc. Storage system and method for automatic data phasing
US11328511B2 (en) 2020-03-13 2022-05-10 Western Digital Technologies, Inc. Storage system and method for improved playback analysis
CN113642358B (zh) * 2020-04-27 2023-10-10 华为技术有限公司 肤色检测方法、装置、终端和存储介质
US11481884B2 (en) * 2020-06-04 2022-10-25 Nuro, Inc. Image quality enhancement for autonomous vehicle remote operations
US20230306553A1 (en) * 2022-03-23 2023-09-28 International Business Machines Corporation Mitigating compression induced loss of information in transmitted images
WO2024154610A1 (ja) * 2023-01-20 2024-07-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN117640932B (zh) * 2024-01-25 2024-04-26 陕西通达伟业医疗供应链管理有限公司 用于远程医疗的神经内科图像压缩传输方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999049413A1 (en) * 1998-03-20 1999-09-30 Mitsubishi Electric Corp. Lossy/lossless region-of-interest image coding
WO2009003885A2 (en) * 2007-06-29 2009-01-08 Thomson Licensing Video indexing method, and video indexing device
US20130342640A1 (en) * 2011-04-11 2013-12-26 Qiang Li Object of interest based image processing
US20140002619A1 (en) * 2012-06-29 2014-01-02 Kabushiki Kaisha Toshiba Detector, detection method and video display apparatus
WO2014002619A1 (ja) * 2012-06-25 2014-01-03 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
US20070113242A1 (en) * 2005-11-16 2007-05-17 Fetkovich John E Selective post-processing of compressed digital video
JP2009027535A (ja) * 2007-07-20 2009-02-05 Sanyo Electric Co Ltd 画像処理装置およびそれを用いた撮像装置
US8600189B2 (en) * 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
US8773498B2 (en) * 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US10771801B2 (en) * 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
US10045032B2 (en) * 2013-01-24 2018-08-07 Intel Corporation Efficient region of interest detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999049413A1 (en) * 1998-03-20 1999-09-30 Mitsubishi Electric Corp. Lossy/lossless region-of-interest image coding
WO2009003885A2 (en) * 2007-06-29 2009-01-08 Thomson Licensing Video indexing method, and video indexing device
US20130342640A1 (en) * 2011-04-11 2013-12-26 Qiang Li Object of interest based image processing
WO2014002619A1 (ja) * 2012-06-25 2014-01-03 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
US20140002619A1 (en) * 2012-06-29 2014-01-02 Kabushiki Kaisha Toshiba Detector, detection method and video display apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GOKSEL DEDEOGLU: ""Region of interest(ROI) SEI message"", 《JCT-VC 11TH MEETING》 *
IVAN HIMAWAN, WEI SONG, DIAN TJONDRONEGORO: ""Automatic Region-of-Interest Detection and Prioritisation for Visually Optimised Coding of Low Bit Rate Videos"", 《IEEE WORKSHOP ON APPLICATIONS OF COMPUTER VISION》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928733A (zh) * 2016-10-12 2022-08-19 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
CN114928733B (zh) * 2016-10-12 2023-10-24 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
CN110431522A (zh) * 2017-03-23 2019-11-08 高通股份有限公司 全向视觉媒体中的感兴趣区的高级信号发送
CN110431522B (zh) * 2017-03-23 2022-11-18 高通股份有限公司 全向视觉媒体中的感兴趣区的高级信号发送
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN111033519A (zh) * 2017-04-21 2020-04-17 泽尼马克斯媒体公司 用于编码器引导的自适应质量渲染的系统和方法
CN111033519B (zh) * 2017-04-21 2021-07-27 泽尼马克斯媒体公司 用于编码器引导的自适应质量渲染的系统和方法
US11330276B2 (en) 2017-04-21 2022-05-10 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
CN109168032A (zh) * 2018-11-12 2019-01-08 广州酷狗计算机科技有限公司 视频数据的处理方法、终端、服务器及存储介质
CN109168032B (zh) * 2018-11-12 2021-08-27 广州酷狗计算机科技有限公司 视频数据的处理方法、终端、服务器及存储介质
WO2024077798A1 (en) * 2022-10-11 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image data coding methods and systems

Also Published As

Publication number Publication date
CN105917649B (zh) 2019-08-27
EP3108655A4 (en) 2017-10-18
JP2017509189A (ja) 2017-03-30
BR112016016576A2 (pt) 2017-08-08
JP6263830B2 (ja) 2018-01-24
TW201534109A (zh) 2015-09-01
US20150237351A1 (en) 2015-08-20
EP3108655A1 (en) 2016-12-28
WO2015126545A1 (en) 2015-08-27
TWI569629B (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN105917649A (zh) 用于将兴趣区域指示包括在压缩视频数据中的技术
US11138762B2 (en) Visual quality of video based point cloud compression using one or more additional patches
US11252430B2 (en) Exploiting camera depth information for video encoding
AU2018372561B2 (en) Image compression for digital reality
JP6961648B2 (ja) リアル・タイム・ビデオ要約
CN110557625A (zh) 虚拟形象直播方法、终端、计算机设备及存储介质
US9860537B2 (en) Multi-focus image data compression
EP3794557A1 (en) Point cloud mapping
CN103416002B (zh) 视频位流中的渲染定向信息
CN110495166A (zh) 球形视频编辑
CN104205161B (zh) 用于块压缩图象的解压缩的系统、方法和计算机程序产品
US11310560B2 (en) Bitstream merger and extractor
CN104935926B (zh) 用于发送动态视频的方法、装置以及计算机可读介质
CN109361949A (zh) 视频处理方法、装置、电子设备以及存储介质
CN106060544B (zh) 一种图像编码方法、相关设备及系统
CN106664409A (zh) 视频编码中的黄金帧选择
WO2021073449A1 (zh) 基于机器学习的去伪影方法、去伪影模型训练方法及装置
CN108063946A (zh) 图像编码方法和装置、存储介质及电子装置
US11902540B2 (en) Immersive video coding using object metadata
CN116348184A (zh) 游戏应用程序中利用基于深度学习的预测的延迟管理
KR20190023546A (ko) 영상 부호화 장치 및 영상 부호화 시스템
JP2009273116A (ja) 画像処理装置、画像処理方法、およびプログラム
CN109379630A (zh) 视频处理方法、装置、电子设备及存储介质
WO2009125578A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
CN105745930B (zh) 用于图像比特流处理的技术

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant