CN1750618A - 在接收机上观看视听文档的方法和观看这种文档的接收机 - Google Patents

Abstract

本发明涉及一种在回放设备上观看视听文档的方法，包括读取或接收文档的步骤、以及在屏幕上观看该文档的图像的显示步骤。该方法还包括读取或接收与文档的时段相关联的属性的步骤。预定属性值在设备上触发在所述时段期间回放的图像的一部分的放大，由此，该图像部分占用屏幕上的更大区域。本发明还涉及一种根据所述观看方法来观看文档的设备。

Description

在接收机上观看视听文档的方法和观看这种文档的接收机

技术领域

本发明涉及一种在接收机上观看视听文档的方法和观看这种文档的接收机。更具体地，本发明涉及对文档显示的处理。

背景技术

如今，用户能够从广播商下载视听文档以便在其回放设备上进行观看。最近，用于回放视听传输的新的小型设备已经出现在市场上。因此，具有彩色图形屏幕的个人数字助理(PDA)甚或移动电话配备有用于存储如电影、文档、体育事件等视听文档的程序和存储器。当用户所关心的部分涉及一小部分图像时，屏幕的微型化使用户难以获取该事件。

将属性与图像信号相关联已经得到广泛采用，无论数字的还是模拟的；这些属性典型地涉及标题、主题甚或显示格式。例如，DVB-SI规范(数字视频广播-服务信息规范)EN 300 468 V1.3.1(由ETSI发布)规定了与视听文档相关联的属性函数和格式。例如，属性规定了文档的视频信号为4/3型还是16/9型的。回放设备考虑该属性并根据其值来适配显示，能够通过使图像变形而最大利用屏幕区。然而，在具有微型化屏幕的设备的情况下，将显示适配为屏幕尺寸并不总是能够以满意的状况来获取事件。

文档US 2004/148640-MASUKURA教导了一种从网络中接收并在屏幕上回放视听文档的设备。从网络中接收与该文档相关联的、被称为“元数据”的属性，该元数据定义了要放大的图像区域，从而用户能够更为舒适地进行观看。这样的信息传输占用了带宽，并迫使广播商在传输之前施加处理。

通过本发明来解决该问题。

发明内容

本发明提出了一种在具有显示装置的回放设备上观看视听文档的方法，包括：显示步骤，用于在所述显示装置上以正常尺寸来观看所述文档的图像，其特征在于所述方法包括以下步骤：在回放设备上，根据图像内容确定所述文档的至少一个图像的区域；以及放大所述图像区域以便在时段期间、以比正常尺寸下的图像更大的尺寸在屏幕上观看所述区域。

按照该方式，用户可以容易地观看所关心的动作，即使在小屏幕上。另外，回放设备自身根据图像的内容来确定要放大的区域的特征。按照该方式，针对每一个接收设备来定制该显示器。

根据第一改进，该设备确定要放大的区域的几何特征。根据另一改进，该设备自身根据显示装置(例如移动电话屏幕)的特征来确定该区域的放大比。按照该方式，为该设备定制要放大的区域。根据另一改进，分析该图像以确定一个或多个特定物体的位置，例如由多个运动员所围着的球。然后，对围绕所述物体的适当定界区域进行放大。

根据另一改进，在文档回放时段期间，以有规律的间隔来重新计算放大值。在时段期间，根据关联值来触发放大步骤。按照该方式，当对文档进行回放时，该设备适配要被放大的可视内容。

根据一个改进，放大仅涉及在屏幕上以放大镜效果展示的图像的一部分。因此，用户看到图像的一部分被放大，并且能够在正常图像中对其进行定位。

本发明还提出了一种观看视听文档的设备，包括：显示装置，用于在屏幕上观看该文档的整个图像，其特征在于所述设备还包括：确定装置，用于根据图像内容来确定所述文档的至少一个图像的区域；以及放大装置，用于在时段期间，以比正常尺寸下的图像更大的尺寸观看所述区域。

附图说明

通过参考附图说明性地给出的以下实施例的描述，本发明将变得更加明显：

-图1是用于实现本发明的视听接收机的方框图；

-图2是以特写镜头拍摄的图像示例；

-图3是针对图2的特写镜头以大屏幕显示的图像外观；

-图4是针对图2的特写镜头以小屏幕显示的图像外观；

-图5是以长镜头拍摄的图像示例；

-图6是针对图5的长镜头以大屏幕显示的图像外观；

-图7是针对图5的长镜头以小屏幕显示的图像外观；

-图8是利用本发明的方法，针对图2的长镜头以小屏幕显示的图像外观；

-图9是屏幕上所显示的图像，其中中心部分已经被放大并形成图像框；

-图10是用于产生镜头和与这些镜头相关的属性值的程序的流程图示例。

具体实施方式

首先，借助于图1来描述具有显示设备2的视听回放设备1的操作。例如，该设备是机顶盒、个人计算机、PDA或移动电话设备。在最后两个示例中，将显示设备2和该设备包括在相同的设备中。在本文件其余部分中所述的优选示例涉及与观看屏幕相连的机顶盒。设备1包括与程序和工作存储器12(分别为ROM和RAM)相连的中央处理单元3、以及与用来实时地传输音频/视频数据的本地高速数字总线6进行通信的接口5。例如，该网络是IEEE 1394网络。该数字总线还用来向服务器发送数据。设备1还可以通过与解调器4相关联的天线，从传输网络接收音频/视频数据。设备1还包括：红外信号接收器7，用于接收来自遥控器8的信号；存储装置9，用于存储视听文档；以及音频/视频解码逻辑电路10，用于产生发送到电视屏幕2的视听信号。如果视听传输是数字的，则存储装置9优选为硬盘(HDD)，但是其还可以是读取磁带的视频记录器或可记录光盘读取器/记录器(DVD-RAM)。

设备1还具有用于计算文档的观看时间的时钟(未示出)。

设备1还包括用于将数据显示在经常被称为屏幕上显示(OSD)电路的屏幕上的电路11。OSD电路11是文本和图形产生器，用于在屏幕菜单上显示象形图(例如，与正在观看的频道相对应的号码)，或者可以用于混合两个视频内容，并且如果需要，对其中之一进行放大。OSD电路主要由与被称为“显示管理模块”(DMM)的可执行模块相关联的中央处理单元3控制。DMM模块典型地包括驻留在只读存储器12中的程序模块、以及存储在工作存储器中的参数。还能够以诸如ASIC型等定制电路的形式来制造该DMM模块。

在存储器9中所引用和存储的分组中传送以数字形式传输的视听文档。一些分组包含图像而其他分组包含视听文档的属性。根据典型实施例，所述文档具有属性，其值指定了特定的观看类型。根据简化的实施例，针对时间构想的识别类型为：

-长镜头

-特写镜头。

大部分的特写镜头图像被认为包含了有趣的部分，例如，摄像机对一场比赛中的两个足球运动员进行放大。而在长镜头中，例如当拍摄体育场内的整个球场时，仅一小部分-球的附近-实际上是用户所关心的。根据作为本发明的主题的方法，有时被称为“元数据”的表示镜头类型的属性定义了在特定类型的观看设备上所需的视频显示的类型。更具体地，该属性表示在特定屏幕上所观看的图像(或一部分)是否应该被放大。

根据特定的简单典型实施例，在摄像机级别上对属性值进行更新。由摄像者所进行的长镜头或特写镜头调节决定了该属性值。该简化模式没有排除在镜头已经由广播商自己拍摄之后对属性进行更新的可能性。因此，该属性与被传送的文档相关联。对于直接广播，在MPEG-2流中经由专用频道来发送该属性，该频道对应于与节目表以的完整节目相关联的报头(或PID)。最后，可以通过在回放设备1中分析图像来确定该属性。

根据该属性值，观看设备自动地选择显示模式：或者图像全屏显示，或者对图像进行放大而仅显示有趣部分。以下表格对可能发生的各种情况进行了总结：

设备类型/镜头类型	宽屏设备	小屏幕设备
			长镜头	视频被保持	视频被放大
特写镜头	视频被保持	视频被保持

如果视频被保持，则不在显示器上对接收到的图像进行修改，换句话说：将整个图像展示在屏幕上。如果显示设备2的屏幕是大尺寸的(电视、等离子体或LCD屏幕甚或由视频投影仪所产生的图像)，则不必对图像的任何部分进行放大，因为即使是一小部分也会展示得足够明显。

对于长镜头，仅指定来显示传统视频的设备能够显示明显的信息。在小型显示器的情况下，需要对图像或图像的一部分进行放大以使图像明显。例如，在长镜头上，在足球比赛或橄榄球比赛中的每一个运动员占用了较小图像区域而球甚至更小。移动电话必须应用针对每一个图像的像素的子采样以便将图像显示在其小屏幕上，这样存在球会消失的危险，由此对事件的理解会产生不利的影响。

在以下的附图和示例中，使用足球比赛作为文档，但是明显地，可以将任意视听文档应用于本发明：网球比赛、记录片、电影等。图2是以特写镜头拍摄的图像示例。其包含两个围着足球的运动员。图3示出了当用大屏幕来显示时图2的特写镜头如何展示。运动员清楚地得到展示。图4示出了当在小屏幕上显示时图2的特写镜头如何展示。运动员又一次清楚地展示，并且用户能够跟随其动作。有利地，该设备可以使用防混淆滤波器。或者应用于所显示的全部图像或者仅应用于在图像中检测到的轮廓的这样的滤波器用来对强过渡进行平滑或软化。

图5是以长镜头拍摄的图像示例。15个左右的运动员正在足球场上移动，并且可以在屏幕的中间分辨出足球。图6示出了当在大屏幕上显示时图5的长镜头如何展示。用户可以分辨出运动员和足球而没有任何问题。图7示出了当在小屏幕上显示时图5的长镜头如何展示。用户现在几乎不能够辨别出运动员且不再能够跟踪足球，因为它在屏幕上是如此之小。如果需要，作为本发明主题的方法将根据回放设备的类型对图像进行放大，从而使所显示的图像再次成为用户所关心的。图8示出了在由DMM模块处理之后，当由小屏幕来显示时图5的长镜头如何展示。所显示的图像仅涉及在足球场中间的动作，并且能够容易地看到四个运动员并能够分辨出足球。

下面将描述具有简化的显示能力的回放设备如何选择要放大的图像部分。

根据优选和特别简化的本发明实施例，可以认为动作的有趣部分位于图像的中间。由此，当属性指示镜头为长镜头时，DMM模块向OSD电路11发送用于放大图像的中央部分的命令。根据一种改进，所传输和/或读取的属性指定了该有趣区域的放大值。作为该改进的变体，由用户在参数编程步骤期间来定义该值。例如，用户显示编程子菜单，并且利用其遥控器8或任意其他命令输入装置来输入该放大值，无论该装置是否包括在设备1中。

根据一种改进，所述属性值根据被显示的图像而变化，并因而在文档正在被回放的同时发生变化。例如，返回到足球比赛的示例，图像有时会涉及足球场的长镜头，而有时会涉及运动员的特写镜头。由此，该属性涉及一系列数据配对；第一数据项指定文档的时段而第二数据项是在该时间窗期间的属性值。该时间窗的基础为从文档的起始处开始。使用回放设备的时钟来提供时间参考。以下表格示出了文档的镜头片断，每一个镜头具有其自身的属性值：

镜头号	时段	属性值
			1	0h00’00”-0h01’23”	L
2	0h01’24”-0h01’53”	C
			3	0h01’54”-0h03’11”	L
4	0h03’12”-0h01’45”	C

其中，“L”表示镜头为长镜头，而“C”表示镜头为特写镜头。

如果将本发明用于对事件的直接传输，则第一数据项仅指定与L或C属性值相关联的时段的起始值。当属性值发生改变时，该值将保持有效，直到下一时段的起始处。

于是上述表格变为：

镜头号	时段	属性值
			1	0h00’00”	L
2	0h01’24”	C
			3	0h01’54”	L
4	0h03’12”	C

如果属性仅能够取两个互斥的值(例如，当仅检测和使用长镜头和特写镜头时)，则如果已经通信了针对第一时段的第一属性值，则对这些时段的起始值的传输就足够了。

于是，上述表格变为：

镜头号	时段	属性值
			1	0h00’00”	L
2	0h01’24”
			3	0h01’54”
4	0h03’12”

根据另一改进，在另一属性字段中指定屏幕的有趣部分。该部分是矩形的，并且由矩形的中心对适当定界的有趣区域进行特征表示。设备1计算采样以确定围绕该中心点所观看的最终图像，并因而计算出应用于该有趣区域的放大。

该改进能够容易地与前述实施例进行组合，从而使定义该属性的表格得到增强，如下所示：

镜头号	时段	属性值	有趣区域的中心
				1	0h00’00”	L	(X1，Y1)
2	0h01’24”	C	(X2，Y2)
				3	0h01’54”	L	(X3，Y3)
4	0h03’12”	C	(X4，Y4)

能够以与MXF计划(Schema)中的流直接关联的元数据的形式来传送和存储该表中的数据。根据一种改进，对于每一个时段，该属性包含与定义了有趣区域的中心的图像点、以及主题(例如题目或科目)相关联的成对集合。这用来根据其主题来区别图像的特定部分。例如，当传输自行车竞赛时，同一图像能够显示领骑者、随后的一群、周围景色等。用户可能想要仅以放大的格式来观看这些图像部分之一。为此，设备比较由用户输入的关键词(例如：“第一”、“一群”、“环境”)，并且将其与数据集相关联的关键词进行比较。如果关键词对应(或者逐字的，或者由于其是同义的)，则放大与该关键词相对应的图像。

根据一个实施例变体，DMM模块控制OSD，从而对所回放的图像的一部分进行放大。于是，该图像包括包含视听文档的最有趣部分的放大部分，围绕该放大部分的图像部分保持为正常尺寸。当属性指定了有趣区域和用于放大该区域的值时，使用该变体，并且一旦放大，则该区域仅占用屏幕的一部分。有利地，使围绕该放大部分的框架内的视频变形，以强化放大的图像以放大镜效果展示的事实。图9示出了其中中央部分已经放大并形成图像框的合成图像。

可以利用菜单和遥控按钮手动输入围绕在该属性中所指定的点的有趣区域的尺寸。将该用户接口包括在DMM模块中。

根据另一变体，由回放设备1利用图像识别引擎来确定图像的有趣部分的特征(位置，尺寸)。例如，在足球比赛中，总是围绕足球来定位该动作。图像识别引擎分析视频数据并搜索具有足球的视觉特征的运动物体。该引擎产生足球位于其中心的视频区域，并将该区域通信到负责适当地对其进行放大的DMM模块。这样的引擎可以用来分析其中运动员使用一个物体作为比赛标记的所有体育文档(足球、橄榄球、网球等)。

确定回放设备内的有趣区域的另一方式涉及分析图像中的元素活动；实际上，该区域的内容通常包含比图像的剩余部分更为重要的活动。该活动测量基于对当前图像和前一图像之间的摄像机运动的在先测量。然后，通过提取与先前所计算出的摄像机运动相关联的运动特征，计算出当前图像的每一像素和前一图像的每一像素之间的运动。然后，对于每一像素，结果是物体的固有运动的值。取每一个像素的重心作为所关心的区域的中心。

根据该变体，DMM模块确定在预定时段期间要放大的区域。能够以诸如每秒的固定间隔来执行确定，从而定义时段的持续时间。按照该方式，设备持续地确定所接收到的图像是否包含需要考虑到显示装置、以及由用户输入的参数(如果适当)的放大的区域。另一方法在于：检测序列之间的断点并且运行用于确定仅断点时间处要放大的区域的步骤。实际上，当镜头是特写镜头时，不必先验地放大该图像，而当图像以长镜头展示时，需要确定放大对于在显示装置上的较好清晰度而言是否为必须的。

在更为复杂的方式中，包括在回放设备中的DMM模块包含由图10所示的流程图表示的程序。该程序构成了产生镜头和与这些镜头相关联的属性值的方法。该程序的第一步在于：进行预处理以便将视频分割为镜头，镜头以镜头单元为特征。根据视频序列的每一个图像的子采样版本来计算亮度直方图。对于交叉视频，依次处理每一帧。对于压缩的视频，根据可以从DCT(方向余弦变换)片断发起的DC(直流)系数来直接获得低分辨率图像。然后，通过具有有限冲激响应的低分辨率滤波器对该直方图进行滤波。将所使用的直方图的距离定义为逐级差值的积累。在连续图像或帧上计算该距离。然后，当先前所定义的距离大于给定阈值时，检测镜头断点。

图10的流程图的第二步在于：提取适当断开的文档的每一部分的属性值(特写镜头或长镜头)。为此，DMM模块提取以下特征：

-与序列中的主色相关联的镜头中的像素的平均数量；

-镜头中的平均活动；

-摄像机的运动。

第一特征需要对序列中的主色的在先计算。目的是针对初始系统校准，获得足球场的绿色在RGB颜色空间(或者其他：HSV、HLS等)中值。主色的计算基于传统的聚类算法(k平均值型)。其可以针对从视频的起始处或从由用户提供的参考图像(该图像将为足球场的长镜头图像)提取的图像子集来自动进行。一旦已经特征表示了足球场的颜色，则选择每一镜头的主色和足球场的颜色之间的距离测量。该距离可以是在所选的颜色空间中的简单欧氏距离、或者考虑到该颜色在镜头中所出现的次数的更为复杂的距离。由本申请人所递交并于2004年5月13日公布的专利申请WO 03/03203描述了计算这样的距离的方法。

在镜头中的平均活动是镜头中的图像之间的运动矢量的范数平均。这些矢量可以直接从MPEG流中获得或者在另一格式的视频中重新计算。可以将两个镜头的活动之间的距离模型取作等于绝对差值。

也可以根据MPEG运动矢量或根据重新计算出的矢量来估计摄像机的运动。具有三个参数的非常简单的简化线性运动模型是充分的。这三个参数特征表示为水平和垂直运动和缩放。鲁棒地对运动模型进行估计，即，通过仅考虑与主运动相关联的像素。由本申请人递交且在2003年6月20日公布的专利申请WO 02/04316描述了基于最小平方平均的计算方法。例如，可以将两个镜头的摄像机运动之间的距离取作具有三个参数的两个模型之间的欧氏距离，该距离能够以与每一个镜头中的主运动相关联的像素数之间的比率来加权。

然后为分类步骤，该步骤在于：将长镜头与特写镜头和其他镜头相分离。为此，针对所考虑的每一镜头，提取三个前述的特征属性，并使用总距离测量值。例如，该总距离测量值将被取作先前所述的三个距离的加权和。可以使用两种分类方法，将这两个方法应用于两种不同的环境：

-对镜头的后验分类；

-针对镜头的直接传输，对镜头的在线分类。

可以完全自动地执行对镜头的后验分类。其在于：将所有镜头分离为三个子组(长镜头、特写镜头和其他镜头)，所有镜头及其特征是已知的。这里，可以使用三级k方式型方法。该方法的结果极佳，但是其应用性局限在所谈到的直接传输的环境。在前述的专利申请WO02/04316中部分地描述了图10的流程图。

还可以提出第二方法，此时为半自动的。该方法在于：首先，在视频起始处选择长镜头和特写镜头的示例。然后，计算这些参考镜头的所有特征。

然后，通过计算当前镜头和这些参考镜头之间的距离，然后，将该差值与预定阈值进行比较以便根据以下算法获得长镜头/特写镜头或其他镜头中的分类，在线地执行该分类。所述算法为：

如果仅当前镜头和长镜头之间的差值小于阈值，则当前镜头为长镜头。

如果仅当前镜头和特写镜头之间的差值小于阈值，则当前镜头为特写镜头。

如果两个差值均小于该阈值，则较小的差值表示该镜头的分类。

否则，该镜头为另一镜头。

为了最佳结果，必须根据镜头的所有图像来计算这些属性。该计算方法的缺陷在于以下事实：引入了可变延迟，该延迟对应于当前镜头的持续时间。然后，可以使用可选的非最佳的实现。在这种情况下，仅考虑镜头的前面N个图像。这里暗含的假定涉及假设镜头的三个特征在给定镜头上是稳定的。

还可以通过在每一个镜头分类之后重新计算参考特征来考虑参考特征的任何变化。例如，如果镜头被分类为长镜头，则作为前一长镜头和新长镜头的特征的平均值，将重新计算长镜头的特征。

针对其具体特性已经选择了以上所述的本发明的典型实施例。然而，不可能列出本发明的所有可能实施例。特别地，在不脱离本发明的框架的情况下，可以由等效步骤和装置来替换所述的任意步骤或任意装置。

Claims (15)

1、一种在具有显示装置(10；2)的回放设备上观看视听文档的方法，包括：显示步骤，用于在所述显示装置上以正常尺寸来观看所述文档的图像，其特征在于所述方法包括以下步骤：在回放设备(1)上，根据图像内容确定所述文档的至少一个图像的区域；以及放大所述图像区域，以便在时段期间、以比正常尺寸下的图像更大的尺寸在屏幕上观看所述区域。

2、根据权利要求1所述的方法，其特征在于所述确定步骤定义了所述区域的几何特征。

3、根据权利要求1所述的方法，其特征在于所述确定步骤根据所述设备的显示装置的特征来定义所述区域的放大比。

4、根据权利要求1所述的方法，其特征在于所述方法包括步骤：由用户输入放大比。

5、根据前述权利要求任一个所述的方法，其特征在于对所述图像进行分析以确定一个或多个特征物体的位置，以及所检测到的所述物体位于要被放大的图像区域中。

6、根据前述权利要求任一个所述的方法，其特征在于在用于回放文档的时段中重复用于确定要被放大的区域的步骤；在时段期间，根据适当确定的区域来定义放大步骤。

7、根据前述权利要求任一个所述的方法，其特征在于所述放大仅涉及在屏幕上以放大镜效果展示的图像的一部分。

8、一种观看视听文档的设备(1)，包括：显示装置(10，11)，用于在屏幕(2)上观看该文档的整个图像，其特征在于所述设备还包括：确定装置，用于根据图像内容来确定所述文档的至少一个图像的区域；以及放大装置(11，12)，用于在时段期间，以比正常尺寸下的图像更大的尺寸观看所述区域。

9、根据权利要求8所述的观看设备(1)，其特征在于所述确定装置定义了要放大的区域的几何特征。

10、根据权利要求8所述的观看设备(1)，其特征在于所述确定装置根据设备的显示装置的特征来定义区域的放大比。

11、根据权利要求8所述的观看设备(1)，其特征在于所述观看设备(1)包括用于输入放大值的装置，所述确定装置考虑输入的放大值来确定要被放大的图像区域。

12、根据权利要求8到11任一个所述的观看设备(1)，其特征在于所述观看设备(1)包括装置(3，12)，用于检测文档的图像中的一个或多个特征物体，所述确定装置定义要被放大的图像，从而使检测到的物体位于要被放大的图像区域中。

13、根据权利要求8到12任一个所述的观看设备(1)，其特征在于所述确定图像区域的装置是以有规律的间隔被激活的。

14、根据权利要求8到12任一个所述的观看设备(1)，其特征在于所述视听文档由序列构成，所述确定图像区域的装置是在序列变化时被激活的。

15、根据权利要求8到14任一个所述的观看设备(1)，其特征在于所述显示装置(10，11)对屏幕的一部分中所确定的区域进行放大，以便以放大镜效果来显示所述区域。

Images