CN101406042A

CN101406042A - 使用产生切换器执行边缘融合的方法和装置

Info

Publication number: CN101406042A
Application number: CNA2006800539858A
Authority: CN
Inventors: 大卫·艾伦·卡斯帕; 布雷特·迈克·琼斯; 尼尔·雷蒙德·奥尔姆斯蒂德
Original assignee: Thomson Licensing SAS
Current assignee: GVBB Cmi Holdings Ltd
Priority date: 2006-03-28
Filing date: 2006-03-28
Publication date: 2009-04-08
Also published as: US20090167949A1; WO2007111589A1; EP1999948A1; JP2009531957A; JP4914491B2; CA2645825A1

Abstract

一种视频产生切换器包括：多个混合效应单元，每个混合效应单元提供视频输出信号以在显示器上显示图像；用于存储图像的存储器；以及控制器，用于(a)将所存储的图像映射到全局空间，所述全局空间与显示器相关联，以及(b)用于在全局空间中确定多个视口，每个视口与所述多个混合效应单元之一、所存储的图像的一部分以及显示器屏幕相关联；以及与显示器的相邻屏幕相关联的视口发生交叠。

Description

使用产生切换器执行边缘融合的方法和装置

技术领域

本发明大体涉及视频产生系统，且更具体地涉及视频效果的产生。

背景技术

现场事件(live event)的制片人或表演者可以通过将投射在尽可能大的投影屏上的高质量视频体验提供给观众，来增强这些事件。一般地，将投影屏设置在现场事件地点的后面或者上部并且通常并排地在投影屏上投影多个视频输出。一般地，由于图像亮度、颜色等的微小差异，并排投影的图像无法恰好对接在一起，从而无法创建整体无缝宽屏图像。由此，在较大的投影屏系统中，图像可能略微交叠，大约是图像宽度的5-10％。这在图1中示出。图像11(以虚线形式显示其边界)被分为在投影屏21上投影的图像A和图像B，投影屏21包括两个水平对齐的较小屏幕部分21-1和21-2。将图像A投影以便图像A扩展到屏幕部分21-2上，如箭头23所示。同样地，就图像B投影以便图像B扩展到屏幕部分21-1上，如箭头24所示。交叠区域22表示图像交叠的部分。由于图像交叠，所以交叠区域22可能会比投影屏的其余部分上的图像更亮。该亮度效果由交叠区域22中的点画法来表示。因此，交叠区域对于观众而言是可见的——且分散注意力的——并且减弱了观众的视频体验。由此，有必要降低交叠区域中视频输出的强度，以便交叠区域不会显得比投影屏的其余部分上的图像更亮。这被称作水平边缘融合。

令人遗憾的是，传统视频产生切换器不能提供交叠源和融合区域。由此，具有交叠的水平图像(也称作交叠的水平边缘)的视频材料必须在应用于视频切换器之前以水平融合区域预先呈现(render)。可以以诸如Avid、Macromedia和After Effects之类的多种当前可用呈现系统中的任何一个从外部执行视频材料的外部预先呈现。

然而，许多厂家提供直接以水平对齐部分为目标的专门设备。例如，诸如Vista的Montage和Barco/Folsom的Encore之类的系统提供水平融合。另外，Barco/Folsom还制造BlendPro设备，所述BlendPro设备采用离散视频输入并以水平融合形成交叠区域。虽然BlendPro设备具有处理现场视频的输入，但是BlendPro实际上仅对于在应用于BlendPro之前被分为分离部分的预先呈现的视频材料的融合是有用的，而后BlendPro重组所述分离部分。特别地，离线创建视频或图形材料以便创建一个图像。然后将该图像切分为矩形水平部分以在投影屏的水平部分上显示，其中对合适的边缘进行水平融合。然后将这些水平部分应用于BlendPro。

发明内容

根据本发明的原理，视频产生切换器存储图像并将视口映射到所存储的图像以用于显示该图像，其中至少两个视口交叠。

在本发明的实施例中，视频产生切换器包括：多个混合效应单元(M/E)，每个混合效应单元提供视频输出信号以用于在显示器上显示图像；用于存储图像的存储器；以及控制器，用于(a)将所存储的图像映射到全局空间，所述全局空间与显示器相关联，以及(b)用于在全局空间中确定多个视口，每个视口与多个混合效应切换器之一、所存储的图像的一部分以及显示器的一部分相关联；以及与显示器的相邻部分相关联的视口发生交叠。

附图说明

图1示出了包括多个较小水平布置的屏幕部分在内的投影屏上的交叠区域；

图2示出了根据本发明原理的视频产生切换器的说明性实施例；

图3示出了用于根据本发明原理的视频产生切换器的说明性流程图；

图4-9进一步示出了本发明的原理；

图10示出了根据本发明原理的视频产生切换器的另一个说明性实施例；

图11和12示出了根据本发明原理的图10的M/E到屏幕的映射；

图13和14示出了用于根据本发明原理说明性图形用户界面；以及

图15示出了本发明概念向非交叠视口的扩展。

具体实施方式

除了本发明的概念，图中显示的元件也是众所周知的并且不会详细描述。此外，假定对视频产生很熟悉并且此处不详细描述视频产生。在这点上应当注意，仅有不同于公知视频产生切换(video production switching)的本发明概念部分在下文中描述并在图中显示。同样，假定对混合效应(mix effects，M/E)设备、融合(软裁切(soft cropping))、数字视频效应(digital video effects，DVE)通道、混合器总线(mixer bus)、键架(keyframe)、图像的变换矩阵计算等很熟悉并且此处不描述它们。应当注意，可以使用传统编程技术来实现本发明的概念，所述传统编程技术同样不在此处描述。最后，图中相同的数字表示相似的元件且图中的表示不必是按照比例的。

在图2中显示根据本发明原理的视频系统10的说明性实施例。如上所注意的，仅显示了与本发明概念相关的视频系统10的那些部分。例如视频产生切换器100可以包括一个或更多个切换矩阵(switching matrix)，所述一个或更多个切换矩阵在本领域中公知，用于在视频产生切换器100的各种元件当中对多种视频信号进行选择和切换，以实现特定效果，并且还对要提供作为视频产生切换器100的主(还称作节目或PGM)输出的特定视频信号进行选择。然而，这些一个或更多个切换矩阵不与本发明概念相关并同样不在图2中显示。

视频系统10包括视频产生切换器100、投影仪150和投影屏198(此处还称作显示器)。投影屏198是宽扩展屏并包括由屏幕部分198-1和198-2表示多个较小屏幕部分，分别用于显示由视频显示信号151-1和151-2提供的视频内容。在这点上，投影仪150包括多个投影器设备150-1和150-2，用于提供特定视频显示信号到投影屏198的相应部分。除本发明的概念外，视频产生切换器100将由输入信号101-1至101-N表示的来自一个或更多个源的视频输入信号切换到由在投影仪198的相应部分上最终显示的屏幕输出信号106-1和106-2表示的一个或更多个输出。视频输入源可以是例如摄像机、录像机、服务器、数字画面操纵器(视频效应设备)、字符发生器等。如本领域中公知的，屏幕输出信号表示本领域中公知的PGM信号，即表示视频产生切换设备的最终输出信号。

现在转到视频产生切换器100，该设备包括控制器180和多个混合效应单元(M/E)105-1和105-2。每个M/E 105-1和105-2接收一个或更多个视频信号(分别由视频信号104-1和104-2以虚线形式表示)，以分别进行处理从而提供屏幕输出信号106-1和106-2。每个M/E由控制器180(通过控制信号181)控制，所述控制器180是由在图2中以虚框形式显示的处理器190和存储器195来表示的基于软件的控制器。在该上下文中，计算机程序或软件被存储在存储器195中，由处理器190执行。处理器190表示一个或更多个存储程序的控制处理器，且这些处理器不必是专用于M/E设备的控制器功能的，例如处理器190还可以控制视频产生切换器100的其他功能和/或设备(未示出)。存储器195表示诸如随机存储器(RAM)、只读存储器(ROM)等任何存储设备，其可以在视频产生切换器100的内部和/或外部，以及在必要时可以是易失性和/或非易失性的。

根据本发明的原理，存储器195包括用于存储图像的部分196(此处还称作图像存储器、静止(still)存储器或剪辑(clip)存储器)。此时还应参考图3，图3示出了用于根据本发明原理的视频产生切换器100的说明性流程图。在图3的步骤405中，控制器180接收要在投影屏上显示的图像。例如，内容创建器制作下载到图像存储器196的图像(用作背景)。该图像可以通过例如输入信号101-1至101-N之一来接收。在该示例中，接收背景图像301，以在图像存储器196中将所述背景图像301全部存储，如图4所示。作为示例，设计图像存储器196，以接收任何尺寸高达图像存储器196中可用的最大空间的图像。在该示例中，假定图像301的画面格式是1920×1080，即1920像素宽，1080像素高，并且假定图像存储器196足够大以便存储该尺寸的图像。

在图3的步骤410中，控制器180在图像存储器196中存储图像。在步骤415中，根据本发明的原理，控制器180将图像映射到投影屏坐标空间(此处也称作全局坐标空间或全局空间)。该映射在图5中对于图像301示出。对于该示例，假定坐标空间是笛卡尔坐标。然而，本发明的概念不限于此。为了示例目的，对于该示例仅描述一个维度，例如y维度(此处与“高度”相关联)。本发明概念向二维或三维的扩展是显而易见的。如图5所示，y维度的轴42以像素表示图像的高度维度，从左上角的值I_y＝0到左下角的最大值I_y＝1020。以像素表示的图像高度映射到由y维度轴52表示的投影屏198的高度。对于该示例，假定投影屏198的高度是G_y＝200个单元。相似的注释适用于x维度(未显示)。对于该示例，假定投影屏198的宽度和高度与有效显示宽度和高度相对应，即与投影屏198中能够显示图像的区域(与实际的宽度和高度相比，该区域可能大于有效显示区域)相对应。作为示例，全局y坐标值0，即G_y＝0，映射到投影屏198的上边缘，且全球y坐标值200，即G_y＝200，映射到投影屏198的下边缘。由此，在该示例中，假定投影屏高度是200单元高。应当注意，全局空间的每个“单元”与像素、英寸、厘米、屏幕单元等相对应。此外，投影屏198的维度对于描述本发明的概念仅仅是示例性的。投影屏可以显示标准视频(例如4:3视频格式)、高清晰度视频(16:9视频格式)等。然而，“单元”实际类型是否表示像素、英寸等与本发明的概念无关。

转回到图2，投影屏198是由两个较小屏幕部分198-1和198-2组成的。根据本发明的原理，较小屏幕部分的数量和布置不局限于水平维度。由此，对于该示例，假定投影屏198是垂直布置的，即屏幕198-1在屏幕198-2上面。换句话说，本发明的概念不仅支持投影输出的水平布置，而且支持投影输出的垂直布置。这在图6中示出。如图6中所示，M/E 105-1(输出信号106-1)(通过投影器设备150-1)与屏幕198-1相关联，且M/E105-2(输出信号106-2)(通过投影器设备150-2)与屏幕198-2相关联。如图6所示，以及如以下进一步描述，来自每个M/E的输出信号在投影屏198上产生了交叠区域66。

返回图3，在步骤420中，根据本发明的原理，控制器180确定进入全局空间的多个视口，以使(a)每个视口(或局部空间)与一个M/E相关联，以及(b)与相邻屏幕部分相关联的视口发生交叠。每个M/E的背景输入与该M/E相应的视口相关联。在该示例中，假定例如由操作者通过视频产生切换器100的控制面板(未显示)将交叠量预定义为10％，并将交叠量提供到控制器180。由于该示例中仅有两个M/E，所以控制器180容易确定与每个M/E相关联的视口，如图7所示。特别地，给定在M/E与投影屏198的屏幕部分之间的预定义的关联，则M/E 105-1与由点线双头箭头71表示的局部空间V_105-1(即图像顶部)相关联，且M/E 105-2与由点线双头箭头72表示的局部空间V_105-2(即图像底部)相关联。在该示例中，每个局部空间的宽度(未在图7中显示)与投影屏198的宽度一致。然而，将投影屏198的高度在两个屏幕部分198-1与198-2之间划分，即每个屏幕的高度是100单元。由于交叠量是10％，所以来自一个投影器设备的图像会在相邻屏幕上延伸10个单元(100×10％)。因此，控制器180对于M/E 105-1确定V_105-1起始于G_y＝0并扩展到G_y＝110；并对于M/E 105-2确定V_105-2起始于G_y＝90并扩展到G_y＝200。这在图7中由V_105-1的y维度的轴61和V_105-2的y维度的轴62示出。因此，以交叠边缘创建视口。这在图7中由交叠区域66显示，所述交叠区域66还由图中显示的点画法表示。现在参考图8，在视口与全局空间之间的映射还在表1中显示。例如，M/E 105-2的视口具有原点G_y＝90、视口高度110，并且因此结束于G_y＝200。

在步骤425中，将浮动(flying)视频画中画(PIP)键入(key)到背景上。除了键入PIP的公知现有技术方法以外，在与Casper等在同一天提交的名为“METHOD AND APPARATUS FOR DISPLAYING AN IMAGEWITH A PRODUCTION SWITCHER”的共同待审批的专利申请中描述另一方法。在图3的步骤430中，控制器180在图像存储器196中软裁切识别后出的交叠区域，例如交叠区域66。除本发明的概念以外，软裁切或边缘融合也在本领域内公知。通常，交叠区域的每一侧都具有其自身独立的软度调节(softness adjustment)，所述软度调节转化为交叠区域的宽度。应当注意，视频信号本身的加性混合局限于最大强度。然而，来自投影仪的光的加性混合并不受限，所以需要小心使用正确的算法以产生软裁切，以便不会引起由疏忽造成的幅度峰值和边缘效应。此外，由于投影仪的“黑色”输出实际不是黑色且任何交叠的“黑色”都比非交叠的黑色更亮，所以对于非融合区域中的黑色电平(DC偏移)必须作出补偿。最后，在步骤435中，经由信号通路182将图像301中与V_105-1相关联的那部分提供到M/E 105-1，所述信号通路182表示以上所述的切换矩阵；并同样经由信号通路182将图像301中与V_105-2相关联的那部分提供到M/E 105-2。由此，每个M/E都经由它们的关联投影器设备将它们的带有必要交叠的背景图像的各自部分投影到投影屏上。这在图9中对于图像301示出。应当注意，在图9中没有显示融合，仅仅显示了交叠视口的示例。

现在参考图10，示出了本发明概念的更普遍的示例。图10的视频系统20与图1的视频系统10相似，不同之处是视频系统20现在包括四个M/E(M/E 105-1、M/E 105-2、M/E 105-3和M/E 105-4)，其中每个M/E与相应的投影器设备(投影器设备105-1、投影器设备105-2、投影器设备105-3和投影器设备105-4)相关联，所述各个投影器设备用于将视频/图像投影到具有四个屏幕部分(199-1、199-2、199-3和199-4)的宽扩展屏幕199上。图11示出了根据本发明原理，图10的M/E向多个部分的映射。如图11中所见，本发明的概念支持顶/底和左/右软裁切，即投影输出的矩形堆叠。

再次参考图3的流程图，但以更简化的形式，在图3的步骤405中，图10的控制器180接收要在投影屏上显示的图像。在图3的步骤410中，图10的控制器180将该图像存储在图像存储器196中。在步骤415中，图10的控制器180将该图像映射到全局空间中，如上所述。在步骤420中，根据本发明的原理，图10的控制器180确定进入全局空间的多个视口以便(a)每个视口(或局部空间)与一个M/E相关联以及(b)与相邻屏幕部分相关联的视口发生交叠。再次，在该示例中每个M/E的背景输入与其相应视口相关联，并且假定交叠量预定义为10％。由于在该示例中有四个M/E，所以控制器180容易确定与每个M/E相关联的四个视口，如图12中的普遍形式所示。

特别地，假设图12的大矩形AEIM是在图像存储器196中存储的完整的图像。另外，如图11所示，给定了M/E与投影屏199的屏幕部分之间的预定义关联，则M/E 105-1与局部空间V_105-1相关联(即图像的左上)，M/E 105-2与局部空间V_105-2相关联(即图像的右上)，M/E 105-3与局部空间V_105-3相关联(即图像的右下)，M/E 105-4与局部空间V_105-4相关联(即图像的左下)。此外，假定图12中与矩形ADQN相对应的点画部分表示视口V_105-1且具有V_H乘以V_W的维度。右侧交叠区域是矩形BDQS，且底部交叠区域是矩形PTQN。如果交叠区域是图像宽度(和高度)的10％，则矩形AEIM的尺寸是1.9V_H乘以1.9V_W(当然小于2V_H×2V_W)。应当注意，设计这种背景的内容创建者需要知道这点。此处相关的是控制器基于这点来确定视口的尺寸。由此，给定图12中原点A的点以及交叠区域的所希望的尺寸，则控制器180容易计算四个视口V_105-1(矩形ADQN)、V_105-2(矩形BEHS)、V_105-3(矩形VFIL)和V_105-4(矩形PTJM)的尺度(dimension)。

在步骤425中，将PIP键入到背景上。在图3的步骤430中，图10的控制器180软裁切图像存储器196中识别出的交叠区域，即交叠区域76和77。最后，在步骤435中，经由信号通路182将与每个视口相关联的图像部分提供到相应的M/E。由此，每个M/E经由其相关联投影器设备将其带有必要交叠的背景图像的相应部分投影到投影屏上。

根据本发明的原理，可以实现图形用户界面(GUI)，以提供用于定义全局坐标空间与多种局部M/E空间之间的空间关系的图形手段。这允许操作者根据输出投影仪的几何关系，采用较大的背景图并将该图形的各个部分路由到M/E。由于这是由软件层(例如图2或10的控制器180)基于投影仪的所定义的关系来计算的，因此使操作者不必考虑交叠边缘。该GUI可以是以上所述的控制面板的一部分(例如具有显示器的个人计算机)。这种GUI的抽象表示在图13和14中显示。首先转到图13，屏幕500包括图形元素505和510。图形元素505在长度和宽度方面成比例地表示要显示的图像。图形元素510表示可用于分配给图像的视口。根据本发明的原理，每个视口与一个M/E相关联。GUI界面能够实现将在图形元素510中显示的视口中的一个或更多个拖放到图形元素505中。因此，操作者可以指定每个M/E与该图像之间的映射。这在图14中示出，图14示出了将特定视口分配给图像。

根据本发明的原理，视口还可以定义为非交叠的。这在图15中示出。投影屏699包括四个较小的屏幕部分699-1、699-2、699-3和699-4，它们布置成彼此之间具有间隙。在该示例中，背景是大圆696。目的是保存背景的几何完整性，依靠于人眼来整合并忽略照亮的屏幕部分之间的暗空间。由此，不是存在融合区域，而是控制器180确定视口以便在视口之间存在间隙。

如上所述，控制器180执行融合。然而，根据本发明的原理，可以修改图4的流程图，以便在每个相应的M/E接收到对应的图像部分之后，由每个相应的M/E执行融合步骤430。另外，可执行融合的另一地点是在辅助(aux)总线(未显示)的输出电路中。也就是说，可以在没有软裁切的情况下直接输出每个M/E的输出，所以所述输出可以在视频监视器上看见并且/或者路由到辅助总线，所述辅助总线被配置为将软裁切应用于一个或更多个边缘。后一种方案具有若干优点：(a)降低了M/E(其已是非常复杂的电路)的复杂度以及(b)允许所述输出被清楚地监视。如果对两个相邻边缘进行软裁切，则每个在视频监视器中都显现为不完整的图像。在每个监视器上观看非裁切的输出是人们更加希望的。

如上所述，根据本发明原理的视频产生切换器不仅使图像(或视口)的垂直堆叠便利，而且使四个(或更多个)投影仪的布置便利，以形成具有矩形投影区域的四边形(例如垂直堆叠的视口以及水平堆叠的视口)。背景技术中描述的现有布置方式已在音乐厅和剧场等中验证为有效，在这种情况下，由于能够垂直堆叠图像，根据本发明原理的视频产生切换器在诸如建筑物中庭(例如宾馆)、大教堂式的礼拜堂、购物中心之类的空间中会非常有效。

应当注意，虽然在特定数目的多个M/E设备、投影仪和屏幕的情况下描述了本发明的概念，但是本发明不限于此，而且任何组合形式的更小的和/或更大的其他数字可被用于各个元件。例如，本发明的概念还适用于诸如多屏显示器之类的包括多个屏幕在内的显示器。另外，虽然在垂直布置(例如图6)以及垂直和水平布置(例如图12)的情况下描述了本发明的概念，但本发明的概念还适用于水平布置。

由此，前述内容仅仅示出了本发明的原理，从而应当理解本领域技术人员能够设计出多种备选布置，所述备选布置虽然未在此处清楚地描述，但它们包含本发明的原理且在本发明的精神和范围内。例如，虽然在分离的功能元件的情况下示出，但这些功能元件可以包含在一个或更多个集成电路(IC)中。相似地，虽然显示为分离的元件，所述元件中的任何或全部可以在诸如数字信号处理器之类的存储程序控制处理器中实现，所述处理器执行关联软件，所述关联软件与例如图3等中显示的步骤的一个或更多个相对应。所以需要注意，可以对说明性实施例作出多种修改而且可以在不背离如所附权利要求所定义的本发明精神和范围的情况下设计出其他布置。

Claims

1.一种在视频产生切换器中使用的用于提供视频信号以在显示器上显示图像的方法，所述方法包括：

存储图像；以及

将视口映射到所存储的图像以显示图像，其中至少两个视口发生交叠。

2.根据权利要求1所述的方法，其中映射步骤包括：

将所存储的图像映射到全局空间，所述全局空间与显示器相关联；

在全局空间中确定多个视口，每个视口与混合效应单元、所存储的图像的一部分和显示器的一部分相关联；以及与显示器的相邻部分相关联的视口发生交叠。

3.根据权利要求1所述的方法，还包括：

对视口发生交叠的区域内的所存储的图像的一部分进行融合。

4.根据权利要求3所述的方法，其中混合效应单元执行融合步骤。

5.根据权利要求3所述的方法，其中辅助总线执行融合步骤。

6.根据权利要求1所述的方法，还包括以下步骤：

将所存储的图像中与每个视口相关联的那些部分投影到显示器的相应部分上。

7.根据权利要求6所述的方法，其中投影步骤将所存储的图像投影以使至少两个视口看起来是垂直堆叠的。

8.根据权利要求6所述的方法，其中投影步骤将所存储的图像投影以使视口看起来是垂直和水平堆叠的。

9.根据权利要求1所述的方法，还包括以下步骤：

将多个视口分配给图像的特定部分。

10.根据权利要求9所述的方法，其中分配步骤包括：

显示图像用户界面，所述图像用户界面包括图像的表示和每个视口的表示；

其中所述图形用户界面允许将每个视口的表示布置在图像的表示内，以用于分配给图像的特定部分。

11.一种装置，包括：

多个混合效应单元，每个混合效应单元提供视频输出信号以用于在显示器上显示图像；

存储器，用于存储图像；以及

控制器，用于(a)将所存储的图像映射到全局空间，所述全局空间与显示器相关联，以及(b)用于在全局空间中确定多个视口，每个视口与所述多个混合效应单元之一、所存储的图像的一部分以及显示器的一部分相关联；

其中与显示器的相邻部分相关联的视口发生交叠。

12.根据权利要求11所述的装置，其中控制器对视口发生交叠的区域内的所存储的图像的一部分进行融合。

13.根据权利要求12所述的装置，其中每个混合效应单元对视口发生交叠的区域内的所存储的图像的一部分进行融合。

14.根据权利要求11所述的装置，还包括：

多个投影器设备，每个投影器设备与混合效应单元之一相关联，其中每个投影器设备响应于来自该投影器设备的混合效应单元的视频输出信号，以在显示器上显示图像。

15.根据权利要求14所述的装置，还包括显示器，所述显示器包括多个部分，其中每个部分映射到混合效应单元之一。

16.根据权利要求15所述的装置，其中所述多个部分垂直或水平布置。

17.根据权利要求15所述的装置，其中多个部分垂直和水平布置。

18.根据权利要求11所述的装置，还包括：

显示器，用于显示包括图像的表示和每个视口的表示在内的图形用户界面；

其中所述图形用户界面允许将每个视口的表示布置在图像的表示内以用于分配给图像的特定部分。