CN103428571A

CN103428571A - 智能的电视购物系统和方法

Info

Publication number: CN103428571A
Application number: CN2013103105091A
Authority: CN
Inventors: 汪灏泓; 萧志华
Original assignee: TCL Corp
Current assignee: TCL Corp; TCL Research America Inc
Priority date: 2012-07-26
Filing date: 2013-07-23
Publication date: 2013-12-04
Anticipated expiration: 2033-07-23
Also published as: CN103428571B; US8595773B1

Abstract

一种智能的用户交互控制系统的方法，包括对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的暂停指令，以停止所述视频节目。所述方法还包括停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息，根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，并将所述搜索结果提示给所述用户。

Description

智能的电视购物系统和方法

技术领域

本发明涉及电视和用户界面技术领域，尤其涉及一种关于智能的用户交互控制系统和方法的技术。

背景技术

电视购物已经存在了很长时间，但从未在一个大量人口基础上认真实现过，而通过电脑的在线购物在最近几年已相当成熟了。电视购物的主要障碍可能是用户通过遥控器与电视之间进行交互的机制不灵活，以及人们对电视的传统认知就是一个家庭娱乐平台，而不是一个操作平台。因为现在我们已经进入一个包括智能电视的智能设备的时代，所以当前电视购物模式可能已经落伍。

近年来，内容可以通过电视来购买或租赁。人们把购物商务看作为内容商务的自然延伸，并希望使用家庭电视作为一个配套设施。一些购物供应商为电视做了些可下载的应用程序（如，iphone 或安卓的应用程序）。但是，因为电视遥控器使用困难，所以如何使这个方法能够与通过电脑或移动电话的在线购物相竞争，可能还是个问题。另外一些购物供应商则提出基于用户在看电视时候的选择而自动为用户收集折扣券，而用户必须在电视商品广告节目结束之前，点击遥控器上的一个特定的按键，来锁定所述特定的折扣券。但是，所述方法可能让用户处于警戒状态，而这可能颠覆看电视是一种娱乐放松的体验这个主要原则。

本发明所公开的方法和系统可用来解决上述的一个或多个问题以及其他问题。

发明内容

本公开的一个方面包括一个智能的用户交互控制系统的方法。所述方法包括对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的一个暂停指令，以停止所述视频节目。所述方法还包括当停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息。进一步地，所述方法包括根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，然后将所述搜索结果提示给所述用户。

本发明公开的另外一个方面包括一个智能的用户交互控制系统。所述智能的用户交互控制系统包括一个数据存储器，一个对象提取模块，一个用户体验（UE）处理器，以及一个可视化搜索引擎。所述数据存储器，用于储存一段时间内传进来的视频节目的数据流，所述视频节目播放在显示屏上显示给用户。所述视频提取模块，用于对所述一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户。进一步地，所述用户体验处理器（UE），用于探测来自所述用户的暂停指令以停止所述视频节目；停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧；获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息；根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象；系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述可视化搜索引擎，用于在在线数据库中搜索所述用户已选的感兴趣的对象并返回对应于所述用户已选的感兴趣的对象的搜索结果，而用户体验处理器进一步设置用于向所述用户提示所述搜索结果。

本公开的其他方面，本领域技术人员可根据本发明的说明书，权利要求书和附图来理解。

附图说明

图1说明了一个结合本发明所披露的某一实施例的示范性的环境；

图2 说明了一个与所披露的实施例相符合的示范性的计算机系统；

图3说明了一个与所披露的实施例相符合的示范性的视频处理模块；

图4说明了一个与所披露的实施例相符合的示范性的智能电视购物控制系统；以及

图5说明了一个与所披露的实施例相符合的智能电视购物控制系统的示范性的操作过程。

具体实施方式

引用附图中所说明的本发明的示范性的实施例作为具体的参考。尽可能地，使用相同的编号来表示附图中相同或相似的部分。

图1 说明了一个结合本发明所披露的某一实施例的一个典型的环境100。如图1所示，所述环境100包括电视102，遥控器104，和用户108。可选地，环境100可包括网络设备106。

所述电视102 可包括各种合适类型的电视，比如等离子电视，液晶电视，投影电视，非智能电视，或智能电视。所述电视102也可包括其他的计算机系统，诸如个人电脑（PC），平板电脑或移动电脑，或服务器，等等。

所述遥控器104可以包括任何合适类型的遥控器，可联系并控制所述电视102，诸如定制的电视遥控器，通用遥控器，平板电脑，智能手机，或任何能够执行遥控功能的计算机设备。所述遥控器104也可包括其他类型的设备，诸如基于运动传感器的遥控器，或深度相机增强的遥控器，以及简单的输入/输出设备，比如键盘，鼠标，和声控输入设备等。

为了看所述电视102和在所述电视102上执行一个所感兴趣的行为，比如在所述电视102上购物，所述用户108可先拿起所述遥控器104，抓住所述遥控器104，然后使用所述遥控器104来控制所述电视102，执行所感兴趣的行为操作，或者如果使用了运动感受器或者深度相机，所述用户可简单地使用手部或身体姿态来控制所述电视102。在这过程中，所述用户108可与所述电视102和/或所述网络设备106交互。

进一步地，可选的所述网络设备106可包括任何合适类型的计算电子设备或消费电子设备，为所述遥控器104和所述电视102之间的通讯，数据储存，以及数据处理提供便利。所述电视102，所述遥控器104，以及所述网络设备106可通过一个或多个通讯网络而相互联系。

所述电视102，所述遥控器104，和/或所述网络设备106，可以在任何合适的计算电路平台上实施。图2显示一个典型的可实现所述电视102、所述遥控器104和/或所述网络设备106的计算机系统200的框图。

如图2所示，所述计算系统200可包括处理器202，存储介质204，显示器206，通讯模块208，数据库210，和外围设备212。某些设备可能被省略，而其他设备可能被加入。

所述处理器202可以包括任何合适的一个或多个处理器。进一步地，所述处理器202可包括用于多线程或并行处理的多核。所述存储介质204可包括内存模块和大容量存储器，所述内存模块包括只读存储器ROM，随机存取存储器RAM，闪存模块，而所述大容量存储器包括光盘CD-ROM及硬盘等。所述存储介质204可以储存用来执行各种进程的计算机程序，而这些计算机程序由所述处理器202运行。

进一步地，所述外围设备212可以包括各种传感器和其他输入输出I/O设备，诸如键盘和鼠标，而所述通讯模块208可包括某些网络接口设备，用来通过通讯网络建立连接。所述数据库210可包括一个或多个数据库，用来存储一定的数据并对所存数据执行一定的操作，比如数据库搜索。

图3说明了一个与所披露的实施例相符合的所述电视102内的示范性的视频处理模块300。如图3所示，所述视频处理模块300包括视频解码器302，数据存储器304，视频处理单元306。其他元件也可能加入。

所述视频解码器302可包括任何合适的视频解码电路来解码传到所述电视102的传进来的数据流。数据流解码后，数据提供给所述视频处理单元306，作为准备好要显示的视频数据。进一步地，所述数据存储器304可包括多种合适的存储介质（比如，所述存储介质204，所述数据库210）来存储视所述频数据。所述视频数据可在存储进数据所述存储器304前被编码，且所述所存的视频数据可在提供给所述视频处理单元306来播放之前先解码。

所述视频解码器302，所述数据存储器304，和所述视频处理单元306的设置可用于实现所述电视102的时移功能。所述用户可定住一个现场直播视频回放一段时间（如，几秒钟，几分钟或几小时），并且所述视频存储器304可以在现场直播视频被所述用户108定住的时候，在解码和显示步骤之间存储或缓冲视频数据。

图4说明了一个与所公开的实施例相符合的典型的智能的电视购物控制系统400。如图4所示，如前所述，所述控制系统400包括所述视频解码器302，所述数据存储器304，和所述视频处理单元306。所述控制系统400还包括视频提取模块402，对象分割模块404，和用户体验处理器406，而所述用户体验处理器406还包括用户行为分析器408.

进一步地，所述控制系统400包括可视化搜索引擎410和推荐引擎412。所述可视化搜索引擎410和/或所述推荐引擎412可放置于所述电视102内或放置于所述电视102外，比如放置在一个云计算420或所述网络设备106中。某些元件可被省略，而其他元件可被加入。所述控制系统400（例如，各种元器件）可以在硬件，软件，或软硬件组合中实现。

所述视频提取模块402，用于总结在所述数据存储器304模块中储存的过去的几分钟或任意分钟的视频数据，生成几个代表性的视频帧，提供给用户在试图倒带回看电视节目的时候来选择。就是说，所述视频提取模块402可以自动从大量的视频帧中选择代表性的帧（假设视频以30帧每秒的速度回放，那一分钟的视频片段就有1800帧），使得用户交互显著减少。

所述对象分割模块404，用于自动探测一个用户当前感兴趣的区域，使得所述用户可以用相当少的时间指定他/她正在查看的对象。所述对象分割模块404可放置于所述电视102内或放置于所述电视102外，取决于具体的应用。

所述用户体验处理器406，用于处理所述用户与所述控制系统400之间的交互。例如，所述用户体验处理器406可提供一些操作指令的界面，比如暂停电视节目，倒带回放，选择对象，接受推荐信息，和探测所述用户购买选择等等。另外，安装在所述用户体验处理器406内的所述用户行为分析器408，用于理解所述用户关于对象选择的偏好并因此改善下一步的对象分割过程。

进一步地，所述可视化搜索引擎410，用于检索一个或多个在线数据库，匹配所述用户在所述分类或其他电视节目中指定的可视化对象。所述可视化搜索引410，用于寻找到最佳匹配或寻找到一个匹配百分比在预定的阈值之上的匹配。所述匹配可以基于各种各样的标准来执行，比如名称，类型，形状，外表，价格，品牌，和生产商等。所述推荐模块412，用于推荐相关的对象，诸如那些外表类似，价格范围相似的对象，或用户所选的对象的赠品。

在操作中，所述视频提取模块402可为一个或几个过去播放过的视频段产生略览帧。当所述用户108通过所述用户体验处理器406要求暂停电视节目，相应的略览帧就可显示在显示器上供所述用户108选择。当所述用户108选定了一个特定的帧后，所述帧里的对象可以被所述对象分割模块404自动分割，所述用户可以挑选他/她当前所感兴趣的一个对象。所述对象的信息（比如图像，像数图，或描述）接着就被发送到所述可视化搜索引擎410.

所述可视化搜索引擎410从所述一个或多个在线数据库中寻找匹配的对象（比如，商品）并传递所述信息给所述推荐引擎412。然后所述推荐引擎412可通过所述用户体验处理器406，按照所述用户的喜好以及可选的相关对象，给所述用户做出推荐。所述用户可以基于上述推荐做出购买决定或者选择继续看电视节目，稍后再执行购买操作。

一个短暂的使用场景可以作为上述操作的一个说明。当一个所述用户在观看一个电视节目时，例如，一个具有社会名流和高端服装，包，鞋等的时尚频道，当所述用户看见一些感兴趣的东西时，所述用户可以暂停电视节目，回放视频帧来寻找所述引起所述用户兴趣的对象（商品或名流），选择所述对象，开始搜索。然后所述用户返回来继续观看电视节目。这整个过程可能只花费一两分钟，因此对所述用户的观看电视体验影响极小。一旦系统找到对应于所述对象的相关的信息，例如，市场上的最低价格，和/或相似或相关的可用于推荐的商品，在电视下端可显示一个消息图标。用户可以选择忽略所述消息直到电视节目结束，或再次暂停所述电视节目，开始浏览所推荐的物品，甚至采取购买行动。所述用户仅仅点击一个按钮或使用一个姿势就可下订单，然后返回到所述电视节目，继续从停止点开始观看所述电视节目。因此，一个所谓的回放-选择-前进模式的在线电视购物就可以实现。

特别是，图5说明了一个与所披露的实施例相符合的示范性的操作过程500。如图5所示，在所述过程500的开始，一个视频片段的视频略览帧就由所述视频提取模块402产生（S502）。要产生的视频略览帧的数目可基于总的可用的存储空间以及所述用户的偏好来确定。所述视频略览帧的数目可以由所述视频提取模块402自动设置或由所述用户设置。

所述视频提取模块402可基于预定的算法产生所述视频略览帧。例如，一个实用的并不复杂的视频略览提取算法可能会被所述视频提取模块402采用。提取算法可综合考虑各种因素，诸如略览的代表性，内容差异性的范围，以及关键帧和对象的视觉质量等，可以构造一个用来优化略览帧索引的成本函数。换而言之，所述算法将所述视频略览帧提取问题转换为一个优化问题，并以一个最短路径算法解决所述优化问题。

定义N为全部视频帧序列的数目，M为预期的视频略览帧的长度，那么问题就是寻找到可以最佳地概述所述视频帧序列的所选的M个帧的索引，{a _i} (i=1,…, M, 而 a₀=0) 。此处“最佳”是指所述视频略览帧对于在显示屏上显示给所述用户数个感兴趣的对象应当具有所期望的局部代表性并覆盖内容差异，同时具有所期望的视觉质量。

所期望的局部代表性是指所述所选的帧应与其邻近帧具有所期望的局部相似性。换而言之，关键帧（就是说，略览帧）应与他们的邻近帧具有足够的相似性，使得其可以在最终略览帧序列中代表邻近帧。相似度可以基于多种因素来测量。例如，颜色相似度可以被用来评估附近帧之间的相似度。

定义{Hi} 为略览帧的YCbCr 颜色直方图，N是视频节目在一定时间内的总帧数，则第i个帧的所述局部相似性A(i)为：

, (1)

其中,Sim()是一个用来比较两个一维向量的相似函数，通过以下公式被定义为：

. (2)

其中，x 和y 是被比较的向量。

所涵盖的内容差异性可以用所述所选的帧中的连续帧之间是否有大的不同性来解读。定义{L _i} 为所述帧的下采样的8x8亮度图片，那么略览帧的相似性可以通过以下公式被定义为：

, (3)

此处，为一个权重因子，其值在[0, 1]之间。这里，亮度相似性也被考虑到了以探测对象运动发生在一个静止的或稳定背景下的情况。

进一步地，所述所期望的视觉质量可以由是否所述所选的帧具有较少的模糊强度（由照相机的移动造成的）和在所述所选的帧里的对象/背景相比于其邻近帧具有相对低的运动来解读。所述所期望的视觉质量可以不参照峰值信噪比（PSNR）而进行评估，以避免误导对所述关键帧的选择。

定义{||MV _i||}为宏块的运动矢量的总长度，{S _i}为帧中总的宏块SAD，而{F _i}为源自于数据流或从所述帧中计算出的图像的焦点，然后图像的视觉质量可以通过以下公式被定义为：

(4)

这里为一个权重因子，其值在[0, 1] 之间。而F _MAX则是一个预指定的焦点值的上限。

因此，一个所期望的略览帧概述将要求具有较大的

，较小的

和较小的

。略览帧序列选择然后就可以被转化为一个优化问题，通过以下公式表示：

, (5)

此处和

是在[0, 1]之间的权重参数。

要解决所述优化问题，一个价值函数可以首先按如下公式生成：

, (6)

所述函数表示帧a₁加到帧a_k并包括帧a_k在内的最小和。因此

, (7)

以及

. (8)

因为所述价值函数可以通过以下公式递归表达成为：

, (9)

并考虑到价值函数G _k-1 (a _k-1 ), 其下个帧索引a _k的选择独立于之前取定的向量a ₁ , a ₂ , …, a _k-2的选择，且算法有效。

就是说，以上价值函数的递归表述使得优化过程的后续步骤独立于其之前的步骤，适合于动态规划。所述优化问题可以转化为一个图论问题，即在一个有向非循环图（DAG）中发现最短路径的问题。所述算法的计算复杂性为O(NM ² )。

然而，在某些情况下，上述的解决方案可能是不可行的，例如，当所述N 和/或M 对记忆存储器来讲太大或所述计算复杂度高于所分配的功率和CPU时间的情况。因此，上述解决方案可被调整，用以处理这些情况。例如，在实时处理过程中，视频序列可以被分割成固定窗口尺寸的小组，其保持所述N在一个相对可接受的范围，则可以实现所期望的性能。

更具体地说，按照调整后的解决方案，视频节目片段被分割成许多镜头，而每个镜头里的最佳关键帧的位置就被定位。所述调整后的解决方案可包括三个主要步骤：镜头边界探测，镜头压缩率计算，以及优化后的镜头关键帧的选择。因为选择所述镜头关键帧的算法已经在上面阐述了，下面描述前两步的细节。

所述镜头边界探测算法可以是在YCbCr 色彩空间里的颜色直方图基础上的解决方案。按照所述镜头边界探测算法，所述连续帧的颜色直方图的相似性首先被检查。当所述相似性低于预设的阈值，这意味着可能产生了一个场景变化，当前位置就记录为一个镜头边界。若所得到的所述镜头边界的数目大于略览帧长度，具有最小位置所述相似性的所述镜头边界位置就被选为略览帧索引。

所述镜头边界探测后，可采用一个基于运动行为的镜头压缩率计算方法。定义P为分割的镜头总数， {N _i} 为每个镜头的长度，{M _i} 为要计算的每个镜头的摘要长度。那么

. (10)

因此，所述算法分配分配给具有较激烈运动行为的镜头一个更长的摘要长度，并分配给具有较缓慢运动行为的镜头一个短些的摘要长度。这种基于内容的方案可能会接近人类的自然逻辑，并与使用均匀取样的选择关键帧的方法相比，可以产生不同的视频略览帧，尤其对于在内容行为上具有高对比度的视频段。

进一步地，视频略览帧产生后，对象分割处理可在所有的所述视频略览帧上或在某些所选的关键帧上进行。可选的，所述对象分割处理可在所述视频略览帧产生前，在每个帧上执行。尽管这些设置可能具有一个高度的计算复杂性，但是对象分割可应用于视频略览帧产生过程，生成高质量的可反应所期望的对象质量的关键帧。所述生成视频略览帧和分割对象的指令可以由特定的应用所决定。在某些的实施例中，一个混合工艺可以被应用，其中，先对视频略览执行一个粗糙的处理，然后对所述粗糙处理后的视频略览帧再执行对象分割，然后选定一个最终的关键帧，来获得一个计算复杂度和所选关键帧质量之间的更好的平衡。

所述对象分割模块404可以采用任何合适的算法来执行所述对象分割处理。例如，所述对象分割模块404可采用一个基于主题的对象分割算法，以反应出一定的电视内容与一定数目的特定对象相关联的这么一种观察。例如，时尚电视节目通常会关联到名人面孔，名人的鞋，衣，包和珠宝。

更具体地说，所述基于主题的对象分割算法可以先锁定一张图片中的人脸或头颈部位，然后按照图片中的几何物体关系探测其他对象。所述基于主题的对象分割算法并不要求精确的对象边界分割；相反，探测到对象边界的边界盒可能就足够了。进一步地，所述基于主题的对象分割算法也可允许所述用户介入对象分割过程以更精准的识别用户的兴趣或偏好。

进一步，如图5所示，在所述视频略览帧产生后（S502），所述控制系统400或所述用户体验处理器406可探测到来自所述用户的暂停命令（S504）。更具体地说，当所述用户在电视上看见一些感兴趣的东西，所述用户可以通过发送一个暂停命令来停止电视节目。所述用户可以用各种合适的方法来发送所述暂停命令。例如，当所述电视102装有一个允许以姿态控制的深度相机（如，Kinect 类的设备），用户可向前推右手然后停止，所述深度相机探测到所述姿势。所述用户体验处理器406可以从所述深度相机接收所述探测并可确定为所述用户的暂停命令。确认暂停命令后，所述用户体验处理器406可暂停所述电视节目（这样，稍后可以再从暂停点开始继续播放所述暂停了的电视节目），或者可以退出所述电视节目（这样，所述电视节目稍后可以从当前点开始播放），以及可以将所述电视从观看模式切换到购买模式。就是说，所述用户体验模块406可以停止所述电视节目并切换操作模式。同时，正直播的电视节目被储存在所述数据存储器304中，可以通过所述电视102所提供的时移功能为所述用户以后再继续播放所述节目。或者，视频略览帧可以在探测到暂停命令后产生。

进入购物模式后，所述用户行为分析器408可根据正在观看的当前电视内容以及所述用户过去的偏好来确定所述用户当前感兴趣的主题，如时装，赛车和高尔夫等。在所述用户当前感兴趣的主题确定后，基于主题的对象分割和视频提取处理可以应用到这些刚过去的视频中，比如，刚过去的2分钟的视频，产生数个略览帧（如，12张图片）。

进一步地，所述略览帧在电视显示屏上展示给所述用户（S506）。例如，略览帧可以以一个旋转方式显示，供用户选择。用户也可以使用摆手来移动图片前进和后退，并可以选择一帧供进一步浏览。

所述用户对一个特定略览帧的选择可随后被所述用户体验处理器406获得（S508）。根据所述用户的选择信息，所述所选的帧被确定后，所选的帧里的对象就呈现给所述用户（S510）。例如，许多与所感兴趣的主题相关的对象就被点亮标记上，所述用户可以使用摆手来移动这些对象，并通过握拳然后张开的形式来选择一个最后对象。当然，也可采用其他的选择方式。

其后，用户所选择的感兴趣的对象就可以被确定（S512），而关于所述所选的帧里的对象的信息就被送到所述可视化搜索引擎410（S514）。更具体地说，所述用户体验处理器406可发送一个包含所选对象信息的搜索消息到一个后台处理程序，而后台处理程序利用所述可视化搜索引擎410检索所述对象。所述用户可以返回所述电视观看模式，继续播放所述暂停了的电视节目。

后台处理程序可以使用任何合适的搜索条件并使用可视化搜索引擎410来搜索所选的对象，找到市场上所述商品的品牌和最低价格。后台处理程序也可以使用推荐引擎412来自动推荐一些相关或相似的商品，如，具有相似外表和感觉的商品，类似的价格区间的商品，或购买所述商品的顾客同时可能购买的商品，等等。所述感觉包括视觉，触觉，味觉和心里感受等。若所选的对象是一张人脸，此人可以被识别并与其相关的图片、最新新闻和一些片段也可以被显示出来。

所述可视化搜索引擎410可以使用基于内容的图像检索技术（CBIR）来执行在线搜索，比如搜索零售目录。基于内容的图像检索技术可能指代任何技术，只要原则上根据其可视化内容来帮助组织数字图像文件。因此，任何事物，从一个图像相似函数到一个强大的图像标记引擎都可能被包括在基于内容的图像检索技术（CBIR）中。

进一步地，所述系统500可以确定是否有收到检索结果（S516）。当后台处理程序结束的时候，一个包含有搜索结果的消息被发送到前端（比如，用户体验处理器406）。若确定没有收到检索结果（S516，否），所述用户体验处理器406可继续等待所述消息或者过了一个预设的时间段后发布一个新的搜索。

若确定所述搜索结果被收到了（S516，是），一个关于收到的所述搜索结果的提示消息可发送给所述用户(S518）。例如，所述用户体验处理器406可以在显示屏上给用户显示一个通知标识。

用户可以选择等待到电视节目结束，或选择立刻打开所述通知标识开始购物，同时暂停所述电视节目。用户体验处理器406可以确定用户是否选择了继续购物（S520）。若确定用户没有选择继续购物（S520，否），就是说，用户继续看电视节目，那么用户体验处理器406可以继续等待一段预定的时间，等用户对所述通知标识的选择。

另一方面，若确定用户选择继续购物（S520,是），在线购物操作可以继续执行，直到用户完成购物（S522）。例如，使用类似的手势，用户可以在显示屏上浏览所推荐的对象，并决定购买一个（或多个）商品，通过使用一个特定的姿态（如，推送拳头，保持拳头，然后张开手），然后购买指令就被做出并送给后台程序。

所述购买的商品可以连着发票运给所述用户，而所述用户可以决定付款并保留所述商品或者不付款退货。还有其他处理购买过程的方法，如，当第一次开始所述购物服务的时候，绑定信用卡信息到电视上。

所述购物完成后，所述用户可再次返回所述电视节目。需要注意的是，尽管姿态控制机制使得在看所述电视和所述购物之间的切换变得容易，并使得所述购物过程很方便，可这仅仅是一个例子，而所披露的用户交互模式也可以使用其他种类的用户交互设备和机制来实现。进一步地，购物这个概念也可以延伸到其他服务中（例如，名人图片浏览）只要其可以与所披露的用户交互模型而整合进看电视的体验中。

通过使用所披露的系统和方法，许多有益的应用可以被实现。例如，一个回放-选择-前进的电视购物模型就可以被实现，来使得一个混合电视观看和电视购物的自然的用户体验成为可能。所披露的系统和方法可以拓展到电视购物以外的领域，因此使得电视成为一个用来娱乐人们日常生活的强力的设备。所披露的系统和方法也可以拓展到其他有显示器的设备上，比如手机，平板电脑，电脑，手表等等，使得一个独特的用户交互体验成为可能。其他对所披露的实施例的应用，益处，变换，修改，或等同，对本领域的技术人员来说，都是显而易见的。

Claims

1.一种智能的用户交互控制系统的方法，包括：

对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目在显示屏上显示给用户；

检测来自所述用户的暂停指令，以停止所述视频节目；

停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧；

获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息；

根据所述被选择的视频略览帧，在显示屏上将数个感兴趣的对象显示给所述用户；

系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象；

在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果；以及

将所述搜索结果提示给所述用户。

2.根据权利要求1所述的方法，其特征在于，进一步包括:

将与所述用户已选的感兴趣的对象相关的类似对象推荐给所述用户；以及

根据所述用户对所述搜索结果的响应执行购物操作。

3.根据权利要求2所述的方法，其特征在于：

所述类似对象包括具有相似外表和感觉的商品或购买所述用户已选的感兴趣的对象的顾客同时购买的商品。

4. 根据权利要求1所述的方法，其特征在于：

所述用户使用姿势来发出所述暂停指令，选择所述视频略览帧，以及选择所述在显示屏上显示给所述用户的数个感兴趣的对象。

5.根据权利要求1所述的方法，其特征在于，产生所述数个视频略览帧进一步包括：

根据预定的算法产生数个视频略览帧，所述数个视频略览帧与邻近帧具有所期望的局部相似性、所期望的内容差异覆盖性和所期望的视觉质量。

6.根据权利要求5所述的方法，其特征在于：

根据色彩相似性确定所述局部相似性；以及

定义{Hi}为略览帧的YCbCr颜色直方图，N是视频节目在一定时间内的总帧数，则第i个帧的所述局部相似性A(i)为：

,

此处Sim()是一个用来比较两个向量的相似函数，通过以下公式被定义为：

,

此处，x 和y 是被比较的向量。

7.根据权利要求1所述的方法，其特征在于，所述产生数个视频略览帧的步骤进一步包括：

分割一定时间的视频节目为多个镜头；以及

对每个镜头生成视频略览帧。

8.根据权利要求7所述的方法，其特征在于，所述分割一定时间的视频节目为多个镜头以及对每个镜头生成视频略览帧的步骤进一步包括：

使用所述视频节目的连续帧的颜色直方图来探测镜头边界，表明视频节目中的场景变化，使得所述一定时间的视频节目沿着所述镜头边界进行分割；以及

分配给具有较激烈运动行为的镜头一个更长的摘要长度，并分配给具有较缓慢运动行为的镜头一个短些的摘要长度。

9.根据权利要求1所述的方法，其特征在于，进一步包括：

通过对象分割处理获得所述数个感兴趣的对象。

10.根据权利要求9所述的方法，其特征在于，所述通过对象分割处理获得所述数个感兴趣的对象进一步包括：

应用一个基于主题的对象分割算法并使用某一电视内容来确定所述数个感兴趣的对象。

11. 根据权利要求10所述的方法，其特征在于，进一步包括：

在应用所述基于主题的对象分割算法时增加所述用户的偏好。

12. 根据权利要求1所述的方法，其特征在于，搜索所述用户已选的感兴趣的对象进一步包括：

发送所述用户已选的感兴趣的对象的信息到一个可视化搜索引擎来搜索所述在线数据库；以及

从所述可视化搜索引擎中接收所述搜索结果。

13.一种智能的用户交互控制系统，包括：

数据存储器，用于储存一段时间内传进来的视频节目的数据流，所述视频节目在显示屏上显示给用户；

视频提取模块，用于对所述一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户；

用户体验处理器，用于：

探测来自所述用户的暂停指令以停止所述视频节目；

根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象；

系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象；以及

可视化搜索引擎，用于在在线数据库中搜索所述用户已选的感兴趣的对象并返回对应于所述用户已选的感兴趣的对象的搜索结果，其中用户体验处理器进一步设置用于向所述用户提示所述搜索结果。

14. 根据权利要求13所述的控制系统，其特征在于，进一步包括：

推荐引擎，用于推荐与所述用户已选的感兴趣的对象类似的对象给所述用户，其中所述用户体验处理器进一步设置用于让所述用户根据所述搜索结果的相应执行购买操作。

15. 根据权利要求14所述的控制系统，其特征在于：

16.根据权利要求13所述的控制系统，其特征在于，进一步包括：

用深度相机增强的遥控器，用于允许所述用户使用姿势来发布所述暂停指令，选择所述视频略览帧，并选择所述在显示屏上显示给所述用户的数个感兴趣的对象。

17.根据权利要求13所述的控制系统，其特征在于，为了产生数个视频略

览帧，所述视频提取模块进一步设置为：

18.根据权利要求17所述的控制系统，其特征在于：

根据色彩相似性确定所述局部相似性；以及

定义 {Hi}为略览帧的YCbCr 颜色直方图，N是视频节目在一定时间内的总帧数，则第i 帧的所述局部相似性A(i)为：

,

其中,Sim()是一个用来比较两个向量的相似函数，可以通过以下公式被定义为：

,

其中，x 和y 是要被比较的向量。

19.根据权利要求13所述的控制系统，其特征在于，为了产生数个视频略

览帧，所述视频提取模块进一步设置为：

分割一定时间内的所述视频节目为多个镜头；以及

对每个镜头生成所述视频略览帧。

20. 根据权利要求19所述的控制系统，其特征在于，所述视频提取模块进

一步设置为：

使用所述视频节目的连续帧的颜色直方图来探测镜头边界，表明视频节目中的场景变化，使得所述一段时间内的视频节目沿着所述镜头边界进行分割；以及

21.根据权利要求13所述的控制系统，其特征在于，进一步包括：

对象分割模块，用于执行对象分割处理以获取所述数个感兴趣的对象。

22.根据权利要求21所述的控制系统，特征在于，所述对象分割模块进一

步设置为：

运用一个基于主题的对象分割算法和使用某一电视内容来确定所述数个感兴趣的对象。

23.根据权利要求22所述的控制系统，其特征在于，进一步包括：

用户行为分析器，用于在应用所述基于主题的对象分割算法的时候增加用户偏好。