[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101202906A - 在数字视频广播系统中对视频流进行处理的方法和设备 - Google Patents

在数字视频广播系统中对视频流进行处理的方法和设备 Download PDF

Info

Publication number
CN101202906A
CN101202906A CNA2006101656615A CN200610165661A CN101202906A CN 101202906 A CN101202906 A CN 101202906A CN A2006101656615 A CNA2006101656615 A CN A2006101656615A CN 200610165661 A CN200610165661 A CN 200610165661A CN 101202906 A CN101202906 A CN 101202906A
Authority
CN
China
Prior art keywords
content stream
resolution content
low resolution
image group
group structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101656615A
Other languages
English (en)
Inventor
杨雨东
林国辉
袁昱
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CNA2006101656615A priority Critical patent/CN101202906A/zh
Priority to US12/001,713 priority patent/US20080155586A1/en
Publication of CN101202906A publication Critical patent/CN101202906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出了一种新颖的在数字视频广播系统中改善用户体验的方法、尤其是在变换频道时改善用户体验的方法。本发明提供了一种机制，该机制检测高分辨率内容流的一个GOP结构的开始，并在接收到高分辨率内容流的GOP结构的开始之前显示低分辨率的内容，使得在频道变换后马上就会显示出低分辨率的内容，然后在高分辨率内容的新的GOP开始后自动切换到高分辨率内容，这样就不会使得用户在等待期间没有任何内容可看。

Description

在数字视频广播系统中对视频流进行处理的方法和设备
技术领域
本发明涉及一种在数字视频广播系统中对视频流进行处理的方法和系统，尤其涉及一种用于改善频道变换时的用户体验的方法和系统。
背景技术
数字视频广播系统在很大程度上要依赖于先进的数字视频编码算法来在传输频道的有限带宽内提供生动鲜明的内容。今天的大多数视频编码算法利用预测编码来消除先后传送的视频帧之间的数据冗余。通常，预测编码开始于一个未参考任何其他视频帧而编码的视频帧(我们将其称为内编码帧(Intra coded frame)或I-帧)，其后跟随的视频帧则是根据该I-帧以及在其之前编码的其他视频帧(我们将这些帧称为参考帧)预测出的，我们将其称为预测编码帧。上述提到的这组视频帧通常被称为一个GOP(图像组Group of Pictures)，如图1所示。显然，一个GOP只能从第一个I-帧开始解码。从理论上说，一部90分钟的电影可以压缩到一个GOP中，但这显然会造成不便，因为我们无法从电影中间的某些地方开始观看。因此，如果GOP结构非常短的话则会方便得多，但I-帧太多则会影响视频编码的效率，因为I-帧与预测编码帧相比其编码效率(压缩比)是非常低的。通常的折衷办法是采用长度从几秒到几十秒的GOP结构。需要注意的是，在视频编码标准、例如MPEG-2中，也建议有限长度的GOP，因为预测编码误差的积累可能会导致视觉上的缺陷(Visual artifact)。
在一个数字视频广播系统中，通常会同时广播多个视频节目流。终端用户通过选择对哪个节目流进行解码来观看视频内容。在变换频道时，首先切换到另一个视频流，然后重新开始解码过程。如图2所示，当用户将频道从节目流X变到Y时，如果切换点正好在节目流Y的一个新的GOP m+1刚刚开始不久，则节目流Y的解码必须等待新的GOP m+2到达后才能开始。原因很简单，因为在切换发生时，我们无法获得GOP m+1、特别是I-帧的完整数据来正确地开始解码。取决于不同的GOP结构的长度，用户可能需要等上几秒到几十秒的时间才能看上新的频道的内容。在这个等待期间，屏幕上或者显示上一个频道的一个静止不动的画面，或者是完全黑屏的。与模拟电视时代用户所熟悉的即时频道切换的体验相比，这种在切换数字电视的频道时必须等待很长时间的用户体验是非常差的。在引入新的视频编码标准、例如MPEG-4和H.264之后，这个情况会更糟，因为在新的视频编码标准中，为了达到非常高的编码效率，优选的GOP长度是在几十秒的范围内。
在已有技术中，存在一些针对上述问题的解决方案。
针对该问题的一种最直接的解决方案就是在高分辨率的内容流上使用短的GOP结构。其主要缺陷是编码效率很低，在带宽有限的情况下会导致视频质量较差，而如果要获得指定的视频质量，则需要占用很高的带宽。
另一种可能的解决方案是使用分层的视频编码技术，每个低分辨率编码层都采用短的GOP结构，而高分辨率的编码层(也称为增强层)则采用较长的GOP结构。在将低分辨率编码层解码之后，才能在其基础上对高分辨率的编码层进行解码，因为高分辨率的编码层不但需要来自同层的预测，还需要来自低分辨率解码层的预测。由于其复杂性，在主流数字视频广播方案中并未采用分层的编码技术。这个解决方案的成本会非常高。
也有一些人建议用不完整的GOP数据对节目流尽可能地进行解码，这样的话屏幕上会出现一些动态的画面。然而，由于数据是不完整的，所产生的画面质量是非常差的，如图6(b)所示，会出现严重的马赛克画面。在大多数终端用户的体验中，这种画面简直是让人无法接受的。
发明内容
针对上述问题，本发明提出了一种新颖的在数字视频广播系统中改善用户体验的方法、尤其是在变换频道时改善用户体验的方法。本发明提供了一种机制，该机制使得在频道变换后马上就会显示出低分辨率的内容，然后在高分辨率内容的新的GOP开始后自动切换到高分辨率内容，这样就不会使得用户在等待期间没有任何内容可看。
依据本发明的一个方面，提供了一种在数字视频广播系统中对内容流进行处理的方法。所述方法响应于接收到用户对于频道的选择，接收对应于所选择的频道的包含高分辨率内容流和低分辨率内容流的数据，其中，高分辨率内容流和低分辨率内容流分别由至少一个图像组结构组成。该方法检测高分辨率内容流的一个图像组结构的开始，并且响应于检测到高分辨率内容流的图像组结构的开始，对高分辨率内容流进行解码并显示，否则，对低分辨率内容流进行解码并显示。优选地，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小。并且，高分辨率内容流和低分辨率内容流在时间上是同步的。
依据本发明的另一个方面，提供了一种在数字视频广播系统中对内容流进行处理的方法。所述方法对内容流进行编码以形成高分辨率内容流，所述高分辨率内容流由至少一个图像组结构组成，以及，对内容流进行编码以形成低分辨率内容流，所述低分辨率内容流由多个图像组结构组成，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小，并且，多路复用所述高分辨率内容流以及低分辨率内容流以便通过发送信道发送。
依据本发明的另一个方面，提供了一种在数字视频广播系统中对内容流进行处理的设备，所述设备包括：响应于接收到用户对于频道的选择、接收对应于所选择的频道的包含高分辨率内容流和低分辨率内容流的数据的装置(其中，高分辨率内容流和低分辨率内容流分别由至少一个图像组结构组成)，检测高分辨率内容流的一个图像组结构的开始的装置，以及，解码及显示装置，响应于检测到高分辨率内容流的图像组结构的开始，对高分辨率内容流进行解码并显示，否则，对低分辨率内容流进行解码并显示。优选地，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小。并且，高分辨率内容流和低分辨率内容流在时间上是同步的。
依据本发明的另一个方面，提供了一种在数字视频广播系统中对内容流进行处理的设备，所述设备包括：对内容流进行编码以形成高分辨率内容流的装置，所述高分辨率内容流由至少一个图像组结构组成；对内容流进行编码以形成低分辨率内容流的装置，所述低分辨率内容流由多个图像组结构组成，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小；以及，多路复用所述高分辨率内容流以及低分辨率内容流以便通过发送信道发送的装置。
依据本发明的另一个方面，提供了一种计算机程序产品，所述计算机程序产品包括体现在一计算机可读存储媒体内的用于执行根据本发明的方法的计算机可读代码。
通过本发明，除了上述的全屏使用的场景之外，低分辨率视频流对于下面的各个场景也是非常有用的：
A.用在具有较小的频道预览窗口的电子节目向导模式中。这个解决方案正好适合于这种场景，允许顺畅地快速预览频道内容。
B.用在内容通过诸如CA(条件接收)和DRM(数字权利管理)系统来管理的付费内容服务场景中。可以将低分辨率内容流不加密地发送给终端用户，使得终端用户在决定付费购买高分辨率的内容之前，有机会以一种降级的质量来预览该内容。
与现有技术中的那些解决方案相比，本发明在实现的成本/复杂性与提高用户体验度之间作了一个更好的折衷，同时还增大了带宽利用率。本发明所提出的方法基于目前所采用的编码技术，因此只需要对软件作很小的改变就能够在目前的数字视频广播架构中实现。
附图说明
包含在说明书中并构成说明书的一部分的附图用于图解说明本发明的实施例，并和上面给出的概述及下面给出的实施例的详细说明一起用于解释本发明的原理，其中：
图1是显示现有技术中的视频GOP结构的示意图；
图2是显示现有技术中的在频道变换时根据视频GOP结构显示画面的示意图；
图3显示现有技术中的进行频道变换的方法的流程图；
图4是显示依据本发明的在频道变换时根据视频GOP结构显示画面的示意图；
图5是显示依据本发明的方法的流程图；
图6是显示依据本发明的客户端系统的方框图；
图7是显示采用依据本发明的方法所显示的画面的示意图；以及
图8是显示依据本发明的在头端设备中对内容流进行处理的方法的流程图。
具体实施方式
以下参照附图对本发明的用于在数字视频广播系统中对内容流进行处理的方法和系统的实施例进行详细描述，但应指出的是，下文中描述仅用于示例和说明的目的，而不构成对本发明的限制。在下文中描述中了大量技术细节以便更清楚地解释本发明，并使本领域中的技术人员能够据此实现本发明，但这并不意味着本发明的实现必须依赖于这些细节；相反，可实现本发明而没有所述的一些特征，或具有附加的或不同的特征。
为了更好地说明本发明的方法，这里首先结合附图3介绍一下现有技术中的在数字视频广播系统中的一个普通的频道变换操作方法的流程。
该频道变换操作流程在步骤S310接收到用户对于新的频道的选择之后，流程进行到步骤S320，停止解码器对正在播放的当前内容流X的解码，并清空解码器的缓冲器，这时，屏幕上通常会显示黑屏或当前内容流X的一个静止不动的定格的视频帧。
流程然后进行到步骤S330，通过改变某些系统参数，将要重放的内容流调整为新的内容流Y。鉴于该步骤是现有技术中已知的技术，为了简明起见，这里不对其进行详细描述。
然后，流程进行到步骤S340，获得关于内容流Y的图像数据。在步骤S350，判断内容流Y的新的GOP是否到达。如果是，则在步骤S360解码器开始对内容流Y的图像数据进行解码，并在屏幕上显示解码后的新的频道的内容流Y，如图6(a)所示。如果在步骤S350判断内容流Y的新的GOP还未到达，则在步骤S370舍弃该图像数据，并回到步骤S340，继续获得图像数据。
从上面所描述的操作流程可以看出，为了避免显示出如图6(b)所示的有缺陷的画面(artifact)，解码器必须等到内容流Y的新的GOP到达之后才开始真正的解码过程。由于GOP结构很长，这个等待GOP的过程导致或者会产生一个长时间的黑屏，或者会长时间地显示上一个频道的一个静止不动的定格画面。
下面将结合图4的示意图描述依据本发明的在频道变换时改善用户体验的方法。与普通的内容流相比，本发明增加了一个特别编码的低分辨率比较流，通过这个特别编码的低分辨率比较流，用户在变换频道时的体验将显著改善。
如图4所示，该数字视频广播系统正在播放频道X的内容流。当播放进行到内容流X的第n+1个GOP时，接收到用户将频道从X变换到Y的指示。这时，对于频道Y来说，其第m+1个GOP的开始已经过去，因此无法对第m+1个GOP的内容进行解码，只能等到第m+2个GOP的开始到达之后才能对内容流Y进行正确的解码。在此等待期间，系统将尝试播放低分辨率的内容流Y*。其中，低分辨率的内容流Y*的GOP结构的大小要远小于高分辨率的内容流Y的GOP结构，因此，等待内容流Y*的GOP的开始所需要的时间是非常短的。然后，解码器对低分辨率内容流Y*解码并显示，如图6(c)所示。该显示可以被放大到高分辨率内容流Y的大小，如图6(d)所示。这样，用户在发出变换频道的指示后，几乎马上就能够得到一个低分辨率的画面显示在屏幕上。
为了使得低分辨率内容流Y*能够在变换频道时被立即重放，应该用非常短的GOP结构来对其编码。虽然短的GOP结构具有编码效率低的缺陷，但显著降低的视频分辨率会在很大程度上弥补编码效率低的问题。另外，由于这个低分辨率的内容流仅仅用于预览，其对画面质量的要求较低，因此可以进一步增大压缩率。因此，所创建的低分辨率视频流Y*，和高分辨率视频流Y相比其占用的带宽非常小。在传输信道中，将这个低分辨率视频流Y*与高分辨率视频流Y合并在一起并不会显著增大对信道带宽的需求。
在上述流程中，一旦高分辨率内容流Y的GOP的开始到达，则由解码器开始对内容流Y进行解码并显示。优选地，为了将内容流Y*自然过渡到Y，可以使低分辨率视频流Y*在时间上与原始的高分辨率视频流Y同步，因此从Y*到Y的转换是非常自然的。
在图5中显示了依据本发明的用于实现频道变换的方法的流程图。其中，步骤S510至步骤S540分别对应于图3中所示的步骤S310至步骤S340，因此这里不再对其进行重复描述。下面将着重描述本发明不同于现有技术中的部分。
在步骤S550，判断内容流Y的新的GOP是否到达。如果是，则在步骤S560解码器开始对内容流Y的图像数据进行解码，并在屏幕上显示解码后的新的频道的高分辨率内容流Y，如图6(a)所示。如果在步骤S550判断内容流Y的新的GOP还未到达，则在步骤S580判断内容流Y*的新的GOP是否到达。如果是，则在步骤S582由解码器开始对内容流Y*的图像数据进行解码，并在屏幕上显示解码后的新的频道的低分辨率内容流Y*，如图6(d)所示。如果在步骤S580判断内容流Y*的新的GOP还未到达，则在步骤S570舍弃该图像数据，并回到步骤S540，继续获得图像数据。
在上面结合图5的流程图描述了本发明的用于在变换频道时改善用户体验的方法。事实上，上述方法不仅可应用于用户在观看过程中进行频道变换的情况，同样也可应用于用户刚刚打开电视的情况。用户刚刚打开电视的过程，实际上就是一个对频道进行选择的过程。在收到用户对于频道的选择指令之后，即可以按照本发明的方法，首先在屏幕上显示低分辨率的画面，直到高分辨率的画面能够被解码为止。这同样在很大程度上改善了用户体验。在这种情况下，图5所示的流程图中的步骤S520则是可选的。
为了进一步详细描述本发明的方法，在图7中显示了依据本发明的用于实现上述平滑转换的优选实施例。需要注意的是，该优选实施例只是用于例示目的，并不能用来限制本发明所要保护的范围。
在图7所示的流程图中，通过一个标志FLAG的设置来实现从Y*到Y的过渡。
该频道变换操作流程在步骤S710接收到用户对于频道的选择之后，流程进行到步骤S720，与普通的频道变换操作流程一样，停止解码器对当前正在播放的内容流X的解码，并在步骤S722清空解码器的缓冲器，这时，屏幕上通常会显示黑屏或上一个频道的一个定格的视频帧。并且，在步骤S724将一个标志FLAG清零。
流程然后进行到步骤S730，通过改变某些系统参数，将要播放的内容流调整为新的内容流Y。
然后，流程进行到步骤S740，获得新的内容流Y的图像数据，其中，该图像数据不仅包括高分辨率内容流Y，还包括该频道的低分辨率内容流Y*，这两种不同分辨率的内容是以时分复用的方式合并在一起的。需要注意的是，本发明并不限于某种特定的合并传输方式，这两种不同分辨率的内容可以以本领域技术人员能够知晓的任何其他方式合并在一起传输。
在步骤S750，判断所获得的该图像数据是高分辨率内容流Y还是低分辨率内容流Y*(例如，Y和Y*可以被分别指定不同的PID以区别，也可以用节目流中允许的任何其他标识以区别)。如果是内容流Y，则流程进行到步骤S752，判断标志FLAG是否已被设置。如果是内容流Y*，则流程进行到步骤S754，也判断标志FLAG是否已被设置为1。当在步骤S752判断标志FLAG已被设置为1时，流程进行到步骤S790，将数据发送到解码器缓冲器等待解码。当在步骤S752判断标志FLAG未被设置为1时，流程进行到步骤S760，判断内容流Y的GOP的开始是否到达。如果未到达，则在步骤S762舍弃该图像数据，并返回到步骤S740，继续获得图像数据。如果内容流Y的GOP的开始已经到达，则在步骤S764将标志FLAG设置为1，并进行到步骤S766，判断解码器是否已经开始解码。如果是，则进行到步骤S790，将数据发送到解码器缓冲器等待解码。如果在步骤S766判断解码器还未开始解码，则在步骤S768启动解码器，并在步骤S790，将数据发送到解码器缓冲器等待解码。
另一方面，当在步骤S754判断标志FLAG已被设置为1时，表明对内容流Y的解码已经开始，则在步骤S756舍弃关于低分辨率内容流Y*的图像数据，并返回到步骤S740，继续获得图像数据。如果在步骤S754判断标志FLAG还未被设置为1，则表明对高分辨率内容流Y的解码还未开始，这时，则在步骤S770判断解码器是否已经开始解码。如果是，则流程进行到步骤S790，将数据发送到解码器缓冲器等待解码。如果在步骤S770判断解码器还未开始解码，则流程进行到步骤S772，判断内容流Y*的GOP的开始是否到达。如果是，则进行到步骤S780，启动解码器，并在步骤S790，将数据发送到解码器缓冲器等待解码。如果在步骤S772判断内容流Y*的GOP的开始还未到达，则进行到步骤S756，舍弃该图像数据。
最后，在步骤S790之后，该流程回到步骤S740继续进行。
从上面的流程可以看出，本发明的该实施例是通过一个标志FLAG的设置来指示当前是应该对高分辨率内容流解码还是应该对低分辨率内容流解码。也就是说，只有在标志FLAG被清零的情况下，才显示图像数据中包含的低分辨率内容流的内容。只要接收到高分辨率内容流的新的GOP的开始，就将标志FLAG设置为1，从而只显示图像数据中包含的高分辨率内容流的内容，而舍弃低分辨率内容流。
应该注意的是，虽然上面结合附图7按照流程逐步描述了实现本发明的方法的各个步骤，但本领域技术人员能够明了，上述步骤的执行并不限于所描述的顺序，很多步骤之间并没有确定的先后关系。例如，步骤S750与S752和S754之间、以及步骤S766与步骤S768之间、步骤S770与步骤S772之间的先后关系都是可以互换的。
另外，上述的采用标志FLAG的设置来实现本发明的频道变换的方法只是一种优选的实施例，本发明并不限于上述方法。
另外，本发明还可以用在电子节目向导系统(Electronic ProgramGuide，简称EPG)中，在较小的频道预览窗口中显示低分辨率的画面，从而允许快捷顺畅地预览频道内容。
另外，本发明还可以用在内容通过诸如CA和DRM的系统来管理的付费内容服务场景中。在这种情况下，高分辨率的内容流被加密，可以将低分辨率内容流不加密地发送给终端用户，使得终端用户在决定付费购买高分辨率的内容之前，有机会以一种降级的质量来免费预览该内容。
与现有技术中的那些解决方案相比，本发明在实现的成本/复杂性与提高用户体验度之间作了一个更好的折衷，同时还增大了带宽利用率。本发明所提出的方法基于目前所采用的编码技术，因此只需要对软件作很小的改变就能够在目前的数字视频广播架构中实现。
另外，建议对于内容流Y*使用与Y相同的视频编码算法。基于这个假设，可以将本发明容易地在目前的数字视频广播架构中实现，而只需对软件进行一些很小的改变。客户端解码器的控制软件需要被更新，以支持在高分辨率视频流GOP到达时从低分辨率视频流到高分辨率视频流的切换。在头端内容产生设备中的软件也应该被更新，以便在一个可兼容的位流语法框架下，产生低分辨率视频流，并将其与高分辨率视频流通过多路复用器合并在一起同时传输。
图8显示了在头端的内容产生设备中对内容流进行编码的流程图。在步骤S810，对一个频道的内容流进行编码以形成高分辨率的内容流，其中，该高分辨率的内容流具有一个较大的GOP结构。在步骤S820，对该频道的内容流进行编码以形成低分辨率的内容流，其中，该低分辨率的内容流的GOP结构的大小远小于高分辨率的内容流的GOP结构。在步骤S840，对上述步骤中形成的高分辨率的内容流和低分辨率的内容流进行多路复用，以形成一个多路复用的传输流。
优选地，在步骤S810之后，还可以包括步骤S830，对形成的高分辨率内容流进行加密。
例如，在数字视频广播系统中，可以将低分辨率内容流Y*与高分辨率内容流Y的数据经过多路复用操作交织在同一个传输流(TS)中进行传输，通过对其采用不同的PID(Packet Identification)来进行区分。
又例如，在IPTV系统中，将低分辨率内容流Y*与高分辨率内容流Y的数据经过多路复用操作交织在同一个传输流(RTP)中进行传输，采用扩展/定制字段来区分Y和Y*。
以上是对本发明的用于频道变换的方法的详细描述。如熟悉该技术领域的人员可以看到的那样，本发明可以体现为方法、系统和/或计算机程序产品。因此，本发明可以呈现为完全硬件实施形式、完全软件实施形式或者软件和硬件组合实施形式。
依据本发明，还提供了一种在数字视频广播系统中对内容流进行处理的设备。该设备包括：响应于接收到用户对于频道的选择、接收对应于所选择的频道的包含高分辨率内容流和低分辨率内容流的数据的装置，其中，高分辨率内容流和低分辨率内容流分别由至少一个图像组结构组成；检测高分辨率内容流的一个图像组结构的开始的装置；解码及显示装置，响应于检测到高分辨率内容流的图像组结构的开始，对高分辨率内容流进行解码并显示，否则，对低分辨率内容流进行解码并显示。
优选地，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小。该解码及显示装置响应于接收到用户对于频道的选择，停止对于上一个频道的内容流的解码。优选地，高分辨率内容流和低分辨率内容流在时间上是同步的。并且，所述解码及显示装置包括将低分辨率内容流的显示放大到与高分辨率内容流的显示相同的尺寸的装置。
本发明还可以用在电子节目向导系统(Electronic Program Guide，简称EPG)中，在较小的频道预览窗口中显示低分辨率的画面，从而允许快捷顺畅地预览频道内容。在这种情况下，依据本发明的设备进一步包括在屏幕上同时显示多个低分辨率画面的装置。
另外，本发明还可以用在内容通过诸如CA和DRM的系统来管理的付费内容服务场景中。在这种情况下，高分辨率的内容流被加密，依据本发明的设备进一步包括对所述高分辨率内容流进行解密的装置。
本发明还提供一种在数字视频广播系统中对内容流进行处理的设备，包括：对内容流进行编码以形成高分辨率内容流的装置，所述高分辨率内容流由至少一个图像组结构组成；对内容流进行编码以形成低分辨率内容流的装置，所述低分辨率内容流由多个图像组结构组成，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小；多路复用所述高分辨率内容流以及低分辨率内容流以便通过发送信道发送的装置。
在需要对高分辨率内容加密的情况下，该设备还包括对高分辨率内容流进行加密的装置。
此外，本发明的目的也可以通过下述方式实现：将存储有用于实现上述方法的可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时，只要该系统或者设备具有执行程序的功能，则实施的方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，客户计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式做出各种修改和变更而不背离本发明的实质和范围。因此，本发明的范围仅由所附权利要求及其等效含义来限定。

Claims (19)

1.一种在数字视频广播系统中对内容流进行处理的方法，包括如下步骤：
响应于接收到用户对于频道的选择，接收对应于所选择的频道的包含高分辨率内容流和低分辨率内容流的数据，其中，高分辨率内容流和低分辨率内容流分别由至少一个图像组结构组成，
检测高分辨率内容流的一个图像组结构的开始，
响应于检测到高分辨率内容流的图像组结构的开始，对高分辨率内容流进行解码并显示，否则，对低分辨率内容流进行解码并显示。
2.如权利要求1所述的方法，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小。
3.如权利要求1所述的方法，其中，进一步包括如下步骤：
响应于接收到用户对于频道的选择，停止对于上一个频道的内容流的解码。
4.如权利要求1-3中任何一个所述的方法，其中，高分辨率内容流和低分辨率内容流在时间上是同步的。
5.如权利要求1-3中任何一个所述的方法，其中，对低分辨率内容流进行解码并显示的步骤包括：将低分辨率内容流的显示放大到与高分辨率内容流的显示相同的尺寸。
6.如权利要求1或2所述的方法，其中，所述高分辨率内容流是加密的，所述方法在检测高分辨率内容流的一个图像组结构的开始的步骤之前进一步包括对所述高分辨率内容流进行解密的步骤。
7.如权利要求1或2所述的方法，其中，所述方法进一步包括在屏幕上同时显示多个低分辨率画面的步骤。
8.一种在数字视频广播系统中对内容流进行处理的方法，包括如下步骤：
对内容流进行编码以形成高分辨率内容流，所述高分辨率内容流由至少一个图像组结构组成，
对内容流进行编码以形成低分辨率内容流，所述低分辨率内容流由多个图像组结构组成，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小，
多路复用所述高分辨率内容流以及低分辨率内容流以便通过发送信道发送。
9.如权利要求8所述的方法，还包括对高分辨率内容流进行加密的步骤。
10.一种在数字视频广播系统中对内容流进行处理的设备，包括：
响应于接收到用户对于频道的选择、接收对应于所选择的频道的包含高分辨率内容流和低分辨率内容流的数据的装置，其中，高分辨率内容流和低分辨率内容流分别由至少一个图像组结构组成，
检测高分辨率内容流的一个图像组结构的开始的装置，
解码及显示装置，响应于检测到高分辨率内容流的图像组结构的开始，对高分辨率内容流进行解码并显示，否则，对低分辨率内容流进行解码并显示。
11.如权利要求10所述的设备，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小。
12.如权利要求10所述的设备，其中，所述解码及显示装置响应于接收到用户对于频道的选择，停止对于上一个频道的内容流的解码。
13.如权利要求10-12中任何一个所述的设备，其中，高分辨率内容流和低分辨率内容流在时间上是同步的。
14.如权利要求10-12中任何一个所述的设备，其中，所述解码及显示装置包括：将低分辨率内容流的显示放大到与高分辨率内容流的显示相同的尺寸的装置。
15.如权利要求10或11所述的设备，其中，所述高分辨率内容流是加密的，所述设备进一步包括对所述高分辨率内容流进行解密的装置。
16.如权利要求10或11所述的设备，其中，进一步包括在屏幕上同时显示多个低分辨率画面的装置。
17.一种在数字视频广播系统中对内容流进行处理的设备，包括：
对内容流进行编码以形成高分辨率内容流的装置，所述高分辨率内容流由至少一个图像组结构组成，
对内容流进行编码以形成低分辨率内容流的装置，所述低分辨率内容流由多个图像组结构组成，其中，低分辨率内容流的图像组结构的大小小于高分辨率内容流的图像组结构的大小，
多路复用所述高分辨率内容流以及低分辨率内容流以便通过发送信道发送的装置。
18.如权利要求17所述的设备，还包括对高分辨率内容流进行加密的装置。
19.一种计算机程序产品，所述计算机程序产品包括体现在一计算机可读存储媒体内的用于执行根据上述权利要求1-10的方法中任何一个方法的计算机可读代码。
CNA2006101656615A 2006-12-11 2006-12-11 在数字视频广播系统中对视频流进行处理的方法和设备 Pending CN101202906A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNA2006101656615A CN101202906A (zh) 2006-12-11 2006-12-11 在数字视频广播系统中对视频流进行处理的方法和设备
US12/001,713 US20080155586A1 (en) 2006-12-11 2007-12-11 Method and device for processing video stream in digital video broadcasting systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2006101656615A CN101202906A (zh) 2006-12-11 2006-12-11 在数字视频广播系统中对视频流进行处理的方法和设备

Publications (1)

Publication Number Publication Date
CN101202906A true CN101202906A (zh) 2008-06-18

Family

ID=39517836

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101656615A Pending CN101202906A (zh) 2006-12-11 2006-12-11 在数字视频广播系统中对视频流进行处理的方法和设备

Country Status (2)

Country Link
US (1) US20080155586A1 (zh)
CN (1) CN101202906A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113323A (zh) * 2008-07-28 2011-06-29 汤姆森特许公司 使用辅助频道视频流的快速频道改变的方法和装置
US8392942B2 (en) 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
CN103004202A (zh) * 2010-07-16 2013-03-27 夏普株式会社 使用低分辨率数据的低分辨率功率降低的视频解码器
CN103425504A (zh) * 2012-05-18 2013-12-04 阿里巴巴集团控股有限公司 视频文件的加载方法和装置
CN115499682A (zh) * 2021-06-17 2022-12-20 海信集团控股股份有限公司 一种基于sfu架构的视频通讯方法及装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10862994B1 (en) 2006-11-15 2020-12-08 Conviva Inc. Facilitating client decisions
US9549043B1 (en) 2004-07-20 2017-01-17 Conviva Inc. Allocating resources in a content delivery environment
US8874964B1 (en) 2006-11-15 2014-10-28 Conviva Inc. Detecting problems in content distribution
US8566436B1 (en) 2006-11-15 2013-10-22 Conviva Inc. Data client
US9124601B2 (en) 2006-11-15 2015-09-01 Conviva Inc. Data client
US8874725B1 (en) 2006-11-15 2014-10-28 Conviva Inc. Monitoring the performance of a content player
US8751605B1 (en) 2006-11-15 2014-06-10 Conviva Inc. Accounting for network traffic
US9264780B1 (en) 2006-11-15 2016-02-16 Conviva Inc. Managing synchronized data requests in a content delivery network
JP4504443B2 (ja) * 2008-08-12 2010-07-14 株式会社東芝 再生装置および再生装置の制御方法
US8401087B2 (en) * 2009-03-16 2013-03-19 At&T Intellectual Property I, L.P. Video quality and audio quality adjustment
US8402494B1 (en) 2009-03-23 2013-03-19 Conviva Inc. Switching content
JP2012525076A (ja) 2009-04-24 2012-10-18 デルタ・ヴィディオ・インコーポレイテッド デジタルビデオ配信システムにおける即時マルチチャネルビデオコンテンツブラウジングのためのシステム、方法、およびコンピュータ可読媒体
US9203913B1 (en) 2009-07-20 2015-12-01 Conviva Inc. Monitoring the performance of a content player
JP5331773B2 (ja) 2010-10-14 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 動画再生装置、情報処理装置および動画再生方法
EP2485472A1 (en) * 2011-02-04 2012-08-08 Thomson Licensing Fast channel change companion stream solution with bandwidth optimization
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
US8751800B1 (en) 2011-12-12 2014-06-10 Google Inc. DRM provider interoperability
US10148716B1 (en) 2012-04-09 2018-12-04 Conviva Inc. Dynamic generation of video manifest files
US10182096B1 (en) 2012-09-05 2019-01-15 Conviva Inc. Virtual resource locator
US9246965B1 (en) 2012-09-05 2016-01-26 Conviva Inc. Source assignment based on network partitioning
US10305955B1 (en) 2014-12-08 2019-05-28 Conviva Inc. Streaming decision in the cloud
US10178043B1 (en) 2014-12-08 2019-01-08 Conviva Inc. Dynamic bitrate range selection in the cloud for optimized video streaming
US10205975B2 (en) * 2016-01-20 2019-02-12 Avago Technologies International Sales Pte. Limited Trick mode operation with multiple video streams
EP3528505A1 (en) * 2018-02-14 2019-08-21 Vestel Elektronik Sanayi ve Ticaret A.S. Apparatus and method for operating a media device to select from plural instances of content for play back
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
US11838563B2 (en) * 2021-04-15 2023-12-05 Synamedia Limited Switching between transmitting a preauthored video frame and a composited video frame

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006685B2 (en) * 1998-06-29 2006-02-28 Lumeniq, Inc. Method for conducting analysis of two-dimensional images
US8290034B2 (en) * 1998-12-21 2012-10-16 Zin Stai Pte. In, Llc Video transmission and display including bit-wise sub-sampling video compression
US20020038299A1 (en) * 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information
US6834297B1 (en) * 2000-10-06 2004-12-21 Redline Networks, Inc. Web resource transfer acceleration system and method
US20020102966A1 (en) * 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
US20020184368A1 (en) * 2001-04-06 2002-12-05 Yunsen Wang Network system, method and protocols for hierarchical service and content distribution via directory enabled network
US6963874B2 (en) * 2002-01-09 2005-11-08 Digital River, Inc. Web-site performance analysis system and method utilizing web-site traversal counters and histograms
TW544601B (en) * 2001-11-20 2003-08-01 Ind Tech Res Inst Method and structure for forming web server cluster by conversion and dispatching of web page documents
US20030196211A1 (en) * 2002-04-10 2003-10-16 Peter Chan Systems, methods and apparatuses for simulated rapid tuning of digital video channels
US20040205514A1 (en) * 2002-06-28 2004-10-14 Microsoft Corporation Hyperlink preview utility and method
US20040095587A1 (en) * 2002-11-14 2004-05-20 Brown Mark L. Apparatus and method for reducing resources used by an image communication and printing device
US20040120589A1 (en) * 2002-12-18 2004-06-24 Lopresti Daniel Philip Method and apparatus for providing resource-optimized delivery of web images to resource-constrained devices
KR101132351B1 (ko) * 2004-05-03 2012-04-05 톰슨 리서치 펀딩 코포레이션 Ｄｓｌ 시스템에 대해 고속으로 채널 변경할 수 있게 하는 방법 및 장치
US7502806B2 (en) * 2004-08-23 2009-03-10 Quiro Holdings, Inc. Method and system for providing image rich web pages from a computer system over a network
JP5053097B2 (ja) * 2004-11-22 2012-10-17 トムソン リサーチ ファンディング コーポレイション Ｄｓｌシステムにおけるチャンネル切り替えの方法及び装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113323A (zh) * 2008-07-28 2011-06-29 汤姆森特许公司 使用辅助频道视频流的快速频道改变的方法和装置
US8392942B2 (en) 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
CN102172016B (zh) * 2008-10-02 2013-08-21 索尼公司 多编码内容替代
US9392341B2 (en) 2008-10-02 2016-07-12 Sony Corporation Multi-coded content substitution
CN103004202A (zh) * 2010-07-16 2013-03-27 夏普株式会社 使用低分辨率数据的低分辨率功率降低的视频解码器
CN103425504A (zh) * 2012-05-18 2013-12-04 阿里巴巴集团控股有限公司 视频文件的加载方法和装置
CN115499682A (zh) * 2021-06-17 2022-12-20 海信集团控股股份有限公司 一种基于sfu架构的视频通讯方法及装置

Also Published As

Publication number Publication date
US20080155586A1 (en) 2008-06-26

Similar Documents

Publication Publication Date Title
CN101202906A (zh) 在数字视频广播系统中对视频流进行处理的方法和设备
CN101335883B (zh) 在数字视频广播系统中对视频流进行处理的方法和设备
KR101691050B1 (ko) 스케일러블 비디오 코딩을 사용한 디지털 선형 ｔｖ 프로그래밍의 송신 방법
US8245264B2 (en) Methods and systems to reduce channel selection transition delay in a digital network
CN102845068B (zh) 用于3d电视节目素材的分配的方法和装备
US20070174880A1 (en) Method, apparatus, and system of fast channel hopping between encoded video streams
US8613013B2 (en) Ad splicing using re-quantization variants
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
CN111935557B (zh) 视频处理方法、装置及系统
CN101300840A (zh) 多视角视频传递
EP1775953A1 (en) Switching between digital video streams using buffering of second digital video stream
EP2664157B1 (en) Fast channel switching
US9060184B2 (en) Systems and methods for adaptive streaming with augmented video stream transitions using a media server
US6963611B1 (en) Process and device for switching digital television programs
US20140321556A1 (en) Reducing amount of data in video encoding
EP2228985A1 (en) Combined television data stream, method for displaying television channel and method for generating combined television data stream
US9049492B2 (en) Portable terminal, video data repair method and program
US20060092325A1 (en) Television display unit
KR101075969B1 (ko) 비디오 시퀀스 내에서 에러 전달을 예방하기 위한 방법 및 장치
WO2013163221A1 (en) Systems and methods for adaptive streaming with augmented video stream transitions
JP3597037B2 (ja) デジタル放送受信装置
US20070019925A1 (en) Systems, methods, and apparatus for trick mode
US20220217360A1 (en) Method and apparatus for thumbnail generation for a video device
US20130287092A1 (en) Systems and Methods for Adaptive Streaming with Augmented Video Stream Transitions
WO2022149156A1 (en) Method and apparatus for thumbnail generation for a video device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080618