[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111510725B - 网络装置和差错处理 - Google Patents

网络装置和差错处理 Download PDF

Info

Publication number
CN111510725B
CN111510725B CN202010127563.2A CN202010127563A CN111510725B CN 111510725 B CN111510725 B CN 111510725B CN 202010127563 A CN202010127563 A CN 202010127563A CN 111510725 B CN111510725 B CN 111510725B
Authority
CN
China
Prior art keywords
slice
data
stripe
sequence
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010127563.2A
Other languages
English (en)
Other versions
CN111510725A (zh
Inventor
卡斯滕·聚林
托马斯·席尔
德特勒夫·马佩
罗伯特·斯库平
亚戈·桑切斯·德·拉·富恩特
格哈德·特克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Publication of CN111510725A publication Critical patent/CN111510725A/zh
Application granted granted Critical
Publication of CN111510725B publication Critical patent/CN111510725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及网络装置和差错处理。通过提供并分析数据包序列的数据包中的差错恢复并且为数据包序列的一个或多个丢失的数据包的每个顺串,识别在一个或多个丢失的数据包的相应顺串之后的数据包序列中的第一数据包,来减少由于数据丢失导致的消极影响的(被正确接收到的)数据包的数量,该第一数据包携带视频数据流的任何片的起点并且同时携带条带,条带的条带头部包含在没有丢失的数据包序列的任何数据包中。具体地,与减少由于数据包丢失而造成的消极影响相比,用于传送差错恢复数据的补充信息的开销相对较低。

Description

网络装置和差错处理
本申请是国际申请号为PCT/EP2014/065184、申请日为2014年07月15日、进入中国国家阶段日期为2016年3月14日、发明名称为“网络装置和差错处理”的PCT申请的中国国家阶段申请的分案申请,该中国国家阶段申请的申请号为201480050655.8。
技术领域
本申请涉及网络装置以及有关传输视频数据流所经由的数据包序列的传输流的差错处理。
背景技术
根据应用,基于传输数据包的视频数据流传送遭受数据包丢失。例如,这种数据包丢失可由超过可选使用的传输流的前向纠错的错误纠正能力的传送差错、缺乏发送接收信号的确认的任何上行线路连接、或者两者的结合而产生。不管接收上行链路的确认的可用性,希望由于丢失数据包的未接收所导致的视频数据流的不可解码的受影响部分尽可能得小。然而,不利地,传输流的数据包可携带对由传输流的随后数据包所携带的内容进行解码所必需的信息。例如,在HEVC标准中,视频数据流由独立条段和依赖性条段组成,例如,只要涉及片头数据,依赖性条段依赖于独立条段,片头数据被包含在紧邻前述独立条段中并且后继用于依赖性条段的解码。
因此,将有利的是具有所探讨的概念,其能够在数据包丢失的情况下使视频数据流的受影响的不可解码部分的量减少。
发明内容
因此,本申请的目标是提供用于处理在数据包序列的传输流中发生的差错的这种概念,视频数据流经由传输流传输,该概念使影响的数量(即尽管在丢失数据包后接收到的不可解码的数据包)尽可能得低。
该目的通过所附的独立权利要求的主题来实现。
本申请的发现在于,通过提供并分析数据包序列中的数据包的差错恢复,并且为数据包序列的一个或多个丢失数据包的每个顺串,识别一个或多个丢失的数据包的相应顺串之后的数据包序列中的第一数据包,可减少由于数据丢失导致的消极影响的(尽管被正确接收到的)数据包的数量,该第一数据包携带视频数据流的任何流片的起点并且同时携带这样的条段,该条段的片头部包含在没有丢失的数据包序列的任何数据包中。具体地,与减少由于数据包丢失而造成的消极影响数据包相比,用于传送差错恢复数据的辅助信息开销相对较低。
附图说明
有利的实现是从属权利要求的主题,并且以下关于附图描述了本申请的优选实施方式,附图中
图1示出了编码器的示意图,由此编码视频并且由此生成视频数据流,其中,本申请的实施方式可由图1的编码器支持;
图2A和图2B示出了解码器的示意图,由此基于视频数据流以及视频数据流及其经由数据包序列的传输重建视频,其中,本申请的实施方式可应用于图2A和图2B的解码器;
图3示意性地示出了根据第一选择将图片14分隔为图片和条段;
图4使用另一条段选择示例性地示出了图片14的示意图;
图5示出了两个数据包流在损耗信道上的示图,以便示出本申请的实施方式解决的问题;
图6示出了根据实施方式的网络装置的示意性框图,其中,网络装置可以是图2A和图2B的解码器的一部分,或者可以连接在该解码器前面;以及
图7示意性地示出了并使用流程图结构,更详细地,图6的差错处理器的可能的运行模式。
具体实施方式
本申请的实施方式的以下说明以示例性视频编解码器或示例性编码器/解码器结构的说明开始。在下文中,将讨论由数据包丢失所产生的问题。在下文中,本申请的实施方式尤其描述了关于以上描述的编码器/解码器结构可适用的这些实施方式。
图1示出了编码器10,该编码器被配置为将到达编码器10的输入端的、由图片14的序列组成的视频12编码为编码器10的输出端的数据流。编码器10可被配置为使用编码顺序编码图片14的序列,该编码顺序可以是但是不一定必须遵循图片14的时间顺序16。更确切地说,编码器10可以是混合式视频编码器,其被配置为在不同的可用预测模式中选择以用于图片14被分隔的块18。例如,这种预测模式包括从相同图片的先前编码部分的空间预测以及从先前编码图片的先前编码部分的时间预测,但是此外或可替换地,编码器10也可支持其他预测模式,诸如,从低质量的先前编码层的层间预测模式,例如,或者从示出与视频12的时间一致的图片14相同场景的先前编码视图的视点间预测。编码器10在其输出端以信号通知所选择的预测模式、与所选择的预测模式相关联的预测参数以及数据流20内的预测残差的编码。例如,空间预测可包括外推方向,其显示邻近的、已经编码的样本沿着该方向被复制/外推为当前块18,并且时间预测模式可实施为包括运动向量作为预测参数的运动补偿预测,正如视点间预测模式可以以运动补偿方式实施一样,从而导致视差向量作为预测参数。在执行该预测中,视频12的“先前编码部分”由前述编码顺序进行限定,该编码顺序按序地移动(traverse)图片14。在每个图片14内,编码顺序以预定顺序移动块18,例如,该编码顺序以光栅扫描方式从图片14的左上角引导向图片14的右下角。
为了能够并行编码且并行解码视频12的图片14和/或选择性/局部地解码视频12的图片14,图1的编码器10支持所谓的片分隔。根据片分隔,每个图片14例如被分隔为片22阵列。在图1中,一个图片14被示例性地示出为被分隔为片22的2x 2阵列,但是可以使用任何m x n分隔(如果片分隔是有效的,则m+n>1)。可以限制片22分隔以不与块18交叉,即,可限制为与块边界对齐。例如,该片可以是块18的p x q阵列,使得片的各个行中的片等于q并且片列中的片等于p。
编码器10以信号通知数据流20内的图片14的片分隔,并且具体地,单独地编码每个片22。即,例如由空间预测产生的互相依赖、例如熵编码数据流20中的上下文选择被限制在片边界中以不与后者交叉,以致例如只要涉及预测和熵解码,可从数据流20单独解码每个片22。前述编码顺序适用于片分隔:在每个图片14内,编码顺序首先移动片22的第一个片内的图片14,然后以片顺序移动下一个片。片顺序也可以是光栅扫描顺序,从图片14的左上方片引导至右下方片。
出于说明的目的,图1以参考符号24示出了用于一个示例性图片14的编码顺序。
为了便于传送数据流20,编码器10以所谓条带(slice)的单元以前述方式将视频12编码为数据流20:条带是遵循前述编码顺序的数据流20的部分。条带被限制为完全位于一个片22内,即不与任何片边界交叉,或者完全以片顺序由两个或多个片组成,即以便完全覆盖两个或多个片,从而在片边界中与片覆盖的轮廓一致。
图1示例性地示出了图1的图片14被分隔为两个条带26a、26b,以编码顺序24的第一条带26a由以片顺序的头两个片22组成,并且第二条带26b覆盖图片14的下半部,即以片顺序的第三和第四个片22。在以条带26a和26b的单元编码视频12中,编码器10使用熵编码并且具体地具有以上下文熵概率的连续自适应的上下文自适应熵编码将用于熵编码的概率分别适用至实际符号统计和图片内容,其中,在每个条带26a和26b起点处,并且在每个条带内,在每个片边界处重置或初始化上下文的概率。
图1示例性地示出了数据流20中的条带26。该条带包含图片14的头两个片22的数据。进一步地,条带26包括条带头部30,其表示关于为编码图片14和条带26的对应部分(即头两个片22)所选择的编码类型的一些高级别信息,诸如,条带26是否涉及内编码部分、p型编码部分或者b型编码部分的信息。没有条带头部30的信息,条带26a的片不可被正确解码。
为了能够进一步细分编码的数据流20的传送,另一机制进一步细分条带。根据这个原理,每个条带26a和26b如在条带26a的情况下,由精确的一个独立条段或者后面是依赖性条段的一个独立条段序列组成。条带26a不被更进一步分割。因此,编码器10能够仅全部输出条带26a。关于条带26b,情况是不同的:条带26b由以编码顺序后面是依赖性条段28b的独立性条段28a组成,条带26b内的片22的片边界与条段28a与条段28b之间的边界一致。因此,条段28a和28b与条带具有类似特性,即,它们都是独立可解码的,除了条带头部之外:依赖性条段28b从先前(即,属于相同条带26b的前面的独立条段28a)继承条带头部30。
在讨论传送期间由可能的数据包丢失导致的问题之前,关于图2A和图2B将讨论配合图1的编码器10的解码器50,因此解码器50表示用于处理数据流的网络装置的实例。解码器50接收数据流20并且从数据流20中重建视频14。例如,解码器50接收后面是条带26b的条带26a。例如,解码器50可以是混合式视频解码类型,即可以是混合式视频解码器,其使用上述识别的预测节点以用于重建视频12的图片14的部分,其与条带26a和26b相对应。在解码条带26a中,例如,解码器50使用条带头部30以便确定条带26a的条带类型并且以依赖于条带类型的方式从条带26a重建图片14的第一和第二片22。例如,至于I条带,没有时间预测模式是可用的,然而至于P条带和B条带,提供了可用性,并且因此,条带26a的有效载荷数据的解析可取决于条带头部30。具体地,例如,解码器50可以以上述概括的上下文自适应方式熵解码条带26a,其中,在条带26a的起点处使上下文的概率初始化,然后使用在条带26a内信号通知的预测模式和预测参数,以便预测条带26a内的第一和第二片22,并且将合成的预测信号与同样包含在条带26a的有效载荷数据内的预测残差结合。在解码片22中,解码器50遵守以上概括的编码顺序。然而,只要涉及片22,解码器50同时能够自由执行一些解码任务。例如,对于预测来说是正确的,因为预测被配置为不与片边界交叉,从而避免相同图片14的片的解码之间的互相依赖,并且只要涉及片22,同时也可以执行熵解码。
在解码条带26b中,解码器50能够独立于条带26a解码该条带26b。具体地,因为携带图片14的第三片22的数据的独立条段28a本身包括条带头部,所以解码器50能够重建该第三片而不需要任何其他数据。然而,只要涉及依赖性条段28b,解码器50从包含在其之前的独立条段(即相同条带26b的独立条段28a)中的条带头部30继承条带头部数据,并且因此,除了条段28b的存在之外,第四片的解码还需要条段28a中的条带头部的知识。
只要涉及数据流20的传送,条段26a、28a和28b形成或者被构成为产生网络提取层(NAL)单元。在以下描述中,不用特别区分条段和条段NAL单元。原因在于条段与携带条段的NAL单元几乎相同。小的NAL单元头部仅包括NAL单元类型,其显示作为条段的NAL单元的内容。
进一步地,然而,应注意,在传送期间,可以进一步使条段分隔以适合传送数据包的有效载荷部分。优选地,在某种意义上完成,以致某个条带26a内的新片的起始或起点被插入到新的传输数据包中。如以下进一步讨论的,关于依赖性条段28b,该条段的起点表示新片的编码的开始,这意味着即使先前数据包丢失也提供相同的可解码,条带头部数据是可用的。图2A和图2B示出了将条段26a、28a和28b分隔为传输数据包34的有效载荷数据部分32,其除了有效载荷部分32之外还包括传输数据头部36,其中,图2A和图2B通过以简单地阴影描述数据包34有效载荷数据部分32内的条段数据并且以交叉阴影描述起始位38,还示出了包含条段的末尾的传输数据包的有效载荷部分的尾部可填充有不同于大小分段数据的填补位38。
在传送期间,无论何时丢失数据包都会出现问题。具体地,例如,设想由于条段28a被分裂成的第二和第三数据包丢失,导致在解码器50中完全没有接收到条段28a。然而,第一传输数据包34携带条带头部30。因此,解码器能够重新开始解码具有依赖性条段28b的图片14,只要解码器50确定在数据包丢失之前已经接收到的独立条段28a的条带头部30是属于依赖性条段28b的条带头部。然而,解码器50不能保证任何情况下都能如此。
例如,查看图3,图3示出了将图片14现在示例性地细分/分隔为六个片,也就是呈两行乘三列的片22,其中,每个片存在一个条段。具体地,在图3的情况下,尽管以下五个条段是依赖性条段28b,但是第一片结合到独立条段28a中。图4示出了相同的片分隔,但是在片22的第一行中头三个片形成由覆盖第一片的第一独立条段28a组成的一个条带26a,后面是覆盖图14的第二和第三片22的两个依赖性条段28b,并且同样第二条带26b由覆盖图片14的第四片的独立条段28a的序列组成,后面是与图片14的第五和第六片相关的两个依赖性条段28b。在接收有关图片14的所有数据的情况下,不管在编码端选择了图3的选项还是图4的选项,图片14的解码都没问题。然而,例如,当出现第四条段丢失的问题时:在图3的情况下,实际上,与从第一条段具有相同继承的片头部数据,对于有关图片14的第五和第六片有关的相继条段没有问题。然而,在图4的情况下,有关第五和第六片的条段不再具有价值,因为它们将需要丢失的第四数据包的条带头部数据,其在图4的情况下是独立条段。
在图3的情况下,为了能够使解码器50重新开始关于第五和第六片22解码图片14,以下概括的概念建议提供具有差错恢复数据的数据流,以使能够为依赖性条段识别携带独立条段的条带头部的数据包。
应再次注意,在包含在诸如图2A和图2B的条带26a的单个条段中的熵解码条带中,编码器和解码器50被配置为将连续上下文概率(即上下文概率)重置为默认值,每当在编码期间,各个条段的第二片或下一片的第一语法元素相遇。为此,例如,假设携带条带头部30的第一传输数据包34被正确地接收到,尽管携带条带26a的第二和第三传输数据包34的任何一个丢失,具有单个条段(诸如图2A和图2B的26a)的情况导致条段26a的第二片仍然是可解码的:解码器50使用上下文概率的初始值的默认值可执行熵解码,以便熵解码关于第二片22的条带26a的数据,并且使用由条带26a已经分裂成的六个数据包的第一传输数据包34包括的条带头部数据30,即,以打开具有涉及第二片的第一语法元素的新数据包34,并且使用填补数据填充包括涉及第一片的条带26a的尾部的先前数据包。因此,图3中讨论的情况与单个独立条段覆盖整个图片14的情况非常相似:在熵编码/解码这个独立条段中,每当以片顺序的连续片之间的片边界相遇时,重新初始化上下文概率,并且因此,例如,尽管涉及第四片的数据包丢失,但只要在独立条段起点处的条带头部的头部已经被正确地接收到,解码器就能够重新开始解码第五片。
关于图3和图4概括的问题在下文中将以其他方式再次概括。在视频传送情形下,经常预期到将发生丢失。尽管依赖于丢失的数据的数据被正确地接收到,但是所以这种丢失可导致依赖于丢失的数据的数据是不可解码的。例如,在RTP中,并且如图2A和图2B中所示,条带26a、26b可经由几个RTP数据包34(通常称为分裂单元)传输。如果条带的这些数据包34中的一个丢失,则多个解码器-诸如,解码器50-将必须丢弃相应条带的所有数据或者可尝试解码丢失部分之前的数据并且丢弃该条带的接收的数据的其余部分。然而,条带26a、26b可包含可以独立解码的独立部分。这是针对多个片包含在HEVC[1]的单个条带中的情况。当诸如图3和图4中描述的大于2的多个片22包含在单个条带中时,在单个独立条段(例如,图2A和图2B中的26a)或者在每个片的一个条段(例如,图2A和图2B中的26b)中(其中,条带的第一片包含在独立条段中,并且条带内的其余片包含在依赖性条段中),考虑片边界的数据传输可以是理想的。即,RTP数据包34可以与片边界对齐,或者以其他方式,每个RTP数据包仅包含一个片并不是几个片的数据(这是当分离的依赖性条带用于每个片时的情况,因为条段26a、28a和28b不管怎样被单独地分裂),并且在单个独立的条段携带几个片的情况下,可以是数据的智能分裂被完成,例如,RTP数据包与片边界对齐的情况。通过这样做,如果一些片的数据丢失或者执行局部数据的某种选择性解码,则仍然可以解码其他片,因为它们不取决于用于解码的非接收片。
在所描述的情况下,在用于多个条带(例如26a)的单个独立的条段中或者在使用依赖性条带(例如,图2A和图2B和图3和图4中的26b)的情况下,条带的所有片22要求独立条带28a的条段头部30的正确接收。然而,在不是接收到了所有数据并且一些数据包34丢失的情形下,在没有以下进一步概括的概念的情况下,不可能知悉最近一次接收到的独立条段的条段头部是与以下给定的条段丢失(并且包含例如独立的片)相对应的条段头部,还是独立条带所需的条段头部由于丢失还没有接收到。图5中示出了实例。
在图5顶部的示例中,其示例性地与将图3的每个条段封包为分离的数据包相对应,如上所描述的,如果第五数据包包含数据(例如,片)的独立部分,则第五数据包可被解码,因为已经接收到必需条段头部信息,而在图5底部的示例中,其示例性地与将图4的每个条段封包为分离的数据包相对应,因为已经丢失了包含在先前数据包中的头部信息,所以第五数据包不可解码。
以下概括的概念利用以下事实的优点:一些数据独立于其他的一些数据并且可用于在丢失环境中提供某种差错恢复。问题在于-没有以下概括的概念的情况下-不可以检测包含在独立条带的先前条段头部中的重要信息是已经被接收到还是已经丢失。
因此,根据以下概括的概念,增加一些信令以允许接收器检测先前接收到的独立条段中的条带头部是否还适用于当前接收的数据或者必需数据应用于一些丢失的数据。
这种信令的例示可以是如例如专用于RTP有效载荷的NAL单元中的一些附加信息,如例如SVC(RFC6190)的RTP有效载荷格式中的PACSI,但是针对HEVC或者其扩展限定,其包含用于解码RTP数据包中的数据所需的条段头部的标识符。
例如,该信令能够提供以标识符的形式表示这种差错恢复信息的存在/不存在的标志(例如,T标志)。该补充信息用于将这个标识符分配给某个条段头部或者以给定的标识符指示独立条段的哪个条段头部是解码某个数据所需要的。即,如果这个信息直接先于具有独立条段的条段头部的数据,则标识符被分配至这个独立条段的条段头部,并且如果不是,则表示该标识符是正确解码随后数据所需要的条段头部的标识符。
在实施方式中,原始数据包含独立可解码的数据,该数据需要仅为所有数据传送一次的某些头部信息。如果这个头部信息被正确地接收到,则即使一些数据可能丢失,如果允许识别必要的重要头部信息的另外的附加信息与上述接收到的头部信息匹配,其他接收到的独立可解码的数据也可被解码。
下面关于以下附图将更详细地描述提供并分析传送视频数据流所经由的数据包中的差错恢复数据的的仅仅概括思想。
具体地,图6示出了可布置在解码器50前面或者形成解码器50的一部分的网络装置200。网络装置包括接收器202和差错处理器204。
在206中示出了接收器202接收的传输流。传输流包括数据包208的序列-图1和图2A和图2B的对应元素34-视频数据流210经由该数据包208序列传输。例如,数据包可以是如上所述的RTP数据包,但是也存在可替代的实现方式,诸如,IP数据包等的使用。视频数据流210-与图1和图2A和图2B的元素20相对应-具有片212-与图1至图4的元素22相对应-图片214的-与图1至图4的元素14相对应-视频216的-与图1和图2A和图2B的元素12相对应-依照一些编码顺序218编码的-与图1和图2A和图2B的元素24相对应-例如,通过图片的片以光栅扫描顺序引导,然后以图片编码顺序变至下一图片214,然而,该图片编码顺序不必与图片214中的显示时间顺序一致。具体地,片212使用熵编码和空间预测被编码为数据流210。这样做时,片212以被限制为不与附图中使用破折线示出的片212的片边界交叉的熵编码和空间预测的上下文推导的方式被编码为数据流210。在一方面,数据流210中的示例性图片214的片212所覆盖的连续部分之间的关联性在附图中使用与图片212中的相同破折线类型示出,并且另一方面,示出了数据流210。只要涉及熵编码和空间预测,使用该限制,片212是同时可编码且可解码的。
视频数据流以条带220的单元依照编码顺序218编码片212。每个条带220仅包含一个片212的数据,如图6中的右手边示出的两个条带的示例性情况,或者如图6中关于左手边完全示出的更多片,包括依照编码顺序218的图片的头三个片的数据。每个条带以条带头部222开始-与图1和图2A和图2B的元素30相对应-收集对于整个条带全局有效的某些更高-水平的语法元素,诸如,量化步幅大小、默认编码模式、条带类型-如以上示例性讨论的-等。接着,这意味着在覆盖多于一个片的条带220的情况下,除了第一个之外,该条带中包含的每个片都需要其成功解码,然而,条带的条带头部的数据被布置在条带的起点处。
尽管之前未提到,但是条带依照编码顺序可能被进一步细分为所谓的独立条段和依赖性条段:起点处的独立条段明确包括条带头部,后面是继承独立条段的条带头部的至少一部分的一个或多个依赖性条段,并且因此,需要这部分可用以成功解码依赖性条段。片的每个起点可与依赖性的或者独立的条段的起点一致。
视频数据流210依照编码顺序218可被分包为数据包208的序列,使得每个数据包仅携带一个片的数据。再次,使用与示例性图片的四个不同片相关联的四个不同的虚线型在图6中示出。
在接收器210接收传输流206时,差错处理器204被配置为识别数据包208中丢失的数据包,即,没有被接收到、没有按时接收到、或者以某种方式接收到但其中具有差错或者例如,由于在传送期间出现的比特差错数目过高导致不可前向纠正的差错的数据包。进一步地,差错处理器204分析数据包序列的数据包208中的差错恢复数据,以便针对数据包序列的一个或多个丢失数据包的顺串(run)中的每一个,识别一个或多个丢失数据包的相应顺串的数据包序列中的第一数据包,其携带任何片的起点并且包含在条带中,第一数据包的条带头部包含在没有被丢失的数据包序列的任何数据包中。例如,假设使用箭头224标识的数据包208已经丢失。通常,形成相同条带的条段的以下两个数据包(即226和228)将被传输层扔掉。在此,差错处理器204识别数据包226是符合刚刚提到的所有要求的数据包:1)在一个或对个丢失的数据包的相应顺串(其是即数据包224)之后,以及2)包含在数据包226中的数据所属的条带220的条带头部222没有丢失,3)数据包226携带片212的起点,以及4)该数据包226是满足1)至3)的数据包中的第一个数据包。丢失的数据包224与刚提到的数据包226之间的数据包228不符合要求2。因此,差错处理器204可使数据包226解码,而不是丢弃其内容(即片212)。自然地,从数据包开始,处理器204保持以连续顺序处理数据包直到与一个或多个丢失数据包的下一个顺串相遇。
刚提到的差错恢复数据可包含在传输数据包208的数据包头部中或者可包含在例如分散在有效载荷条带220之间的数据流210的补充增强NAL单元中。
在下面将关于图7更详细地描述差错处理器204的操作模式。具体地,在一个过程300中,差错处理器连续检查输入的数据包序列,以便识别丢失的数据包。例如,识别302可涉及针对每个数据包208对数据包头部36(比较图1和图2A和图2B)(诸如循环数据包号等)的检查。过程300引起对数据包序列内的一个或多个丢失的数据包的顺串的检测,如304中所示的,其以它们的连续顺序显示具有丢失的数据包的数据包208序列被布置在顺序差错306上方,并且正确接收到的数据包被示出在差错306下方。如可以看出的,在308中,一个示例性顺串是可见的。通过差错处理器204连续执行的另一过程310涉及数据包序列的数据包中的分析差错恢复数据。在这个过程310内,对于每个顺串308,差错处理器204试图识别在相应顺串308之后的数据包序列中的第一数据包,该第一数据包携带任何片的起点并且携带条带,第一数据包的条带头部包含在没有丢失的数据包序列的任何数据包中。过程310循环通过遵循顺串308的接收的数据包。在顺串308之后接收到的第一数据包在图7中使用A表示。在过程310内,差错处理器204检查相应数据包A是否携带任何片的起点。在这个检查312内,例如,差错处理器204使数据包A的有效载荷数据部分32经历分析过程,以识别这个有效载荷部分32是以任何片的编码的起点开始还是至少是可分析的直到完成这种编码。例如,有效载荷数据部分32的开始与条段NAL单元的开始一致,并且差错处理器204从条段读取边缘区域,以便评估条段是否开始新片的编码。可替代地,差错处理器204基于例如传输数据包头36内的分裂参数来检查数据包A是否是NAL单元的第一条段,并且如果是这种情况,则从其中推导出,数据包A在其有效载荷数据32中具有新片的起点。
如果在步骤312中确定数据包不与新片的开始一致,过程310进行至下一个接收到的数据包,在此为B。然而,如果检查312的检查结果是肯定的,即片起始已经建立,则过程310包括差错处理器204检查当前数据包A本身是否包括条带头部。如果是,如在步骤316中表示的,则一切正常,并且在丢失的数据包308的顺串之后,可以从数据包A重新开始解码程序。然而,如果步骤314中的检查显示当前数据包本身不包括条带头部,则差错处理器204检验当前数据包A内的差错恢复数据,以识别通过相应数据包携带的条带的条带头部,即由涉及新片的依赖性条段继承的条带头部,或者条带的条带头部,即在步骤312中识别的新片所属于的独立条段。识别318可产生以下效果:例如,数据包A本身的传输数据包头部36可包括差错恢复数据并且该差错恢复数据可以是一些前述数据包的指针。如果这个数据包属于在320中执行检查的接收到的数据包208,则在316中重新开始执行解码。然而,如果所需的条带头部属于丢失的数据包,即,不属于所接收的数据包,则在步骤322中,过程310搜索具有新的条带头部的数据包,该步骤与步骤312和步骤314的串接相对应,然而,返回到步骤312,如果当前数据包不包括新的条带头部,因为任何“依赖性片”也将需要属于任何丢失的数据包的条带头部。
应当提到,可替代地,特定NAL单元可分散在到目前为止讨论的实际条段NAL单元之间,以便携带差错恢复数据。
在步骤316中重新开始解码中,在一个或多个丢失的数据包的相应顺串之后,可通过将包含在任何所接收的数据包中的条带头部(如通过差错恢复数据所识别的)应用于片的解码,来从前面所识别的数据包向前重新开始解码视频数据流,在步骤312中已经识别了片的起点。
因此,以上描述显示了局部条带的差错恢复传输。
刚刚概括的差错恢复数据可通过显示例如所需条带头部安置在内的数据包的数据包号,来指向所需要的条带头部。这可以通过绝对值或以相对方式完成,即使用从包含差错恢复数据的当前数据包指向包含所需条带头部的数据包的偏移值。可替代地,所需数据包通过包含所需条带头部的独立条段的条带地址的方式索引。如以上所指出的,所有条段包含在图片14内显示编码为这个条段的第一块在图片14内被放置的条带地址。
为了与不能够处理/分析差错恢复数据的其他装置保持向后兼容,包括相应标志的扩展机制可用于使老式解码器忽视/跳过差错恢复数据,并且因此,丢弃该差错恢复数据。
毋庸置疑,使用差错恢复数据的上述概念表明其本身在发送端处的对应网络装置中。这种网络装置可包含在图1的编码器内或者可连接至其输出端。该发送网络装置将被配置为经由数据包序列的传输流传送视频数据流,该视频数据流具有图片被分隔为视频的图片的片,该视频数据流是使用熵编码和空间预测依照编码顺序被编码其中,利用被限制为不与片的片边界交叉的熵编码和空间预测的上下文推导,将片编码为视频数据流,其中,视频数据流使视频的图片的片以条带单元依照编码顺序被编码其中,每个条带仅包括一个片的数据或全部地包含两个或多个片,其中,网络装置被配置为依照编码顺序将视频数据流分包成数据包序列,使得各个数据包仅携带一个片的数据,并且将差错恢复数据插入到数据包序列的数据包中,以便针对不包含相应数据包部分携带的条带的条带头部的数据包序列的每个数据包,识别数据包序列中的前面的数据包,其包含相应数据包的条带头部。
本申请可以可以包括以下实施方式:
(1).一种网络装置,包括
接收器,被配置为接收数据包序列的传输流,视频数据流经由所述传输流传送,
所述视频数据流具有视频的图片的片,所述图片被分隔为所述片,使用熵编码和空间预测依照编码顺序将所述图片编码在所述视频数据流中,
利用被限制为不与所述片的片边界交叉的所述熵编码和所述空间预测的上下文推导来将所述片编码在所述视频数据流中,
其中,所述视频数据流在条带单元中具有按照所述编码顺序被编码其中的所述视频的所述图片的所述片,其中,各个条带仅包含一个片的数据或者完全包含两个以上片,各个条带开始于条带头部,
所述视频数据流依照所述编码顺序被分包为所述数据包序列,使得各个数据包仅携带一个片的数据,
其中,所述装置进一步包括
差错处理器,被配置为识别所述数据包序列中丢失的数据包并且分析所述数据包序列的所述数据包中的差错恢复数据,以便针对所述数据包序列的一个或多个丢失的数据包的每个顺串,识别位于一个或多个丢失的数据包的相应顺串之后的所述数据包序列中的第一数据包,所述第一数据包携带任何所述片的起点并且参与携带条带,该条带的所述条带头部包含在所述数据包序列的没有丢失的任何所述数据包中。
(2).根据(1)所述的网络装置,其中,所述装置被配置为通过以下步骤顺次检查一个或多个丢失的数据包的相应顺串之后的每个数据包:
检查相应数据包是否携带任何所述片的起点,并且
针对各个数据包进行的所述检查显示所述相应数据包与任何所述片的起点一致,
基于所述相应数据包的所述差错恢复数据,识别由所述相应数据包携带的所述条带的所述条带头部;并且
检查由所述相应数据包携带的所述条带的所述条带头部是否包含在所述数据包序列的没有丢失的并且在一个或多个丢失的数据包的所述相应顺串之前的任何所述数据包中。
(3).根据(2)所述的网络装置,其中,每个条带是包含所述条带的所述条带头部的一个独立条段或者是被细分为包含所述条带的所述条带头部的一个独立条段、之后是不存在所述条带头部的一个或多个依赖性条段的序列,其中,片边界与所述一个独立条段和所述一个或多个依赖性条段的所述序列的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括在所述图片内显示其起点的地址域,其中,所述网络装置被配置为使用所述地址域执行所述检查。
(4).根据(2)或(3)所述的网络装置,其中,所述网络装置被配置为使用所述数据包的传输数据包头部数据执行所述检查。
(5).根据(1)至(4)中任一项所述的网络装置,其中,所述网络装置被配置为从分散在所述数据包序列之间的预定NAL单元读取所述差错恢复数据。
(6).根据(1)至(4)中任一项所述的网络装置,其中,所述网络装置被配置为从所述数据包的传输数据包头部读取所述差错恢复数据。
(7).根据(1)至(6)中任一项所述的网络装置,其中,所述网络装置被配置为从相应数据包的所述差错恢复数据,获取所述数据包的指针或者标识符,该数据包包含由所述相应数据包携带的所述条带的所述条带头部。
(8).根据(1)至(7)中任一项所述的网络装置,其中,所述网络装置被配置为从所述差错恢复数据获取包含所述数据包的指针或者标识符,该数据包包含由所述相应数据包部分携带的所述条带的所述条带头部。
(9).根据(1)至(8)中任一项所述的网络装置,其中,所述网络装置是解码器,所述解码器被配置为通过将包含在所述数据包序列的没有丢失的任何所述数据包中的所述条带头部应用于解码所述片,来从前面所识别的第一数据包重新开始解码一个或多个丢失的数据包的所述相应顺串之后的所述视频数据流,所述片的所述起点包含在所识别的第一数据包中。
(10).一种方法,包括
接收数据包序列的传输流,视频数据流经由所述传输流传输,
所述视频数据流具有视频的图片的片,所述图片被分隔为所述片,使用熵编码和空间预测依照编码顺序将所述图片编码在所述视频数据流中,
利用被限制为不与所述片的片边界交叉的所述熵编码和所述空间预测的上下文推导将所述片编码在所述视频数据流中,
其中,所述视频数据流在条带的单元中具有按照所述编码顺序编码其中的所述视频的所述图片的所述片,其中,各个条带仅包含一个片的数据或者完全包含两个或多个片,各个条带以条带头部开始,
所述视频数据流依照所述编码顺序被分包为所述数据包序列,使得各个数据包仅携带一个片的数据,
识别所述数据包序列中的丢失的数据包;并且
分析所述数据包序列的所述数据包中的差错恢复数据,以便为所述数据包序列的一个或多个丢失的数据包的每个顺串,识别在一个或多个丢失的数据包的相应顺串之后的所述数据包序列中的第一数据包,所述第一数据包携带任何所述片的起点并且参与携带条带,所述条带的所述条带头部包含在所述数据包序列的没有丢失的任何所述数据包中。
(11).一种被配置为经由数据包序列的传输流传送视频数据流的网络装置,
所述视频数据流具有视频的图片的片,所述图片被分隔为所述片,使用熵编码和空间预测依照编码顺序将所述图片编码在所述视频数据流中,
利用被限制为不与所述片的片边界交叉的所述熵编码和所述空间预测的上下文推导,将所述片编码在所述视频数据流中,
其中,所述视频数据流在条带的单元中具有按照所述编码顺序编码其中的所述视频的所述图片的所述片,其中,各个条带仅包含一个片的数据或者完全包含两个以上片,各个条带开始于条带头部,
其中,所述网络装置被配置为依照所述编码顺序将所述视频数据流分包成所述数据包序列,使得各个数据包仅携带一个片的数据,并且将差错恢复数据插入到所述数据包序列的所述数据包中,以便为不包含所述相应数据包部分携带的所述条带的条带头部的所述数据包序列的每个数据包,识别先于所述数据包序列的数据包,其包含相应数据包的所述条带头部。
(12).一种经由数据包序列的传输流传送视频数据流的方法,
所述视频数据流具有视频的图片的片,所述图片被分隔为所述片,所述视频数据流是使用熵编码和空间预测依照编码顺序将所述图片编码在所述视频数据流中,
利用被限制为不与所述片的片边界交叉的所述熵编码和所述空间预测的上下文推导,将所述片编码在所述视频数据流中,
其中,所述视频数据流在条带的单元中具有按照所述编码顺序被编码其中的所述视频的所述图片的所述片,其中,各个条带仅包含一个片的数据或者完全包含两个以上片,各个条带开始于条带头部,
其中,所述方法包括依照所述编码顺序将所述视频数据流分包成所述数据包序列,使得各个数据包仅携带一个片的数据;并且将差错恢复数据插入到所述数据包序列的所述数据包中,以便为不包含所述相应数据包部分携带的所述条带的条带头部的所述数据包序列的每个数据包,识别在所述数据包序列之前的数据包,该数据包括包含相应数据包的所述条带头部。
(13).一种具有程序代码的计算机程序,当在计算机上运行所述计算机程序时,用于执行根据(10)或(12)所述的方法。
尽管已经在设备的上下文中描述了一些方面,但是很显然,这些方面也表示对相应方法的描述,其中,块或装置对应于方法步骤或者方法步骤的特征。类似地,在方法步骤的上下文中描述的各方面也表示对相应装置的相应块或者项或特征的描述。一些或所有方法步骤可由(或使用)硬件设备(例如,微处理器、可编程计算机或电子电路)执行。在一些实施方式中,通过该设备可执行最为重要的方法步骤中的某一个或多个。
根据特定的实现方式需求,可以硬件或者软件实现本发明的实施方式。可以使用数字存储介质,例如其中存储有电子可读控制信号的软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器执行该实现,这些控制信号与可编程计算机系统配合(或者能够与其配合),以便执行各个方法。因此,数字储存介质可以是计算机可读介质。
根据本发明的一些实施方式包括能够与可编程计算机系统协作的具有电可读控制信号的数据载体,使得执行本文所描述的方法之一。
通常,本发明的实施方式可被实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,程序代码被操作为用于执行该方法之一。例如,程序代码可被存储在机器可读载体上。
其他实施方式包括用于执行本文所描述的方法之一的计算机程序,其存储在机器可读载体上。
因此,换言之,本发明方法的实施方式是具有程序代码的计算机程序,当计算机程序在计算机上运行时,计算机代码用于执行本文所描述的方法之一。
因此,本发明方法的又一实施方式是数据载体(或数字储存介质或计算机可读介质),该载体包括在其上记录的计算机程序,用于执行在本文中描述的方法之一。数据载体、数字存储介质或记录介质一般是有形和/或非临时的。
因此,本发明方法的又一实施方式是数据流或信号序列,表示用于执行本文所描述的方法之一的计算机程序。例如,数据流或信号序列可被配置为经由数据通信连接(例如,经由互联网)来传输。
又一实施方式包括处理装置,例如,计算机或可编程逻辑装置,其被配置为或者适配为执行在本文中描述的方法之一。
又一实施方式包括安装在其上的用于执行本文所描述的方法之一的计算机程序的计算机。
根据本发明的又一实施方式包括被配置为将用于执行本文所描述的方法之一的计算机程序传输(例如,通过电地或者光学地)至接收器的设备或者系统。例如,接收器可以是计算机、移动装置、存储装置等。例如,该设备或者系统可包括用于将计算机程序传输至接收器的文件服务器。
在一些实施方式中,可以使用可编程逻辑装置(例如,现场可编程门阵列)执行本文所描述的方法中的一些或者所有功能。在一些实施方式中,现场可编程门阵列可以与微处理器配合,以便执行本文所描述的方法之一。通常,该方法优选为由任何硬件设备执行。
上述实施方式仅说明本发明的原理。应当理解的是,本文所描述的布置和细节的修改和变化对本领域技术人员来说将是显而易见的。因此,其目的在于,仅受到即将发生的专利权利要求的限制,而不受到通过本文实施方式的描述和说明的方式提出的具体细节的限制。
参考文献
[1]B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,T.Wiegand(Eds.),“HighEfficiency Video Coding(HEVC)text specification draft 10“,JCTVC-L1003,Geneva,CH,Jan.2013
[2]G.Tech,K.Wegner,Y.Chen,M.Hannuksela,J.Boyce(Eds.),“MV-HEVC DraftText 3(ISO/IEC 23008-2 PDAM2)“,JCT3V-C1004,Geneva,CH,Jan.2013
[3]G.Tech,K.Wegner,Y.Chen,S.Yea(Eds.),“3D-HEVC Test ModelDescription,draft specification“,JCT3V-C1005,Geneva,CH,Jan.2013
[4]WILBURN,Bennett,et al.High performance imaging using large cameraarrays.ACM Transactions on Graphics,2005,24.Jg.,Nr.3,S.765-776.
[5]WILBURN,Bennett S.,et al.Light field video camera.In:ElectronicImaging 2002.International Society for Optics and Photonics,2001.S.29-36.
[6]HORIMAI,Hideyoshi,et al.Full-color 3D display system with 360degree horizontal viewing angle.In:Proc.Int.Symposium of 3D andContents.2010.S.7-10.

Claims (34)

1.一种网络装置,包括:
接收器,被配置为接收表示视频的数据流中的数据包序列,其中,所述视频包括视频的图片的片,所述片以条带为单位编码在所述数据流中,其中,每个条带包括条带头部,其中,每个条带被细分为一个独立条段、所述一个独立条段之后是一个或多个依赖性条段的序列,所述一个独立条段包括所述条带的条带头部,所述一个或多个依赖性条段从包含在所述独立条段中的所述条带头部继承条带头部数据;以及
差错处理器,被配置为:
(i)识别所述数据包序列中的丢失数据包,
(ii)基于所述数据包序列内的差错恢复数据识别所述数据包序列中的所述丢失数据包之后的第一数据包,其中所述第一数据包与所述片中的第一片的开始相关联并且包括与所述第一片相关的第一条带的数据,以及
(iii)基于所述差错恢复数据识别所述数据包序列中的包括与所述第一片相关的所述第一条带的条带头部的第二数据包。
2.根据权利要求1所述的网络装置,其中,所述差错处理器被配置为:检查所述第二数据包是否在所述数据包序列中的所述丢失数据包之前。
3.根据权利要求1所述的网络装置,其中,每个条带被细分为包括所述条带的条带头部的一个独立条段和所述一个独立条段之后的不存在所述条带头部的一个或多个依赖性条段的序列,其中,片边界与所述一个独立条段和所述一个或多个依赖性条段的序列中的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括指示其起点的地址域,其中,进一步基于所述地址域识别包括由所述第一数据包携带的所述条带的条带头部的数据包。
4.根据权利要求1所述的网络装置,其中,所述差错恢复数据存在于所述第一数据包的传输数据包头部中。
5.根据权利要求1所述的网络装置,其中,所述网络装置被配置为从分散在所述数据包序列中的预定NAL单元读取所述差错恢复数据。
6.根据权利要求1所述的网络装置,其中,所述网络装置被配置为从所述数据包的传输数据包头部读取所述差错恢复数据。
7.根据权利要求1所述的网络装置,其中,所述网络装置被配置为从相应数据包的所述差错恢复数据,获取所述数据包的指针或者标识符,该数据包包括由所述相应数据包携带的所述条带的条带头部。
8.根据权利要求1所述的网络装置,其中,所述网络装置被配置为从所述差错恢复数据获取数据包的指针或者标识符,该数据包包括由相应数据包部分地携带的所述条带的条带头部。
9.根据权利要求1所述的网络装置,其中,所述网络装置是解码器,所述解码器被配置为通过应用所述条带头部来重新开始解码所述第一数据包之后的所述数据流,以解码片,其中,所述片的起点包括在所述第一数据包中。
10.一种方法,包括:
接收表示视频的数据流中的数据包序列,其中,所述视频包括视频的图片的片,所述片以条带为单位编码在所述数据流中,其中每个条带包括条带头部,其中,每个条带被细分为一个独立条段、所述一个独立条段之后是一个或多个依赖性条段的序列,所述一个独立条段包括所述条带的条带头部,所述一个或多个依赖性条段从包含在所述独立条段中的所述条带头部继承条带头部数据;
识别所述数据包序列中的丢失数据包;
基于所述数据包序列内的差错恢复数据识别所述数据包序列中所述丢失数据包之后的第一数据包,其中所述第一数据包与所述片中的第一片的开始相关联并且包括与所述第一片相关的第一条带的数据;并且
基于所述差错恢复数据识别所述数据包序列中的包括与所述第一片相关的所述第一条带的条带头部的第二数据包。
11.根据权利要求10所述的方法,进一步包括,检查所述第二数据包是否在所述数据包序列中的所述丢失数据包之前。
12.根据权利要求10所述的方法,其中,每个条带被细分为包括所述条带的条带头部的一个独立条段、所述一个独立条段之后是不存在所述条带头部的一个或多个依赖性条段的序列,其中,片边界与所述一个独立条段和所述一个或多个依赖性条段的序列中的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括指示其起点的地址域,其中,进一步基于所述地址域识别包括由所述第一数据包携带的所述条带的条带头部的数据包。
13.根据权利要求10所述的方法,其中,所述差错恢复数据存在于所述第一数据包的传输数据包头部中。
14.根据权利要求10所述的方法,进一步包括,从分散在所述数据包序列中的预定NAL单元读取所述差错恢复数据。
15.根据权利要求10所述的方法,进一步包括,从所述数据包的传输数据包头部读取所述差错恢复数据。
16.根据权利要求10所述的方法,进一步包括,从相应数据包的所述差错恢复数据,获取所述数据包的指针或者标识符,所述数据包包含由所述相应数据包携带的所述条带的条带头部。
17.根据权利要求10所述的方法,进一步包括:通过应用所述条带头部,来重新开始解码所述第一数据包之后的所述数据流,以解码片,所述片的起点包括在所述第一数据包中。
18.一种网络装置,被配置为经由数据包序列的传输流发送视频数据流,
所述视频数据流包括视频的图片的片,其中:
(a)将所述图片分割成所述片,并且使用熵编码和空间预测依照编码顺序将所述片编码到所述视频数据流中,
(b)所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,并且
(c)依照所述编码顺序以条带为单位将所述片编码到所述视频数据流中,其中,每个条带仅包括一个片的数据或者完全地包括两个或以上的片,每个条带开始于条带头部,
其中,所述网络装置被配置为依照所述编码顺序将所述视频数据流分包成所述数据包序列,使得每个数据包仅携带一个片的数据,并且将差错恢复数据插入到所述数据包序列中,其中,所述差错恢复数据用于:针对所述数据包序列的、不包括相应数据包至少部分地携带的所述条带的条带头部的每个数据包,识别先于所述数据包序列中的相应数据包的特定数据包,所述特定数据包包括由所述相应数据包携带的所述条带的条带头部,
其中,每个条带是包括所述条带的条带头部的一个独立条段或者是被细分为包括所述条带的条带头部的一个独立条段、所述一个独立条段之后是不存在所述条带头部的一个或多个依赖性条段的序列,其中,片边界与所述一个独立条段的序列和所述一个或多个依赖性条段中的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括指示其起点的地址域,其中,进一步基于所述地址域识别包括由第一数据包携带的所述条带的条带头部的数据包。
19.一种网络装置,被配置为经由数据包序列的传输流发送视频数据流,所述视频数据流包括视频的图片的片,其中:
(a)将所述图片分割成所述片,并且使用熵编码和空间预测依照编码顺序将所述片编码到所述视频数据流中,
(b)所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,并且
(c)依照所述编码顺序以条带为单位将所述片编码到所述视频数据流中,其中,每个条带仅包括一个片的数据或者完全地包括两个或以上的片,每个条带开始于条带头部,
其中,所述网络装置被配置为依照所述编码顺序将所述视频数据流分包成所述数据包序列,使得每个数据包仅携带一个片的数据,并且将差错恢复数据插入到所述数据包序列中,其中,所述差错恢复数据用于:针对所述数据包序列的、不包括相应数据包至少部分地携带的所述条带的条带头部的每个数据包,识别先于所述数据包序列中的相应数据包的特定数据包,所述特定数据包包括由所述相应数据包携带的所述条带的条带头部,其中,所述差错恢复数据存在于第一数据包的传输数据包头部中。
20.一种网络装置,包括:
接收器,被配置为接收数据包序列,视频数据流经由所述数据包序列传输,所述视频数据流包括视频的图片的片,其中:
(a)所述图片被分割为所述片,并且使用熵编码和空间预测依照编码顺序将所述片编码在所述视频数据流中,
(b)所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,
(c)依照所述编码顺序以条带为单位将所述片编码到所述视频数据流中,其中,每个条带仅包括一个片的数据或者完全地包括两个或以上的片,每个条带开始于条带头部,并且
(d)所述数据包序列的每个数据包仅携带一个片的数据;以及
差错处理器,配置为:
(i)识别所述数据包序列中丢失的数据包,
(ii)针对所述数据包序列的一个或多个丢失数据包的每个顺串,基于所述数据包序列中的差错恢复数据识别在一个或多个丢失数据包的相应顺串之后的所述数据包序列中的第一数据包,其中,所述第一数据包携带所述片中的一个片的起点并且参与携带条带,并且
(iii)基于所述差错恢复数据识别所述数据包序列中没有丢失的并且包括由所述第一数据包携带的所述条带的所述条带头部的数据包。
21.根据权利要求20所述的网络装置,其中,所述差错处理器被配置为:检查包括由所述第一数据包携带的所述条带的所述条带头部的数据包是否在一个或多个丢失数据包的相应顺串之前。
22.根据权利要求20所述的网络装置,其中每个条带是包括所述条带的条带头部的一个独立条段或者是利用片边界被细分为包括所述条带的条带头部的一个独立条段的序列,其中,所述一个独立条段之后是不存在所述条带头部的一个或多个依赖性条段,其中,所述片边界与所述一个独立条段的序列和所述一个或多个依赖性条段中的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括指示其起点的地址域,其中,进一步基于所述地址域识别包括由所述第一数据包携带的所述条带的条带头部的数据包。
23.根据权利要求20所述的网络装置,其中,所述差错恢复数据存在于所述第一数据包的传输数据包头部中。
24.根据权利要求20所述的网络装置,其中,所述网络装置被配置为从分散在所述数据包序列中的预定NAL单元读取所述差错恢复数据。
25.根据权利要求20所述的网络装置,其中,所述网络装置被配置为从所述数据包的传输数据包头部读取所述差错恢复数据。
26.根据权利要求20所述的网络装置,其中,所述网络装置被配置为从相应数据包的所述差错恢复数据,获取所述数据包的指针或者标识符,所述数据包包括由所述相应数据包携带的所述条带的所述条带头部。
27.根据权利要求20所述的网络装置,其中,所述网络装置被配置为从所述差错恢复数据获取所述数据包的指针或者标识符,所述数据包包括由所述相应数据包部分携带的所述条带的所述条带头部。
28.根据权利要求20所述的网络装置,其中,所述网络装置是解码器,所述解码器被配置为通过应用所述条带头部,来从前面所识别的第一数据包中重新开始解码一个或多个丢失的数据包的所述相应顺串之后的所述视频数据流,所述片的所述起点包括在第一数据包中。
29.一种方法,包括:
接收数据包序列,视频数据流经由所述数据包序列传输,所述视频数据流包括视频的图片的片,其中:
(a)将所述图片分割为所述片,并且使用熵编码和空间预测依照编码顺序将所述片编码在所述视频数据流中,
(b)所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,
(c)将依照所述编码顺序以条带为单位将所述片编码到所述视频数据流中,其中,每个条带仅包括一个片的数据或者完全地包括两个或以上的片,每个条带开始于条带头部,并且
(d)所述数据包序列的每个数据仅携带一个片的数据;
识别所述数据包序列中丢失的数据包;
针对所述数据包序列的一个或多个丢失数据包的每个顺串,基于所述数据包序列中的差错恢复数据识别在一个或多个丢失数据包的相应顺串之后的所述数据包序列中的第一数据包,其中,所述第一数据包携带所述片中的一个片的起点并且参与携带条带;并且
基于所述差错恢复数据识别所述数据包序列中的没有丢失的并且包括由所述第一数据包携带的所述条带的所述条带头部的数据包。
30.一种经由数据包序列的传输流编码并传送视频数据流的方法,包括:
将视频的图片分割成片;
使用熵编码和空间预测依照编码顺序将所述片编码到所述视频数据流中,其中,所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,并且将所述片依照所述编码顺序以条带为单位编码,其中每个条带仅包括一个片的数据或者完全包括两个或以上片,每个条带开始于条带头部;
按照所述编码顺序将所述视频数据流分包成所述数据包序列,使得每个数据包仅携带一个片的数据;并且
将差错恢复数据插入到所述数据包序列中,其中,所述差错恢复数据用于:针对所述数据包序列的、不包括相应数据包至少部分地携带的所述条带的条带头部的每个数据包,识别先于所述数据包序列中的相应数据包的特定数据包,所述特定数据包包括由所述相应数据包携带的所述条带的条带头部,
其中,每个条带是包括所述条带的条带头部的一个独立条段或者是被细分为包括所述条带的条带头部的一个独立条段、所述一个独立条段之后是不存在所述条带头部的一个或多个依赖性条段的序列,其中,片边界与所述一个独立条段的序列和所述一个或多个依赖性条段中的连续条段之间的边界一致,其中,所有的独立条段和依赖性条段包括指示其起点的地址域,其中,进一步基于所述地址域识别包括由第一数据包携带的所述条带的条带头部的数据包。
31.一种经由数据包序列的传输流编码并传送视频数据流的方法,包括:
将视频的图片分割成片;
使用熵编码和空间预测依照编码顺序将所述片编码到所述视频数据流中,其中,所述熵编码和所述空间预测的上下文推导被限制为不越过所述片的片边界,并且将所述片依照所述编码顺序以条带为单位编码,其中每个条带仅包括一个片的数据或者完全包括两个或以上片,每个条带开始于条带头部;
按照所述编码顺序将所述视频数据流分包成所述数据包序列,使得每个数据包仅携带一个片的数据;并且
将差错恢复数据插入到所述数据包序列中,其中,所述差错恢复数据用于:针对所述数据包序列的、不包括相应数据包至少部分地携带的所述条带的条带头部的每个数据包,识别先于所述数据包序列中的相应数据包的特定数据包,所述特定数据包包括由所述相应数据包携带的所述条带的条带头部,
其中,所述差错恢复数据存在于第一数据包的传输数据包头部中。
32.一种包括程序代码的非暂时性数字存储介质,所述程序代码当在计算机上运行时,执行根据权利要求29所述的方法。
33.一种包括程序代码的非暂时性数字存储介质,所述程序代码当在计算机上运行时执行根据权利要求30所述的方法。
34.一种包括程序代码的非暂时性数字存储介质,所述程序代码当在计算机上运行时执行根据权利要求31所述的方法。
CN202010127563.2A 2013-07-15 2014-07-15 网络装置和差错处理 Active CN111510725B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361846479P 2013-07-15 2013-07-15
US61/846,479 2013-07-15
PCT/EP2014/065184 WO2015007753A1 (en) 2013-07-15 2014-07-15 Network device and error handling
CN201480050655.8A CN105532002B (zh) 2013-07-15 2014-07-15 网络装置和差错处理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480050655.8A Division CN105532002B (zh) 2013-07-15 2014-07-15 网络装置和差错处理

Publications (2)

Publication Number Publication Date
CN111510725A CN111510725A (zh) 2020-08-07
CN111510725B true CN111510725B (zh) 2022-12-16

Family

ID=51177089

Family Applications (9)

Application Number Title Priority Date Filing Date
CN201910182087.1A Active CN110139110B (zh) 2013-07-15 2014-07-15 处理多层数据流的装置和方法、编码器和方法及存储介质
CN201480050666.6A Active CN105637876B (zh) 2013-07-15 2014-07-15 处理多层数据流的装置和方法、编码器和方法及存储介质
CN201480050628.0A Active CN105637867B (zh) 2013-07-15 2014-07-15 在多层视频编码中的低延迟概念
CN201480050665.1A Active CN105532003B (zh) 2013-07-15 2014-07-15 在多层编码中的层特征信令
CN201910310534.7A Active CN110225358B (zh) 2013-07-15 2014-07-15 装置、方法、编码器和计算机程序
CN202010127563.2A Active CN111510725B (zh) 2013-07-15 2014-07-15 网络装置和差错处理
CN201480050655.8A Active CN105532002B (zh) 2013-07-15 2014-07-15 网络装置和差错处理
CN202010947572.6A Active CN112104877B (zh) 2013-07-15 2014-07-15 装置、方法、编码器和计算机程序
CN201480050667.0A Active CN105637877B (zh) 2013-07-15 2014-07-15 一种解码器、解码方法、编码器、编码方法及计算机可读介质

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201910182087.1A Active CN110139110B (zh) 2013-07-15 2014-07-15 处理多层数据流的装置和方法、编码器和方法及存储介质
CN201480050666.6A Active CN105637876B (zh) 2013-07-15 2014-07-15 处理多层数据流的装置和方法、编码器和方法及存储介质
CN201480050628.0A Active CN105637867B (zh) 2013-07-15 2014-07-15 在多层视频编码中的低延迟概念
CN201480050665.1A Active CN105532003B (zh) 2013-07-15 2014-07-15 在多层编码中的层特征信令
CN201910310534.7A Active CN110225358B (zh) 2013-07-15 2014-07-15 装置、方法、编码器和计算机程序

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201480050655.8A Active CN105532002B (zh) 2013-07-15 2014-07-15 网络装置和差错处理
CN202010947572.6A Active CN112104877B (zh) 2013-07-15 2014-07-15 装置、方法、编码器和计算机程序
CN201480050667.0A Active CN105637877B (zh) 2013-07-15 2014-07-15 一种解码器、解码方法、编码器、编码方法及计算机可读介质

Country Status (6)

Country Link
US (23) US10523954B2 (zh)
EP (13) EP3614671B1 (zh)
JP (23) JP6453874B2 (zh)
KR (25) KR101921646B1 (zh)
CN (9) CN110139110B (zh)
WO (5) WO2015007751A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US20160065980A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof
MX352631B (es) 2013-04-08 2017-12-01 Arris Entpr Llc Señalización para adición o remoción de capas en codificación de video.
EP3614671B1 (en) 2013-07-15 2023-06-07 GE Video Compression, LLC Low delay concept in multi-layered video coding
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
EP3050300B1 (en) * 2013-09-26 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Hybrid codec scalable video
US10270590B2 (en) * 2013-12-16 2019-04-23 Mcafee, Llc Process efficient preprocessing for any encryption standard
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US10057582B2 (en) 2014-05-21 2018-08-21 Arris Enterprises Llc Individual buffer management in transport of scalable video
JP6388531B2 (ja) * 2014-06-17 2018-09-12 株式会社ダイセル 油性化粧料
US9930342B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for signaling hypothetical reference decoder parameters in a parameter set
US9807419B2 (en) * 2014-06-25 2017-10-31 Qualcomm Incorporated Recovery point SEI message in multi-layer video codecs
US9838697B2 (en) 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
JP6555263B2 (ja) * 2014-06-30 2019-08-07 ソニー株式会社 情報処理装置および方法
JP6582634B2 (ja) * 2014-07-04 2019-10-02 日本ゼオン株式会社 アクリルゴム、アクリルゴム組成物及びアクリルゴム架橋物
AU2016310755B2 (en) * 2015-08-25 2020-12-24 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
CN113316023B (zh) * 2016-02-02 2023-10-27 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
US10230948B2 (en) 2016-02-03 2019-03-12 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
KR20190010661A (ko) 2016-05-26 2019-01-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상호작용을 하는 클라이언트를 위한 파노라마 비디오 브로드캐스트 스트리밍
JP6812149B2 (ja) * 2016-06-30 2021-01-13 オリンパス株式会社 走査型顕微鏡、及び、走査型顕微鏡の制御方法
JP7169988B2 (ja) * 2017-04-11 2022-11-11 ヴィド スケール インコーポレイテッド 面連続性を使用する360度ビデオコーディング
WO2019068745A1 (en) * 2017-10-02 2019-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. EFFECTIVE IMMERSIVE CONTINUOUS DIFFUSION
US10810077B1 (en) * 2018-06-11 2020-10-20 Ambarella International Lp Rapid soft-error detection
JP2020022087A (ja) * 2018-08-01 2020-02-06 日本放送協会 映像/パケット変換装置、パケット/映像変換装置、及びプログラム
MX2021010393A (es) * 2019-03-01 2021-11-12 Fraunhofer Ges Forschung Decodificador de referencia hipotetico.
JP7430779B2 (ja) 2020-03-31 2024-02-13 富士フイルム株式会社 情報処理装置、放射線画像撮影装置、情報処理方法、及び情報処理プログラム
GB202007000D0 (en) * 2020-05-12 2020-06-24 V Nova Int Ltd Low latency communication system and method of operation
CN111338744B (zh) * 2020-05-22 2020-08-14 北京小米移动软件有限公司 图像显示方法及装置、电子设备、存储介质
CN113158623A (zh) * 2020-12-27 2021-07-23 中国电建集团华东勘测设计研究院有限公司 一种编码管理的方法及系统
WO2023089340A1 (en) * 2021-11-22 2023-05-25 V-Nova International Ltd Processing a multi-layer video stream
GB2613015B (en) * 2021-11-22 2024-10-23 V Nova Int Ltd Decoding a multi-layer video stream using a joint packet stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1263421A (zh) * 1999-02-11 2000-08-16 分组视频股份有限公司 控制和传递异类通信网中数字压缩可视数据的方法和设备
EP1443774A1 (en) * 2003-01-24 2004-08-04 Alcatel A method of encoding and decoding of data packets
CN101317214A (zh) * 2005-10-05 2008-12-03 Lg电子株式会社 信号处理方法和装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
JP2001203749A (ja) * 2000-01-20 2001-07-27 Mitsubishi Electric Corp 高効率データ送信装置及び高効率データ伝送システム
US7095729B2 (en) 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
JP4317403B2 (ja) * 2002-08-09 2009-08-19 パナソニック株式会社 ヘッダ圧縮装置及びヘッダ圧縮方法
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
TWI341136B (en) * 2005-10-11 2011-04-21 Nokia Corp System and method for efficient scalable stream adaptation
BRPI0706378A2 (pt) * 2006-01-09 2011-03-22 Lg Eletronics Inc método de predição intercamadas para sinal de vìdeo
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20080036854A1 (en) * 2006-08-08 2008-02-14 Texas Instruments Incorporated Method and system of communicating and rendering stereoscopic and dual-view images
AU2007342468B2 (en) * 2007-01-05 2011-11-24 Interdigital Vc Holdings, Inc. Hypothetical reference decoder for scalable video coding
CN104822062B (zh) 2007-01-08 2018-11-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
EP3484123A1 (en) 2007-01-12 2019-05-15 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
KR101514359B1 (ko) 2007-06-12 2015-04-22 톰슨 라이센싱 슬라이스 데이터에 관한 다중 과정 비디오 구문 구조를 지원하는 방법 및 장치
US20090125636A1 (en) * 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
CN101431675B (zh) * 2008-12-09 2010-12-08 青岛海信电子产业控股股份有限公司 一种像素运动估计方法和装置
GB0905184D0 (en) * 2009-03-26 2009-05-06 Univ Bristol Encryption scheme
US8908758B2 (en) 2010-01-06 2014-12-09 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
KR20140000662A (ko) * 2010-10-16 2014-01-03 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
US9497458B2 (en) 2010-11-26 2016-11-15 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, program, and integrated ciruit
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたnalユニットヘッダ
US9113172B2 (en) 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
EP2749029A4 (en) * 2011-08-25 2015-01-21 Panasonic Ip Corp America METHOD AND DEVICES FOR CODING, EXTRACTION AND DECODING VIDEO CONTENT BY MEANS OF A TILE CODING SCHEME
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
HUE055964T2 (hu) 2012-01-20 2022-01-28 Ge Video Compression Llc Párhuzamos feldolgozást lehetõvé tevõ kódolási koncepciók, transzport demultiplexer és videó bitfolyam
TWI634794B (zh) * 2012-04-13 2018-09-01 Ge影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
MX349567B (es) 2012-06-29 2017-08-03 Fraunhofer Ges Forschung Concepto de flujo de datos de video.
AU2013285333A1 (en) 2012-07-02 2015-02-05 Nokia Technologies Oy Method and apparatus for video coding
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
KR20150070205A (ko) * 2012-10-01 2015-06-24 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
KR101614361B1 (ko) * 2012-12-10 2016-04-21 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
US9992493B2 (en) 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
EP3007454A4 (en) 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
US9578142B2 (en) 2013-07-01 2017-02-21 Cisco Technology, Inc. System and method for improving resilience in transmission of data fragments
EP3614671B1 (en) 2013-07-15 2023-06-07 GE Video Compression, LLC Low delay concept in multi-layered video coding
KR101851479B1 (ko) 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1263421A (zh) * 1999-02-11 2000-08-16 分组视频股份有限公司 控制和传递异类通信网中数字压缩可视数据的方法和设备
EP1443774A1 (en) * 2003-01-24 2004-08-04 Alcatel A method of encoding and decoding of data packets
CN101317214A (zh) * 2005-10-05 2008-12-03 Lg电子株式会社 信号处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D/MV-HEVC HLS: Flexible layer clustering for extending the supported number of layers;Gerhard Tech;《Joint Collaborative Team on Video Coding (JCT-VC)》;20130802;全文 *
AHG 9: On dependent slice;Hendry;《Joint Collaborative Team on Video Coding (JCT-VC)》;20121019;摘要、2-3、第1-4页 *
MV-HEVC/SHVC HLS: Extending the supported number of layers;Karsten Suehring;《Joint Collaborative Team on 3D Video Coding Extensions》;20130426;全文 *

Also Published As

Publication number Publication date
KR20210121317A (ko) 2021-10-07
KR101914659B1 (ko) 2018-11-05
US20190327478A1 (en) 2019-10-24
US20160134896A1 (en) 2016-05-12
EP4325858A3 (en) 2024-05-15
US11792415B2 (en) 2023-10-17
US10595027B2 (en) 2020-03-17
JP2018186529A (ja) 2018-11-22
EP3926957B1 (en) 2023-10-18
US20210250593A1 (en) 2021-08-12
JP2016531475A (ja) 2016-10-06
KR102416235B1 (ko) 2022-07-05
KR20180137592A (ko) 2018-12-27
KR20180136572A (ko) 2018-12-24
US20210044814A1 (en) 2021-02-11
EP3926957C0 (en) 2023-10-18
US10609399B2 (en) 2020-03-31
KR20160027978A (ko) 2016-03-10
US10616591B2 (en) 2020-04-07
KR20230022261A (ko) 2023-02-14
JP2022184978A (ja) 2022-12-13
EP3022930A1 (en) 2016-05-25
KR101921646B1 (ko) 2018-11-23
WO2015007752A1 (en) 2015-01-22
CN105637867B (zh) 2019-08-30
EP4362466A2 (en) 2024-05-01
KR20160034336A (ko) 2016-03-29
KR102162121B1 (ko) 2020-10-06
KR20240055089A (ko) 2024-04-26
JP6966414B2 (ja) 2021-11-17
US10349066B2 (en) 2019-07-09
JP7405808B2 (ja) 2023-12-26
JP7509839B2 (ja) 2024-07-02
KR102067231B1 (ko) 2020-01-17
KR20200007088A (ko) 2020-01-21
EP3614671B1 (en) 2023-06-07
WO2015007751A1 (en) 2015-01-22
US11025929B2 (en) 2021-06-01
CN112104877B (zh) 2022-12-20
JP2022008511A (ja) 2022-01-13
EP4373092A1 (en) 2024-05-22
US10869047B2 (en) 2020-12-15
US20160156935A1 (en) 2016-06-02
JP6514197B2 (ja) 2019-05-15
WO2015007753A1 (en) 2015-01-22
EP3614671C0 (en) 2023-06-07
US20190253725A1 (en) 2019-08-15
JP6637149B2 (ja) 2020-01-29
CN105532002A (zh) 2016-04-27
KR20240046281A (ko) 2024-04-08
KR20210027512A (ko) 2021-03-10
US20230254495A1 (en) 2023-08-10
KR20200116541A (ko) 2020-10-12
WO2015007750A1 (en) 2015-01-22
JP6445552B2 (ja) 2018-12-26
JP2022106784A (ja) 2022-07-20
KR102652871B1 (ko) 2024-04-01
US20210243460A1 (en) 2021-08-05
US11616964B2 (en) 2023-03-28
JP2018186530A (ja) 2018-11-22
KR20180121675A (ko) 2018-11-07
US20190238871A1 (en) 2019-08-01
US20160156914A1 (en) 2016-06-02
WO2015007754A1 (en) 2015-01-22
US10142639B2 (en) 2018-11-27
EP3022931A1 (en) 2016-05-25
US20160134895A1 (en) 2016-05-12
CN105532002B (zh) 2020-03-24
KR20210054027A (ko) 2021-05-12
JP2024028978A (ja) 2024-03-05
KR102656946B1 (ko) 2024-04-16
KR20160032191A (ko) 2016-03-23
JP2019165455A (ja) 2019-09-26
US11647209B2 (en) 2023-05-09
KR102067048B1 (ko) 2020-01-17
KR20160032168A (ko) 2016-03-23
US20200195942A1 (en) 2020-06-18
JP6675979B2 (ja) 2020-04-08
KR101930817B1 (ko) 2018-12-19
KR102344387B1 (ko) 2021-12-28
KR20160032176A (ko) 2016-03-23
EP3614676C0 (en) 2023-11-08
KR20200007086A (ko) 2020-01-21
JP2016527795A (ja) 2016-09-08
US20200145678A1 (en) 2020-05-07
CN112104877A (zh) 2020-12-18
EP3022920A1 (en) 2016-05-25
US20240129499A1 (en) 2024-04-18
KR102249228B1 (ko) 2021-05-10
US20220141474A1 (en) 2022-05-05
KR20180121677A (ko) 2018-11-07
EP3022930B1 (en) 2021-03-24
JP2020065268A (ja) 2020-04-23
KR102435018B1 (ko) 2022-08-22
JP2021048591A (ja) 2021-03-25
US11006136B2 (en) 2021-05-11
US10425651B2 (en) 2019-09-24
JP7060650B2 (ja) 2022-04-26
JP2020167717A (ja) 2020-10-08
CN105637877A (zh) 2016-06-01
EP3022919B1 (en) 2021-05-05
US20160156936A1 (en) 2016-06-02
KR20220119766A (ko) 2022-08-30
EP4362466A3 (en) 2024-06-26
JP2016525312A (ja) 2016-08-22
JP2023089026A (ja) 2023-06-27
US20190082187A1 (en) 2019-03-14
EP3022918A1 (en) 2016-05-25
KR102223536B1 (ko) 2021-03-08
JP2024020424A (ja) 2024-02-14
EP3614676B1 (en) 2023-11-08
JP2022023888A (ja) 2022-02-08
KR102657916B1 (ko) 2024-04-15
JP6453874B2 (ja) 2019-01-16
JP6749365B2 (ja) 2020-09-02
CN105637876B (zh) 2019-04-02
US20240007657A1 (en) 2024-01-04
JP2016528799A (ja) 2016-09-15
JP7389168B2 (ja) 2023-11-29
KR20220053045A (ko) 2022-04-28
KR102310866B1 (ko) 2021-10-07
JP2016527794A (ja) 2016-09-08
KR102495846B1 (ko) 2023-02-06
EP3905683C0 (en) 2023-12-13
EP3905683B1 (en) 2023-12-13
JP2020167718A (ja) 2020-10-08
JP7553685B2 (ja) 2024-09-18
JP2024012407A (ja) 2024-01-30
KR20240052886A (ko) 2024-04-23
JP6951405B2 (ja) 2021-10-20
JP2024138290A (ja) 2024-10-08
CN105637876A (zh) 2016-06-01
EP4325858A2 (en) 2024-02-21
CN105637877B (zh) 2019-04-05
EP3022918B1 (en) 2019-07-10
EP3905683A1 (en) 2021-11-03
CN105637867A (zh) 2016-06-01
JP7229969B2 (ja) 2023-02-28
US20200195941A1 (en) 2020-06-18
EP3614671A1 (en) 2020-02-26
US11546618B2 (en) 2023-01-03
KR102388631B1 (ko) 2022-04-20
JP2019071633A (ja) 2019-05-09
EP3926957A1 (en) 2021-12-22
JP2019075792A (ja) 2019-05-16
US11012700B2 (en) 2021-05-18
US10349065B2 (en) 2019-07-09
CN110225358A (zh) 2019-09-10
CN110225358B (zh) 2021-10-12
EP3022919A1 (en) 2016-05-25
US20230156203A1 (en) 2023-05-18
KR20200116539A (ko) 2020-10-12
KR20180127524A (ko) 2018-11-28
KR20230003460A (ko) 2023-01-05
US20190387236A1 (en) 2019-12-19
US10523954B2 (en) 2019-12-31
US11252422B2 (en) 2022-02-15
EP3614676A1 (en) 2020-02-26
US20240114157A1 (en) 2024-04-04
US20210211687A1 (en) 2021-07-08
KR102162120B1 (ko) 2020-10-06
CN105532003A (zh) 2016-04-27
CN105532003B (zh) 2020-10-02
CN110139110A (zh) 2019-08-16
EP4294018A1 (en) 2023-12-20
CN110139110B (zh) 2021-11-05
JP6792020B2 (ja) 2020-11-25
EP3022931B1 (en) 2019-07-10
KR102162124B1 (ko) 2020-10-06
CN111510725A (zh) 2020-08-07
KR102482747B1 (ko) 2022-12-30
KR20220098279A (ko) 2022-07-11
KR20200116540A (ko) 2020-10-12

Similar Documents

Publication Publication Date Title
CN111510725B (zh) 网络装置和差错处理
JP2021048591A5 (zh)
US11677957B2 (en) Methods providing encoding and/or decoding of video using a syntax indicator and picture header
US20100061452A1 (en) Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video
US20090296826A1 (en) Methods and apparatus for video error correction in multi-view coded video
US20100205498A1 (en) Method for Detecting Errors and Recovering Video Data
US9282327B2 (en) Method and apparatus for video error concealment in multi-view coded video using high level syntax
US6909450B2 (en) Video encoding and decoding method of mitigating data losses in an encoded video signal transmitted through a channel
EP3611923B1 (en) Method for processing video with temporal layers
US20160173898A1 (en) Methods, Decoder and Encoder for Selection of Reference Pictures to be Used During Encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035680

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant