[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111162877A - 一种音视频服务质量控制的自适应前向纠错方法及应用 - Google Patents

一种音视频服务质量控制的自适应前向纠错方法及应用 Download PDF

Info

Publication number
CN111162877A
CN111162877A CN202010057362.XA CN202010057362A CN111162877A CN 111162877 A CN111162877 A CN 111162877A CN 202010057362 A CN202010057362 A CN 202010057362A CN 111162877 A CN111162877 A CN 111162877A
Authority
CN
China
Prior art keywords
fec
audio
video
path
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010057362.XA
Other languages
English (en)
Inventor
马乐
李波
张家旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202010057362.XA priority Critical patent/CN111162877A/zh
Publication of CN111162877A publication Critical patent/CN111162877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0046—Code rate detection or code type detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于宽带无线通信技术领域，公开了一种音视频服务质量控制的自适应前向纠错方法及应用，通过对信道有效损失率的推导和对路径容量、延迟边界的计算进而动态调节FEC包数量和FEC包的出发时间，使得FEC块大小和FEC包的传输时间间隔最小化，从而达到最高效率利用带宽以提高无线音视频传输的QoS。为了验证改进的FEC方法的有效性，搭建WebRTC音视频通信系统进行仿真测试，结果表明，与目前存在的自适应FEC方法相比，使用本发明提出的FEC方法，视频图像的PSNR的平均值高出了近10dB，音频传输信号波动减少。本发明有效提高了接收端音频和视频图像的质量，具有复杂度低、实现简单的特点。

Description

一种音视频服务质量控制的自适应前向纠错方法及应用
技术领域
本发明属于宽带无线通信技术领域，尤其涉及一种音视频服务质量控制的自适应前向纠错方法及应用。
背景技术
目前，最接近的现有技术：现有技术基于网络分级的自适应FEC(Forward ErrorCorrection，前向纠错)方法，该方法假设无线网络状态可以分成多个等级T1，T2，…，Tn。其中，T1表示网络处于很好的状态，此时不需要采用FEC编码；T2表示网络处于较好的状态，此时采用FEC编码，且设置编码冗余度为1；T3表示网络处于一般好的状态，此时也采用FEC编码，且设置编码冗余度为2，依此类推，当无线网络状态由Tk转变为Tk+1时，表示网络状态变得更差，此时编码冗余度比原来要增加1；当无线网络状态由Tk转变为Tk-1时，表示网络状态逐渐转好，此时编码冗余度比原来要降低1。发送端假设当前网络处于最好的状态，它首先生成并缓存16个源数据包作为应用层FEC编码组的输入符号。因为此时不需要采用FEC编码，可以直接将FEC编码组的输入符号传递到下层并发送到网络中。接收端通过判断数据包初始的接收情况，便能够统计出当前无线网络的丢包信息，并将统计的丢包信息反馈给发送端。发送端根据接收端反馈的FEC编码组内的数据包丢失数量对当前FEC编码组的编码冗余度进行动态调节。
基于网络分级的自适应FEC方法动态调节FEC编码冗余度的过程如下：FEC编码冗余度初始值设为0，当反馈的FEC编码组内数据包丢失数量大于当前编码冗余度时，代表网络当前状态与当前预期不符合，编码冗余度增加1；当反馈的FEC编码组内数据包丢失数量等于当前编码冗余度时，代表网络当前状态没有发生突变，编码冗余度不变；当反馈的FEC编码组内数据包丢失数量小于当前编码冗余度时，代表网络当前状态逐渐转好，编码冗余度降低1。
综上所述，现有技术存在的问题是：现有技术没有考虑到数据丢包严重情况和给出丢包率阈值划分的标准，导致数据包的传输时延增加和音视频传输过程中QoS下降。
解决上述技术问题的难度：要解决上述问题，需要有效地计算端到端数据传输的丢包率，当数据丢包严重时，上述算法通过逐次反馈接收信息来增加发送FEC数据包冗余度的方法进程缓慢，增加了数据传输过程的时延，降低传输效率。
解决上述技术问题的意义：通过解决上述问题，对丢包率较低和较高时候的FEC冗余包进行快速且合理的分配，有效地解决了网络丢包率较低时，多余的冗余数据包会占用一定的带宽资源造成视频延时抖动现象，和当网络丢包率较高时，固定数量的冗余数据包又不足以恢复出正确的源数据包，造成视频卡顿、花屏等问题，提高了接收端音视频的重建质量。
发明内容
针对现有技术存在的问题，本发明提供了一种音视频服务质量控制的自适应前向纠错方法及应用。
本发明是这样实现的，一种音视频服务质量控制的自适应前向纠错方法，所述音视频服务质量控制的自适应前向纠错方法通过对信道有效损失率的推导和对路径容量、延迟边界的计算进而动态调节FEC包数量和FEC包的出发时间，使得FEC块大小和FEC包的传输时间间隔最小化。
进一步，所述音视频服务质量控制的自适应前向纠错方法包括以下步骤：
第一步，确定音视频网络通信路径的度量指标；
第二步，音视频通信路径的失真估计，用户最终感知到的音视频失真为信源失真和信道失真之和；
第三步，根据音视频通信系统的FEC的性质，信号失真有效损失率计算；
第四步，FEC块大小和传输间隔的约束条件确定；
第五步，在路径容量和延迟约束下分配足够的FEC包。
进一步，所述第一步确定音视频网络通信路径的度量指标包括：带宽μ、往返时间Q、丢包率
Figure BDA0002373262610000035
已知，音视频通信路径上的突发损耗行为由连续时间Gilbert损耗模型建模是一个双态平稳连续时间马尔可夫链；状态χr(t)在t时刻假设有两个值：G(好)和B(坏)；如果在时间t发送一个数据包当χr(t)＝G，发送数据包了；否则，当χr(t)＝B时，出现丢包；用
Figure BDA0002373262610000036
和
Figure BDA0002373262610000037
表示到D的固定路径是好的还是坏的；用λE和λG表示从G到B和从B到G的转移数据包数量，得出：
Figure BDA0002373262610000031
and
Figure BDA0002373262610000032
进一步，所述第二步包括：由端到端音视频失真模型可知，用户最终感知到的音视频失真为信源失真(Dsrc)和信道失真(Dchl)之和，端到端音视频失真表示为：
D＝Dsrc+Dchl；
信道失真是由平均有效损耗率(Γ)和序列参数决定的，信道失真大致与平均有效损耗率成比例：
Figure BDA0002373262610000033
其中，ε、V0、η参数取决于特定的编解码器和数据序列，通过使用非线性回归技术从试验编码中估计。
进一步，所述第三步包括：根据音视频通信系统的FEC的性质，路径P的有效损失率Γ表示为：
Figure BDA0002373262610000034
c表示一个n元组，表示在n包向D传输期间的特定故障配置，如果FEC块中的第i个包在路径P上丢失，那么ci＝B，1≤i≤n，反之亦然；通过考虑所有可能的c配置，计算传输损失率
Figure BDA0002373262610000038
为：
Figure BDA0002373262610000041
其中，
Figure BDA0002373262610000048
表示给定c的路径P上丢失的FEC包的数量，得到
Figure BDA0002373262610000049
的表达式：
Figure BDA0002373262610000042
令P(ci)表示第i个数据包在路径P上丢失的概率，连续吉尔伯特损失模型的P(ci)的推导很简单；用fi，j(θ)表示时间θ时刻路径P从状态i到j转换的概率：
fi，j(θ)＝P[χr(θ)＝j|χr(0)＝i]；
对于连续时间马尔可夫链，以下状态转移矩阵：
Figure BDA0002373262610000043
其中k＝exp[-(μB+μG)*θ]，
Figure BDA00023732626100000410
的表达式得出，当n＝3，c3＝B|c2＝B|c1＝G，得到：
Figure BDA00023732626100000411
其中θi是出发的时间间隔在路径P上的第i个和(i+1)个FEC包之间，P(c)计算为：
Figure BDA0002373262610000044
最后，经过代数运算，得到：
Figure BDA0002373262610000045
使用M/G/1模型对排队延迟进行建模，通信路径P上数据包的丢失概率表示为：
Figure BDA0002373262610000046
端到端延迟d包括路径传播延迟和数据传输延迟，n个FEC包被分配到D上，d被估计：
Figure BDA0002373262610000047
其中，
Figure BDA00023732626100000412
代表的无损耗带宽，Δ表示FEC数据包的大小，无损耗带宽是在有损路径上进行端到端数据传输可用容量的良好指示器，迟到的FEC包的概率被得出：
Figure BDA0002373262610000051
进一步，所述第四步包括：确定FEC块大小和传输间隔的约束条件：给定网络状态
Figure BDA0002373262610000055
FEC参数(Δ，n，k)，编码率(V)，FEC块的延迟约束(T)，设计一个有效的传输方案使得信道失真降到最低；对于每一个数据包，确定FEC包数量(n)和FEC包的出发时间(Φi)：
Figure BDA0002373262610000052
进一步，优化问题满足以下约束条件：
(1)路径P上FEC包(n)的分配数量不超过路径容量且编码时间不超过延迟约束T：
Figure BDA0002373262610000053
(2)所有FEC数据包应在延迟约束T之前估计到达目的地：
Figure BDA0002373262610000054
其中Ψi表示FEC数据包传输延迟和Φi代表了FEC数据包出发的时间；
(3)FEC报文按顺序发送，在上一个FEC数据包编码过程完成后，发送下一个FEC数据包，表示为：
0≤Φi≤Φi+1，1≤i≤n。
进一步，所述第五步包括：在路径容量和延迟约束下分配足够的FEC包：
Figure BDA0002373262610000056
其中
Figure BDA0002373262610000057
表示P的无损带宽，得出：
Figure BDA0002373262610000058
其中
Figure BDA0002373262610000059
表示最大的整数小于x，关于延迟约束，获得n表示的最大值：
Figure BDA00023732626100000510
Δ表示FEC的数据包的大小，得到n的值：
Figure BDA0002373262610000061
计算每个FEC包的出发时间，出发的时间表示为：
Figure BDA0002373262610000062
如此循环，通过对信道有效损失率的推导和对路径容量、延迟边界的计算动态调节FEC包数量(n)和FEC包的出发时间(Φi)，使得FEC块大小和FEC包的传输时间间隔最小化，达到最高效率利用带宽以提高无线流媒体传输的QoS。
本发明的另一目的在于提供一种所述音视频服务质量控制的自适应前向纠错方法的音频和视频传输系统。搭建的系统效果图如图13所示。
综上所述，本发明的优点及积极效果为：本发明对信道有效损失率的推导和对路径容量、延迟边界的计算进而动态调节FEC编码冗余度和每个FEC包的出发时间。本发明通过动态调节FEC包数量和FEC包的出发时间，使得FEC块大小和FEC包的传输时间间隔最小化，从而达到最高效率利用带宽以提高WebRTC音视频传输的QoS。
与目前存在的自适应FEC方法相比，使用本发明提出的FEC方法有效提高了接收端音频和视频图像的质量，复杂度低、实现简单。
附图说明
图1是本发明实施例提供的音视频服务质量控制的自适应前向纠错方法流程图。
图2是本发明实施例提供的音视频服务质量控制的自适应前向纠错方法的实现流程图。
图3是本发明实施例提供的仿真拓扑图。
图4是本发明实施例提供的搭建成功的WebRTC音视频通话系统图。
图5是本发明实施例提供的通过Wireshark抓包工具进行实时网络丢包率监测图。
图6是本发明实施例提供的不同FEC前向纠错自适应控制方法下的接收端视频图像在不同丢包率下的平均PSNR值。
图7是本发明实施例提供的在平均丢包率为3％的情况下，不同音视频用户数量下接收端图像的平均PSNR值。
图8是本发明实施例提供的基于网络分级的自适应FEC方法处理后的视频帧图像。
图9是本发明实施例提供的基于状态估计的自适应FEC方法处理后的视频帧图像。
图10是本发明实施例提供的原始输入音频信号利用Python开源绘图库matplotlib绘制的音频波形图。
图11是本发明实施例提供的基于网络分级的自适应FEC方法处理后的接收端音频信号波形图。
图12是本发明实施例提供的基于状态估计的自适应FEC方法处理后的接收端音频信号波形图。
图13是本发明实施例提供的多人音视频系统效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种音视频服务质量控制的自适应前向纠错方法及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的音视频服务质量控制的自适应前向纠错方法包括以下步骤：
S101：确定音视频网络通信路径的度量指标；
S102：音视频通信路径的失真估计，用户最终感知到的音视频失真为信源失真和信道失真之和；
S103：根据音视频通信系统的FEC的性质，信号失真有效损失率计算；
S104：FEC块大小和传输间隔的约束条件确定；
S105：在路径容量和延迟约束下分配足够的FEC包。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的音视频服务质量控制的自适应前向纠错方法包括以下步骤：
第一步：确定音视频网络通信路径的度量指标，即可用带宽μ、往返时间Q、丢包率
Figure BDA0002373262610000082
均为已知。音视频通信路径上的突发损耗行为由连续时间Gilbert损耗模型建模。它是一个双态平稳连续时间马尔可夫链。状态χr(t)在t时刻假设有两个值：G(好)和B(坏)。如果在时间t发送一个数据包当χr(t)＝G，这样就可以成功地发送数据包了。否则，当χr(t)＝B时，会出现丢包。本发明用
Figure BDA0002373262610000083
和
Figure BDA0002373262610000084
表示到D的固定路径是好的还是坏的。用λE和λG表示从G到B和从B到G的转移数据包数量。然后本发明可以得出：
Figure BDA0002373262610000081
第二步：由端到端音视频失真模型可知，用户最终感知到的音视频失真为信源失真(Dsrc)和信道失真(Dchl)之和。具体来说，端到端音视频失真可以表示为：
D＝Dsrc+Dchl (2)
该模型表明，音视频通信质量既取决于媒体信息数据压缩造成的失真，也取决于通信网络中传输数据损失造成的失真。信源失真主要由编码速率和传输数据序列复杂程度决定的。相同的编码速率下，较复杂的传输数据序列会产生较大的失真。在保证相同的传输数据序列时，随着编码速率的增加，信源失真减小。在较低的编码速率范围内，这种下降比较陡峭的，但在较高的比特率范围内，这种下降趋于平缓。信道失真是由平均有效损耗率(Γ)和序列参数决定的。信道失真大致与平均有效损耗率成比例：
Figure BDA0002373262610000091
其中，ε、V0、η参数取决于特定的编解码器和数据序列。这些参数可以通过使用非线性回归技术从试验编码中估计出来。
第三步：根据音视频通信系统的FEC的性质，路径P的有效损失率Γ可以表示为：
Figure BDA0002373262610000092
设c表示一个n元组，表示在n包向D传输期间的特定故障配置。如果FEC块中的第i个包在路径P上丢失，那么ci＝B，1≤i≤n，反之亦然。通过考虑所有可能的c配置，本发明可以计算传输损失率
Figure BDA00023732626100000910
为：
Figure BDA0002373262610000093
其中，
Figure BDA0002373262610000097
表示给定c的路径P上丢失的FEC包的数量，然后得到
Figure BDA0002373262610000096
的表达式：
Figure BDA0002373262610000094
令P(ci)表示第i个数据包在路径P上丢失的概率。连续吉尔伯特损失模型的P(ci)的推导很简单。本发明用fi，j(θ)来表示时间θ时刻路径P从状态i到j转换的概率：
fi，j(θ)＝P[χr(θ)＝j|χr(0)＝i] (7)
对于连续时间马尔可夫链，本发明有以下状态转移矩阵：
Figure BDA0002373262610000095
其中k＝exp[-(μB+μG)*θ]，现在，
Figure BDA0002373262610000098
的表达式可以得出，例如，当n＝3，c3＝B|c2＝B|c1＝G，本发明可以得到：
Figure BDA0002373262610000099
其中θi是出发的时间间隔在路径P上的第i个和(i+1)个FEC包之间。一般情况下，P(c)可以计算为：
Figure BDA0002373262610000108
最后，经过一系列的代数运算，本发明得到：
Figure BDA0002373262610000101
在容量有限的通信网络中，服务时间(排队时延)可以用指数分布来建模。最近的研究表明，视频流量模式遵循马尔可夫调制过程。因此，本发明使用M/G/1模型对排队延迟进行建模，通信路径P上数据包的丢失概率可以表示为：
Figure BDA0002373262610000102
端到端延迟d包括路径传播延迟和数据传输延迟。由于n个FEC包被分配到D上，因此，d可以被估计：
Figure BDA0002373262610000103
其中，
Figure BDA0002373262610000107
代表的无损耗带宽，Δ表示FEC数据包的大小。无损耗带宽是在有损路径上进行端到端数据传输可用容量的良好指示器。迟到的FEC包的概率可以被得出：
Figure BDA0002373262610000104
根据(4)，(11)和(14)，可获得Γ的表达。因此，本方法考虑的信道失真包括在Internet上的传输和拥塞损失得以计算。
第四步：确定FEC块大小和传输间隔的约束条件：给定网络状态
Figure BDA0002373262610000106
FEC参数(Δ，n，k)，编码率(V)，FEC块的延迟约束(T)，设计一个有效的传输方案使得信道失真降到最低。即对于每一个数据包，确定FEC包数量(n)和FEC包的出发时间(Φi)：
Figure BDA0002373262610000105
其中πr *和πr ξ可以分别通过式(11)和式(14)获得。为保证其可行性，该优化问题满足以下约束条件。
(1)路径P上FEC包(n)的分配数量不超过路径容量且编码时间不超过延迟约束T：
Figure BDA0002373262610000111
(2)所有FEC数据包应在延迟约束T之前估计到达目的地：
Figure BDA0002373262610000113
其中Ψi表示FEC数据包传输延迟和Φi代表了FEC数据包出发的时间。
(3)FEC报文按顺序发送。此外，在上一个FEC数据包编码过程完成后，发送下一个FEC数据包，可以表示为：
0≤Φi≤Φi+1，1≤i≤n (18)
第五步：在路径容量和延迟约束下分配足够的FEC包：
Figure BDA0002373262610000112
其中
Figure BDA0002373262610000114
表示P的无损带宽，然后，本发明可以得出：
Figure BDA0002373262610000115
其中
Figure BDA0002373262610000116
表示最大的整数小于x。关于延迟约束，本发明还可以获得n表示的最大值：
Figure BDA0002373262610000117
Δ表示FEC的数据包的大小。最后，本发明可以得到n的值：
Figure BDA0002373262610000118
约束条件(2)估计的延迟边界Ψ和条件(3)以确保FEC包尽可能按顺序到达目的地，本发明可以计算每个FEC包的出发时间。出发的时间可以表示为：
Figure BDA0002373262610000119
如此循环，通过对信道有效损失率的推导和对路径容量、延迟边界的计算进而动态调节FEC包数量(n)和FEC包的出发时间(Φi)，使得FEC块大小和FEC包的传输时间间隔最小化，从而达到最高效率利用带宽以提高无线流媒体传输的QoS。
下面结合实验对本发明的技术效果作详细的描述。
为了验证改进的FEC方法的有效性，对WebRTC的源码进行改进和编译，搭建WebRTC音视频通信系统进行仿真测试，搭建的系统采用的是Ubuntu14.04作为服务器的操作系统，开发工具为eclipse，用户访问支持在window的操作系统上使用，也支持在google的安卓系统上使用。浏览器支持如chrome浏览器等主流浏览器的最新版本。
本发明中WebRTC通信系统的FEC实现主要用到ULPFEC方案。ULPFEC是在VideoReceiveStream中解析RED后判断PT再将RTP包添加到UlpfecReceiver中，处理完再回调回来，分别使用AddReceivedPacket和OnRecoveredPackt。一个完整的接收端恢复丢失数据包的过程为：在modules/rtp_rtcp/source/ulpfec_genrator.h的classUlpfecGenerator中定义ULPFEC的编码实现，采用将ULPFEC报文封装在RED报文中随源媒体数据一起发送的方式。接受端首先把接收到的RED包进行解包得到RTP包或FEC包，接着把RTP/FEC包插入到FEC处理模块的合适列表中，最后发起数据包恢复尝试。
按照图3所示拓扑图搭建好WebRTC服务器之后，两台PC端打开浏览器以设置好的IP地址和端口号作为登录网址，登陆成功后创建会话房间ID，进入音视频会话房间，完成WebRTC音视频通话系统的搭建，搭建完成的系统如图4所示。整个仿真拓扑为无线网络组成，通过Wireshark抓包工具进行实时监测网络吞吐量如图5所示。在PC端安装WirelessMon信号强度监测软件，该软件用来监测出接收信号强度，以确保实验中信号强度保持不变，避免因信号强度增强或减弱而引起实验数据传输时的失真。
(1)视频质量测试
视频质量的一个标准衡量度量是PSNR。该度量被表示为原始和重建视频帧之间的均方误差的函数。PSNR作为图像质量评价的客观标准，它通过计算原始图像和重建图像亮度分量的均方误差来判断重建图像的画面质量是否接近原始图像，该值越大，说明失真越少，重建图像质量越高。
图6为不同FEC前向纠错自适应控制方法下的接收端视频图像在不同丢包率下的平均PSNR值。可以看出，在丢包率较低的情况下，基于网络分级的自适应FEC方法和基于状态估计的自适应FEC方法的性能非常接近。这是因为丢包的概率很低的情况下大大减少了执行重发的需要。然而，随着丢包率和突发丢失长度的增加，本发明提出的基于状态估计的自适应FEC方法则成功地实现了更高的PSNR值。从仿真实验结果来看，基于状态估计的自适应FEC方法在多次测试的仿真场景中都获得比较好的视频质量(PSNR>36dB)。
在图7中，绘制了在平均丢包率为3％的情况下，不同音视频用户数量下不同方法处理后接收端图像的平均PSNR值。随着接收端数量的增加，基于状态估计的自适应FEC方法比基于网络分级的自适应FEC方法的PSNR值高出了近10dB左右。
在图8和图9中，当网络丢包率为3％时，比较了使用两种方法处理后接收端收到的视频帧图像，以比较主观的视频质量。接收到的视频帧在经历传输损伤后明显受损，与基于网络分级的自适应FEC方法相比，基于状态估计的自适应FEC方法对视频数据恢复起到了重要的作用，提高了视频的品质，保证了终端用户可以获得优质的视频体验。
(2)音频质量测试
通过录音采集音频数据集的方式，对基于网络分级的自适应FEC方法和基于状态估计的自适应FEC方法的两种方法处理后的接收端的音频接收信号进行对比，测试了使用两种方法的WebRTC通信系统的音频传输性能。通信一端使用录制好的带噪音频信号作为输入信号，通信另一端对实时通话音频信号进行录音，对比两种方法性能区别。原始输入音频信号利用Python开源绘图库matplotlib绘制其音频波形如图10所示。
由图11和图12对比可以看出，在网络状况一定的情况下，原始带噪音频信号在使用基于状态估计的自适应FEC方法的WebRTC通信系统中的传输性能较好，幅度波动较小，卡顿现象和噪声较少，接收端的音频信号更接近原始的音频信号。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音视频服务质量控制的自适应前向纠错方法，其特征在于，所述音视频服务质量控制的自适应前向纠错方法通过对信道有效损失率的推导和对路径容量、延迟边界的计算进而动态调节FEC包数量和FEC包的出发时间，使得FEC块大小和FEC包的传输时间间隔最小化。
2.如权利要求1所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述音视频服务质量控制的自适应前向纠错方法包括以下步骤：
第一步，确定音视频网络通信路径的度量指标；
第二步，音视频通信路径的失真估计，用户最终感知到的音视频失真为信源失真和信道失真之和；
第三步，根据音视频通信系统的FEC的性质，信号失真有效损失率计算；
第四步，FEC块大小和传输间隔的约束条件确定；
第五步，在路径容量和延迟约束下分配足够的FEC包。
3.如权利要求2所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述第一步确定音视频网络通信路径的度量指标包括：带宽μ、往返时间Q、丢包率
Figure FDA0002373262600000011
已知，音视频通信路径上的突发损耗行为由连续时间Gilbert损耗模型建模是一个双态平稳连续时间马尔可夫链；状态Xr(t)在t时刻假设有两个值：G(好)和B(坏)；如果在时间t发送一个数据包当Xr(t)＝G，发送数据包了；否则，当Xr(t)＝B时，出现丢包；用
Figure FDA0002373262600000012
和
Figure FDA0002373262600000013
表示到D的固定路径是好的还是坏的；用λB和λG表示从G到B和从B到G的转移数据包数量，得出：
Figure FDA0002373262600000014
and
Figure FDA0002373262600000015
4.如权利要求2所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述第二步包括：由端到端音视频失真模型可知，用户最终感知到的音视频失真为信源失真(Dsrc)和信道失真(Dchl)之和，端到端音视频失真表示为：
D＝Dsrc+Dchl；
信道失真是由平均有效损耗率(Γ)和序列参数决定的，信道失真大致与平均有效损耗率成比例：
Figure FDA0002373262600000021
其中，ε、V0、η参数取决于特定的编解码器和数据序列，通过使用非线性回归技术从试验编码中估计。
5.如权利要求2所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述第三步包括：根据音视频通信系统的FEC的性质，路径P的有效损失率Γ表示为：
Figure FDA0002373262600000022
c表示一个n元组，表示在n包向D传输期间的特定故障配置，如果FEC块中的第i个包在路径P上丢失，那么ci＝B，1≤i≤n，反之亦然；通过考虑所有可能的c配置，计算传输损失率
Figure FDA0002373262600000023
为：
Figure FDA0002373262600000024
其中，
Figure FDA0002373262600000025
表示给定c的路径P上丢失的FEC包的数量，得到
Figure FDA0002373262600000026
的表达式：
Figure FDA0002373262600000027
令P(ci)表示第i个数据包在路径P上丢失的概率，连续吉尔伯特损失模型的P(ci)的推导很简单；用fi，j(θ)表示时间θ时刻路径P从状态i到j转换的概率：
fi，j(θ)＝P[Xr(θ)＝j|Xr(0)＝i]；
对于连续时间马尔可夫链，以下状态转移矩阵：
Figure FDA0002373262600000028
其中k＝exp[-(μB+μG)*θ]，
Figure FDA0002373262600000029
的表达式得出，当n＝3，c3＝B|c2＝B|c1＝G，得到：
Figure FDA00023732626000000210
其中θi是出发的时间间隔在路径P上的第i个和(i+1)个FEC包之间，P(c)计算为：
Figure FDA0002373262600000031
最后，经过代数运算，得到：
Figure FDA0002373262600000032
使用M/G/1模型对排队延迟进行建模，通信路径P上数据包的丢失概率表示为：
Figure FDA0002373262600000033
端到端延迟d包括路径传播延迟和数据传输延迟，n个FEC包被分配到D上，d被估计：
Figure FDA0002373262600000034
其中，
Figure FDA0002373262600000035
代表的无损耗带宽，Δ表示FEC数据包的大小，无损耗带宽是在有损路径上进行端到端数据传输可用容量的良好指示器，迟到的FEC包的概率被得出：
Figure FDA0002373262600000036
6.如权利要求2所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述第四步包括：确定FEC块大小和传输间隔的约束条件：给定网络状态
Figure FDA0002373262600000037
FEC参数(Δ，n，k)，编码率(V)，FEC块的延迟约束(T)，设计一个有效的传输方案使得信道失真降到最低；对于每一个数据包，确定FEC包数量(n)和FEC包的出发时间(Φi)：
Figure FDA0002373262600000038
7.如权利要求6所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，优化问题满足以下约束条件：
(1)路径P上FEC包(n)的分配数量不超过路径容量且编码时间不超过延迟约束T：
Figure FDA0002373262600000041
(2)所有FEC数据包应在延迟约束T之前估计到达目的地：
Figure FDA0002373262600000042
其中Ψi表示FEC数据包传输延迟和Φi代表了FEC数据包出发的时间；
(3)FEC报文按顺序发送，在上一个FEC数据包编码过程完成后，发送下一个FEC数据包，表示为：
0≤Φi≤Φi+1，1≤i≤n。
8.如权利要求2所述的音视频服务质量控制的自适应前向纠错方法，其特征在于，所述第五步包括：在路径容量和延迟约束下分配足够的FEC包：
Figure FDA0002373262600000043
其中
Figure FDA0002373262600000044
表示P的无损带宽，得出：
Figure FDA0002373262600000045
其中
Figure FDA0002373262600000046
表示最大的整数小于x，关于延迟约束，获得n表示的最大值：
Figure FDA0002373262600000047
Δ表示FEC的数据包的大小，得到n的值：
Figure FDA0002373262600000048
计算每个FEC包的出发时间，出发的时间表示为：
Figure FDA0002373262600000049
如此循环，通过对信道有效损失率的推导和对路径容量、延迟边界的计算动态调节FEC包数量(n)和FEC包的出发时间(Φi)，使得FEC块大小和FEC包的传输时间间隔最小化，达到最高效率利用带宽以提高无线流媒体传输的QoS。
9.一种如权利要求1～8任意一项所述音视频服务质量控制的自适应前向纠错方法的宽带无线通信系统。
10.一种如权利要求1～8任意一项所述音视频服务质量控制的自适应前向纠错方法的音频和视频传输系统。
CN202010057362.XA 2020-01-19 2020-01-19 一种音视频服务质量控制的自适应前向纠错方法及应用 Pending CN111162877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010057362.XA CN111162877A (zh) 2020-01-19 2020-01-19 一种音视频服务质量控制的自适应前向纠错方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010057362.XA CN111162877A (zh) 2020-01-19 2020-01-19 一种音视频服务质量控制的自适应前向纠错方法及应用

Publications (1)

Publication Number Publication Date
CN111162877A true CN111162877A (zh) 2020-05-15

Family

ID=70564036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010057362.XA Pending CN111162877A (zh) 2020-01-19 2020-01-19 一种音视频服务质量控制的自适应前向纠错方法及应用

Country Status (1)

Country Link
CN (1) CN111162877A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935441A (zh) * 2020-07-30 2020-11-13 北京佳讯飞鸿电气股份有限公司 一种网络状态检测方法及装置
CN113015020A (zh) * 2021-03-01 2021-06-22 深圳市安赛通科技有限公司 一种网络传输协议快速纠错的算法
CN114900716A (zh) * 2022-05-11 2022-08-12 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030838A (zh) * 2007-04-02 2007-09-05 Ut斯达康通讯有限公司 一种在iptv网络中动态自适应前向差错控制的系统及方法
US20080192738A1 (en) * 2007-02-14 2008-08-14 Microsoft Corporation Forward error correction for media transmission
CN101252425A (zh) * 2008-04-09 2008-08-27 杭州华三通信技术有限公司 一种自动适应网络的丢包纠错方法和系统
US20110219279A1 (en) * 2010-03-05 2011-09-08 Samsung Electronics Co., Ltd. APPLICATION LAYER FEC FRAMEWORK FOR WiGig

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192738A1 (en) * 2007-02-14 2008-08-14 Microsoft Corporation Forward error correction for media transmission
CN101030838A (zh) * 2007-04-02 2007-09-05 Ut斯达康通讯有限公司 一种在iptv网络中动态自适应前向差错控制的系统及方法
CN101252425A (zh) * 2008-04-09 2008-08-27 杭州华三通信技术有限公司 一种自动适应网络的丢包纠错方法和系统
US20110219279A1 (en) * 2010-03-05 2011-09-08 Samsung Electronics Co., Ltd. APPLICATION LAYER FEC FRAMEWORK FOR WiGig

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GERHARD HASSLINGER: "The Gilbert-Elliott Model for Packet Loss in Real Time Services on the Internet", 《14TH GI/ITG CONFERENCE MEASUREMENT》 *
马乐: "基于WebＲTC音视频传输的FEC技术研究", 《电视技术第43卷第13期(总第521期)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935441A (zh) * 2020-07-30 2020-11-13 北京佳讯飞鸿电气股份有限公司 一种网络状态检测方法及装置
CN113015020A (zh) * 2021-03-01 2021-06-22 深圳市安赛通科技有限公司 一种网络传输协议快速纠错的算法
CN114900716A (zh) * 2022-05-11 2022-08-12 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质
CN114900716B (zh) * 2022-05-11 2023-09-26 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质

Similar Documents

Publication Publication Date Title
EP3940974B1 (en) Transmission method and device for data stream
Wu et al. Content-aware concurrent multipath transfer for high-definition video streaming over heterogeneous wireless networks
Wu et al. Improving multipath video transmission with raptor codes in heterogeneous wireless networks
JP5009009B2 (ja) 無線データストリーミングシステムのパラメータの制御方法及び装置
Kwon et al. MPMTP: Multipath multimedia transport protocol using systematic raptor codes over wireless networks
Wu et al. Modeling and optimization of high frame rate video transmission over wireless networks
CN111162877A (zh) 一种音视频服务质量控制的自适应前向纠错方法及应用
KR20060128595A (ko) 오류 정정 패킷을 이용한 전송률 제어 방법 및 이를 이용한통신 장치
Lin et al. An access point-based FEC mechanism for video transmission over wireless LANs
CN113015020A (zh) 一种网络传输协议快速纠错的算法
CN115037416B (zh) 数据前向纠错处理方法、装置、电子设备和存储介质
Wu et al. Leveraging the delay-friendliness of TCP with FEC coding in real-time video communication
WO2023010992A1 (zh) 视频编码方法、装置、计算机可读介质及电子设备
Argyriou Cross-layer error control for multimedia streaming in wireless/wireline packet networks
Seferoglu et al. Rate distortion optimized joint ARQ-FEC scheme for real-time wireless multimedia
Chakareski et al. Low-complexity rate-distortion optimized video streaming
Wu et al. Delay-aware quality optimization in cloud-assisted video streaming system
CN109348222B (zh) 一种参考帧的选取方法
Jagmagji et al. Exploration and Evaluation of Self-Clocked Rate Adaptation for Multimedia (SCReAM) Congestion Control Algorithm in 5G Networks
WO2021164405A1 (zh) 数据编解码方法、相关设备及系统
Costa et al. Adaptive quality of service in voice over ip communications
Convertino et al. MMC05-1: an adaptive FEC scheme to reduce bursty losses in a 802.11 network
EP3396908B1 (en) Bonding device for scheduling a distribution of data packets over access links
Lee et al. An efficient adaptive FEC algorithm for short-term quality control in wireless networks
Singh et al. Modeling and Optimization of Video Transmission in Data Compression & Source Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515

RJ01 Rejection of invention patent application after publication