CN103313002B - 基于情境的移动流媒体节能优化方法 - Google Patents

Abstract

本发明公开了一种基于情境的移动流媒体节能优化方法，包括：通过光敏传感器获取当前环境亮度，接收流媒体数据并解码，从码流中提取视频内容细节信息，视频内容细节信息分等级并将等级量化，将环境亮度值与等级量化值加权，根据加权值的大小判定是否提交屏幕亮度调节请求调整屏幕亮度，统计解码后视频内容亮度和对比度，以对比度高低决定调整方法和调整范围，对亮度的调整进行控制，不立刻将显示屏亮度改变到指定值，在指定时间内把当前亮度值平滑调节到请求亮度值。本发明在保证用户体验的前提下，既能充分利用显示屏背光亮度的自动调节功能又能以复杂度较低的计算基于情景对显示屏亮度进行调节，能有效节约移动终端能耗。

Description

基于情境的移动流媒体节能优化方法

技术领域

本发明属于移动与绿色科技领域，具体涉及一种基于情境的移动流媒体节能优化方法。

背景技术

据ITU调查，预计2013年年末，全球整体移动通信普及率将达到96%，其中，半数以上移动用户位于亚洲。智能手机平台的份额正逐步上升，非智能手机平台正逐步减小，而在智能手机平台中，Android 的表现突出，增幅明显。用户中超过70%会随时使用智能手机，智能手机在用户生活中占据重要地位，已成为用户生活不可或缺的一部分。然而智能手机耗电问题愈显突出，根据对智能手机主要耗电应用程序的统计，除了语音通信与手机上网外，语音视频播放占据相当大比例。在智能手机主要功能耗电比重中，显示频和背光所耗电量占47%。目前智能手机屏幕有逐渐增大的趋势，随着智能手机屏幕的增大，其耗电量也会相应提高，所以在屏幕显示方面，节能潜力巨大。以往在使用视频业务时，显示屏处于常亮状态，主流客户端为确保观赏效果，对显示屏亮度处理一般采取系统默认设置或者不可调节的方法，大大增加了视频播放过程中显示屏耗电量。为此，各大厂商也在积极探寻智能手机节能优化新方法。

现有的显示屏背光亮度的智能调节方法是通过预设有显示屏背光亮度值与环境光亮度值对应的参照表，获取当前环境光亮度值，并根据上述的参照表设定显示屏亮度值来实现，用户也可以手动调节屏幕亮度，该方案将用户习惯反映到参数表中。

面对智能终端能耗问题，预设有显示屏背光亮度值与环境光亮度值对应的参照表，显然增加了内存开销；由于每次用户的亮度调节值会有变化，用户习惯反映到参数表中的内容会经常被修改，复杂度相应加大；获取当前环境光亮度值，根据上述的参照表设定显示屏亮度的方法只考虑到环境亮度因素，并没有基于内容地对显示屏背光亮度进行调节。

发明内容

本发明的目的是提供一种基于情境的移动流媒体节能优化方法，能保证用户体验的前提下，既能充份利用显示屏背光亮度的自动调节功能又能以复杂度较低的计算基于情景对显示屏亮度进行调节，能有效节约移动终端能耗。

本发明采用以下方案实现：一种基于情境的移动流媒体节能优化方法，其特征在于，包括以下步骤：

（1）移动流媒体客户端通过光敏传感器获取当前环境亮度B1；

（2）移动流媒体客户端接收流媒体数据，对接受到的数据包进行分析，提取视频内容细节信息，根据视频内容细节信息分等级并将等级量化；

（3）将环境亮度B1与视频内容细节等级量化值根据其影响因子大小进行加权，根据加权值的大小决定是否提交屏幕亮度调节请求，若加权值大于以前N帧亮度值作参考基准动态选择的阈值，提交屏幕调亮请求；若加权值小于该阈值，提交屏幕调暗请求；

（4）统计视频内容亮度和对比度，根据环境亮度B1、视频内容亮度、和视频内容对比度根据影响因子的加权决定调整范围；

（5）对屏幕亮度调整范围的选择基于以下策略：对解码出的帧，进行亮度和对比度分析，根据直方图分布获取画面亮度和对比度实时情况，环境亮度B1、画面内容亮度和对比度三者加权值作为分析参数，得出决定亮度调整范围的准确值。

在本发明一实施例中，所述步骤（2）中等级量化的具体方式包括：

步骤2.1 解码获取流媒体数据流NAL单元，对解码后的帧进行分析,获取其编码量化步长Q1；

步骤2.2 设定阈值为 C1 及将AC参数量化归为0、 1以及其他值三类；

步骤2.3 统计DCT变换系数矩阵中AC分量值，其分布服从Laplacian分布，

概率密度函数如公式（1）

（1）

其中， ， 为方差，x为AC分量值；

步骤2.4 量化值为1的概率由公式（2）确定

（2）；

其中，p₂为量化值为1的概率，p表示落入某个区间的概率。

步骤2.5 设定k1 、k2及k3分别为0、 1和其它数值的个数，n为非零AC值总数，根据k2的似然函数可估计值，由公式（3）确定

（3）；

步骤2.6 将视频内容细节信息进行等级划分，根据其细节信息等级转换为亮度等级，得到其等级量化值QV。

在本发明一实施例中，所述的C1为0.625Q1，C2为1.625Q1。

在本发明一实施例中，所述视频内容亮度CB定量值的确定方法，由公式（2）

（2）

将（R,G,B）图像转为亮度图像，其中， P1 、 P2 、 P3 值分别为 0.11、0.59 和0.30，Temp为对应彩色图像像素的亮度值，CB由其均值定量衡量。

在本发明一实施例中，所述视频内容对比度信息量化方法为：建立4x4块的亮度直方图，得到每个4x4块亮度均值，并通过计算块间方差来衡量视频内容对比度CR。

在本发明一实施例中，所述加权值WV的确定由环境亮度B1、视频内容亮度CB和视频内容对比度CR确定，其量化关系由公式（3）确定

(3)

其中w1 、w2 和 w3 为权值，w1 取值0.29 ,w2 取值0.32, w3取值0.39。

在本发明一实施例中，还包括步骤（6）：采用渐进式调整方法，根据亮度调整范围使亮度缓慢收敛到期望值。

本发明的有益效果是：

1、计算复杂度低：智能终端一般都有光敏传感器，以感知环境亮度，其余处理由软件实现，不需改变硬件配置。通过在解码后DCT变换系数矩阵中读取的AC分量的分布和大小反映图像细节信息，不需要进行复杂的边界检测运算。同时，在对比度和亮度量化分析过冲中，对图像进行分块处理，针对模块间求其方差，大大降低了运算复杂度。

2、节能效率很高：显示屏能耗最重要的影响因素为屏幕亮度，通过内容密度和环境亮度决定屏幕亮度调节与否能够在不影响视频画面质量的前提下节省能耗，通过分析变换系数矩阵AC分量的参数，进行画面细节判定能够真实反映出其内容密度，而通过对视频内容亮度和对比度分析加上环境亮度因素更加准确地确定亮度调整范围，进而可以实时自适应改变背景亮度。

3、用户体验较好：在画面亮度和相对对比度高的情况下，调低屏幕背光亮度，画面亮度和相对对比度较高时，调暗屏幕背光亮度，这样人眼观察到的画面更为清晰，另外，在流媒体播放过程中对屏幕亮度变化进行控制，避免可能产生频繁明暗交替的情况影响用户观看体验。

附图说明

图1 是本发明基于情境的移动流媒体节能优化方法的所用到的移动流媒体节能优化架构的示意图。

图2 是本发明基于情境的移动流媒体节能优化方法的流程图。

图3 是本发明基于情境的移动流媒体节能优化方法NAL单元的示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明基于情境的移动流媒体节能优化方法包括以下步骤：

（1）移动流媒体客户端通过光敏传感器获取当前环境亮度B1 。

智能终端实时感知环境亮度，通过光敏传感器将光强度信息转化为可量化的值，即亮度等级。

（2）移动流媒体客户端接收流媒体数据，对接受到的数据包进行分析，提取视频内容细节信息，根据视频内容细节信息分等级并将等级量化，以 值作为视频内容细节信息划分依据。

步骤2.1 解码获取流媒体数据流NAL单元（图2所示），对解码后的帧进行分析,获取其编码量化步长Q1。

步骤2.2 设定阈值为 C1 及 将AC参数量化归为0、 1以及其他

值三类，C1建议值为0.625Q1，C2建议值为1.625Q1。

步骤2.3 统计DCT变换系数矩阵中AC分量值，其分布服从Laplacian分布，

概率密度函数如公式（1）

（1）

其中， ， 为方差，x为AC分量值。

步骤2.4 量化值为1的概率由公式（2）确定

（2）

其中，p₂为量化值为1的概率，p表示落入某个区间的概率。

步骤2.5 设定k1 、k2及k3分别为0、 1和其它数值的个数，n为非零AC值总数，根据k2的似然函数可估计 值，由公式（3）确定

（3）

步骤2.6 将视频内容细节信息进行等级划分，根据其细节信息等级转换为亮度等级，得到其等级量化值（QV）。

（3）将环境亮度B1与视频内容细节等级量化值根据其影响因子大小进行加权，根据加权值的大小决定是否提交屏幕亮度调节请求，若加权值大于以前N帧亮度值作参考基准动态选择的阈值，提交屏幕调亮请求；若加权值小于该阈值，提交屏幕调暗请求；

步骤3.1 环境亮度B1与等级量化值（QV）根据其影响因子的大小建议权值分配分别为0.45与0.55。

步骤3.2 通过经验和可靠测试得到决定是否进行屏幕亮度调整的阈值T，最佳阈值T为55，其中，T值表示亮度等级。

（4）统计视频内容亮度和对比度，由环境亮度B1、视频内容亮度、和视频内容对比度根据影响因子的加权决定调整范围。

步骤4.1 视频内容亮度（CB）定量值的确定方法，由亮度公式（4）

（4）

将（R,G,B）图像转为亮度图像，其中， P1 、 P2 、 P3 建议值分别为 0.11、0.59和0.30，Temp为对应彩色图像像素的亮度值，CB由其均值定量衡量。

步骤4.2 建立4x4块的亮度直方图，得到每个4x4块亮度均值，并通过计算块间方差来衡量视频内容对比度（CR）。

（5）对屏幕亮度调整范围的选择基于以下策略：对解码出的帧，进行亮度和对比度分析，根据直方图分布获取画面亮度和对比度实时情况，在环境亮度B1与画面内容亮度和对比度加权值（WV简称，加权值）低的情况下，调高屏幕背光亮度，加权值高时，调暗屏幕背光亮度，以相对对比度作为分析参数，得出决定亮度调整范围的准确值。

加权值（WV）的确定由环境亮度B1、视频内容亮度CB和视频内容对比度CR确定，其量化关系由公式（5）确定

（5）

其中w1 、w2 和 w3 为权值，w1 建议取值0.29 ,w2 建议取值0.32, w3建议取值0.39。

（6）对由节能优化方案造成的流媒体播放过程中屏幕亮度变化进行控制，避免可能产生频繁明暗交替的情况影响用户观看体验，在收到亮度调整请求时，不立刻将显示屏亮度改变到指定值，在指定时间内把当前亮度值平滑调节到请求亮度值。

屏幕亮度的调节控制，采用渐进式调整方法，使亮度缓慢收敛到期望值。

此外如图3所示，下面简单介绍本发明另一实施例中基于情境的移动流媒体节能优化方法的所用到的移动流媒体节能优化架构以方便技术人员理解，该架构包括流媒体服务器、光敏模块、解码模块、语义分析模块、上下文处理模块、亮度调整模块、亮度控制模块和显示屏。其中，实线表示数据流量，虚线表示信令流量。上下文处理模块与亮度调整模块间既有数据流量又有信令流量。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于情境的移动流媒体节能优化方法，其特征在于，包括以下步骤：

(1)移动流媒体客户端通过光敏传感器获取当前环境亮度B1；

(2)移动流媒体客户端接收流媒体数据，对接受到的数据包进行分析，提取视频内容细节信息，根据视频内容细节信息分等级并将等级量化；

(3)将环境亮度B1与视频内容细节等级量化值根据其影响因子大小进行加权，根据加权值的大小决定是否提交屏幕亮度调节请求，若加权值大于以前N帧亮度值作参考基准动态选择的阈值，提交屏幕调亮请求；若加权值小于该阈值，提交屏幕调暗请求；

(4)统计视频内容亮度和对比度，将环境亮度B1、视频内容亮度和视频内容对比度根据其影响因子的加权值决定屏幕亮度调整范围；

(5)对屏幕亮度调整范围的选择基于以下策略：对解码出的帧，进行视频内容亮度和视频内容对比度分析，根据直方图分布获取视频内容亮度和视频内容对比度实时情况，环境亮度B1、视频内容亮度和视频内容对比度三者加权值作为分析参数，得出决定亮度调整范围的准确值；

所述视频内容亮度CB的确定方法，由公式(4)

Temp＝P₁R+P₂G+P₃B (4)

将(R,G,B)图像转为亮度图像，其中，P1、P2、P3值分别为0.11、0.59和0.30，Temp为对应彩色图像像素的亮度值，CB由其均值定量衡量；

所述步骤(2)中等级量化的具体方式包括：

步骤2.1解码获取流媒体数据流NAL单元，对解码后的帧进行分析,获取其编码量化步长Q1；

步骤2.2设定阈值为c₁及将AC参数量化归为0、1以及其他值三类；

步骤2.3统计DCT变换系数矩阵中AC分量值，其分布服从Laplacian分布，

概率密度函数如公式(1)

f(x)＝0.5λe^-λ|x| (1)

其中，λ＝1.414/δ，δ为方差，x为AC分量值；

步骤2.4量化值为1的概率由公式(2)确定

$p_2=p(c_1<|x|<c_2)=e^{-c_1\mathrm{\&lambda;}}-e^{-c_2\mathrm{\&lambda;}}---\left(2\right);$

其中，c₁为0.625Q1，c₂为1.625Q1，p₂为量化值为1的概率，p表示落入某个区间的概率；

步骤2.5设定k1、k2及k3分别为0、1和其它数值的个数，n为非零AC值总数，根据k2的似然函数可估计值，由公式(3)确定

${\mathrm{\&lambda;}}_1=-\frac{1}{c_1}ln\left(\frac{n-k_2}{n}\right)---\left(3\right);$

步骤2.6将视频内容细节信息进行等级划分，根据其细节信息等级转换为亮度等级，得到其等级量化值QV，所述视频内容细节信息为AC分量的分布和大小。

2.根据权利要求1所述的基于情境的移动流媒体节能优化方法，其特征在于，所述视频内容对比度的信息量化方法为：建立4x4块的亮度直方图，得到每个4x4块亮度均值，并通过计算块间方差来衡量视频内容对比度CR。

3.根据权利要求1所述的基于情境的移动流媒体节能优化方法，其特征在于：步骤(5)中所述加权值由环境亮度B1、视频内容亮度CB和视频内容对比度CR确定，其量化关系由公式(5)确定

WV＝w₁B₁+w₂CB+w₃CR (5)

其中，WV为步骤(5)中所述加权值，w1、w2和w3为权值，w1取值0.29,w2取值0.32,w3取值0.39。

4.根据权利要求1所述的基于情境的移动流媒体节能优化方法，其特征在于：还包括步骤(6)：采用渐进式调整方法，根据亮度调整范围使亮度缓慢收敛到期望值。