CN111431941B - 一种基于移动边缘计算的实时视频码率自适应方法 - Google Patents

Abstract

本发明提出了一种基于移动边缘计算的实时视频码率自适应方法，步骤如下：S1、实时采集用户的视频播放、网络连接以及设备性能等参数；S2、根据S1的参数为用户选择性能最优的任务调度策略；S3、根据所选择的任务调度策略自动切换工作模式；S4、根据接下来一个迭代期间视频播放的情况以及设备能耗等参数计算得出当前调度策略的QoE，并将其反馈给边缘服务器；S5、边缘服务器根据反馈的QoE更新调度策略状态转移矩阵；S6.重复上述步骤，不断迭代更新，最终边缘调度策略的性能将趋于最优；本发明可以在较低成本的基础上为移动多媒体设备减少较大能耗，帮助复杂的视频码率自适应算法学习系统不断成长和优化。

Description

一种基于移动边缘计算的实时视频码率自适应方法

技术领域

本发明属于边缘计算领域，尤其涉及基于移动边缘计算的实时视频码率自适应方法。

背景技术

由于智能移动设备的飞速发展以及各种视频APP的兴起，越来越多的用户开始通过移动设备来观看视频。目前大多数视频服务提供商都希望给尽可能多的用户提供优质的视频服务，从而增加用户的观看时长。但是移动智能设备总是伴随着更复杂的网络波动，因此目前也诞生了一些基于网络状况的视频码率自适应算法应运而生，他们通过对网络状态或本地缓存余量的分析，为用户选择合适的码率，避免卡顿，提高视频服务质量。

目前主流的视频码率算法大多都将计算任务集中在云服务器端，这就导致了移动设备在统计汇总客户端播放信息和向云端传输过程中消耗了额外的能量。此外，通过广域网传输造成的延迟可能严重影响移动多媒体的交互性。反之，由于移动设备计算能力、电池续航能力有限等特征，因此将一些复杂的码率调节算法策略部署在移动设备端也会带来许多缺陷。

MEC(Mobile Edge Computing，移动边缘计算)是解决上述问题的一种有效方法。在MEC框架中，在接近这些移动设备的无线接入网络内提供云计算能力。换句话说，借助MEC，移动多媒体码率自适应系统能够将其计算任务卸载到网络边缘的MEC服务器上，而不是利用核心网中的服务器或是设备本身。这种方法可以在码率自适应过程中具备低延迟、高带宽、高灵活性。若码率自适应算法涉及在线训练，那么边缘计算模式与在客户端部署算法的模式相比样本采集效率更高的优势，允许用户不必持续在线。一些机器学习算法确实为移动视频码率选择带来了较好的灵活性和准确性，但是密集的计算需求也增加了移动云服务器负载压力和移动智能设备的运行压力，因此我们可以选择通过移动智能设备与边缘计算相结合的方式，来应对上述挑战。

相比于传统的移动云计算(MCC)，边缘服务器更靠近移动用户，移动用户仅仅通过一跳的无线传输即可获得所需计算资源，与MCC相比具有更低的延迟。然而，MEC服务器的计算能力有限且扩展性较差。随着移动用户和新兴应用的爆发式增长，单纯地依靠MEC也无法完全地满足移动用户的计算卸载需求。因此，MEC不应该完全取代云计算或移动终端的本地计算，三者应该相互协调，相互补充，更好地满足移动用户需求。例如，对于当延迟要求较低时，可由MEC或本地执行，而非延迟敏感任务可传输到云计算中心执行。

发明内容

本发明所要解决的技术问题在于，提出了一种基于边缘计算的实时视频码率自适应方法，以智能手机等移动设备为基础，通过MEC，依据移动设备终端的处理器负荷和网络连接情况，自动调整码率自适应作业任务在移动设备终端和边缘计算节点中动态迁移，从而实现在多种网络状况下的实时视频码率自适应功能。

为了解决以上技术问题，本发明具体采用以下技术方案：

本发明提出一种基于移动边缘计算实时视频码率自适应方法，包括以下步骤：

S1、移动客户端实时采集视频播放用户的性能参数，包括视频播放情况、多媒体网络连接情况以及移动设备性能，并将码率自适应任务进行定义；

S2、边缘服务器根据移动客户端采集到的参数数据，为用户选择性能最优的任务调度策略；

S3、移动客户端根据所选择的任务调度策略自动切换工作模式；

S4、移动客户端根据接下来一个迭代期间视频播放的情况，以及设备能耗参数计算得出当前调度策略的QoE，并将其反馈给边缘服务器；

S5、边缘服务器根据移动客户端反馈的任务模式、环境状态与其选择该任务模式后的用户QoE形成映射表，更新调度策略状态转移矩阵；当下一次有用户需要进行边缘计算调度任务时，可在映射表中选择长期QoE最高的调度方式。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，所述的步骤S1中，所述视频播放情况包括平均视频质量、平均质量变化幅度、卡顿时长；所述多媒体网络连接情况包括用户感知吞吐量的均值，用户感知吞吐量在本次时间段内的标准差；所述移动设备性能包括设备i的本地计算能力和单个cpu周期的能耗。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，所述的步骤S2中，边缘服务器根据客户端采集到的参数数据，为用户选择性能最优的任务调度策略，具体操作如下：

S21.根据所采集的环境信息将移动设备的码率自适应任务表示为T_i，表达式如下：

其中，d_i是用于计算的输入数据的大小，包括程序代码、输入文件；c_i表示完成此任务所需的计算量，该计算量由cpu周期数来量化；

是计算任务最大等待时间，即延迟约束时长，

和观看视频的类别、网络的波动程度相关。

S22.根据环境状态和强化学习状态转移矩阵判断移动视频用户是否需要调用边缘服务，判断的依据为是否使用边缘计算后QoE会高于本地计算；

S23.确定优先级：为每个视频码率自适应任务确定优先级，边缘服务器优先为优先级较高的移动视频用户提供服务；优先级用于无线资源分配，并由无线通信状态、任务延迟约束、任务性质因素来确定；

S24.分配信道：将信道根据事先确定的优先级分配给设备，分配信道时判断与原有信道相比能耗是否更低，若能有效降低能耗则更换信道，若否，则保持原状。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，其特征在于，所述的步骤S22中，根据环境状态和强化学习状态转移矩阵判断移动视频用户是否需要调用边缘服务，具体操作如下：

(1)、设在MEC服务器上执行其计算任务的一类设备的集合表示为G_R，则延迟约束

计算方法如下所示：

上式中，B_k代表视频缓冲区的剩余长度，减去通讯和计算任务的总耗时；d_i是用于计算的输入数据的大小，c_i表示完成此任务所需的计算量，

是MEC服务器的计算能力，r_i是从设备i向边缘服务器传输的数据的上行链路速率；

(2)设在其本地设备上执行其计算任务的设备集合表示为G_L，用于确定属于这种类型的设备的条件如下：如果

且

这表示当本地计算满足延迟约束，并且设备能耗低于通过无线网络调用边缘服务时，将任务在本地计算效果更优，其中：

其中，d_i是用于计算的输入数据的大小，

是表示单位数据的回程传输时间延迟的系数，w表示信道带宽，p_i是移动设备i在单位信道中向边缘服务器发送数据的功率，g_i是移动用户i和边缘服务器之间的信道增益，σ²是背景噪声功率，wlog₂(....)的计算结果其实是移动设备i在访问边缘服务器时所获得的上行链路数据传输速率，即r_i。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，所述的步骤S23确定优先级具体操作如下：

S231.对于属于计算能力不足的设备G_R，必须在MEC服务器辅助下才能完成计算任务，这类设备的无线资源分配应具有最高优先级；

S232.对于既可以选择在本地执行又可以卸载到边缘服务器执行的设备集合G_O中的移动客户端，则应指定为不同的优先级，设备i在无线资源分配过程中的优先级可被定义为：

其中，

h_i表示设备i可访问的合格渠道数量，α₁、α₂分别代表权重因子，取值根据服务提供商的喜好来设置。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，所述的步骤S5边缘服务器根据移动客户端反馈的QoE更新调度策略状态转移矩阵，具体操作如下：

S51.移动客户端根据视频播放状况以及能耗情况计算出综合QoE，计算方式如下：

q＝Q_s,a-λE_s,a

其中，Q_s,a表示状态s时选择a策略时的视频质量，与视频码率的平稳，平均码率，卡顿率相关；E_s,a表示选择该策略时的移动设备能耗，能耗越高意味着QOE值越低，反之则越高；

S52.移动客户端将步骤S51中得出的综合QoE发送给边缘服务器；

S53.边缘服务器根据用户反馈的综合QoE更新自身状态转移矩阵，更新方法如下：

q_s,a＝q(s,a)+γmaxq'(s,a)

其中，γ表示加权因子，γ取值应满足γ∈(0,1)，γ的取值意味着学习算法更多关注的是即时奖励还是未来奖励，如果γ趋于0则表示考虑更多的是即时奖励，反之则表示算法同样会关注未来的的奖励；

S54.不断重复上述步骤，然后通过不断迭代更新Q(s,a)，最终形成一个相对收敛的状态转移矩阵Q；矩阵Q的表达式如下：

式中s对应表示各种不同的环境状态，a表示该设备在该状态下所选择的边缘调度策略，q_sa表示在s状态下选择策略a时的长期回报。

进一步的，本发明所提出的一种用于移动边缘计算实时视频码率自适应方法，还包括步骤S6：重复步骤S1至S5，不断迭代更新，最终边缘调度策略的性能将趋于最优。

本发明采用以上技术手段后可以获得以下优势：

本发明提出了一种用于移动边缘计算实时视频码率自适应的方法，主要针对视频码率自适应机器学习系统在移动视频客户端执行时的高能耗、高负载、拟合慢的情况，将数据上传至边缘服务器平台执行，采用强化学习方法为不同用户选择合理的边缘调度策略和方法，本发明方法综合考虑用户的视频实时播放质量、以及移动设备电量、内存等使用情况，确保在实现视频码率自适应的同时，为移动视频客户端分担计算压力和采集更多的训练样本加快迭代速度，在保证延迟约束的情况下最小化移动设备的系统能量消耗，该能耗包括计算能耗和通信能耗。提高了视频用户的隐私性、安全性，并充分考虑视频平台的可扩展性，可以为平台运营商降本增效。

附图说明

图1是本发明实施方式中的基于移动边缘计算的视频码率自适应方法的步骤时序图。

图2是本发明实施方式中的边缘调度算法步骤图。

图3是本发明实施方式中的移动客户端与边缘服务器的底层逻辑图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

本发明提出基于移动边缘计算的实时视频码率自适应方法，如图1所示，具体包括以下步骤：

A.移动视频客户端负责采集和传递移动设备的处理器性能、负荷和多媒体网络连接和播放情况；

B.移动视频客户端将采集到的信息上传至可用的边缘服务器；

C.边缘服务器调度模块根据移动设备的环境状态、网络连接状态、作业任务延迟约束(视频码率自适应过程中的紧迫程度)等参数判断和选择移动视频用户码率自适应方法的实现方式，并确定用户的优先级。由于无线资源和边缘服务资源有限，我们为每个视频播放移动设备确定优先级，边缘服务器优先为优先级较高的移动视频用户提供服务。优先级用于无线资源分配，并由无线通信状态和任务要求确定。

D.视频质量评测模块会计算用户选择指定调度模式后的用户QoE，主要依据视频在一个迭代期间的视频平均码率、视频码率切换频率和幅度、视频卡顿时长、移动设备能耗和性能负载程度，并且将其评测结果反馈给边缘服务器。

E.边缘调度学习系统将任务模式、环境状态与其选择该任务模式后的用户QoE形成映射表，当下一次有用户需要进行边缘计算调度任务时，可在映射表中选择长期QoE最高的调度方式。

F.重复上述步骤，然后通过不断迭代更新，最终边缘调度策略的性能将趋于最优。

进一步地，所述的步骤A中：移动设备性能包括设备i的本地计算能力f_i ^L和单个cpu周期的能耗δ_i ^L；多媒体网络连接情况N可以被定义为<μ_k,σ_k>，其中μ_k是用户感知吞吐量的均值，σ_k是用户感知吞吐量在这段时间内的标准差，这种方法不仅考虑了网络带宽的均值，并且充分考虑了网络吞吐量的细节变化，例如网络的波动程度等。播放情况主要包含平均视频质量、平均质量变化幅度、卡顿时长等。环境状态采集子模块负责不断采集上述信息，需要注意的是设备性能可能不会随时间变化而产生巨大的变化，因此只需采集一次即可。

进一步地，所述的步骤C中：边缘服务器为移动设备选择合适的调度策略，如图2所示，具体包括以下步骤：

C1.根据所采集的环境信息将移动设备的码率自适应任务表示为T_i。

其中d_i是用于计算的输入数据的大小，其中包括程序代码、输入文件等。c_i表示完成此任务所需的计算量，该计算量由cpu周期数来量化。

是计算任务最大等待时间，即延迟约束时长。

和观看视频的类别、网络的波动程度相关。

C2.根据环境状态和强化学习状态转移矩阵判断移动视频用户是否需要调用边缘服务，判断的依据是是否使用边缘计算后QoE会高于本地计算。

C3.确定优先级。由于无线资源和MEC服务资源有限，我们为每个视频码率自适应任务确定优先级，边缘服务器优先为优先级较高的移动视频用户提供服务。优先级用于无线资源分配，并由无线通信状态、任务延迟约束、任务性质等因素来确定。

C4.信道分配。分配信道时判断与原有信道相比能耗是否更低，若能有效降低能耗则更换信道，若否，则保持原状。

进一步的，上述的步骤C2具体操作方法如下：

根据码率自适应任务的延迟约束和不同任务实现模式之间QoE的比较，移动设备观看视频时大概能采用两种不同的策略。第一类设备为应该在MEC服务器上执行它们的计算任务。我们将这类设备的集合表示为G_R。对于计算资源有限、并且自身不能满足任务延迟约束的设备，设备需要选择将任务卸载到MEC服务器。因此，我们可以得到，如果

设备i属于G_R，i∈N。其中延迟约束

计算方法如公式2所示：

是MEC服务器的计算能力，r_i是从设备i向边缘服务器传输的数据的上行链路速率；

公式2表示，每个计算任务的延迟约束应等于视频缓冲区的剩余长度减去通讯和计算任务的总耗时，这样的目的就是为了避免视频卡顿，从而提高用户的观看体验。

第二种策略即为设备应在其本地设备上计算任务，我们将采用这种策略的设备集合表示为G_L。用于确定属于这种类型的设备的条件如下：如果

且

这表示当本地计算满足延迟约束，并且设备能耗低于通过无线网络调用边缘服务时，将任务在本地计算效果更优。其中

其中，d_i是用于计算的输入数据的大小，

是表示单位数据的回程传输时间延迟的系数，w表示信道带宽，p_i是移动设备i在单位信道中向边缘服务器发送数据的功率，g_i是移动用户i和边缘服务器之间的信道增益，σ²是背景噪声功率，wlog₂(....)的计算结果其实是移动设备i在访问边缘服务器时所获得的上行链路数据传输速率，即r_i。

此外，我们的边缘调度算法会在边缘服务器上维护一个状态转移矩阵Q，他能够将移动设备的任务延迟约束、计算量、计算力、网络状态等参数与我们所应选择的最优策略进行映射。并且根据所选策略后的QoE数值更新Q矩阵。这样就不必每次都对设备的策略进行复杂的判断，只需根据当时的环境状态从Q表中选择历史性能效果最优的选择即可。

矩阵Q的表达式如下：

式中s对应表示各种不同的环境状态。a表示该设备在该状态下所选择的边缘调度策略。q_sa表示在s状态下选择策略a时的长期回报。这里的长期回报值的计算方式和其他算法的计算方式有所不同，综合考量了视频长期综合质量和移动设备的长期能耗水平，旨在做到尽可能提高视频质量的同时，最小化移动设备能耗，其中q_s,a的计算方式如式5所示：

q_s,a＝q(s,a)+γmaxq'(s,a) (5)

q(s,a)＝Q_s,a-λE_s,a (6)

式中Q_s,a表示状态s时选择该策略时的视频质量，与视频码率的平稳，平均码率，卡顿率相关。式中E_s,a表示选择该策略时的移动设备能耗，能耗越高意味着QOE值越低，反之则越高。

进一步的，上述的步骤C3具体定义方法如下：

对于属于G_R的设备，由于它们的计算能力不足，需要MEC服务器辅助移动设备完成计算任务。G_R的无线资源分配应具有最高优先级。因此，为了降低卸载系统的能耗，更有效地利用无线网络资源，G_O中的设备应该被指定为不同的优先级。设备i在无线资源分配过程中的优先级可被定义为：

其中，

h_i表示我们设备i可访问的合格渠道数量。优先级定义综合考虑了时延约束、无线资源和设备能耗。在公式(7)中，第一项表示延迟约束对优先级的影响。具有更多临界延迟约束的设备应该具有更高的优先级。公式(7)中的第二项表示了无线资源可用性对优先级的影响。具有较少合格信道的设备应优先分配无线资源。否则，由于无线资源不足，设备可能无法在延迟约束范围内将计算任务传输到MEC服务器。α₁和α₂的取值根据服务提供商的喜好来设置，根据提供商更希望能够尽可能地满足延迟约束还是更希望确保高通信质量和高通信效率。

进一步地，所述的步骤E中映射表Q的生成和更新方法具体如下：

E1.移动视频客户端根据视频播放状况以及能耗等情况计算出综合QoE，计算方式如下：

q＝Q_s,a-λE_s,a

其中Q_s,a表示状态s时选择a策略时的视频质量，与视频码率的平稳，平均码率，卡顿率相关。式中E_s,a表示选择该策略时的移动设备能耗，能耗越高意味着QOE值越低，反之则越高。

E2.视频客户端将步骤S51中得出的综合QoE发送给边缘服务器。

E3.边缘服务器根据用户反馈的综合QoE更新自身状态转移矩阵，以便后期可以快速找到长期受益最高的策略，更新方法如下：

q_s,a＝q(s,a)+γmaxq'(s,a)

其中γ表示加权因子，γ取值应满足γ∈(0,1)，γ的取值意味着学习算法更多关注的是即时奖励还是未来奖励。如果γ趋于0则表示考虑更多的是即时奖励，反之则表示算法同样会关注未来的的奖励。

E4.不断重复上述步骤，然后通过不断迭代更新Q(s,a)，最终形成一个相对收敛的状态转移矩阵Q，Q表达式如下所示

本发明的系统架构如图3所示，详细功能分别如下：

系统架构中终端设备包含solver、proxy、profiler这三个组件。solver模块负责提供卸载决策服务的接口，proxy模块负责执行卸载过程中数据的传输以及控制。Profiler用来检测应用程序并且收集应用程序的数据以及其反馈的结果，如能量、传输要求等。

服务器端包含solver、proxy、profiler和系统控制器四个组件。其中前两者者与其在终端设备上的功能相似。服务器端的proxy组件会负责周期性地优化决策引擎。与终端设备不同，服务器端又增加了一个系统控制器，该组件负责处理传入请求的身份验证和资源分配等。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (1)

1.一种基于移动边缘计算实时视频码率自适应方法，其特征在于，包括以下步骤：

S1、移动客户端实时采集视频播放用户的性能参数，包括视频播放情况、多媒体网络连接情况以及移动设备性能，并将码率自适应任务进行定义；

S2、边缘服务器根据移动客户端采集到的参数数据，为用户选择性能最优的任务调度策略；

S3、移动客户端根据所选择的任务调度策略自动切换工作模式；

S4、移动客户端根据接下来一个迭代期间视频播放的情况，以及设备能耗参数计算得出当前调度策略的QoE，并将其反馈给边缘服务器；

S5、边缘服务器根据移动客户端反馈的任务模式、环境状态与其选择该任务模式后的用户QoE形成映射表，更新调度策略状态转移矩阵；当下一次有用户需要进行边缘计算调度任务时，可在映射表中选择长期QoE最高的调度方式；

S6、重复步骤S1至S5，不断迭代更新，最终边缘调度策略的性能将趋于最优；

其中：

所述的步骤S1中，所述视频播放情况包括平均视频质量、平均质量变化幅度、卡顿时长；所述多媒体网络连接情况包括用户感知吞吐量的均值，用户感知吞吐量在本次时间段内的标准差；所述移动设备性能包括设备i的本地计算能力和单个cpu周期的能耗；

所述的步骤S2中，边缘服务器根据客户端采集到的参数数据，为用户选择性能最优的任务调度策略，具体操作如下：

S21.根据所采集的环境信息将移动设备的码率自适应任务表示为T_i，表达式如下：

其中，d_i是用于计算的输入数据的大小，包括程序代码、输入文件；c_i表示完成此任务所需的计算量，该计算量由cpu周期数来量化；t_i ^max是计算任务最大等待时间，即延迟约束时长，t_i ^max和观看视频的类别、网络的波动程度相关；

S22.根据环境状态和强化学习状态转移矩阵判断移动视频用户是否需要调用边缘服务，判断的依据为是否使用边缘计算后QoE会高于本地计算；

S23.确定优先级：为每个视频码率自适应任务确定优先级，边缘服务器优先为优先级较高的移动视频用户提供服务；优先级用于无线资源分配，并由无线通信状态、任务延迟约束、任务性质因素来确定；

S24.分配信道：将信道根据事先确定的优先级分配给设备，分配信道时判断与原有信道相比能耗是否更低，若能有效降低能耗则更换信道，若否，则保持原状；

所述的步骤S22中，根据环境状态和强化学习状态转移矩阵判断移动视频用户是否需要调用边缘服务，具体操作如下：

(1)、设在MEC服务器上执行其计算任务的一类设备的集合表示为G_R，则延迟约束t_i ^max计算方法如下所示：

上式中，B_k代表视频缓冲区的剩余时间，减去通讯和计算任务的总耗时；d_i是用于计算的输入数据的大小，c_i表示完成此任务所需的计算量，f₀ ^R是MEC服务器的计算能力，r_i是从设备i向边缘服务器传输的数据的上行链路速率；

(2)设在其本地设备上执行其计算任务的设备集合表示为G_L，用于确定属于这种类型的设备的条件如下：如果t_i ^L≤t_i ^max且

这表示当本地计算满足延迟约束，并且设备能耗低于通过无线网络调用边缘服务时，将任务在本地计算效果更优，其中：

其中，d_i是用于计算的输入数据的大小，

是表示单位数据的回程传输时间延迟的系数，w表示信道带宽，p_i是移动设备i在单位信道中向边缘服务器发送数据的功率，g_i是移动用户i和边缘服务器之间的信道增益，σ²是背景噪声功率；

所述的步骤S23确定优先级具体操作如下：

S231.对于属于计算能力不足的设备G_R，必须在MEC服务器辅助下才能完成计算任务，这类设备的无线资源分配应具有最高优先级；

S232.对于既可以选择在本地执行又可以卸载到边缘服务器执行的设备集合G_O中的移动客户端，则应指定为不同的优先级，设备i在无线资源分配过程中的优先级可被定义为：

其中，

h_i表示设备i可访问的合格渠道数量，α₁、α₂分别代表权重因子，取值根据服务提供商的喜好来设置；

所述的步骤S5边缘服务器根据移动客户端反馈的QoE更新调度策略状态转移矩阵，具体操作如下：

S51.移动客户端根据视频播放状况以及能耗情况计算出综合QoE，计算方式如下：

q＝Q_s,a-λE_s,a

其中，Q_s,a表示状态s时选择a策略时的视频质量，与视频码率的平稳，平均码率，卡顿率相关；E_s,a表示选择该策略时的移动设备能耗，能耗越高意味着QOE值越低，反之则越高；

S52.移动客户端将步骤S51中得出的综合QoE发送给边缘服务器；

S53.边缘服务器根据用户反馈的综合QoE更新自身状态转移矩阵，更新方法如下：

q_s,a＝q(s,a)+γmax q'(s,a)

其中，γ表示加权因子，γ取值应满足γ∈(0,1)，γ的取值意味着学习算法更多关注的是即时奖励还是未来奖励，如果γ趋于0则表示考虑更多的是即时奖励，反之则表示算法同样会关注未来的的奖励；

S54.不断重复上述步骤，然后通过不断迭代更新Q(s,a)，最终形成一个相对收敛的状态转移矩阵Q；矩阵Q的表达式如下：

式中s对应表示各种不同的环境状态，a表示该设备在该状态下所选择的边缘调度策略，q_sa表示在s状态下选择策略a时的长期回报。

Images