CN111681167B - 画质调整方法和装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种画质调整方法和装置、存储介质及电子设备。其中，该方法包括：获取目标云应用的服务器发送的画面编码数据；解码画面编码数据，得到待显示的画面资源；将画面资源的画质从第一分辨率调整到第二分辨率，其中，第一分辨率小于第二分辨率；展示画质为第二分辨率的画面。本发明解决了在采用相关技术提供的画质调整方法时所导致的云应用服务器的处理负载被加重的技术问题。

Description

画质调整方法和装置、存储介质及电子设备

技术领域

本发明涉及计算机领域，具体而言，涉及一种画质调整方法和装置、存储介质及电子设备。

背景技术

随着用户对应用客户端所呈现的画面质量(即画质)的要求不断提高，为了保证云应用(如云游戏应用)客户端可以展示出高画质的画面，一些云应用开发商通常会在云服务器中直接采用高分辨率对所要展示的画面进行渲染和编码，并将编码后的高分辨率的画面资源发送给云应用客户端，以使得云应用客户端可以在解码后直接得到高分辨率的画面资源，并进行画面展示。

然而，在上述对画质的优化调整方法中，由于云应用服务器往往需要采用高分辨率对画面进行渲染和编码，从而导致大大增加了云应用服务器的处理负载。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种画质调整方法和装置、存储介质及电子设备，以至少解决在采用相关技术提供的画质调整方法时所导致的云应用服务器的处理负载被加重的技术问题。

根据本发明实施例的一个方面，提供了一种画质调整方法，包括：获取目标云应用的服务器发送的画面编码数据；解码上述画面编码数据，得到待显示的画面资源；将上述画面资源的画质从第一分辨率调整到第二分辨率，其中，上述第一分辨率小于第二分辨率；展示画质为上述第二分辨率的画面。

根据本发明实施例的另一个方面，提供了一种画质调整方法，包括：获取原始画面的原始分辨率，其中，上述原始分辨率为上述原始画面未经处理的分辨率；在上述原始分辨率大于第一分辨率的情况下，将上述原始画面的分辨率调整至第一分辨率，其中，上述原始分辨率大于上述第一分辨率；按照上述第一分辨率对上述原始画面进行渲染编码处理，得到画面编码数据；将上述画面编码数据发送至上述目标云应用的客户端，以使上述客户端将从上述画面编码数据中解码出的画面资源的画质调整到第二分辨率，并展示画质为上述第二分辨率的画面，其中，上述第一分辨率小于上述第二分辨率。

根据本发明实施例的又一方面，还提供了一种画质调整装置，包括：获取单元，用于获取目标云应用的服务器发送的画面编码数据；解码单元，用于解码上述画面编码数据，得到待显示的画面资源；调整单元，用于将上述画面资源的画质从第一分辨率调整到第二分辨率，其中，上述第一分辨率小于第二分辨率；展示单元，用于展示画质为上述第二分辨率的画面。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述画质调整方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的画质调整方法。

在本发明实施例中，在在获取到目标云应用的服务器发送的画面编码数据之后，解码该画面编码数据，得到待显示的画面资源。然后，将上述画面资源的画质从第一分辨率调整到第二分辨率，以展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。也就是说，在获取到目标云应用的服务器发送的画面编码数据之后，可以解码该画面编码数据，然后将解码得到的画面资源的画质进行分辨率提升处理，而不再由服务器直接对高分辨率的画面进行渲染编码处理，以减少需要服务器处理的像素数量，从而达到降低服务器的处理负载的目的，进而克服相关技术中服务器的处理负载被加重的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的画质调整方法的硬件环境的示意图；

图2是根据本发明实施例的一种可选的画质调整方法的流程图；

图3是根据本发明实施例的另一种可选的画质调整方法的流程图；

图4是根据本发明实施例的又一种可选的画质调整方法的流程图；

图5是根据本发明实施例的又一种可选的画质调整方法的流程图；

图6是根据本发明实施例的一种可选的画质调整装置的结构示意图；

图7是根据本发明实施例的另一种可选的画质调整装置的结构示意图；

图8是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种画质调整方法，可选地，作为一种可选的实施方式，上述种画质调整方法可以但不限于应用于如图1所示的硬件环境中的画质调整系统中。其中，该画质调整系统可以包括但不限于终端设备102、网络104、服务器106。这里终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于展示画质为第二分辨率的画面。上述处理器1024用于获取服务器发送的画面编码数据，解码该画面编码数据，得到待显示的画面资源，并将上述画面资源的画质从第一分辨率调整到第二分辨率。存储器1026用于存储上述画面编码数据及解码后的画面资源。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储画面编码数据。处理引擎1064用于对原始画面进行渲染编码处理，得到上述画面编码数据。

具体过程如以下步骤：如步骤S102-S104，在目标云应用的服务器106中获取对原始画面进行渲染编码后得到的画面编码数据，并将其通过网络104发送给终端设备102。然后终端设备102将执行步骤S106-S110：解码上述画面编码数据，得到待显示的画面资源。在上述终端设备102中将画面资源的画质从第一分辨率调整到第二分辨率，并展示画质为第二分辨率的画面。

需要说明的是，在本实施例中，在获取到目标云应用的服务器发送的画面编码数据之后，解码该画面编码数据，得到待显示的画面资源。然后，将上述画面资源的画质从第一分辨率调整到第二分辨率，以展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。也就是说，在获取到目标云应用的服务器发送的画面编码数据之后，可以解码该画面编码数据，然后将解码得到的画面资源的画质进行分辨率提升处理，而不再由服务器直接对高分辨率的画面进行渲染编码处理，以减少需要服务器处理的像素数量，从而达到降低服务器的处理负载的目的，进而克服相关技术中服务器的处理负载被加重的问题。

可选地，在本实施例中，上述终端设备可以是配置有目标云应用的客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

上述目标云应用可以但不限于为终端与服务(云)端互动的应用，终端操作同步云端，而占用本地空间也通过云端备份保留终端数据。其中，在本申请实施例中，上述目标云应用可以是云教育应用、云游戏应用等。这里以云游戏(Cloud gaming)应用为例，云游戏又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。

上述云游戏应用中涉及的云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。

按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。

可选地，作为一种可选的实施方式，上述画质调整方法应用于终端设备运行的客户端中，如图2所示，该方法过程包括：包括：

S202，获取目标云应用的服务器发送的画面编码数据；

S204，解码画面编码数据，得到待显示的画面资源；

S206，将画面资源的画质从第一分辨率调整到第二分辨率，其中，第一分辨率小于第二分辨率；

S208，展示画质为第二分辨率的画面。

可选地，在本实施例中，上述画质调整方法可以但不限于应用于云游戏应用中对游戏场景中的虚拟场景画面的画质进行优化调整的过程中。这里在云游戏应用中，可以采用本申请实施例中所提供的方式，在终端设备从服务器获取到画面编码数据之后，对解码获取到的画面资源进行画质调整，以达到在终端设备一侧完成画质提升操作，从而实现降低服务器的处理处理负荷的技术效果。上述应用场景为示例，本实施例中对此不作任何限定。

可选地，在本实施例中，在通过终端设备中运行的目标云应用的客户端，获取目标云应用的服务器发送的画面编码数据之前，还包括：通过终端设备中的软件开发工具接收服务器发送的码流，其中，码流中包括画面编码数据，画面编码数据为服务器对原始画面采用第一分辨率进行渲染编码后得到的数据。

需要说明的是，在本实施例中，上述码流是指视频文件在单位时间内使用的数据流量。在同样的分辨率下，视频文件的码流越大，压缩比越小，画质(即画面质量)越好。此外在本实施例中，上述客户端可以但不限于通过内置的软件开发工具(Simple Develop Key，简称SDK)来接收服务器渲染编码后的码流，并对其进行解码处理，得到画面资源。进一步，再对上述画面资源中的画质进行调整，如对第一分辨率的画面进行调整得到第二分辨率的画面。

可选地，在本实施例中，对上述画面编码数据可以但不限于采用高级视频编解码技术(Advanced Video Coding，简称AVC)进行解码处理，得到解码后的YUV格式的画面资源。其中，“Y”用于标识明亮度(Lumina)，也就是灰阶值，“U”和“V”用于标识色度(Chrominance)，也就是描述影像色彩及饱和度。

可选地，在本实施例中，通过终端设备中配置的目标处理器来实现将画质从第一分辨率调整到第二分辨率，其中，上述目标处理器中可以但不限于存储有用于调整画质的分辨率调整网络模型。这里分辨率调整网络模型中可以但不限于采用超分辨率算法来对画面中提取的画面特征进行反卷积处理，以便于基于反卷积结果来进一步得到调整分辨率后的画面。

需要说明的是，在本实施例中，上述超分辨率算法可以但不限于是指的从一个低分辨率的图像中恢复出一个高分辨率的图像，以恢复出高分辨率图像在纹理细节，边缘细节上应尽可能地清晰。这里超分辨率算法可以但不限于是在神经网络模型中添加反卷积处理，用于生成高分辨率图像。这里反卷积层是对卷积层的逆过程，用于通过多个反卷积核将图像进行放大K倍。这里所采用的算法为示例，本实施例中对此不作任何限定。

具体结合图3所示示例进行说明：假设上述目标云应用为云游戏应用，上述画质调整方法应用于云游戏服务器302和终端设备304之间的交互过程中。具体参考以下步骤：

假设在云游戏服务器302中为云游戏创建了一个容器3022，该云游戏运行在该容器3022里，调用OpenGLES接口对云游戏中的画面(例如分辨率为1280x720)进行渲染。这里的渲染指令会进一步传到云游戏服务器302中的GPU驱动，并最终由云游戏服务器302上的GPU进行渲染，如步骤S302。渲染完后的1280x720的画面会送回到容器中，以便于采用编码器对渲染完的画面进行抓获，然后执行步骤S304采用AVC编码方式按照分辨率1280x720对上述画面进行编码，并将生成的AVC比特流通过网络发往终端设备304中的云游戏客户端3042。

云游戏客户端3042在获取到编码后的码流后，如步骤S306，对码流中的画面编码数据进行解码，得到画面资源。然后如步骤S308，判断终端设备304中是否配置有NPU。在确定出配置有NPU的情况下，执行步骤S310-1，采用NPU中的超分辨率算法对解码后的画面资源中的画面进行调整，得到分辨率为1920x1080的画面；若并未配置有NPU的情况下，则执行步骤S310-2，判断终端设备304中是否配置有GPU。在确定出配置有GPU的情况下，执行步骤S312，采用GPU中的超分辨率算法对解码后的画面资源中的画面进行调整，得到分辨率为1920x1080的画面，再执行步骤S314展示分辨率为1920x1080的画面；若也并未配置有GPU的情况下，则执行步骤S314，但直接展示分辨率为1280x720的画面。

可选地，在本实施例中，按照第二分辨率展示画面资源对应的画面包括：在目标云应用为云游戏应用的情况下，按照第二分辨率在客户端中展示云游戏应用中的虚拟场景画面。

可选地，在本实施例中，在获取目标云应用的服务器发送的画面编码数据之前，还包括：服务器确定原始画面的原始分辨率，其中，原始分辨率为原始画面未经处理的分辨率；在原始分辨率大于第一分辨率的情况下，服务器将把原始画面的分辨率调整至第一分辨率，其中，原始分辨率大于第一分辨率；服务器按照第一分辨率对原始画面进行渲染编码处理，得到画面编码数据。

需要说明的是，在本实施例中，上述原始分辨率为原始画面编码前未经任何编码压缩处理的分辨率。在该原始分辨率大于第一分辨率的情况下，为了节省传输带宽及资源，本实施例中可以将原始画面的分辨率调整至第一分辨率，以利用较低分辨率进行渲染编码处理。这样不仅降低了渲染编码处理的处理难度和成本，而且还提高了服务器向终端发送画面编码资源时的传输效率。而在该原始分辨率小于第一分辨率的情况下，可以直接采用原始分辨率来进行渲染编码处理。

此外，这里的原始分辨率可以大于第二分辨率，也可以小于第二分辨率。也就是说，在终端设备中将画质从第一分辨率调整至第二分辨率后，该第二分辨率可以比原始分辨率还高，以达到对画面进行高清修复处理的目的，也可以比原始分辨率低，降低画质调整时的处理难度。在本实施例中，根据不同应用场景可以采用不同方式处理。

通过本申请提供的实施例，在获取到目标云应用的服务器发送的画面编码数据之后，解码该画面编码数据，得到待显示的画面资源。然后，将上述画面资源的画质从第一分辨率调整到第二分辨率，以展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。也就是说，在获取到目标云应用的服务器发送的画面编码数据之后，可以解码该画面编码数据，然后将解码得到的画面资源的画质进行分辨率提升处理，而不再由服务器直接对高分辨率的画面进行渲染编码处理，以减少需要服务器处理的像素数量，从而达到降低服务器的处理负载的目的，进而克服相关技术中服务器的处理负载被加重的问题。

作为一种可选的方案，将画面资源的画质从第一分辨率调整到第二分辨率包括：

S1，在达到对画质进行调整的设备条件的情况下，将画面资源中画质为第一分辨率的画面输入分辨率调整网络模型，其中，分辨率调整网络模型为利用多个样本数据进行训练后所得到的用于调整画质的分辨率的神经网络模型；

S2，获取分辨率调整网络模型输出的画质为第二分辨率的画面。

可选地，在本实施例中，在将画面资源中画质为第一分辨率的画面输入分辨率调整网络模型之后，还包括：通过分辨率调整网络模型从画质为第一分辨率的画面中提取画面特征；采用超分辨率算法对画面特征进行反卷积处理，得到反卷积结果；基于反卷积结果进行计算，以得到画质为第二分辨率的画面。

例如，上述超分辨率算法可以包括但不限于相关技术中提供的以下至少一种算法：1)基于神经网络模型的方式包括：基于深度递归卷积网络的图像超分辨率重建、基于高效亚像素卷积神经网络的实时单图像和视频超分辨率重建、基于深拉普拉斯金字塔网络的快速和准确的超分辨率重建。2)基于损失函数改进的方式包括：基于感知损失的实时风格转移和超分辨率重建、基于生成对抗网络的逼真图片的单一图像超分辨率重建。上述为示例，本实施例中对具体采用的算法不作任何限定。

可选地，在本实施例中，上述设备条件可以但不限于为云应用的客户端所在的终端设备中配置有目标处理器，该目标处理器中存储有分辨率调整网络模型的模型参数。例如，嵌入式神经网络处理器(Neural Network Processing Units，简称NPU)，也可称作人工智能处理器，或图像处理器(Graphics Processing Unit，简称GPU)。

需要说明的是，在本实施例中，在将画面资源的画质从第一分辨率调整到第二分辨率之前，还包括通过以下方式训练得到分辨率调整模型：获取多个样本数据；将多个样本数据输入初始化的分辨率调整网络模型进行训练，直至得到满足收敛条件的分辨率调整网络模型，其中，收敛条件包括以下之一：训练迭代次数达到第一阈值、分辨率调整网络模型的连续N个训练输出结果小于第二阈值，N为大于2的整数。

这里本实施例中，迭代次数越多，得到的训练结果越稳定，但训练成本越高。因而，这里的第一阈值可以但不限于为根据不同的实际场景而设置为不同取值。此外，上述连续N个训练输出结果小于第二阈值，表示该网络模型的输出已经收敛稳定，可以应用于实际场景中解决对应的问题。因而，这里的第二阈值可以但不限于为根据不同的训练需求而设置为不同取值。

通过本申请提供的实施例，在达到对画质进行调整的设备条件的情况下，将画面资源中画质为第一分辨率的画面输入分辨率调整网络模型，通过分辨率调整模型及超分辨率算法，达到对画质的优化调整，从而实现在终端设备满足设备条件的情况下，就自动执行画质调整操作，而不再依赖服务器，进而达到降低服务器的处理负荷的目的。

作为一种可选的方案，在将画面资源的画质从第一分辨率调整到第二分辨率之前，还包括：

S1，在目标云应用的客户端所在的终端设备中检测到目标处理器的器件标识的情况下，确定达到对画质进行调整的设备条件，其中，目标处理器中存储有分辨率调整网络模型的模型参数。

可选地，在本实施例中，上述目标处理器可以包括但不限于图像处理速度大于目标阈值的处理器，例如，目标处理器可以是嵌入式神经网络处理器(Neural NetworkProcessing Units，简称NPU)，也可称作人工智能处理器。主要是采用数据驱动并行计算的架构，以处理视频、图像类的海量多媒体数据。又例如，目标处理器还可以是图像处理器(Graphics Processing Unit，简称GPU)，又称作显示核心、视觉处理器等。是一种专门在个人电脑、工作站、游戏机和一些移动设备上运行绘图运算工作的微处理器。主要是用于将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件。也就是说，在终端设备中检测到上述处理器的器件标识的情况下，则确定当前该终端设备已具备对解码得到的画面资源的画质进行调整的设备条件。

需要说明的是，上述目标处理器在配置到终端设备之后，在首次运行时需要从外部加载分辨率调整网络模型的模型参数，缓存至存储器中，以便于在获取到待显示的画面资源之后，可以尽快应用于画质调整过程，而无需额外的等待加载时间，提高了目标处理器的处理效率。

通过本申请提供的实施例，在目标云应用的客户端所在的终端设备中检测到目标处理器的器件标识的情况下，确定达到对画质进行调整的设备条件，从而实现根据终端设备的检测结果，来确定是否自动触发画质调整过程，以达到满足设备条件之后，再进行画质调整处理，进而提高目标处理器的处理效率。

作为一种可选的方案，在确定达到对画质进行调整的设备条件之前，还包括：

S1，向服务器发送携带有终端设备的设备标识的查询请求，其中，查询请求用于查询终端设备中所配置的处理器的属性信息，属性信息中包括处理器的器件标识；

S2，获取服务器根据设备标识查询到的处理器信息列表，其中，处理器信息列表中包括设备标识所指示的终端设备中配置的一个或多个处理器的属性信息；

S3，在处理器信息列表中包括目标处理器的器件标识的情况下，确定检测到目标处理器的器件标识。

仍以云游戏应用为例，具体结合以下图4所示示例进行说明，假设应用于云游戏服务器302和终端设备304之间的交互过程中。具体参考以下步骤：

在终端设备304中的云游戏客户端3042启动的时候，如步骤S402，会先向云游戏服务器302的数据库发送携带有终端设备的设备标识的查询请求，来查询当前终端设备中配置的处理器的器件标识。进一步如步骤S404-S406，云游戏服务器302将根据该设备标识确定终端设备中是否配置有NPU或GPU，并向云游戏客户端3042返回查询结果。

终端设备304会执行步骤S408，根据查询结果确定是否采用超分辨率算法。具体的：判断终端设备304上是否有NPU。如果有，则将采用运行在NPU中的分辨率调整模型；否则，继续判断终端设备上是否有GPU，如果有，则将采用运行在GPU中的分辨率调整模型；如果终端设备上即没有NPU，也没有GPU，则将会跳过超分辨率重建过程，按照解码后得到的画面编码时的分辨率直接进行展示。

通过本申请提供的实施例，在终端设备中配置的NPU或GPU的情况下，则通过处理器中存储的分辨率调整模型来对第一分辨率的画面进行画质提升处理，得到第二分辨率的画面，从而实现在终端设备执行画质的优化调整操作，以减轻服务器侧的处理负荷。

根据本发明实施例的一个方面，提供了一种画质调整方法，可选地，作为一种可选的实施方式，上述画质调整方法可以但不限于应用于服务器中，如图5所示，该方法过程包括：

S502，获取原始画面的原始分辨率，其中，原始分辨率为原始画面未经处理的分辨率；

S504，在原始分辨率大于第一分辨率的情况下，将原始画面的分辨率调整至第一分辨率，其中，原始分辨率大于第一分辨率；

S506，按照第一分辨率对原始画面进行渲染编码处理，得到画面编码数据；

S508，将画面编码数据发送至目标云应用的客户端，以使客户端将从画面编码数据中解码出的画面资源的画质调整到第二分辨率，并展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。

可选地，在本实施例中，上述画质调整方法可以但不限于应用于服务器中，其中，服务器按照第一分辨率对原始画面进行渲染编码处理，得到画面编码数据包括：在服务器中为目标云应用创建独立的运行容器的情况下，服务器将调用目标图形渲染接口对原始画面进行渲染，得到渲染后的原始画面；服务器将把渲染后的原始画面存储至运行容器；服务器调用编码器对从运行容器中抓取到的渲染后的原始画面进行编码处理，得到画面编码数据。

需要说明的是，在本实施例中，上述原始分辨率为原始画面编码前未经任何编码压缩处理的分辨率。在该原始分辨率大于第一分辨率的情况下，为了节省传输带宽及资源，本实施例中可以将原始画面的分辨率调整至第一分辨率，以利用较低分辨率进行渲染编码处理。这样不仅降低了渲染编码处理的处理难度和成本，而且还提高了服务器向终端发送画面编码资源时的传输效率。而在该原始分辨率小于第一分辨率的情况下，可以直接采用原始分辨率来进行渲染编码处理。

此外，这里的原始分辨率可以大于第二分辨率，也可以小于第二分辨率。也就是说，在终端设备中将画质从第一分辨率调整至第二分辨率后，该第二分辨率可以比原始分辨率还高，以达到对画面进行高清修复处理的目的，也可以比原始分辨率低，降低画质调整时的处理难度。在本实施例中，根据不同应用场景可以采用不同方式处理。

例如，以云游戏应用为例，具体结合以下示例进行说明：

假设原始画面的原始分辨率为1280x720，则云游戏服务器端将采用1280x720分辨率进行渲染和编码。具体地来说，是云游戏服务器中为每类云游戏创建一个运行容器(也可简称为容器)，上述云游戏应用将运行在云游戏服务器的容器里，调用OpenGLES接口进行渲染。这里的渲染指令会进一步传到云游戏服务器中的GPU，以驱动GPU进行渲染。渲染完后的原始分辨率为1280x720的画面会送回到上述容器中。进一步采用编码器对渲染完的画面进行抓取，然后采用AVC编码方式按照用分辨率1280x720对抓取的画面进行编码，以生成AVC比特流，再通过网络发往云游戏客户端。

这里在不考虑内存瓶颈的情况下，云游戏服务器上的GPU和中央处理器(CentralProcessing Unit，简称CPU)的运算负载将与处理像素个数成正比。根据上述情形可以获知，采用原始分辨率1280x720进行渲染编码，与采用分辨率1920x1080进行渲染编码相比，其处理负载之间的关系为：

(1280*720)/(1920*1080)＝0.44

此外，假设原始画面的原始分辨率为1920x1080，这里原始分辨率大于用于渲染编码的分辨率1280*720，将进一步对其进行调整，以使其满足渲染编码的要求，按照较低的分辨率1280*720进行编码，生成AVC比特流，再通过网络发往云游戏客户端。

通过本申请提供的实施例，在服务器侧采用较低的第一分辨率进行渲染编码，将达到降低云游戏服务器的数据处理量，提高处理效率的目的。此外，还可以进一步实现提高云游戏服务器与云游戏客户端之间的传输效率的效果。

具体实施例可以参考上述实施例，本实施例在此不再赘述。

具体结合以下内容来说明上述实施例对画质提升的有益效果：

假设超分辨率重建是采用成熟的FSRCNN-s算法，根据FSRCNN-s算法的性能数据可以获知，2倍超分辨处理在普通CPU(如Intel i7 4GHz主频的处理器)上的处理时间是24ms到61ms，如表1所示。

表1

假设这里Intel i7 4GHz主频的普通CPU为8核，单核4GFLOPS能力，共32GFLOPS。相比之下，把FSCNN-s算法运行在NPU上，其时间大概在：

(1280*720)/(500*500)*61ms/60＝3.7ms

也就是如果终端设备中配备了人工智能芯片NPU，云游戏客户端在解码1280x720的画面之后，仅需额外3.7ms就能够用超分辨率算法将其重建出1920x1080的画面，然后发送到终端设备上进行显示。

假设客户端对分辨率为1280x720的画面进行解码，所需解码时间为16ms左右。则这里总的处理时间总共是19.7ms，能够处理大部分30fps的游戏画面。

但如果检测到终端设备中没有配备人工智能芯片NPU，则继续判断终端设备中有没有配备GPU。目前相关技术中的GPU都有500GFLOPS以上的处理能力，假设以Googlepixel3为例，该终端设备(即手机)配备的Adreno 630 GPU的性能在727GFLOPS。GPU运行FSCNN-s超分辨率算法，其耗时为：

3.7ms*1.92 TFLOPS/0.5 TFLOPS＝14.8ms

这里总的处理时间将是4.8ms。

如果检测到终端设备中既没有NPU，也没有GPU，那么将跳过超分辨率过程，将直接解码后的画面送往终端设备的显示屏进行展示。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述画质调整方法的画质调整装置，该装置应用于终端设备中。如图6所示，该装置包括：

1)获取单元602，用于获取目标云应用的服务器发送的画面编码数据；

2)解码单元604，用于解码画面编码数据，得到待显示的画面资源；

3)调整单元606，用于将画面资源的画质从第一分辨率调整到第二分辨率，其中，第一分辨率小于第二分辨率；

4)展示单元608，用于展示画质为第二分辨率的画面。

可选地，在本实施例中，如图7所示，调整单元606包括：输入模块702，用于在达到对画质进行调整的设备条件的情况下，将画面资源中画质为第一分辨率的画面输入分辨率调整网络模型，其中，分辨率调整网络模型为利用多个样本数据进行训练后所得到的用于调整画质的分辨率的神经网络模型；获取模块704，用于获取分辨率调整网络模型输出的画质为第二分辨率的画面。

可选地，在本实施例中，上述装置还用于：在将画面资源中画质为第一分辨率的画面输入分辨率调整网络模型之后，通过分辨率调整网络模型从画质为第一分辨率的画面中提取画面特征；采用超分辨率算法对画面特征进行反卷积处理，得到反卷积结果；基于反卷积结果进行计算，以得到画质为第二分辨率的画面。

可选地，在本实施例中，上述装置还用于：在将画面资源的画质从第一分辨率调整到第二分辨率之前，在目标云应用的客户端所在的终端设备中检测到目标处理器的器件标识的情况下，确定达到对画质进行调整的设备条件，其中，目标处理器中存储有分辨率调整网络模型的模型参数。

可选地，在本实施例中，上述装置还用于：在将画面资源的画质从第一分辨率调整到第二分辨率之前，获取多个样本数据；将多个样本数据输入初始化的分辨率调整网络模型进行训练，直至得到满足收敛条件的分辨率调整网络模型，其中，收敛条件包括以下之一：训练迭代次数达到第一阈值、分辨率调整网络模型的连续N个训练输出结果小于第二阈值，N为大于2的整数。

可选地，在本实施例中，上述装置还用于：在确定达到对画质进行调整的设备条件之前，向服务器发送携带有终端设备的设备标识的查询请求，其中，查询请求用于查询终端设备中所配置的处理器的属性信息，属性信息中包括处理器的器件标识；获取服务器根据设备标识查询到的处理器信息列表，其中，处理器信息列表中包括设备标识所指示的终端设备中配置的一个或多个处理器的属性信息；在处理器信息列表中包括目标处理器的器件标识的情况下，确定检测到目标处理器的器件标识。

可选地，在本实施例中，具体实施例可以参考上述实施例，本实施例在此不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述画质调整方法的电子设备，该电子设备可以是图1所示的终端设备。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标云应用的服务器发送的画面编码数据；

S2，解码画面编码数据，得到待显示的画面资源；

S3，将画面资源的画质从第一分辨率调整到第二分辨率，其中，第一分辨率小于第二分辨率；

S4，展示画质为第二分辨率的画面。

可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。

其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的画质调整方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的画质调整方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储解码后的画面资源等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述画质调整装置中的获取单元602、解码单元604、调整单元606及展示单元608。此外，还可以包括但不限于上述画质调整装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器808，用于显示调整分辨率后的画面；和连接总线810，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本发明实施例的又一个方面，还提供了一种用于实施上述画质调整方法的电子设备，该电子设备可以是图1所示的服务器。该电子设备包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取原始画面的原始分辨率，其中，原始分辨率为原始画面未经处理的分辨率；

S2，在原始分辨率大于第一分辨率的情况下，将原始画面的分辨率调整至第一分辨率，其中，原始分辨率大于第一分辨率；

S3，按照第一分辨率对原始画面进行渲染编码处理，得到画面编码数据；

S4，将画面编码数据发送至目标云应用的客户端，以使客户端将从画面编码数据中解码出的画面资源的画质调整到第二分辨率，并展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。

可选地，本领域普通技术人员可以理解，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的画质调整方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的画质调整方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器具体可以但不限于用于存储编码后的画面编码数据等信息。

可选地，上述的传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器，用于显示渲染后的画面；和连接总线，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取目标云应用的服务器发送的画面编码数据；

S2，解码画面编码数据，得到待显示的画面资源；

S3，将画面资源的画质从第一分辨率调整到第二分辨率，其中，第一分辨率小于第二分辨率；

S4，展示画质为第二分辨率的画面。

可选地，在本实施例中，上述计算机可读的存储介质还可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取原始画面的原始分辨率，其中，原始分辨率为原始画面未经处理的分辨率；

S2，在原始分辨率大于第一分辨率的情况下，将原始画面的分辨率调整至第一分辨率，其中，原始分辨率大于第一分辨率；

S3，按照第一分辨率对原始画面进行渲染编码处理，得到画面编码数据；

S4，将画面编码数据发送至目标云应用的客户端，以使客户端将从画面编码数据中解码出的画面资源的画质调整到第二分辨率，并展示画质为第二分辨率的画面，其中，第一分辨率小于第二分辨率。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种画质调整方法，其特征在于，包括：

向目标云应用的服务器发送携带有目标云应用的客户端所在的终端设备的设备标识的查询请求；其中，所述服务器根据所述设备标识确定所述终端设备中是否配置有嵌入式神经网络处理器NPU或图像处理器GPU；

接收服务器返回的查询结果；

获取目标云应用的服务器发送的画面编码数据，所述画面编码数据为服务器对原始画面采用第一分辨率进行渲染编码后得到的数据；

解码所述画面编码数据，得到待显示的画面资源；

根据所述查询结果确定是否采用分辨率调整网络模型，包括：判断所述终端设备中是否配置有NPU，如果配置有NPU，采用运行在所述NPU中的分辨率调整网络模型将所述画面资源的画质从第一分辨率调整到第二分辨率，其中，所述第一分辨率小于第二分辨率；如果未配置有NPU，判断所述终端设备中是否配置有GPU，如果配置有GPU，采用运行在GPU中的分辨率调整网络模型将所述画面资源的画质从第一分辨率调整到第二分辨率；展示画质为所述第二分辨率的画面；

如果未配置有NPU和GPU，直接展示分辨率为所述第一分辨率的画面。

2.根据权利要求1所述的方法，其特征在于，将所述画面资源的画质从第一分辨率调整到第二分辨率包括：

将所述画面资源中画质为所述第一分辨率的画面输入分辨率调整网络模型，其中，所述分辨率调整网络模型为利用多个样本数据进行训练后所得到的用于调整画质的分辨率的神经网络模型；

获取所述分辨率调整网络模型输出的画质为所述第二分辨率的画面。

3.根据权利要求2所述的方法，其特征在于，在所述将所述画面资源中画质为所述第一分辨率的画面输入分辨率调整网络模型之后，还包括：

通过所述分辨率调整网络模型从画质为所述第一分辨率的画面中提取画面特征；

采用超分辨率算法对所述画面特征进行反卷积处理，得到反卷积结果；

基于所述反卷积结果进行计算，以得到画质为所述第二分辨率的画面。

4.根据权利要求2所述的方法，其特征在于，所述NPU或GPU中存储有所述分辨率调整网络模型的模型参数。

5.根据权利要求2所述的方法，其特征在于，在所述将所述画面资源的画质从第一分辨率调整到第二分辨率之前，还包括：

获取所述多个样本数据；

将所述多个样本数据输入初始化的分辨率调整网络模型进行训练，直至得到满足收敛条件的所述分辨率调整网络模型，其中，所述收敛条件包括以下之一：训练迭代次数达到第一阈值、所述分辨率调整网络模型的连续N个训练输出结果小于第二阈值，所述N为大于2的整数。

6.根据权利要求1所述的方法，其特征在于，在获取所述目标云应用的服务器发送的所述画面编码数据之前，还包括：

所述服务器确定原始画面的原始分辨率，其中，所述原始分辨率为所述原始画面未经处理的分辨率；

在所述原始分辨率大于所述第一分辨率的情况下，所述服务器将把所述原始画面的分辨率调整至所述第一分辨率，其中，所述原始分辨率大于所述第一分辨率；

所述服务器按照所述第一分辨率对所述原始画面进行渲染编码处理，得到所述画面编码数据。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述展示画质为所述第二分辨率的画面包括：

在所述目标云应用为云游戏应用的情况下，按照所述第二分辨率在所述客户端中展示所述云游戏应用中的游戏画面。

8.一种画质调整方法，其特征在于，包括：

接收目标云应用的客户端发送的携带有所述客户端所在的终端设备的设备标识的查询请求；

根据所述设备标识确定所述终端设备中是否配置有嵌入式神经网络处理器NPU或图像处理器GPU；

向所述目标云应用的客户端返回查询结果；

获取原始画面的原始分辨率，其中，所述原始分辨率为所述原始画面未经处理的分辨率；

在所述原始分辨率大于第一分辨率的情况下，将所述原始画面的分辨率调整至第一分辨率，其中，所述原始分辨率大于所述第一分辨率；

按照所述第一分辨率对所述原始画面进行渲染编码处理，得到画面编码数据；

将所述画面编码数据发送至目标云应用的客户端，以使所述客户端根据所述查询结果确定是否采用分辨率调整网络模型，包括：判断所述终端设备中是否配置有NPU，如果配置有NPU，采用运行在所述NPU中的分辨率调整网络模型将从所述画面编码数据中解码出的画面资源的画质调整到第二分辨率，如果未配置有NPU，判断所述终端设备中是否配置有GPU，如果配置有GPU，采用运行在GPU中的分辨率调整网络模型将所述画面资源的画质从第一分辨率调整到第二分辨率；展示画质为所述第二分辨率的画面，其中，所述第一分辨率小于所述第二分辨率；如果未配置有NPU和GPU，直接展示分辨率为所述第一分辨率的画面。

9.一种画质调整装置，其特征在于，所述装置用于向目标云应用的服务器发送携带有目标云应用的客户端所在的终端设备的设备标识的查询请求；其中，所述服务器根据所述设备标识确定所述终端设备中是否配置有嵌入式神经网络处理器NPU或图像处理器GPU；接收服务器返回的查询结果；所述装置包括：

获取单元，用于获取目标云应用的服务器发送的画面编码数据，所述画面编码数据为服务器对原始画面采用第一分辨率进行渲染编码后得到的数据；

解码单元，用于解码所述画面编码数据，得到待显示的画面资源；

调整单元，用于根据所述查询结果确定是否采用分辨率调整网络模型，包括：判断所述终端设备中是否配置有NPU，如果配置有NPU，采用运行在所述NPU中的分辨率调整网络模型将所述画面资源的画质从第一分辨率调整到第二分辨率，其中，所述第一分辨率小于第二分辨率；如果未配置有NPU，判断所述终端设备中是否配置有GPU，如果配置有GPU，采用运行在GPU中的分辨率调整网络模型将所述画面资源的画质从第一分辨率调整到第二分辨率；如果未配置有NPU和GPU，跳过超分辨率重建过程；

展示单元，用于展示画质为所述第二分辨率的画面或分辨率为所述第一分辨率的画面。

10.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7或权利要求8任一项中所述的方法。

11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7或权利要求8任一项中所述的方法。

Images