CN110428368A - 一种算法评价方法、装置、电子设备及可读存储介质 - Google Patents
一种算法评价方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110428368A CN110428368A CN201910700408.2A CN201910700408A CN110428368A CN 110428368 A CN110428368 A CN 110428368A CN 201910700408 A CN201910700408 A CN 201910700408A CN 110428368 A CN110428368 A CN 110428368A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- image
- target
- target image
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 371
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 160
- 238000012545 processing Methods 0.000 claims abstract description 124
- 230000000694 effects Effects 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000903 blocking effect Effects 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种算法评价方法、装置、电子设备及可读存储介质，方法包括：获取待处理的原始图像和目标图像，向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价，获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。基于上述处理，能够提高评价效率，且提高评价结果的可靠性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种算法评价方法、装置、电子设备及可读存储介质。
背景技术
图像超分辨处理，是指根据图像超分辨算法对较低分辨率的图像进行处理，得到较高分辨率的图像。处理的图像可以是图片，或者，也可以是包含多个图像帧的视频。另外，还可以根据处理后的图像的图像质量，对图像超分辨算法的处理效果进行评价。
一种方式中，评价人员通过终端将待处理的原始图像上传至服务器，并手动启动待评价的目标图像处理算法对应的服务，在服务器根据评价人员选择的图像处理算法对原始图像处理完成，生成处理后的图像(可以称为目标图像)后，评价人员可以将目标图像下载至终端，然后，评价人员可以观察比较原始图像和目标图像的图像质量，得到针对目标图像处理算法的评价结果。
可见，相关技术中，评价人员的操作繁琐，评价效率较低，且仅由该评价人员观察比较原始图像和目标图像，得到的评价结果的可靠性较低。
发明内容
本申请实施例的目的在于提供一种算法评价方法、装置、电子设备及可读存储介质，能够提高评价效率，且提高评价结果的可靠性。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施例公开了一种算法评价方法，所述方法包括：
获取待处理的原始图像和目标图像，其中，所述目标图像为根据目标图像处理算法对所述原始图像进行处理后得到的图像；
向预设用户终端发送评价请求，所述评价请求中携带有评价页面的地址，所述评价页面中显示有所述原始图像和所述目标图像，以使登录所述预设用户终端的用户根据所述评价页面显示的内容进行评价；
获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果。
可选的，所述获取待处理的原始图像和目标图像，包括：
接收评价指令，其中，所述评价指令中携带有所述目标图像处理算法的算法标识；
获取待处理的原始图像，并根据所述目标图像处理算法对所述原始图像进行处理，得到所述目标图像。
可选的，所述获取待处理的原始图像，包括以下之一：
在所述评价指令中携带有图像标识的情况下，获取本地存储的与所述评价指令中携带的图像标识对应的图像，作为所述原始图像；
在所述评价指令中携带有图像的情况下，获取所述评价指令中携带的图像，作为所述原始图像。
可选的，在所述向预设用户终端发送评价请求之前，所述方法还包括：
接收评价指令，其中，所述评价指令中还携带有评价指标的指标标识；
在所述评价页面中显示所述指标标识对应的目标评价指标，以使登录所述预设用户终端的用户，根据所述目标评价指标对所述原始图像和所述目标图像的图像质量进行评价。
可选的，所述目标指标包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
可选的，所述评价结果包括所述原始图像和所述目标图像在所述目标指标上得到的分数值；
在所述获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果之后，所述方法还包括：
计算所述原始图像在所述目标指标上得到的分数值的平均值，作为所述原始图像的评价分数；
计算所述目标图像在所述目标指标上得到的分数值的平均值，作为所述目标图像的评价分数；
根据所述原始图像的评价分数和所述目标图像的评价分数，确定所述目标图像处理算法的处理效果等级，所述处理效果等级表示所述目标图像处理算法对图像进行处理的效果。
可选的，在所述确定所述目标图像处理算法的处理效果等级之后，所述方法还包括：
生成评价结果报告，其中，所述评价报告中包含有所述原始图像、所述目标图像、所述目标图像处理算法的算法标识、所述目标指标的指标标识、所述原始图像在所述目标指标上得到的分数值、所述目标图像在所述目标指标上得到的分数值和所述目标图像处理算法的处理效果等级。
可选的，所述原始图像为图片图像或视频图像。
第二方面，为了达到上述目的，本申请实施例还公开了一种算法评价装置，所述装置包括：
第一获取模块，用于获取待处理的原始图像和目标图像，其中，所述目标图像为根据目标图像处理算法对所述原始图像进行处理后得到的图像；
发送模块，用于向预设用户终端发送评价请求，所述评价请求中携带有评价页面的地址，所述评价页面中显示有所述原始图像和所述目标图像，以使登录所述预设用户终端的用户根据所述评价页面显示的内容进行评价；
第二获取模块，用于获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果。
可选的，所述第一获取模块，具体用于接收评价指令，其中，所述评价指令中携带有所述目标图像处理算法的算法标识；
获取待处理的原始图像，并根据所述目标图像处理算法对所述原始图像进行处理，得到所述目标图像。
可选的，所述第一获取模块，具体用于执行以下之一：
在所述评价指令中携带有图像标识的情况下，获取本地存储的与所述评价指令中携带的图像标识对应的图像，作为所述原始图像；
在所述评价指令中携带有图像的情况下，获取所述评价指令中携带的图像，作为所述原始图像。
可选的，所述装置还包括：
显示模块，用于接收评价指令，其中，所述评价指令中还携带有评价指标的指标标识；
在所述评价页面中显示所述指标标识对应的目标评价指标，以使登录所述预设用户终端的用户，根据所述目标评价指标对所述原始图像和所述目标图像的图像质量进行评价。
可选的，所述目标指标包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
可选的，所述评价结果包括所述原始图像和所述目标图像在所述目标指标上得到的分数值；
所述装置还包括：
处理模块，用于计算所述原始图像在所述目标指标上得到的分数值的平均值，作为所述原始图像的评价分数；
计算所述目标图像在所述目标指标上得到的分数值的平均值，作为所述目标图像的评价分数；
根据所述原始图像的评价分数和所述目标图像的评价分数，确定所述目标图像处理算法的处理效果等级，所述处理效果等级能够表示所述目标图像处理算法对图像进行处理的效果。
可选的，所述处理模块，还用于生成评价结果报告，其中，所述评价报告中包含有所述原始图像、所述目标图像、所述目标图像处理算法的算法标识、所述目标指标的指标标识、所述原始图像在所述目标指标上得到的分数值、所述目标图像在所述目标指标上得到的分数值和所述目标图像处理算法的处理效果等级。
可选的，所述原始图像为图片图像或视频图像。
第三方面，为了达到上述目的，本申请实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如上述第一方面所述的算法评价方法步骤。
第四方面，为了达到上述目的，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的算法评价方法步骤。
第五方面，为了达到上述目的，本申请实施例还公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的算法评价方法步骤。
本申请实施例提供了一种算法评价方法，可以获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像，向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价，获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
基于本申请的方法，评价人员只需确定原始图像和待评价的目标图像处理算法，电子设备可以向预设用户终端发送评价请求，并获取评价结果，省去了评价人员从服务器下载目标图像，并比对原始图像和目标图像的步骤，能够提高评价效率，另外，相对于现有技术中仅由评价人员观察比较原始图像和目标图像得到的评价结果，本申请实施例能够获取登录预设用户终端的多个用户的评价结果，在一定程度上降低评价结果的个人主观性，提高评价结果的可靠性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种算法评价方法的流程图；
图2为本申请实施例提供的一种评价任务生成界面的示意图；
图3为本申请实施例提供的一种评价结果报告的示意图；
图4为本申请实施例提供的一种算法评价方法示例的流程图；
图5为本申请实施例提供的一种算法评价装置的结构图；
图6为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，评价人员的操作繁琐，评价效率较低，且仅由该评价人员观察比较原始图像和目标图像，得到的评价结果的可靠性较低。
为了解决上述问题，本申请实施例提供了一种算法评价方法，可以应用于电子设备，该电子设备可以为终端，也可以为服务器。电子设备本地可以存储有多个图像处理算法，存储的多个图像处理算法可以包括待评价的图像处理算法。
电子设备可以获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像，并向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，相应的，登录预设用户终端的用户，可以根据评价页面显示的内容进行评价，并向通过用户终端向电子设备返回表示目标图像处理算法的处理效果的评价结果。
基于本申请的方法，评价人员只需确定原始图像和待评价的目标图像处理算法，电子设备可以从预设用户终端获取评价结果，省去了评价人员从服务器下载目标图像，并比对原始图像和目标图像的步骤，能够提高评价效率，另外，相对于现有技术中仅由评价人员观察比较原始图像和目标图像得到的评价结果，本申请实施例能够获取登录预设用户终端的多个用户的评价结果，在一定程度上降低评价结果个人主观性，提高评价结果的可靠性。
参见图1，图1为本申请实施例提供的一种算法评价方法的流程图，该方法可以包括以下步骤：
S101：获取待处理的原始图像和目标图像。
其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像。目标图像处理算法为当前待评价的图像处理算法，目标图像处理算法可以为一个，也可以为多个。
一种实现方式中，电子设备可以直接获取评价人员输入的原始图像和目标图像。原始图像可以为图片图像，或者，原始图像也可以为视频图像。
目标图像处理算法可以是电子设备本地存储的图像处理算法，即，评价人员可以从电子设备本地存储的图像处理算法中选择目标图像处理算法，或者，评价人员也可以向电子设备输入需要评价的目标图像处理算法。
可选的，S101可以包括以下步骤：接收评价指令；获取待处理的原始图像，并根据目标图像处理算法对原始图像进行处理，得到目标图像。
其中，评价指令中携带有目标图像处理算法的算法标识。
电子设备本地可以存储有多个图像处理算法，评价人员可以根据需求选择当前待评价的图像处理算法(即目标图像处理算法)。
评价人员可以通过电子设备的输入部件，向电子设备输入携带有目标图像处理算法的算法标识的评价指令，相应的，电子设备可以接收该评价指令，提取得到算法标识，进而，电子设备可以根据该算法标识，确定评价人员需要评价的目标图像处理算法，进而，可以对原始图像进行处理，得到目标图像。
S102：向预设用户终端发送评价请求，以使登录预设用户终端的用户根据评价页面显示的内容进行评价。
其中，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，预设用户终端可以为多个用户终端。
在电子设备得到目标图像后，电子设备则可以生成显示有原始图像和目标图像的评价页面，然后，电子设备可以向预设用户终端发送携带有该评价页面的地址的评价请求。
相应的，在预设用户终端接收到该地址后，预设用户终端可以根据该地址，访问评价页面，将评价页面中显示的内容展现给用户。用户通过预设用户终端浏览到评价页面中显示的原始图像和目标图像后，可以通过预设用户终端对原始图像和目标图像的图像质量进行比较。例如，用户可以分别对原始图像和目标图像的图像质量打分，分数值越高可以表示图像质量越高。
一种方式中，电子设备可以通过邮件，向预设用户终端发送评价页面的地址，并为每一用户终端分配具有预设有效时长的临时账号。相应的，预设用户终端则可以根据分配的临时账户，访问评价页面，进而，用户则可以根据评价页面中显示的内容，对原始图像和目标图像的图像质量进行比较。
S103：获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
在用户通过预设用户终端对原始图像和目标图像的图像质量进行比较，确定各自的图像质量后，电子设备则可以获取表示目标图像处理算法的处理效果的评价结果。
可见，基于本申请的方法，省去了评价人员从服务器下载目标图像，并比对原始图像和目标图像的步骤，能够提高评价效率，另外，相对于现有技术中仅由评价人员观察比较原始图像和目标图像得到的评价结果，本申请实施例能够获取登录预设用户终端的多个用户的评价结果，在一定程度上降低评价结果的个人主观性，提高评价结果的可靠性。
可选的，评价指令中还可以携带有评价指标的指标标识，评价指标用于确定比较图像的图像质量的指标。
一种方式中，评价指标可以简单划分为“图像质量好”、“图像质量不好”。相应的，针对原始图像和处理后的目标图像，用户可以从视觉上比较各自的图像质量，进而比较原始图像和目标图像的图像质量，得到“原始图像质量比较好”或“目标图像质量比较好”或“原始图像和目标图像质量差不多”，进而，可以确定目标图像处理算法的处理效果。
或者，评价指标也可以包括图像噪声、图像细节丰富度等其他指标。例如，用户根据图像噪声这一指标，对原始图像和目标图像打分，和/或，用户根据图像细节丰富度这一指标，对原始图像和目标图像打分。图像的得分值越高，可以表示图像的图像质量越好。进而，可以根据各评价指标的得分值，确定目标图像处理算法的处理效果。
一种实现方式中，评价人员可以通过账号和密码的形式，登录电子设备中预先配置的算法评价平台，通过该算法评价平台生成算法评价任务。
参见图2，图2为本申请实施例提供的一种评价任务生成界面的示意图。
评价人员在登录算法评价平台后，可以选择创建算法评价任务，相应的，该算法评价平台则可以显示图2所示的评价任务生成界面。
评价人员可以在“评测任务名称”的文字输入框内输入用于表示本次算法评价任务的名称，例如，评价人员本次需要对图像处理算法1进行评价，则评价人员可以在该文字输入框内输入“针对图像处理算法1的评价任务”。
图2中，“评测类型”后的选择框中可以设置有“图片”和“视频”对应的选项，即，如果评价人员需要根据图片对图像处理算法进行评价，评价人员可以在“评测类型”后选择“图片”选项；如果评价人员需要根据视频对图像处理算法进行评价，评价人员可以在“评测类型”后选择“视频”选项。即，原始图像可以为图片，也可以为视频。
图2中，“评测维度”用于表示评价人员可以选择的评价方式，例如，评价人员可以选择“三分制”，相应的，在对原始图像和目标图像的图像质量进行比较时，可以得到包括“原始图像质量比较好”、“目标图像质量比较好”或“原始图像和目标图像质量差不多”三个结果。
又如，“评测维度”中还可以设置有“五分制”，“五分制”可以包括“很差”、“略差”、“相似”、“略好”和“很好”五个分数级别。例如，可以基于图像噪声这一指标，分别确定原始图像和目标图像分别属于上述哪一个分数级别。也可以基于图像细节丰富度这一指标，分别确定原始图像和目标图像分别属于上述哪一个分数级别。
图2中，对比方式包括“原图VS结果集”和“结果集VS结果集”。如果评价人员需要根据原始图像和目标图像，评价某一图像处理算法的处理效果，则评价人员可以选择“原图VS结果集”；如果评价人员需要评价多个图像处理算法之间相对的处理效果，则评价人员可以选择“结果集VS结果集”。
图2中，评价人员可以根据“原图”项，选择待处理的原始图像。评价人员可以根据选择框的下拉按钮，选择待处理的原始图像。选择框的下拉按钮中所显示的原始图像可以是算法评价平台本地存储的图像。
可以理解的是，如果算法评价平台本地不存在评价人员所需的原始图像，则评价人员可以点击右侧的“上传”按钮，将所需的原始图像上传至算法评价平台。
图2中，评价人员可以根据“结果集”项，选择图像处理算法对应的算法模型。例如，算法模型可以包括超分修复高配版模型、超分高配版模型、超分修复轻量版模型、超分轻量版模型，上述各算法模型可以根据不同的超分辨算法对原始图像进行处理。
在电子设备获取原始图像后，电子设备可以根据评价人员指定的目标图像处理算法，对原始图像进行处理，得到处理后的图像(即目标图像)。
电子设备获取原始图像的方式可以是多种多样的。
一种方式中，在评价指令中携带有图像标识的情况下，获取本地存储的与评价指令中携带的图像标识对应的图像，作为原始图像。
例如，电子设备本地可以设置有图库，图库中可以存储有预设图像，当评价人员需要对目标图像处理算法进行评价时，评价人员可以在电子设备本地存储的预设图像中选择原始图像。即，评价人员可以向电子设备输入携带有图像标识的评价指令。
相应的，电子设备则可以根据评价指令中携带的图像标识，在本地存储的预设图像中进行查询，将与图像标识对应的预设图像作为原始图像。
本方式中，可以参考图2，评价人员可以根据“原图”项，选择电子设备本地存储的图像作为原始图像。
另外，为了满足用户的个性化需求，电子设备也可以支持用户上传原始图像，一种方式中，在评价指令中携带有图像的情况下，获取评价指令中携带的图像，作为原始图像。
本方式中，可以参考图2，如果电子设备本地不存在评价人员所需的原始图像，则评价人员可以点击右侧的“上传”按钮，将所需的原始图像上传至电子设备，即，评价人员可以向电子设备输入携带有原始图像的评价指令。
相应的，电子设备可以提取评价指令中携带的图像，作为原始图像。可以理解的是，在获取评价指令中携带的图像后，电子设备还可以将该图像存储在本地的图库中，以实现图库的更新，使得评价人员下一次可以直接在图库中选择该图像，作为原始图像。
可选的，如果评价指令中还携带有评价指标的指标标识，则在S102之前该方法还可以包括以下步骤：在评价页面中显示指标标识对应的目标评价指标，以使登录预设用户终端的用户，根据目标评价指标对原始图像和目标图像的图像质量进行评价。
如果评价指令中携带有指标标识，电子设备则可以根据指标标识确定评价人员指定的评价指标(即目标评价指标)，并在评价页面中显示目标评价指标。
相应的，当用户通过预设用户终端浏览评价页面时，用户可以根据目标评价指标对原始图像和目标图像的图像质量进行比较。
可选的，为了实现对图像的综合评价，目标评价指标可以包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
一种实现方式中，在评价页面中，针对原始图像和目标图像，电子设备可以分别显示上述五个评价指标，针对每一评价指标，电子设备在评价页面中显示五个选择框，分别表示“很差”、“略差”、“相似”、“略好”和“很好”五个分数级别，相应的，用户可以根据视觉感受，确定原始图像和目标图像的五个评价指标对应的分数级别。
或者，在评价页面中，针对原始图像和目标图像，电子设备可以分别显示上述五个评价指标，针对每一评价指标，电子设备在评价页面中显示可选的分数值范围，分数值越高表示图像质量越高，相应的，用户可以根据视觉感受，确定原始图像和目标图像的五个评价指标对应的分数值。
如果预设用户终端返回的评价结果包括原始图像和目标图像在目标指标上得到的分数值，在S103之后，该方法还可以包括以下步骤：
步骤一，计算原始图像在目标指标上得到的分数值的平均值，作为原始图像的评价分数，计算目标图像在目标指标上得到的分数值的平均值，作为目标图像的评价分数。
为了避免恶意评分的情况，在获取到用户终端返回的评价结果后，电子设备可以对评价结果中的分数值进一步处理。
电子设备可以计算原始图像在目标指标上得到的各分数值的平均值，作为原始图像的评价分数，并计算目标图像在目标指标上得到的各分数值的平均值，作为目标图像的评价分数。
另外，在计算各分数值的平均值之前，电子设备还可以对分数值进行筛选，例如，电子设备可以删除过高和过低的分数值，并计算剩余的分数值的平均值，作为评价分数。
可以理解的是，如果评价结果中包括多个评价指标对应的分数值，则针对每一评价指标，电子设备可以计算该评价指标对应的各分数值的平均值，作为图像在该评价指标的评价分数，进而，电子设备可以得到各评价指标的评价分数。
或者，电子设备也可以计算各评价指标对应的所有分数值的平均值，作为图像的评价分数。
步骤二，根据原始图像的评价分数和目标图像的评价分数，确定目标图像处理算法的处理效果等级。
其中，处理效果等级可以表示目标图像处理算法对图像进行处理的效果。
一种实现方式中，如果原始图像的评价分数小于目标图像的评价分数，电子设备可以确定目标图像处理算法的处理效果等级为“优秀”；如果原始图像的评价分数大于目标图像的评价分数，电子设备可以确定目标图像处理算法的处理效果等级为“差”。
另外，针对原始图像和目标图像，电子设备均计算得到多个评价指标的评价分数，则针对每一评价指标，如果电子设备确定原始图像在该评价指标的评价分数小于目标图像在该评价指标的评价分数，则电子设备可以确定该评价指标为正向评价指标，进而，电子设备可以得到正向评价指标的总数目(可以称为第一总数目)，并计算第一总数目与评价指标的总数目的比值(可以称为第一比值)。
当第一比值大于第一预设比值时，电子设备可以确定目标图像处理算法的处理效果等级为“优秀”；当第一比值小于第二预设比值时，电子设备可以确定目标图像处理算法的处理效果等级为“差”。
另外，电子设备还可以向评价人员展示评价结果，可选的，在确定目标图像处理算法的处理效果等级之后，该方法还可以包括以下步骤：生成评价结果报告。
其中，评价报告中包含有原始图像、目标图像、目标图像处理算法的算法标识、目标指标的指标标识、原始图像在目标指标上得到的分数值、目标图像在目标指标上得到的分数值和目标图像处理算法的处理效果等级。
参见图3，图3为本申请实施例提供的一种评价结果报告的示意图，
图3中，评测类型为图片，评测维度为三分制。应用模型场景为：超分修复高配版，表示待评价的图像处理算法为超分修复高配版模型对应的算法。参与评测人数为1，表示预设用户终端为1个。评测样本数量为3，表示原始图像为3个图片。任务评测时间：2时2分24秒，可以表示从评价人员生成评价任务，到生成评价结果报告所用的时长。
图3中显示的两个图像，左侧为原始图像，右侧为处理后的目标图像，该两个图像可以是电子设备根据评价分数筛选得到的。原始图像和目标图像上方的数值表示各自的评价分数。
参见图4，图4为本申请实施例提供的一种算法评价方法示例的流程图，该方法可以包括以下步骤：
S401：接收评价指令。
其中，评价指令中携带有目标图像处理算法的算法标识、评价指标的指标标识和图像标识。
S402：获取本地存储的与评价指令中携带的图像标识对应的图像，作为原始图像。
S403：确定与评价指令中携带的算法标识对应的目标图像处理算法，并根据目标图像处理算法对原始图像进行处理，得到处理后的目标图像。
S404：向预设用户终端发送评价请求，以使登录预设用户终端的用户根据目标评价指标对原始图像和目标图像的图像质量进行比较。
其中，评价请求中携带有评价页面的地址，评价页面中显示有原始图像、目标图像和指标标识对应的目标评价指标。
S405：获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
其中，评价结果包括原始图像和目标图像在目标指标上得到的分数值。
S406：计算原始图像在目标指标上得到的分数值的平均值，作为原始图像的评价分数，并计算目标图像在目标指标上得到的分数值的平均值，作为目标图像的评价分数。
S407：根据原始图像的评价分数和目标图像的评价分数，确定目标图像处理算法的处理效果等级。
其中，处理效果等级表示目标图像处理算法对图像进行处理的效果。
S408：生成评价结果报告。
其中，评价报告中包含有原始图像、目标图像、目标图像处理算法的算法标识、目标指标的指标标识、原始图像在目标指标上得到的分数值、目标图像在目标指标上得到的分数值和目标图像处理算法的处理效果等级。
与图1的方法实施例相对应，参见图5，图5为本申请实施例提供的一种算法评价装置的结构图，该装置可以包括：
第一获取模块501，用于获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像；
发送模块502，用于向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价；
第二获取模块503，用于获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
可选的，第一获取模块501，具体用于接收评价指令，其中，评价指令中携带有目标图像处理算法的算法标识；
获取待处理的原始图像，并根据目标图像处理算法对原始图像进行处理，得到目标图像。
可选的，第一获取模块501，具体用于执行以下之一：
在评价指令中携带有图像标识的情况下，获取本地存储的与评价指令中携带的图像标识对应的图像，作为原始图像；
在评价指令中携带有图像的情况下，获取评价指令中携带的图像，作为原始图像。
可选的，装置还包括：
显示模块，用于接收评价指令，其中，评价指令中还携带有评价指标的指标标识；
在评价页面中显示指标标识对应的目标评价指标，以使登录预设用户终端的用户，根据目标评价指标对原始图像和目标图像的图像质量进行评价。
可选的，目标指标包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
可选的，评价结果包括原始图像和目标图像在目标指标上得到的分数值；
装置还包括：
处理模块，用于计算原始图像在目标指标上得到的分数值的平均值，作为原始图像的评价分数；
计算目标图像在目标指标上得到的分数值的平均值，作为目标图像的评价分数；
根据原始图像的评价分数和目标图像的评价分数，确定目标图像处理算法的处理效果等级，处理效果等级能够表示目标图像处理算法对图像进行处理的效果。
可选的，处理模块，还用于生成评价结果报告，其中，评价报告中包含有原始图像、目标图像、目标图像处理算法的算法标识、目标指标的指标标识、原始图像在目标指标上得到的分数值、目标图像在目标指标上得到的分数值和目标图像处理算法的处理效果等级。
可选的，原始图像为图片图像或视频图像。
本申请实施例还提供了一种电子设备，如图6所示，包括存储器601和处理器602；
存储器601，用于存放计算机程序；
处理器602，用于执行存储器601上所存放的程序时，实现本申请实施例提供的算法评价方法。
具体的，上述算法评价方法，包括：
获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像；
向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价；
获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
需要说明的是，上述算法评价方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
上述电子设备可以具备有实现上述电子设备与其他设备之间通信的通信接口。
上述的处理器，通信接口，存储器通过通信总线完成相互间的通信，此处提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(Non-Volatile Memory，简称NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本申请实施例提供的算法评价方法。
具体的，上述算法评价方法，包括：
获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像；
向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价；
获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
需要说明的是，上述算法评价方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例提供的算法评价方法。
具体的，上述算法评价方法，包括：
获取待处理的原始图像和目标图像，其中，目标图像为根据目标图像处理算法对原始图像进行处理后得到的图像；
向预设用户终端发送评价请求，评价请求中携带有评价页面的地址，评价页面中显示有原始图像和目标图像，以使登录预设用户终端的用户根据评价页面显示的内容进行评价；
获取预设用户终端返回的，表示目标图像处理算法的处理效果的评价结果。
需要说明的是，上述算法评价方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (18)
1.一种算法评价方法，其特征在于，所述方法包括：
获取待处理的原始图像和目标图像，其中，所述目标图像为根据目标图像处理算法对所述原始图像进行处理后得到的图像；
向预设用户终端发送评价请求，所述评价请求中携带有评价页面的地址，所述评价页面中显示有所述原始图像和所述目标图像，以使登录所述预设用户终端的用户根据所述评价页面显示的内容进行评价；
获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理的原始图像和目标图像，包括：
接收评价指令，其中，所述评价指令中携带有所述目标图像处理算法的算法标识；
获取待处理的原始图像，并根据所述目标图像处理算法对所述原始图像进行处理，得到所述目标图像。
3.根据权利要求2所述的方法，其特征在于，所述获取待处理的原始图像，包括以下之一：
在所述评价指令中携带有图像标识的情况下，获取本地存储的与所述评价指令中携带的图像标识对应的图像，作为所述原始图像；
在所述评价指令中携带有图像的情况下，获取所述评价指令中携带的图像，作为所述原始图像。
4.根据权利要求1所述的方法，其特征在于，在所述向预设用户终端发送评价请求之前，所述方法还包括：
接收评价指令，其中，所述评价指令中还携带有评价指标的指标标识；
在所述评价页面中显示所述指标标识对应的目标评价指标，以使登录所述预设用户终端的用户，根据所述目标评价指标对所述原始图像和所述目标图像的图像质量进行评价。
5.根据权利要求4所述的方法，其特征在于，所述目标指标包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
6.根据权利要求4所述的方法，其特征在于，所述评价结果包括所述原始图像和所述目标图像在所述目标指标上得到的分数值；
在所述获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果之后，所述方法还包括：
计算所述原始图像在所述目标指标上得到的分数值的平均值，作为所述原始图像的评价分数；
计算所述目标图像在所述目标指标上得到的分数值的平均值，作为所述目标图像的评价分数；
根据所述原始图像的评价分数和所述目标图像的评价分数，确定所述目标图像处理算法的处理效果等级，所述处理效果等级表示所述目标图像处理算法对图像进行处理的效果。
7.根据权利要求6所述的方法，其特征在于，在所述确定所述目标图像处理算法的处理效果等级之后，所述方法还包括：
生成评价结果报告，其中，所述评价报告中包含有所述原始图像、所述目标图像、所述目标图像处理算法的算法标识、所述目标指标的指标标识、所述原始图像在所述目标指标上得到的分数值、所述目标图像在所述目标指标上得到的分数值和所述目标图像处理算法的处理效果等级。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述原始图像为图片图像或视频图像。
9.一种算法评价装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理的原始图像和目标图像，其中，所述目标图像为根据目标图像处理算法对所述原始图像进行处理后得到的图像；
发送模块，用于向预设用户终端发送评价请求，所述评价请求中携带有评价页面的地址，所述评价页面中显示有所述原始图像和所述目标图像，以使登录所述预设用户终端的用户根据所述评价页面显示的内容进行评价；
第二获取模块，用于获取所述预设用户终端返回的，表示所述目标图像处理算法的处理效果的评价结果。
10.根据权利要求9所述的装置，其特征在于，所述第一获取模块，具体用于接收评价指令，其中，所述评价指令中携带有所述目标图像处理算法的算法标识；
获取待处理的原始图像，并根据所述目标图像处理算法对所述原始图像进行处理，得到所述目标图像。
11.根据权利要求10所述的装置，其特征在于，所述第一获取模块，具体用于执行以下之一：
在所述评价指令中携带有图像标识的情况下，获取本地存储的与所述评价指令中携带的图像标识对应的图像，作为所述原始图像；
在所述评价指令中携带有图像的情况下，获取所述评价指令中携带的图像，作为所述原始图像。
12.根据权利要求9所述的装置，其特征在于，所述装置还包括：
显示模块，用于接收评价指令，其中，所述评价指令中还携带有评价指标的指标标识；
在所述评价页面中显示所述指标标识对应的目标评价指标，以使登录所述预设用户终端的用户，根据所述目标评价指标对所述原始图像和所述目标图像的图像质量进行评价。
13.根据权利要求12所述的装置，其特征在于，所述目标指标包括以下至少之一：图像噪声、图像块效应、图像振铃效应、图像边缘清晰度和图像细节丰富度。
14.根据权利要求12所述的装置，其特征在于，所述评价结果包括所述原始图像和所述目标图像在所述目标指标上得到的分数值；
所述装置还包括：
处理模块，用于计算所述原始图像在所述目标指标上得到的分数值的平均值，作为所述原始图像的评价分数；
计算所述目标图像在所述目标指标上得到的分数值的平均值，作为所述目标图像的评价分数；
根据所述原始图像的评价分数和所述目标图像的评价分数，确定所述目标图像处理算法的处理效果等级，所述处理效果等级能够表示所述目标图像处理算法对图像进行处理的效果。
15.根据权利要求14所述的装置，其特征在于，所述处理模块，还用于生成评价结果报告，其中，所述评价报告中包含有所述原始图像、所述目标图像、所述目标图像处理算法的算法标识、所述目标指标的指标标识、所述原始图像在所述目标指标上得到的分数值、所述目标图像在所述目标指标上得到的分数值和所述目标图像处理算法的处理效果等级。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述原始图像为图片图像或视频图像。
17.一种电子设备，其特征在于，包括存储器和处理器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910700408.2A CN110428368A (zh) | 2019-07-31 | 2019-07-31 | 一种算法评价方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910700408.2A CN110428368A (zh) | 2019-07-31 | 2019-07-31 | 一种算法评价方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110428368A true CN110428368A (zh) | 2019-11-08 |
Family
ID=68413260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910700408.2A Pending CN110428368A (zh) | 2019-07-31 | 2019-07-31 | 一种算法评价方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428368A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223054A (zh) * | 2019-11-19 | 2020-06-02 | 深圳开立生物医疗科技股份有限公司 | 超声图像评估方法和装置 |
| CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN112767318A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
| CN116701923A (zh) * | 2022-10-13 | 2023-09-05 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
| CN118014392A (zh) * | 2024-02-01 | 2024-05-10 | 中国铁塔股份有限公司 | 算法评价方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296669A (zh) * | 2016-08-01 | 2017-01-04 | 微梦创科网络科技（中国）有限公司 | 一种图像质量评价方法和装置 |
| CN108074241A (zh) * | 2018-01-16 | 2018-05-25 | 深圳大学 | 目标图像的质量评分方法、装置、终端及存储介质 |
| WO2018214115A1 (zh) * | 2017-05-25 | 2018-11-29 | 华为技术有限公司 | 一种评价脸妆的方法及装置 |
| CN109034242A (zh) * | 2018-07-26 | 2018-12-18 | 北京小米移动软件有限公司 | 图像处理算法的评分方法、装置及系统 |
| CN109525888A (zh) * | 2018-09-28 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备以及存储介质 |
| CN109522960A (zh) * | 2018-11-21 | 2019-03-26 | 泰康保险集团股份有限公司 | 图像评估方法、装置、电子设备及计算机可读介质 |
| CN109684581A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 基于用户特征数据的评价方法、装置、设备和存储介质 |
| CN109885790A (zh) * | 2018-12-30 | 2019-06-14 | 贝壳技术有限公司 | 获取满意度评价数据的方法和装置 |
-
2019
- 2019-07-31 CN CN201910700408.2A patent/CN110428368A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296669A (zh) * | 2016-08-01 | 2017-01-04 | 微梦创科网络科技（中国）有限公司 | 一种图像质量评价方法和装置 |
| WO2018214115A1 (zh) * | 2017-05-25 | 2018-11-29 | 华为技术有限公司 | 一种评价脸妆的方法及装置 |
| CN108074241A (zh) * | 2018-01-16 | 2018-05-25 | 深圳大学 | 目标图像的质量评分方法、装置、终端及存储介质 |
| CN109034242A (zh) * | 2018-07-26 | 2018-12-18 | 北京小米移动软件有限公司 | 图像处理算法的评分方法、装置及系统 |
| CN109684581A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 基于用户特征数据的评价方法、装置、设备和存储介质 |
| CN109525888A (zh) * | 2018-09-28 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备以及存储介质 |
| CN109522960A (zh) * | 2018-11-21 | 2019-03-26 | 泰康保险集团股份有限公司 | 图像评估方法、装置、电子设备及计算机可读介质 |
| CN109885790A (zh) * | 2018-12-30 | 2019-06-14 | 贝壳技术有限公司 | 获取满意度评价数据的方法和装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223054A (zh) * | 2019-11-19 | 2020-06-02 | 深圳开立生物医疗科技股份有限公司 | 超声图像评估方法和装置 |
| CN111223054B (zh) * | 2019-11-19 | 2024-03-15 | 深圳开立生物医疗科技股份有限公司 | 超声图像评估方法和装置 |
| CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN111709922B (zh) * | 2020-06-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN112767318A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
| CN112767318B (zh) * | 2020-12-31 | 2023-07-25 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
| CN116701923A (zh) * | 2022-10-13 | 2023-09-05 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
| CN116701923B (zh) * | 2022-10-13 | 2024-05-17 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
| CN118014392A (zh) * | 2024-02-01 | 2024-05-10 | 中国铁塔股份有限公司 | 算法评价方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428368A (zh) | 一种算法评价方法、装置、电子设备及可读存储介质 | |
| US8856215B2 (en) | Detecting visible display of content | |
| CN106886491A (zh) | 网页兼容性测试方法及装置 | |
| CN108829597A (zh) | 软件众测方法及装置、计算机装置及可读存储介质 | |
| CN105912550A (zh) | 一种移动终端的信息推荐方法及装置 | |
| CN110348519A (zh) | 金融产品欺诈团伙的识别方法和装置 | |
| CN105893253A (zh) | 应用软件测试方法、测试装置及测试设备 | |
| CN109670963A (zh) | 资产信息筛选方法、装置、设备及存储介质 | |
| US20160034562A1 (en) | Method and system for organizing messages and reporting statistics for messages in a social network | |
| US20150135019A1 (en) | Automated testing of application programs from an application program ecosystem | |
| CN104503877A (zh) | 一种对智能终端进行评测的方法和装置 | |
| CN103765421A (zh) | 内容控制方法、内容控制装置以及程序 | |
| CN108124271B (zh) | 一种基于用户感知的网络质量评估方法及装置 | |
| CN108510204A (zh) | 评分方法、装置及电子终端 | |
| CN109729433A (zh) | 一种视频播放评估方法及装置 | |
| CN109714393A (zh) | 一种应用程序推荐的方法及装置 | |
| CN110505490A (zh) | 多媒体数据识别方法和系统 | |
| CN114880310A (zh) | 一种用户行为分析方法、装置、计算机设备及存储介质 | |
| CN105794150B (zh) | 用于测量端对端互联网应用性能的方法 | |
| CN106354841B (zh) | 推荐算法的测试方法及装置 | |
| CN110087103A (zh) | 一种视频推荐系统、方法、装置及计算机 | |
| CN108062401A (zh) | 应用推荐方法、装置及存储介质 | |
| CN108074108A (zh) | 一种净推荐值的显示方法及其终端 | |
| Pimbblet et al. | Intercluster Filaments of Galaxies Programme: pilot study survey and results | |
| CN109753585B (zh) | 一种推荐视频的确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |
|
| RJ01 | Rejection of invention patent application after publication |