CN114356712A - 数据处理方法、装置、设备、可读存储介质及程序产品 - Google Patents
数据处理方法、装置、设备、可读存储介质及程序产品 Download PDFInfo
- Publication number
- CN114356712A CN114356712A CN202210005562.XA CN202210005562A CN114356712A CN 114356712 A CN114356712 A CN 114356712A CN 202210005562 A CN202210005562 A CN 202210005562A CN 114356712 A CN114356712 A CN 114356712A
- Authority
- CN
- China
- Prior art keywords
- resource
- modification
- detected
- group information
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000004048 modification Effects 0.000 claims abstract description 304
- 238000012986 modification Methods 0.000 claims abstract description 304
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000002159 abnormal effect Effects 0.000 claims abstract description 51
- 230000000875 corresponding effect Effects 0.000 claims description 110
- 238000007726 management method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000008520 organization Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备、可读存储介质及程序产品,该方法包括:获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,根据目标空间数据量与历史空间数据量之间的差异程度,确定异常修改业务组信息。采用本申请,可以降低异常运行资源的定位耗时以及提高内存增长的解决效率。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据处理方法、装置、设备、可读存储介质及程序产品。
背景技术
随着数字化时代的来临,对于应用占用的内存要求标准越来越高。对内存的统计大量应用于数据库、目标识别、文本分析等场景,是人工智能模型以及计算机应用更新中的常见操作。计算机应用常用的内存统计算法包括电脑内存分析工具(Puredev MemPro)、内存管理工具(RAM Saver Professional)以及游戏引擎平台(Unity)提供的性能分析工具(Profiler)等,其中,性能分析工具其自身特有的便捷性和全面性在游戏开发等领域有重要的应用价值。
性能分析工具可以用于中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)及内存使用状况分析,具有广泛的涵盖面,可以提供游戏性能表现的详细信息,因此,可以通过性能分析工具对资源占用空间进行统计,通过这一方式,可以获取到资源所占用的空间数据量的波动情况,在资源的空间数据量发生异常波动时,确定需要优化的资源,而这一方式只能确定需要优化的资源,在进行具体优化时,需要获取对资源进行优化的管理人员,导致资源的优化效率低下。
发明内容
本申请实施例提供一种数据处理方法、装置、设备、可读存储介质及程序产品,不仅可以降低修改业务组的定位耗时,还可以提高内存不合理增长的解决效率。
本申请实施例一方面提供了一种数据处理方法,包括:
获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
进一步地,方法还包括:
当对目标应用进行更新时,获取目标应用中发生更新的待检测资源,以及更新待检测资源的修改对象;
将待检测资源与待检测资源的修改对象,关联存储至与目标应用关联的版本管理数据库中;
查找待检测资源的修改对象,包括:
从版本管理数据库中,查找待检测资源的修改对象。
进一步地,方法还包括:
若修改对象具备针对待检测资源的修改权限,则执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程;
若修改对象不具备针对待检测资源的修改权限,则获取目标应用的应用关联数据,基于应用关联数据确定待检测资源的修改业务组信息,执行当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量的过程。
进一步地,应用关联数据包括文件包含关系及待检测资源的资源存储路径;
基于应用关联数据确定待检测资源的修改业务组信息,包括:
以待检测资源的资源存储路径为基础,基于文件包含关系对应用关联数据进行逐层遍历,直至获取到应用关联数据中,文件属性为业务组属性的数据存储文件;
将数据存储文件所关联的业务组信息,确定为待检测资源的修改业务组信息。
进一步地,查找待检测资源的修改对象,包括:
获取目标应用对应的源代码,对源代码进行遍历检测,得到与待检测资源关联的代码备注数据,从代码备注数据中获取待检测资源的修改对象;代码备注数据是指在源代码中用于对程序代码进行备注的数据。
进一步地,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息,包括:
获取异常差值阈值,将运行资源对应的目标空间数据量与运行资源对应的历史空间数据量的差值,确定为空间数据量差值;
将空间数据量差值大于异常差值阈值的运行修改业务组信息,确定为异常修改业务组信息。
进一步地,运行资源的数量为M;M为正整数;
根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息,包括:
根据M个运行资源分别关联的运行修改业务组信息,对M个运行资源进行分组,得到X个业务资源组;每个业务资源组中所包括的运行资源对应相同的运行修改业务组信息;X为正整数;
将第i个业务资源组中所包括的运行资源对应的目标空间数据量之和,确定为第i个业务资源组的目标空间总量,将第i个业务资源组中所包括的运行资源对应的历史空间数据量之和,确定为第i个业务资源组的历史空间总量;
将第i个业务资源组的目标空间总量与第i个业务资源组的历史空间总量的差值,确定为第i个业务资源组所对应的空间波动数据量;
在X个业务资源组中,将空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。
本申请实施例一方面提供了一种数据处理装置,包括:
获取模块,用于获取目标应用所对应的待检测资源;
查找模块,用于查找待检测资源的修改对象;
资源存储模块,用于将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
采集模块,用于当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
空间获取模块,用于获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息;
异常确定模块,用于根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
其中,装置还包括:
更新模块,用于当对目标应用进行更新时,获取目标应用中发生更新的待检测资源,以及更新待检测资源的修改对象;
版本存储模块,用于将待检测资源与待检测资源的修改对象,关联存储至与目标应用关联的版本管理数据库中;
该查找模块,具体用于从版本管理数据库中,查找待检测资源的修改对象。
其中,装置还包括:
关联执行模块,用于若修改对象具备针对待检测资源的修改权限,则执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程;
关联获取模块,用于若修改对象不具备针对待检测资源的修改权限,则获取目标应用的应用关联数据,基于应用关联数据确定待检测资源的修改业务组信息,执行当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量的过程。
其中,应用关联数据包括文件包含关系及待检测资源的资源存储路径;
关联获取模块,包括:
遍历单元,用于以待检测资源的资源存储路径为基础,基于文件包含关系对应用关联数据进行逐层遍历,直至获取到应用关联数据中,文件属性为业务组属性的数据存储文件;
业务组确定单元,用于将数据存储文件所关联的业务组信息,确定为待检测资源的修改业务组信息。
其中,查找模块包括:
代码解析单元,用于获取目标应用对应的源代码,对源代码进行遍历检测,得到与待检测资源关联的代码备注数据;
对象查找单元,用于从代码备注数据中获取待检测资源的修改对象;代码备注数据是指在源代码中用于对程序代码进行备注的数据。
其中,该异常确定模块包括:
差值确定单元,用于获取异常差值阈值,将运行资源对应的目标空间数据量与运行资源对应的历史空间数据量的差值,确定为空间数据量差值;
异常信息确定单元,用于将空间数据量差值大于异常差值阈值的运行修改业务组信息,确定为异常修改业务组信息。
其中,运行资源的数量为M;M为正整数;
异常确定模块,还包括:
资源分组单元,用于根据M个运行资源分别关联的运行修改业务组信息,对M个运行资源进行分组,得到X个业务资源组;每个业务资源组中所包括的运行资源对应相同的运行修改业务组信息;X为正整数;
空间确定单元,用于将第i个业务资源组中所包括的运行资源对应的目标空间数据量之和,确定为第i个业务资源组的目标空间总量,将第i个业务资源组中所包括的运行资源对应的历史空间数据量之和,确定为第i个业务资源组的历史空间总量;
波动确定单元,用于将第i个业务资源组的目标空间总量与第i个业务资源组的历史空间总量的差值,确定为第i个业务资源组所对应的空间波动数据量;
范围匹配单元,用于在X个业务资源组中,将空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使得计算机设备执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,上述计算机程序适于由处理器加载并执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中的方法。
在本申请实施例中,基于修改业务组信息进行待检测资源所占用的目标空间数据量的采集。再通过目标空间数据量与历史空间数据量的差异程度,可以确定异常修改业务组信息。由此可见,本申请实施例通过将待检测资源与待检测资源对应修改业务组信息进行关联,再采集待检测资源中的运行资源的目标空间数据里,不仅可以降低修改业务组的定位耗时,还可以提高内存不合理增长的解决效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构示意图;
图2是本申请实施例提供的一种用于统计内存空间的场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4是本申请实施例提供的一种数据处理方法的流程示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图;
图6是本申请实施例提供的一种数据处理方法的流程示意图;
图7是本申请实施例提供的一种数据处理的场景示意图;
图8是本申请实施例提供的一种数据处理的场景示意图;
图9是本申请实施例提供的一种数据处理装置的结构示意图;
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,首先对部分名词进行以下简单解释:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
请参见图1,图1是本申请实施例提供的一种系统架构示意图。如图1所示,该系统可以包括业务服务器100以及终端集群,终端集群可以包括:终端设备200a、终端设备200b、终端设备200c、…、终端设备200n,可以理解的是,上述系统可以包括一个或者多个终端设备,本申请不对终端设备的数量进行限制。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID),或者火车、轮船、飞行等场景下的终端设备等。
其中,终端集群之间可以存在通信连接,例如终端设备200a与终端设备200b之间存在通信连接,终端设备200a与终端设备200c之间存在通信连接。同时,终端集群中的任一终端设备可以与业务服务器100存在通信连接,例如终端设备200a与业务服务器100之间存在通信连接,其中,上述通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其它方式,本申请在此不做限制。
应当理解,如图1所示的终端集群中的每个终端设备均可以安装有应用客户端,当该应用客户端运行于各终端设备中时,可以分别与上述图1所示的业务服务器100之间进行数据交互,即上述的通信连接。其中,该应用客户端可以为短视频应用、视频应用、直播应用、社交应用、即时通信应用、游戏应用、音乐应用、购物应用、小说应用、浏览器等具有数据排序功能的应用客户端。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端,在此不做限定。
为便于后续理解和说明,本申请实施例可以在图1所示的终端集群中选择一个终端设备作为目标终端设备,例如以终端设备200a作为目标终端设备。当获取到目标应用,并接收到针对目标应用的运行资源所占用的目标空间数据量采集指令时,终端设备200a可以将针对目标应用的运行资源所占用的目标空间数据量采集请求发送至业务服务器100。进一步,可以获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中。进一步,当目标应用运行时,业务服务器100可以采集目标应用的运行资源所占用的目标空间数据量。可选的,业务服务器100可以接收终端设备200a发送的目标空间数据量采集请求,当目标应用运行时,基于该目标空间数据量采集请求,采集目标应用的运行资源所占用的目标空间数据量。进一步,业务服务器100可以获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,最后,可以根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
本申请实施例提供的方法可以应用在多种领域中,以游戏领域为例,一款线上运营已久的成熟游戏应用,迭代版本数据发布前会进行严格的性能数据审核,当发现内存占用非合理性增大后,若无法确定负责非合理性增大的资源的修改业务组信息,则在推动资源占用非合理性增大这一问题的进一步解决时,效率会非常低下。本申请实施例提供的方法实现了,面向业务组提供按修改业务组信息分类的资源所占用的空间数据量的相关数据,可以将内存占用增大问题解耦到各修改业务组下,比如场景组、角色组、界面设计(UserInterface,UI)组、动画组、特效组,明确问题的跟进和负责的修改业务组信息,大幅提高了内存占用增大问题的解决效率。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备可以是终端设备或业务服务器,或是由终端设备与业务服务器组成的系统。其中,业务服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。其中,终端设备和业务服务器可以通过有线或无线方式进行直接或间接地连接,本申请实施例在此不做限制。
可以理解的是,上述系统架构可适用于计算机故障分析、应用版本更新、游戏应用运行比较等内存统计场景,这里将不对具体的业务场景进行一一列举。
请参见图2,图2是本申请实施例提供的一种用于统计内存空间的场景示意图。在图2中,计算机设备可以获取在目标应用中所输入的指令,并作出相应响应,提供目标对象可能想要进行的关联功能。
其中,计算机设备可以事先将待检测资源的修改业务组信息烘焙至资源修改数据库中,识别待检测资源的修改业务组信息的过程可以一并参见图2,在图2中,计算机设备可以在目标应用的编辑器中,将待检测资源的修改业务组信息烘焙至资源修改数据库中,此步骤可作为目标应用运行前的资源修改数据库的准备过程;计算机设备在目标应用运行时,可以按照修改业务组信息将目标应用的运行资源进行分类,基于分类后的运行资源的目标空间数据量,或者目标空间数据量与历史空间数据量之间的空间数据量差值等,进行数据统计,得到以修改业务组信息为基础的空间数据量的统计情况;计算机设备在数据后处理步骤中,可以以修改业务组信息为基础,将目标空间总量或空间数据量差值进行可视化转换,转换为便于查看的网页图表,并输出该网页图表。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。如图3所示,该数据处理方法至少可以包括以下步骤S101-步骤S103。
步骤S101,获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
具体的,获取目标应用所对应的待检测资源,待检测资源可以包括目标应用中的硬件资源和软件资源,按照资源类型进行划分,该待检测资源可以包括但不限于贴图资源、模型资源及动画资源等。
通过查找待检测资源的修改对象可以确定待检测资源的负责对象,由于修改对象是指对待检测资源进行修改的对象,也就是说,待检测资源由该待检测资源的修改对象进行更新维护,因此,该待检测资源的修改对象在理论上,是对该待检测资源最为了解的对象,在对待检测资源进行进一步更新优化时,该待检测资源的修改对象可以很方便地获取到该待检测资源的相关信息,以对待检测资源进行更新优化,故而可以将待检测资源的修改对象认为是针对该待检测资源的负责对象。然后,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中。资源修改数据库的建立可以便于查找待检测资源的修改业务组信息。
一种修改对象获取方式下,当对目标应用进行更新时,获取目标应用中发生更新的待检测资源,以及更新待检测资源的修改对象;将待检测资源与待检测资源的修改对象,关联存储至与目标应用关联的版本管理数据库中。查找待检测资源的修改对象,包括:从版本管理数据库中,查找待检测资源的修改对象。也就是说,在目标应用更新时,可以记录目标应用的更新数据,在需要生成版本管理数据库时,可以从更新数据中获取所需的待检测资源及该待检测资源的修改对象,将待检测资源及该待检测资源的修改对象关联存储至版本管理数据库。或者,在目标应用更新时,每次更新,都直接获取更新时发生变化的待检测资源,获取更新该待检测资源的修改对象,将待检测资源与修改对象关联存储至版本管理数据库中,对版本管理数据库进行不断更新优化,以完善该版本管理数据库。
可选的,在当对目标应用进行更新时,获取目标应用中发生更新的待检测资源,以及更新待检测资源的修改对象时,可以通过获取目标应用对应的源代码的方式,对修改对象进行查找,具体的,从目标应用的源代码中,获取更新代码段,获取该更新代码段所对应的待检测资源,从该更新代码段中获取更新备注信息,从该更新备注信息中获取待检测资源的修改对象。其中,一般情况下,在对代码进行更新时,会进行相应地备注,以表示该段代码的更新时间、更新该段代码的对象以及该段代码所实现的功能等,可以通过这一机制,从目标应用的源代码中获取待检测资源及待检测资源的修改对象。或者,在目标应用更新时,会生成应用更新日志,对该应用更新日志进行遍历,得到与目标应用相关联的待检测资源,以及该待检测资源对应的修改对象,即可以通过遍历应用更新日志的方式查找修改对象。可选的,还可以基于该待检测资源在应用更新日志中所对应的日志条目生成时间,确定该修改对象更新对应的待检测资源的资源更新时间等,对待检测资源、待检测资源的修改对象及该待检测资源的资源更新时间进行关联,可以将该关联关系存储至资源修改数据库中。
一种修改对象获取方式下,可以通过获取目标应用对应的源代码的方式,对修改对象进行查找,对源代码进行遍历检测,得到与待检测资源关联的代码备注数据,从代码备注数据中获取待检测资源的修改对象;代码备注数据是指在源代码中用于对程序代码进行备注的数据。
一种修改对象获取方式下,目标应用中包括应用关联数据,该应用关联数据可以包括但不限于文件包含关系及资源存储路径,该应用关联数据是指该目标应用中获取的相关特征。具体的,可以以待检测资源的资源存储路径为基础,基于文件包含关系对应用关联数据进行逐层遍历,直至获取到应用关联数据中,文件属性为对象属性的数据标识文件,将数据标识文件所关联的对象确定为修改对象。或者,在应用关联数据中查找文件属性为资源属性的资源存储文件,获取资源存储文件所对应的修改对象,该修改对象即为资源存储文件所指示的待检测资源的修改对象。文件属性是指数据的修饰特征,可以包括但不限于资源属性、对象属性及业务组属性等。
进一步地,可以将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中。可选的,可以从目标应用对应的业务组织架构中,获取待检测资源的修改对象所属的修改业务组织信息。其中,业务组织架构可以是一种以决策权为导向的划分体系或各部门之间的分工协作体系,即,各个修改业务组之间的组织关系,如包含关系(一个修改业务组可以包含另一个修改业务组)或并列关系(如一个修改业务组可以与另一个修改业务组之间是平行部门)等,以及修改业务组与修改对象之间的所属关系等,如修改对象是属于哪个修改业务组等。业务组织架构可以根据企业总目标,将企业管理要素在一定的方位上进行配置,确定业务组织架构的活动条件,规定业务组织架构的活动范围,形成相对稳定的科学管理体系。
进一步,若修改对象具备针对待检测资源的修改权限,则执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程;具体的,若修改对象具备针对待检测资源的修改权限,则修改对象即为待检测资源的负责对象,可以理解的是,若待检测资源细分到最小的可以被检测到的单位时,则最小单位的待检测资源可以被唯一的修改对象调用,当最小单位的待检测资源被唯一的修改对象调用时,其他修改对象无法对其进行调用,则修改对象即为待检测资源的唯一负责对象。然后,可以执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程。
若修改对象不具备针对待检测资源的修改权限,则获取目标应用的应用关联数据,基于应用关联数据确定待检测资源的修改业务组信息;具体的,以待检测资源的资源存储路径为基础,基于文件包含关系对应用关联数据进行逐层遍历,直至获取到应用关联数据中,文件属性为业务组属性的数据存储文件;将数据存储文件所关联的业务组信息,确定为待检测资源的修改业务组信息。文件属性包括对象属性和业务组属性。
步骤S102,当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
具体的,目标空间数据量可以是内存。内存是评测目标应用的重要指标之一,其中,目标应用可以是工作、影音、金融、购物、通讯、新闻、出行、游戏等类型的应用。以游戏类应用来举例,内存可以是引擎中资源部分的内存占用,内存可以包括贴图、模型、着色器、动画等资源的内存占用,可以通过美术制作、策划配置等步骤将资源配置到游戏类应用中。当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量,空间数据量可以是目标应用的运行资源所占用的内存大小,目标空间数据量是指目标应用在本次运行过程中,运行资源所占用的内存大小;运行资源属于目标应用对应的待检测资源。
步骤S103,获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
具体的,获取运行资源对应的历史空间数据量,从资源修改数据库中获取的与运行资源相关联的运行修改业务组信息。运行修改业务组信息是指与运行资源相关联的运行修改业务组的相关信息。其中,本申请中所涉及的各个修改业务组可以认为组成了目标应用的业务组织架构,该运行修改业务组属于修改业务组,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。其中,该历史空间数据量可以是运行资源在本次目标空间数据量采集的时间点的上一个时间点,所对应的空间数据量;或者,可以获取统计得到的运行资源的至少两个版本空间数据量,将至少两个版本空间数据量的均值确定为运行资源的历史空间数据量,或者,将至少两个版本空间数据量的中心值确定为运行资源的历史空间数据量,或者,可以将至少两个版本空间数据量的聚集值确定为运行资源的历史空间数据量等,在此不做限制。其中,聚集值是指至少两个版本空间数据量中出现次数最多的值;或对至少两个版本空间数据量进行聚类后,得到聚类集合,将包括的版本空间数据量的数量最多的聚类集合中,各个版本空间数据量的均值确定为至少两个版本空间数据量的聚集值等。
可选的,若该资源修改数据库中存在资源更新时间,则可以从资源修改数据库中获取运行资源所对应的候选修改业务组信息。若候选修改业务组信息的数量为1,则将该候选修改业务组信息确定为该运行资源对应的运行修改业务组信息。若候选修改业务组信息的数量为至少两个,则获取至少两个候选修改业务组信息分别对应的资源更新时间,将最大的资源更新时间对应的候选修改业务组信息,确定为运行资源所关联的运行修改业务组信息。
一种异常修改业务组信息确定方式下,可以获取异常差值阈值,将运行资源对应的目标空间数据量与运行资源对应的历史空间数据量的差值,确定为空间数据量差值;将空间数据量差值大于异常差值阈值的运行修改业务组信息,确定为异常修改业务组信息。
一种异常修改业务组信息确定方式下,当运行资源的数量为M时,M为正整数,可以根据M个运行资源分别关联的运行修改业务组信息,对M个运行资源进行分组,得到X个业务资源组;每个业务资源组中所包括的运行资源对应相同的运行修改业务组信息;X为正整数。将第i个业务资源组中所包括的运行资源对应的目标空间数据量之和,确定为第i个业务资源组的目标空间总量,将第i个业务资源组中所包括的运行资源对应的历史空间数据量之和,确定为第i个业务资源组的历史空间总量。将第i个业务资源组的目标空间总量与第i个业务资源组的历史空间总量的差值,确定为第i个业务资源组所对应的空间波动数据量;在X个业务资源组中,将空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。具体的,空间正常波动范围的确定可以通过采样至少两个业务资源组对应的历史空间波动数据量,根据至少两个业务资源组对应的历史空间波动数据量得出空间正常波动范围。在X个业务资源组中,将空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。其中,可以将空间波动数据量不属于空间正常波动范围的业务资源组记作异常业务资源组。
进一步地,针对异常修改业务组信息可以进行异常处理。具体的,可以向异常修改业务组信息所关联的管理设备,向该管理设备发送空间异常消息,以使管理设备基于该空间异常消息,对该异常业务资源组中所包括的运行资源进行更新。可选的,该空间异常消息可以包括异常业务资源组所包括的运行资源,还可以包括推荐资源时间点等。其中,推荐资源时间点是指位于本次对运行资源进行目标空间数据量采集的时间点之前,且异常业务资源组对应的版本空间总量小于目标空间总量的时间点。其中,版本空间总量是指异常业务资源组所包括的运行资源在推荐资源时间点,占用的空间数据量的总量。
在本申请实施例中,通过构建资源修改数据库,确定运行资源对应的修改业务组信息,采集目标空间数据量,确定异常修改业务组信息。对工程中所有的待检测资源进行预计算,将待检测资源归属的修改业务组信息,提前烘焙为一个资源修改数据库,运行时根据资源修改数据库中的修改业务组信息,将所有的待检测资源按照修改业务组信息进行分类统计。实现提供按业务组分类后的资源所占用的空间数据量,如场景组内存占用、角色组内存占用等,有了这种维度分类的数据后,我们可以将问题按照业务组织架构分类,明确对问题进行负责的修改业务组信息来,不仅可以降低修改业务组的定位耗时,还可以提高内存不合理增长的解决效率。
进一步地,请参见图4,其中,上述步骤S102的具体实现可以参见图4,图4是本申请实施例提供的一种数据处理方法的流程示意图。如图4所示,该数据处理方法至少可以包括以下步骤S201-步骤S203。
步骤S201,目标应用运行时打开资源修改数据库;
具体的,当检测到目标应用运行时,打开资源修改数据库可以便于目标应用对于资源修改数据库的调用,资源修改数据中可以包括待检测资源与待检测资源的修改对象所属的修改业务组信息。资源修改数据库的数据结构可以包括资源编码、资源对应的修改业务组信息以及资源对应的修改对象等。例如,当资源为贴图,资源编号为0001,资源对应的修改业务组为动画组,资源对应的修改对象为D时,则该贴图资源在资源修改数据库的数据结构可以为:0001,动画组,D。
可选的,在生成资源修改数据库时,可以基于修改业务组信息对待检测资源进行聚类,得到各个修改业务组信息分别对应的待检测资源,此时,该资源修改数据库可以如表1所示:
表1
步骤S202,运行资源创建时,对运行资源进行记录;
具体的,将获取到的运行资源记录到指定的存储区域,存储区域可以是计算机设备中的虚拟数组,虚拟数组的大小可以根据运行资源的大小而划分为不同的数量级。虚拟数组的大小可以是千字节(Kilobyte,KB)级、兆字节(Mbyte,MB)级、吉字节(Gigabyte,GB)级、太字节(Terabyte,TB)级等。例如,若运行资源为3.5M,则虚拟数组大小可以对应划分为兆字节级别。在该过程中,确定目标应用运行时所调用的运行资源。
步骤S203,目标空间数据量采集时,结合资源修改数据库进行采集;
具体的,采集目标空间数据量时,可以根据资源修改数据库中,待检测资源与待检测资源的修改业务组信息的关联关系,获取运行资源的目标空间数据量,并将该目标空间数据量映射到运行资源所关联的运行修改业务组信息,从而可以基于资源修改数据库,将运行资源分类至各个修改业务组信息,进而可以获取到每个修改业务组信息所关联的运行资源的目标空间数据量,即可以得到每个修改业务组信息对应的所有的目标空间数据量。
可选的,若资源修改数据库为表1所示的数据结构,则可以基于表1生成空间采集数据,即基于资源修改数据库的数据结构,将运行资源的目标空间数据量映射到修改业务组信息中,以得到空间采集数据。如表2所示:
表2
在表2中,资源编码1对应的运行资源对应的目标空间数据量为104MB,资源编码2对应的运行资源对应的目标空间数据量为176MB,则修改业务组信息1对应的目标空间总量为280MB;资源编码3对应的运行资源对应的目标空间数据量为236MB,则修改业务组信息2对应的目标空间总量为236MB;后续修改业务组信息对应的目标空间总量以此类推,不再赘述。
本申请实施例基于资源修改数据库中的修改业务组信息对目标空间数据量进行采集,采集到的目标空间数据量分类清晰明显,并且可以在业务组织架构发生变化时进行自适应调整,可以对任意项目的内存按业务组织架构分类,大幅提高了内存增长问题的解决效率。
进一步地,请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图。如图5所示,该数据处理方法至少可以包括以下步骤S301-步骤S305。
步骤S301,从版本管理数据库中获取待检测资源的修改对象;
具体的,版本管理数据库(Subversion,SVN)具有一个开源的版本控制系统,也就是说SVN数据库可以随时间改变其中存储的数据。其中存储的数据可以放置在一个中央资料档案库中。中央资料档案库可以理解为一个普通的文件服务器,中央资料档案库可以对文件的变动进行记录。可以基于版本管理数据库把当前版本恢复到旧的版本,或是浏览目标应用的变动历史。版本管理数据库中包括资源对应的修改对象,可以从版本管理数据库中获取待检测资源的修改对象。
步骤S302,检测修改对象的合法性;
具体的,可以根据版本管理数据库对待检测资源的修改对象进行鉴权,检测修改对象的合法性,合法的修改对象具有对待检测资源的修改权限,非合法修改对象则不具备对待检测资源的修改对象,当目标应用内存增大不合理时,可以定位导致目标应用内存不合理增大的待检测资源,非合法修改对象不会导致待检测资源的内存增大。
步骤S303,若修改对象合法,则将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
具体的,若修改对象合法,则修改对象具备针对待检测资源的修改权限,执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程请参见图3中的步骤S101中的具体描述。
步骤S304,若修改对象不合法,则基于应用关联数据确定待检测资源的修改业务组信息;
具体的,若修改对象不合法,则可以基于应用关联数据确定待检测资源的修改业务组信息,具体过程请参见图3中的步骤S101中的具体描述,这里不再赘述。得到待检测资源的修改业务组信息后,可以在修改业务组信息中查找修改对象,其中。可以将查找到的第一个对象作为待检测资源的修改对象,也可以将修改业务组信息中修改权限最高的对象作为待检测资源的修改对象。
可选的,可以通过对目标应用的源代码进行遍历的方式查找待检测资源的修改对象,具体过程请参见图3中的步骤S101中对目标应用的源代码进行遍历的具体描述,这里不再赘述。
步骤S305,获取构建后的资源修改数据库;
基于已获取的待检测资源的合法修改对象,可以获取构建后的资源信息数据库。
本申请实施例基于版本管理数据库的修改记录,无需引入额外的维护工作,并且可以在业务组织架构发生变化时进行自适应调整,实现了对任意项目的内存按业务组织架构分类,大幅提高了内存增长问题的解决效率。
进一步地,请参见图6,图6是本申请实施例提供的一种数据处理方法的流程示意图。如图6所示,该数据处理方法至少可以包括以下步骤S401-步骤S403。
步骤S401,从计算机设备中获取空间波动数据量;
具体的,从计算机设备中可以获取目标空间总量和历史空间总量作为原始采样数据,在计算机设备中对原始采样数据进行处理,得到空间波动数据量。
步骤S402,将空间波动数据量转换为可视化展示数据;
具体的,将空间波动数据量进行可视化转换可以有多种转化方式,可以转换为网页图表,也可以转换为分类清晰的表格数据,也可以转换为不同颜色标注的饼状图。目标对象可以根据需求选择不同类型的展示数据。
步骤S403,目标对象使用任意浏览器对展示数据进行查看;
具体的,目标对象可以通过任意的浏览器作为媒介查看转换后的展示数据,也可以将展示数据进行下载存储,还可以基于其他分析工具对展示数据进行二次分析。
请一并参见图7,图7是本申请实施例提供的一种数据处理的场景示意图。如图7所示,以目标应用的内存作为目标空间数据量来举例,图7即为从终端设备中采样的内存与时间的坐标图。横坐标为时间,单位可以是秒、分、时、天等可选,纵坐标为目标应用的内存,单位可以是KB、MB、GB等。标有场景组的区域即代表场景组占用的内存,动画组、角色组以此类推。横坐标也可以是版本,也可以根据不同版本来对目标应用的内存进行统计。
请一并参见图8,图8是本申请实施例提供的一种数据处理的场景示意图。如图8所示,图8为可以向目标对象提供查看的按照修改业务组信息进行划分的目标空间数据量的统计,运行资源的分类可以按照修改业务组信息进行展示,其中,场景组的内存占用可以是1.3MB,角色组的内存占用可以是1.2MB,UI组的内存占用可以是1.0MB,动画组的内存占用可以是0.9MB,特效组的内存占用可以是0.5MB。当点开特效组时,可以查看特效组中具体运行资源的目标空间数据量的占用情况。
可以理解的是,专业的修改业务组是指对目标应用的每次版本更新进行负责的修改业务组信息中的修改业务组,由于其对每次版本更新的具体数据的了解,在处理内存不合理增大问题时,可以节省解决问题花费的时间,提升问题的改进效率。
本申请实施例所提供的方法,基于空间波动数据量,确定异常修改业务组信息。本申请实施例所提供的方法可以将内存占用增大问题解耦到各修改业务组下,比如场景组、角色组、UI组、动画组、特效组,明确问题的跟进和负责业务组,让专业的修改业务组的负责人来解决自身专业范畴内的问题,大幅提高了内存占用增大问题的解决效率。
进一步地,请参见图9,图9是本申请实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示,该数据处理装置1可以包括:获取模块11、查找模块12、资源存储模块13、采集模块14、空间获取模块15、异常确定模块16、更新模块17、版本存储模块18、关联执行模块19以及关联获取模块20。
获取模块11,用于获取目标应用所对应的待检测资源;
查找模块12,用于查找待检测资源的修改对象;
资源存储模块13,用于将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
采集模块14,用于当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
空间获取模块15,用于获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息;
异常确定模块16,用于根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
其中,获取模块11、查找模块12、资源存储模块13、采集模块14、空间获取模块15以及异常确定模块16的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S103,这里不再进行赘述。
再请参见图10,数据处理装置1还可以包括:更新模块17以及版本存储模块18。
更新模块17,用于当对目标应用进行更新时,获取目标应用中发生更新的待检测资源,以及更新待检测资源的修改对象;
版本存储模块18,用于将待检测资源与待检测资源的修改对象,关联存储至与目标应用关联的版本管理数据库中。
该查找模块12,具体用于从版本管理数据库中,查找待检测资源的修改对象。
其中,更新模块17以及版本存储模块18的具体功能实现方式可以参见上述图3对应实施例中的步骤S101,这里不再进行赘述。
再请参见图9,数据处理装置1还可以包括:关联执行模块19以及关联获取模块20。
关联执行模块19,用于若修改对象具备针对待检测资源的修改权限,则执行将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程;
关联获取模块20,还用于若修改对象不具备针对待检测资源的修改权限,则获取目标应用的应用关联数据,基于应用关联数据确定待检测资源的修改业务组信息,执行当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量的过程。
其中,关联执行模块19以及关联获取模块20的具体功能实现方式可以参见上述图3对应实施例中的步骤S103,这里不再进行赘述。
再请参见图9,应用关联数据包括文件包含关系及待检测资源的资源存储路径;
其中,关联获取模块20可以包括:遍历单元201以及业务组确定单元202。
遍历单元201,用于以待检测资源的资源存储路径为基础,基于文件包含关系对应用关联数据进行逐层遍历,直至获取到应用关联数据中,文件属性为业务组属性的数据存储文件;
业务组确定单元202,用于将数据存储文件所关联的业务组信息,确定为待检测资源的修改业务组信息。
其中,遍历单元201以及业务组确定单元202的具体功能实现方式可以参见上述图3对应实施例中的步骤S103,这里不再进行赘述。
再请参见图9,其中,查找模块12包括:
代码解析单元121,用于获取目标应用对应的源代码,对源代码进行遍历检测,得到与待检测资源关联的代码备注数据;
对象查找单元122,用于从代码备注数据中获取待检测资源的修改对象;代码备注数据是指在源代码中用于对程序代码进行备注的数据。
其中,代码解析单元121以及对象查找单元122的具体功能实现方式可以参见上述图3对应实施例中的步骤S101,这里不再进行赘述。
再请参见图9,异常确定模块16可以包括:差值确定单元161以及异常信息确定单元162。
差值确定单元161,用于获取异常差值阈值,将运行资源对应的目标空间数据量与运行资源对应的历史空间数据量的差值,确定为空间数据量差值;
异常信息确定单元162,用于将空间数据量差值大于异常差值阈值的运行修改业务组信息,确定为异常修改业务组信息。
其中,差值确定单元161以及异常信息确定单元162的具体功能实现方式可以参见上述图3应实施例中的步骤S103,这里不再进行赘述。
再请参见图9,运行资源的数量为M;M为正整数;
异常确定模块16还可以包括:资源分组单元163、空间确定单元164、波动确定单元165以及范围匹配单元166。
资源分组单元163,用于根据M个运行资源分别关联的运行修改业务组信息,对M个运行资源进行分组,得到X个业务资源组;每个业务资源组中所包括的运行资源对应相同的运行修改业务组信息;X为正整数;
空间确定单元164,用于将第i个业务资源组中所包括的运行资源对应的目标空间数据量之和,确定为第i个业务资源组的目标空间总量,将第i个业务资源组中所包括的运行资源对应的历史空间数据量之和,确定为第i个业务资源组的历史空间总量;
波动确定单元165,用于将第i个业务资源组的目标空间总量与第i个业务资源组的历史空间总量的差值,确定为第i个业务资源组所对应的空间波动数据量;
范围匹配单元166,用于在X个业务资源组中,将空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。
其中,资源分组单元163、空间确定单元164、波动确定单元165以及范围匹配单元166的具体功能实现方式可以参见上述图3对应实施例中的步骤S103,这里不再进行赘述。
在本申请实施例中,获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。由此可见,本申请实施例通过确定运行资源对应的修改业务组信息,采集目标空间数据量,确定异常修改业务组信息,不仅可以降低修改业务组的定位耗时,还可以提高内存不合理增长的解决效率。
进一步地,请参见图10,图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示,该计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取目标应用所对应的待检测资源,查找待检测资源的修改对象,将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息,根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图2、图3、图4、图5以及图6所对应实施例中对数据处理方法的描述,也可执行前文图9所对应实施例中对数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图2、图3、图4、图5以及图6中各个步骤所提供的数据处理方法,具体可参见上述图2、图3、图4、图5以及图6各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图2、图3、图4、图5以及图6所对应实施例中对数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例的说明书和权利要求书及附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (11)
1.一种数据处理方法,其特征在于,包括:
获取目标应用所对应的待检测资源,查找所述待检测资源的修改对象,将所述待检测资源与所述待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
当所述目标应用运行时,采集所述目标应用的运行资源所占用的目标空间数据量;所述运行资源属于所述目标应用对应的所述待检测资源;
获取所述运行资源对应的历史空间数据量,从所述资源修改数据库中获取与所述运行资源相关联的运行修改业务组信息,根据所述目标空间数据量与所述历史空间数据量之间的差异程度,从所述运行修改业务组信息中确定异常修改业务组信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当对所述目标应用进行更新时,获取所述目标应用中发生更新的所述待检测资源,以及更新所述待检测资源的修改对象;
将所述待检测资源与所述待检测资源的修改对象,关联存储至与所述目标应用关联的版本管理数据库中;
所述查找所述待检测资源的修改对象,包括:
从所述版本管理数据库中,查找所述待检测资源的修改对象。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述修改对象具备针对所述待检测资源的修改权限,则执行所述将所述待检测资源与所述待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中的过程;
若所述修改对象不具备针对所述待检测资源的修改权限,则获取所述目标应用的应用关联数据,基于所述应用关联数据确定所述待检测资源的修改业务组信息,执行所述当所述目标应用运行时,采集所述目标应用的运行资源所占用的目标空间数据量的过程。
4.根据权利要求3所述的方法,其特征在于,所述应用关联数据包括文件包含关系及所述待检测资源的资源存储路径;
所述基于所述应用关联数据确定所述待检测资源的修改业务组信息,包括:
以所述待检测资源的资源存储路径为基础,基于所述文件包含关系对所述应用关联数据进行逐层遍历,直至获取到所述应用关联数据中,文件属性为业务组属性的数据存储文件;
将所述数据存储文件所关联的业务组信息,确定为所述待检测资源的修改业务组信息。
5.根据权利要求1所述的方法,其特征在于,所述查找所述待检测资源的修改对象,包括:
获取所述目标应用对应的源代码,对所述源代码进行遍历检测,得到与所述待检测资源关联的代码备注数据,从所述代码备注数据中获取所述待检测资源的修改对象;所述代码备注数据是指在所述源代码中用于对程序代码进行备注的数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标空间数据量与所述历史空间数据量之间的差异程度,从所述运行修改业务组信息中确定异常修改业务组信息,包括:
获取异常差值阈值,将所述运行资源对应的目标空间数据量与所述运行资源对应的历史空间数据量的差值,确定为空间数据量差值;
将所述空间数据量差值大于所述异常差值阈值的运行修改业务组信息,确定为异常修改业务组信息。
7.根据权利要求1所述的方法,其特征在于,所述运行资源的数量为M;M为正整数;
所述根据所述目标空间数据量与所述历史空间数据量之间的差异程度,从所述运行修改业务组信息中确定异常修改业务组信息,包括:
根据M个运行资源分别关联的运行修改业务组信息,对所述M个运行资源进行分组,得到X个业务资源组;每个业务资源组中所包括的运行资源对应相同的运行修改业务组信息;X为正整数;
将第i个业务资源组中所包括的运行资源对应的目标空间数据量之和,确定为所述第i个业务资源组的目标空间总量,将所述第i个业务资源组中所包括的运行资源对应的历史空间数据量之和,确定为所述第i个业务资源组的历史空间总量;
将所述第i个业务资源组的目标空间总量与所述第i个业务资源组的历史空间总量的差值,确定为所述第i个业务资源组所对应的空间波动数据量;
在所述X个业务资源组中,将所述空间波动数据量不属于空间正常波动范围的业务资源组对应的运行修改业务组信息,确定为异常修改业务组信息。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取目标应用所对应的待检测资源;
查找模块,用于查找待检测资源的修改对象;
资源存储模块,用于将待检测资源与待检测资源的修改对象所属的修改业务组信息,关联存储至资源修改数据库中;
采集模块,用于当目标应用运行时,采集目标应用的运行资源所占用的目标空间数据量;运行资源属于目标应用对应的待检测资源;
空间获取模块,用于获取运行资源对应的历史空间数据量,从资源修改数据库中获取与运行资源相关联的运行修改业务组信息;
异常确定模块,用于根据目标空间数据量与历史空间数据量之间的差异程度,从运行修改业务组信息中确定异常修改业务组信息。
9.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行权利要求1-7任一项所述的方法。
11.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-7所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210005562.XA CN114356712B (zh) | 2022-01-04 | 2022-01-04 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210005562.XA CN114356712B (zh) | 2022-01-04 | 2022-01-04 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114356712A true CN114356712A (zh) | 2022-04-15 |
CN114356712B CN114356712B (zh) | 2024-07-19 |
Family
ID=81108052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210005562.XA Active CN114356712B (zh) | 2022-01-04 | 2022-01-04 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356712B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114942730A (zh) * | 2022-07-25 | 2022-08-26 | 北京睿芯高通量科技有限公司 | 一种剩余存储空间的确定方法、装置及电子设备 |
CN116074192A (zh) * | 2023-02-14 | 2023-05-05 | 成都赛力斯科技有限公司 | 分布式数据中心配置、数据采集组件配置方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050120111A1 (en) * | 2002-09-30 | 2005-06-02 | Bailey Philip G. | Reporting of abnormal computer resource utilization data |
US20170250919A1 (en) * | 2016-02-29 | 2017-08-31 | Netapp, Inc. | Systems and methods for resource management in a networked environment |
CN108833188A (zh) * | 2018-07-17 | 2018-11-16 | 顺丰科技有限公司 | 一种报警信息管理方法、装置、设备及存储介质 |
CN109144820A (zh) * | 2018-08-31 | 2019-01-04 | 新华三信息安全技术有限公司 | 一种异常主机的检测方法及装置 |
CN110088744A (zh) * | 2017-09-06 | 2019-08-02 | 富璟科技(深圳)有限公司 | 一种数据库维护方法及其系统 |
CN111258851A (zh) * | 2020-01-14 | 2020-06-09 | 广州虎牙科技有限公司 | 一种集群的告警方法、装置、设置及存储介质 |
CN111767202A (zh) * | 2020-07-08 | 2020-10-13 | 中国工商银行股份有限公司 | 异常检测方法、装置、电子设备和介质 |
CN112698829A (zh) * | 2021-01-13 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 异常资源的定位方法和装置、存储介质及电子设备 |
CN112783660A (zh) * | 2021-02-08 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 虚拟场景中的资源处理方法、装置及电子设备 |
CN113656209A (zh) * | 2021-08-18 | 2021-11-16 | 深圳市腾讯计算机系统有限公司 | 资源处理方法、装置、设备及存储介质 |
-
2022
- 2022-01-04 CN CN202210005562.XA patent/CN114356712B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050120111A1 (en) * | 2002-09-30 | 2005-06-02 | Bailey Philip G. | Reporting of abnormal computer resource utilization data |
US20170250919A1 (en) * | 2016-02-29 | 2017-08-31 | Netapp, Inc. | Systems and methods for resource management in a networked environment |
CN110088744A (zh) * | 2017-09-06 | 2019-08-02 | 富璟科技(深圳)有限公司 | 一种数据库维护方法及其系统 |
CN108833188A (zh) * | 2018-07-17 | 2018-11-16 | 顺丰科技有限公司 | 一种报警信息管理方法、装置、设备及存储介质 |
CN109144820A (zh) * | 2018-08-31 | 2019-01-04 | 新华三信息安全技术有限公司 | 一种异常主机的检测方法及装置 |
CN111258851A (zh) * | 2020-01-14 | 2020-06-09 | 广州虎牙科技有限公司 | 一种集群的告警方法、装置、设置及存储介质 |
CN111767202A (zh) * | 2020-07-08 | 2020-10-13 | 中国工商银行股份有限公司 | 异常检测方法、装置、电子设备和介质 |
CN112698829A (zh) * | 2021-01-13 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 异常资源的定位方法和装置、存储介质及电子设备 |
CN112783660A (zh) * | 2021-02-08 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 虚拟场景中的资源处理方法、装置及电子设备 |
CN113656209A (zh) * | 2021-08-18 | 2021-11-16 | 深圳市腾讯计算机系统有限公司 | 资源处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
石磊玉: "《日臻完善 软件调试与优化典型应用》", 31 December 2010, 《中国铁道出版社》, pages: 23 - 24 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114942730A (zh) * | 2022-07-25 | 2022-08-26 | 北京睿芯高通量科技有限公司 | 一种剩余存储空间的确定方法、装置及电子设备 |
CN114942730B (zh) * | 2022-07-25 | 2022-09-23 | 北京睿芯高通量科技有限公司 | 一种剩余存储空间的确定方法、装置及电子设备 |
CN116074192A (zh) * | 2023-02-14 | 2023-05-05 | 成都赛力斯科技有限公司 | 分布式数据中心配置、数据采集组件配置方法及装置 |
CN116074192B (zh) * | 2023-02-14 | 2024-09-10 | 重庆赛力斯凤凰智创科技有限公司 | 分布式数据中心配置、数据采集组件配置方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114356712B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10560465B2 (en) | Real time anomaly detection for data streams | |
CN110716910B (zh) | 一种日志管理方法、装置、设备和存储介质 | |
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
CN108039959A (zh) | 一种数据的态势感知方法、系统及相关装置 | |
CN112052138A (zh) | 业务数据质量检测方法、装置、计算机设备及存储介质 | |
CN112118551A (zh) | 设备风险识别方法及相关设备 | |
CN114356712B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
CN112162965A (zh) | 一种日志数据处理的方法、装置、计算机设备及存储介质 | |
CN111586695A (zh) | 短信识别方法及相关设备 | |
CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
CN109873790A (zh) | 网络安全检测方法、装置以及计算机可读存储介质 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN109697224B (zh) | 一种账单消息处理方法、装置和存储介质 | |
CN111448551B (zh) | 跟踪来自远程设备的应用活动数据并生成用于远程设备的校正动作数据结构的方法和系统 | |
KR20240051094A (ko) | 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램 | |
CN114189585B (zh) | 骚扰电话异常检测方法、装置及计算设备 | |
CN116860541A (zh) | 业务数据采集方法、装置、计算机设备和存储介质 | |
Xiaobing et al. | An insight into traffic safety management system platform based on cloud computing | |
CN113723800A (zh) | 风险识别模型训练方法及装置、风险识别方法及装置 | |
CN111475380A (zh) | 一种日志分析方法和装置 | |
CN115208831B (zh) | 请求处理方法、装置、设备及存储介质 | |
CN115396319B (zh) | 数据流分片方法、装置、设备及存储介质 | |
CN117857182B (zh) | 一种服务器异常访问的处理方法及装置 | |
CN116910352A (zh) | 基于人工智能的报表推荐方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |