[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109508318A - 一种存储量统计方法、装置、电子设备和可读存储介质 - Google Patents

一种存储量统计方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN109508318A
CN109508318A CN201811360424.3A CN201811360424A CN109508318A CN 109508318 A CN109508318 A CN 109508318A CN 201811360424 A CN201811360424 A CN 201811360424A CN 109508318 A CN109508318 A CN 109508318A
Authority
CN
China
Prior art keywords
file
record
mark
variation
changes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811360424.3A
Other languages
English (en)
Other versions
CN109508318B (zh
Inventor
黎海兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201811360424.3A priority Critical patent/CN109508318B/zh
Publication of CN109508318A publication Critical patent/CN109508318A/zh
Application granted granted Critical
Publication of CN109508318B publication Critical patent/CN109508318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种存储量统计方法、装置、电子设备和可读存储介质。该方法包括:查找云存储服务器对应的文件变动记录表,得到目标记录,目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录;一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;基于目标记录,计算目标用户在目标统计周期内的存储量变化总值;基于目标用户在目标统计周期内的存储量变化总值,统计目标用户在云存储服务器中的存储总量。应用本发明实施例,可以简单高效地统计用户的存储量,并降低统计成本。

Description

一种存储量统计方法、装置、电子设备和可读存储介质
技术领域
本发明涉及存储技术领域,特别是涉及一种存储量统计方法、装置、电子设备和可读存储介质。
背景技术
目前,常常通过云存储服务器来给用户提供存储服务。并且,常常需要对用户的存储量进行统计,以根据用户的存储量来计算用户所需要支付的存储费用。
目前统计用户存储量的方式为:收集用户访问云存储服务器所产生的访问日志;从大量访问日志中分析出存储数据;根据分析得到的存储数据来计算用户的存储量。
但是,该种统计存储量的方式需要搭建复杂的日志收集系统,还需要对大量日志进行分析后才能获得用户的存储数据。该种统计存储量的方式的统计成本较高且统计方式较为复杂。
发明内容
本发明实施例的目的在于提供一种存储量统计方法、装置、电子设备和可读存储介质,以实现简单高效地统计用户的存储量,并降低统计成本。具体技术方案如下:
第一方面,本发明实施例提供了一种存储量统计方法,该方法可以包括:
查找云存储服务器对应的文件变动记录表,得到目标记录,其中,目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录;其中,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
基于目标记录,计算目标用户在目标统计周期内的存储量变化总值;
基于目标用户在目标统计周期内的存储量变化总值,统计目标用户在云存储服务器中的存储总量。
可选地,变动文件可以包括以下至少之一:新增至云存储服务器的新增文件、从云存储服务器中删除的删除文件和云存储服务器中文件发生了更新的更新文件。
可选地,文件变动记录表的主键可以包括:变动时间所在列、用户的标识所在列和变动文件的标识所在列;
或,文件变动记录表的主键可以包括:变动时间所在列和拼接列;拼接列是由用户的标识和变动文件的标识拼接后得到的标识所在的列。
可选地,变动时间所在列的时间精度为小时或分钟。
可选地,当文件变动记录表的主键中各个列的排序为:变动时间所在列、用户的标识所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照变动时间、用户的标识、变动文件的标识进行排序;
当文件变动记录表的主键中各个列的排序为:用户的标识所在列、变动时间所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照用户的标识、变动时间、变动文件的标识进行排序。
可选地,当变动时间所在列的时间精度为小时时,基于目标记录,计算目标用户在目标统计周期内的存储量变化总值的步骤,可以包括:
依次对目标记录中每个小时对应的文件变动记录进行扫描,得到目标统计周期内每个小时中目标用户对应的文件变动记录;
基于目标统计周期内每个小时中目标用户对应的文件变动记录,确定目标用户在目标统计周期内每个小时中的各个存储量变化值;
基于目标用户在目标统计周期内每个小时中的各个存储量变化值,计算目标用户在目标统计周期内的存储量变化总值。
可选地,在本发明实施例,该方法还可以包括:
实时监测云存储服务器中是否存在文件变动;
若是,获得存在文件变动的变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识;
利用所获得的该变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在文件变动记录表中生成该变动文件的文件变动记录。
第二方面,本发明实施例还提供了一种存储量统计装置,该装置可以包括:
查找模块,用于查找云存储服务器对应的文件变动记录表,得到目标记录,其中,目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录;其中,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
第一计算模块,用于基于目标记录,计算目标用户在目标统计周期内的存储量变化总值;
第二计算模块,用于基于目标用户在目标统计周期内的存储量变化总值,统计目标用户在云存储服务器中的存储总量。
可选地,该变动文件可以包括以下至少之一:新增至云存储服务器的新增文件、从云存储服务器中删除的删除文件和云存储服务器中文件发生了更新的更新文件。
可选地,文件变动记录表的主键包括:变动时间所在列、用户的标识所在列和变动文件的标识所在列;
或,文件变动记录表的主键包括:变动时间所在列和拼接列;拼接列是由用户的标识和变动文件的标识拼接后得到的标识所在的列。
可选地,变动时间所在列的时间精度为小时或分钟。
可选地,当文件变动记录表的主键中各个列的排序为:变动时间所在列、用户的标识所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照变动时间、用户的标识、变动文件的标识进行排序;
当文件变动记录表的主键中各个列的排序为:用户的标识所在列、变动时间所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照用户的标识、变动时间、变动文件的标识进行排序。
可选地,当变动时间所在列的时间精度为小时时,第一计算模块包括:
扫描单元,用于依次对查找得到的目标记录进行扫描,得到目标统计周期内每个小时中目标用户对应的文件变动记录;
确定单元,用于基于目标统计周期内每个小时中目标用户对应的文件变动记录,确定目标用户在目标统计周期内每个小时中的各个存储量变化值;
计算单元,用于基于目标用户在目标统计周期内每个小时中的各个存储量变化值,计算目标用户在目标统计周期内的存储量变化总值。
可选地,在本发明实施例中,该装置还可以包括:
监测模块,用于实时监测云存储服务器中是否存在文件变动;
获得模块,用于当监测云存储服务器中存在文件变动时,获得存在文件变动的变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识;
生成模块,用于利用所获得的该变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在文件变动记录表中生成该变动文件的文件变动记录。
第三方面,本发明实施例还提供了一种电子设备,包括处理器和可读存储介质;可读存储介质存储有能够被处理器执行的计算机可执行指令,处理器被计算机可执行指令促使:实现第一方面任一项所述的存储量统计方法的方法步骤。
第四方面,本发明实施例还提供了一种可读存储介质,可读存储介质为电子设备中的可读存储介质,可读存储介质存储有能够被电子设备中的处理器执行的计算机可执行指令,计算机可执行指令被处理器执行时实现第一方面任一项所述的存储量统计方法的方法步骤。
第五方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备执行:第一方面任一项所述的存储量统计方法的方法步骤。
在本发明实施例中,可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种存储量统计方法的流程图;
图2为本发明实施例提供的一种存储量统计方法的示意图;
图3为本发明实施例提供的一种存储量统计装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中存在的问题,本发明实施例提供了一种存储量统计方法、装置、电子设备和可读存储介质。
下面首先对本发明实施例提供的存储量统计方法进行说明。
可以理解的是,本发明实施例提供的存储量统计方法的执行主体可以为预设的存储量统计服务器,也可以为云存储服务器,当然并不局限于此。
参见图1,本发明实施例提供的存储量统计方法可以包括如下步骤:
S101:查找云存储服务器对应的文件变动记录表,得到目标记录,其中,目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录;其中,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
S102:基于目标记录,计算目标用户在目标统计周期内的存储量变化总值;
S103:基于目标用户在目标统计周期内的存储量变化总值,统计目标用户在云存储服务器中的存储总量。
在本发明实施例中,可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计该目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
需要说明的是,上述目标用户可以是目标记录中包括的用户的标识所对应的用户;上述目标用户可以是一个,也可以是多个,针对多个目标用户中的每个目标用户在内存储服务器中的存储总量的统计也适用于上述方法,但并不限于此。
下面结合图2,对本发明实施例提供的存储量统计方法进行详细说明。
假设需要对目标用户在如图2所示云存储服务器中的存储量进行统计。那么,在进行存储量统计之前,可以创建该云存储服务器对应的文件变动记录表。此时,该文件变动记录中记录的内容为空。
具体地,可以在NoSQL(Not Only SQL,非关系型的数据库)中创建该文件变动记录表。该非关系型的数据库可以存储在云存储服务器中,也可以存储在除了云存储服务器之外的其他电子设备中。当然,也可以既存储在云存储服务器中又存储在其他电子设备中,这样,当云存储服务器中的存储的文件变动记录表丢失时,还能从上述其他电子设备中获得该文件变动记录表。
另外,云存储服务器可以为一台服务器,也可以为服务器集群,这也是合理的。
参见图2,可以实时监测云存储服务器中是否存在文件变动。其中,该监测动作可以在执行上述步骤S101之前执行,也可以在上述步骤S103之后执行。当然,该监测动作可以在执行上述步骤S101~S103中任一步骤的同时执行,这都是合理的。当监测到云存储服务器中存在文件变动时,可以获得存在文件变动的变动文件的标识、变动时间、该变动文件给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识。并利用所获得的该变动文件的标识、变动时间、该变动文件给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在文件变动记录表中生成该变动文件的文件变动记录。
其中,当云存储服务器中新增一个文件时,则该新增文件为云存储服务器中的变动文件。此时,可以在该文件变动记录表中生成一条该新增文件对应的文件变动记录:新增文件的标识、新增时间、给云存储服务器带来的存储量变化值(即新增文件的文件大小)和新增该新增文件的用户的标识。
当云存储服务器中删除一个文件时,该删除文件也为云存储服务器中的变动文件。此时,可以在该文件变动记录表中生成一条该删除文件对应的文件变动记录:删除文件的标识、删除时间、给云存储服务器带来的存储量变化值(即删除文件的文件大小)和删除该删除文件的用户的标识。
当云存储服务器中更新了一个文件时,例如利用新的文件A替换云存储服务器中原来存储的文件A(即更新了原来存储的文件A,此时将文件A记为更新文件),则更新文件也为云存储服务器中的变动文件。此时,可以在该文件变动记录表中生成一条该更新文件对应的文件变动记录:更新文件的标识、更新时间、给云存储服务器带来的存储量变化值(即更新后的文件大小与更新前的文件大小的差值)和更新该更新文件的用户的标识。
其中,由于更新后的文件大小可能等于更新前的文件大小,即给云存储服务器带来的存储量变化值为零。因而在一种实施例中,对于文件大小未发生变化的更新文件,可以放弃生成该更新文件对应的文件变动记录;对于文件大小发生变化的更新文件,生成该更新文件对应的文件变动记录。
另外,为了便于后续对存储量进行统计,在一种实现方式中,可以将新增文件对应的文件变动记录中的存储量变化值设置为正数。将删除文件对应的文件变动记录中的存储量变化值设置为负数。根据存储量实际变化情况,将更新文件对应的文件变动记录中的存储量变化值设置为正数或负数。
其中,当更新后的文件大小与更新前的文件大小的差值为正数时,可以将更新文件对应的文件变动记录中的存储量变化值设置为正数。当更新后的文件大小与更新前的文件大小的差值为负数时,可以将更新文件对应的文件变动记录中的存储量变化值设置为负数。
在另一种实现方式中,可以将新增文件对应的文件变动记录中的存储量变化值设置为负数。将删除文件对应的文件变动记录中的存储量变化值设置为正数。根据存储量实际变化情况,将更新文件对应的文件变动记录中的存储量变化值设置为正数或负数。这也是合理的。
在又一种实现方式中,也可以给新增文件对应的文件变动记录中的存储量变化值设置第一标识。给删除文件对应的文件变动记录中的存储量变化值设置第二标识。根据存储量实际变化情况,将更新文件对应的文件变动记录中的存储量变化值设置第一标识或第二标识。这也是合理的。
以上,可以获得云存储服务器对应的、存储有文件变动记录的文件变动记录表。
为了提高对文件变动记录表中文件变动记录的查找效率,还可以给该文件变动记录表设置主键。其中,主键是指表中一个列或列的组合,其值能唯一地标识表中的每一行。
在一种实现方式中,可以设置文件变动记录表的主键可以包括:变动时间所在列和拼接列这两列。其中,拼接列是由用户的标识和变动文件的标识拼接后得到的标识(相当于下述目标字符串)所在的列。
当设置文件变动记录表的主键中各个列的排序为:变动时间所在列、拼接列时,该变动时间所在列为该主键中的第一列,拼接列为该主键中的第二列。
在该种排序下,文件变动记录表中的各个文件变动记录可以依次按照变动时间、目标字符串进行排序。其中,目标字符串为用户的标识和变动文件的标识所拼成的字符串。
例如,当变动时间所在列的列名为time、拼接后得到的标识所在列的列名为FileID(其中,变动文件的标识为File、用户的标识为ID)时,在该种排序下则先按照time,对文件变动记录表中的各个文件变动记录进行排序。这样,可以实现将同一time的文件变动记录聚合在一起。然后按照FileID,对文件变动记录表中的各个文件变动记录进行排序,这样可以实现将同一time中同一ID的文件变动记录聚合在一起。从而,在后续查找文件变动记录表的过程中,可以快速地查找到目标用户在每个time中对应的文件变动记录,提高了查找效率。
其中,当变动时间所在列的时间精度为小时或分钟时,每个time的时间精度相应为小时或分钟。当时间精度为小时时,变动时间的格式为:年-月-日-时;当时间精度为分钟时,变动时间的格式为:年-月-日-时-分。
另外,在一种实现方式中,文件变动记录表的主键可以包括:变动时间所在列、变动文件的标识所在列和用户的标识所在列这三列。
其中,当设置文件变动记录表的主键中各个列的排序为:变动时间所在列、用户的标识所在列、变动文件的标识所在列时,该变动时间所在列为该主键中的第一列、用户的标识所在列为该主键中的第二列、变动文件的标识所在列为该主键中的第三列。在该种排序下,文件变动记录表中的各个文件变动记录可以依次按照变动时间、用户的标识、变动文件的标识进行排序。该种排序也可以实现将同一变动时间中同一目标用户的文件变动记录聚合在一起。从而,在后续查找文件变动记录表的过程中,可以快速地查找到每个目标用户在每个变动时间中对应的文件变动记录,提高了查找效率。
当然,也可以设置文件变动记录表的主键中各个列的排序为:用户的标识所在列、变动时间所在列、变动文件的标识所在列,这样,该用户的标识所在列为该主键中的第一列、变动时间所在列为该主键中的第二列、变动文件的标识所在列为该主键中的第三列。在该种排序下,文件变动记录表中的各个文件变动记录可以依次按照用户的标识、变动时间、变动文件的标识进行排序。该种排序首先可以将同一目标用户的文件变动记录聚合在一起,然后将同一目标用户的文件变动记录中的同一变动时间的文件变动记录聚合在一起。该种方式,在后续查找文件变动记录表的过程中,也可以快速地查找到每个目标用户在每个变动时间中对应的文件变动记录,提高了查找效率。
以上,可以为文件变动记录表创建主键,使得文件变动记录表可以根据主键来显示文件变动记录表中的文件变动记录,便于后续查找操作,从而提高查找效率。
参见图2,当到达存储量统计时间点时,可以查找云存储对应的文件变动记录表,以查找到目标记录,其中,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。
可以理解的是,本领域技术人员可以根据实际需求来设置存储量统计时间点和目标统计周期。该存储量统计时间点可以设置为每天的0点,当然并不局限于此。该目标统计周期可以设置为一天、三天或一周,当然并不局限于此。
其中,当该文件变动记录表中未构建有主键时,可以对该文件变动记录表中的每一个文件变动记录进行扫描,进而查找得到变动时间位于该目标统计周期内的文件变动记录。
为了提高扫描效率,也可以先按照变动时间降序或升序排列的方式,对文件变动记录表中的文件变动记录进行排序,得到排序后的文件变动记录表。然后,可以仅对变动时间位于该目标统计周期内的文件变动记录进行扫描,提高了扫描效率。
当该文件变动记录表中构建有主键时,该文件变动记录表已按照主键进行排序。例如,当主键包括:变动时间所在列和拼接列,且变动时间所在列为该主键的第一列,拼接列为该主键的第二列时,文件变动记录表中的文件变动记录中的同一变动时间中同一目标用户的文件变动记录聚合在一起。这样,可以快速地对变动时间位于该目标统计周期内的文件变动记录进行扫描,提高扫描效率。
然后,可以基于目标记录,计算目标用户在目标统计周期内的存储量变化总值,该目标用户为:目标记录中包括的用户的标识所对应的用户。其中,可以按照该种计算方式,计算目标记录中包括的每个用户的标识对应的用户的存储量变化总值。
其中,当变动时间所在列的时间精度为小时时,该计算目标用户在目标统计周期内的存储量变化总值方式可以为:
依次对目标记录中每个小时对应的文件变动记录进行扫描,得到目标统计周期内每个小时中目标用户对应的文件变动记录。其中,该种扫描方式为:先首先按照小时去扫描,再按照用户的标识去扫描。
然后,可以基于目标统计周期内每个小时中目标用户对应的文件变动记录,确定目标用户在目标统计周期内每个小时中的各个存储量变化值。
之后,可以基于目标用户在目标统计周期内的各个存储量变化总值,统计目标用户在云存储服务器中的存储总量。
其中,可以假设目标统计周期为一天且存储量统计时间点为0点。那么,当到达今日24点即0点时,可以基于查找到的文件变动记录,来计算目标用户在目标统计周期内的存储量变化总值。
例如,确定目标用户U1在今天的13:00中的存储量变化值为+100KB、在15:00中的存储量变化值为+10KB、在16:00中的存储量变化值为-10KB。那么,可以根据目标用户U1在今天每个小时中的各个存储量变化值,来统计目标用户U1今天在云存储服务器中的存储量变化总值为+100KB,即相对于目标用户U1的历史存储量而言增加100KB的存储量。
进而,可以基于目标用户在目标统计周期内的存储量变化总值和目标用户在云存储服务器的历史存储量,来计算该目标用户在该云存储服务器中的存储总量。
以上,可以利用本发明实施例提供的文件变动记录表来统计用户在云存储服务器中的存储量,该种统计方式不需要搭建复杂的日志收集系统,降低了统计成本。而且,该种统计方式简单高效,提高了统计速度。
综上,应用本发明实施例提供的存储量统计方法,可以简单高效地统计用户的存储量,并降低统计成本。
相应于上述方法实施例,本发明实施例还提供了一种存储量统计装置,参见图3,该装置可以包括:
查找模块301,用于查找云存储服务器对应的文件变动记录表,得到目标记录,其中,目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录;其中,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
第一计算模块302,用于基于目标记录,计算目标用户在目标统计周期内的存储量变化总值,目标用户为:目标记录中包括的用户的标识所对应的用户;
第二计算模块303,用于基于目标用户在目标统计周期内的存储量变化总值,统计目标用户在云存储服务器中的存储总量。
应用本发明实施例提供的装置,可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
可选地,在本发明实施例中,该变动文件可以包括以下至少之一:新增至云存储服务器的新增文件、从云存储服务器中删除的删除文件和云存储服务器中文件发生了更新的更新文件。
可选地,在本发明实施例中,新增文件对应的文件变动记录中的存储量变化值为正数;删除文件对应的文件变动记录中的存储量变化值为负数;更新文件对应的文件变动记录中的存储量变化值为正数或负数。
可选地,在本发明的一个实施例中,该文件变动记录表的主键可以包括:变动时间所在列、用户的标识所在列和变动文件的标识所在列;
或,该文件变动记录表的主键可以包括:变动时间所在列和拼接列;拼接列是由用户的标识和变动文件的标识拼接后得到的标识所在的列。
可选地,在本发明实施例中,该变动时间所在列的时间精度为小时或分钟。
可选地,在本发明实施例中,当文件变动记录表的主键中各个列的排序为:变动时间所在列、用户的标识所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照变动时间、用户的标识、变动文件的标识进行排序;
当文件变动记录表的主键中各个列的排序为:用户的标识所在列、变动时间所在列、变动文件的标识所在列时,文件变动记录表中的各个文件变动记录依次按照用户的标识、变动时间、变动文件的标识进行排序。
可选地,在本发明实施例中,当变动时间所在列的时间精度为小时时,第一计算模块302可以包括:
扫描单元,用于依次对目标记录中每个小时对应的文件变动记录进行扫描,得到目标统计周期内每个小时中目标用户对应的文件变动记录;
确定单元,用于基于目标统计周期内每个小时中目标用户对应的文件变动记录,确定目标用户在目标统计周期内每个小时中的各个存储量变化值;
计算单元,用于基于目标用户在目标统计周期内每个小时中的各个存储量变化值,计算目标用户在目标统计周期内的存储量变化总值。
可选地,在本发明实施例中,该装置还可以包括:
监测模块,用于实时监测云存储服务器中是否存在文件变动;
获得模块,用于当监测云存储服务器中存在文件变动时,获得存在文件变动的变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识;
生成模块,用于利用所获得的该变动文件的标识、变动时间、给云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在文件变动记录表中生成该变动文件的文件变动记录。
相应于上述方法实施例,本发明实施例还提供了一种电子设备,参见图4,包括处理器401和可读存储介质402;可读存储介质402存储有能够被处理器401执行的计算机可执行指令,处理器401被计算机可执行指令促使:实现上述任一项存储量统计方法的方法步骤。
在本发明实施例中,电子设备可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计该目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
相应于上述方法实施例,本发明实施例还提供了一种可读存储介质,可读存储介质为电子设备中的可读存储介质,可读存储介质存储有能够被电子设备中的处理器执行的计算机可执行指令,计算机可执行指令被处理器执行时实现上述任一项存储量统计方法的方法步骤。
本发明实施例提供的可读存储介质中存储的计算机程序被电子设备的处理器执行后,使得电子设备可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计该目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
相应于上述方法实施例,本发明实施例还提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备执行:上述任一项存储量统计方法的方法步骤。
本发明实施例提供的包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备可以对云存储服务器对应的文件变动记录表进行查找。由于文件变动记录表中记录有:云存储服务器中的变动文件对应的文件变动记录。并且,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识。因而,可以从该文件变动记录表中查找出目标记录,该目标记录为云存储服务器在目标统计周期内的变动文件对应的文件变动记录。然后,可以基于目标记录,计算该目标记录中的目标用户在目标统计周期内的存储量变化总值。之后,可以基于目标用户在目标统计周期内的存储量变化总值,来统计该目标用户在云存储服务器中的存储总量。这样,在不需要搭建复杂的日志收集系统的情况下,可以通过云存储服务器对应的文件变动记录表,来统计用户在云存储服务器中的存储量,该种统计方式简单高效,并且降低了统计成本。
上述的可读存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、可读存储介质和计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (16)

1.一种存储量统计方法,其特征在于,所述方法包括:
查找云存储服务器对应的文件变动记录表,得到目标记录,其中,所述目标记录为所述云存储服务器在目标统计周期内的变动文件对应的文件变动记录;一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给所述云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
基于所述目标记录,计算目标用户在所述目标统计周期内的存储量变化总值;
基于所述目标用户在所述目标统计周期内的存储量变化总值,统计所述目标用户在所述云存储服务器中的存储总量。
2.根据权利要求1所述的方法,其特征在于,所述变动文件包括以下至少之一:新增至所述云存储服务器的新增文件、从所述云存储服务器中删除的删除文件和所述云存储服务器中文件发生了更新的更新文件。
3.根据权利要求1所述的方法,其特征在于,所述文件变动记录表的主键包括:所述变动时间所在列、所述用户的标识所在列和所述变动文件的标识所在列;
或,所述文件变动记录表的主键包括:所述变动时间所在列和拼接列;所述拼接列是由所述用户的标识和所述变动文件的标识拼接后得到的标识所在的列。
4.根据权利要求3所述的方法,其特征在于,所述变动时间所在列的时间精度为小时或分钟。
5.根据权利要求3所述的方法,其特征在于,
当所述文件变动记录表的主键中各个列的排序为:所述变动时间所在列、所述用户的标识所在列、所述变动文件的标识所在列时,所述文件变动记录表中的各个文件变动记录依次按照所述变动时间、所述用户的标识、所述变动文件的标识进行排序;
当所述文件变动记录表的主键中各个列的排序为:所述用户的标识所在列、所述变动时间所在列、所述变动文件的标识所在列时,所述文件变动记录表中的各个文件变动记录依次按照所述用户的标识、所述变动时间、所述变动文件的标识进行排序。
6.根据权利要求5所述的方法,其特征在于,当所述变动时间所在列的时间精度为小时时,所述基于所述目标记录,计算目标用户在所述目标统计周期内的存储量变化总值的步骤,包括:
依次对所述目标记录中每个小时对应的文件变动记录进行扫描,得到所述目标统计周期内每个小时中目标用户对应的文件变动记录;
基于所述目标统计周期内每个小时中所述目标用户对应的文件变动记录,确定所述目标用户在所述目标统计周期内每个小时中的各个存储量变化值;
基于所述目标用户在所述目标统计周期内每个小时中的各个存储量变化值,计算所述目标用户在所述目标统计周期内的存储量变化总值。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时监测所述云存储服务器中是否存在文件变动;
若是,获得存在文件变动的变动文件的标识、变动时间、给所述云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识;
利用所获得的该变动文件的标识、变动时间、给所述云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在所述文件变动记录表中生成该变动文件的文件变动记录。
8.一种存储量统计装置,其特征在于,所述装置包括:
查找模块,用于查找云存储服务器对应的文件变动记录表,得到目标记录;其中,所述目标记录为所述云存储服务器在目标统计周期内的变动文件对应的文件变动记录;其中,一个变动文件对应的文件变动记录中包括:该变动文件的标识、变动时间和该变动文件给所述云存储服务器带来的存储量变化值,以及变动该变动文件的用户的标识;
第一计算模块,用于基于所述目标记录,计算目标用户在所述目标统计周期内的存储量变化总值;
第二计算模块,用于基于所述目标用户在所述目标统计周期内的存储量变化总值,统计所述目标用户在所述云存储服务器中的存储总量。
9.根据权利要求8所述的装置,其特征在于,所述变动文件包括以下至少之一:新增至所述云存储服务器的新增文件、从所述云存储服务器中删除的删除文件和所述云存储服务器中文件发生了更新的更新文件。
10.根据权利要求8所述的装置,其特征在于,所述文件变动记录表的主键包括:所述变动时间所在列、所述用户的标识所在列和所述变动文件的标识所在列;
或,所述文件变动记录表的主键包括:所述变动时间所在列和拼接列;所述拼接列是由所述用户的标识和所述变动文件的标识拼接后得到的标识所在的列。
11.根据权利要求10所述的装置,其特征在于,所述变动时间所在列的时间精度为小时或分钟。
12.根据权利要求10所述的装置,其特征在于,当所述文件变动记录表的主键中各个列的排序为:所述变动时间所在列、所述用户的标识所在列、所述变动文件的标识所在列时,所述文件变动记录表中的各个文件变动记录依次按照所述变动时间、所述用户的标识、所述变动文件的标识进行排序;
当所述文件变动记录表的主键中各个列的排序为:所述用户的标识所在列、所述变动时间所在列、所述变动文件的标识所在列时,所述文件变动记录表中的各个文件变动记录依次按照所述用户的标识、所述变动时间、所述变动文件的标识进行排序。
13.根据权利要求12所述的装置,其特征在于,当所述变动时间所在列的时间精度为小时时,所述第一计算模块包括:
扫描单元,用于依次对所述目标记录中每个小时对应的文件变动记录进行扫描,得到所述目标统计周期内每个小时中目标用户对应的文件变动记录;
确定单元,用于基于所述目标统计周期内每个小时中所述目标用户对应的文件变动记录,确定所述目标用户在所述目标统计周期内每个小时中的各个存储量变化值;
计算单元,用于基于所述目标用户在所述目标统计周期内每个小时中的各个存储量变化值,计算所述目标用户在所述目标统计周期内的存储量变化总值。
14.根据权利要求8所述的装置,其特征在于,所述装置还包括:
监测模块,用于实时监测所述云存储服务器中是否存在文件变动;
获得模块,用于当监测所述云存储服务器中存在文件变动时,获得存在文件变动的变动文件的标识、变动时间、给所述云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识;
生成模块,用于利用所获得的该变动文件的标识、变动时间、给所述云存储服务器带来的存储量变化值,及变动该变动文件的用户的标识,在所述文件变动记录表中生成该变动文件的文件变动记录。
15.一种电子设备,其特征在于,包括处理器和可读存储介质;所述可读存储介质存储有能够被所述处理器执行的计算机可执行指令,所述处理器被所述计算机可执行指令促使:实现权利要求1-7中任一所述的方法步骤。
16.一种可读存储介质,其特征在于,所述可读存储介质为电子设备中的可读存储介质,所述可读存储介质存储有能够被所述电子设备中的处理器执行的计算机可执行指令,所述计算机可执行指令被所述处理器执行时实现权利要求1-7中任一所述的方法步骤。
CN201811360424.3A 2018-11-15 2018-11-15 一种存储量统计方法、装置、电子设备和可读存储介质 Active CN109508318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811360424.3A CN109508318B (zh) 2018-11-15 2018-11-15 一种存储量统计方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811360424.3A CN109508318B (zh) 2018-11-15 2018-11-15 一种存储量统计方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN109508318A true CN109508318A (zh) 2019-03-22
CN109508318B CN109508318B (zh) 2021-01-22

Family

ID=65748562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811360424.3A Active CN109508318B (zh) 2018-11-15 2018-11-15 一种存储量统计方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN109508318B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860449A (zh) * 2009-04-09 2010-10-13 华为技术有限公司 一种数据查询方法、装置及系统
CN103631930A (zh) * 2013-12-06 2014-03-12 北京京东尚科信息技术有限公司 一种搜索引擎空间占用统计方法及系统
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN104391903A (zh) * 2014-11-14 2015-03-04 广州科腾信息技术有限公司 一种基于分布存储和并行计算的电网数据质量检测方法
CN104572505A (zh) * 2015-02-03 2015-04-29 济南大学 一种保证海量数据缓存最终一致性的系统及方法
CN104618445A (zh) * 2014-12-30 2015-05-13 北京奇虎科技有限公司 一种基于云存储空间的文件整理方法和装置
CN104765774A (zh) * 2015-03-16 2015-07-08 新浪网技术(中国)有限公司 一种资源占用的统计方法及装置
CN105468989A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 基于Linux内核监控的云存储配额管理方法
WO2016205070A1 (en) * 2015-06-19 2016-12-22 Pure Storage, Inc. Attributing consumed storage capacity among entities storing data in a storage array
CN107633045A (zh) * 2017-09-15 2018-01-26 龙存(苏州)科技有限公司 一种云存储服务中租户数据容量的统计方法及其系统
CN107944009A (zh) * 2017-12-08 2018-04-20 郑州云海信息技术有限公司 一种记录web应用操作日志的系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860449A (zh) * 2009-04-09 2010-10-13 华为技术有限公司 一种数据查询方法、装置及系统
CN103631930A (zh) * 2013-12-06 2014-03-12 北京京东尚科信息技术有限公司 一种搜索引擎空间占用统计方法及系统
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105468989A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 基于Linux内核监控的云存储配额管理方法
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN104391903A (zh) * 2014-11-14 2015-03-04 广州科腾信息技术有限公司 一种基于分布存储和并行计算的电网数据质量检测方法
CN104618445A (zh) * 2014-12-30 2015-05-13 北京奇虎科技有限公司 一种基于云存储空间的文件整理方法和装置
CN104572505A (zh) * 2015-02-03 2015-04-29 济南大学 一种保证海量数据缓存最终一致性的系统及方法
CN104765774A (zh) * 2015-03-16 2015-07-08 新浪网技术(中国)有限公司 一种资源占用的统计方法及装置
WO2016205070A1 (en) * 2015-06-19 2016-12-22 Pure Storage, Inc. Attributing consumed storage capacity among entities storing data in a storage array
CN107633045A (zh) * 2017-09-15 2018-01-26 龙存(苏州)科技有限公司 一种云存储服务中租户数据容量的统计方法及其系统
CN107944009A (zh) * 2017-12-08 2018-04-20 郑州云海信息技术有限公司 一种记录web应用操作日志的系统和方法

Also Published As

Publication number Publication date
CN109508318B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US10281284B2 (en) Hybrid road network and grid based spatial-temporal indexing under missing road links
JP6494777B2 (ja) 端末にプッシュされるデータコンテンツを選択するための方法およびデバイス
US10452625B2 (en) Data lineage analysis
US20100205168A1 (en) Thread-Based Incremental Web Forum Crawling
CN102831214A (zh) 时间序列搜索引擎
CN104160394A (zh) 用于半结构化数据的可缩放分析平台
CN103646086A (zh) 一种垃圾文件的清理方法和装置
CN110928903B (zh) 数据提取方法及装置、设备和存储介质
CN110188165A (zh) 合同模板获取方法、装置、存储介质和计算机设备
Ho et al. Amic: An adaptive information theoretic method to identify multi-scale temporal correlations in big time series data
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
US9658924B2 (en) Event data merge system in an event historian
CN103426050B (zh) 业务课题分析支持系统
CN108804594A (zh) 一种新闻内容全文检索引擎的构建方法及装置
CN109510857B (zh) 数据存储方法、装置、服务器和系统
CN113779261A (zh) 知识图谱的质量评价方法、装置、计算机设备及存储介质
CN109508318A (zh) 一种存储量统计方法、装置、电子设备和可读存储介质
CN108694213A (zh) 日志文件的生成方法、检索方法及装置
CN111581220A (zh) 用于时间序列数据的存储及检索方法、装置、设备及存储介质
CN106599005A (zh) 一种数据归档方法及装置
CN116578612A (zh) 锂电池成品检测数据资产构建方法
Tsai et al. Designing a framework for data quality validation of meteorological data system
CN112711651A (zh) 一种舆情监测方法及系统
CN117891961B (zh) 基于地图产品聚合的数据级联共享方法及系统
US12007979B2 (en) Systems and methods for data consistency and alignment in data analytics platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant