[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107330066A - 基于sql的用户增量计算方法 - Google Patents

基于sql的用户增量计算方法 Download PDF

Info

Publication number
CN107330066A
CN107330066A CN201710519904.9A CN201710519904A CN107330066A CN 107330066 A CN107330066 A CN 107330066A CN 201710519904 A CN201710519904 A CN 201710519904A CN 107330066 A CN107330066 A CN 107330066A
Authority
CN
China
Prior art keywords
user
data
group
interim group
interim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710519904.9A
Other languages
English (en)
Inventor
陈�光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skylark Technology Chengdu Co Ltd
Original Assignee
Skylark Technology Chengdu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skylark Technology Chengdu Co Ltd filed Critical Skylark Technology Chengdu Co Ltd
Priority to CN201710519904.9A priority Critical patent/CN107330066A/zh
Publication of CN107330066A publication Critical patent/CN107330066A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于SQL的用户增量计算方法，包括以下步骤：A：建立一个用户组和若干个临时组，每个临时组对应一个子处理模块；B：所述子处理模块采集新增用户数据，并将新增用户数据写入对应的临时组；C：所述临时组内的用户数据到达预设阈值时，将内部用户数据全部传输给用户组，并将内部数据自动更新清0。本发明解决了现有的总用户存储设备因为数据写入过于频繁而极容易损坏，造成整体用户数据损失的问题。

Description

基于SQL的用户增量计算方法
技术领域
本发明涉及流计算技术领域，具体涉及基于SQL的用户增量计算方法。
背景技术
每年的双十一除了“折扣”，全世界都关注的另一个焦点是面向媒体直播的“实时大屏”。包括总成交量在内的各项指标，通过数字维度展现了双十一狂欢节，这一是买家、卖家及物流小二一起创造的奇迹！双十一媒体直播大屏，这一大屏背后需要实时处理海量的庞大电商系统各个子处理模块产生的。
在电商系统中，一般包括多个子处理模块，该子处理模块通常直接将新增用户传输到电商系统的总用户存储设备中，整个交易极快，数据写入非常频繁，这使得该存储设备非常容易损坏，从而造成整体用户数据损失。
发明内容
本发明的目的在于提供基于SQL的用户增量计算方法，解决现有的总用户存储设备因为数据写入过于频繁而极容易损坏，造成整体用户数据损失的问题；实现一种适用于电商系统用户数量统计的方法。
本发明通过下述技术方案实现：
基于SQL的用户增量计算方法，包括以下步骤：
A：建立一个用户组和若干个临时组，每个临时组对应一个子处理模块；
B：所述子处理模块采集新增用户数据，并将新增用户数据写入对应的临时组；
C：所述临时组内的用户数据到达预设阈值时，将内部用户数据全部传输给用户组，并将内部数据自动更新清0。进一步的，
本发明设计了一种针对新增用户的计算方法，首先建立用于记录存储总用户数据的用户组，在子处理模块系统与用户组之间设置多个临时组，将临时组作为缓存区，当临时组内的用户数据到达预设阈值时，再将内部用户数据全部传输给用户组，这样将用户数据分段打包传输的方式降低了对用户组的写入次数，减缓了整体写入效率，对用户组起到保护作用，这样即使作为缓存区的临时组坏了，也不影响整体数据。另外，设置多个临时组可以保证数据传输的畅通。
所述步骤B还包括以下步骤：
B1：子处理模块对采集的数据自定义序列化，并将序列化后的数据处理成多个压缩包；
B2：在步骤B1完成后，所述子处理模块将多个压缩包分别通过不同的数据/命令通道传输给对应的临时组。进一步的，子处理模块将新增用户数据以压缩打包，并分数据/命令通道传输的方式极大的提高了写入临时组的速度，并保证了数据传输的畅通。
所述步骤B还包括以下步骤：当一个临时组出现故障时，所述临时组对应的子处理模块随机选择一个新的临时组，并自动排队接入新的临时组。进一步的，临时组对应的子处理模块随机选择一个新的临时组，并自动排队接入新的临时组可保证数据的正常传输，这样某一个临时组坏了，也不影响整体数据的传输，保证了数据的完整性。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于SQL的用户增量计算方法，建立一个用户组和若干个临时组，每个临时组对应一个子处理模块，将临时组作为缓存区，这样将用户数据分段打包传输的方式降低了对用户组的写入次数，减缓了整体写入效率，对用户组起到保护作用，这样即使作为缓存区的临时组坏了，也不影响整体数据，同时保证了数据传输的畅通。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
本发明基于SQL的用户增量计算方法包括以下步骤：
A：建立一个用户组和若干个临时组，每个临时组对应一个子处理模块；
B：所述子处理模块采集新增用户数据，并将新增用户数据写入对应的临时组；
C：所述临时组内的用户数据到达预设阈值时，将内部用户数据全部传输给用户组，并将内部数据自动更新清0。
所述步骤B还包括以下步骤：B1：子处理模块对采集的数据自定义序列化，并将序列化后的数据处理成多个压缩包；B2：在步骤B1完成后，所述子处理模块将多个压缩包分别通过不同的数据/命令通道传输给对应的临时组。
所述步骤B还包括以下步骤：当一个临时组出现故障时，所述临时组对应的子处理模块随机选择一个新的临时组，并自动排队接入新的临时组。本发明实现了一种适用于电商系统用户数量统计的方法；以此解决了现有的总用户存储设备因为数据写入过于频繁而极容易损坏，造成整体用户数据损失的问题。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于SQL的用户增量计算方法，其特征在于，包括以下步骤：
A：建立一个用户组和若干个临时组，每个临时组对应一个子处理模块；
B：所述子处理模块采集新增用户数据，并将新增用户数据写入对应的临时组；
C：所述临时组内的用户数据到达预设阈值时，将内部用户数据全部传输给用户组，并将内部数据自动更新清0。
2.根据权利要求1所述的基于SQL的用户增量计算方法，其特征在于，所述步骤B还包括以下步骤：
B1：子处理模块对采集的数据自定义序列化，并将序列化后的数据处理成多个压缩包；
B2：在步骤B1完成后，所述子处理模块将多个压缩包分别通过不同的数据/命令通道传输给对应的临时组。
3.根据权利要求1所述的基于SQL的用户增量计算方法，其特征在于，所述步骤B还包括以下步骤：当一个临时组出现故障时，所述临时组对应的子处理模块随机选择一个新的临时组，并自动排队接入新的临时组。
CN201710519904.9A 2017-06-30 2017-06-30 基于sql的用户增量计算方法 Pending CN107330066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710519904.9A CN107330066A (zh) 2017-06-30 2017-06-30 基于sql的用户增量计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710519904.9A CN107330066A (zh) 2017-06-30 2017-06-30 基于sql的用户增量计算方法

Publications (1)

Publication Number Publication Date
CN107330066A true CN107330066A (zh) 2017-11-07

Family

ID=60198397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710519904.9A Pending CN107330066A (zh) 2017-06-30 2017-06-30 基于sql的用户增量计算方法

Country Status (1)

Country Link
CN (1) CN107330066A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166567A (zh) * 2014-08-12 2014-11-26 广州金山网络科技有限公司 一种下载网络流数据的方法及装置
CN104572838A (zh) * 2014-12-11 2015-04-29 北京京东尚科信息技术有限公司 改进的把数据写入数据库的系统及方法
CN105095423A (zh) * 2015-07-15 2015-11-25 北京奇虎科技有限公司 计数数据写入方法和装置
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及系统
CN106161637A (zh) * 2016-07-21 2016-11-23 广州杰赛科技股份有限公司 一种云备份方法及装置
US9602614B1 (en) * 2012-11-26 2017-03-21 Amazon Technologies, Inc. Distributed caching cluster client configuration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602614B1 (en) * 2012-11-26 2017-03-21 Amazon Technologies, Inc. Distributed caching cluster client configuration
CN104166567A (zh) * 2014-08-12 2014-11-26 广州金山网络科技有限公司 一种下载网络流数据的方法及装置
CN104572838A (zh) * 2014-12-11 2015-04-29 北京京东尚科信息技术有限公司 改进的把数据写入数据库的系统及方法
CN105095423A (zh) * 2015-07-15 2015-11-25 北京奇虎科技有限公司 计数数据写入方法和装置
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及系统
CN106161637A (zh) * 2016-07-21 2016-11-23 广州杰赛科技股份有限公司 一种云备份方法及装置

Similar Documents

Publication Publication Date Title
CN105162512B (zh) 多通道卫星遥感数据处理与存储系统及测试方法
WO2020135384A1 (zh) 进行数据压缩的方法和装置
CN107341267A (zh) 一种分布式文件系统访问方法及平台
CN106776759A (zh) 分布式文件系统的小文件预读方法及系统
CN102360342A (zh) 海量影像数据快速存储显示固态硬盘
CN107168651A (zh) 一种小文件聚合存储处理方法
CN106649891A (zh) 一种分布式数据存储方法和系统
CN107147590A (zh) 一种基于rdma协议消息通信的方法及系统
CN107194811A (zh) 一种基于fpga的高频交易量化系统
CN103517085B (zh) 一种基于视频解码设计实现远程服务器管理的方法
CN104156395A (zh) 数据存储系统
CN106681659A (zh) 数据压缩的方法及装置
CN102457695B (zh) 数字硬盘录像机及数字硬盘录像机抽帧备份方法
CN105871382B (zh) 一种Micaps第四类格点数据无损压缩算法
CN107330066A (zh) 基于sql的用户增量计算方法
CN103207916B (zh) 元数据处理的方法和装置
CN106875275A (zh) 商业健康保险在线自动对账系统及方法
CN103823766B (zh) Flash存储器的高效率存储方法
CN107422994A (zh) 一种提高数据读写性能的方法
CN103885859B (zh) 一种基于全局统计的去碎片方法及系统
CN103530240B (zh) 数据块缓存方法和装置
CN206100052U (zh) 一种教学用计算机网络安全控制装置
CN104461385A (zh) 一种端口流量自适应的多硬盘均衡存储方法
CN109240599A (zh) 一种大数据储存系统集成
CN104486614A (zh) Mp4视频格式损坏检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107