[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111404890B - 流量数据检测方法、系统、存储介质及电子设备 - Google Patents

流量数据检测方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN111404890B
CN111404890B CN202010148052.9A CN202010148052A CN111404890B CN 111404890 B CN111404890 B CN 111404890B CN 202010148052 A CN202010148052 A CN 202010148052A CN 111404890 B CN111404890 B CN 111404890B
Authority
CN
China
Prior art keywords
data
target
detection
flow data
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010148052.9A
Other languages
English (en)
Other versions
CN111404890A (zh
Inventor
陶磊
郑宇�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010148052.9A priority Critical patent/CN111404890B/zh
Publication of CN111404890A publication Critical patent/CN111404890A/zh
Application granted granted Critical
Publication of CN111404890B publication Critical patent/CN111404890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及一种流量数据检测方法、系统、存储介质及电子设备,以更好地满足各种业务场景下对于流量数据检测的需求。该系统包括数据获取单元、数据处理单元和多个数据检测单元,所述消息获取单元用于获取流量数据,并将所述流量数据发送给所述数据处理单元;所述数据处理单元用于根据接收到的所述流量数据的类型,在所述多个数据检测单元中确定目标数据检测单元,并对所述流量数据进行数据解析,得到目标流量数据,将所述目标流量数据发送给所述目标数据检测单元;所述目标数据检测单元用于根据存储的检测规则,对接收到的所述目标流量数据进行数据检测。

Description

流量数据检测方法、系统、存储介质及电子设备
技术领域
本公开涉及计算机技术领域,具体地,涉及一种流量数据检测方法、系统、存储介质及电子设备。
背景技术
随着计算机技术与网络技术的不断发展,人们可以在移动终端上安装各类应用程序,以供娱乐。比如,用户可以在移动终端上安装视频类应用程序,以观看视频,或者上传用户自制的视频以供他人观看,等等。在此种情况下,可能存在非法采集应用程序上用户隐私数据的情况,从而造成用户隐私数据的泄露,给用户带来经济损失或精神损失。因此,如何检测在线流量数据是否泄露用户隐私数据显得至关重要。
相关技术中,可以根据业务场景制定对应的检测逻辑以确定在线流量数据是否泄露用户隐私数据。按照此种方式,由于检测逻辑是根据特定业务场景制定的,因此,当业务场景发生变化时,则需要耗费较多的人力和时间重新制定对应的检测逻辑,灵活性较差,无法较好的适应各种业务场景。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种流量数据检测系统,所述系统包括数据获取单元、数据处理单元和多个数据检测单元,所述每个数据检测单元分别存储有对应的检测规则,所述检测规则用于对流量数据进行检测,以确定所述流量数据是否存在隐私泄露;
所述消息获取单元用于获取流量数据,并将所述流量数据发送给所述数据处理单元;
所述数据处理单元用于根据接收到的所述流量数据的类型,在所述多个数据检测单元中确定目标数据检测单元,并对所述流量数据进行数据解析,得到目标流量数据,将所述目标流量数据发送给所述目标数据检测单元;
所述目标数据检测单元用于根据存储的检测规则,对接收到的所述目标流量数据进行数据检测。
第二方面,本公开提供一种流量数据检测方法,所述方法包括:
获取流量数据;
根据获取到的所述流量数据的类型,在多个数据检测单元中确定用于对所述流量数据进行检测的目标数据检测单元,其中,所述每个数据检测单元分别存储有对应的预设检测规则,所述预设检测规则用于对流量数据进行数据检测,以确定所述流量数据是否存在隐私泄露;
对所述流量数据进行数据解析,得到目标流量数据;
通过所述目标数据检测单元,对所述目标流量数据进行数据检测。
第三方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第二方面中所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第二方面中所述方法的步骤。
通过上述技术方案,流量数据检测系统可以包括多个数据检测单元,每个数据检测单元分别存储有对应的检测规则,在后续检测过程中,可以根据流量数据的类型,在多个数据检测单元中选择目标数据检测单元,从而根据目标数据检测单元对应的检测规则进行流量数据检测。按照此种方式,实现了数据检测单元与系统中其他单元的解耦,可以根据不同的业务场景,选择不同的数据检测单元进行流量数据检测,灵活性较高,可以更好地适应各种业务场景。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
在附图中:
图1是根据本公开一示例性实施例示出的一种流量数据检测系统的框图;
图2是根据本公开另一示例性实施例示出的一种流量数据检测系统的框图;
图3是根据本公开一示例性实施例示出的一种流量数据检测方法的流程图;
图4是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。
本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1是根据本公开一示例性实施例示出的一种流量数据检测系统的框图。参照图1,该流量数据检测系统100包括数据获取单元101、数据处理单元102和多个数据检测单元103(图1中以数据检测单元1~数据检测单元N进行示例,其中N为大于2的正整数)。每个数据检测单元103分别存储有对应的检测规则,该检测规则可以用于对流量数据进行检测,以确定该流量数据是否存在隐私泄露。
消息获取单元101可以用于获取流量数据,并将该流量数据发送给数据处理单元102。示例地,消息获取单元101可以实时获取流量数据,并将实时获取到的流量数据发送给数据处理单元102,以支持持续检测的过程。一旦出现用户隐私数据泄露的问题,可以秒感知到。或者,消息获取单元101可以周期性获取流量数据,并周期性将获取到的流量数据发送给数据处理单元102,以节约网络带宽,减小资源消耗。应当理解的是,用户可以根据实际需要设定消息获取单元101的数据获取方式,本公开实施例对此不作限定。
数据处理单元102可以用于根据接收到的流量数据的类型,在多个数据检测单元103中确定目标数据检测单元,并对流量数据进行数据解析,得到目标流量数据,将目标流量数据发送给目标数据检测单元。应当理解的是,目标数据检测单元,可以是多个数据检测单元103中的至少一个。
示例地,流量数据的头数据(header)中可以包括用于表征流量数据类型的标识信息,因此在本公开实施例中,可以通过流量数据的头数据确定流量数据的类型。另外,每一目标数据检测单元也可以包括用于表征流量数据类型的标识信息,从而在确定流量数据的类型,可以在多个数据检测单元确定具有相同类型标识的目标数据检测单元。
数据处理单元102除了可以确定目标数据检测单元外,还可以对流量数据进行数据解析,便于后续地数据检测过程。示例地,数据处理单元可以对http、thrift、protobuf协议所对应的流量数据进行数据解析,以将二进制的流量数据解析成结构化数据,该结构化数据可以是用于发送给数据检测单元进行数据检测的目标流量数据。
目标数据检测单元可以用于根据存储的检测规则,对接收到的目标流量数据进行数据检测。
通过上述方式,可以实现数据检测单元与系统中其他单元的解耦,可以根据不同的业务场景,选择不同的数据检测单元进行流量数据检测,灵活性较高,可以更好地适应各种业务场景。
可选地,目标数据检测单元可以用于检测目标流量数据是否包括用于表征用户隐私信息的敏感数据,当检测到目标流量数据包括所述敏感数据时,确定目标流量数据对应的第一用户信息是否与所述敏感数据对应的第二用户信息一致,若第一用户信息与第二用户信息不一致,则确定目标流量数据存在隐私泄露。
可选地,目标数据检测单元可以用于通过字符串匹配和/或正则匹配,检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据。
示例地,按照字符串匹配的方式,若检测到目标流量数据中包括“birth”这样的字符串,则可以确定目标流量数据包括用户生日信息。由于生日信息属于用户隐私信息,因此可以确定目标流量数据中包括用于表征用户隐私信息的敏感数据。或者,按照正则匹配的方式,若检测到目标流量数据满足“*@*.com”这样的正则匹配,则可以确定目标流量数据包括用户邮箱信息。由于邮箱信息属于用户隐私信息,因此可以确定目标流量数据中包括用于表征用户隐私信息的敏感数据。又或者,还可以按照字符串匹配和正则匹配相结合的方式,检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据,本公开实施例对此不作限定。
当目标检测单元检测到目标流量数据包括敏感数据时,目标检测单元还可以进一步确定目标流量数据对应的第一用户信息是否与敏感数据对应的第二用户信息一致。示例地,目标检测单元可以根据目标流量数据中用于表征当前登录用户身份信息的标识,确定目标流量数据对应的第一用户信息。同样地,对于敏感数据对应的第二用户信息,也可以根据该敏感数据中用于表征用户身份信息的标识而进行确定。
在可能的情况下,可能存在敏感数据中不包括用于表征用户身份信息的标识,比如敏感信息为上文举例的用户邮箱信息。在此种情况下,若目标流量数据为JSON结构,则可以通过上层结构包括的用户信息确定敏感数据对应的第二用户信息。也即是说,若目标流量数据为JSON结构,目标数据检测单元可以用于当敏感数据对应的JSON层不存在用户信息时,将该JSON层的、上层结构所包括的用户信息确定为敏感数据对应的第二用户信息。
应当理解的是,在目标流量数据为JSON结构的情况下,当敏感数据对于的JSON层存在用户信息时,则可以直接将该JSON层包括的用户信息确定为敏感数据对应的第二用户信息。
例如,当前登录用户ID为2,即流量数据对应的第一用户信息的ID为2,且该用户访问某一视频类应用程序,产生了一条流量数据的JSON结构如下:
Figure BDA0002401457180000071
该流量数据除了包含视频本身的相关信息,比如视频ID(video_id)为1,视频地址(url)为"xxx",视频制作者的ID(author_id)为1,还包含了视频制作者(author)的其他信息:昵称(nickname)和生日(birthday)。
在对上述流量数据从第一行数据(video_id)开始进行遍历检测的过程中,根据字符串匹配,可以检测到“birthday”这一敏感字段,从而可以确定检测到用于表征用户隐私信息的敏感数据。在此种情况下,可以进一步判断该流量数据对应的第一用户信息是否与该敏感数据对应的第二用户信息一致。具体地,由于在该流量数据对应的JSON结构中,敏感数据对应的JSON层为author层,表征的是视频制作者的昵称和生日,不包括用于表征用户身份信息的标识,因此可以将该JSON层所对应的、上层结构中的用户信息确定为该敏感数据的第二用户信息。在此种情况下,该JSON层所对应的、上层结构为author_id层,包括了用于表征用户身份信息的标识。因此,可以将敏感数据对应的第二用户信息可以是author_id为1。
应当理解的是,在上述举例中,若敏感数据的JSON层所对应的、上层结构(即author_id层)不包括用户信息,那么可以继续向上层查找,直到找到用户信息,或者查找到JSON结构的最上层(即JSON结构的第一行数据)。
在确定目标流量数据对应的第一用户信息、以及敏感数据对应的第二用户信息后,可以确定第一用户信息是否与第二用户信息一致。当第一用户信息与第二用户信息不一致时,可以确定第一用户查看到了第二用户的隐私信息,即,发生了第二用户隐私信息被泄露给第一用户的问题。比如,在上述举例中,第一用户信息的ID为2,第二用户信息的ID为1,当前登陆用户(ID为2)访问到了其他用户(ID为1)的生日信息,则可以确定上述流量数据存在隐私泄露。
应当理解的是,在其他情况下,当第一用户信息与第二用户信息一致时,则说明是第二用户自己登录查看了自己的隐私数据,这种情况不认为存在隐私泄露。
通过上述方式,在检测到用于表征用户隐私信息的敏感数据后,可以进一步判断该敏感数据的归属,以在数据检测过程中排除自己登录查看自己隐私数据的场景,避免将自己查看自己隐私数据的情况确定为隐私泄露,提高数据检测的准确性。
可选地,目标检测单元还可以用于接收用户输入的检测规则,并将接收到的检测规则进行存储。也即是说,在本公开实施例中,每一检测单元存储的检测规则可以是预先默认设置的,也可以是用户根据实际业务场景自行设定的,本公开实施例中的流量数据检测系统支持用户自定义每一数据检测单元的检测规则。
可选地,数据处理单元102还可以用于根据预设数据提取规则,对数据解析后的流量数据进行数据提取,得到目标流量数据。也即是说,在本公开实施例中,在进行数据检测前,还可以进行数据抽取,以减少对于数据检测没有意义的数据,进一步提高数据检测效率。
可选地,预设数据提取规则包括以下至少一者:用于提取数据解析后的流量数据中登录用户信息的规则;用于提取数据解析后的流量数据中所有用户信息的规则;用于提取数据解析后的流量数据中登录用户所访问的数据的规则。
例如,在用户访问某一视频类应用程序的情况下,可以对数据解析后的得到的结构体数据进行数据抽取,比如,可以根据session等信息抽取当前登录用户信息,并通过识别结构体名称的方式提取所有用户信息和登录用户所访问的数据,比如,可以通过识别“User”提取出所有用户信息,通过识别“Item”提取出登录用户所访问的数据,等等。
可选地,本公开实施例中的流量数据检测系统还可以包括存储引擎和数据显示单元,数据处理单元102还可以用于接收目标检测单元返回的数据检测结果,并发送该数据检测结果给存储引擎。相应地,存储引擎可以用于根据用户输入的查询条件,在数据检测结果中查询符合查询条件的目标检测结果,并将目标检测结果发送给数据显示单元进行显示。
示例地,数据处理单元102可以将接收到的数据检测结果进行汇总,生成结果文件发生送给存储引擎。比如,数据处理单元102可以将接收到的数据检测结果进行汇总,生成Doc格式的文件发生送给存储引擎。当然,数据处理单元也可以将接收到的数据检测结果分别发送给存储引擎,然后通过存储引擎对检测结果进行汇总,实现对数据检测结果的存储管理,本公开实施例对此不作限定。
示例地,存储引擎(Elasticsearch)可以基于Lucene库,数据显示单元可以是Kibana。应当理解的是,Kibana是一个开源的分析和可视化平台,可以用于和存储引擎(Elasticsearch)一起工作。在本公开实施例中,用户可以根据特定的筛选条件,在Kibana查找出检测结果。比如,存储引擎中存储有A应用程序和B应用程序的检测结果,通过存储引擎和数据显示单元,用户通过输入用于获取A应用程序检测结果的查询条件,可以在数据显示单元看到A应用程序的检测结果,便于用户获知A应用程序的数据检测结果。
可选地,本公开实施例中的流量数据检测系统还可以包括报警单元,该报警单元分别与每个数据检测单元通信连接,用于当数据检测单元确定目标流量数据存在隐私泄露时,发送报警提示信息。
也即是说,通过本公开施例中的流量数据检测系统,在检测到流量数据存在隐私泄露时,用户可以通过报警单元发送的报警提示信息,获知流量数据存在隐私泄露,从而更加方便、快捷的对流量数据存在的隐私泄露问题进行排查,以避免后续流量数据存在的隐私泄露问题,保证流量数据的隐私安全性。
下面通过另一示例性实施例对本公开中的流量数据检测系统进行说明。
参照图2,该流量数据检测系统包括数据获取单元201、数据处理单元202、多个数据检测单元203、存储引擎204和数据显示单元205。其中,数据处理单元202可以包括数据解析子单元,用于对流量数据进行数据解析。数据处理单元还可以包括数据抽取子单元,用于根据预设数据提取规则,对数据解析后的流量数据进行数据提取,得到目标流量数据,并将目标流量数据发送给目标数据检测单元,以使目标数据检测单元对于目标流量数据进行数据检测。对于其他单元的具体实施方式已在上文进行详细举例说明,这里不再赘述。
通过上述系统,可以实现数据检测单元与系统中其他单元的解耦,从而可以根据不同的业务场景,选择不同的数据检测单元进行流量数据检测,灵活性较高,从而更好地适应各种业务场景,满足用户对于不同业务场景的数据检测需求。并且,在上述系统中,数据检测单元可以排除自己登录查看自己隐私数据的场景,避免将自己查看自己隐私数据的情况确定为隐私泄露,从而提高数据检测的准确性。
基于同一发明构思,本公开实施例还提供一种流量数据检测方法。参照图3,该方法包括:
步骤301,获取流量数据;
步骤302,根据获取到的所述流量数据的类型,在多个数据检测单元中确定用于对所述流量数据进行检测的目标数据检测单元,其中,所述每个数据检测单元分别存储有对应的预设检测规则,所述预设检测规则用于对流量数据进行数据检测,以确定所述流量数据是否存在隐私泄露;
步骤303,对所述流量数据进行数据解析,得到目标流量数据;
步骤304,通过所述目标数据检测单元,对所述目标流量数据进行数据检测。
在可能的方式中,对所述目标流量数据进行数据检测包括:
检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据;
当检测到所述目标流量数据包括所述敏感数据时,确定所述目标流量数据对应的第一用户信息是否与所述敏感数据对应的第二用户信息一致;
若所述第一用户信息与所述第二用户信息不一致,则确定所述目标流量数据存在隐私泄露。
在可能的方式中,所述方法还包括:
当所述敏感数据对应的JSON层不存在用户信息时,将所述JSON层的、上层结构所包括的用户信息确定为所述敏感数据对应的所述第二用户信息。
在可能的方式中,所述检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据,包括:
通过字符串匹配和/或正则匹配,检测所述目标流量数据中是否包括用于表征用户隐私信息的敏感数据。
在可能的方式中,所述方法还包括:
接收用户输入的检测规则,并将接收到的检测规则存储到所述数据检测单元。
在可能的方式中,所述得到目标流量数据,包括:
根据预设数据提取规则,对数据解析后的流量数据进行数据提取,得到所述目标流量数据。
在可能的方式中,所述预设数据提取规则包括以下至少一者:
用于提取数据解析后的流量数据中登录用户信息的规则;
用于提取数据解析后的流量数据中所有用户信息的规则;
用于提取数据解析后的流量数据中登录用户所访问的数据的规则。
在可能的方式中,所述方法还包括:
将数据检测的结果发送给存储引擎,以使所述存储引擎根据用户输入的查询条件,在数据检测结果中查询符合查询条件的目标检测结果,并将目标检测结果发送给数据显示单元进行显示。
在可能的方式中,所述方法还包括:
当确定所述目标流量数据存在隐私泄露时,发送报警提示信息。
上述各步骤的具体实施方式与流量数据检测系统中各单元的实施方式类似,这里不再赘述。
通过上述任一流量数据检测方法,可以实现数据检测与数据处理过程的解耦,从而可以根据不同的业务场景,选择不同的数据检测单元进行流量数据检测,灵活性较高,可以更好地适应各种业务场景。
基于同一发明构思,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一流量数据检测方法的步骤。
基于同一发明构思,本公开实施例还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述任一流量数据检测方法的步骤。
下面参考图4,其示出了适于用来实现本公开实施例的电子设备400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常,以下装置可以连接至I/O接口405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从存储装置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,可以利用诸如HTTP(HyperText Transfer Protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取流量数据;根据获取到的所述流量数据的类型,在多个数据检测单元中确定用于对所述流量数据进行检测的目标数据检测单元,其中,所述每个数据检测单元分别存储有对应的预设检测规则,所述预设检测规则用于对流量数据进行数据检测,以确定所述流量数据是否存在隐私泄露;对所述流量数据进行数据解析,得到目标流量数据;通过所述目标数据检测单元,对所述目标流量数据进行数据检测。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,示例一提供了一种流量数据检测系统,所述系统包括数据获取单元、数据处理单元和多个数据检测单元,所述每个数据检测单元分别存储有对应的检测规则,所述检测规则用于对流量数据进行检测,以确定所述流量数据是否存在隐私泄露;
所述消息获取单元用于获取流量数据,并将所述流量数据发送给所述数据处理单元;
所述数据处理单元用于根据接收到的所述流量数据的类型,在所述多个数据检测单元中确定目标数据检测单元,并对所述流量数据进行数据解析,得到目标流量数据,将所述目标流量数据发送给所述目标数据检测单元;
所述目标数据检测单元用于根据存储的检测规则,对接收到的所述目标流量数据进行数据检测。
根据本公开的一个或多个实施例,示例二提供了示例一的系统,所述目标数据检测单元用于检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据,当检测到所述目标流量数据包括所述敏感数据时,确定所述目标流量数据对应的第一用户信息是否与所述敏感数据对应的第二用户信息一致,若所述第一用户信息与所述第二用户信息不一致,则确定所述目标流量数据存在隐私泄露。
根据本公开的一个或多个实施例,示例三提供了示例一的系统,所述目标流量数据为JSON结构,所述目标数据检测单元用于当所述敏感数据对应的JSON层不存在用户信息时,将所述JSON层的、上层结构所包括的用户信息确定为所述敏感数据对应的所述第二用户信息。
根据本公开的一个或多个实施例,示例四提供了示例一的系统,所述目标数据检测单元用于通过字符串匹配和/或正则匹配,检测所述目标流量数据中是否包括用于表征用户隐私信息的敏感数据。
根据本公开的一个或多个实施例,示例五提供了示例一的系统,所述目标数据检测单元还用于接收用户输入的检测规则,并将接收到的所述检测规则进行存储。
根据本公开的一个或多个实施例,示例六提供了示例一的系统,所述数据处理单元还用于根据预设数据提取规则,对数据解析后的流量数据进行数据提取,得到目标流量数据。
根据本公开的一个或多个实施例,示例七提供了示例一的系统,所述预设数据提取规则包括以下至少一者:
用于提取数据解析后的流量数据中登录用户信息的规则;
用于提取数据解析后的流量数据中所有用户信息的规则;
用于提取数据解析后的流量数据中登录用户所访问的数据的规则。
根据本公开的一个或多个实施例,示例八提供了示例一的系统,所述系统还包括存储引擎和数据显示单元,所述数据处理单元还用于接收所述目标检测单元返回的数据检测结果,并发送所述数据检测结果给所述存储引擎;
所述存储引擎用于根据用户输入的查询条件,在所述数据检测结果中查询符合所述查询条件的目标检测结果,并将所述目标检测结果发送给所述数据显示单元进行显示。
根据本公开的一个或多个实施例,示例九提供了示例一的系统,所述系统还包括报警单元,所述报警单元分别与所述每个数据检测单元通信连接,用于当所述数据检测单元确定所述目标流量数据存在隐私泄露时,发送报警提示信息。
根据本公开的一个或多个实施例,示例十提供了一种流量数据检测方法,所述方法包括:
获取流量数据;
根据获取到的所述流量数据的类型,在多个数据检测单元中确定用于对所述流量数据进行检测的目标数据检测单元,其中,所述每个数据检测单元分别存储有对应的预设检测规则,所述预设检测规则用于对流量数据进行数据检测,以确定所述流量数据是否存在隐私泄露;
对所述流量数据进行数据解析,得到目标流量数据;
通过所述目标数据检测单元,对所述目标流量数据进行数据检测。
根据本公开的一个或多个实施例,示例十一提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现示例十中所述方法的步骤。
根据本公开的一个或多个实施例,示例十二提供了一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现示例十中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

Claims (11)

1.一种流量数据检测系统,其特征在于,所述系统包括数据获取单元、数据处理单元和多个数据检测单元,所述每个数据检测单元分别存储有对应的检测规则,所述检测规则用于对流量数据进行检测,以确定所述流量数据是否存在隐私泄露;
所述数据获取单元用于获取流量数据,并将所述流量数据发送给所述数据处理单元;
所述数据处理单元用于根据接收到的所述流量数据的类型,在所述多个数据检测单元中确定目标数据检测单元,并对所述流量数据进行数据解析,得到目标流量数据,将所述目标流量数据发送给所述目标数据检测单元;
所述目标数据检测单元用于检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据,当检测到所述目标流量数据包括所述敏感数据时,确定所述目标流量数据对应的第一用户信息是否与所述敏感数据对应的第二用户信息一致,若所述第一用户信息与所述第二用户信息不一致,则确定所述目标流量数据存在隐私泄露。
2.根据权利要求1所述的系统,其特征在于,所述目标流量数据为JSON结构,所述目标数据检测单元用于当所述敏感数据对应的JSON层不存在用户信息时,将所述JSON层的、上层结构所包括的用户信息确定为所述敏感数据对应的所述第二用户信息。
3.根据权利要求1所述的系统,其特征在于,所述目标数据检测单元用于通过字符串匹配和/或正则匹配,检测所述目标流量数据中是否包括用于表征用户隐私信息的敏感数据。
4.根据权利要求1-3任一项所述的系统,其特征在于,所述目标数据检测单元还用于接收用户输入的检测规则,并将接收到的所述检测规则进行存储。
5.根据权利要求1-3任一项所述的系统,其特征在于,所述数据处理单元还用于根据预设数据提取规则,对数据解析后的流量数据进行数据提取,得到目标流量数据。
6.根据权利要求5所述的系统,其特征在于,所述预设数据提取规则包括以下至少一者:
用于提取数据解析后的流量数据中登录用户信息的规则;
用于提取数据解析后的流量数据中所有用户信息的规则;
用于提取数据解析后的流量数据中登录用户所访问的数据的规则。
7.根据权利要求1-4任一项所述的系统,其特征在于,所述系统还包括存储引擎和数据显示单元,所述数据处理单元还用于接收所述目标数据检测单元返回的数据检测结果,并发送所述数据检测结果给所述存储引擎;
所述存储引擎用于根据用户输入的查询条件,在所述数据检测结果中查询符合所述查询条件的目标检测结果,并将所述目标检测结果发送给所述数据显示单元进行显示。
8.根据权利要求1-3任一项所述的系统,其特征在于,所述系统还包括报警单元,所述报警单元分别与所述每个数据检测单元通信连接,用于当所述数据检测单元确定所述目标流量数据存在隐私泄露时,发送报警提示信息。
9.一种流量数据检测方法,其特征在于,所述方法包括:
获取流量数据;
根据获取到的所述流量数据的类型,在多个数据检测单元中确定用于对所述流量数据进行检测的目标数据检测单元,其中,所述每个数据检测单元分别存储有对应的预设检测规则,所述预设检测规则用于对流量数据进行数据检测,以确定所述流量数据是否存在隐私泄露;
对所述流量数据进行数据解析,得到目标流量数据;
通过所述目标数据检测单元检测目标流量数据中是否包括用于表征用户隐私信息的敏感数据,当检测到所述目标流量数据包括所述敏感数据时,确定所述目标流量数据对应的第一用户信息是否与所述敏感数据对应的第二用户信息一致,若所述第一用户信息与所述第二用户信息不一致,则确定所述目标流量数据存在隐私泄露。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求9所述方法的步骤。
11.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求9所述方法的步骤。
CN202010148052.9A 2020-03-05 2020-03-05 流量数据检测方法、系统、存储介质及电子设备 Active CN111404890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010148052.9A CN111404890B (zh) 2020-03-05 2020-03-05 流量数据检测方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010148052.9A CN111404890B (zh) 2020-03-05 2020-03-05 流量数据检测方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111404890A CN111404890A (zh) 2020-07-10
CN111404890B true CN111404890B (zh) 2022-07-05

Family

ID=71432163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148052.9A Active CN111404890B (zh) 2020-03-05 2020-03-05 流量数据检测方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111404890B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763112A (zh) * 2013-10-29 2014-04-30 小米科技有限责任公司 一种用户身份保护方法和装置
CN103778377A (zh) * 2014-01-28 2014-05-07 宇龙计算机通信科技(深圳)有限公司 一种终端及防止敏感信息泄露的方法
CN104809397A (zh) * 2015-05-12 2015-07-29 上海斐讯数据通信技术有限公司 一种基于动态监控的Android恶意软件的检测方法及系统
WO2017063424A1 (zh) * 2015-10-15 2017-04-20 中兴通讯股份有限公司 一种防隐私信息泄露的方法、装置及终端
CN107180202A (zh) * 2017-05-10 2017-09-19 华中科技大学 一种基于信息流标签的Web用户隐私保护系统和方法
CN107330345A (zh) * 2017-07-05 2017-11-07 北京理工大学 一种检测隐私数据泄露的方法和装置
CN110598411A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 敏感信息检测方法、装置、存储介质和计算机设备
CN110855642A (zh) * 2019-10-30 2020-02-28 腾讯科技(深圳)有限公司 应用漏洞检测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763112A (zh) * 2013-10-29 2014-04-30 小米科技有限责任公司 一种用户身份保护方法和装置
CN103778377A (zh) * 2014-01-28 2014-05-07 宇龙计算机通信科技(深圳)有限公司 一种终端及防止敏感信息泄露的方法
CN104809397A (zh) * 2015-05-12 2015-07-29 上海斐讯数据通信技术有限公司 一种基于动态监控的Android恶意软件的检测方法及系统
WO2017063424A1 (zh) * 2015-10-15 2017-04-20 中兴通讯股份有限公司 一种防隐私信息泄露的方法、装置及终端
CN107180202A (zh) * 2017-05-10 2017-09-19 华中科技大学 一种基于信息流标签的Web用户隐私保护系统和方法
CN107330345A (zh) * 2017-07-05 2017-11-07 北京理工大学 一种检测隐私数据泄露的方法和装置
CN110598411A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 敏感信息检测方法、装置、存储介质和计算机设备
CN110855642A (zh) * 2019-10-30 2020-02-28 腾讯科技(深圳)有限公司 应用漏洞检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111404890A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN110390493B (zh) 任务管理方法、装置、存储介质及电子设备
CN110516159A (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN111209306A (zh) 业务逻辑判断方法、装置、电子设备和存储介质
CN111460049A (zh) 内容分享方法、装置、电子设备及计算机可读存储介质
CN111614759B (zh) 资源分享方法、装置、电子设备及计算机可读介质
CN111262744B (zh) 多媒体信息发送方法、备份服务器及介质
CN111708680A (zh) 报错信息解析方法、装置、电子设备及存储介质
CN111209432A (zh) 信息获取的方法、装置、电子设备及计算机可读介质
CN110781066B (zh) 用户行为分析方法、装置、设备及存储介质
CN113191257B (zh) 笔顺检测方法、装置和电子设备
CN112612919A (zh) 一种视频资源的关联方法、装置、设备及介质
CN111404890B (zh) 流量数据检测方法、系统、存储介质及电子设备
CN112084441A (zh) 信息检索方法、装置和电子设备
CN113031950B (zh) 一种图片生成方法、装置、设备及介质
CN112287171A (zh) 信息处理方法、装置和电子设备
CN111782549B (zh) 测试方法、装置和电子设备
CN113157695B (zh) 数据处理方法、装置、可读介质及电子设备
CN110941683B (zh) 获取空间中对象属性信息的方法、装置、介质和电子设备
CN113486749A (zh) 图像数据收集方法、装置、电子设备和计算机可读介质
CN115730324A (zh) 业务系统的访问方法、装置、存储介质及电子设备
CN110752958A (zh) 用户行为分析方法、装置、设备及存储介质
CN113360704A (zh) 语音播放方法、装置和电子设备
CN112699289A (zh) 房源信息聚合展示方法、装置、电子设备和计算机可读介质
CN111680754A (zh) 图像分类方法、装置、电子设备及计算机可读存储介质
CN112084440B (zh) 数据校验方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant