CN106878102B - 一种基于网络流量多字段识别的人流量检测方法及系统 - Google Patents

Abstract

本发明提供一种基于网络流量多字段识别的人流量检测方法，步骤包括：1)获取网络流量，对所含的数据包进行预处理，包括IP碎片重组、链接还原和协议识别；2)识别预处理后的数据包所含的多字段信息，该多字段信息包括基准字段、设备指纹字段、位置信息和时间戳信息；3)将多字段信息填充于设备表中；4)通过检测设备表中的联网设备位置信息和时间戳信息来统计人流量。本发明还提供一种基于网络流量多字段识别的人流量检测系统，包括流量获取模块、数据预处理模块、多字段识别模块、设备表模块及人流量统计模块。

Description

一种基于网络流量多字段识别的人流量检测方法及系统

技术领域

本发明涉及通信技术领域，具体涉及一种基于网络流量多字段识别的人流量检测方法及系统。

背景技术

人流类型主要分为两类，一种是具有商业价值的人流(客流)，通常为购物中心、大型超市、银行、专卖店、广告牌前等出入口的人流量，这些数据对商家进行各种商业活动有着重要参考价值；另一种是非商业活动的人流，包括体育场、风景区、地铁站、机场等公共事业和交通场所，用于统计各个出入口的人流量，一方面对公共安全进行预防措施，另一方面可根据人流量来安排业务活动。

对人流量进行统计的产品众多，不同的产品采用不同的技术，每种技术都有它的特点和独特性，目前包括激光、视频、红外、压力踏板等多种技术；总的来说，三大类主流的统计方法分别是图像影像识别、终端定位和物理计数。

图像影像识别方式：如视频客流量统计系统，融合了视频处理技术、图像处理技术、模式识别技术以及人工智能等多个领域的技术，视频客流统计系统主要应用于对出入口的客流数进行统计，得到该出入口进出的人流数量，对于封闭场所，则可以通过几个出入口的流量得到该场馆的保有量，并提供保有量预警。但该方案布设成本高，存在监控盲区，难以精细化统计区域内人员的停留时间、到访频率等。

终端定位方式：本方案基于定位技术，如GPS、基站、RFID、WIFI、BLUETOOTH、红外、激光测距等，根据不同定位技术原理，采用主动定位或被动定位方式获得终端坐标或与信标的距离，然后根据终端坐标或信标的位置统计区域内的人流分布情况。但该方案需依赖定位技术，布设成本较高；由于定位技术的局限性，大多数终端定位方式无法兼顾室内和室外，终端必须同时具备多种定位芯片(如同时具备GPS和WIFI)才能实现室内外定位的切换。

物理计数方式：如通过人工方式在定点路段数过往人数，然后把全天的结果平均下来统计计算；或通过关闸计数的方式，通过关闸一次就计数一次。但该方案统计不准确，难以精细化统计区域内人员的停留时间、到访频率等。另外，对于红外、激光等定位方式，同样无法精细化统计区域内人员的停留时间、到访频率等。

发明内容

本发明的目的在于提供一种基于网络流量多字段识别的人流量检测方法及系统，通过分析某地网络流量数据，以对目前的各种场所的人流数量进行实时检测，适用于室内或室外具有网络的场景下对携带联网设备并上网通信的人流量统计。

为实现上述目的，本发明采用如下技术方案：

一种基于网络流量多字段识别的人流量检测方法，步骤包括：

1)获取网络流量，对所含的数据包进行预处理，包括IP碎片重组、链接还原和协议识别；

2)识别预处理后的数据包所含的多字段信息，该多字段信息包括基准字段、设备指纹字段、位置信息和时间戳信息；

3)将多字段信息填充于设备表中；

4)通过检测设备表中的联网设备位置信息和时间戳信息来统计人流量。

进一步地，通过镜像技术获取待统计区域所在地的网络流量。

进一步地，协议识别方法包括基于端口识别协议、基于负载识别协议和基于测度识别协议。

进一步地，识别多字段信息的方法包括直接读取、查询处理和计算处理。

进一步地，基准字段是指流量中用以标定设备的主字段，包括用以寻址的字段。

进一步地，设备指纹字段包括：

联网设备的硬件信息与软件版本信息，具体包括终端类型、浏览器、浏览器内核、操作系统、内部版本、设备型号、运营商、IMEI、AP名称、BSSID、设备名；

联网设备上传下载的数据信息或与其他设备或软件的联通信息，具体包括进行上传图片、查询地图及团购使用优惠券的相关操作的APP信息以及上传图片的规格信息。

进一步地，位置信息包括如下三种：

第一种是流量中识别出的经纬度、笛卡尔坐标系及楼层信息；

第二种是基站位置、IP地址及MAC地址信息；

第三种是流量中隐藏的需经过计算的位置信息，包括将语义信息或信号强度转换的地理坐标。

进一步地，根据设备指纹信息，在进行步骤3)之前对待填入设备表的多字段信息进行设备的归一处理，或者在进行步骤4)之前对待统计的设备表项进行设备的归一处理。

进一步地，设备表包括多个设备表项，用以对多字段信息进行归类存储和更新。

进一步地，根据欲统计的时间段去除超时非活跃设备，以更新设备表。

进一步地，在最后统计结果输出时加入噪声，用以保护用户位置信息。

一种基于网络流量多字段识别的人流量检测系统，包括：

一流量获取模块，镜像互联网流量；

一数据预处理模块，对数据包进行预处理；

一多字段识别模块，识别预处理后的数据包所含的多字段信息；

一设备表模块，将多字段信息归类存储于各设备表项；

一人流量统计模块，检测设备表指定区域及时间的联网设备信息，以进行人流量统计。

进一步地，还包括一归一处理模块，根据设备指纹信息对待填入设备表的多字段信息或待统计的设备表项进行设备的归一处理。

本方法不用依赖专门的人流量前端采集装置，避免了前端采集装置的电池供电、线路部署以及更新维护等问题，利用上网者自身的通信进行网络流量数据分析，通过多字段识别定位联网设备，实现对待统计区域的人流量统计，低成本，容易实现，而且具有上网者无感的特性，不会对上网者造成统计干扰，适合大型场馆、商场、游乐场、景区等已具有网络基础设施的场所，为这些场所提供精细化管理、应急响应和个性化服务等提供有力支撑。

附图说明

图1为实施例一的一种人流量检测方法流程图。

图2为实施例一的一种人流量检测系统示意图。

图3为实施例二的一种人流量检测方法流程图。

图4为实施例二的一种人流量检测系统示意图。

图5为设备表示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

实施例一

本实施例提供一种基于网络流量多字段识别的人流量检测方法及系统，适用于室内或室外具有网络的场景下对携带联网设备(如手机、平板、笔记本电脑等)并上网通信的人流量统计，如图1、图2所示，步骤包括：

1.通过流量获取模块获取网络流量，采用镜像技术获取待统计区域所在地的全部网络流量，包括电信、联通、移动、铁通等的宽带流量和2G、3G、4G流量等；TCP/IP协议包括链路层、IP层、传输层和应用层，可通过数据预处理模块对数据包进行如下预处理；

IP碎片重组：链路层具有最大传输单元MTU这个特性，它限制了数据帧的最大长度，不同的网络类型都有一个上限值。以太网的MTU是1500字节，可以用netstat-i命令查看这个值。如果IP层有数据包要传，且数据包的长度超过了MTU，IP层就要对数据包进行分片(fragmentation)操作，使每一片的长度都小于或等于MTU。在接收端根据接收到的IP数据包，通过分析特定的协议信息，确定多个IP数据包分组是同一个IP数据包，再根据标志字段(DF、MF)和序列号进行有序的IP碎片重组。

链接还原：主要是指通过一些特定的协议信息，将网络数据包还原到某一条TCP或UDP链接中。具体处理流程包括：从底层捕包库获取原始IP包，如果判断其为分片包，先做IP分片重组，重组后的完整IP包进入TCP流还原，TCP层按C2S、S2C两个不同方向及到达的序号排序，提取出IP层地址和本层端口信息，在HASH表中查找是否已存在。如果没有，则按设定策略决定是否新建流；如果找到，则按TCP流当前状态，对SYN_STATE、DATA_STATE、NOUSE_STATE分别做不同处理。

协议识别：识别出网络上每个流所使用的应用层协议，包括识别如TCP、IP、HTTP、DNS等标准协议的共有协议和私有协议(非公开的协议)，主要有如下几类协议识别方法：

1)基于端口识别协议

传统的应用层协议识别算法只利用了端口号一维信息，其根据各个应用层协议在IANA中注册的端口号来标记协议，例如，若某个TCP流使用了端口号80、8080或443，则将其标记为Web流量。

2)基于负载识别协议

基于负载的算法仍是个一元判别问题，其需要事先详细分析待识别的应用层协议，找出其交互过程中不同于其他任何协议的字段，作为该协议的特征。在识别的过程中，该类算法检查流中每个报文TCP首部之后的负载部分，若匹配到某协议的特征，则将该流标记为相应的协议。基于负载的算法不仅能识别出使用单一连接进行通信的协议，而且能够识别出如PASV FTP、流媒体等使用多个连接、动态端口进行通信的协议。在这些协议中，数据传输所使用的端口是在事先建立的控制连接中协商。基于负载的算法检查控制连接中的每个报文，找出协商得到的端口号，并以此端口识别数据连接。

3)基于测度识别协议

基于测度识别协议的算法，利用协议规范的不同所造成的流测度的差异区别各个协议。例如，Web流一般为短流小报文，而P2P流一般为长流大报文。基于测度的算法要求事先有标准的训练集可用，即要用已按各个协议分类的报文集合来训练识别器，使其在使用的过程中根据已知的标准答案和新计算的流测度，按照某种判别算法得出当前流所属的类别，即所使用的协议。

协议识别后按照指定协议格式进行协议头部、内容等的解析。

2.针对上述经过预处理的数据包，可通过多字段识别模块识别其所含的多字段，该多字段主要包括基准字段、设备指纹字段、位置信息和时间戳等，其中：

基准字段：是流量中用来标定联网设备的主字段，可以是流量中用来寻址的字段，通过该字段可对设备的位置进行粗略估计；

设备指纹字段：包括联网设备较为固定的硬件信息、软件版本信息，如终端类型、浏览器、浏览器内核、操作系统、内部版本、设备型号、运营商、IMEI、AP名称、BSSID、设备名等；除此以外，还包括联网设备上传下载的数据信息或与其他设备、软件的联通信息等，如上传图片、查询地图及团购使用优惠券等的APP信息、上传图片的规格信息等；

3)位置信息：包括三种，第一种是流量中识别出的经纬度、笛卡尔坐标系、楼层等信息；第二种是需要查询位置库的位置信息，如流量中识别出基站信息，需要查询该基站的位置坐标，才能获得当前设备的位置信息，又如流量中识别出IP地址或MAC地址，需要根据IP地址库和MAC地址库才能获得当前设备的位置信息；第三种是流量中隐藏的位置信息，需要经过计算才能获得，如语义信息、信号强度等转换成地理坐标信息，包括通过文本和图片识别，或通过上下文信息推断，得到位置信息；通过接收若干个信号发射点的信号强度，根据传播模型、三边定位等计算位置信息。

需指出的是，上述基准字段、设备指纹字段及位置信息所包含的各项为列举出的主要项，但并不用以限制所包含的范围。

针对上述不同种类的多字段信息，其识别方法包括直接读取、查询处理和计算处理。如对于多字段信息为协议规范的已知信息，比如源宿IP、源宿端口、时间戳等可以直接获得的信息，无需处理，可直接根据已知规则进行读取。而对于如IP地址，需先查询IP地址库，查询到该IP对应的物理位置；再比如端口，需先通过查询端口对应的服务，如80对应HTTP服务。还有一类需要通过计算处理，比如通过计算网络数据包的时延推算网络拓扑信息。

3.设备表属性填充：将识别的多字段信息填充于设备表模块内的设备表中，通过设备表实现各字段信息分类及更新，该设备表的示意图如图5所示，设备表包括多个设备表项，所填充的多字段信息即为设备表的属性信息。

4.设备的归一处理：在触发统计时，提取触发统计的设备表项，需对设备进行归一处理，这是因为基准字段可能是多变字段，且设备在一段时间可能存在多个网络流，为避免基准字段可能是多变字段造成同一设备多次统计的误差存在，设计根据设备指纹信息对设备进行归一处理，去除重复统计的设备信息，更新设备表最新情况，实时更新设备状态；根据欲统计的时间段去除超时(根据需要设定时间)非活跃设备，使得统计信息更加精准。

设备通过网络互连产生大量的网络流量数据，这些网络流量数据的特征以及经过分析后的结果可以表征其设备，然而在同一时间段内，可能同一设备可能会产生大量流量数据，进而造成同一设备被重复统计；为了使最后的统计结果精确，可根据设备指纹信息将同一时间段内的设备去重，以进行归一。

归一操作可分为两步，首先是设备相似性识别，其次是根据时间戳和位置信息的准确性对相似性识别为同一设备的设备表项进行属性更新，在位置信息准确性、可靠性相似的前提下，将时间戳新的位置信息输入当前归一化后设备的位置属性中。

比如根据从网络流量中分析出的设备操作系统版本、设备型号、厂商等一些指纹信息，以及应用信息，如连接WIFI的信息、接收到的信号强度信息、应用程序类型等等，对统计时间段内的具有相似或相同设备指纹信息的设备，视作同一设备，采用关联融合的方式保留唯一设备，将其余重复统计的设备信息去除，避免设备信息重复计算，保证统计可靠性和精确性。

4.通过人流量统计模块对设备表的设备信息进行统计，根据位置信息和时间戳信息统计指定待统计区域在某一时间段的人流量信息。在统计结果输出时可加入噪声进行隐私保护，避免上网者位置信息的泄露，同时不影响整个统计结果分布的特性。

本方法无需部署采集设备，仅通过网络流量的多字段识别便可统计指定区域在某时间段内的上网人群流量信息，低成本，容易实现，具有上网者无感的特性，适合大型场馆、商场、游乐场、景区等已具有网络基础设施的场所，为这些场所提供精细化管理、应急响应和个性化服务等提供有力支撑。

在有限的空间范围和有限的时间段内，人所佩戴或使用的设备具有相似的行为和几乎不变的设备属性，充分利用这些特征以及越来越发达的通信网络和移动设备覆盖率，可以改变现有人流量统计的方法，使得人流量统计更加简便和精准。

现提供一具体实例，统计某景区实时人流量，以便对景区人流管理提供依据。

将该景区所在地的全部网络流量镜像获取，进行预处理，解析网络流量的源宿IP、源宿端口、时间戳等基本信息，并将源IP作为本例的基准字段。根据IP对应的地理坐标获得该设备的粗定位，并填写入设备表的位置属性字段。

根据已知的协议格式，识别网络流量携带的多字段信息。从HTTP协议的USERAGENT域中识别出用户终端设备的终端类型、浏览器、浏览器内核、操作系统、内部版本、设备型号等；从某些应用数据包中识别应用类型、应用版本号、坐标数据、IMEI码、手机号、附近的基站、附近的热点、信号强度等；从HTTP请求URL中的信息、HTTP请求中Referer域的信息、HTTP请求中Cookie的信息、HTTP应答中的信息等提取位置有关的语义信息，并通过算法将其转换成地理坐标。将以上可以识别的字段及其转化后的含义填入设备表中。

当系统人流统计被触发时，提取时间戳在统计范围内的设备表项，统计所关心的景区内联网设备的数量，进行查重，根据基本字段、设备指纹字段对多个数据进行相似度对比，若对比成功，则认为这些数据同源，去掉重复统计的信息，经过去重后统计设备数量，该统计结果在加入噪声后作为人流量输出。

实施例二

本实施例提供另一种基于网络流量多字段识别的人流量检测方法及系统，适用于室内或室外具有网络的场景下对携带联网设备(如手机、平板、笔记本电脑等)并上网通信的人流量统计，如图3、图4所示，本方法及系统与上述实施例的大体相同，不同之处在于：

上述实施例将识别的多字段信息直接填充于设备表中，设备表存在冗余信息(即统一设备重复统计的信息)，然后在统计时对触发统计的设备表项进行设备归一处理，其优点是设备归一处理的数据量少。

本实施例将设备归一处理放在设备表属性填充之前，先将识别的多字段信息进行提取(即属性提取)，然后进行设备归一处理，将这些多字段信息逐条进行去重，最后将去重后的信息填充于设备表中；其中，将这些待处理的多字段信息逐条与设备表中的属性信息进行比照，如果对应的设备表项中不含有则直接填入，如果对应的设备表项含有旧的信息或不精确的信息就替换更新；其优点是设备表不必存储冗余信息，占据的存储量小，在触发统计时不用再进行设备归一处理。

现提供一具体实例，统计某大型商场附近的实时人流量，以便对在该商场附近广告投放提供依据。

对该商场所在的全部网络流量镜像获取，并对其数据包进行预处理，包括IP还原、链接管理和协议识别，解析网络流量的源宿IP、源宿端口、时间戳等基本信息，并将源IP作为本例的基准字段。根据IP对应的地理坐标获得该设备的粗定位，并填写入设备表的位置属性字段。

根据已知的协议格式，识别网络流量携带的多字段信息。从HTTP协议的USERAGENT域中识别出上网人群终端设备的终端类型(手机)、浏览器(MQQBrowser 6.2)、浏览器内核(AppleWebKit 537.36)、操作系统(Android 5.0.2)、内部版本(LRX22G)、设备型号(vivoY31)等；从某些应用数据包中识别应用类型(百度地图)、应用版本号(9.5.5)、加密类型(无)、数据类型(GPS、WIFI)、HOST域(megine.baidu.com)、经纬度信息(38.678493，106.384705)等。将以上可以识别的字段及其转化后的含义填入设备表。

将百度地图APP携带的经纬度信息与根据IP地址得到的定位信息进行融合，得到该设备的坐标位置，该坐标位置信息被视为新的设备表项，在设备表中进行查重，与设备表的基本字段、设备指纹字段进行相似度匹配，若匹配成功，则认为这条设备表项是已有设备表项的更新，将这条设备表项与旧的设备表项标记为同源条目；如匹配不成功，则认为这条设备表项是一条新的设备表项。当系统人流统计被触发时，剔除时间戳不在统计范围内的设备表项，统计所关心的商场附近设备的数量，该统计量在经过差分隐私保护后作为人流量输出。

Claims (8)

1.一种基于网络流量多字段识别的人流量检测方法，步骤包括：

1)获取网络流量，对所含的数据包进行预处理，包括IP碎片重组、链接还原和协议识别；

2)识别预处理后的数据包所含的多字段信息，该多字段信息包括基准字段、设备指纹字段、位置信息和时间戳信息；

3)将多字段信息填充于设备表中；

4)通过检测设备表中的联网设备位置信息和时间戳信息来统计人流量；

根据设备指纹信息，在进行步骤3)之前对待填入设备表的多字段信息进行设备的归一处理，或者在进行步骤4)之前对待统计的设备表项进行设备的归一处理，该归一处理首先是进行设备相似性识别，其次是根据时间戳和位置信息的准确性对相似性识别为同一设备的设备表项进行属性更新，将时间戳新的位置信息输入当前归一化后设备的位置属性中；

所述位置信息包括如下三种：

第一种是流量中识别出的经纬度、笛卡尔坐标系及楼层信息；

第二种是基站位置、IP地址及MAC地址信息；

第三种是流量中隐藏的需经过计算的位置信息，包括将语义信息或信号强度转换的地理坐标。

2.根据权利要求1所述的方法，其特征在于，通过镜像技术获取待统计区域所在地的网络流量。

3.根据权利要求1所述的方法，其特征在于，协议识别方法包括基于端口识别协议、基于负载识别协议和基于测度识别协议。

4.根据权利要求1所述的方法，其特征在于，识别多字段信息的方法包括直接读取、查询处理和计算处理。

5.根据权利要求1所述的方法，其特征在于，

基准字段是指流量中用以标定设备的主字段，包括用以寻址的字段；

设备指纹字段包括：

联网设备的硬件信息与软件版本信息，具体包括终端类型、浏览器、浏览器内核、操作系统、内部版本、设备型号、运营商、IMEI、AP名称、BSSID、设备名；

联网设备上传下载的数据信息或与其他设备或软件的联通信息，具体包括进行上传图片、查询地图及团购使用优惠券的相关操作的APP信息以及上传图片的规格信息。

6.根据权利要求1所述的方法，其特征在于，设备表包括多个设备表项。

7.根据权利要求1所述的方法，其特征在于，在最后统计结果输出时加入噪声，用以保护用户位置信息。

8.一种基于网络流量多字段识别的人流量检测系统，包括：

一流量获取模块，镜像互联网流量；

一数据预处理模块，对数据包进行预处理；

一多字段识别模块，识别预处理后的数据包所含的多字段信息；

一设备表模块，将多字段信息归类存储于各设备表项；

一人流量统计模块，检测设备表指定区域及时间的联网设备信息，以进行人流量统计；

一归一处理模块，根据设备指纹信息对待填入设备表的多字段信息或待统计的设备表项进行设备的归一处理，该归一处理首先是进行设备相似性识别，其次是根据时间戳和位置信息的准确性对相似性识别为同一设备的设备表项进行属性更新，将时间戳新的位置信息输入当前归一化后设备的位置属性中；

所述位置信息包括如下三种：

第一种是流量中识别出的经纬度、笛卡尔坐标系及楼层信息；

第二种是基站位置、IP地址及MAC地址信息；

第三种是流量中隐藏的需经过计算的位置信息，包括将语义信息或信号强度转换的地理坐标。

Images