CN110969119A - 一种行为识别方法 - Google Patents

Abstract

本申请涉及一种行为识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别图像；识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。本申请提供的方案可以提高了对商场的运营数据的统计效率。

Description

一种行为识别方法

技术领域

本申请涉及计算机技术领域，特别是涉及一种行为识别方法、装置、计算机设备和存储介质。

背景技术

随着经济的快速发展和生活水平的提高，人们的消费能力也越来越高。经营者为了准确了解商场的实际运营状况，常常需要对真实而有效的运营数据，如客流量、顾客购物行为等进行分析，从而可以快速有效地为商场制定相应的销售策略。

然而，现有技术在对顾客在商场的购物行为进行识别统计的过程中，往往是在商品上添加RFID(Radio Frequency Identification，射频识别)射频标签，通过使用传感器对RFID射频标签的相位以及接收信号强度数据来识别顾客的购物行为，在商品添加RFID射频标签必然会增加成本且识别速度有限，使得在对商场运营数据进行统计时效率不高。

因此，现有技术中存在对商场运营数据进行统计时效率不高的技术问题。

发明内容

基于此，有必要针对现有技术中无法高效地识别顾客的购物行为的技术问题，提供一种能够高效地识别顾客的购物行为的一种行为识别方法、装置、计算机设备和存储介质。

一种行为识别方法，所述方法包括：

获取待识别图像；

识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

一种行为识别装置，所述装置包括：

获取模块，用于获取待识别图像；

识别模块，用于识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

确定模块，用于根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

输出模块，用于根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待识别图像；

识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待识别图像；

识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

上述行为识别方法、装置、计算机设备和存储介质，通过获取用户的待识别图像，并通过识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征；并根据第一行为特征，确定用户在入口时携带的第一装载物件特征，以及，根据第二行为特征，确定用户在出口时携带的第二装载物件特征；然后，通过对比第一装载物件特征和第二装载物件特征之间的差异，确定并输出用户行为识别结果，通过以图像识别的方式，高效且无感地实现对用户在商场中的购物行为进行识别和判断，从而提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

附图说明

图1为一个实施例中一种行为识别方法的应用环境图；

图2为一个实施例中一种行为识别方法的流程示意图；

图3为一个实施例中一种提袋识别模型的结构示意图

图4为另一个实施例中一种行为识别方法的流程示意图；

图5为一个实施例中一种行为识别方法的提袋检测逻辑示意图；

图6为一个实施例中一种行为识别装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的行为识别方法，可以应用于如图1所示的应用环境中。其中，服务器110获取待识别图像；然后，服务器110识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；然后，服务器110根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；最后，服务器110根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。实际应用中，服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种行为识别方法。本实施例主要以该方法应用于上述图1中的服务器110来举例说明。参照图2，该一种行为识别方法具体包括如下步骤：

S210，获取待识别图像。

具体实现中，当服务器110需要判断用户在商场中是否有购物行为时，服务器110首先获取针对用户的待识别图像。

其中，待识别图像可以包括用户在商场入口时的拍摄图像和用户在商场出口时的拍摄图像中的至少一种。

S220，识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征。

其中，第一行为特征可以是指用于表征用户在在入口时行为的特征。

其中，第二行为特征可以是指用于表征用户在在出口时行为的特征。

具体实现中，当服务器110获取到用户的待识别图像后，服务器110可以使用预先训练的神经网络模型对待识别图像进行特征识别，服务器110分别确定用户在商店入口时的第一行为特征，以及，服务器110确定用户在商店出口时中的第二行为特征。

S230，根据第一行为特征，确定用户在入口时携带的第一装载物件特征，以及，根据第二行为特征，确定用户在出口时携带的第二装载物件特征。

其中，装载物件可以是指用于装载物品的物件。实际应用中，装载物件可以是指购物袋、购物推车、购物拉车等。

其中，装载物件特征可以是指用于表征用户携带装载物件的特征。实际应用中，装载物件特征可以是指用户所携带的装载物件的数量特征、用户所携带的装载物件的种类特征等。

具体实现中，当服务器110获取到用户在入口时的第一行为特征，以及，用户在出口时的第二行为特征后，服务器110根据第一行为特征，确定用户在入口时携带的第一装载物件特征；同时，服务器110根据第二行为特征，确定用户在出口时携带的第二装载物件特征。

S240，根据第一装载物件特征和第二装载物件特征，输出用户行为识别结果。

具体实现中，当服务器110识别出用户的第一装载物件特征和第二装载物件特征后，服务器110可以通过比较用户在入口时的第一装载物件特征和用户在出口时的第二装载物件特征之间的差异，对用户在商场中是否有购物行为进行判断，进而输出用户行为识别结果。具体来说，当装载物件特征为用户所携带的装载物件的数量特征时，服务器110可以通过比较用户在商场入口时所携带的装载物件的数量与用户在商场入口时所携带的装载物件的数量之间的差异，对用户在商场中是否有购物行为进行判断，进而输出用户行为识别结果；当装载物件特征为用户所携带的装载物件的种类特征时，服务器110可以通过比较用户在商场入口时所携带的装载物件的种类与用户在商场入口时所携带的装载物件的种类之间的差异，对用户在商场中是否有购物行为进行判断，进而输出用户行为识别结果。

上述的一种行为识别方法，通过获取用户的待识别图像，并通过识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征；并根据第一行为特征，确定用户在入口时携带的第一装载物件特征，以及，根据第二行为特征，确定用户在出口时携带的第二装载物件特征；然后，通过对比第一装载物件特征和第二装载物件特征之间的差异，确定并输出用户行为识别结果，通过以图像识别的方式，高效且无感地实现对用户在商场中的购物行为进行识别和判断，从而提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

在另一个实施例中，第一装载物件特征包括：第一装载物件数量，第二装载物件特征包括：第二装载物件数量，根据第一装载物件特征和第二装载物件特征，输出用户行为识别结果，包括：比较第一装载物件数量与第二装载物件数量，当第二装载物件数量大于第一装载物件数量，输出用户存在交易行为。

其中，第一装载物件数量可以是指用户在入口时携带的购物袋数量。

其中，第二装载物件数量可以是指用户在出口时携带的购物袋数量。

具体实现中，服务器110在根据第一装载物件特征和第二装载物件特征，输出用户行为识别结果的过程中，具体包括：服务器110可以比较第一装载物件数量与第二装载物件数量，当第二装载物件数量大于第一装载物件数量，输出用户存在交易行为。举例来说，服务器110可以根据第一装载物件特征和第二装载物件特征，获取用户在商场入口时携带的购物袋数量即第一装载物件数量和用户在商场出口时携带的购物袋数量即第二装载物件数量，然后服务器110可以通过对用户在商场入口时携带的购物袋数量和用户在商场出口时携带的购物袋数量进行比较，当用户在商场出口时携带的购物袋数量大于用户在商场入口时携带的购物袋数量时即第二装载物件数量大于第一装载物件数量时，说明用户在商场中购买了商品，用户手中携带的购物袋数量增加，服务器110则判定用户有在商场购物进而输出用户行为识别结果为用户存在交易行为。

本实施例的技术方案，通过比较用户在入口时的第一装载物件数量与用户在出口时的第二装载物件数量，当第二装载物件数量大于第一装载物件数量，准确地输出用户存在交易行为，从而提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

在另一个实施例中，第一装载物件特征包括：第一装载物件种类，第二装载物件特征包括：第二装载物件种类，根据第一装载物件特征和第二装载物件特征，输出用户行为识别结果，包括：比较第一装载物件种类与第二装载物件种类，当第二装载物件种类与第一装载物件种类不同时，输出用户存在交易行为。

其中，第一装载物件种类可以是指用户在入口时携带的购物袋种类。

其中，第二装载物件种类可以是指用户在出口时携带的购物袋种类。

实际应用中，购物袋种类可以包括购商家种类、购物袋材质种类中的至少一种。

具体实现中，第一装载物件特征包括第一装载物件种类。同时，第二装载物件特征包括第二装载物件种类。服务器110在根据第一装载物件特征和第二装载物件特征，输出用户行为识别结果的过程中，具体包括：服务器110可以比较第一装载物件种类与第二装载物件种类，当第二装载物件种类与第一装载物件种类不同时，输出用户存在交易行为。例如，服务器110可以根据第一装载物件特征和第二装载物件特征，获取用户在商场入口时携带的购物袋种类，即第一装载物件种类，例如，用户在商场入口时携带的A商家购物袋和B商家购物袋和用户在商场出口时携带的购物袋种类，即第二装载物件种类，例如，在商场出口时携带的A商家购物袋和C商家购物袋；然后服务器110可以通过对用户在商场入口时携带的购物袋种类和用户在商场出口时携带的购物袋种类进行比较，此时用户在商场出口时携带的购物袋种类与用户在商场入口时携带的购物袋种类不同时即第二装载物件种类与第一装载物件种类不同，说明用户在商场中购买了商品，用户手中携带的购物袋种类发生了变化，服务器110则判定用户有在商场购物，进而输出用户行为识别结果为用户存在交易行为。

本实施例的技术方案，通过比较用户在入口时的第一装载物件种类与用户在出口时的第二装载物件种类，当第二装载物件种类与第一装载物件种类不同时，准确地判断出用户存在交易行为，从而提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

在另一个实施例中，识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征，包括：分别针对用户在各张待识别图像中携带的装载物件进行识别，得到各张待识别图像对应的装载物件数量；将N张第一拍摄图像对应的装载物件数量，作为第一行为特征；将M张第二拍摄图像对应的装载物件数量，作为第二行为特征。

其中，待识别图像包括N张用户在入口时的第一拍摄图像和M张用户在出口时的第二拍摄图像，N为大于或等于2的正整数，M为大于或等于2的正整数。

具体实现中，服务器110在识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征的过程中，服务器110具体分别针对用户在各张待识别图像中携带的装载物件进行识别，得到各张待识别图像对应的装载物件数量；具体地，服务器110可以分别待识别图像输入至预先训练的神经网络模型中，并根据预先训练的神经网络模型的输出结果，确定各张待识别图像对应的装载物件数量。然后，服务器110将N张第一拍摄图像对应的装载物件数量，作为第一行为特征；将M张第二拍摄图像对应的装载物件数量，作为第二行为特征。

本实施例的技术方案，通过分别针对用户在各张待识别图像中携带的装载物件进行识别，得到各张待识别图像对应的装载物件数量；并将N张第一拍摄图像对应的装载物件数量，作为第一行为特征；将M张第二拍摄图像对应的装载物件数量，作为第二行为特征，通过多张待识别图片，提高行为特征的特征量，从而便于后续准确地确定用户在卖场的购物行为，提高了识别顾客的购物行为的识别效率，从而提高了对商场的运营数据的统计效率。

在另一个实施例中，分别针对用户在各张待识别图像中携带的装载物件进行识别，得到各张待识别图像对应的装载物件数量，包括：分别将各张待识别图像输入至识别模型；根据识别模型对各张待识别图像卷积特征提取和不同倍数下进行采样的结果，得到各张待识别图像对应的装载物件数量。

其中，识别模型可以是指用于对待识别图像中用户所携带的装载物件数量进行识别的神经网络模型。

实际应用中，识别模型可以是经过预先训练的卷积神经网络。

具体实现中，服务器110在分别针对用户在各张待识别图像中携带的装载物件进行识别，得到各张待识别图像对应的装载物件数量的过程中，服务器110分别将各张待识别图像输入至识别模型；服务器110根据识别模型对各张待识别图像卷积特征提取和不同倍数下进行采样的结果，得到各张待识别图像对应的装载物件数量。

需要说明的是，识别模型还可以对用户所携带的装载物件的类型进行识别，装载物件的类型可以但不限于是塑料袋、帆布袋和纸袋等。

举例来说，为了便于本领域技术人员的理解，图3提供了一种提袋识别模型的结构示意图；如图3所示，首先，可以将待识别图片的尺寸进行调整，以实现对网络模型进行压缩，在提高网络模型预测准确率同时，有效加快网络预测速度。实际应用中，可以将待识别图片的尺寸调整为224*416，然后，将经过尺寸调整后的待识别图片350输入至提袋识别模型，作为提袋识别模型的输入参数；通过提袋识别模型，对经过尺寸调整后的待识别图片350进行图像卷积特征提取，得到图像卷积特征；然后，分别对图像卷积特征进行32倍下采样，得到尺寸为13*7的第一下采样特征310；对图像卷积特征进行16倍下采样，得到尺寸为13*26的第二下采样特征320；对图像卷积特征进行8倍下采样，得到尺寸为26*52的第三下采样特征330；同时，还可以对第一下采样特征310进行2倍上采样，得到上述的第二下采样特征320，对第二下采样特征320进行2倍上采样，得到上述的第三下采样特征330。然后，将第一下采样特征310、第二下采样特征320、第三下采样特征330作为不同尺度的检测基准框，对待识别图片进行识别，检测出待识别图片中不同大小的购物袋。最后，提袋识别模型对对待识别图片进行识别后，输出针对待识别图片的预测结果340，其中，预测结果340包括购物袋在待识别图片中的坐标值，购物袋预测结果的置信度和该购物袋的类别预测值。

其中，购物袋在待识别图片中的坐标值可以表示为(x1,x2,y1,y2)；第一坐标(x1,y1,)可以表示购物袋的左上角坐标和第二坐标(x2,y2)可以表示购物袋的右下角坐标。购物袋的类别预测值可以用于表征购物袋类型的标签，实际应用中，当购物袋的类别预测值为1时，可以表征购物袋类型为纸袋，当购物袋的类别预测值为2时，可以表征购物袋类型塑料袋，当购物袋的类别预测值为3时，可以表征购物袋类型为帆布袋三类。

需要说明的是，可以对于每一类别的购物袋，本领域技术人员可以设置对应的判定阈值，当提袋识别模型输出的购物袋预测结果的置信度大于该判定阈值时，则判定待识别图片中存在购物袋。实际应用中，可以将判定阈值设置为0.3。

本实施例的技术方案，通过分别将各张待识别图像输入至识别模型；根据识别模型对各张待识别图像卷积特征提取和不同倍数下进行采样的结果，可以快速且准确地得到各张待识别图像对应的装载物件数量，进而在后续可以更为高效地确定用户在卖场的购物行为，提高了识别顾客的购物行为的识别效率，从而提高了对商场的运营数据的统计效率。

在另一个实施例中，根据第一行为特征，确定用户在入口时携带的第一装载物件特征，包括：对N张第一拍摄图像对应的装载物件数量进行排序，得到排序后的各张第一拍摄图像；从排序后的各张第一拍摄图像中按序选取X张第一拍摄图像，X为小于或等于N的正整数；计算X张第一拍摄图像对应的装载物件数量的平均值，作为第一装载物件特征；

具体实现中，服务器110根据第一行为特征，确定用户在入口时携带的第一装载物件特征，具体包括：服务器110按照各张第一拍摄图像对应的装载物件数量，对N张第一拍摄图像对应的装载物件数量进行排序，得到排序后的各张第一拍摄图像；具体地，服务器110可以将按照装载物件数量从大到小的排序方式，对各张第一拍摄图像进行排序，得到排序后的各张第一拍摄图像；然后，服务器110按照预设的第一抽取比值，从排序后的各张第一拍摄图像中按序选取X张第一拍摄图像，X为小于或等于N的正整数；例如，当第一抽取比值为P1时，服务器110可以在排序后的各张第一拍摄图像中，将第一张到第round(N*P1)＝X张的第一拍摄图像进行抽取，作为X张第一目标图像；其中，X为小于或等于N的正整数；round()为四舍五入函数；然后，服务器110计算X张第一拍摄图像对应的装载物件数量的平均值，得到第一提袋数量均值记为N1；最后，服务器110将第一提袋数量均值N1，作为第一装载物件特征。实际应用中，P1可以等于0.45，N可以等于10，X可以等于5。

根据第二行为特征，确定用户在出口时携带的第二装载物件特征，包括：对M张第二拍摄图像对应的装载物件数量进行排序，得到排序后的各张第二拍摄图像；从排序后的各张第二拍摄图像中按序选取Y张第一拍摄图像，Y为小于或等于M的正整数；计算Y张第二拍摄图像对应的装载物件数量的平均值，作为第二装载物件特征。

具体实现中，服务器110根据第二行为特征，确定用户在出口时携带的第二装载物件特征，具体包括：服务器110按照M张第二拍摄图像对应的装载物件数量，对M张第二拍摄图像对应的装载物件数量进行排序，得到排序后的各张第二拍摄图像；具体地，服务器110可以将按照提袋数量从大到小的排序方式，对各张第二拍摄图像进行排序，得到排序后的各张第二拍摄图像；然后，服务器110按照预设的第二抽取比值，从排序后的各张第二拍摄图像中按序选取Y张第一拍摄图像，Y为小于或等于M的正整数；例如，当第二抽取比值为P2时，服务器110可以在排序后的各张第二拍摄图像中，将第一张到第round(M*P2)＝Y张的第二拍摄图像进行抽取，作为Y张第二目标图像；其中，round()为四舍五入函数；然后，服务器110计算Y张第二拍摄图像对应的装载物件数量的平均值，得到第二提袋数量均值记为N2；最后，服务器110将第二提袋数量均值N2，作为第二装载物件特征。实际应用中，P2可以等于0.8，M可以等于10，Y可以等于8。

本实施例的技术方案，可以实现对用户在入口时的连续行为和对用户在出口时的连续行为图片进行识别，并对上述连续行为图片对应的装载物件数量进行取平均，准确地判断出用户的第一装载物件数量与第二装载物件数量，从而便于后续对用户的购物行为进行准确识别，提高了识别顾客的购物行为的识别效率，从而提高了对商场的运营数据的统计效率。

在另一个实施例中，其特征在于，方法还包括，根据用户在入口时的时间顺序，获取N张用户在入口时的第一拍摄图像；根据用户在出口时的时间顺序，获取M张用户在出口时的第二拍摄图像；将N张第一拍摄图像与M张第二拍摄图像作为待识别图像。

具体实现中，服务器110根据用户在入口时的时间顺序，获取N张用户在入口时的第一拍摄图像；根据用户在出口时的时间顺序，获取M张用户在出口时的第二拍摄图像。举例来说，服务器110可以获取商场入口的第一视频图像和商场出口的第二视频图像，然后，服务器110在第一视频图像中的多个视频帧中按时间顺序排序，具体地，可以按时间截从大到小对多个视频帧进行排序，抽取前N个视频帧作为N张用户在入口时的第一拍摄图像。同时，服务器110在第二视频图像中的多个视频帧中按时间顺序排序，具体地，可以按时间截从小到大对多个视频帧进行排序，抽取前M个视频帧作为M张用户在出口时的第二拍摄图像。最后，服务器110将N张第一拍摄图像与M张第二拍摄图像作为待识别图像。

需要说明的是，N可以等于M。

本实施例的技术方案，通过根据用户在入口时的时间顺序，获取N张用户在入口时的第一拍摄图像；根据用户在出口时的时间顺序，获取M张用户在出口时的第二拍摄图像；将N张第一拍摄图像与M张第二拍摄图像作为待识别图像，从而可以使待识别图像可以准确地记录下用户在入口和出口的行为特征，从而便于后续准确地识别出用户的第一装载物件特征和第二装载物件特征，进而输出准确的用户行为识别结果，提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

在另一个实施例中，方法还包括：获取初始图像；对初始图像进行去冗余处理，得到去冗余图像；将去冗余图像，作为待识别图像。

其中，初始图像可以是指未经过处理的图像。

其中，去冗余处理可以是指去除与检测目标的图像信息的处理过程。

具体实现中，服务器110首先可以在初始图像中将用户的人体图片裁剪出来，作为待处理图像。然后，服务器110可以在待处理图像中将待处理图像的下半部分图像裁剪出来，作为去冗余图像。实际应用中，服务器110可以根据待处理图像的图片长度的2/3将待处理图像的下半部分图像裁剪出来，减少冗余得到去冗余图像。最后，服务器110将上述的去冗余图像作为用户的待识别图像。如此，可以减少待识别图像的冗余信息，提高模型识别的准确率。

本实施例的技术方案，通过针对用户对初始图像进行去冗余处理，得到用户的待识别图像；可以减少待识别图像的冗余信息，避免容易受到周边环境所产生的背景颜色的干扰，从而提高识别模型的识别准确率和识别效率，进而在后续可以更为高效地确定用户在卖场的购物行为，提高了识别顾客的购物行为的识别效率，从而提高了对商场的运营数据的统计效率。

在另一个实施例中，如图4所示，提供了一种行为识别方法。该一种行为识别方法具体包括如下步骤：

S410，获取初始图像。

S420，对所述初始图像进行去冗余处理，得到去冗余图像。

S430，将所述去冗余图像，作为待识别图像。

S440，识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征。

S450，根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；所述第一装载物件特征包括：第一装载物件数量；所述第二装载物件特征包括：第二装载物件数量。

S460，比较所述第一装载物件数量与第二装载物件数量，当所述第二装载物件数量大于所述第一装载物件数量，输出所述用户存在交易行为。

上述步骤的具体限定可以参见上文中对于一种行为识别方法的限定，在此不再赘述。

本实施例的技术方案，可以实现准确且无感地确定用户在商场的购物行为，提高了识别顾客的购物行为的识别效率。

应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了便于本领域技术人员的理解，图5提供了一种行为识别方法的提袋检测逻辑示意图；其中，当trace为进店时，按时间截从大到小进行排序，取前T张图片；当trace为出店时，按时间截从小到大进行排序，取前T张图片；然后，通过提袋识别模型，得到T张图片对应的塑料袋、帆布袋和纸袋的个数，确定每张图片的袋子总个数，存入名称为L的列表中；然后；根据每张图片对应的袋子总个数按照从大到小进行排序，即sort(L)；然后，在sort(L)中抽取第0张到第round(T*P)张图片，求袋子个数的平均值，记为n；即n＝mean[list[0:round(T*P)]]；最后，将round(n)作为该trace对应的顾客提袋的个数。

需要说明的是，T可以是指在每个trace中的图片张数；实际应用中，T可以等于10。

P可以是指参见投票的图片比例即投票参数，当trace为进店时，P可以为pi；当trace为出店时，P可以为po；实际应用中，pi可以等于0.45；po可以等于0.8。其中，round()为四舍五入函数，sort()为排序函数，mean()为取平均函数，list[0,n]为第0张图片到第n张图片的列表。

在一个实施例中，如图6所示，提供了一种行为识别装置，包括：

获取模块610，用于获取待识别图像；

识别模块620，用于识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

确定模块630，用于根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

输出模块640，用于根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

上述一种行为识别装置中，通过获取用户的待识别图像，并通过识别待识别图像，确定用户在入口时的第一行为特征，以及，确定用户在出口时的第二行为特征；并根据第一行为特征，确定用户在入口时携带的第一装载物件特征，以及，根据第二行为特征，确定用户在出口时携带的第二装载物件特征；然后，通过对比第一装载物件特征和第二装载物件特征之间的差异，确定并输出用户行为识别结果，通过以图像识别的方式，高效且无感地实现对用户在商场中的购物行为进行识别和判断，从而提高了对顾客的购物行为的识别效率，进而提高了对商场的运营数据的统计效率。

在其中一个实施例中，所述第一装载物件特征包括：第一装载物件数量，所述第二装载物件特征包括：第二装载物件数量，上述的输出模块640，包括：第一比较子模块，用于比较所述第一装载物件数量与第二装载物件数量，当所述第二装载物件数量大于所述第一装载物件数量，输出所述用户存在交易行为。

在其中一个实施例中，所述第一装载物件特征包括：第一装载物件种类，所述第二装载物件特征包括：第二装载物件种类，上述的输出模块640，包括：第一比较子模块，用于比较所述第一装载物件种类与第二装载物件种类，当所述第二装载物件种类与所述第一装载物件种类不同时，输出所述用户存在交易行为。

在其中一个实施例中，所述待识别图像包括N张所述用户在入口时的第一拍摄图像和M张所述用户在出口时的第二拍摄图像，所述N为大于或等于2的正整数，所述M为大于或等于2的正整数；上述的识别模块620，包括：识别子模块，用于分别针对所述用户在各张待识别图像中携带的装载物件进行识别，得到所述各张待识别图像对应的装载物件数量；第一确定子模块，用于将N张所述第一拍摄图像对应的装载物件数量，作为所述第一行为特征；第二确定子模块，用于将M张所述第二拍摄图像对应的装载物件数量，作为所述第二行为特征。

在其中一个实施例中，上述的识别子模块，还用于分别将所述各张待识别图像输入至识别模型；根据所述识别模型对所述各张待识别图像卷积特征提取和不同倍数下进行采样的结果，得到所述各张待识别图像对应的装载物件数量。

在其中一个实施例中，上述的第一确定子模块，还用于对N张所述第一拍摄图像对应的装载物件数量进行排序，得到排序后的各张第一拍摄图像；从排序后的各张第一拍摄图像中按序选取X张第一拍摄图像，所述X为小于或等于所述N的正整数；计算所述X张第一拍摄图像对应的装载物件数量的平均值，作为所述第一装载物件特征；

上述的第一确定子模块，还用于对M张所述第二拍摄图像对应的装载物件数量进行排序，得到排序后的各张第二拍摄图像；从排序后的各张第二拍摄图像中按序选取Y张第一拍摄图像，所述Y为小于或等于所述M的正整数；计算所述Y张第二拍摄图像对应的装载物件数量的平均值，作为所述第二装载物件特征。

在其中的一个实施例中，上述的行为识别装置还包括：第一获取模块，用于根据用户在入口时的时间顺序，获取N张所述用户在入口时的第一拍摄图像；第二获取模块，用于根据用户在出口时的时间顺序，获取M张所述用户在出口时的第二拍摄图像；图像确定模块，用于将N张所述第一拍摄图像与M张所述第二拍摄图像作为所述待识别图像。

在其中的一个实施例中，上述的一种行为识别装置，还包括：图像获取模块，用于获取初始图像；去冗余模块，用于对所述初始图像进行去冗余处理，得到去冗余图像；图像确定模块，用于将所述去冗余图像，作为所述待识别图像。

关于一种行为识别装置的具体限定可以参见上文中对于一种行为识别方法的限定，在此不再赘述。上述一种行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器110。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现一种行为识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种行为识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的一种行为识别装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该一种行为识别装置的各个程序模块，比如，图6所示的获取模块610、识别模块620、确定模块630和输出模块640。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的一种行为识别方法中的步骤。

例如，图7所示的计算机设备可以通过如图6所示的一种行为识别装置中的获取模块610执行获取用户的待识别图像。计算机设备可通过识别模块620执行识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征。计算机设备可通过确定模块630执行根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征。计算机设备可通过输出模块640执行根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种行为识别方法的步骤。此处一种行为识别方法的步骤可以是上述各个实施例的一种行为识别方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种行为识别方法的步骤。此处一种行为识别方法的步骤可以是上述各个实施例的一种行为识别方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行为识别方法，其特征在于，所述方法包括：

获取待识别图像；

识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述第一装载物件特征包括：第一装载物件数量，所述第二装载物件特征包括：第二装载物件数量，根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果，包括：

比较所述第一装载物件数量与第二装载物件数量，当所述第二装载物件数量大于所述第一装载物件数量，输出所述用户存在交易行为。

3.根据权利要求1所述的方法，其特征在于，所述第一装载物件特征包括：第一装载物件种类，所述第二装载物件特征包括：第二装载物件种类，根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果，包括：

比较所述第一装载物件种类与第二装载物件种类，当所述第二装载物件种类与所述第一装载物件种类不同时，输出所述用户存在交易行为。

4.根据权利要求1-3任一所述的方法，其特征在于，所述待识别图像包括N张所述用户在入口时的第一拍摄图像和M张所述用户在出口时的第二拍摄图像，所述N为大于或等于2的正整数，所述M为大于或等于2的正整数；

所述识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征，包括：

分别针对所述用户在各张待识别图像中携带的装载物件进行识别，得到所述各张待识别图像对应的装载物件数量；

将N张所述第一拍摄图像对应的装载物件数量，作为所述第一行为特征；

将M张所述第二拍摄图像对应的装载物件数量，作为所述第二行为特征。

5.根据权利要求4所述的方法，其特征在于，所述分别针对所述用户在各张待识别图像中携带的装载物件进行识别，得到所述各张待识别图像对应的装载物件数量，包括：

分别将所述各张待识别图像输入至识别模型；

根据所述识别模型对所述各张待识别图像卷积特征提取和不同倍数下进行采样的结果，得到所述各张待识别图像对应的装载物件数量。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，包括：

对N张所述第一拍摄图像对应的装载物件数量进行排序，得到排序后的各张第一拍摄图像；

从排序后的各张第一拍摄图像中按序选取X张第一拍摄图像，所述X为小于或等于所述N的正整数；

计算所述X张第一拍摄图像对应的装载物件数量的平均值，作为所述第一装载物件特征；

所述根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征，包括：

对M张所述第二拍摄图像对应的装载物件数量进行排序，得到排序后的各张第二拍摄图像；

从排序后的各张第二拍摄图像中按序选取Y张第一拍摄图像，所述Y为小于或等于所述M的正整数；

计算所述Y张第二拍摄图像对应的装载物件数量的平均值，作为所述第二装载物件特征。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法还包括，

根据用户在入口时的时间顺序，获取N张所述用户在入口时的第一拍摄图像；

根据用户在出口时的时间顺序，获取M张所述用户在出口时的第二拍摄图像；

将N张所述第一拍摄图像与M张所述第二拍摄图像作为所述待识别图像。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述方法还包括，

获取初始图像；

对所述初始图像进行去冗余处理，得到去冗余图像；

将所述去冗余图像，作为所述待识别图像。

9.一种行为识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别图像；

识别模块，用于识别所述待识别图像，确定用户在入口时的第一行为特征，以及，确定所述用户在出口时的第二行为特征；

确定模块，用于根据所述第一行为特征，确定所述用户在入口时携带的第一装载物件特征，以及，根据所述第二行为特征，确定所述用户在出口时携带的第二装载物件特征；

输出模块，用于根据所述第一装载物件特征和所述第二装载物件特征，输出所述用户行为识别结果。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

Images