CN112930292A - 使用计算机视觉和机器学习的购物篮监控 - Google Patents

Abstract

一种用于监视购物篮(例如，人力推进的推车、机动化推车上的篮或手提篮)的系统能够包括计算机视觉单元，该计算机视觉单元能够对监视区域(例如，商店的出口)成像，确定篮是空的还是装载有商品，并评估商品被盗的可能性。计算机视觉单元能够包括摄像头和被编程为执行计算机视觉算法以识别购物篮和确定篮的装载状态的图像处理器。计算机视觉算法可以包括神经网络。该系统能够识别正在离开商店的至少部分装载的购物篮，而没有已经为商品付款的标记，并且执行防盗动作，例如，启动警报、通知商店人员、激活商店监视系统、激活与篮相关联的防盗装置(例如，锁定购物推车车轮)等。

Description

使用计算机视觉和机器学习的购物篮监控

相关申请的交叉引用

本申请主张2018年09月07日提交的名称为“SHOPPING BASKET MONITORING USINGCOMPUTER VISION AND MACHINE LEARNING(使用计算机视觉和机器学习的购物篮监控)”的美国专利申请No.62/728,583的优先权的权益，在此通过引用将其全部内容并入本文。

背景技术

技术领域

本公开总体上涉及使用计算机视觉和机器学习技术来跟踪可移动购物篮，包括但不限于机动化的和非机动化的(例如，人力推动的)购物推车和手持式购物篮的运动和状态的系统和方法。

背景技术

存在用于阻止盗窃购物推车的围护系统。典型地，这些系统包括埋置于商店停车场的人行道中以定义允许使用购物推车的区域的外边界的电线。当购物推车被推到这个电线上时，其中一个车轮中的或附近的传感器会检测到经由电线产生的电磁信号，从而激活车轮中的制动机构以锁定或禁止车轮旋转。为了解锁车轮，服务员通常使用手持遥控器向车轮发送解锁信号。一些这样的围护系统存在挑战。

发明内容

用于监视购物篮(例如，人力推进的推车、机动化购物推车或机动性推车上的篮子、或手提篮)的系统能够包括计算机视觉单元，该计算机视觉单元能够对监视区域(例如，商店的出口)成像，确定篮是空的还是装载有商品，并且评估商品被盗的可能性。计算机视觉单元能够包括摄像头和(可选地)图像处理器，该图像处理器被编程为执行计算机视觉算法以识别图像中的购物篮和确定篮的装载状态。装载状态能够包括例如语义类标记(例如，满，部分满，空)，指示篮中的商品数量的估计的数值(例如，从1到5的范围，其中1是为空且5为满)，评分(可以加权商品的数量和商品的价值)等。在一些实现中，图像处理器能够与计算机视觉单元分开布置。

计算机视觉算法可以包括神经网络。该系统能够识别正在离开商店的购物篮，确定装载状态(例如，至少部分装载)，确定不存在顾客已经为商品付款的标记，并且执行防盗动作，例如，启动声音或视觉警报，通知商店人员，激活商店监视系统，激活与篮相关联的防盗装置(例如，锁定购物推车车轮)等。

本文中公开的系统和方法能够被应用于各种应用中，包括但不限于零售商店(例如，超级市场或大型零售卖场)。这样的系统和方法能够被应用于在室内和室外环境中以及在例如零售环境、运输(例如，机场，火车，地铁，公共汽车站)环境、医疗(例如，医院或诊所)环境或仓库环境中跟踪篮或推车。这样的系统和方法能够被用于可能希望识别购物车、手推车、篮等是否至少部分地装载有物品或物体的应用中。

本说明书中所描述的主题的一种或多种实现的细节在下面的附图和描述中进行了陈述。通过说明书、附图和权利要求，其他的特征、方面和优点将变得显而易见。本发明内容和以下详细描述都不旨在限定或限制本发明主题的范围。

附图简要说明

图1A和图1B示意性地示出了推车围护系统的示例运行。在图1A中，装满商品的购物推车正试图离开商店，并且执行了防盗动作以防止商品被盗(例如，购物推车的车轮被锁定或激活了警报)。在图1B中，推车是空的，并且未采取防盗动作。

图1C示出了各种类型的防盗系统部件，其可以被部署在商店内和商店周围，以跟踪可移动的购物篮，例如机动和非机动(例如，人力推动的)购物推车、手持购物篮和机动化的机动性推车。可以使用计算机视觉单元(CVU)或摄像头收发器单元(CTU)对可移动的购物篮成像，例如，确定它们是否空的或至少部分装载有商品。

图2A示出了具有导航系统和一个或多个智能轮的购物推车的示例。

图2B示出了具有被安装在购物推车的手柄上的智能定位系统的购物推车的示例。在此图中，推车的儿童座椅处于打开位置(有时称为儿童座椅向下)。

图3示出了用于购物篮的围护系统的示例的部件。

图4A示意性地示出了一种防盗系统，其使用计算机视觉技术来识别购物篮是否至少部分地装载有商品并且在离开商店。能够将购物篮附接到人力推动的购物推车、机动化的机动性推车上，或者能够由购物者手提购物篮。

图4B示意性地示出了防盗系统的另一种实现。

图5示意性地示出了被定位以便确定购物篮的位置的计算机视觉单元的摄像头的侧视图(左侧)和平面图(右侧)。

图6A、图6B和图6C示意性地示出了在零售商店的入口/出口附近的计算机视觉单元(CVU)和次要摄像头的放置和方向的示例。CVU和次要摄像头的数量和布置以及它们各自视场(FOV，以虚线或点划线表示)的形状和大小旨在进行说明而非限制。在其他实现中，布局可以不同以满足零售设施的安全目标。

图7示意性地示出了在零售商店的入口/出口附近的购物篮所采取的路径的示例。空篮显示没有阴影线，至少部分装载的篮显示有阴影线。购物篮(在此示例中为购物推车)所采取的路径上的符号指示有推出盗窃的可能性。

图8示意性地示出了用于训练机器学习(ML)模型的处理流水线的示例。

图9示意性地示出了用于分析从防盗系统获得的图像的处理流水线的示例。

图10示意性地示出了用于实时事件检测或来自防盗系统的直播流的处理流水线的示例。

图11示意性地示出了用于来自防盗系统的图像数据的商业智能(BI)分析的流水线的示例。

图12示意性地示出了CVU中的处理流水线的示例。

在整个附图中，附图标记可以被重复使用以指示参考元素之间的对应关系。附图被提供来说明本文中所描述的实现的示例，并且不旨在限制本公开的范围。

具体实施方式

综述

尽管现有的推车围护系统可用于阻止购物推车被盗，但某些此类系统可能无法检测其他类型的购物相关误用。例如，小偷可能将至少部分装载有杂货或商品的购物推车推出商店，而没有支付杂货或商品的费用(这种盗窃有时称为“推出”盗窃)。推车围护系统可能没有能力(或只有有限的能力)来确定从商店推出的购物推车是空的(在这种情况下没有商品盗窃的威胁或只有有限的盗窃威胁)或装载有商品(在这种情况下，可能存在商品盗窃的重大威胁)。如果每次推车离开商店(装载或未被装载)时都触发推车围护系统，则可能导致许多虚警，因为即使空的推车离开商店，系统也会被触发。

可以通过在尝试离开商店之前确定购物推车是否经过活跃的商店结帐通道来减少虚警。如果是这样，则购物者很可能购买了商品，并且推车围护系统可以被配置为在这种情况下不触发。如果推车未通过活跃的商店结帐通道(或在通道中出现的时间不足以实际付款)，则推车围护系统可以被配置为在离开时触发。但是，即使在这种情况下，由于购物者出于某种非盗窃的原因可能将空的购物推车推回商店外(例如，选择其他推车(例如，车轮颤振较小的推车)，返回停放的汽车以取回杂货袋或购物清单等)，仍然可能导致虚警。检测推车通过活跃的收银台的围护系统可能需要在每个结账通道中的特定硬件装置，以检测推车在结账通道中的通过、路径、速度、行进距离、驻留时间等。这样的硬件会增加这些装置的费用。此外，这种方法对于实现了移动支付系统的零售商店可能有很大的局限性，在这种情况下，购物者不需要通过固定的结帐通道来付款，而是可以使用移动应用程序(例如，在购物者的智能手机上)支付商品。

虽然往往能够使用电子商品监视(EAS)系统(例如，在商店出口处包括EAS塔)检测商品盗窃，但是将EAS标签附加到商品上的成本和负担往往是不切实际的(特别是在杂货店的情况下)。

零售商店可能希望识别正在接近出口的购物推车是否至少部分地装载有来自商店的物品(例如，杂货，保健产品，酒等)，如果是，则推车是否先前已经通过结帐通道或购物者已经通过移动支付方式进行了付款。推车围护系统能够使用商店中安装的摄像头对购物推车篮成像，并且能够使用计算机视觉和机器学习技术来分析图像，以确定例如推车篮是否为空(例如，盗窃情况的威胁较低)或至少部分装载有商品(例如，盗窃情况的威胁较高)。图像能够是静止图像，也能够是视频中的一帧或多帧。

如果系统检测到至少部分装载的推车正试图离开商店而没有已经为物品付款的任何标记，则能够触发推车围护系统以执行防盗动作(例如，制动或锁定推车的车轮以禁止其移动，向购物者显示警报或消息以返回商店，激活商店视频监视系统或警报，通知商店保安人员等)。

图1A和图1B示意性地示出了推车围护系统的示例运行。图1A和图1B中所示的特征将在下面进一步描述(参见例如图1C，图4A和图4B)。在图1A中，计算机视觉单元(CVU)或推车收发器单元(CTU)包括能够对商店出口附近的商店区域成像的摄像头410。商店的区域在摄像头410的视场(FOV)内。CVU或CTU可以执行(或与另一个系统通信以执行)来自摄像头410的图像的计算机视觉分析。计算机视觉分析能够确定推车的装载状态，例如，购物推车是否为空，是否至少部分装载有商品，是否装满商品等。CVU或CTU能够与控制推车围护系统的防盗功能的门管理器450通信。一个门管理器450的示例是可从Gatekeeper Systems,Inc.(Foothill Ranch，CA)获得的

预防推出系统，和例如在美国专利No.8,463,540，No.9,731,744和No.10,232,869中所描述的；对于其公开的全部内容，通过引用将其全部内容合并于本文中。在美国专利No.5,881,846或No.7,420,461中描述了门管理器和防盗系统的其他示例；对于其公开的全部内容，通过引用将其全部内容合并于本文中。

如图1A所示，如果至少部分装载有商品的推车正在接近商店出口而没有已经为商品付款的标记，则CVU或CTU可以向门管理器450传达激活防盗功能的信号(例如，锁定或制动推车车轮中的一个车轮，发出警报，激活商店监视系统等)。相反，如图1B所示，如果购物推车基本上没有商品，那么盗窃的风险就很小，并且CVU或CTU可以不采取任何措施或向门禁管理器450传达不采取防盗动作的信号。

因此，图1A和图1B的示例推车围护系统能够在减少或防止由于某种原因将空推车从商店推出的虚警(例如，将推车换成另一个推车，返回购物者的车以取回购物袋或购物清单等)的同时，有利地减少或防止商品从商店失窃。

在一些实现中，不使用单独的门管理器450，并且CVU将防盗信号传送到购物篮、购物推车或商店监视系统。

尽管许多购物者在零售商店中使用购物推车，但是本文中所描述的计算机视觉技术不限于购物推车，并且能够应用于任何可移动的购物篮，包括人力推进的购物推车、具有篮的机动化的机动性推车或由购物者携带的手持式购物篮。而且，这些计算机视觉技术不限于零售应用，并且可以被应用于确定其他类型的推车是否装有物品、物体或商品，例如仓库、工业或实用推车，行李推车，医疗、医院或药房推车，轮椅，儿童推车或医院病床等。

下面描述各种示例和实现。这些示例和实现旨在说明本公开的范围，而并非旨在进行限制。

示例零售商店场景

图1C示出了防盗系统400的示例。所示的防盗系统被部署在商店中，以跟踪或控制购物推车30的移动和防止推车中的商品被盗。然而，防盗系统的发明性部件和方法可以用于其他应用，例如跟踪机场中的行李推车或仓库中的推车。

该系统包括与一组无线接入点(AP)双向通信以建立与购物推车30的双向射频(RF)通信链接的一组推车收发器(CT)。在一个示例中，每个推车收发器(CT)被完全包含在各购物推车30的标准尺寸(例如，5英寸直径)的车轮32(通常是前轮)中的一个车轮内，与能够被推车收发器制动的制动单元一起来锁定车轮。在美国专利No.6,362,728，美国专利No.8,820,447或美国专利No.8,602,176或美国专利No.8,973,716中描述了可以被用于这个目的的制动单元的示例；在此通过引用将其每一个的全部内容并入本文中。(出于详细说明的目的，术语“推车收发器”统指推车的RF收发器和相关联的传感器电路)。可替换地，可以使用渐进式或部分制动单元，该制动单元另外地能够在不将车轮置于锁定状态的情况下禁止车轮的旋转。

推车收发器(CT)的一些电路可以可替换地被提供在购物推车30上的其他地方。例如，如下文所述，一些收发器电路可以可替换地被包括在附接至购物推车的手柄或推车的前部的显示单元中。再举一个示例，包括传感器电路在内的部分或全部电路可以被封装在车轮组件中(例如，车轮的万向轮或叉)，而不是被包括在车轮本身或推车的手把或车架中。CT能够被包括在机动化的机动性推车的车架或主体中。CT不限于在推车上使用，还能够被连接到手持购物篮(例如，在购物篮的侧面或底部或在手柄中)。

接入点(AP)通常负责与推车收发器(CT)通信，以检索和生成推车状态信息，包括指示或反映推车位置的信息。可以检索和监视的推车状态信息的类型包括，例如，车轮32是否处于锁定状态与解锁状态，推车是否在移动；车轮的平均转速(可以使用车轮32中的旋转传感器感应到)；推车是否检测到特定类型的位置相关的信号，例如VLF、EAS或磁信号(如下所述)；车轮32是否打滑；CT的电池电量和一般的车轮“健康状况”；以及自某个参考时间以来，推车所经历的锁定/解锁周期数。在一些示例中，推车可以包括能够确定其购物篮是否至少部分装载(例如，通过分析推车的振动数据)的传感器，并且CT可以传达装载状态(例如，空，部分装载，满载)到AP。(与购物推车的其他车轮相反，术语“车轮32”在本文中特别地用于指包括本文所述电子设备的车轮。)接入点(AP)还能够生成和/或中继命令到推车收发器(CT)，包括发送到特定购物推车的锁定和解锁命令(或其他类型的防盗命令)。

在图1C所示的示例中，所有接入点(AP)直接或经由中间接入点与中央控制单元(CCU)无线通信。中央控制单元可以被实现为包括无线收发器卡或有线连接到外部收发器单元的台式计算机或硬件服务器。CCU通常地负责收集、存储和分析由接入点(AP)收集的推车状态信息，包括位置信息。除了从推车收发器(CT)检索到的数据外，CCU还可以收集由接入点生成的数据，例如所检测到的推车传输的信号强度测量。收集的数据中的一些或全部优选地与相关联的事件时间戳一起由CCU存储。

图1C中所示的系统能够包括一个或多个计算机视觉单元(CVU)，例如，参照图4A和图4B描述的CVU 1000。CVU可以包括摄像头(静物摄像头或视频摄像头)、图像处理器以及被配置为与AP或CCU或CT通信的收发器。如下进一步描述的，CVU(单独或与CCU或AP结合使用)能够分析购物篮的图像(由摄像头拍摄)以确定购物篮的装载状态，例如，空、部分装载或满载。CVU能够被放置在商店入口/出口附近(例如，对进入或外出的购物篮成像)、结账台34附近(例如，对在结账通道中的购物篮进行成像)或零售商店的其他区域附近(例如，在存放高价值物品的区域中)。在一些示例中，CVU 1000包括摄像头收发器单元(CTU)，其可以包括少于CVU的所有部件的子集。例如，CTU可以包括摄像头和RF收发器(或有线以太网连接)，而不包括图像处理器。一种装置可以包含任意数量的CVU或CTU。在一些实现中，CTU的使用更具成本效益(因为每个单元不包括图像处理器)，并且图像处理功能被卸载到CCU(或主CVU)。是否使用CVU或CTU的选择以及CVU或CTU的相应布置的选择将取决于任何特定零售商店中装置的细节(例如，出口或入口的位置或数量，结帐通道的位置或数量，商店内部的物理尺寸或布局，客户数量，高价值物品的存在或位置等)。例如，一种安装可以主要地或唯一地使用CTU，并且将图像处理卸载到单个CVU或CCU。但是，另一安装可以主要地使用CVU。又一安装可以在储存高价值物品的区域中利用CVU，以便能够在本地执行图像处理，并且在商店的其他区域中利用CTU。许多装置选项都可以满足特定零售商店的需求。

CCU或CVU可以实时地分析所收集的数据以用于做出决定的目的，例如是否将锁定命令发送到特定推车30、是否致动商店视频监视系统或是否向人员发送警报信息。图1A和图1B示出了与门管理器通信并且在需要时采取适当的防盗动作的CVU或CTU的示例。门管理器可以包括如本文中所述的用于与推车车轮中的推车收发器通信的接入点(AP)。例如，当推车正驶近或通过商店出口时，CCU或CVU可以分析推车的最近历史记录(例如，路径和速度)，以评估顾客是否试图离开商店而未付款。CCU(或CVU)可以分析摄像头图像以评估正在离开商店的购物篮是否至少部分地被装载或购物篮是否已经通过结账站34。(接入点可以额外地或可替换地负责做出这样的确定。)基于这个确定的结果，CCU可以将锁定命令发送到推车(典型地通过接入点)，或可以不发布授权推车离开的命令。作为另一示例，如果CCU检测到活跃推车的数量迅速增加，则CCU可以警告人员(例如，通过商店LAN)可能需要打开额外的结账站。作为另一个示例，如果CVU检测到购物篮正在离开商店并且至少被部分装载，则CVU可以向商店人员发送警报，启动警报，通过篮上的显示屏(或智能导航模块)将警告显示给购物者，或将锁定命令传达到推车的智能轮以致动制动器(例如，禁止推车的运动)。

CCU还可以运行数据挖掘和报告软件，该软件分析随时间推移所收集的数据，以检测有意义的流量模式和趋势。例如，CCU可以生成报告，该报告显示客户通常如何在商店中前进，他们在每个过道或其他购物区中花费了多少时间，离开商店的购物篮的装载水平，关于盗窃事件的数据(例如，未支付就离开商店的满载或部分装载的购物篮)等。此信息可以被用于例如调整商店布局或调整提供给购物者的购物篮的大小或数量。

CCU(或CVU)可以额外地或可替换地将其通过蜂窝网络或无线网络(例如，互联网)收集的数据传达到处理分析和报告任务的远程节点。例如，CCU(可能还有一个或多个接入点或CVU)可以具有使用蜂窝数据服务，例如通用分组无线服务(GPRS)将收集的数据传达到远程节点进行分析和报告的自主WAN链路。这个特征能够被用于从远程设施监视系统的健康状况。该系统还可能能够经由来自远程设施的WAN链路进行测试和配置。

如图1C所示，CCU(或CVU)可以连接到商店内存在的各种其他类型的系统。例如，CCU或CVU可以连接到预先存在的警报系统和/或视频监视系统，在这种情况下，CCU或CVU可以被配置为在检测到未经授权的出口事件时激活声音警报或视频摄像头(在各种实现中，监视系统中的视频摄像头可能不同于CVU中的摄像头或是同一摄像头)。作为另一个示例，CCU或CVU可以连接到预先存在的中央存储计算机，该计算机维护有关商店的结帐收银机或移动支付平台的状态的信息；如下所述，这个信息可以由CCU或CVU检索和使用，以评估顾客是否已经通过活跃的结帐通道或使用移动支付应用程序或移动支付点为商品付款。

在系统的一些实现中，可以省略CCU。在这些实现中，接入点(AP)可以实现其他可能由CCU处理的所有实时分析功能。例如，被安装在商店出口附近的接入点或CVU可能能够检测到顾客正试图离开商店而未付款(或确定推车的篮至少部分装载)，并且决定是否向推车发送锁定命令。为了适应集中式和分布式装置，每个接入点或CVU都可以在有或没有CCU的情况下运行。省略接入点的实现也是可能的，使得CCU或CVU直接与推车收发器通信。可以设想分布式的网络连接的部件和电路的许多变体。

推车收发器(CT)、接入点(AP)、计算机视觉单元(CVU)、结帐屏障(CB)和中央控制单元(CCU)都能够作为无线跟踪网络上的唯一可寻址节点运行。如图1C所示，可能被包括在网络中的另一种类型的节点是手持移动控制单元(MCU)。移动控制单元被设计为使商店人员能够经由按下MCU上的按钮来解锁个别推车。移动控制单元还可以包括用于检索和显示各种类型的推车状态信息，用于配置车轮/推车收发器和更新其固件，以及用于控制机动化的推车取回单元40(参见下文对推车取回器40的讨论)的功能。

在一些实现中，各种类型的节点(例如，推车收发器，接入点，中央控制单元，计算机视觉单元和移动控制单元)可以使用非标准无线通信协议相互通信，该协议使推车收发器能够以非常低的占空比运行，而无需在不活跃时维持与接入点的同步。因此，推车收发器能够使用被安装在车轮32中的相对较小的电池运行较长的时间(例如，几年)。可以使用在美国专利No.8,463,540，“Two-Way Communication System for Tracking Locations andStatuses of Wheeled Vehicles(用于跟踪轮式车辆的位置和状态的双向通信系统)”中所描述的特定无线通信协议的细节，其全部公开内容通过引用整体并入本文。

每个推车收发器(CT)优选地能够根据其在无线跟踪网络上接收的传输的RSSI(接收信号强度指示)值来测量接收信号强度。系统可以以各种方式使用这些RSSI测量。例如，推车收发器可以将接入点传输的RSSI值与阈值进行比较，以确定是否响应该传输。推车收发器还可以将这个RSSI值(连同推车收发器的唯一ID)报告给接入点，以使系统能够估计购物推车的位置或与购物推车的距离。作为另一示例，推车收发器可以被编程为生成并报告来自其他附近的推车收发器的传输的RSSI值；这个信息转而可以被用于估计在结帐通道处、在推车存储结构中、在商店入口/出口附近、在用机械化推车取回单元40取回的推车堆中或其他地方排队的推车的数量。

图1C中示出了三个结帐站34，每个结帐站34包括结帐收银机(REG)，其通常包括商品扫描仪。在这个特定示例中，每个结账站34包括接入点(AP)，其可以被安装到指示结账通道的编号的预先存在的杆(如果存在的话)。每个这样的接入点可以包括使其能够确定各结帐站当前是否处于活跃状态的连接或传感器。这个信息对于评估通过结帐通道的顾客是否已经付款很有用。下面描述了可以被用于感测结帐站的活跃/不活跃状态的几种不同方法。被放置在结帐站34处的每个接入点可以使用定向天线与附近的购物推车/推车收发器通信，例如那些在相应的结账通道中排队的购物推车/推车收发器(参见下面讨论的图2)。

在一些实现中，商店可以利用结账通道的末端处、在商店出口处(如图1C所示)、在具有高价值物品的区域中等的结账屏障(CB)。CB通常地包括除非顾客被允许离开结账通道或商店或高价值区域(例如，顾客已经为物品付款)，否则将被锁定的闸门、障碍物或十字回转门。然后能够解锁CB，以允许顾客离开(例如，通过推动旋转打开以允许通过的闸门)。离开后，大门会转动关闭并且上锁，以防止其他顾客未支付离开。CB可以与商店的CCU、CVU、CTU、结帐收银机、移动支付点35(如下所述)等通信，以便接收解锁屏障(或锁定屏障)的命令。

图1C还示意性地示出了移动支付点35。移动支付点不必固定在商店中的物理位置，而能够表示允许购物者为购物者的篮中物品付款的无线网络连接。例如，购物者可以访问移动支付应用程序(例如，在购物者的智能电话上或被安装在购物篮或推车上的通信显示器上)，该应用程序能够以电子方式记录篮中的物品或商品并且提供移动支付选项(例如，通过信用卡或借记卡付款)。移动支付点35能够与AP、CCU、CVU等进行无线通信，从而能够记录支付并将其传达给图1C所示的系统的适当部件。例如，CVU可以检测到(经由本文中所描述的计算机视觉图像分析)有装载的购物篮将要离开商店。CVU可以访问支付信息以确定与离开的篮相关联的购物者是否已经为篮中的物品付款。如果购物者已经付款(例如，经由移动支付点35或通过收银机34)，则系统能够允许购物篮离开商店而不会触发防盗动作。但是，如果购物者未付款，则系统能够触发防盗动作(例如，启动警报或商店监视系统，向推车车轮发送锁定命令，通知商店人员等)。

接入点可以额外地或可替换地被安装到商店附近的各种其他固定和/或移动结构。例如，如图1C所示，可以将接入点安装到商店停车场中的购物推车存储结构36(示出了两个)。这些安装在停车结构上的接入点可以被用于检测和报告存储在其各自区域中的推车数量，还可以被用于使商店内接入点、CVU或CCU能够与推车通信，否则超出范围。

图1C所示的系统能够包括其他的可选部件。例如，动力辅助(机械化)推车取回单元或手推车40，其可以是推车推动器或推车拉动器，能够被用于取回购物推车并且将其归还到推车存储位置36。商店能够在商店出口处，或额外地或可替换地在每个结帐通道的尽头，包括一对常规的EAS(电子商品监视)塔。尽管不需要EAS塔来实现本文所述的各种功能，但是系统可以利用它们在零售商店中的普遍存在。例如，每个推车收发器(CT)可以包括用于检测其在一对EAS塔之间通过的EAS接收器，并且可以被配置为在无线跟踪网络上报告EAS检测事件；在评估在离开的顾客是否已付款时，转而这个信息也可以予以考虑。

图1C中的示例商店配置也被示出为具有沿着停车场的外周或在商店出口附近埋置在人行道中的甚低频(VLF，典型地低于9kHz)信号线44。这样的信号线能够被用于定义允许购物推车在其中的区域的边界。购物推车的车轮32能够包括VLF接收器，该VLF接收器在推车被推到信号线44上方时检测到VLF信号，并且接合制动器。尽管在图1C中未示出，但是也可以在商店出口处提供VLF线，使得通过出口的所有推车都必须越过这个线，和/或在其他关注的位置。

尽管本系统不需要使用VLF信号线44，但是该系统优选地能够使用一条或多条VLF线作为监视推车位置的机构。具体地，推车收发器(CT)优选地包括VLF接收器。VLF接收器可能能够检测在VLF线上传输的代码，从而能够使用不同的线来唯一地识别不同的区域或边界。当检测到VLF信号时，推车收发器可以根据情况采取各种措施。例如，推车收发器可以尝试在无线跟踪网络上报告VLF检测事件，然后等待指示是否接合制动器的命令。如果在这个示例中的预编程时间段(例如，2秒)内没有接收到命令，则推车收发器可以自动接合制动器。VLF检测事件可以在无线跟踪网络上报告给CVU，CVU可以对推车或购物篮进行成像以确定其装载状态。如果确定推车或篮未装载，则盗窃情况不太可能发生，并且可能不发送制动命令(或可能指示制动器不接合)。相反，如果确定推车或篮至少被部分装载并且推车或篮正在离开商店，则CVU可以向推车发送制动或锁定命令或某种其他类型的防盗命令。例如，对于手提篮(其没有锁定轮)，防盗命令可以包括警告命令(例如，可以激活篮上的灯或警报以警告购物者)，激活商店视频监视系统的命令(以获得潜在盗窃事件的视频)，提醒商店安全人员的信号等。这样的防盗命令可以额外地或可替换地与轮式推车一起使用。

进一步参考图1C，可选地可以在商店地板上方或下方提供一个或多个磁性标记或磁条(MAG)，以提供额外的或可替换的位置跟踪机构。如图所示，这些磁性标记可以被提供在关键位置，例如在每个结帐通道和商店出口处。尽管未在图1中示出，但也可以在停车场和/或购物过道中提供一个或多个磁性标记。每个磁条能够具有唯一的磁模式，该磁模式能够由车轮32中包括的或附接到购物篮或购物推车30的可选磁传感器感测到。因此，磁性标记用作识别特定位置的磁性条形码。在一种实现中，当推车30越过磁性标记时，推车收发器(CT)在无线跟踪网络上传输所检测到的磁性代码或能够从中得出这个代码的信息。美国专利No.8,046,160，“Navigation Systems and Methods for Wheeled Objects(用于轮式物体的导航系统和方法)”描述了如何感测和使用磁性标记的其他详细信息，其全部公开内容通过引用整体并入本文。

图1C所示的系统能够包括其他的或可替换的功能或部件。例如，该系统可以实现在美国专利No.9,606,238中描述的用于低能耗定位可移动物体的技术和功能，其全部公开通过引用整体并入本文。这些技术能够被用于跟踪购物篮在商店环境中移动时的位置。能够使用在上述合并的美国专利No.8,046,160或美国专利No.9,731,744或美国专利No.10,232,869中所描述的技术(例如，航位推算)来跟踪购物篮的移动；在此通过引用将其每一个的全部内容并入本文中。

从前面的讨论中将显而易见的是，图1C中所示的许多部件是可选部件，它们可以包括或可以不包括在给定的系统装置中。例如，在一些装置中，可以省略磁性标记、EAS塔、结账屏障和/或VLF信号线。另外，能够省略接入点或CCU。CTU可以用CVU代替，反之亦然。此外，图示的部件可以与图示的布置不同。例如，可以在结帐通道和/或商店出口/入口中提供VLF信号线(例如，代替所示的磁性标记和EAS塔)，以使推车能够分别检测结帐事件和离开/进入事件。此外，其他类型的信号发射器和检测器/接收器可以被用于监视推车位置。例如，超声发射器/接收器能够被用于跟踪推车位置，或者商店可以包括射频(RF)检测器(例如，位于天花板上)，该检测器检测来自推车的RF信号并且使用来波方向技术来确定推车的位置。

评估顾客付款的示例技术

系统能够支持多种不同的方法来评估顾客是否离开商店而未付款。所使用的一种或多种特定方法可能会基于给定装置中所包含的系统部件的类型和位置而有很大不同。例如，如果商店不包括任何电子商品监视(EAS)塔、磁性标记(MAG)或VLF线，则可以单独地或主要地基于根据CT-AP通信确定的推车位置/路径信息进行确定，可选地将车轮转速历史记录作为附加因素予以考虑。如果提供了EAS塔、磁性标记和/或VLF信号线，则可以将它们用作可以做出决策的额外的或可替换的信息源。该系统可以包括在结账通道34附近的计算机视觉单元(CVU)，并且CVU能够分析结账通道的图像以确定购物者是否通过了通道，与商店结帐服务员或商店支付系统交互，在通道中停留了指示结帐和付款过程的足够的时间来(例如，超过1分钟，2分钟，3分钟，5分钟或更长)，提供的付款信息等。CVU可以分析图像以确定购物者是否正从结账通道34的方向或不太可能付款的另一方向接近出口。如下面参考图4A进一步描述的，额外的一个或多个次要摄像头410a能够位于设施中，以监视推车的移动(例如，通过结账通道或支付点或来自存储高价值物品的位置)。当推车从一个次要摄像头的视场移动到另一个次要摄像头(或CVU或CTU)时，系统能够将对推车的跟踪移交给下一个摄像头，以提供推车的基本上连续的路径。CVU(或CCU)可以访问来自移动支付点35的支付信息以确定正在离开的购物者是否已经为购物者的篮中的物品付款。美国专利No.8.463,540描述了用于评估离开的顾客是否已经付款的其他(或可替换的)技术，其全部公开内容通过引用整体并入本文。前述内容的许多组合或变型能够被用于确定与购物篮相关联的购物者(例如，推动人力推进的购物推车的购物者)是否可能已经为购物者的篮中的物品付款。

购物推车上的示例购物篮

图2A示出了具有购物篮205的示例购物推车30的特征。购物推车30是人力推进的，并且包括智能定位系统210和一个或多个防盗轮215(其能够制动、锁定或禁止车轮的旋转或推车的移动)。智能定位系统210能够被安装在推车30的手柄上(例如，如图2A和图2B中所示)，或者能够被安装在推车中或推车上的其他地方(例如，在篮205的前部)。防盗轮215能够是智能锁定轮，例如除了锁定机构或制动机构外还具有传感器(例如，用于感测VLF线)、无线通信系统(例如，推车收发器CT)和/或处理器的车轮。能够使用智能定位系统210来跟踪购物推车30的位置，该系统可以利用航位推算或振动检测技术来估计推车的位置。例如，该智能定位系统210能够包括美国专利No.8,046,160、美国专利No.9,731,744或美国专利No.10,232,869中所描述的部件或功能，在此通过引用将其每一个的全部内容并入本文中。

导航系统和防盗系统的功能能够在智能定位系统210和智能锁定轮215之间分布。例如，智能定位系统210和智能锁定轮215中的一个或两者能够具有离开/进入事件检测能力；车轮锁定的防盗功能能够位于智能锁定轮215中，而使用者警告的防盗功能能够位于智能定位系统210中。此外，尽管图2A示出了用于人力推进的购物推车的购物篮205，但是本文描述的类似技术适用于机动化的购物推车或机动性推车上的购物篮或由购物者手提的手持式购物篮。例如，智能定位系统210能够被附接(或集成到)机动化的购物推车或机动性购物车中，或者被附接到手持式购物篮。

如图2B所示，一些购物推车包括能够在儿童座椅关闭的位置和儿童座椅打开的位置之间移动的用户可调节的儿童座椅。在打开位置(如图2B所示)，购物者能够将儿童(或其他物品)放在座椅部分上。在许多推车中，购物者能够将儿童座椅1620的金属框架推离推车30的手柄1610，这导致座椅部分移动到水平位置。因此，打开位置有时被称为儿童座位向下。图2B示出了购物推车30，其中儿童座椅1620处于打开或儿童座椅向下的位置。如下面将进一步描述的，计算机视觉单元(CVU)可以对购物推车30成像，以确定推车的装载是(至少部分地)归因于被放置在儿童座椅1620中的儿童还是被放置在儿童座椅上的物体(例如手提包)，而不是商店商品。

示例智能定位系统/智能制动轮实施方式

图3示出了用于购物篮的示例跟踪系统的部件集300(例如，购物推车或机动性推车上的篮子或手持式购物篮)。该示例部件集300包括以下部件：(1)智能定位系统210；(2)智能锁定轮215；(3)与商店出口和/或入口、结账通道、高价值区域、车轮215能够进行重置或更新的位置等相关联的固定特征385；(4)系统配置和控制装置390；(5)RF信标或其他RF特征395；和(6)计算机视觉单元(CVU)1000或摄像头收发器单元(CTU)1001。参考图4A和图4B进一步描述了CVU和CTU。

智能定位系统210包括(1)传感器元件315，其用于确定推车的航向和速度(例如，磁强计和/或加速计)，以及可选地确定系统的温度(例如，温度传感器)；(2)可选传感器320，其提供可以推断出车轮旋转速率的数据(例如，传感器不需要接近车轮)；例如，振动传感器；(3)处理器和存储器325；(4)通信系统330，其(例如，经由RF链路)与智能锁定轮315、系统配置和控制装置390，RF信标或其他RF特征395，和/或CVU 1000通信；(5)可选的检测器310，其被配置为确定推车正在通过商店的出口/入口(离开/进入事件)，并且在一些实施方式，确定运动是否是正在离开商店或进入商店。在一些系统中，车轮中的电路系统执行实际的检测功能；智能定位系统与车轮中的检测电路系统通信以获得离开/进入信息。某些系统可以将检测器360作为主要检测器和将检测器310作为次要检测器；(6)指示器335(例如，可视的和/或可听的)，其向使用者提供通知以表示推车在警告区域和/或即将锁定。指示器可以包括被配置为输出文本或图像的显示器(例如，向使用者输出围护边界就在附近并且如果轮式物体移动到围护边界之外则车轮将锁定的警告)。指示器可以包括作为对使用者的通知而照亮或闪烁的灯(例如，发光二极管(LED))。指示器可以包括可听警报或通知。在一些实施方式中，指示器包括语音合成器，该语音合成器能够输出人类可理解的消息例如“推车接近界限并且即将锁定”。指示器能够包括用于输出可听通知的扬声器。智能定位系统210还可以包括光检测器333用于检测环境光特征以供导航使用，或垂直位置检测器337(例如，压力传感器)用于确定智能定位系统位于多层结构中的哪一层。在上文中合并的美国专利No.9,731,744或No.10,232,869中进一步描述了这些部件的功能。

图3示出了示例，其中智能定位系统210与包括智能锁定轮215的轮式推车一起使用(尽管这不是必需的，但是系统210能够在手持式篮上使用)。车轮215包括(1)锁定机构(例如，制动器)380，其被配置为当锁定机构被激活(或推车本身平移)时禁止车轮的旋转；(2)车轮旋转检测器375，例如，音叉和撞针(例如，随着车轮旋转撞击音叉的零件)；(3)处理器和存储器370；(4)通信系统365，其被配置为与智能定位系统210、系统配置和控制装置390，RF信标或其他RF特征395，和/或CVU 1000或CTU 1001通信；(5)可选的检测器360，被配置为检测离开/进入事件，并且在一些实施方式中，检测运动是否是正在离开商店或进入商店；和(6)可选的航向/万向轮角度检测器383，其被配置为检测(万向)车轮的航向。

固定特征385能够与商店的出口和入口，结账通道，高价值物品所在的区域，推车的位置能够被重置或更新的位置等相关联。这些特征的接近程度能够通过智能定位系统或智能锁定轮中的检测器来检测。该固定特征能够被用于向智能定位系统提供准确的参考位置(例如，用于重置任何累积的航位推算位置误差)。固定特征385能够包括VLF线路、接入点，为警告或锁定而生成的RF场、结帐屏障、EAS塔、磁性标记或电磁标记等。CVU 1000或CTU1001能够与固定特征385通信以提供在购物推车接近固定特征附近时提供适当的信号(例如，向结账屏障或推车收发器提供锁定或解锁信号，或者提供位置信号以重置或更新推车的位置)。

系统配置和控制装置390能够执行内务处理任务例如配置和控制。装置390能够与智能定位系统中的通信系统330和/或智能锁定轮中的通信系统365通信。系统配置和控制装置390能够是包括CCU(例如，参照图1C所描述的)，或者在某些情况下，包括CVU 1000。

RF信标或其他RF特征395能够传输RF信号用于进入/离开检测和/或精确位置确定。

CVU 1000或CTU 1001能够与例如参考图1C所描述的智能锁定轮215、智能定位系统210、RF信标或其他RF特征395和/或系统配置和控制装置390或中央控制单元(CCU)无线通信。额外地或可替换地地，CVU或CTU能够使用有线LAN连接，例如以太网与CCU或控制器390通信。

如本文中所描述的系统可以用比以上所描述的更多或更少的特征/部件来实现。而且，系统可以用与上述不同的配置来实施，例如，旋转检测器可以在智能定位系统和智能锁定轮中的一个中实施，RF信标可以与通信系统330和365中的一个通信系统通信，而不是与这两者都通信。此外，图3中的部件的功能能够不同于所示的进行组合、重新布置、分开或配置。

智能定位系统210能够被布置在轮式物体中的一个或多个位置。例如，一些或所有的智能定位系统能够被布置在推车的手柄、车架、万向轮、车轮等中。对于机动化的购物推车或机动性推车，智能定位系统210能够被附接到推车的框架或主体，或者与用于操作推车的其他电子电路结合。本文中所描述的智能定位系统能够被用在不同于推车围护的应用中。例如，该系统能够被用于估计轮式物体的位置、路径或速度。而且，在推车围护应用中，推车能够包括被配置为在被激活时禁止推车移动的一个或多个车轮，例如通过包括车轮制动器。例如，当激活制动器时，车轮能够锁定或阻止旋转。美国专利US 8,046,160、US 8,558,698和US 8,820,447描述了能够禁止推车移动的推车车轮的示例，所有这些专利的全部公开内容通过其整体引用并入本文。

在美国专利No.9,731,744或美国专利No.10,232,869中能够找到系统300的功能的进一步描述，在此通过引用将其每一个的全部内容并入本文中。

使用计算机视觉的示例防盗系统

图4A示意性地示出了一种防盗系统400，其使用计算机视觉技术来识别至少部分装载的购物篮是否正在离开商店。系统400包括计算机视觉单元(CVU)1000，其可以大体上类似于参照图1C描述的CVU。CVU 1000能够位于监视区域440附近，例如入口/出口附近、结账通道34、商店中具有高价值商品(例如酒，保健产品，药品)的区域等。

在图4A所示的实现中，CVU 100与门管理器450通信，门管理器450在一些这样的实现中可以执行参考图3所述的系统配置和控制装置390的功能。例如，门管理器450能够与智能定位系统210中的通信系统330和/或智能锁定轮215中的通信系统365通信，并且发出防盗命令(例如，以锁定或制动车轮，启动警报或警告等)。门管理器450能够包括中央控制单元(CCU)(例如，参照图1C所描述的)，或者在一些情况下，能够是CVU 1000的部件，或者在一些情况下，能够与CCU通信。门管理器450能够控制在商店出口处使用的固定特征385，例如能够定义警告区域或锁定区域的一条或多条VLF线或RF场(例如，这种VLF或RF信号可由出口附近的推车收发器检测到)。固定特征385能够包括位于例如出口或结账通道处的结账屏障(CB)。门管理器(或CVU)可以具有自主WAN链路，该自主WAN链路使用蜂窝数据服务，例如通用分组无线服务(GPRS)、长期演进(LTE)或5G新无线电(5G NR)以将有关商店出口事件的收集数据传达到CCU或远程节点(例如，参考图4B描述的云平台470)以进行分析和报告。例如，远程节点能够由经授权的商店人员访问(例如，经由网络浏览器)，他们能够查看有关出口事件(例如，盗窃情况)的统计资料或出口事件的图像或视频(例如，购物者试图推出盗窃的视频)。

在图4A所示的系统400中，使用RF场和VLF线来提供警告区域和锁定区域。当购物篮越过警告区域时，未经授权离开商店的购物篮可以首先接收警告(例如，听觉的或视觉的，并且例如由智能定位系统210显示)，然后如果篮越过锁定区域则接收锁定信号(例如，用于启动车轮制动器的指令)。在其他实现中，既不使用RF场也不使用VLF线，仅使用RF场或VLF线中的一个。同样，在其他实现中，仅利用警告区域和锁定区域中的一种。额外地或可替换地，能够使用结帐屏障(CB)。

CVU 1000能够与支付点，例如结帐收银机34或移动支付点35通信，以便访问与监视区域中的购物篮有关的支付信息。如本文所述，当有物品的购物篮试图离开商店而没有顾客已经为物品付款的任何标记时，可能发生盗窃情况。因此，CVU 1000能够使用来自支付点的信息来至少部分地确定是否已经为有装载的购物篮中的物品付款。

CVU 1000能够包括被定向为对监视区域440成像的摄像头410。摄像头410能够包括能够生成图像集430的视频摄像头，图像集430被图像处理器420用来分析监视区域440中的购物篮活动。图像集430可以包括视频，视频的一帧或多帧或由摄像头获取的图像的选集。摄像头可以包括灰度相机，彩色相机(例如，RGB)，或能够在电磁光谱的非可见部分中成像的相机。例如，非可见部分可以包括红外(IR)区(其可能对于黑暗的入口或夜间成像是有利的，其中(可选地)IR光源能够被用来照亮入口)或紫外线(UV)区(其可能有利于通过玻璃进/出门或窗户成像)。使用提供电磁频谱的可见部分和不可见部分中的成像的摄像头410能够允许CVU或CCU执行多光谱或高光谱图像分析，这可以基于推车或商品的独特光谱反射特征来更好地对推车或商品进行跟踪或分类。例如，能够使用多光谱成像来基于其包装的特定颜色检测易盗物品。这种检测能够使用相对较少数量的光谱带(例如，7到9)在各种各样的商店照明条件下进行，并且能够由CMOS成像器和拜耳掩模或针对每个光谱带的一组滤光片实现。摄像头410能够包括深度照相机，该深度相机获取图像以及图像中的对象的深度数据(例如，距摄像头的距离)，并且能够有利地用于篮的深度感测和运动跟踪。深度相机能够包括立体摄像头，该立体摄像头包括经由立体技术确定深度信息的被间隔开的两个或更多个图像传感器。

在一些实现中，CVU(或部件)能够由以太网供电(POE)供电。在一些实现中，摄像头410包括以每秒20个或更多帧的速度运行的视频摄像头，提供4兆像素或更大的图像分辨率(例如，1920×1080或更大)，并且使用实时流协议(RTSP)流传输视频。可以使用H.264协议对视频进行压缩用于有效的带宽通信。在一些实现中，可从Hikvision DigitalTechnology Co.,Ltd.(City of Industry,CA)获得这种摄像头。

摄像头410可以包括多个摄像头。例如，CVU 1000或CTU 1001能够包括成像摄像头410，并且系统400可以包括与CVU或CTU中的摄像头10间隔开的一个或多个次要摄像头410a。次要摄像头410a能够与CVU或CTU被包括在相同的壳体中，或者可以与CVU或CTU物理地分开。次要摄像头410a可以被配置为与摄像头410具有至少部分重叠的视野(例如，其可以被用于图像处理和购物篮装载分类)。一个或多个次要摄像头410a的使用可以允许系统400在摄像头410的视场之外的区域中跟踪购物篮205。例如，(一个或多个)次要摄像头410a可以被放置在支付点或包含高价值物品的存储区域附近，从而系统400能够在购物篮205进入CVU或CTU的摄像头410的视场之前或之后跟踪购物篮205在这些区域中的运动(例如，用于装载分类)。次要摄像头410a可以被放置在商店出口附近，以使得能够在出口附近或越过出口处跟踪篮。摄像头410和次要摄像头410a之间的距离能够取决于这些摄像头的视场，镜头尺寸，在零售设施的地板上方的高度等。在各种实现中，次要摄像头410a可以与摄像头410间隔开的距离在约10cm至约1m或更大的范围内。

CVU 1000、CTU 1001或次要摄像头410a中的一些或全部被安装在商店出口附近，因为这是小偷将试图带着未购买的商品离开的位置。在许多零售设施中，商店出口都有大量玻璃，例如玻璃门、玻璃窗等。玻璃的使用可使阳光(在白天)进入零售设施，并且能够为购物者提供明亮愉悦的购物体验。但是，阳光会导致从地板、金属表面和金属购物车产生眩光、闪光或反射。这样的眩光、闪光或反射能够在用于运动跟踪或计算机视觉分析的图像中创建伪影。因此，在一些实现中，摄像头410、410a中的一些或全部能够包括偏振透镜或滤光片411，以减少所获取的图像中的眩光、闪光或反射。例如，透镜或滤光片411中的偏振方向能够正交于太阳从设施的地板反射的路径。

图像处理器420能够包括硬件处理器(例如，CPU或图形处理单元(GPU))以执行本文描述的图像分析和对象识别任务。在一些实现中，图像处理器420能够包括可从Google,Inc.(Mountain View,CA)获得的边沿张量处理单元(Edge TPU)，其支持TensorFlow Lite机器学习和计算机视觉模型。

CVU 1000能够包括RF通信节点425(例如，收发器)以与系统400的其他部件(例如，门管理器450，支付点，或购物篮(例如，智能定位系统210或锁定轮215)))进行通信。RF通信节点425能够与参考图1C描述的系统的任何部件通信。在RF节点425之外额外地或可替换地，CVU能够包括有线LAN连接，例如以太网。例如，CVU 1000可以经由以太网链接到CCU。

在一些实现中，CVU 1000(或CTU 1001)的功能能够作为被配置为执行机器学习推理或图像分类模型并且提供无线连通性的模块上系统(SoM)板提供。一个SoM板的示例是可从Google,Inc.(Mountain View,CA)获得的Coral Dev Board。Coral Dev Board包括CPU、GPU、用于机器学习模型的Edge TPU协处理器、板载存储器和无线连接性(例如，蓝牙4.2，IEEE 802.11b/g/n/ac 2.4/5GHz)。在一些这样的实现中，摄像头410能够被连接到SoM板以进行紧凑的设置。

图4A还示出了摄像头收发器单元(CTU)1001的示例。CTU 1001能够被认为是CVU1000的一种类型，而没有图像处理器420，但其他部件与本文所述的大致相同。使用CTU1001可以提供更具成本效益的装置，因为可以将图像处理功能卸载到CCU或CVU。因此，一个装置可以包括用于图像处理的CCU或一个或少量CVU，而在整个设施中放置了额外的CTU，以捕获入口、出口、支付点、高价值区域等的图像。通常，CTU1001和CVU 1000能够在装置中可互换地使用。因此，应当理解，对CVU的引用包括对CTU的引用，对CTU的引用包括对CVU的引用。因此，系统400的功能能够在CCU、CVU、CTU或门管理器之间分布，以便为任何特定的设施提供合适的和具有成本效益的防盗装置。额外地或可替换地，一些或全部图像处理(或其他程序功能)能够由远程硬件处理器(例如，在云中)执行。这些部件能够经由有线或无线LAN或WAN通信。可以预期许多变化，并且本文描述的特定示例和附图旨在是说明性的而不是限制性的。

在某些示例中，CVU 1000或CTU 1001可以包括能够被用于确定CVU或CTU是否以水平方向安装的惯性测量单元(IMU，例如，加速度计)。查看从CVU或CTU流传输的图像能够确定摄像头410的位置、方向和焦点正确。IMU读数的变化能够表明CVU或CTU在安装后已经倾斜或旋转，可以采取校正动作。例如，能够对CVU或CTU进行物理调平。额外地或可替换地，能够通过使用计算机视觉技术对图像的角度(或旋转)变化进行补偿来校正设备的方向变化。

防盗系统400能够包括附加传感器460以提供附加或不同的功能。例如，附加传感器460能够包括超声传感器，飞行时间(ToF)传感器，雷达传感器(例如，毫米波雷达)，或激光雷达传感器(扫描或非扫描)。在一些情况下，此类传感器作为深度相机的一部分提供，该摄像头既执行成像功能又执行接近或测距功能。CVU或CTU的摄像头410能够包括深度相机或一对用于深度功能的立体摄像头。传感器460能够被用于提供从传感器到推车中的推车(或商品)的距离数据。下面提供了使用这种附加传感器460提供购物篮205或商品的三维(3D)成像的进一步描述。

图4B示意性地示出了防盗系统400的另一种实现。已经参考图4A描述了系统400的这种实现的部件中的许多部件。这种实现使用无线蜂窝网关在CVU 1000和云平台470之间双向通信。云平台470能够位于远离CVU 1000所在的设施的位置。云平台470可以处理从多个零售设施处的CVU获得的图像。

如上所述，CVU在其摄像头410的视场内获取购物篮205的图像。CVU的处理器420能够执行机器学习或计算机视觉对象检测模型来确定试图离开商店的购物篮的装载状态(例如，空，至少部分装载或满)，并且能够基于至少部分装载的推车正试图离开零售店而未付款的检测而更改门锁定状态。例如，能够改变门锁定状态以激活被检测为具有未付款商品的购物推车的智能锁定轮215的轮锁定机构380。

CVU能够在本地收集和存储购物篮的图像，并且通过云平台470传达图像以进行存储和分析。CVU和云平台470能够通过使用例如蜂窝数据服务，例如通用数据包无线电服务(GPRS)、长期演进(LTE)或5G新无线电(5G NR)的自治WAN网关465通信。网关465能够提供对云平台470的有线或无线网络访问，并且可以是在市政无线(例如，WiFi)网络上的虚拟专用网(VPN)。

云平台470能够包括用于存储和分析由CVU收集的图像的处理器和存储器。例如，能够在方框472处标记图像集，以提供训练数据用于更新由CVU使用的机器学习或计算机视觉对象检测模型。在方框474处，能够使用标记的图像数据来更新或生成新的对象检测模型。能够通过WAN链路465将更新的模型或新模型传达回CVU。

在一些实现中，云平台470能够提供实时事件检测或实时流传输476，其中能够查看和分析事件日志(例如，成功或未成功识别的盗窃事件的图像的数据库)用于进行故障排除或以改善系统400的性能。云平台470可以提供仪表板(例如，其可以经由互联网访问的)，其中，经授权的零售设施经理或系统管理员能够查看事件日志、访问数据标签或训练模块472、474，执行系统维护或升级等。

参考图8至图11描述了能够(至少部分地)由云平台470执行的附加工作流和处理流水线。

防盗系统的示例图像处理技术

如参考图4A和图4B所述，防盗系统400的CVU 1000能够对监视区域440成像并且获取出口事件的图像集430。出口事件能够包括购物篮205通过出口离开商店。在许多零售商店中，出口也是购物者能够带着购物篮进入商店的入口，在这种实现中，出口事件能够包括进入或离开商店的购物篮(因为摄像头410通常可以对整个出口/入口区域成像并且捕获进入或离开的购物者)。

图像集430被传达到图像处理器420，图像处理器420能够将计算机视觉、机器学习或对象识别技术(本文所描述的)应用于图像集430，以在各种实现中执行以下各种图像识别任务中的一些或全部。

图像处理器420能够将图像集中的对象分类为以下项中的一种(其中任何一种都可以称为篮的装载状态)：(a)包含商品的购物篮；(b)不包含商品的购物篮(例如，购物篮不一定是空的，例如，具有打开的儿童座椅的购物推车1620可能仍包含儿童、手提包等)；(c)购物篮以外的其他对象(例如，购物者)。装载状态可以表示与购物篮的装载量相关联的值的范围。例如，该范围可以是数字(例如，1到5，其中1为空且5为满载)，等级(例如，A到E，其中A代表满载而E代表空)，或一些其他类型的分数、判别或语义分类器，或多个装载级别的概率标度(例如，满，3/4满，1/2满，1/4满，或空)。装载状态能够包括说明装载量的加权分数或值，以及装载的价值估计(例如，装载是否包括高价值物品)。例如，部分地装载有高价值物品(例如，酒瓶)的篮的装载状态可能高于满载有笨重的便宜物品(例如，纸巾)的篮，因为该部分装载的篮对商店造成了更大的金钱损失。

装载状态能够通过如本文所述的计算机视觉或机器学习技术来确定。在一些实现中，可以对装载状态进行加权以反映购物篮中高价值物品的存在(这往往会增大装载状态)或购物篮中不存在高价值物品(这往往会减少装载状态)。例如，能够训练计算机视觉技术或机器学习技术来识别购物篮中高价值物品(例如，酒瓶)的存在，并且如果存在，则装载状态会增加，因为如果存在高价值物品，则购物篮中商品的价值将则价格往会更高。作为另一示例，相比其他类型商品(例如，低价值商品)的存在，装载状态可以表示高价值商品的存在，因为识别商品的货币价值最大的盗窃情况可能是有利的。

图像处理器420能够区分购物推车30的不同类型或尺寸，推车是人力推进还是机动的(例如，带有购物篮205的机动性推车)，对象是否是携带手持购物篮205的购物者。在一些实现中，图像处理器420可以不对图像中的个体执行面部识别(或尝试识别个人可识别的特征或信息)以保护这些个体的隐私。能够将处理器420(或云平台470)进行的图像分析设置为完全符合数据隐私法律法规(例如，“California Consumer Privacy Act(加利福尼亚州消费者隐私法)”或欧盟的“General Data Protection Regulation(GDPR)(通用数据保护条例)”)。

图像处理器420能够区分由商店员工而不是购物者推(或搬运)的购物推车(例如，通过识别出该人穿着商店制服)。这能够在防盗逻辑中发挥作用，因为如果商店员工正将(装满的)有装载的篮从出口推出(或搬出)，则被推出盗窃的可能性会大大降低。

图像处理器420能够确定在图像集所覆盖的时间段内对象的路径(例如，位置随时间的变化)。例如，如将参考图5进一步描述的，CVU 1000能够根据时间确定对象的坐标(例如，笛卡尔x，y坐标)，并且计算对象的路径(例如，参见图6)。当购物篮205在CVU的摄像头410的FOV之外时，图像处理器420可以分析由次要摄像头410a收集的图像。

如果所确定的包含商品的购物篮的路径指示该购物篮正朝向出口或通过出口，则防盗系统400能够将防盗信号传达给购物篮。如上所述，防盗信号能够包括锁定智能轮，启动警报(可听的或可见的)，通知商店人员，启动商店视频监视系统等的指令。

在一些实现中，在图像集430中的对象已经被分类为关注对象(例如，包含商品的购物篮)之后，防盗系统400的动作(例如，如何传达防盗命令)能够取决于CVU 1000(或门管理器450)和购物篮(例如，图3中所示的智能定位系统210或智能锁定轮215)之间的通信类型。例如，该动作能够取决于系统400是否试图使用对购物篮的单播或多播寻址。美国专利No.9,963,162，Cart Monitoring System Supporting Unicast and Multicast CommandTransmissions to Wheel Assemblies(支持向轮组件的单播和多播命令传输的推车监视系统)中描述了向智能轮215或智能定位系统210的单播和多播命令传输技术的示例，其全部公开通过引用被合并入本文中。

单播寻址

在单播寻址中，能够将来自防盗系统400的命令寻址到特定的购物篮，该购物篮在商店的跟踪网络上具有特定的单播地址。CVU 1000能够使用多种技术将购物篮205与特定的单播地址相关联。

例如，每个购物篮能够经由布置在购物篮(或推车)上的光学可读标记，例如条形码，Aruco标记等以其单播地址进行编码。光学可读标记能够对单播地址进行编码，以便摄像头410可以在可见光谱或红外(IR)光谱中检测到它(例如，IR标记对购物者的干扰较小，并且由于它们可能是人眼不可见的，因此也不太可能被潜在的盗贼所损毁)。图像处理器420能够从包括光学可读标记的图像中检测并且解码购物篮的单播地址。

能够使用附加或可替换的技术来将所标识的购物篮与其特定单播地址相关联。例如，零售设施可以包括能够将RF传输标识为源自特定单播地址的无线电定位基础设施(例如，因为RF传输本身包括单播地址)。无线电定位基础设施能够检测来自篮的RF传输(由CVU标识为关注的对象)，因此系统400能够在篮及其单播地址之间建立关联。

无线电定位基础设施能够包括在给定时间给出篮的位置(例如，x，y坐标)的三角测量系统。三角测量系统能够包括具有RF接收器的系统，该RF接收器测量从篮上的RF标签发射的RF信号的到达角以估计位置(例如，可从Quuppa LLC,Arlington,VA获得的智能定位系统)。CVU能够在到达角系统中检测篮的位置或路径并且使用RF接收器的位置(不需要与CVU共位)的知识，系统400可以使到达角估计的位置或路径与CVU估计的位置或路径关联以推断篮的单播地址。因此，系统400能够与设施的现有的基于位置的服务或实时跟踪系统集成。

无线电定位基础设施能够包括例如经由飞行时间或相位解缠，随后是相位斜率法来测量到篮的径向距离的系统。系统400可以将由CVU测量的光路或位置与径向距离随时间的变化(来自径向距离测量节点)相关联，从而推断出篮的单播地址。

在某些安装中，购物篮具有测量其自身运动的内部机构(例如，在文中并入的美国专利No.9,731,744中所描述的航位推算导航系统，例如智能导航系统210)，并且篮的自我检测到的运动能够与CVU1000所检测到的篮的路径相关联。这种相关性能够被用于将购物篮的单播地址与经由图像处理识别出的篮相关联。

例如，在一些实现中，防盗系统400和购物篮之间存在公共时基，该公共时基能够使用购物篮上的时钟与防盗系统400的时钟之间的RF同步来进行更新。对于人力推进的推车，车轮的旋转计数提供了推车随时间变化的近似速度。系统400能够将速度随时间变化的数据与CVU所确定的光路相关联，以提供用于推断推车的单播地址的关联。作为另一个示例，包括智能定位系统210的篮能够确定篮相对于时间的准航向(例如，室内地磁场失真)，并且这个准航向能够额外地或可替换地与由CVU 1000确定的光学路径相关联以推断单播地址。

作为用于将光学跟踪的购物篮与其单播地址相关联的另一种技术，购物篮可以被配置为测量沿着篮的路径变化的环境特征。该特征随空间位置的变化可能是已知的，并且能够被用于将篮的路径(基于环境特征的)与篮的路径(由CVU光学地确定的)相关联，以推断篮的单播地址。例如，环境特征可以包括商店中的磁场。能够绘制车轮水平附近的磁场。磁场图能够用于推断推车车轮的单播地址，因为车轮能够包括磁力计以测量其本地磁场，能够将其与该图进行比较。能够确定磁场图，并且能够使用具有已知的单播地址的推车来训练系统400。能够应用随后的机器学习技术来更新由于商店内的变化(例如，铁磁架的移动)而随时间变化的磁场图。

将单播地址与购物篮相关联的过程能够在篮进入监视区域440时开始，这可以在购物篮已经就装载状态(例如，空的或已加载)进行分类或被防盗系统400识别为关注对象之前。

不管使用哪种技术，一旦知道了可疑篮的单播地址，防盗系统400(例如，CVU 1000或门管理器450)便能够将潜在的盗窃消息发送到通信系统(例如，系统330或365)。在以下说明性示例中，可疑购物篮与具有智能锁定轮215的购物推车(例如“推车2345”)相关联。防盗系统400能够向通信系统330或365发送消息，例如“推车2345，您似乎包含商品：如果您检测到警告区域或出口信号，但没有离开许可，则发出警告然后锁定。”在这个示例中，该消息针对特定的可疑购物篮(与推车2345相关联)，并且如果推车试图离开商店(例如，通过进入警告区域或锁定区域)，则命令智能锁定轮指示215(或智能定位系统210)提供警告(例如，在警告区域)，然后锁定(如果推车2345进入锁定区域)，除非推车2345具有离开许可。如果推车2345经过商店的活跃的结账通道34，或者如果商品是在移动支付点35进行支付的，则推车2345可能先前已经获得了防盗系统400的离开许可。在这种情况下，允许推车2345离开商店(而不警告或锁定)，因为已经(很可能)为推车的篮中的商品付款。

在一些实现中，可疑购物篮不与轮式推车相关联，并且例如可以由购物者手提携带。应用类似的考虑因素，但潜在的盗窃消息可能是商店安全性警报，商店监视系统激活等。(因为手提篮没有锁定轮)。

多播寻址

在一些实现中，零售商店可能尚未实现单播寻址，或者特定的关注对象的单播地址是未知的(例如，上述单播关联技术无法提供关注对象的单播地址)。在这样的实现或情况下，防盗系统400能够使用非单播技术来传达防盗信号。例如，能够使用监视区域440附近的购物篮的多播寻址。多播寻址能够基于状态，其中多播消息以特定状态寻址到所有购物篮。例如，购物推车车轮的状态可以是它是被锁定还是已解锁；例如，购物篮的状态可能是它是否在移动，等。因此，能够将多播命令发送到状态是正在移动或未锁定等的所有收发器。

作为示例，如果包含商品的购物篮正接近出口，其中如果该篮未被(防盗系统)授权出口(例如，具有离开许可)，则防盗系统400能够推断出有可能发生推出盗窃情况。在一些实现中，系统400的出口配置默认是在“监视”模式下，其中出口的图像由CVU 1000获得，并且如果智能轮215越过出口则不被锁定。在这个示例中，因为已经识别出可能的推出盗窃情况，所以防盗系统400(例如，CVU 1000或门管理器450)能够就在可疑购物篮即将通过出口离开之前将出口配置从监视模式切换为“如无许可则锁定”模式。能够向监视区域附近的所有收发器多播“如无许可则锁定”命令，并且如果可疑购物推车没有离开许可，则其智能轮215将被锁定以防止盗窃。在车轮被锁定之后，系统400可以将出口配置切换回监视模式。

购物篮的追踪路径

图5示意性地示出了被定位以便确定购物篮205的位置的计算机视觉单元1000的摄像头410的侧视图(左侧)和平面图(右侧)。在这个示例中，购物篮205是购物推车30的一部分，但这仅用于说明，并不限制跟踪能力。能够在坐标系，例如图5所示的笛卡尔x，y，z坐标系510中确定篮205的位置或路径(例如，位置随时间的变化)。在一些实现中，仅追踪两个水平坐标(例如，x和y)(例如，水平运动)，因为推车运动通常发生在水平面上(例如，在恒定的高度z处)。

篮205的位置能够表示为在图像坐标中测量的篮的中心。简而言之，一些实现从摄像头410的已知位置和光学视场(FOV)投影到由所跟踪的篮的类别确定的高度h处的平面(例如，满的购物车与空的购物车的高度h不同，如果给定的装置包含多种类型，则不同尺寸/型号的购物推车的高度可能会有所不同；机动化推车的高度不同；手提篮的高度不同)。

图5示出了成像环境的几何形状。摄像头410在地板上方的高度h₀处(在某些情况下，摄像头被安装在设施的天花板上)。摄像头具有中心与垂直线成角度

的垂直FOV(vfov)，和中心与y方向成角度θ₀的水平FOV(hfov)。篮205的图像的中心像素能够由图像处理器420在角度

和θ.处测得。篮205的中心像素不必在摄像头图像的中心(即使摄像头410是可操纵的)。通过测量角度

和θ，使用图5所示的几何形状，系统400(例如，CVU 1000)能够将角度测量转换为位置坐标(例如，x，y和(可选地)z)。

图5示出了具有一个摄像头410的示例场景。在其他实现中，能够使用多个摄像头410、410a(例如2、3、4、5、6或更多个)来对监视区域440成像。图6A、图6B和图6C示出了CVU的一些示例布置。如上所述，CTU通常能够与CVU互换使用以捕获监视区域的图像，并且在其他实现中，图中所示的一个、一些或全部CVU能够用CTU代替。

在图6A中，三个CVU 1000a、1000b和1000c被定位成对商店入口/出口处的监视区域440成像。在这个示例中，一条(可选的)VLF线被放置在商店的入口/出口。在其他装置中，额外地或可替换地，能够通过位于商店入口/出口或结账屏障附近的RF天线生成RF警告或锁定场设置，或能够在出口附近设置EAS塔或其他防商店提升设备。CVU 1000a远离入口/出口并且朝向入口/出口定向，以获得进入或离开购物篮的图像。CVU 1000b和1000c位于入口/出口的任一侧并且向内定向，以获取尤其是朝着入口/出口移动的购物篮的图像。三个CVU 1000a、1000b和1000c提供了监视区域的重叠覆盖范围(例如，其摄像头的FOV重叠，其中用虚线和点划线示意性地示出了FOV)。在这种配置中，使用多个CVU能够降低单个CVU无法获得试图通过入口/出口离开的可疑购物篮的图像的可能性。而且，购物者推着购物车可能会挡住特定的CVU观看购物篮。例如，一个离开的购物者可能会挡住CVU 1000a观看篮(因为购物者在篮和CVU之间)，但是CVU 1000b和1000c能很好看到篮(因为篮位于购物者和这些CVU之间)。

如上所述，一些实现可以使用次要摄像头来对商店的其他区域进行成像。图6A示出了位于支付点附近的次要摄像头410a-1的示例，其FOV指向CVU 1000a和1000c的FOV(并且部分地与CVU 1000a和1000c的FOV重叠)。图6A还示出了位于具有高价值物品的区域附近的次要摄像头410a-2的示例，其FOV指向CVU 1000a和1000b的FOV(并且部分地与CVU 1000a和1000b的FOV重叠)。来自摄像头410a-1的图像可以由防盗系统400使用来跟踪购物篮离开支付点并且向出口移动的路径，并且来自摄像头410a-2的图像可以使用来跟踪购物篮离开高价值物品区域并且向出口移动的路径。由于篮来自支付点区域，因此系统400能够使用来自摄像头410a-1的信息作为顾客已经为购物篮中的商品付款的指示符。由于篮来自高价值物品区域，因此系统400能够使用来自摄像头410a-2的信息作为顾客购物篮中具有高价值商品的指示符。在这个示例中，因为摄像头410a-1和410a-2的FOV至少部分地与其他CVU中的至少一些的FOV重叠，所以系统400能够随着购物篮离开次要摄像头410a-1和410a-2中的一个的FOV和进入CVU中的一个或多个的FOV，维持购物篮跟踪的连续性。这种交接能够有利地提供对购物篮的跟踪的连续性，并且减少或消除随着购物篮从一个摄像头的FOV移动到下一个时的错误识别。如将参考图6C进一步描述的，这种交接能够提高系统400的效率，因为路径跟踪通常比装载状态确定强度低，并且CVU能够主要被用于装载状态确定而不是跟踪。

图6B示出了CVU 1000a、1000b、1000c的替代布置。在这个示例中，CVU 1000a的朝向类似于图6A所示。但是，CVU 1000b和1000c的朝向远离入口/出口，并且朝着商店的其他区域。例如，CVU 1000b朝向高价值物品(例如，酒，药品，保健品等)所在的区域，而CVU1000c朝向支付点(例如，结账通道34)。在这个示例中，CVU 1000a、1000b和1000c的各个摄像头的FOV不重叠。在这个配置中，CVU 1000a能够被用于识别接近入口/出口的购物篮是否已经装载。CVU 1000b能够被用来识别去过高价值区域的购物篮，而CVU 1000c能够被用来识别从支付点接近出口的购物篮(这可以指示已经为篮中的物品付款)。

CVU 1000a、1000b和1000c和次要摄像头410a能够彼此通信，并且能够共享信息，该信息可以帮助确定至少部分装载的购物篮是否正在推出盗窃情况中接近出口。当购物篮从CVU中的一个的FOV移动到另一个CVU的FOV或从次要摄像头到次要摄像头或CVU时，这种交换的信息能够帮助防盗系统在篮从一个FOV移动到另一个FOV时继续跟踪该篮。

在这个示例中，CVU 1000b能够在篮离开高价值物品区域时识别篮是否包含高价值物品，并且CVU 1000c能够确定该篮是否来自商店的支付点区域。在这种情况下，未为推车中的物品付款的可能性较小，并且系统400可以向篮发出离开许可。如果篮试图离开商店，并且CVU 1000c尚未将篮识别为来自(或通过)支付点，则购物者更有可能试图窃取高价值物品，并且系统400可能不会向篮发出离开许可，并且采取防盗动作(例如，锁定车轮)。

图6C示出了在商店出口附近的CVU 1000a和次要摄像头410a的另一示例布置。在这个示例中，对来自CVU 1000a的图像进行分析，以确定靠近商店出口的购物篮的装载状态。来自次要摄像头410a的图像被用于确定购物篮离开CVU 1000a的FOV(示出为虚线)并且移动通过摄像头410a的FOV(示出为双点划线)时的路径。因为FOV至少部分地重叠，所以防盗系统400能够具有很大的信心，即由CVU 1000a所识别的购物篮与摄像头410a跟踪的篮相同。图6C所示类型的布置能够是有利的，因为CVU 1000a进行的确定推车的装载状态的图像处理，比对来自次要摄像头410a的图像进行处理以确定篮朝向出口的路径，在计算上更加复杂，处理器负担更重。因此，CVU 1000a主要被用于装载状态确定(例如，满载，部分装载或空)，而次要摄像头图像被用于路径确定，这是对计算要求较少的任务。

注意，尽管在图6A和图6B中示出了三个CVU，在图6C中示出了一个CVU，但这只是为了说明，能够使用其他数量的CVU(例如2、4、5、6或更多个)。此外，在一些实现中，仅存在单个CVU(例如，具有图像处理器和RF通信节点)，并且其他的所示CVU中的一个或多个能够用次要摄像头代替。能够将CVU放置在一个、一些或所有的商店出口处，或者额外地或可替换地，放置在其他商店位置(例如，在高价值物品区域中，支付点附近等)。CTU能够代替部分或全部CVU。可以设想CVU、CTU或次要摄像头的布置和方向的许多变化。同样，CVU(和摄像头)的这些配置作为示例示出，以说明能够通过防盗系统400的各种实现有益地解决的各种防盗情况和特定于商店的要求，而不旨在限制。

各种因素能够影响CVU、CTU或次要摄像头在零售商店的装置中的数量和不置的选择。这些因素能够包括摄像头、CVU和CTU的FOV，商店的天花板高度(通常安装CVU、CTU和摄像头的位置)，购物篮在这些部件所成像的区域中移动的通常速度，支付点或高价值物品与商店出口之间的距离，对购物篮维持基本连续跟踪的需要，以及系统400将购物篮识别为盗窃风险并且采取防盗动作(例如，锁定购物车车轮)所花费的时间标度(例如，约100ms)。

三维(3D)成像

购物篮的3D图像可以提供更多信息供机器学习或计算机视觉分类器进行分析，并且可以使防盗系统能够更准确或更稳健地对购物篮的装载状态进行分类。3D图像可以包括二维(2D)图像加上在垂直于2D图像的平面的方向上的距离或深度信息。

空的购物篮具有平坦的底部，而至少部分装载的篮将具有在平坦的底部上方延伸的物品。因此，非空购物篮具有与空购物篮明显不同的3D拓扑图。这种拓扑图能够至少部分地被用于确定篮是非空的，但也可以提供有关购物篮中物品类型的信息(例如，婴儿尿布的拓扑图由于其大致为立方的包装与酒为瓶装的拓扑图而有所不同)。因此，在一些实现中，防盗系统400包括提供深度信息的传感器。如参考图4A所述，这样的传感器460能够包括深度相机，摄像头的立体视镜对，超声传感器，飞行时间传感器，激光雷达(扫描或非扫描)，毫米波雷达等。

例如，能够使用两个摄像头来形成购物篮的立体图像，并且能够使用立体成像技术来得出深度信息。由于摄像头、CVU等常常被安装在零售设施的天花板上，并且天花板在购物篮底部上方的高度在约3m至5m的范围内，因此估计这对立体摄像头可以被放置为相隔约20cm至50cm，以提供足够的立体分离。一对立体摄像头能够被布置在CVU或CTU的壳体内，或者CVU或CTU的摄像头410能够与附近的次要摄像头410a配对以提供立体深度感测功能。

飞行时间(ToF)传感器(有时称为飞行时间阵列或非扫描激光雷达)能够与成像摄像头一起使用，以提供购物篮的3D图像。ToF传感器可以包括用于发射光脉冲的激光器和用于测量发射与从物体反射回来的光信号之间的时间的定时电路。测得的时间(和光速)提供了到物体的距离。合并ToF传感器和成像摄像头的集成ToF摄像头模块可从AnalogDevices,Inc.(Norwood,MA)获得。Analog Devices还提供ADDI9036 CCD ToF信号处理器和AD-96TOF1-EBZ 3D ToF开发平台。

在一些实现中，在光学ToF传感器之外额外地或可替换地，能够使用声超声传感器来提供距离/深度信息。例如，能够用成像摄像头视线瞄准高频(例如，大于100kHz)的超声测距传感器。超声传感器能够具有相对狭窄的视场(为篮中的物体提供足够的分辨率)和足够高的脉冲重复率(由于购物篮移动而提供足够的时间分辨率)。与从非空购物篮中的商品的表面散射时相比，当从购物篮(通常是金属或塑料网)的底部散射时，反射的超声波脉冲的高频结构是不同的。超声波信号能够被用于简单地检测购物篮中是否有物品，或(具有足够窄的FOV)识别购物篮中物品的深度轮廓。

在一些实现中，雷达传感器能够被用于提供深度感测能力。一个雷达传感器的示例是可从Smart Radar System(Gyeonggi-do,Korea)获得的RETINA 4D图像雷达，该雷达提供3D位置信息和速度。RETINA雷达能够生成4D点云，能够通过神经网络对点云进行分析以识别点云内的物体。

3D图像能够被用于训练机器学习或计算机视觉模型，并且附加的深度信息(与2D图像相比)能够帮助提供对购物篮的装载状态的更准确或更稳健的估计。此外，由于不同类型的商品将具有不同的深度特征，因此机器学习或计算机视觉模型能够学习区分不同类型的商品，并且可以被配置为将这种类型的信息纳入装载状态(例如，与装载有农产品的篮比，较高的装载状态用于装有酒瓶的篮)。

识别购物推车中的儿童

如参考图2B所述，购物推车30可以包括儿童座椅1620，购物者能够在其中放置小孩。可以将小孩放在购物篮205本身中。窃贼可能会用小孩掩藏物品，分散注意力或掩饰其意图(例如，带小孩的父母不太可能被视为小偷)。因此，防盗系统400的一些实现可以被配置为确定购物车中是否存在小孩(包括婴儿)。

能够分析由系统400(例如，从CVU，CTU或次要摄像头)获得的图像(2D或3D)以进行这个确定。放置在推车中的物品(在购物篮205或儿童座椅1620中)倾向于不相对于推车移动，而小孩确实倾向于相对于推车移动(例如，移动头部、手臂或腿，摇动身体等)。因此，推车中的物体是否为儿童的判别因素是该物体是否相对于推车运动。能够分析图像的时间序列(2D或3D)，以确定哪些对象(如果有)相对于推车本身的平移或旋转运动进行移动。例如，能够在时间序列的持续时间内比较物体相对于推车中的固定位置的位置(例如，相对于手柄1610，相对于篮的侧壁等)的位置，以区分物体是否相对与推车移动并且因此区分物体是否可能是儿童。在3D图像的情况下，深度信息能够为孩子提供判别式，因为孩子的深度特征(头部，手臂，躯干，腿)与通常的零售商店商品不同。

购物篮的示例路径和潜在的盗窃

图7示意性地示出了在零售商店的入口/出口附近的购物篮所采取的路径的示例。显示的空购物篮没有阴影线，至少部分装载的篮显示有阴影线。在这个说明性示例中，购物篮是购物车30a-30e的一部分，但这只是为了说明，而不是限制。购物篮(在这个示例中为购物推车)所采取的路径上的符号指示有推出盗窃的可能性，如将在下面进一步描述的。购物车30a-30e所采用的路径能够如上所述的由CVU确定。例如，图6A-6C中所示的CVU的配置可以适合于对商店入口/出口以及高价值物品所在的区域和支付点所在的区域进行成像。

在图7中的推车30a-30e的路径上用符号注释，这些符号以图形方式显示属性和盗窃可能性。圆被用于进入的购物车，空心圆指示空的购物车，实心圆指示至少部分装载的购物车。正方形用于指示离开的购物车，空心正方形指示空的购物车，实心正方形指示至少部分装载的购物车。以实心四角星形示出存在高盗窃可能性的离开推车。

推车30a正在进入商店，并且确定要未装载。推车30a的路径用空心圆标注。推车30b也进入商店，并且CVU确定推车至少部分地被装载。这可能是由于儿童或手提包位于打开的儿童座椅中，或者由于存在存储在商店外部且购物者已将其放入购物篮中的物品。推车30d和30e正在离开商店。推车30e未装载并且没有被盗的可能性。

推车30d被装载，但是，因为它正从支付点方向接近出口，所以推车30d可能不存在被盗的可能性。为了进一步确认购物车30d的支付状态，防盗系统400可以查询支付点(例如，收银机34或移动支付点35)以确定购物车30d是否实际通过了活跃的结账通道(例如，在通道上花费足够的时间来指示付款)，或使用移动付款应用程序为推车篮中的物品付款。如果是这样，则系统400能够向推车30d发出离开许可。在使用结帐屏障(CB)的实现中，命令可以是解锁CB以允许离开。如果没有进一步的支付标记，则推车30d可能试图通过来自支付点的方向来模拟支付，或者快速通过支付点而没有花费足够的时间来指示支付已经发生，并且系统400可以向推车30d的收发器发出防盗命令。假定推车30d来自支付点的方向，则这个命令可以是警告命令(而不是锁定命令)。在使用结帐屏障(CB)的实现中，命令可以是保持CB锁定以防止推车30d离开。防盗系统40可以向商店人员发出命令以来到达相关联的CB或出口来确定购物者是否实际已经为商品付款。

确定推车30c已经被装载并且正在从高价值物品所在的方向而不是支付点的方向接近出口。推车30c代表增加了被盗的可能性，并且被标有实心星星。防盗系统400能够查询支付点以确定推车30c先前是否经过支付点。如果是这样，则推车30c可能随后进入了高价值物品区域，并且将高价值物品放置在购物车篮中而未付款。系统400可以拒绝向推车30c发出离开许可(或拒绝打开结账屏障)，而是向购物车30d发出锁定命令或向商店人员发出警报，以试图防止商品可能从商店被盗。

前述示例旨在说明而非限制能够使用CVU的图像处理能力由防盗系统400的实现来执行的逻辑。

尽管图7中所示的符号通常旨在进行描述，但是在一些实现中，CVU所获取的图像(例如，经常是视频)能够用类似于图7所示的标记覆盖(或注释)。例如，能够(例如，通过图像处理器420或远程处理节点)处理由CVU获取的视频，以显示推车路径。能够使用不同的颜色或符号来区分进入或离开的推车或具有不同盗窃可能性的推车的路径(例如，类似于图7中所示的符号)。经授权的商店人员能够访问带注释的图像，以观看发生推出情况的出口事件。

用于防盗系统的示例机器学习技术

在一些实现中，CVU 1000(例如，图像处理器420)实现一个或多个物体识别器，其能够爬行通过所接收的数据(例如，图像的采集)并且认出或绘制点，给图像加标签，为物体附加语义信息(例如，购物推车，机动化的机动性推车，购物篮，空的，已装载的等)等。

物体识别器可以认出购物篮，购物推车，机动化购物推车或机动性推车，购物篮内的物品和商品(其能够包括在购物推车底部的下篮)，推车的儿童座位中的物体的存在(例如，儿童或手提包)，与正在推动或操作推车的用户相关联的标记(例如，特定样式的衬衫(例如，格子或条纹的)，特定的裤子，裙子，夹克或帽子)，用户特征(例如，面部特征，身体特征)等。对象识别器可以例如通过识别该人穿着商店制服、识别标签等识别商店人员。在一些实现中，出于隐私目的，对象识别器不识别面部或身体特征。

物体识别器可以认出商店中的入口/出口，结账通道或其他物体。一个或多个对象识别器可以专门识别具有某些特征的物体。例如，一个物体识别器可以被用于认出购物篮，而另一物体识别器可以被用于识别购物篮中的物品或商品，而另一物体识别器可以被用于认出与购物篮相关联的用户的特征等。

通过分析多个顺序图像(例如，来自视频的帧)，物体识别器能够确定购物篮进入或离开商店时的篮的路径。在一些情况下，物体识别器可以对购物推车行为，例如进入或退出进行分类，而不是确定路径(或除了确定路径之外)。

物体识别可以使用多种计算机视觉技术来执行。一种或多种计算机视觉算法可以被用来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)，加速稳健特征(SURF)，定向FAST和旋转BRIEF(ORB)，二进制稳健不变可扩展关键点(BRISK)，快速视网膜关键点(FREAK)，Viola-Jones算法，特征脸方法，Lucas-Kanade算法，Horn-Schunk算法，均值漂移算法，视觉的同时定位和地图创建(vSLAM)技术，序贯贝叶斯估计器(例如，卡尔曼滤波器，扩展卡尔曼滤波器等)，光束平差法，自适应阈值法(和其他阈值技术)，迭代最近点(ICP)，半全局匹配(SGM)，半全局块匹配(SGBM)，特征点直方图，各种机器学习算法(例如支持向量机，关联向量机，k-最近邻聚类算法，朴素贝叶斯(Naive Bayes)，神经网络(包括卷积或深度神经网络)，或其他有监督/无监督模型等)，等等。

物体识别能够额外地或可替换地通过各种机器学习算法来执行。训练后，机器学习算法能够由CVU 1000(例如，图像处理器420)存储。机器学习算法的一些示例能够包括有监督或无监督的机器学习算法，包括回归算法(例如，普通最小二乘回归法，逻辑回归(例如，Logit模型))，基于实例的算法(例如，学习矢量量化)，决策树算法(例如，分类和回归树)，贝叶斯算法(例如，朴素贝叶斯)，聚类算法(例如，k均值聚类)，关联规则学习算法(例如，先验算法)，人工神经网络算法(例如，感知机)，深度学习算法(例如，深度波尔兹曼机或深度神经网络)，降维算法(例如，主成分分析)，集成算法(例如，堆栈泛化)，和/或其他机器学习算法。

机器学习模型能够包括神经网络，例如卷积神经网络、递归或循环神经网络，堆叠式自动编码器等。神经网络能够包括具有许多层(例如，大于3层、5层、10层或更多层)的深度神经网络。神经网络能够包括卷积层，池化层，完全连接的层，分类器层(例如，soft-max)，激活函数(例如，修正线性单元)，损耗层等。能够使用有监督或无监督的学习技术来学习神经网络中的权重。

可以针对单独的应用或安装定制单独的机器学习模型。例如，CVU 1000能够存储用于分析购物篮图像的默认模型。默认模型可以被用作生成特定于CVU安装处的条件的附加模型的起点。例如，当被安装在具有特定出口的特定商店中时，物体识别器能够学习CVU正在监视的出口的特定特征，并且学习该特定零售商店使用的购物篮、购物推车等的特定特征。例如，CVU能够使用应用于安装后获取的图像的有监督或无监督的训练技术来更新计算机视觉、机器学习或物体识别算法。因此，默认的计算机视觉、机器学习或物体识别器能够特定于其分析图像的特定环境。计算机视觉、机器学习或物体识别器能够随着时间的推移继续学习，并且能够在其物体识别任务上变得更加高效和准确。

在一些实现中，机器学习技术能够使用TensorFlow^TM或TensorFLow Lite(可从www.tensorflow.org获得)或使用Torch^TM(可从torch.ch获得，或Python实现，PyTorch^TM，可从pytorch.org获得)，每一个都提供了一个开源软件库，用于对机器学习应用进行编程，例如使用神经网络进行图像识别。神经网络能够包括卷积神经网络(CNN)，并且可以是深度网络(例如，包括3层或更多层的人工神经网络，其中对每一层进行训练以提取图像的一个或多个特征)。在一些实现中，卷积层之后能够是一个或多个完全连接的(层)，支持向量机(SVM)，softmax层，或其他类型的分类层。例如，神经网络的输出可以是分类，例如购物篮的装载状态。如本文所述，装载状态可以指示购物篮已被装载或未装载，或者是空的，部分装载或满载的，分数，数值范围等。作为另一个示例，神经网络的输出可以是分类：购物篮正在进入商店(例如，这不表示潜在的盗窃事件)或离开商店(例如，这表示潜在的盗窃事件)。

机器学习技术能够经由有监督或无监督的学习方法来训练。例如，能够(例如，从CVU、CTU或商店监视系统)获得进入或离开商店出口的购物篮的训练图像，并且以装载状态，例如空，部分装载商品或满载商品进行分类。在一些情况下，训练图像被分割成包括购物篮的前部而不包括儿童座椅1620的区域(见图2B)。这有利地可以减少训练或分类问题，因为机器学习技术不需要处理可能包括在儿童座椅1620中的儿童(或手提包或其他非商品物品)的图像。

语义信息，例如购物篮的类型(例如，人力推进的推车，机动化推车，手提篮)，购物篮进入或离开商店，篮中是否存在高价值物品等也能够归类在训练图像中。在一些实现中，训练图像被手动注释/分类。这个训练数据能够由机器学习技术(例如，具有完全连接的层分类器的卷积神经网络)来学习如何分析和分类新图像。训练可以由参考图4B描述的云平台470来执行。

在防盗系统400的使用期间，能够继续获得购物篮的图像并且对其进行分类/注释，并且这些图像能够被用于进一步训练或更新机器学习技术。能够检查或分析购物推车路径的图像(例如，参见图7)，以改进装载或未装载的推车的不明确的分类或识别。使用例如RF技术获得的推车位置或路径数据，能够与通过图像处理技术确定的位置或路径数据进行比较，以改进系统的位置或路径确定性(例如，使用机器学习训练方法)。

因此，机器学习技术能够针对安装了防盗系统400的实际零售商店环境随着时间推移特殊化，这在认出潜在的盗窃情况时能够有利地导致提高的准确性，效率或改进的性能。

用于防盗系统的示例处理流水线和工作流

图8示出了用于训练机器学习(ML)模型的处理流水线的示例。该流水线能够由例如参考图1、图4A和图4B描述的防盗系统400的云平台470执行。流水线接收从多个CVU、CTU、次要摄像头、商店监视系统等收集的图像数据。图像数据能够来自单个零售设施或多个零售设施。流水线能够经由ML培训应用程序(app)800访问或控制，该应用程序可以是到云平台470的基于web的界面。例如，系统管理员可以使用ML训练app来开始训练ML模型，查找有关CVU状态的信息(例如，从CVU信息的数据库810)，将更新的ML模型传达给特定的CVU或CVU。因为接收到的图像数据可以来自一个或多个特定商店，所以可以为该(或多个)特定商店定制训练后的ML模型。例如，一些商店可以使用带有塑料网(而不是金属丝网)的购物篮，并且ML模型能够就来自那些商店的图像进行训练，以不仅更好地认出具有塑料网结构的篮，而且可以更好地认出被放置在这种篮中的商店商品。

在图8所示的流水线的点1，图像数据集经由WAN网关465从一个或多个CVU上传到云平台470。在点2，通知平台接收到新的图像数据集，在点3，准备图像数据集并且将其提交以进行数据标记(可以由人工分类器执行)。例如，能够在图像中识别购物篮，并且能够参考装载状态对购物篮进行分类。在点4，标记的成像数据集可用于训练ML模型。培训能够用于生成新的ML模型或更新现有的ML模型。

在流水线的点5，ML app 800能够被用于选择带有标记数据的CVU进行训练或向云平台470提供其他控制指令。在点6，ML训练的实例可以由云平台470中的计算引擎来启动和执行。计算引擎能够训练新的ML模型或更新的ML模型，并且在点7，能够保存训练后的模型。在点8，能够通知CVU有新的或更新的ML模型可用，并且在流水线的点9，训练的模型能够通过CVU下载。

图9示意性地示出了用于分析从防盗系统获得的图像的处理流水线的示例。流水线能够由参考图4B描述的云平台470来执行。流水线接收从多个CVU、CTU、次要摄像头、商店监视系统等收集的图像数据。图像数据能够来自单个零售设施或多个零售设施。如上所述，图像数据一般地包括零售商店中可能的推出盗窃事件的视频。在流水线的点1a和点1b，来自CVU、CTU、次要摄像头或其他商店监视系统的图像数据例如经由WAN网关465周期性地被上传到云平台470，并且被存储在云存储中。在点1c，由CVU确定的装载状态检测事件能够额外地或可替换地上传到云平台470。装载状态检测事件能够包括事件的时间戳和事件中涉及的购物篮的确定的装载状态(例如，空，部分装载，满载等)。图像数据能够包括注释，例如事件涉及的购物篮或推车周围、推车中的商品周围、使用购物篮的顾客周围的边界框等。在点2，可以向云平台470通知新的上传。

在流水线的点3a和点3b处，云平台470能够分析图像数据以确定例如图像元数据并且将元数据存储在云数据库810(例如，结构化查询语言(SQL)数据库)中。元数据能够包括从CVU检测事件确定的推断元数据。推论元数据能够包括，例如，购物篮在图像帧中所处的位置，事件的时间，执行装载状态确定需要多少时间，与ML模型的可以从图像数据正确推断装载状态的置信度相关的置信度值，图像分析中使用的ML模型权重和参数等。元数据还能够包括图像元数据，该图像元数据将从CTU、次要摄像头或商店监视视频(可能与装载状态确定不相关)获得的推出盗窃事件的图像数据与从CVU获得的事件的图像数据(这将与装载状态确定相关联)相关联。图像元数据可以包括有关来自CTU、次要摄像头或商店监视视频的图像数据与来自CVU的图像数据之间的相关性的信息。

图10示意性地示出了用于实时事件检测或来自防盗系统的直播流的处理流水线的示例。处理流水线能够被用于提供参考图4B描述的实时事件检测或直播流476。处理流水线能够使用由参考图8描述的ML app 800来管理。由于图像数据的实时流传输可能会利用WAN网关465的大量带宽，因此直播流传输功能只在需要时才激活，例如，由系统管理员或经授权的现场服务人员或零售商店人员来执行，以进行防盗系统400的诊断、测试、安装、或维护。

在流水线的点1，启用直播检测，并且在点2，启动直播流服务器。在点3，来自CVU、CTU、次要摄像头或商店监视系统的图像数据经由WAN网关465流传输到云平台470。ML app800能够包括可以显示流图像数据的流播放器840。在各种实现中，WAN网关465能够实现一个或多个流协议，例如，实时流协议(RTSP)，HTTP直播流(HLS)或实时消息传输协议(RTMP)。

图11示意性地示出了用于来自防盗系统400的图像数据的商业智能(BI)分析的流水线的示例。在流水线的点1，ETL(提取，转换，加载)过程能够被用来访问数据库810，并且对由云平台470存储的图像数据和元数据运行所需的BI查询。在流水线的点2，图像数据可以从云平台下载到流查看器840，流查看器840可以是用于与云平台470交互的ML app 800的部件。如上所述，云平台470能够存储在零售商店的可能的推出盗窃事件的图像数据(例如，视频)。图像数据能够包括从CTU、次要摄像头或商店监视视频(可能与装载状态确定不相关)获得的推出盗窃事件的视频852以及从CVU获得的推出盗窃事件的视频854(这将与装载状态确定相关联，例如购物篮是否是空的、部分装载的或满的)。经授权的商店人员或系统管理员能够观看推出盗窃视频，对图像数据和元数据运行分析等。例如，如图11的示例中所示，监视视频852示出了推出盗窃正在发生，并且该事件的相关联的CVU视频将购物篮标识为满。这个示例表示由防盗系统成功完成的推出盗窃检测(由图11中的复选标记表示)。BI查询能够包括有关系统生成的假阳性(例如，错误地标识为盗窃的无辜事件)或假阴性(例如，错误地标识为无辜的推出盗窃)的信息，有关频率、发生时间的统计信息，或推出盗窃的估计损失金额等。

参照图8至图11所描述的示例流水线旨在是说明性的而不是排他性的。云平台470可以被配置为在各种实现中执行这些流水线中的一个、一些或全部的功能。

图12示意性地示出了CVU 1000中的处理流水线的示例。处理流水线能够至少部分地由CVU的处理器420执行。上面已经描述了CVU 1000的许多功能，在此不再赘述。在这个示例流水线中，CVU被配置为提供购物车30的装载状态，其包括用于存储商品的购物篮205。在这个示例中，出于说明性目的，装载状态为空或满，但是如本文所述，能够提供更一般的装载状态。处理器420被编程为执行分类引擎1202和检测引擎1204。

在流水线的点1a处，将图像数据(例如，商店的监视区域的视频)发送到分类引擎1202，分类引擎1202执行ML推出分类模型。能够将分类模型训练来识别推车在图像中的存在(或不存在)和推车在图像中的位置。推车分类模型可以分割图像以识别推车的购物篮部分。由于图像通常包括推车以外的东西，因此分类模型还能够就图像中是否包含人(例如，推推车的购物者或商店工作人员或推车中的小孩)或其他有生命的物体(例如，服务性动物)来将图像分类。在流水线的点2，能够将分类的图像(以及由分类引擎所确定的分类元数据)存储在推车图像数据集中。可以用在图像中分类的物体(例如，推车，篮，购物者等)周围的边界框注释分类的图像。在一些情况下，不存储不包含购物车的图像，这有利于减少内存使用。

在流水线的点1b处，图像数据被传达到检测引擎1204，检测引擎1204执行ML检测模型以确定推车(或篮)的装载状态。ML分类模型能够与ML检测模型不同，ML检测模型可以有利地允许对这些ML模型中的每一个进行针对其各自任务进行训练。在其他实现中，ML分类模型和ML检测模型是同一ML模型的一部分，由于分类和检测任务之间存在重叠，因此可以有利地允许以整合方式训练ML模型。在一些实现中，分类引擎1202在执行检测引擎1204之前执行。如果分类引擎1202确定图像中没有推车，则可以不执行检测引擎1204，这有利地节省了功率和处理周期并且提高了效率。在其他实现中，分类引擎1202充当预处理器，并且仅在图像中检测到推车时才执行检测引擎1204。这也有利地节省了功率和处理周期并且提高了效率。

在流水线的点3处，将装载状态(例如，在此示例中为“FULL(满)”或“EMPTY(空)”)传达到门管理器450(例如，参照图1A、图1B和图4A进行描述)，以对推车采取适当的防盗动作。例如，如果检测引擎确定推车FULL，则启用锁定状态能够被传达到门管理器450，门管理器450将锁定命令传达到推车的智能锁定轮215。如果检测引擎确定推车为EMPTY，则禁用锁定状态能够被传达给门管理器450，门管理器450可以不采取任何动作来致动车轮锁或者可以将解锁命令传达给推车的智能锁定轮215。

在流水线的点4处，能够将检测元数据(例如，装载状态)传达到云平台470。

图12中示意性示出的处理流水线能够被用于CVU 1000的各种实现中，如在图8至图11中示意性示出的流水线中所描述的，其能够与云平台470互通。

附加方面

方面1.一种防盗系统包括：计算机视觉单元(CVU)，其被配置为对设施的区域成像，该CVU包括：摄像头；射频(RF)通信节点；以及图像处理器；人力推进的轮式推车，其包括：被配置为持有商品的篮；包括制动器的车轮，该制动器被配置成在制动器被致动时禁止推车移动；以及RF推车收发器，其被配置为与CVU的RF通信节点和制动器通信，其中图像处理器被编程为分析由摄像头获得的设施区域的图像，以：确定推车的篮至少部分装载有商品；和确定推车正在试图离开设施的区域，其中，RF通信节点被配置为：向RF推车收发器传达命令以致动车轮的制动器。

方面2.根据方面1所述的防盗系统，其中该CVU还被配置为：与设施的支付点进行通信；以及从支付点接收尚未为推车的篮中的商品付款的指示，其中，该指示在向RF推车收发器传达命令以致动车轮的制动器之前接收。

方面3.根据方面1或方面2所述的防盗系统，其中该图像处理器被编程为将神经网络应用于由摄像头所获得的图像。

方面4.根据方面1至3中任一所述的防盗系统，其中该图像处理器被进一步编程为确定推车在设施的区域中的路径。

方面5.根据方面1至4中任一所述的防盗系统，其中CVU被进一步编程为将该区域的图像存储在远程非暂时性计算机存储介质中。

方面6.根据方面1至5中任一所述的防盗系统，其中摄像头、RF通信节点和图像处理器被布置在壳体中，该壳体被配置为被安装至设施中的结构处。

方面7.根据方面1至5中任一所述的防盗系统，其中摄像头和RF通信节点被布置在壳体中，该壳体被配置为被安装至设施中的结构处，图像处理器被布置为远离该壳体。

方面8.根据方面1至7中任一所述的防盗系统，其中设施包括零售商店，并且人力推进的推车包括购物推车。

方面9.根据方面8所述的防盗系统，其中该区域包括商店入口、商店出口、结帐通道、支付点或存储高价值商品的区域。

方面10.一种减少零售商店中商品被盗的方法，该方法包括：在包括计算机硬件的防盗系统的控制下：获得零售商店的区域的图像；从图像识别该区域中是否存在购物篮；从图像确定指示购物篮是否至少部分装载了商品的装载状态；接收指示是否已为购物篮中的商品付款的付款信息；以及至少部分地基于装载状态和支付信息来传达防盗命令。

方面11.根据方面10所述的方法，其中该识别或该确定的操作使用神经网络来执行。

方面12.根据方面10或方面11所述的方法，还包括从图像确定购物篮在该区域中的路径。

方面13.根据方面10至12中任一所述的方法，其中接收付款信息包括：获得支付点的第二图像；从第二图像，确定购物篮是否通过了支付点，是否在支付点附近花费了超过阈值时间，是否与商店服务员互动，或是否在支付点访问了付款系统。

方面14.根据方面10至13中任一所述的方法，还包括确定与射频(RF)接收器相关联的单播地址，其中，所述射频(RF)接收器与所述购物篮相关联。

方面15.根据方面10至14中任一所述的方法，其中传达防盗命令包括：与关联于所述购物篮的收发器通信，与结账屏障通信，与关联于所述购物篮所关联的车轮的制动器通信，或与所述零售商店的视频监控系统通信。

方面16.根据方面10至15中任一所述的方法，其中防盗命令包括用于锁定或制动与购物篮相关联的车轮的命令，用于启动警报或警告的命令，或者给商店人员的盗窃情况正在发生的命令。

方面17.根据方面10至16中任一所述的方法，其中购物篮与轮式的人力推进的购物推车相关联。

方面18.根据方面17所述的方法，其中购物推车包括具有制动器的车轮，防盗命令包括致动制动器的命令。

方面19.根据方面10至16中任一所述的方法，其中购物篮与手持式购物篮相关联。

方面20.根据方面10至19中任一所述的方法，还包括：分类零售店的区域的图像，以标注购物篮或购物篮的装载状态，以提供一组训练图像；以及使用该组训练图像训练机器学习算法。

方面21.一种用于零售设施的防盗系统，该防盗系统包括：摄像头，其被配置为对零售设施的区域成像；与摄像头通信的硬件电路，该硬件电路被配置为：用机器学习(ML)分类模型分析由相机获得的区域的图像，以确定图像中存在购物篮；响应于确定的购物篮在图像中的存在，用ML检测模型分析区域的图像，以确定图像中购物篮的装载状态；以及，将与购物篮的装载状态相关的信号传达到购物篮围护系统。

方面22.根据方面21所述的防盗系统，其中该摄像头包括多个摄像头。

方面23.根据方面22所述的防盗系统，其中该多个摄像头被配置为获取区域的立体图像。

方面24.根据方面21至23中任一所述的防盗系统，其中该多个摄像头包括具有第一视场(FOV)的第一摄像头和具有第二FOV的第二摄像头，第一FOV与第二FOV至少部分重叠。

方面25.根据方面24所述的防盗系统，其中硬件电路用ML分类模型和ML检测模型分析的区域的图像由第一摄像头获取，并且硬件电路还被配置为分析由第二摄像头获得的图像以确定购物篮穿过该区域的路径。

方面26.根据方面21至25中任一所述的防盗系统，其中摄像头包括偏振透镜或偏振滤光片。

方面27.根据方面21至26中任一所述的防盗系统，其中该系统被配置从深度相机、激光雷达传感器或光学或超声飞行时间传感器获得深度信息。

方面28.根据方面27所述的防盗系统，其中硬件电路被配置为分析该深度信息。

方面29.根据方面21至28中任一所述的防盗系统，其中ML分类模型和ML检测模型是不同的ML模型。

方面30.根据方面21至29中任一所述的防盗系统，其中装载状态包括数值范围、等级或得分。

方面31.根据方面21至30中任一所述的防盗系统，其中装载状态包括空、至少部分满或满。

方面32.根据方面21至32中任一所述的防盗系统，其中购物篮是轮式购物推车的一部分，轮式购物推车具有包括制动器并且被配置为从篮围护系统接收制动信号的车轮。

方面33.根据方面21至32中任一所述的防盗系统，其中篮围护系统与防盗系统分开。

方面34.根据方面21至33中任一所述的防盗系统，其中硬件电路被配置为接收指示是否已经为购物篮中的商品付款的支付信息。

方面35.根据方面34所述的防盗系统，其中与装载状态相关联的信号还基于该支付信息。

方面36.一种防盗系统包括：计算机视觉单元(CVU)，其被配置为对设施的区域成像，该CVU包括：摄像头；射频(RF)通信节点；以及图像处理器；以及接入点装置，其被配置为与CVU的RF通信节点通信和与人力推进的轮式推车中的RF收发器通信，该轮式推车包括：被配置为持有商品的篮；包括制动器的车轮，该制动器被配置成在制动器被致动时禁止推车移动，该制动器与RF收发器通信，其中图像处理器被编程为分析由摄像头获得的设施区域的图像，以：确定轮式推车的篮的装载状态；和确定推车正在试图离开设施的区域，并且其中，CVU的RF通信节点被配置为：将潜在被盗命令传达给接入点。

方面37.根据方面36所述的防盗系统，其中装载状态包括分类、数值范围或分数。

方面38.根据方面36或方面37所述的防盗系统，其中分类包括篮是空的指示，或者篮被部分装载的指示，或者篮被完全装载的指示。

方面39.根据方面36至38中任一所述的防盗系统，其中该系统被配置为：与设施的支付点进行通信；以及从支付点接收尚未为推车的篮中的商品付款的指示。

方面40.根据方面36至39中任一所述的防盗系统，其中该图像处理器被编程为将神经网络应用于由摄像头所获得的图像。

方面41.根据方面36至40中任一所述的防盗系统，其中该图像处理器被进一步编程为确定推车在设施的区域中的路径。

方面42.根据方面36至41中任一所述的防盗系统，其中设施包括零售商店，并且人力推进的推车包括购物推车。

方面43.根据方面42所述的防盗系统，其中该区域包括商店入口、商店出口、结帐通道、支付点或存储高价值商品的区域。

方面44.根据方面36至43中任一所述的防盗系统，其中摄像头包括深度相机或立体摄像头。

方面45.根据方面36至44中任一所述的防盗系统，其中响应于潜在的被盗命令的接收，接入点被配置为将防盗信号传送到推车的RF收发器。

方面46.根据方面45所述的防盗系统，其中该防盗信号包括致动制动器的信号。

其他信息

本文中所描述的各种说明性的逻辑块、模块和过程可以由机器来实现或执行，例如计算机、处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件、或被设计为执行本文中所描述的功能的任何组合。处理器可以是微处理器、控制器、微控制器、状态机、图形处理器、张量处理器、其组合等。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器或处理器内核、一个或多个图形或流处理器、一个或多个微处理器与DSP的组合，或者任何其他这样的配置。

此外，例如由于所涉及的计算(例如，使用计算机视觉或机器学习分析图像数据)的量或复杂性或者为了基本上实时地提供结果(例如，确定靠近商店出口的购物篮是否至少已部分装载)(例如，以便可以在购物篮靠近商店出口之前或同时执行防盗动作)，本公开的物体定位系统的某些实现在数学上、计算上或技术上是足够复杂的，以致可能需要专用硬件(例如，FPGA或ASIC)或者一个或多个物理计算设备(利用适当的可执行指令)来执行功能。

本文中所描述的过程的方框或状态可以直接被包含在硬件中，体现在被存储在非临时性存储器中并由硬件处理器执行的软件模块中，或体现在这两者的组合中。例如，上述每个过程还可以被包含在由一个或多个机器例如计算机或计算机处理器执行的软件模块(其被存储在非临时性存储器中)中并且通过该软件模块被完全自动化。模块可以存在于例如RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、光盘、能够存储固件的存储器等非暂时性计算机可读介质中，或者任何其他形式的计算机可读介质(例如，存储)介质。计算机可读介质能够被耦合到处理器，使得处理器能够从计算机可读介质读取信息并且将信息写入计算机可读介质。或者，计算机可读介质可以被集成到处理器中。处理器和计算机可读介质可以在ASIC中。计算机可读介质可以包括非瞬态数据存储器(例如，硬盘、非易失性存储器等)。

过程、方法和系统可以在网络(或分布式)计算环境中实现。例如，中央控制单元或基站或推车围护系统的其他部件能够在分布式的联网计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个域网(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线的或无线的网络、地面或卫星网络或任何其他类型的通信网络。

根据示例，本文中所描述的任何过程或方法的某些动作、事件或功能能够以不同的顺序执行，可以被添加、合并或完全省略。因此，在某些示例或实现中，并非所有描述的动作或事件对于过程的实践都是必需的。此外，在某些示例或实现中，可以例如通过多线程处理、中断处理或经由多个处理器或处理器核心来同时地而不是顺序地执行动作或事件。在任何装置、系统或方法中，没有元素或动作对于所有示例或实现是必需的或不可或缺的，并且所公开的装置、系统和方法能够以不同于所示的或所描述的来布置。

除非另有明确说明，或者在上下文中以其他方式理解，否则本文中所使用的条件语言，例如“能够”、“可能”、“可以”、“例如”等通常旨在传达某些示例或实现包括某些特征、元素和/或状态，而其他示例或实现不包括某些特征、元素和/或状态。因此，这样的条件语言通常地不旨在暗示一个或多个示例或实现以任何方式需要特征、元素和/或状态，或者一个或多个示例或实现必然包括用于在有或者没有作者输入或提示的情况下决定这些特征、元素和/或状态是否被包括在任何特定实施例中在或将在任何特定示例或实现中执行的逻辑。术语“包括”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除其他的元素、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其排外含义)使用，因此当被用于例如连接一系列元素时，术语“或”意思是列表中的一个、一些或全部元素。

除非另外特别说明，否则连接语言例如短语“X、Y和Z中的至少一个”是通常根据所使用的环境中进行理解的，用于表达条款、术语等可以是X、Y或者Z。因此，这样的连接语言通常地并不旨在暗示某些示例或实现要求存在X中的至少一个、Y中的至少一个和Z中的至少一个中的每一个。在本说明书及所附权利要求中，冠词“一”或“该”在提及元素时意指一个或多个元素，除非上下文另有明确指示。

尽管以上详细描述已经示出、描述并且指出了应用于各种示例或实现的新颖特征，但是将理解的是，可以不脱离本公开的精神对所示出的逻辑块、模块和过程的形式和细节作出各种省略、替换和更改。如将认识到的，由于一些特征可以与其他特征分开使用或实施，本文中所描述的本发明的某些示例可以在不提供本文中所阐述的所有特征和益处的形式内实施。

Claims (20)

1.一种防盗系统，包括：

计算机视觉单元(CVU)，其被配置为对设施的区域进行成像，所述CVU包括：

摄像头；

射频(RF)通信节点；以及

图像处理器；以及

人力推进的轮式推车，其包括：

被配置为持有商品的篮；

包括制动器的车轮，所述制动器被配置为在所述制动器被致动时禁止所述推车移动；以及

RF推车收发器，其被配置为与所述CVU的所述RF通信节点和所述制动器通信，

其中所述图像处理器被编程为分析由所述摄像头获得的所述设施的所述区域的图像，以：

确定所述推车的所述篮被至少部分装载有商品；和

确定所述推车正在试图离开所述设施的所述区域，

其中，所述RF通信节点被配置为：

向所述RF推车收发器传达命令以致动所述车轮的所述制动器。

2.如权利要求1所述的防盗系统，其中所述CVU进一步被配置为：

与所述设施的支付点通信；

从所述支付点接收尚未为所述推车的所述篮中的商品付款的指示，

其中，所述指示在向所述RF推车收发器传达命令以致动所述车轮的所述制动器之前接收到。

3.如权利要求1所述的防盗系统，其中所述图像处理器被编程为将神经网络应用于由所述摄像头获得的图像。

4.如权利要求1所述的防盗系统，其中所述图像处理器进一步被编程为确定所述推车在所述设施的所述区域中的路径。

5.如权利要求1所述的防盗系统，其中所述CVU进一步被编程为将所述区域的图像存储在远程非暂时性计算机存储介质中。

6.如权利要求1所述的防盗系统，其中所述摄像头、所述RF通信节点和所述图像处理器被布置在壳体中，所述壳体被配置为被安装至所述设施中的结构处。

7.如权利要求1所述的防盗系统，其中所述摄像头和所述RF通信节点被布置在壳体中，所述壳体被配置为被安装至所述设施中的结构处，所述图像处理器被布置为远离所述壳体。

8.如权利要求1所述的防盗系统，其中所述设施包括零售商店，所述人力推进的推车包括购物推车。

9.如权利要求8所述的防盗系统，其中所述区域包括商店入口、商店出口、结帐通道、支付点或存储高价值商品的区域。

10.一种减少零售商店中商品被盗的方法，所述方法包括：

在包括计算机硬件的防盗系统的控制下：

获得所述零售商店的区域的图像；

从所述图像识别所述区域中是否存在购物篮；

从所述图像确定指示购物篮是否至少部分装载商品的装载状态；

接收指示是否已为所述购物篮中的商品付款的付款信息；以及

至少部分地基于所述装载状态和所述支付信息来传达防盗命令。

11.如权利要求10所述的方法，其中所述识别或所述确定使用神经网络来执行。

12.如权利要求10所述的方法，还包括从所述图像确定所述购物篮在所述区域中的路径。

13.如权利要求10所述的方法，其中接收付款信息包括：

获得支付点的第二图像；

从所述第二图像，确定所述购物篮是否通过了所述支付点，是否在所述支付点附近花费了超过阈值时间，是否与商店服务员互动，或是否在所述支付点访问了付款系统。

14.如权利要求10所述的方法，还包括确定与射频(RF)接收器相关联的单播地址，其中，所述射频(RF)接收器与所述购物篮相关联。

15.如权利要求10所述的方法，其中传达所述防盗命令包括与关联于所述购物篮的收发器通信，与结账屏障通信，与关联于所述购物篮所关联的车轮的制动器通信，或与所述零售商店的视频监控系统通信。

16.如权利要求10所述的方法，其中所述防盗命令包括用于锁定或制动与所述购物篮相关联的车轮的命令，用于启动警报或警告的命令，或者给商店人员的盗窃情况正在发生的命令。

17.如权利要求10所述的方法，其中所述购物篮与轮式的人力推进的购物推车相关联。

18.如权利要求17所述的方法，其中所述购物推车包括具有制动器的车轮，所述防盗命令包括致动所述制动器的命令。

19.如权利要求10所述的方法，其中所述购物篮与手持式购物篮相关联。

20.如权利要求10所述的方法，还包括：

分类所述零售店的所述区域的图像，以标注购物篮或所述购物篮的装载状态，以提供一组训练图像；以及

使用所述组的训练图像训练机器学习算法。

Images