CN108230553A - 一种镜像视觉识别自助售货机系统 - Google Patents

Abstract

本发明涉及一种镜像视觉识别自助售货机系统，包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，后台数据系统，后台服务系统，用户移动终端；本发明结合使用两种计算机视觉物体识别算法自动识别客户从货柜拿取的商品，有效地降低了传统计算机视觉识别的误差；同时利用镜面成像原理，有效的利用货柜的空间，在有限的层高和有限的低成本摄像头可视角度下，使得摄像头达到更大的拍摄面积，节约成本。

Description

一种镜像视觉识别自助售货机系统

技术领域

本发明涉及一种镜像视觉识别自助售货机系统。

背景技术

随着科学技术的不断突破，人们身上越来越多的生物特征被运用到各行业之中，图像识别就是利用图片上的特征结合已有的物理信息，来判断事物所处的状态。目前大多数的视觉识别技术的应用存在很大缺陷，由于技术限制，在短时间内识别对象的行为往往采用快速算法，失误率很高，影响技术的正常使用，而准确率高的慢速算法却往往满足不了实时识别的市场需求。自助货柜采用快速算法识别用户的行为和消费状况，存在很大的失误率，难以推行，同时货柜内狭小空间不易布置多个摄像装置，存在很多拍摄死角，无法全面地拍摄到所有商品的摆放照片。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的镜像视觉识别自助售货机系统。

为达到上述技术方案的效果，本发明的技术方案为：一种镜像视觉识别自助售货机系统，包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，报警装置，后台数据系统，后台服务系统，用户移动终端；

货柜根据商品的尺寸进行分区，每个区内商品层叠放置，货柜内设有图像采集系统，货柜外表面设有解码装置；智能处理装置，通讯装置，报警装置位于货柜的后部；

解码装置可通过扫描用户移动终端上的包含有用户身份和付款账户的图片并且解码，来判定该用户是否为合法用户；

图像采集系统包括摄像装置和镜面成像装置；摄像装置包括两类摄像头，由不少于三个普通摄像头组成的摄像头组来拍摄镜面成像装置形成的图像，为第一类摄像头；由不少于两个全景摄像头组成的摄像头组来拍摄消费者在取物过程中行为的图片和视频，为第二类摄像头；镜面成像装置由光学反射镜片构成，光学反射镜片能够投射出货柜内全部商品的摆放情况，第一类摄像头通过光学反射镜片捕捉到货柜内全部商品的图像，第一类摄像头的拍摄面积由公式(1)计算：

其中Sg为第一类摄像头的拍摄面积，单位为平方米；Sc镜面成像装置中光学反射镜片的面积，单位为平方米；d为第一类摄像头在拍摄过程中距离光学平面镜片所形成的虚像的距离，单位为米；f为第一类摄像头的焦距，单位为毫米；γ第一类摄像头的视场角，取值为0°至90°；i为由于第一类摄像头的镜头的形状所引起的图象畸变因子，取0到1之间的有理数；

智能处理装置利用来自图像采集系统的图片和视频，采用慢速精确的Mask R-CNN算法，慢速精确的Mask R-CNN算法能够对获取的图片进行分区，提取到图片中物体的形状、颜色的特征，再将提取的特征进行判别，精细修正后来确定货柜门锁闭状态下的所述货柜内的商品库存；所述智能处理装置利用来自所述图像采集系统的图片和视频，采用FocalLoss修正的yolo实时物体识别算法，Focal Loss修正的yolo实时物体识别算法能够实时检测取物过程中人体的姿势姿态以及人与商品的交互动作；

通讯装置与解码装置，智能处理装置相连，能够利用4G无线传输技术传输将来自解码装置，智能处理装置的数据传输至后台数据系统；

报警装置利用4G无线传输技术传输，接收来自后台服务系统的报警信号；

后台数据系统接收来自通讯装置的数据，并进行处理，将处理结果传输至后台服务系统；

后台服务系统实时接收来自后台数据系统的用户信息，异常信号和消费信息，并能报警和对用户的账户进行扣款；

用户移动终端与后台服务系统通过无线网络相连，进行通讯；

其货柜取物的方法步骤是：

S1、用户使用前，货柜门处于锁闭状态，图像采集系统中的第一类摄像头利用镜面成像装置实时拍摄货柜内所有商品的摆放情况，并采用慢速精确的Mask R-CNN算法，通过识别货柜内不同商品的数量，得出货柜内不同商品的库存数据；通讯装置将上述库存数据传输至后台数据系统；

S2、用户利用用户移动终端上的包含有用户身份和付款账户的图片，通过解码装置的识别，判定为合法用户后，货柜门解锁；通讯装置将该用户信息传输至后台数据系统，后台服务系统实时接收来自后台数据系统的用户信息；

S3、摄像装置中的第二类摄像头拍摄用户在取物过程中行为的图片和视频，处理控制系统根据实时拍摄的图片和视频，采用Focal Loss修正的yolo实时物体识别算法，来实时检测第二类摄像头的摄像范围内的人体的姿势姿态以及人与商品的交互动作，当人体在取物过程中出现异常行为时，通讯装置将该异常信号实时传输至后台数据系统，后台服务系统接收来自后台数据系统的实时的异常信号，锁定该用户账户信息，并将报警信号传输至报警装置，报警装置报警；摄像装置实时保存该异常用户的操作视频；

S4、用户关闭货柜门，货柜门自动锁住，通讯装置将锁闭信号传输至后台数据系统；此时重复S1中的步骤，后台数据系统得到用户开闭货柜门前后的商品库存数据，根据商品的库存数据变化计算出用户的消费数据；

S5、后台数据系统根据步骤S3中用户的取物行为，来校验步骤S4中用户消费的商品及数量与用户当时的取物行为是否一致，进一步确定用户的消费数据；并将该消费数据传输至后台服务系统，后台服务系统与用户的付款账户进行通讯，实现自动扣费，该扣款信息可在用户的付款账户上查询到。

本发明的有益效果是：结合使用两种计算机视觉物体识别算法自动识别客户从货柜拿取的商品，有效地降低了传统计算机视觉识别的误差；同时利用镜面成像原理，有效的利用货柜的空间，在有限的层高和有限的低成本摄像头可视角度下，使得摄像头达到更大的拍摄面积，节约成本。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。

实施例一

一种镜像视觉识别自助售货机系统，包括货柜，二维码扫描装置，图像采集系统，智能处理装置，通讯装置，报警装置，后台数据系统，后台服务系统，用户移动终端；

用户使用前，智能处理装置已经根据图像采集系统提供的图片确定了货柜内的库存情况，该情况由通讯装置传输至后台数据系统；二维码扫描装置扫描用户移动终端上的二维码，解码装置确认个人信息后，并将个人信息通过通讯装置和后台数据系统传输至了后台服务系统，此时货柜解锁；

图像采集系统开始实时拍摄图片和视频，此时用户出现不当行为，如破坏设备，偷吃偷喝等行为，智能处理装置识别到此类行为后及时将该异常信号利用通讯装置传输给后台数据系统，同时图像采集系统中的摄像装置实时保存该段视频，后台数据系统实时将异常信号传输至后台服务系统，后台服务系统报警并将该用户信息锁定标记；该不当行为会被记录下，该用户下次使用镜像视觉识别自助售货机时，二维码扫描装置识别其身份后，将无法解锁货柜。

实施例二

一种镜像视觉识别自助售货机系统，包括货柜，二维码识别装置，图像采集系统，智能处理装置，4G传输设备，报警装置，后台数据系统，后台服务系统，用户手机；

用户使用前，货柜门锁闭，图像采集系统拍摄下货柜内所有商品的摆放情况的图片，智能处理装置利用慢速精确的Mask R-CNN算法对实时拍摄的图片进行智能识别，得出货柜内商品的库存数据，该组数据通过通讯装置传输到后台数据系统，记为库存1；

用户通过货柜玻璃窗确定自己准备买的商品型号，确定后打开手机上的本人付款账户的二维码，二维码识别装置扫描确认该消费者的身份和付款账户，同时将这些信息通过4G传输设备传输至后台数据系统，后台数据系统再将该信息传输至后台服务系统，作为一次交易的开始，同时货柜门打开；此时图像采集系统开始拍摄用户在取物过程中的行为的图片和视频，智能处理装置利用Focal Loss修正的yolo实时物体识别算法对拍摄的图片进行智能识别，得出用户的姿势以及用户与商品的交互动作的信息，利用通讯装置传输至后台数据系统；

该用户取出自己想要的商品，关闭货柜门，货柜门锁住，当货柜检测到门关闭的信号时，将该信号通过通讯装置传输至后台数据系统，该消费者一次消费行为结束；此时再重复开货柜门前利用慢速精确的Mask R-CNN算法得到库存的检测方法来检测库存，记为库存2；后台数据系统根据库存1和库存2的变化，得到用户的消费状况；此时根据后台数据系统中的用户取物过程中的信息来进一步校验消费状况，将最终消费结果传输至后台服务系统，进行实时扣费，扣费信息可采用短信的形式及时通知用户，或者该用户在手机上的有关账户扣款信息上查到。

Claims (1)

1.一种镜像视觉识别自助售货机系统，其特征在于：包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，报警装置，后台数据系统，后台服务系统，用户移动终端；

所述货柜根据商品的尺寸进行分区，每个区内商品层叠放置，货柜内设有所述图像采集系统，货柜外表面设有所述解码装置；所述智能处理装置，所述通讯装置，所述报警装置位于所述货柜的后部；

所述解码装置可通过扫描所述用户移动终端上的包含有用户身份和付款账户的图片并且解码，来判定该用户是否为合法用户；

所述图像采集系统包括摄像装置和镜面成像装置；所述摄像装置包括两类摄像头，由不少于三个普通摄像头组成的摄像头组来拍摄所述镜面成像装置形成的图像，为第一类摄像头；由不少于两个全景摄像头组成的摄像头组来拍摄消费者在取物过程中行为的图片和视频，为第二类摄像头；所述镜面成像装置由光学反射镜片构成，光学反射镜片能够投射出货柜内全部商品的摆放情况，所述第一类摄像头通过光学反射镜片捕捉到货柜内全部商品的图像，所述第一类摄像头的拍摄面积由公式(1)计算：

其中S_g为所述第一类摄像头的拍摄面积，单位为平方米；S_c所述镜面成像装置中光学反射镜片的面积，单位为平方米；d为所述第一类摄像头在拍摄过程中距离光学平面镜片所形成的虚像的距离，单位为米；f为所述第一类摄像头的焦距，单位为毫米；γ所述第一类摄像头的视场角，取值为0°至90°；i为由于所述第一类摄像头的镜头的形状所引起的图象畸变因子，取0到1之间的有理数；

所述智能处理装置利用来自所述图像采集系统的图片和视频，采用慢速精确的MaskR-CNN算法，慢速精确的Mask R-CNN算法能够对获取的图片进行分区，提取到图片中物体的形状、颜色的特征，再将提取的特征进行判别，精细修正后来确定货柜门锁闭状态下的所述货柜内的商品库存；所述智能处理装置利用来自所述图像采集系统的图片和视频，采用Focal Loss修正的yolo实时物体识别算法，Focal Loss修正的yolo实时物体识别算法能够实时检测取物过程中人体的姿势姿态以及人与商品的交互动作；

所述通讯装置与所述解码装置，所述智能处理装置相连，能够利用4G无线传输技术传输将来自所述解码装置，所述智能处理装置的数据传输至所述后台数据系统；

所述报警装置利用4G无线传输技术传输，接收来自所述后台服务系统的报警信号；

所述后台数据系统接收来自所述通讯装置的数据，并进行处理，将处理结果传输至所述后台服务系统；

所述后台服务系统实时接收来自所述后台数据系统的用户信息，异常信号和消费信息，并能报警和对用户的账户进行扣款；

所述用户移动终端与所述后台服务系统通过无线网络相连，进行通讯；

其货柜取物的方法步骤是：

S1、用户使用前，货柜门处于锁闭状态，所述图像采集系统中的第一类摄像头利用所述镜面成像装置实时拍摄所述货柜内所有商品的摆放情况，并采用慢速精确的Mask R-CNN算法，通过识别货柜内不同商品的数量，得出货柜内不同商品的库存数据；所述通讯装置将上述库存数据传输至所述后台数据系统；

S2、用户利用所述用户移动终端上的包含有用户身份和付款账户的图片，通过所述解码装置的识别，判定为合法用户后，所述货柜门解锁；所述通讯装置将该用户信息传输至所述后台数据系统，所述后台服务系统实时接收来自所述后台数据系统的用户信息；

S3、所述摄像装置中的所述第二类摄像头拍摄用户在取物过程中行为的图片和视频，所述处理控制系统根据实时拍摄的图片和视频，采用Focal Loss修正的yolo实时物体识别算法，来实时检测所述第二类摄像头的摄像范围内的人体的姿势姿态以及人与商品的交互动作，当人体在取物过程中出现异常行为时，所述通讯装置将该异常信号实时传输至所述后台数据系统，所述后台服务系统接收来自所述后台数据系统的实时的异常信号，锁定该用户账户信息，并将报警信号传输至所述报警装置，所述报警装置报警；所述摄像装置实时保存该异常用户的操作视频；

S4、用户关闭货柜门，货柜门自动锁住，所述通讯装置将锁闭信号传输至所述后台数据系统；此时重复S1中的步骤，所述后台数据系统得到用户开闭货柜门前后的商品库存数据，根据商品的库存数据变化计算出用户的消费数据；

S5、所述后台数据系统根据步骤S3中用户的取物行为，来校验步骤S4中用户消费的商品及数量与用户当时的取物行为是否一致，进一步确定用户的消费数据；并将该消费数据传输至所述后台服务系统，所述后台服务系统与用户的付款账户进行通讯，实现自动扣费，该扣款信息可在用户的付款账户上查询到。