CN111462190A - 一种智能冰箱及食材录入方法 - Google Patents

Abstract

本公开关于一种智能冰箱及食材录入方法，针对现有技术中由于算法实现逻辑复杂，导致食材录入效率低的问题，该方法包括：智能冰箱确定门开启时，获取摄像头采集的待检测图像，然后，确定预设的检测区域内存在运动目标，以及运动目标的运动方向，接着，将关键的M帧待检测图像，发送至服务器，令服务器进行运动目标识别，之后，智能冰箱基于服务器反馈的识别结果，以及运动方向，确定食材存取结果。这样，本公开中，避免了食材录入过程占用过多的计算资源，提高了鲁棒性，此外，仅将部分关键的待检测图像发送至服务器，提高了食材录入效率、准确率，从而提升了用户体验。

Description

一种智能冰箱及食材录入方法

技术领域

本公开涉及家用电器技术领域，尤其涉及一种智能冰箱及食材录入方法。

背景技术

随着技术不断发展、社会节奏愈发加快，家电智能化也越来越被各大家电厂商重视。智能冰箱作为核心家电之一，除食材保鲜功能在不断革新之外，其它相关功能也在不断完善、扩展。而最为基础的食材录入功能，是智能冰箱拥有更强大功能、更友好用户体验的关键技术之一。

现有技术中，通常采用应用程序录入、射频识别(Radio FrequencyIdentification，RFID)标签夹识别、语音识别、图像识别等方法实现智能冰箱的食材录入。

然而，应用程序录入、RFID标签夹识别、语音识别的食材录入方法，虽然可以保证极高的准确率，但是这三种方法需要人工输入相关信息或指令，从而导致用户体验感较差，此外，基于RFID的食材录入方法，受限于标签夹数量有限，不可能做到对智能冰箱内所有食材的管理。

而基于图像识别的食材录入方法中，主要包括静态方案和动态方案两种实现方案。静态方案中，智能冰箱在每一次触发开关门操作之后，通过预先设置的摄像头，对冰箱内部进行拍摄，然后，智能冰箱将拍摄的照片发送至云端服务器，令云端服务器进行食材识别。而动态方案中，智能冰箱的摄像头的拍摄视野主要为冰箱门体附近，智能冰箱确定触发开门操作时，通过摄像头拍摄的手部姿态和手部运动情况，确定食材录入或取出，然后，智能冰箱根据存取过程中的食材图片，对食材种类进行检测。

显然，对于静态方案，存在由于无法识别智能冰箱内遮挡的食材，从而导致识别准确率较低的问题，同时，静态方案是非实时处理过程，存在较大的识别误差，此外，静态方案中通常需要部署多个彩色摄像头，硬件成本较高。

而动态方案作为新提出的方案，能够较好地解决遮挡问题，但是，需要一定的用户配合，例如，手部不能过多遮挡食材，同时，由于动态方案涉及手部检测、目标追踪、位置检测、食材检测等多项技术，识别过程过于复杂，计算量大，鲁棒性低，此外，动态方案中需要部署深度摄像头，硬件成本较高。

由此可见，需要设计一种新的方案，以克服上述缺陷。

发明内容

本公开提供了及一种智能冰箱及食材录入方法，用以解决现有技术中由于算法实现逻辑复杂，计算量过大，导致食材录入效率低的问题。

本公开实施例提供的具体技术方案如下：

第一方面，一种智能冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门，与所述机壳活动连接，用于遮挡所述开口；

摄像头，与所述机壳连接，用于采集图像；

处理器，被配置为：

确定所述门开启时，获取所述摄像头采集的N帧待检测图像；

基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向；

在所述N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

确定所述M的取值达到预设的图像识别阈值时，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果；

接收到所述服务器反馈的所述识别结果时，基于所述识别结果，以及所述M帧待检测图像的运动方向，确定食材存取结果，并将所述食材存取结果存储至预设的数据库中。

第二方面，一种食材录入方法，包括：

确定门开启时，获取摄像头采集的N帧待检测图像；

基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向；

在所述N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

确定所述M的取值达到预设的图像识别阈值时，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果；

接收到所述服务器反馈的所述识别结果时，基于所述识别结果，以及所述M帧待检测图像的运动方向，确定食材存取结果，并将所述食材存取结果存储至预设的数据库中。

本公开中，智能冰箱确定门开启时，获取摄像头采集的待检测图像，然后，确定在预设的检测区域内存在运动目标，以及运动目标在每一帧待检测图像中的运动方向，接着，确定运动目标保持同一运动方向的连续M帧待检测图像，在M的取值达到预设的图像识别阈值时，将M帧待检测图像，发送至服务器，令服务器进行运动目标识别，之后，基于服务器反馈的识别结果，以及M帧待检测图像的运动方向，确定食材存取结果，并存储食材存取结果。

这样，本公开至少具有以下有益效果：

智能冰箱在确定运动目标，以及运动目标的运动方向之后，将相应的待检测图像发送至服务器进行运动目标识别，这样，简化了食材录入过程，减少了智能冰箱的计算量，避免了食材录入过程占用过多的计算资源，提高了鲁棒性，此外，仅将部分关键的待检测图像发送至服务器，提高了数据传输效率，从而提高了食材录入效率、准确率，提升了用户体验，同时，降低了智能冰箱成本。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本公开实施例中提供的一种场景示意图；

图1B为本公开实施例中提供的一种智能冰箱的结构示意图；

图2A-2C为本公开实施例中提供的三种智能冰箱的结构示意图；

图3为本公开实施例中提供的一种食材录入方法的流程示意图；

图4A为本公开实施例中提供的一种智能冰箱的立体示意图；

图4B为本公开实施例中提供的一种智能冰箱的俯视图；

图5A-5C为本公开实施例中提供的一组食材存取示意图；

图6为本公开实施例中提供的一种运动目标确定方法的流程示意图；

图7为本公开实施例中提供的一种智能冰箱的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

针对现有技术中由于算法实现逻辑复杂，计算量过大，导致食材录入效率低的问题，为了简化计算过程，提高食材录入效率，在本公开实施例中，提供一种智能冰箱以及食材录入方法。需要说明的是，本实施例提供的方法，不仅使用与智能冰箱，还适用于智能冰柜等设备。

参阅图1A所示，为本公开一些实施例提供的一种智能冰箱的应用场景图。

智能冰箱100可提供包括但不限于食材保鲜功能和食材录入功能。具体智能冰箱类型、尺寸大小和功率等不作限定。

智能冰箱100还与服务器200通过多种通信方式进行数据通信。这里可允许智能冰箱100通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local AreaNetwork，WLAN)和其他网络进行通信连接。服务器200可以向智能冰箱100提供各种内容和互动。示例的，智能冰箱100可以发送和接收信息，例如：接收运动目标识别数据、访问远程储存的数字媒体库、发送待检测图像数据。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200实现图像识别等功能。

在一些实施例中，如图1B所示，智能冰箱100至少包括机壳110，门120，摄像头130，以及处理器140，其中，

机壳110，包括储藏室，储藏室具有开口；

门120，与机壳110活动连接，用于遮挡开口；

摄像头130，与机壳110连接，用于采集图像；

处理器，被配置为：

确定门120开启时，获取摄像头130采集的N帧待检测图像；

基于预设的运动目标筛选条件，确定N帧待检测图像中，在预设的检测区域内存在运动目标，以及运动目标在每一帧待检测图像中的运动方向；

在N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

确定M的取值达到预设的图像识别阈值时，将M帧待检测图像，发送至服务器200，令服务器200基于M帧待检测图像，确定运动目标的识别结果；

接收到服务器200反馈的识别结果时，基于识别结果，以及M帧待检测图像的运动方向，确定食材存取结果，并将食材存取结果存储至预设的数据库中。

处理器可以设置在机壳110中，或者，也可以设置在门120中，本公开对此并不限定。

摄像头130为彩色摄像头，例如，三原色(Red Green Blue，RGB)色彩模式摄像头。在一些实施例中，为避免在食材存取过程中出现图像模糊的情况，摄像头130为高帧率摄像头，例如，120每秒显示帧数(Frames per Second，FPS)、60FPS、48FPS等。

在一些实施例中，参阅图2A-图2C所示，为了使摄像头获取较好的拍摄视野，同时减少智能冰箱、人体等物体对拍摄视野的遮挡，将摄像头130设置于机壳110的顶部，例如，摄像头130被设置于机壳110的顶部中心、摄像头130被设置于机壳110的顶部左侧、摄像头130被设置于机壳110的顶部右侧。

在其它一些实施例中，摄像头130可以是多个摄像头，具体的可以根据智能冰箱内部需要管理的空间大小，及摄像头的拍摄范围，确定采用的摄像头的数量。如果智能冰箱中存在多个摄像头130时，可以根据每个摄像头采集的图像，进行图像拼接，得到待检测图像。其中，将多个摄像头采集的图像进行图像拼接的过程为现有技术，在本公开实施例中对该过程不作赘述。

为了便于描述，下文中，仅以一个摄像头130为例，进行说明。

参阅图2A所示，智能冰箱100中，包括机壳110、门120、摄像头130、以及处理器，其中，摄像头130被设置于机壳110的顶部中心，用于采集图像。

实际应用中，当用户打开智能冰箱时，会在智能冰箱中存放食材或者取出食材，因此，为了方便对食材进行管理，处理器确定门120关闭开启时，则需要根据摄像头130采集的图像，进行食材录入。具体的，处理器确定门120关闭开启时，控制摄像头130开始进行拍摄，采集待检测图像。

处理器获取摄像头130采集的待检测图像，基于待检测图像，确定待检测图像中存在的运动目标，并将包含运动目标的待检测图像发往服务器200，令服务器200基于预设的图像识别模型，确定运动目标的识别结果，然后，处理器根据服务器200反馈的识别结果，以及运动目标的运动方向，确定食材存取结果，从而对食材存取结果进行录入。

参阅图3所示，本公开实施例中，进行食材录入的具体流程如下。

步骤S301：智能冰箱确定门开启时，获取摄像头采集的N帧待检测图像。

本公开实施例中，为了保护用户隐私、减小产品功耗、同时延长摄像头的使用时长，摄像头在门开启时进行拍摄，在门关闭时停止拍摄。

具体的，本公开实施例中，智能冰箱根据预设开关的逻辑电平，判断门是否开启。

例如，智能冰箱确定预设开关为高电平时，确定门120开启。

智能冰箱确定门开启时，启动摄像头进行拍摄，并获取摄像头采集的完整待检测图像。

例如，参阅图2A所示，智能冰箱确定门120开启时，启动摄像头130进行拍摄，并获取摄像头130采集的120帧的完整待检测图像。

本公开实施例中，由于高帧率相机下，每秒内获取的图像的帧数增加，因此，为了保证算法处理速度、实现实时的运动目标识别，对完整待检测图像进行降采样。

具体的，智能冰箱基于预设的降采样比率，对完整待检测图像进行降采样，获取X帧待检测图像。

本公开实施例中，降采样比率根据摄像头的分辨率、以及智能冰箱规格而定。通常情况下，由于摄像头的分辨率越高，采集的待检测图像越清晰，因此，若摄像头的分辨率越高，则降采样比率越大。而智能冰箱规格越大，摄像机的架设位置越高，采集的待检测图像中，运动目标越小，因此，为了保证识别准确率，若智能冰箱规格越大，则降采样比率越小。

例如，假设，预设的降采样比率为50％，智能冰箱基于预设的降采样比率，对120帧的完整待检测图像进行降采样，获取60帧待检测图像。

进一步的，智能冰箱基于降采样比率，以及摄像头的帧率，在X帧待检测图像中，确定N帧待检测图像。

本公开实施例中，若降采样比率过大，则直接对X帧待检测图像进行后续的运动目标识别，即N、X的取值相同，若摄像头的帧率过高，则从X帧待检测图像中，选取N帧待检测图像，进行后续的运动目标识别，即N、X的取值不相同。

例如，假设，预设的降采样比率为50％，摄像头130的帧率为60FPS，智能冰箱基于降采样比率50％，以及摄像头130的帧率60FPS，在60帧待检测图像中，确定30帧待检测图像。

又例如，假设，预设的降采样比率为50％，摄像头130的帧率为24FPS，智能冰箱基于降采样比率50％，以及摄像头130的帧率24FPS，在60帧待检测图像中，确定60帧待检测图像，即，直接对60帧待检测图像进行后续的运动目标识别。

步骤S302：智能冰箱基于预设的运动目标筛选条件，确定N帧待检测图像中，在预设的检测区域内存在运动目标，以及运动目标在每一帧待检测图像中的运动方向。

需要说明的，本公开实施例中，为了精简工作区域，减少计算量，在智能冰箱中，预先设定检测区域。检测区域的设定，根据摄像头的安装位置、架设角度而定。

例如，在智能冰箱中，预先设定如图4A、图4B所示的检测区域，其中，图4A为智能冰箱的立体示意图，图4B为智能冰箱的俯视图，该检测区域被设定为门120开启时，以智能冰箱的前向侧面(即面向用户的侧面)为中心，向前、后方向延伸一定长度的空间立体区域。映射到摄像头采集的待检测图像上，该检测区域参阅图5A所示，以面向用户的侧面投影为中心，分别向图像的上下方向延伸一定距离，作为检测区域的纵向高度，同时截除两侧边缘，以剩余距离作为检测区域的横向宽度。

智能冰箱确定N帧待检测图像之后，参阅图6所示，从第二帧待检测图像开始，针对每一帧待检测图像，可采用但不限于以下方法确定运动目标：

步骤S3021：智能冰箱基于预设的特征匹配算法，在预设的检测区域内，确定当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，以及确定多个运动像素点的运动向量。

本公开实施例中，预设的特征匹配算法可以采用但不限于快速特征点提取和描述(Oriented Fast and Rotated BRIEF，ORB)算法、加速稳健特征(Speeded Up RobustFeatures，SURF)算法、尺度不变特征变换(Scale-invariant feature transform，SIFT)算法等。下文中，以ORB算法为例进行说明。

具体的，智能冰箱基于图像特征，在预设的检测区域内，确定当前帧待检测图像的所有特征像素点。

例如，参阅图5B所示，智能冰箱基于图像的灰度，在预设的检测区域内，确定当前帧待检测图像的所有特征像素点为a₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁。

进一步的，智能冰箱针对所有特征像素点，建立相应的特征描述子，特征描述子用于描述一个特征像素点的图像特征。

例如，以特征像素点a₁为例，智能冰箱针对特征像素点a₁，建立特征像素点a₁的特征描述子10101011(二进制数据)。

进而，智能冰箱将当前帧待检测图像的所有特征像素点的特征描述子，和前一帧待检测图像的所有特征像素点的特征描述子进行对比，从当前帧待检测图像的所有特征像素点中，筛选出相似度达到预设的相似度阈值的多个特征像素点，作为当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，并确定多个运动像素点的运动向量。

例如，假设，预设的相似度阈值为90％，智能冰箱将当前帧待检测图像的所有特征像素点的特征描述子，和前一帧待检测图像的所有特征像素点的特征描述子进行对比，从当前帧待检测图像的所有特征像素点中，筛选出相似度达到90％的特征像素点a₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁，作为当前帧待检测图像相对于前一帧待检测图像的运动像素点，然后，以运动像素点a₁、a₂、a₃、a₄为例，确定a₁、a₂、a₃、a₄的运动向量依次为(45，17)、(-1，-60)、(-4，9)、(-8，8)。

步骤S3022：智能冰箱基于多个运动像素点的运动向量，从多个运动像素点中，筛选出运动距离满足预设的有效数值范围的多个目标像素点。

例如，假设，预设的有效数值范围为5-30，智能冰箱基于a₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁的运动向量，从多个运动像素点中，筛选出运动距离满足5-30的多个目标像素点a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁。

步骤S3023：智能冰箱确定多个目标像素点的数目超过预设的目标构成阈值时，确定当前帧待检测图像中，在预设的检测区域内存在运动目标，其中，运动目标由所述多个目标像素点构成。

需要说明的是，本公开实施例中，目标构成阈值根据摄像头的分辨率和特征匹配算法设定。

例如，假设，预设的目标构成阈值为7，智能冰箱确定多个目标像素点的数目为9，超过目标构成阈值7时，确定当前帧待检测图像中，在检测区域内存在运动目标，其中，运动目标由目标像素点a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁构成。

步骤S3024：智能冰箱基于多个目标像素点的运动方向，确定运动目标在当前帧待检测图像中的运动方向。

具体的，智能冰箱基于多个目标像素点的运动方向，确定每一种类型的运动方向对应的目标像素点的数目，并将对应的目标像素点的数目最多的运动方向，作为运动目标在当前帧待检测图像中的运动方向。

例如，参阅图5B所示，a₃、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁的运动方向为向内运动，a₄的运动方向为向外运动，智能冰箱基于目标像素点a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁的运动方向，表征向内运动的运动方向对应的目标像素点的数目为8，表征向外运动的运动方向对应的目标像素点的数目为1，将表征向内运动的运动方向，作为运动目标在当前帧待检测图像中的运动方向。

步骤S303：智能冰箱在N帧待检测图像中，确定运动目标保持同一运动方向的连续M帧待检测图像。

例如，智能冰箱在30帧待检测图像中，确定运动目标保持同一运动方向的连续10帧待检测图像，其中，连续10帧待检测图像的运动方向为向内运动。

步骤S304：智能冰箱确定M的取值达到预设的图像识别阈值时，将M帧待检测图像，发送至服务器，令服务器基于M帧待检测图像，确定运动目标的识别结果。

本公开实施例中，为了避免运动目标的识别过程占用过多计算资源，由服务器采用预设的图像识别模型，进行运动目标的识别，其中，服务器可以部署在本地，也可以部署于云端，本公开对此并不限定。

例如，假设，预设的图像识别阈值为10，智能冰箱确定M的取值达到10时，将10帧待检测图像，发送至云端服务器，令云端服务器基于10帧待检测图像，采用预设的图像识别模型，确定运动目标的识别结果。

在其他一些实施例中，为了减少传输时延、提高识别效率，智能冰箱对M帧待检测图像的检测区域进行截取，将截取后的M帧待检测图像发送至服务器，令服务器基于截取后的M帧待检测图像，确定运动目标的识别结果。

例如，参阅图5C所示，智能冰箱对10帧待检测图像的检测区域进行截取，将截取后的10帧待检测图像发送至本地服务器，令本地服务器基于截取后的10帧待检测图像，确定运动目标的识别结果。

步骤S305：智能冰箱接收到服务器反馈的识别结果时，基于识别结果，以及M帧待检测图像的运动方向，确定食材存取结果，并将食材存取结果存储至预设的数据库中。

具体的，智能冰箱基于识别结果，以及M帧待检测图像的运动方向，确定的食材存取结果参阅表1所示。

表1食材存取结果

序号	识别结果	运动方向	食材存取结果
				1	食材种类编号	向内运动	向智能冰箱内存放某食材
2	食材种类编号	向外运动	从智能冰箱内拿出某食材
				3	不存在食材	向内运动	无效操作
4	不存在食材	向外运动	无效操作

例如，智能冰箱接收到云端服务器反馈的识别结果时，假设，识别结果中携带表征土豆的编号，基于该识别结果，以及表征向内运动的10帧待检测图像的运动方向，确定食材存取结果为向智能冰箱内存放土豆，并将该食材存取结果存储至预设的数据库中。

基于同一发明构思，本公开实施例中，提供一种智能冰箱，参阅图7所示，至少包括：采集单元701、检测单元702、处理单元703、识别单元704和确定单元705，其中，

采集单元701，用于确定所述门开启时，获取摄像头采集的N帧待检测图像；

检测单元702，用于基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向；

处理单元703，用于在所述N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

识别单元704，用于确定所述M的取值达到预设的图像识别阈值时，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果；

确定单元705，用于接收到所述服务器反馈的所述识别结果时，基于所述识别结果，以及所述M帧待检测图像的运动方向，确定食材存取结果，并将所述食材存取结果存储至预设的数据库中。

采集单元701、检测单元702、处理单元703、识别单元704和确定单元705相互配合，以实现智能冰箱在上述各个实施例中的功能。

基于同一发明构思，本公开实施例提供一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述流程中智能冰箱实现的任一项食材录入方法。

本公开中，智能冰箱确定门开启时，获取摄像头采集的待检测图像，然后，确定在预设的检测区域内存在运动目标，以及运动目标在每一帧待检测图像中的运动方向，接着，确定运动目标保持同一运动方向的连续M帧待检测图像，在M的取值达到预设的图像识别阈值时，将M帧待检测图像，发送至服务器，令服务器进行运动目标识别，之后，基于服务器反馈的识别结果，以及M帧待检测图像的运动方向，确定食材存取结果，并存储食材存取结果。

这样，本公开至少具有以下有益效果：

智能冰箱在确定运动目标，以及运动目标的运动方向之后，将相应的待检测图像发送至服务器进行运动目标识别，这样，简化了食材录入过程，减少了智能冰箱的计算量，避免了食材录入过程占用过多的计算资源，提高了鲁棒性，此外，仅将部分关键的待检测图像发送至服务器，提高了数据传输效率，从而提高了食材录入效率、准确率，提升了用户体验，同时，降低了智能冰箱成本。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种智能冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门，与所述机壳活动连接，用于遮挡所述开口；

摄像头，与所述机壳连接，用于采集图像；

处理器，被配置为：

确定所述门开启时，获取所述摄像头采集的N帧待检测图像；

基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向；

在所述N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

确定所述M的取值达到预设的图像识别阈值时，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果；

接收到所述服务器反馈的所述识别结果时，基于所述识别结果，以及所述M帧待检测图像的运动方向，确定食材存取结果，并将所述食材存取结果存储至预设的数据库中。

2.如权利要求1所述的智能冰箱，其特征在于，所述摄像头采用彩色摄像头。

3.如权利要求1所述的智能冰箱，其特征在于，所述摄像头被设置于所述机壳的顶部。

4.如权利要求3所述的智能冰箱，其特征在于，获取所述摄像头采集的N帧待检测图像时，所述处理器被进一步配置为：

获取所述摄像头采集的完整待检测图像；

基于预设的降采样比率，对所述完整待检测图像进行降采样，获取X帧待检测图像；

基于所述降采样比率，以及所述摄像头的帧率，在X帧待检测图像中，确定N帧待检测图像；

其中，所述X、N的取值相同，或者，不相同。

5.如权利要求1-4中任一项所述的智能冰箱，其特征在于，基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向时，所述处理器被进一步配置为：

从第二帧待检测图像开始，针对每一帧待检测图像，执行以下操作：

基于预设的特征匹配算法，在预设的检测区域内，确定当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，以及确定所述多个运动像素点的运动向量；

基于所述多个运动像素点的运动向量，从所述多个运动像素点中，筛选出运动距离满足预设的有效数值范围的多个目标像素点；

确定所述多个目标像素点的数目超过预设的目标构成阈值时，确定所述当前帧待检测图像中，在预设的检测区域内存在运动目标，其中，所述运动目标由所述多个目标像素点构成；

基于所述多个目标像素点的运动方向，确定所述运动目标在当前帧待检测图像中的运动方向。

6.如权利要求5所述的智能冰箱，其特征在于，基于预设的特征匹配算法，在预设的检测区域内，确定当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，以及确定所述多个运动像素点的运动向量时，所述处理器被进一步配置为：

基于图像特征，在预设的检测区域内，确定当前帧待检测图像的所有特征像素点；

针对所有特征像素点，建立相应的特征描述子，所述特征描述子用于描述一个特征像素点的图像特征；

将当前帧待检测图像的所有特征像素点的特征描述子，和前一帧待检测图像的所有特征像素点的特征描述子进行对比，从当前帧待检测图像的所有特征像素点中，筛选出相似度达到预设的相似度阈值的多个特征像素点，作为当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，并确定所述多个运动像素点的运动向量。

7.如权利要求6所述的智能冰箱，其特征在于，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果时，所述处理器被进一步配置为：

对所述M帧待检测图像的检测区域进行截取，将截取后的M帧待检测图像发送至服务器，令服务器基于截取后的M帧待检测图像，确定所述运动目标的识别结果。

8.一种食材录入方法，其特征在于，包括：

确定门开启时，获取摄像头采集的N帧待检测图像；

基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向；

在所述N帧待检测图像中，确定所述运动目标保持同一运动方向的连续M帧待检测图像；

确定所述M的取值达到预设的图像识别阈值时，将所述M帧待检测图像，发送至服务器，令服务器基于所述M帧待检测图像，确定所述运动目标的识别结果；

接收到所述服务器反馈的所述识别结果时，基于所述识别结果，以及所述M帧待检测图像的运动方向，确定食材存取结果，并将所述食材存取结果存储至预设的数据库中。

9.如权利要求8所述的方法，其特征在于，获取所述摄像头采集的N帧待检测图像，具体包括：

获取所述摄像头采集的完整待检测图像；

基于预设的降采样比率，对所述完整待检测图像进行降采样，获取X帧待检测图像；

基于所述降采样比率，以及所述摄像头的帧率，在X帧待检测图像中，确定N帧待检测图像；

其中，所述X、N的取值相同，或者，不相同。

10.如权利要求8或9所述的方法，其特征在于，基于预设的运动目标筛选条件，确定所述N帧待检测图像中，在预设的检测区域内存在运动目标，以及所述运动目标在每一帧待检测图像中的运动方向，具体包括：

从第二帧待检测图像开始，针对每一帧待检测图像，执行以下操作：

基于预设的特征匹配算法，在预设的检测区域内，确定当前帧待检测图像相对于前一帧待检测图像的多个运动像素点，以及确定所述多个运动像素点的运动向量；

基于所述多个运动像素点的运动向量，从所述多个运动像素点中，筛选出运动距离满足预设的有效数值范围的多个目标像素点；

确定所述多个目标像素点的数目超过预设的目标构成阈值时，确定所述当前帧待检测图像中，在预设的检测区域内存在运动目标，其中，所述运动目标由所述多个目标像素点构成；

基于所述多个目标像素点的运动方向，确定所述运动目标在当前帧待检测图像中的运动方向。

Images