CN113824864A - 食材存储设备及图像处理方法 - Google Patents

Abstract

本申请公开了食材存储设备及图像处理方法，获取不同层置物区的内景图像；获取不同层置物区的内景图像中固定参考物的参考对齐位置；根据参考对齐位置对不同层置物区的内景图像进行对齐校正。本申请实施例提供的食材存储设备及图像处理方法，使得纵跨各层置物区的固定参考物成像后的相对位置一致，解决了不同层置物区内景图像的断层问题，优化了储藏室内景图像的成像显示效果。

Description

食材存储设备及图像处理方法

技术领域

本申请涉及食材存储设备技术领域。更具体的讲，尤其涉及一种食材存储设备及图像处理方法。

背景技术

目前，针对食材存储设备产品，用户会不定期查看食材存储设备储藏室中存放的食材，每次食材的查看都需要用户进行食材存储设备门打开和关闭的动作，导致食材存储设备储藏室中食材的查看过程繁琐，且对食材存储设备门频繁开关也增加了食材存储设备门的功耗，进而导致食材存储设备的工作功耗增加，不符合电器节能的主流发展趋势。

发明内容

本申请实施例提供了一种食材存储设备及图像处理方法，以优化储藏室内景图像的成像显示效果。

第一方面，本申请提供了一种食材存储设备，包括；

箱体，内部设有储藏室，用于储藏食材，所述储藏室内设有储物隔板和固定参考物，所述储物隔板将所述储藏室分割成至少两层置物区，所述固定参考物纵跨所述储藏室内的各层置物区；

箱门，设于所述储藏室的开口处；

多个摄像头，设于所述箱门位于所述储藏室内部的一侧且与所述置物区一一对应设置，用于在所述箱门关闭时采集所述储藏室内不同层置物区的内景图像；

与所述摄像头连接的控制器，被配置为：

获取不同层置物区的内景图像；

获取不同层置物区的内景图像中所述固定参考物的参考对齐位置；

根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正；

显示器，所述显示器设于所述箱门外侧，用于呈现所述对齐校正后的不同层置物区的内景图像。

第二方面，本申请还提供了一种图像处理方法，包括：

控制摄像头采集食材存储设备储藏室内不同层置物区的内景图像；其中，所述摄像头设于所述食材存储设备的箱门位于所述储藏室内部的一侧且与所述置物区一一对应设置；

获取不同层置物区的内景图像；

获取不同层置物区的内景图像中固定参考物的参考对齐位置；其中，所述储藏室内设有储物隔板和固定参考物，所述储物隔板将所述储藏室分割成至少两层置物区，所述固定参考物纵跨所述储藏室内的各层置物区；

根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正；其中，所述对齐校正后的不同层置物区的内景图像由设于所述箱门外侧的显示器呈现。

由以上技术方案可知，本申请实施例设置显示器可以呈现对齐校正后的不同层置物区的内景图像，用户无需开关食材存储设备门即可通过显示器实现对食材存储设备储藏室内食材的查看，提高了用户查看食材存储设备储藏室内食材的便捷性，且有利于降低食材存储设备功耗。另外，利用纵跨储藏室内各层置物区的固定参考物，通过获取不同层置物区的内景图像，获取不同层置物区的内景图像中固定参考物的参考对齐位置，根据参考对齐位置对不同层置物区的内景图像进行对齐校正，使得纵跨各层置物区的固定参考物成像后的相对位置一致，纵跨各层置物区的固定参考物在不同层置物区的内景图像中的对应部分对齐，解决了不同层置物区内景图像的断层问题，优化了储藏室内景图像的成像显示效果。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请根据示例性实施例示出的一种食材存储设备的立体结构示意图；

图2为本申请根据示例性实施例示出的一种食材存储设备的外观示意图；

图3为本申请根据示例性实施例示出的一种食材存储设备的硬件配置示意图；

图4为本申请根据示例性实施例示出的一种图像处理方法的流程示意图；

图5为本申请根据示例性实施例示出的一种灰度处理后的不同层置物区的内景图像示意图；

图6(a)至图6(c)为本申请根据示例性实施例示出的一种对应左对齐校正的内景图像宽度调整过程示意图；

图7(a)至图7(c)为本申请根据示例性实施例示出的一种对应右对齐校正的内景图像宽度调整过程示意图；

图8为本申请根据示例性实施例示出的一种对齐校正后不同层置物区的内景图像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

图1为本申请根据示例性实施例示出的一种食材存储设备的立体结构示意图。食材存储设备可以用于存储各种不同种类的食材，食材存储设备例如可以为冰箱、冰柜或食材展示柜等存储设备。以食材存储设备为冰箱为例，在图1所示示例中，本申请实施例提供的冰箱的形状近似长方体。该冰箱包括储藏室110和箱门，即该冰箱由提供有限储存空间以用于存储食材的储藏室110和设置在储藏室110开口处的箱门限定。储藏室110为具有开口的箱体，储藏室110内设有储物隔板160，储物隔板160将储藏室110分割成至少两层置物区。在图1所示示例中，储藏室110包括位于下方的冷冻室111以及位于上方的冷藏室112，冷冻室111和冷藏室112分别具有一个或者多个独立的储存空间，如冷冻室111所包括的抽屉式间室111A等，以及冷藏室112所包括的多层置物区1121-1123，一个置物区可以为一个容纳格，顶部照明灯140位于容纳格1121内部。

在图1所示示例中，多个抽屉式间室111A通过抽屉式箱门111B封盖。冷藏室112被分割成左侧和右侧，左侧和右侧分别通过可枢转地安装在箱体上的箱门112B封盖。

需要说明的是，图1作为本申请实施例的一个示例，其示出的冰箱并不构成对本申请所提供冰箱的限定。例如，在本申请另外的实施例中，冰箱箱体被分割成左侧和右侧，限定左侧箱体为冷冻室，限定右侧箱体为冷藏室，该冷冻室和冷藏室均可通过可枢转地安装在箱体上的箱门封盖。又如，在本申请另外的实施例中，储藏室包括冷藏室、冷冻室以及变温室。

基于上述实施例提供的食材存储设备，通过在食材存储设备箱体内部设置多个摄像头，来采集储藏室110内不同层置物区1121-1123的内景图像。在一些实施例中，摄像头可以设置在箱门位于储藏室110内部的一侧，镜头面向储藏室110设置。这样，当箱门关闭时，摄像头将会正对储藏室110内部，从而拍摄到储藏室110内不同层置物区1121-1123的内景图像。应理解的是，储藏室110内壁上设有多个照明灯，包括但不限于设置在储藏室110顶壁上的顶部照明灯140和设置在储藏室110侧壁上的侧部背光灯。为了给摄像头拍摄储藏室110内景图像时提供充足的光线条件，在摄像头工作过程中，保持顶部照明灯140处于开启状态，而将侧部背光灯关闭。

在图1所示示例中，在冷藏室门112B的一侧边缘设有摄像头安装板130，摄像头可以包括摄像头131、132及133，摄像头131、132及133嵌入式地设置在摄像头安装板130上，摄像头131、132及133均与食材存储设备的控制器(具体可参见图2中控制器220及其介绍)连接，以在控制器的控制下工作。摄像头与置物区一一对应设置，例如当冷藏室门112B关闭时，摄像头131、132及133分别面向冷藏室112所包括的置物区1121、1122及1123，因此，摄像头131、132及133可分别用于采集置物区1121、1122及1123的内景图像，即摄像头在箱门关闭时可以采集储藏室内不同层置物区的内景图像。

需要说明的是，图1作为本申请实施例的一个示例，其示出的摄像头数量、安装位置及安装方式并不构成对本申请所提供食材存储设备的限定。例如，在本申请另外的实施例中，在冷藏室门112B的靠近冷冻室门111B的一侧边缘设有摄像头安装板130，该摄像头安装板130内设有机械滑动轨道及驱动马达，摄像头通过滑块与机械滑动轨道滑动连接，驱动马达与滑块连接，从而摄像头可以在驱动马达的驱动下，沿机械滑动轨道在竖直方向上滑动。控制器与驱动马达连接。在需要采集冷藏室的内景图像时，首先通过控制驱动马达，使摄像头移动到与第一层(或者第三层)置物区正对的位置，再控制摄像头采集该置物区的内景图像，采集完成后，再通过控制驱动马达，使摄像头移动到第二层置物区正对的位置，再控制摄像头采集该置物区的内景图像，直到采集到所有置物区的内景图像。

基于上述实施例提供的食材存储设备，通过在食材存储设备箱门外侧设置显示器，可以使食材存储设备具有显示功能。

图2为本申请根据示例性实施例示出的一种食材存储设备的外观示意图。以食材存储设备为冰箱为例，图2所示示例中，可以在冷藏室门112B上设有显示器，显示器嵌入到门体中。冷藏室门112B的位于显示器下方的区域设有标签读取区，标签读取区内置用于读取RFID(Radio Frequency Identification，射频识别)标签的天线，以用于识别近距离的RFID标签。

在一些实施例中，显示器屏幕所在平面与箱门外表面平齐。

图1和图2所示示例中，本申请实施例提供的食材存储设备，例如冰箱，其箱体内部设有至少两个储藏室，如冷冻室、冷藏室、变温室等。每个储藏室中可以具有多个独立的存储空间，如抽屉式间室、容纳格。

图3为本申请根据示例性实施例示出的一种食材存储设备的硬件配置示意图。图3所示示例中，食材存储设备200可以包括显示器210、控制器220、用于检测RFID标签的天线230、检测器240、摄像头250、扬声器260、存储器270和用户输入接口中的至少一个。显示器210、天线230、检测器240、摄像头250、扬声器260、存储器270通过通信接口与控制器220耦合。

其中，显示器210，用于接收控制器220输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件，以及显示用于控制食材存储设备200的操控UI(UserInterface，用户界面)。

控制器220，可以包括一个或者多个处理单元，例如系统芯片(system on a chip，SoC)、中央处理器(central processing unit，CPU)、微控制器(microcontroller，MCU)、存储控制器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，控制器220与天线230通过串口通信。

在一些实施例中，控制器220包括RFID模块，RFID模块、天线230以及RFID标签构成RFID读写系统，天线230用于在RFID模块和RFID标签之间传递射频信号，RFID模块通过天线230完成对RFID标签的读、写操作。

在一些实施例中，RFID模块通过串口与天线通信。

存储器270，可以包括一个或者多个存储单元，例如可以包括易失性存储器(volatile memory)，如：动态随机存取存储器(dynamic random access memory，DRAM)、静态随机存取存储器(static random access memory，SRAM)等；还可以包括非易失性存储器(non-volatile memory，NVM)，如：只读存储器(read-only memory，ROM)、闪存(flashmemory)等。其中，不同的存储单元可以是独立的器件，也可以集成或者封装在一个或者多个处理器或者通信接口中，成为处理器或者通信接口的一部分。

存储器270中存储有程序指令和应用程序。控制器220可调用存储器270中的程序指令或者运行应用程序，使食材存储设备执行相关的方法，例如本申请实施例所提供的方法。

摄像头250，用于采集储藏室内不同层置物区的内景图像，包括但不限于采集内景图像，例如，还可以采集内景视频。在一些实施例中，摄像头250中的摄像头可采用广角镜头。由于广角镜头的焦距短，因此可以在较短的拍摄距离范围内，拍摄到较大面积的储藏室内景。在一些实施例中，摄像头250中的摄像头可采用普通广角镜头，其焦距一般为38～24毫米，视角一般为60～84度，也可以采用超广角镜头，其焦距一般为20～13毫米，视角一般为94～118度。

检测器240，至少包括声音采集器，如麦克风，可以用于接收用户的声音。示例性的，通过麦克风采集用户用于控制食材存储设备200的语音口令。检测器240还可以包括箱门开关状态传感器，如检测磁敏开关、机械开关，用于检测每个箱门的开关信号，当根据检测到的开关信号记录箱门的开关状态，发送开关状态信息给控制器220。示例性的，当检测器240检测到任意一个箱门的开启信号或者关闭信号时，发送最新的开关状态信息给控制器220。

用户输入接口，包括麦克风、触摸板、传感器、按键等输入接口中的至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至控制器220。

在一些实施例中，控制器220可以包括语音识别模块，语音识别模块进一步包括语音解析单元和语音指令数据库，从而使食材存储设备可以独立完成对用户输入的语音数据的语音识别，以及将识别出的语音内容与语音指令数据库中的语音指令进行匹配的过程。

本申请对天线230的数量不予限定。例如，天线230可以包括设置在每个储藏室内的天线和设置在标签读取区内部的天线，其中，设置在各储藏室内的天线主要用于扫描各储藏室内的RFID标签，以读取RFID标签的标签信息，设置在标签读取区内部的天线则主要用于扫描标签读取区上的RFID标签，以读取RFID标签的标签信息。

在一些实施例中，不同的储藏室内设置的天线的功率可以不同。且，各个储藏室的天线的功率能够保证天线识别到自身间室包括的食材即可，从而避免功率太大时会增加误识别率，功率太小时会识别不全自身间室的食材。在具体的实现中，可以预先根据各个储藏室的空间大小确定天线的功率，并在食材存储设备中设置各个天线的功率，空间越大，功率越大。

图1所示示例中，当冷藏室门112B关闭时，摄像头131、132及133分别面向冷藏室112所包括的置物区1121、1122及1123，摄像头131、132及133可分别用于采集置物区1121、1122及1123的内景图像，一层置物区为储藏室110内的一个容纳格，即摄像头250可以在箱门关闭时采集储藏室内不同层置物区的内景图像，控制器220可以对不同摄像头获取到的不同层置物区的内景图像进行拼接，显示器210用于接收控制器220输出的储藏室内不同层置物区的拼接内景图像，并用于显示拼接内景图像以展示储藏室内实际内景。

或者，控制器220也可以将不同摄像头获取到的不同层置物区的内景图像直接传输至显示器210，显示器210分别显示不同层置物区的内景图像。示例性地，显示器210可以为集成有触控功能的显示器，用户可以通过对显示器210的触控操作选择需要查看的某一层或多层置物区的内景图像。图4为本申请根据示例性实施例示出的一种图像处理方法的流程示意图。在一些实施例中，控制器220执行图4中示出的下述步骤：

S310、获取不同层置物区的内景图像。

图1所示示例中，为获取储藏室内不同层置物区的内景图像，可以在在左侧或右侧食材存储设备门内侧嵌入摄像头面板，示例性的，摄像头面板由上到下嵌入了三个摄像头131、132及133，三个摄像头131、132及133的高度分别对应食材存储设备内的三层置物区1121、1122及1123，每个摄像头用于采集对应的置物区的内景图像。当用户完成放置或者取出食材的操作并关闭食材存储设备门后，食材存储设备顶部照明灯140会延迟一定时间，例如20s才会关闭，为摄像头拍照提供良好的光线环境。为防止摄像头对光拍照，照片存在有光晕不清楚的问题，食材存储设备的背光灯会在食材存储设备门关门后立即关掉。与此同时，控制器在获知到食材存储设备冷藏室门关闭后，会发起拍照流程，即按照一定的顺序触发各个摄像头对食材存储设备内的三层置物区内景进行拍照，摄像头的触发顺序可以对应背光灯熄灭的顺序设置。

在一些实施例中，摄像头对储藏室内不同层置物区进行拍照，并将不同层置物区的内景图像传输至控制器，控制器获取到不同层置物区的内景图像后，先对不同层置物区的内景图像进行灰度处理。图5为本申请根据示例性实施例示出的一种灰度处理后的不同层置物区的内景图像示意图。图5中三张图从上至下依次为储藏室的一层置物区1121至三层置物区1123的内景图像。

目前带屏智能食材存储设备产品中，为方便用户查看食材存储设备内食材信息，降低开关食材存储设备门的功耗，食材存储设备增加了智能拍照的功能。用户关闭食材存储设备门后，食材存储设备屏摄像头服务会调用食材存储设备内置的多个摄像头对食材存储设备内不同层置物区进行拍照，最后将拍摄的多张照片进行显示在食材存储设备屏上，这样用户无需再次打开食材存储设备门即可获知食材存储设备内的食材信息。图5所示示例中，当采用多摄像头对不同层置物区进行拍摄时，因不同摄像头的感光传感器在电路板上的位置可能有工差，镜头安装位置可能有工差，电路板和外壳组装可能有工差，多个摄像头在弹性塑料材质竖隔板上的位置也会因受热或挤压存在较大工差，这些因素最终导致不同摄像头的拍摄角度有不同的偏差，食材存储设备内部纵跨各个层架的物体在成像后难以保证相对位置的一致，不同层置物区的内景图像存在断层问题，例如图1和图5示出的背板150纵跨各层置物区，如图5所示，背板150的左右边界明显不对齐，背板150在不同层置物区的内景图像中存在断层问题，影响最终内景图像的显示效果。

S320、获取不同层置物区的内景图像中固定参考物的参考对齐位置。

固定参考物设于储藏室内部，固定参考物纵跨储藏室内的各层置物区，即各层置物区均设置有部分固定参考物，固定参考物沿竖直方向对应储藏室内的各层置物区设置。在一些实施例中，获取不同层置物区的内景图像中固定参考物的参考对齐位置，可以确定固定参考物上沿竖直方向位于同一直线且位于不同层置物区的位置为参考对齐位置。

示例性的，固定参考物可以为标示线条，标示线条沿竖直方向延伸设置，则可以设置对应不同层置物区设置的标示线条部分的中心位置为参考对齐位置，具体可以设置对应一层置物区设置的标示线条部分的中心位置、对应二层置物区设置的标示线条部分的中心位置以及对应三层置物区设置的标示线条部分的中心位置分别为不同层置物区的内景图像中固定参考物的参考对齐位置。

需要说明的是，也可以设置标示线条上沿竖直方向位于同一直线且位于不同层置物区的非中心位置作为参考对齐位置，本申请实施例对此不作具体限定。

示例性的，固定参考物也可以为食材存储设备中的实体结构，图1所示示例中，可以设置固定参考物为背板150，背板150即设于储藏室内部的整块板状结构，背板150纵跨储藏室内的各层置物区，可以设置背板150沿竖直方向位于同一直线且位于不同层置物区的位置为参考对齐位置，例如不同层置物区的内景图像中背板150的中心位置即可作为参考对齐位置。

需要说明的是，也可以设置背板150上沿竖直方向位于同一直线且位于不同层置物区的非中心位置为参考对齐位置，本申请实施例对此不作具体限定。图5所示示例中，可以直观地看出三张图对应的不同层置物区内景图像背板150上的参考对齐位置，例如不同层置物区内景图像中背板150的中心位置未对齐，背板150在不同层置物区的内景图像中会存在断层问题，影响最终内景图像的显示效果。

需要说明的是，上述实施例仅以标示线条和背板为例对固定参考物进行说明，并非对固定参考物具体实现形式的限定，任意纵跨储藏室内的各层置物区的结构或线条均可以作为本申请实施例的固定参考物。

在一些实施例中，固定参考物为设于储藏室内部的背板150，获取不同层置物区的内景图像中固定参考物的参考对齐位置，可以先获取不同层置物区的内景图像中背板150的左右边界，然后根据左右边界获取背板150的中心位置，则根据参考对齐位置对不同层置物区的内景图像进行对齐校正，可以根据参考对齐位置对不同层置物区的内景图像进行对齐校正以使背板150的中心位置纵向对齐，即可以对不同层置物区的内景图像中背板150的中心位置进行对齐校正以使背板150的中心位置纵向对齐。

在一些实施例中，获取不同层置物区的内景图像中背板150的左右边界，可以获取不同层置物区的内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条。示例性的，可以采用霍夫变换算法获取不同层置物区的内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条。

具体的，霍夫变换算法可以图像中分离出具有某种相同特征的几何形状，例如分离处图像中的直线或者圆等几何性状，且可有效减少噪声干扰。背板150的左右边界在内景图像中应显示为竖直线条，为获取不同层置物区的内景图像中背板150的左右边界，本申请实施例需要利用霍夫变换算法分离出各层置物区内景图像中的竖直线条，具体过程为：

将直角坐标系转换到极坐标系。对于直角坐标系中的任意一点A(x0,y0)，经过点A的直线满足方程Y0＝k*X0+b，其中k是斜率b是截距，在X-Y平面过点A(x0,y0)的直线簇可以用Y0＝k*X0+b表示，但对于竖直线条，其斜率无穷大，因此竖直线条利用直角坐标系无法表示，需要将直角坐标系转换到极坐标系。

在极坐标系中表示直线的方程为ρ＝xcos(θ)+ysin(θ)，其中ρ为原点到直线的距离，θ为对应点的极角。极坐标中ρ＝xcos(θ)+ysin(θ)表示一条直线，其中(ρ,θ)确定一条直线，因此对各层置物区内景图像上的每一个非零像素点，在极坐标下均可变换为一条直线，然后构建hist(ρ,θ)二维直方图，二维直方图中θ等于π/2的点即位于竖直线条上，根据ρ的取值可以确定竖直线上非零像素点的个数。在二维直方图中找到所包含非零像素点的个数大于等于设定阈值的竖直线条，即为本申请实施例需要检测到的不同层置物区的内景图像中的竖直线条。示例性的，设定阈值可以等于但不限于30，即不同层置物区的内景图像中包含超过30个非零像素点的竖直线条即为本申请实施例需要确认的竖直线条，通过对非零像素点的个数进行阈值的限定，有效提高了不同层置物区的内景图像中竖直线条的检测准确度。

获取不同层置物区的内景图像中背板的左右边界，在获取不同层置物区的内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条之后，根据竖直线条与内景图像的横向中心像素点之间的竖直距离获取背板的左右边界。位于横向中心像素点左侧且与横向中心像素点之间的竖直距离最小的竖直线条确定为背板的左边界，位于横向中心像素点右侧且与横向中心像素点之间的竖直距离最小的竖直线条确定为背板的右边界。

图5所示示例中，检测到的背板150左右两侧的竖直白色线条，即为不同层置物区的内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条，示例性的，第一层置物区内景图像中背板150左右两侧均检测出两条竖直线条，第二层置物区内景图像中背板150左侧检测到四条竖直线条，右侧检测到两条竖直线条，第三层置物区内景图像中背板150左侧检测到三条竖直线条，右侧检测到两条竖直线条。图5所示示例中，无论从左侧向右侧，或者右侧向左侧，都难以确认不同层置物区的内景图像中背板150的左右边界。

图5所示示例中，可以先确认内景图像的横向中心像素点(100，width/2)，其中，横向中心像素点的高度可以但不限于是内景图像中的第100行，width为图5所示示例中内景图像的宽度，再由内景图像的横向中心像素点A分别向内景图像的左右两侧进行查找。示例性的，以两个方向上找到的第一条竖直线条分别作为背板150的左右边界，即第一层置物区内景图像中左起第二条竖直线条确认为背板150的左边界，右起第二条竖直线条作为背板150的右边界。第二层置物区内景图像中左起第四条竖直线条确认为背板150的左边界，右起第二条竖直线条作为背板150的右边界，第三层置物区内景图像中左起第三条竖直线条确认为背板150的左边界，右起第二条竖直线条作为背板150的右边界。

在获取不同层置物区的内景图像中背板150的左右边界之后，根据背板150的左右边界获取背板150的中心位置，以背板150的中心位置作为不同层置物区的内景图像对应的参考对齐位置。具体的，在获取不同层置物区的内景图像中背板150的左右边界之后，可根据背板150的左右边界计算出每张内景图像中背板150的中心位置。

例如可以设置upLeftCol和upRightCol分别表示第一层置物区内景图像中背板150的左边界横向坐标值和右边界横向坐标值，medLeftCol和medRightCol分别表示第二层置物区内景图像中背板150的左边界横向坐标值和右边界横向坐标值，downLeftCol和downRightCol分别表示第三层置物区内景图像中背板150的左边界横向坐标值和右边界横向坐标值，则第一层置物区内景图像中背板150的中心位置横向坐标值upCenter满足如下计算公式：

upCenter＝(upLeftCol+upRightCol)/2

参照上述计算公式可获得上中下三层置物区内景图像中背板150的中心位置横向坐标值upCenter、medCenter和downCenter。

在一些实施例中，控制器被进一步配置为在获取内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条之前，选取内景图像中背板所在区域进行竖直线条的获取。

具体的，标准的霍夫变换算法采用的是穷举方法来计算所有像素点，图5所示示例中，摄像头采集到的置物区的内景图像中不仅包含背板150所在区域的内景图像，还包括食材存储设备储藏室内其它结构所在区域的内景图像，例如部分储物隔板160所在区域的内景图像，这部分区域的内景图像中同样包含诸多非零像素点区域，但是这部分区域的内景图像对于本申请实施例实现不同层置物区的内景图像位置的校准没有任何作用，若仍采用霍夫变换算法处理整个区域的置物区内景图像，会导致计算过程耗时较长，计算效率低下。

本申请实施例为解决该问题，并非对整个区域的置物区内景图像均进行竖直线条的获取过程，而是在获取内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条之前，先选定内景图像中背板150所在区域。在图5所示示例中，例如可以选定置物区的内景图像中从上到下的前160行进行计算，即仅选取内景图像中背板150所在区域进行竖直线条的获取。由此，可以节省竖直线条获取过程约2/3的计算量，有效提高了竖直线条获取过程的计算效率。

需要说明的是，上述实施例所述的160行仅为示例性地说明和区分背板150所在区域以及储藏室内其它结构所在区域，本申请实施例对背板150所在区域对应的图像行数不作具体限定，可以根据对应摄像头的安装位置和拍摄角度对该行数数值进行调整。

S330、根据参考对齐位置对不同层置物区的内景图像进行对齐校正。

图5所示示例中，固定参考物为设于储藏室内部的背板150，根据参考对齐位置对不同层置物区的内景图像进行对齐校正，可以是对不同层置物区的内景图像中背板150的中心位置进行对齐校正。

在一些实施例中，对不同层置物区的内景图像中背板150的中心位置进行对齐校正以使背板150的中心位置纵向对齐，可以根据不同层置物区内景图像中背板150中心位置获取中心位置最值，根据内景图像中背板150的中心位置和中心位置最值确定第一图像截取宽度，截掉内景图像中对应第一图像截取宽度范围内的边侧图像。

在一些实施例中，对不同层置物区的内景图像中背板150的中心位置进行的对齐校正包括左对齐校正或者右对齐校正，对不同层置物区的内景图像中背板150的中心位置进行左对齐校正，可以是根据不同层置物区的内景图像中背板150中心位置获取中心位置最小值，将内景图像中背板150的中心位置与中心位置最小值的差值确定为第一图像截取宽度，截掉内景图像中第一图像截取宽度范围内的左边侧图像。

对不同层置物区的内景图像中背板150的中心位置进行左对齐校正，即利用背板150的中心位置，通过对齐不同层置物区的内景图像中的背板150的左边界实现不同层置物区内景图中的背板的对齐校正。图5所示示例中，参照前述实施例的描述，已经获取到上中下三层置物区内景图像中背板150的中心位置横向坐标值upCenter、medCenter和downCenter，然后在前述三个值中确定其中的中心位置最小值为minCenter，将内景图像中背板150的中心位置与中心位置最小值minCenter的差值确定为第一图像截取宽度，截掉内景图像中第一图像截取宽度范围内的左边侧图像，即计算出每一层置物区内景图像的校准参数，计算方法如下：

upLeftStart＝upCenter–minCenter

medLeftStart＝medCenter–minCenter

downLeftStart＝downCenter–minCenter

其中，upLeftStart、medLeftStart以及downLeftStart分别是三层置物区内景图像的左侧起始位置，即需要将内景图像左侧截掉的宽度。图5所示示例中，第二层置物区内景图像中背板150的中心位置medCenter即为中心位置最小值minCenter，第一层置物区对应的中心位置与中心位置最小值minCenter的差值同样也等于第一层与第二层置物区内景图像中背板150左边界的距离，第三层置物区对应的中心位置与中心位置最小值minCenter的差值同样也等于第三层与第二层置物区内景图像中背板150左边界的距离。因此，由图5所示示例可以看出，将第一层和第三层内景图像最左侧截掉中心位置与中心位置最小值minCenter的差值范围内的图像，即可实现三层置物区内景图像中背板左边界的对齐，进而实现了三层置物区内景图像中背板150的对齐校正。

图5所示示例中，中心位置最小值minCenter对应中间层置物区的内景图像，因此可以将第一层置物区的内景图像截掉upCenter–minCenter宽度范围内的左边侧图像，将第三层置物区的内景图像截掉downCenter–minCenter宽度范围内的左边侧图像，第二层置物区的内景图像无需进行截取处理，即可实现三层置物区内景图像中背板150左边界的对齐。

由此，实现了三层置物区内景图像中背板150左边界的对齐，即实现了三层置物区内景图像中背板150的对齐校正，显示器210用于接收控制器220输出的储藏室内不同层置物区的内景图像，并用于显示不同层置物区的内景图像以展示储藏室内实际内景，使得显示器210显示的不同层置物区的内景图像中纵跨各层置物区的固定参考物成像后的相对位置一致，纵跨各层置物区的固定参考物在不同层置物区的内景图像中的对应部分对齐，解决了不同层置物区的内景图像的断层显示问题，优化了储藏室内景图像的成像显示效果。

在一些实施例中，对不同层置物区的内景图像中背板150的中心位置进行右对齐校正，可以是根据不同层置物区的内景图像中背板150中心位置获取中心位置最大值，将中心位置最大值与内景图像中背板150的中心位置的差值确定为第一图像截取宽度，截掉内景图像中第一图像截取宽度范围内的右边侧图像。

对不同层置物区的内景图像中背板150的中心位置进行右对齐校正，即利用背板150的中心位置，通过对齐不同层置物区的内景图像中的背板150的右边界实现不同层置物区内景图中的背板150的对齐校正。图5所示示例中，参照前述实施例的描述，已经获取到上中下三层置物区内景图像中背板150的中心位置横向坐标值upCenter、medCenter和downCenter，然后在前述三个值中确定其中的中心位置最大值为maxCenter，将中心位置最大值maxCenter与背板150的中心位置的差值确定为第一图像截取宽度，截掉内景图像中第一图像截取宽度范围内的右边侧图像，即计算出每一层置物区内景图像的校准参数，计算方法如下：

upRightStart＝maxCenter–upCenter

medRightStart＝maxCenter–medCenter

downRightStart＝maxCenter–downCenter

其中，upRightStart、medRightStart以及downRightStart分别是三层置物区内景图像的右侧起始位置，即需要将内景图像右侧截掉的宽度。图5所示示例中，第三层置物区内景图像中背板150的中心位置medCenter即为中心位置最大值maxCenter，中心位置最大值maxCenter与第一层置物区对应的中心位置的差值同样也等于第一层与第三层置物区内景图像中背板150右边界的距离，中心位置最大值maxCenter与第二层置物区对应的中心位置的差值同样也等于第二层与第三层置物区内景图像中背板150右边界的距离。因此，由图5所示示例可以看出，将内景图像最右侧截掉中心位置最大值为maxCenter与中心位置的差值范围内的图像，即可实现三层置物区内景图像中背板右边界的对齐，进而实现了三层置物区内景图像中背板150的对齐校正。

图5所示示例中，中心位置最大值为maxCenter对应第三层置物区的内景图像，因此可以将第一层置物区的内景图像截掉maxCenter–upCenter宽度范围内的右边侧图像，将第二层置物区的内景图像截掉maxCenter–medCenter宽度范围内的右边侧图像，第三层置物区的内景图像无需进行截取处理，即可实现三层置物区内景图像中背板150右边界的对齐。

由此，实现了三层置物区内景图像中背板150右边界的对齐，即实现了三层置物区内景图像中背板150的对齐校正，显示器210用于接收控制器220输出的储藏室内不同层置物区的内景图像，并用于显示不同层置物区的内景图像以展示储藏室内实际内景，使得显示器210显示的不同层置物区的内景图像中纵跨各层置物区的固定参考物成像后的相对位置一致，纵跨各层置物区的固定参考物在不同层置物区的内景图像中的对应部分对齐，解决了不同层置物区的内景图像的断层显示问题，优化了储藏室内景图像的成像显示效果。

在一些实施例中，控制器被进一步配置为在对不同层置物区的内景图像中背板150的中心位置进行对齐校正之后，根据不同层置物区的内景图像宽度中的最小宽度对内景图像进行截取处理。

在一些实施中，根据不同层置物区的内景图像宽度中的最小宽度对内景图像进行截取处理，可以是根据内景图像原宽度、中心位置最大值和中心位置最小值截掉内景图像的边侧图像；其中，截取处理后不同层置物区的内景图像的宽度均等于最小宽度，最小宽度等于内景图像原宽度减去中心位置最大值的结果与中心位置最小值的和值。

具体的，在对不同层置物区的内景图像中背板150的中心位置进行对齐校正之后，由于对不同层置物区的内景图像进行了不同宽度范围内的截取，导致截取后不同层置物区的内景图像的宽度不同，为确保显示器210最终显示的不同层置物区的内景图像的宽度相等，需要重新计算显示器210最终显示的不同层置物区的内景图像的宽度，显示器210最终显示的每层置物区的内景图像的宽度满足以下计算公式：

newPicWidth＝width–maxCenter+minCenter

其中，newPicWidth为显示器210最终显示的每层置物区的内景图像的宽度，width为未进行任何处理前原内景图像的宽度，maxCenter为内景图像中背板150的中心位置最大值，minCenter为内景图像中背板150的中心位置最小值。

图6(a)至图6(c)为本申请根据示例性实施例示出的一种对应左对齐校正的内景图像宽度调整过程示意图。图6(a)表示未进行任何处理前三层置物区的内景图像，其中150表示背板，170表示整个置物区内景图像。图6(a)中示例性地示出了背板150宽度和整个置物区内景图像170宽度。图6(b)表示通过截取内景图像的左侧图像实现左对齐校正后的三层置物区的内景图像，图6(c)表示调整三层置物区的内景图像统一为最小宽度后三层置物区的内景图像。

图6(a)所示示例中，以左边界为横坐标零点，upCenter等于9a，medCenter等于6a，downCenter等于11a，minCenter等于6a，maxCenter等于11a。

图6(b)所示示例中，参照上述实施例，为实现不同层置物区内景图像中背板150的左边界对齐，保持第二层置物区内景图像不变，截掉第一层置物区内景图像中upCenter减去minCenter，即3a宽度范围内的最左侧内景图像，截掉第三层置物区内景图像中downCenter减去minCenter，即5a宽度范围内的最左侧内景图像，此时不同层置物区的内景图像宽度中的最小宽度为第三层置物区内景图像的宽度，为13a，该数值即等于内景图像原宽度18a减去中心位置最大值11a的结果7a，与中心位置最小值6a的和值。

图6(c)所示示例中，需要调整所有层置物区的内景图像的宽度为最小宽度13a，第三层置物区的内景图像无需进行截取处理，截掉第一层置物区的内景图像中2a宽度范围内的最右侧内景图像，以使第一层置物区的内景图像的宽度等于最小宽度13a，截掉第二层置物区的内景图像中5a宽度范围内的最右侧内景图像，以使第二层置物区的内景图像的宽度等于最小宽度13a。由此在确保不同层置物区内景图像中背板150对齐的前提下，统一了不同置物区内景图像的宽度，使得不同层置物区的内景图像为宽度一致的规则图像。

图7(a)至图7(c)为本申请根据示例性实施例示出的一种对应右对齐校正的内景图像宽度调整过程示意图。图7(a)表示未进行任何处理前三层置物区的内景图像，图7(a)中示例性地示出了背板150宽度和整个置物区内景图像170宽度。图7(b)表示通过截取内景图像的右侧图像实现右对齐校正后的三层置物区的内景图像，图7(c)表示调整三层置物区的内景图像统一为最小宽度后三层置物区的内景图像。

图7(a)所示示例中，以左边界为横坐标零点，upCenter等于9a，medCenter等于6a，downCenter等于11a，minCenter等于6a，maxCenter等于11a。

图7(b)所示示例中，参照上述实施例，为实现不同层置物区内景图像中背板150的右边界对齐，保持第三层置物区内景图像不变，截掉第一层置物区内景图像中maxCenter减去upCenter，即2a宽度范围内的最右侧内景图像，截掉第二层置物区内景图像中maxCenter减去medCenter，即5a宽度范围内的最右侧内景图像，此时不同层置物区的内景图像宽度中的最小宽度为第二层置物区内景图像的宽度，为13a，该数值即等于内景图像原宽度18a减去中心位置最大值11a的结果7a，与中心位置最小值6a的和值。

图7(c)所示示例中，需要调整所有层置物区的内景图像的宽度为最小宽度13a，第二层置物区的内景图像无需进行截取处理，截掉第一层置物区的内景图像中3a宽度范围内的最左侧内景图像以使第一层置物区的内景图像的宽度等于最小宽度13a，截掉第三层置物区的内景图像中5a宽度范围内的最左侧内景图像以使第三层置物区的内景图像的宽度等于最小宽度13a，由此在确保不同层置物区内景图像中背板150对齐的前提下，统一了不同置物区内景图像的宽度，使得显示器210最终显示的不同层置物区的内景图像为宽度一致的规则图像。

需要说明的是，上述实施例的宽度数值仅为用于说明对齐校正过程和宽度统一过程进行的数值示例，并非对内景图像中对应结构的宽度及其宽度比例的限定。

在一些实施例中，在根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正之后，可以拼接对齐校正后的不同层置物区的内景图像为拼接内景图像，显示器210用于显示拼接内景图像。图8为本申请根据示例性实施例示出的一种对齐校正后不同层置物区的内景图像示意图。图8所示示例中，经过上述实施例的对齐校正以及宽度统一处理后，不同层置物区内景图像中背板150的左右边界对齐，且不同层置物区内景图像的宽度一致，控制器220拼接对齐校正后的不同层置物区的内景图像为拼接内景图像，显示器210用于接收控制器220输出的储藏室内不同层置物区的拼接内景图像，并用于显示拼接内景图像以展示储藏室内实际内景，使得显示器210显示的拼接内景图像中纵跨各层置物区的固定参考物成像后的相对位置一致，纵跨各层置物区的固定参考物在拼接后图像中的对应部分对齐，解决了不同内景图像拼接后的断层显示问题，优化了储藏室内景图像拼接后的成像显示效果。

由上述实施例可以看出，本申请实施例提供了一种智能食材存储设备屏多摄像头拍摄合成画面对齐的方法，通过对背板的中心校准，对不同层置物区的内景图像进行剪切，最终保证不同层置物区的成像对齐。可以在食材存储设备未出厂前，先对不同层置物区的内景图像进行对齐校准，并将偏移参数保存，出厂后每次对不同层置物区进行拍照后，按校准后的参数对照片进行对齐校准，保证食材存储设备内部纵跨各层置物区的物体在最后成像中可保持相对位置一致，优化了储藏室内景图像拼接后的成像显示效果。

根据上述实施例提供的食材存储设备，本申请实施例还提供一种图像处理方法，该图像处理方法的执行主体包括但不限于上述食材存储设备的控制器。该图像处理方法的具体实施方式可以参考上述实施例，尤其是图4所示实施例，此处不予赘述。

需要说明的是，本公开实施例所述的图像处理方法适用的技术领域不限于食材存储设备领域，对于需要对不同张图像进行对齐校正以使不同张图像沿设定方向对齐的应用场景，本公开实施例所述的图像处理方法均适用。例如快递柜领域，快递柜需要获取柜体内不同层置物区的图像并显示在快递柜外部的显示器上，同样可以采用本公开实施例所述的图像处理方法实现柜体内不同层置物区的图像的对齐校正。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的方法的各实施例中的部分或全部步骤。的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于食材存储设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种食材存储设备，其特征在于，包括；

箱体，内部设有储藏室，用于储藏食材，所述储藏室内设有储物隔板和固定参考物，所述储物隔板将所述储藏室分割成至少两层置物区，所述固定参考物纵跨所述储藏室内的各层置物区；

箱门，设于所述储藏室的开口处；

多个摄像头，设于所述箱门位于所述储藏室内部的一侧且与所述置物区一一对应设置，用于在所述箱门关闭时采集所述储藏室内不同层置物区的内景图像；

与所述摄像头连接的控制器，被配置为：

获取不同层置物区的内景图像；

获取不同层置物区的内景图像中所述固定参考物的参考对齐位置；

根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正；

显示器，所述显示器设于所述箱门外侧，用于呈现所述对齐校正后的不同层置物区的内景图像。

2.根据权利要求1所述的食材存储设备，其特征在于，所述控制器被配置为获取不同层置物区的内景图像中所述固定参考物的参考对齐位置，具体包括：

确定所述固定参考物上沿竖直方向位于同一直线且位于不同层置物区的位置为所述参考对齐位置。

3.根据权利要求1或2所述的食材存储设备，其特征在于，所述固定参考物为设于所述储藏室内部的背板；

所述控制器被配置为获取不同层置物区的内景图像中所述固定参考物的参考对齐位置，具体包括：

获取不同层置物区的内景图像中所述背板的左右边界；

根据所述左右边界获取所述背板的中心位置；

所述控制器被配置为根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正，具体包括：

根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正以使所述背板的中心位置纵向对齐。

4.根据权利要求3所述的食材存储设备，其特征在于，所述控制器被配置为获取不同层置物区的内景图像中所述背板的左右边界，具体包括：

获取不同层置物区的内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条；

根据所述竖直线条与所述内景图像的横向中心像素点之间的竖直距离获取所述背板的左右边界；其中，位于所述横向中心像素点左侧且与所述横向中心像素点之间的竖直距离最小的竖直线条确定为所述背板的左边界，位于所述横向中心像素点右侧且与所述横向中心像素点之间的竖直距离最小的竖直线条确定为所述背板的右边界。

5.根据权利要求4所述的食材存储设备，其特征在于，所述控制器被进一步配置为：

在获取所述内景图像中所包含非零像素点的个数大于等于设定阈值的竖直线条之前，选取所述内景图像中所述背板所在区域进行所述竖直线条的获取。

6.根据权利要求3所述的食材存储设备，其特征在于，所述控制器被配置为根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正以使所述背板的中心位置纵向对齐，具体包括：

根据不同层置物区内景图像中所述背板中心位置获取中心位置最值；

根据所述内景图像中所述背板的中心位置和所述中心位置最值确定第一图像截取宽度；

截掉所述内景图像中对应所述第一图像截取宽度范围内的边侧图像。

7.根据权利要求6所述的食材存储设备，其特征在于，对不同层置物区的内景图像中所述背板的中心位置进行的对齐校正包括左对齐校正或者右对齐校正；

所述控制器被配置为对不同层置物区的内景图像中所述背板的中心位置进行左对齐校正，具体包括：

根据不同层置物区的内景图像中所述背板中心位置获取中心位置最小值；

将所述内景图像中所述背板的中心位置与所述中心位置最小值的差值确定为所述第一图像截取宽度；

截掉所述内景图像中所述第一图像截取宽度范围内的左边侧图像；

所述控制器被配置为对不同层置物区的内景图像中所述背板的中心位置进行右对齐校正，具体包括：

根据不同层置物区的内景图像中所述背板中心位置获取中心位置最大值；

将所述中心位置最大值与所述内景图像中所述背板的中心位置的差值确定为所述第一图像截取宽度；

截掉所述内景图像中所述第一图像截取宽度范围内的右边侧图像。

8.根据权利要求6所述的食材存储设备，其特征在于，所述控制器被进一步配置为：

在对不同层置物区的内景图像中所述背板的中心位置进行对齐校正之后，根据不同层置物区的内景图像宽度中的最小宽度对所述内景图像进行截取处理。

9.根据权利要求8所述的食材存储设备，其特征在于，所述控制器被配置为根据不同层置物区的内景图像宽度中的最小宽度对所述内景图像进行截取处理，具体包括：

根据所述内景图像原宽度、所述中心位置最大值和所述中心位置最小值截掉所述内景图像的边侧图像；其中，截取处理后不同层置物区的内景图像的宽度均等于所述最小宽度，所述最小宽度等于所述内景图像原宽度减去所述中心位置最大值的结果与所述中心位置最小值的和值。

10.一种图像处理方法，其特征在于，包括：

控制摄像头采集食材存储设备储藏室内不同层置物区的内景图像；其中，所述摄像头设于所述食材存储设备的箱门位于所述储藏室内部的一侧且与所述置物区一一对应设置；

获取不同层置物区的内景图像；

获取不同层置物区的内景图像中固定参考物的参考对齐位置；其中，所述储藏室内设有储物隔板和固定参考物，所述储物隔板将所述储藏室分割成至少两层置物区，所述固定参考物纵跨所述储藏室内的各层置物区；

根据所述参考对齐位置对不同层置物区的内景图像进行对齐校正；其中，所述对齐校正后的不同层置物区的内景图像由设于所述箱门外侧的显示器呈现。

Images