[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109998360B - 一种用于自动烹饪食物的方法和装置 - Google Patents

一种用于自动烹饪食物的方法和装置 Download PDF

Info

Publication number
CN109998360B
CN109998360B CN201910288739.XA CN201910288739A CN109998360B CN 109998360 B CN109998360 B CN 109998360B CN 201910288739 A CN201910288739 A CN 201910288739A CN 109998360 B CN109998360 B CN 109998360B
Authority
CN
China
Prior art keywords
cooking
food
food ingredients
image
stir
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910288739.XA
Other languages
English (en)
Other versions
CN109998360A (zh
Inventor
华新雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Changshan Intelligent Technology Corp ltd
Original Assignee
Shanghai Changshan Intelligent Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Changshan Intelligent Technology Corp ltd filed Critical Shanghai Changshan Intelligent Technology Corp ltd
Priority to CN201910288739.XA priority Critical patent/CN109998360B/zh
Publication of CN109998360A publication Critical patent/CN109998360A/zh
Priority to US17/602,744 priority patent/US20220287498A1/en
Priority to PCT/CN2020/082370 priority patent/WO2020207293A1/zh
Application granted granted Critical
Publication of CN109998360B publication Critical patent/CN109998360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES, NOT OTHERWISE PROVIDED FOR; PREPARATION OR TREATMENT THEREOF
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10—General methods of cooking foods, e.g. by roasting or frying
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/002—Construction of cooking-vessels; Methods or processes of manufacturing specially adapted for cooking-vessels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/004—Cooking-vessels with integral electrical heating means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23V—INDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00—Food compositions, function of food ingredients or processes for food or foodstuffs
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J2202/00—Devices having temperature indicating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Food Science & Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Nutrition Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Polymers & Plastics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Cookers (AREA)

Abstract

本申请涉及一种用于自动烹饪食物的方法，该方法包括：获取至少一种食物原料的初始图像，所述初始图像是在烹饪前或烹饪未完成时采集的；处理所述初始图像以提取所述至少一种食物原料的特征参数，所述食物原料的特征参数用于指示所述食物原料的烹饪特性；根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数。

Description

一种用于自动烹饪食物的方法和装置
技术领域
本申请涉及食物自动烹饪领域，更具体地，涉及一种用于自动烹饪食物的方法和装置。
背景技术
伴随着现代社会生活节奏的加快和家电智能化程度的不断提高，各种自动烹饪设备也应运而生。当前市面上的自动烹饪设备往往需要执行标准的烹饪程序，即使有些设备提供了个性化选项，可调整参数也相对较为单一。然而，在现实烹饪过程中，仅仅是食材本身状态的不同，就有可能导致最终成品菜肴的口感和质量出现明显差异。比如，食材种类的差异、不同部位的差异(如菜叶与菜帮)、不同批次的差异(如五花肉的肥瘦比例)、不同收获季节带来的差异、不同新鲜度的差异(如水灵的还是干吧的)、不同起始温度的差异(如冬季还是夏季，刚从冰箱里取出还是室温放置)，以及料形尺寸的差异等。在上述因素的综合作用下，即使使用同样的自动烹饪设备对同样的食材执行同样的烹饪程序，也可能获得完全不同口感和质量的成品菜肴。
此外，当前的自动烹饪设备显然也无法充分考虑烹饪过程中食材的各种状态和参数变化，比如成熟速度、是否过火、烹饪均匀程度和湿度等等。因此，当前的自动烹饪设备在烹饪过程中容易呈现出不同程度的偏差，无法保证菜肴质量和口感的一致性。
发明内容
本申请提供了一种用于自动烹饪食物的方法和装置，实时根据食材状态确定并调整相应的烹饪参数，从而烹饪出质量稳定的菜肴。
在本申请的一个方面，提供了一种用于自动烹饪食物的方法，所述方法包括：获取至少一种食物原料的初始图像，所述初始图像是在烹饪前或烹饪未完成时采集的；处理所述初始图像以提取所述至少一种食物原料的特征参数，所述食物原料的特征参数用于指示所述食物原料的烹饪特性；根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述特征参数包括所述食物原料的名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、表面焦度、不同部位的颜色变化和多个加工对象之间的关系中的至少一种。
一些实施例中，所述烹饪条件参数包括加热温度、加热功率、加热时间、是否加水、添加的水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力和鼓风持续时间中的至少一种。
一些实施例中，所述至少一种食物原料被盛放于烹饪容器中以进行烹饪，所述初始图像是所述食物原料在所述烹饪容器中时采集的。
一些实施例中，所述方法进一步包括：获取所述至少一种食物原料的中间图像，所述中间图像是在采集所述初始图像后的预定时间间隔后采集的；处理所述中间图像以提取所述至少一种食物原料的特征参数；其中，所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数包括：根据从所述初始图像中提取的所述至少一种食物原料的特征参数、从所述中间图像中提取的所述至少一种食物原料的特征参数和所述预定时间间隔，确定所述至少一种食物原料的成熟速度；根据所述至少一种食物原料的成熟速度，确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数包括：将所述至少一种食物原料的特征参数与第一指定阈值比较；当所述至少一种食物原料的特征参数大于所述第一指定阈值时，确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述方法进一步包括：获取所述至少一种食物原料的中间图像，所述中间图像是在采集所述初始图像后的预定时间间隔后采集的；处理所述中间图像以提取所述至少一种食物原料的特征参数；其中，所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数进一步包括：将从所述中间图像中提取的所述至少一种食物原料的特征参数与第二指定阈值比较；当从所述中间图像中提取的所述至少一种食物原料的特征参数大于所述第二指定阈值时，确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述初始图像中的至少一种食物原料包含多个加工对象，所述方法进一步包括：处理所述初始图像以分别提取所述多个加工对象的特征参数；其中，所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数包括：根据所述多个加工对象的特征参数的数值分布，确定所述至少一种食物原料的烹饪均匀程度；根据所述至少一种食物原料的烹饪均匀程度，确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述根据所述至少一种食物原料的烹饪均匀程度，确定针对所述至少一种食物原料的烹饪条件参数包括：根据所述至少一种食物原料的烹饪均匀程度确定对所述至少一种食物原料的翻炒时间、翻炒速度、翻炒频率和翻炒幅度中的至少一种。
一些实施例中，所述至少一种食物原料是烹饪料盒中的待加工的食物原料。
一些实施例中，所述特征参数包括所述至少一种食物原料在所述烹饪料盒中的装填情况。
一些实施例中，根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数包括：根据所述至少一种食物原料在所述烹饪料盒中的装填情况确定所述至少一种食物原料的重量；根据所述至少一种食物原料的重量，确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述处理所述初始图像以提取所述至少一种食物原料的特征参数或者所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数的步骤是通过深度学习神经网络实现的。
一些实施例中，所述深度学习神经网络采用监督下的学习，通过对训练样本打上一个或多个标签，以获得所述至少一种食物原料的一个或多个特征参数，或者获得确定针对所述至少一种食物原料的一个或多个烹饪条件参数的。
一些实施例中，所述深度学习神经网络是以对所述至少一种食物原料的多次合格烹饪过程中的多个时刻采集的图像作为样本进行训练的。
一些实施例中，所述深度学习神经网络是以对所述至少一种食物原料的多次称量结果作为真实克重数值进行训练的。
一些实施例中，所述深度学习神经网络包括的架构可以是对象检测技术、RetinaNet、Faster R-CNN和Mask R-CNN中的至少一种。
一些实施例中，所述深度学习神经网络采用的算法包括ResNet、Inception-ResNet、Feature Pyramid Network、Fully Convolutional Network或者Focal Loss。
一些实施例中，所述深度学习神经网络的底层工具包括TensorFlow、Caffe、Torch&Overfeat、MxNet或Theano中的至少一种。
在本申请的另一个方面，提供了一种用于自动烹饪食物的自动烹饪装置，所述装置包括：图像传感器；处理器，所述处理器被配置为执行以下步骤：通过所述图像传感器获取至少一种食物原料的初始图像，所述初始图像是在烹饪前或烹饪未完成时采集的；处理所述初始图像以提取所述至少一种食物原料的特征参数，每个食物原料的特征参数用于指示所述食物原料的烹饪特性；根据至少一种食物原料的所述特征参数确定针对所述至少一种食物原料的烹饪条件参数。
一些实施例中，所述特征参数包括所述食物原料的名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、表面焦度、不同部位的颜色变化和多个加工对象之间的关系中的至少一种。
一些实施例中，所述烹饪条件参数包括加热温度、加热功率、加热时间、是否加水、添加的水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力和鼓风持续时间中的至少一种。
一些实施例中，所述装置进一步包括用于盛放所述至少一种食物原料以进行烹饪的烹饪容器。
一些实施例中，所述烹饪容器具有开口，在烹饪过程中，所述开口的朝向与垂直方向成0度至90度夹角。
一些实施例中，所述图像传感器大体设置为朝向所述烹饪容器的开口，并且可以相对于所述烹饪容器移动。
一些实施例中，所述烹饪容器的锅体上设置有透明部位，从而使得所述图像传感器能够通过所述透明部位获取所述烹饪容器中的所述至少一种食物原料的图像。
一些实施例中，所述装置进一步包括烹饪机构，所述烹饪机构被设置为根据所述烹饪条件参数对所述烹饪容器中的所述至少一种食物原料进行烹饪操作。
一些实施例中，所述烹饪机构包括加热装置、搅拌装置、翻炒装置、定时装置、控温装置、功率调节装置、加水装置、加油装置、添加调味料装置、勾芡装置或出菜装置。
一些实施例中，所述装置包括用于测量所述烹饪容器的锅体温度的温度传感器。
一些实施例中，所述温度传感器为红外温度传感器或其阵列。
一些实施例中，所述装置进一步包括照明装置，所述照明装置被配置为照射所述烹饪容器中的所述至少一种食物原料。
一些实施例中，所述装置进一步包括抽油烟装置，所述抽油烟装置用于抽吸所述烹饪容器内的油烟。
以上为本申请的概述，可能有简化、概括和省略细节的情况，因此本领域的技术人员应该认识到，该部分仅是示例说明性的，而不旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征，也非旨在用作为确定所要求保护主题的范围的辅助手段。
附图说明
通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。
图1示出了根据本申请的一个实施例的用于自动烹饪食物的方法100的流程图；
图2示出了根据本申请的另一个实施例的用于自动烹饪食物的方法200的流程图；
图3示出了根据本申请的另一个实施例的用于自动烹饪食物的方法300的流程图；
图4示出了根据本申请的另一个实施例的用于自动烹饪食物的方法400的流程图；
图5示出了根据本申请的另一个实施例的用于自动烹饪食物的方法500的流程图；
图6示出了根据本申请的另一个实施例的用于自动烹饪食物的方法600的流程图；
图7示出了根据本申请的另一个实施例的用于自动烹饪食物的装置700的示意图。
具体实施方式
在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。可以理解，可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都明确地构成本申请内容的一部分。
图1示出了根据本申请的一个实施例的用于自动烹饪食物的方法100的流程图。如图1所示，在步骤101，获取至少一种食物原料的初始图像。需要说明的是，该食物原料可以是烹制菜肴所需使用的任何原料。一些实施例中，食物原料为烹制菜肴的主菜和配菜。另一些实施例中，食物原料还包括烹制菜肴所需的调味料和配料。以烹制菜肴宫保鸡丁为例，在步骤101，可以采集鸡丁、花生米、大葱段等主菜和配菜的初始图像，也可以针对所使用的配料或调料(如水淀粉、豆瓣酱、葱姜等)采集其初始图像。在一些实施例中，初始图像是在烹饪前采集的，例如是在食物原料尚处于料盒中未取出时采集的。在另一些实施例中，初始图像是在食物原料在烹饪过程中的某一阶段时采集的，例如是当食物原料被盛放于烹饪容器进行烹饪时采集的。又一些实施例中，初始图像也可以是对食物原料的烹饪暂时中止时所采集的，用于确定该菜肴是否合格，是否需要继续再加工等。
在步骤102，处理上述初始图像以提取至少一种食物原料的特征参数。该特征参数用于指示该食物原料的烹饪特性。具体地，上述特征参数可以是食物原料的名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、表面焦度、不同部位的颜色变化和多个食物原料的加工对象之间的关系等等。一些实施例中，仅有一种特征参数被提取。例如，当采集的初始图像为盛放于料盒中的豆腐图像时，可以根据图像提取豆腐的克重数(具体方法将在下文中详述)。而在一些实施例中，多种特征参数被提取，以确认食物原料的一种或多种烹饪特征。例如，当采集的初始图像为正在烹饪容器中烹饪的青菜时，从图像中提取青菜的颜色、纹理、形状和湿度，从而可以确定该青菜的成熟程度，是否存在过火的情况。需要说明的是，在一些实施例中，该特征参数为图像的像素本身，可以通过对图像像素的分析，确定食物原料的相关特性。
一些实施例中，步骤102中的食物原料的特征参数的提取是通过深度学习或其他人工神经网络算法实现的。以川香回锅肉的烹饪为例，可以首先根据20次烹饪好的川香回锅肉的烹饪过程中采集的图像，手工标注每次烹饪过程图像中，原料五花肉完全生的时候的图像、3成熟时的图像、5成熟时的图像、7成熟时的图像与其全熟图像等，以此定义川香回锅肉菜谱中原料五花肉的5个类(类1、类2、类3、类4、类5)。然后用标签标记过的图像来训练深度学习神经网络(比如Mask R-CNN)，得到模型W，使之可以再现标签分类。运行时，将烹饪过程中的t1时刻采集的五花肉的图像输入模型W，以确定该五花肉在t1时刻的成熟程度属于哪一类。
考虑到获取的食物原料的图像仅能展示该食物原料的一部分，而且部分食物原料也可能会被一起烹饪的其他食物原料遮挡。因此，在一些实施例中，在步骤101获取烹饪过程中相邻的多个时刻(例如，t1、t2和t3)的至少一种食物原料的图像，随后在步骤102中处理上述多个时刻的初始图像以提取该食物原料分别在t1、t2和t3时刻的特征参数，并基于上述特征参数获得该食物原料在t1到t3的时间段内的平均特征参数或特征参数的其他统计值，以更准确的体现该食物原料在该时间段内的烹饪特性，进而对烹饪过程的烹饪条件参数进行调整。
在另一些实施例中，当初始图像中的食物原料尚处于料盒中时，该特征参数也可以通过对料盒上的标识信息的识别来实现，例如扫描识别料盒上的二维码或条形码等等。通过识别的二维码或条形码，可以访问数据库或服务器来获取料盒中食物原料的特征参数。
在另一些实施例中，在步骤102中，还可以通过其他传感器来提取食物原料的附加特征参数，该附加特征参数可以是例如原料温度、锅体温度、锅体压力中的一项或多项。相应地，附加特征参数和特征参数可以共同表征食物原料的烹饪状态，从而用于后续烹饪条件的选择和确定。
在步骤103，基于上述至少一种食物原料的特征参数或由其确定的食物原料的特性，来确定针对该食物原料的烹饪条件参数。该烹饪条件参数可以是对菜肴烹饪有影响的任何条件参数。具体地，例如加热温度、加热功率、加热时间、是否加水、添加的水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力或鼓风持续时间等等。如上述采集的初始图像为盛放于料盒中的豆腐图像的实施例，根据确认的豆腐的克重数，可以相应确定对其烹饪的加热温度、加热功率、加热时间、添加数量、添加调味料的种类及份量等。而在上述的采集的初始图像为正在烹饪容器中烹饪的青菜的实施例中，可以在确定青菜出现过火状况时，相应的调低烹饪的加热温度、加热功率、加热时间、或者多添加水等。一些实施例中，步骤103中根据特征参数确定针对该食物原料的烹饪条件参数也是通过深度学习或其他人工神经网络算法实现的。例如，一些实施例中，所述深度学习神经网络是以对所述至少一种食物原料的多次合格烹饪过程中的多次烹饪条件参数作为样本进行训练的。以川香回锅肉的烹饪为例，可以在多次(如20、30或100次)成功的川香回锅肉烹饪过程中，手工标注每次烹饪条件参数所对应的回锅肉的特征参数，并以标注的样本来训练深度学习神经网络(比如Mask R-CNN)，得到模型X，使之可以再现标签分类。运行时，将t1时刻采集的特征参数输入模型X，能够确定在该特征参数下优选的烹饪条件参数或者参数调整。而在另一些实施例中，步骤103是通过预设的程序实现的。
图2示出了根据本申请的另一个实施例的用于自动烹饪食物的方法200的流程图。方法200的步骤201和202与方法100的步骤101和102类似，在此不再详述。在步骤203，在采集初始图像后的预定时间间隔后，再次获取该食物原料的中间图像。一些实施例中，该预定时间间隔可以为小于预期剩余烹饪时间的任意长度，例如为预期剩余烹饪时间的1/30、1/10、1/5或1/2等。一些实施例中，该预定时间间隔可以被设置为，从初始图像的采集时间点起算，直至当前烹饪条件(如烹饪火力)下食物原料预测会出现重要参数或特性变化(例如，出现过火、过焦的情况)的时间点之前。需要说明的是，虽然方法200中所显示的步骤201和203所采集的图像都是食物原料在烹饪容器时的图像，但是在一些实施例中步骤201所采集的初始图像也可以是食物原料在烹饪前的图像，例如该初始图像可以是在食物原料尚处于料盒中未取出时所采集的。需要说明的是，一些实施例中，步骤201和步骤203所采集的图像可以都是食物原料在烹饪前的图像，或者是食物是在预处理(例如解冻)程序中的图像，从而可以根据从这些图像提取的食物原料参数确定食物原料预处理过程中的烹饪条件参数，例如调整解冻的加热时间或加热功率等。解冻也可以是烹饪过程中的一个步骤。
步骤204与步骤102或202相类似，在此不再详述。在步骤205，根据在步骤202从初始图像中提取的食物原料的特征参数、在步骤204从中间图像中提取的食物原料的特征参数，加上预定的时间间隔，确定至少一种食物原料的成熟速度。因此，在方法200中，步骤202和步骤204所提取的特征参数可以是能够体现食物原料成熟程度的任何特征参数，包括但不限于食物原料的名称、种类、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、表面焦度、不同部位的颜色变化等。
具体地，在一些实施例中，通过分析食物原料在初始图像和中间图像中的分别的表面焦度或颜色，以及预定的时间间隔，可以确定该食物原料的成熟速度。一些实施例中，通过判断食物原料在初始图像和中间图像中尺寸的变化(例如变大或变小)，以及预定的时间间隔，可以确定该食物原料的成熟速度。一些实施例中，多种特征参数被同时考虑以确定食物原料的成熟程度，例如，综合考虑不同种类、大小、新鲜度的食物原料在不同成熟程度呈现的颜色、纹理、形状或表面焦度的区别，加上预定时间间隔，以确定该食物原料的成熟速度。一些实施例中，在综合考虑食物原料的种类、大小和新鲜度中的至少一种情况下，比较该食物原料在初始图像和中间图像中的颜色、纹理、形状或表面焦度，以及预定时间间隔，从而更为准确的确定食物原料的成熟速度。
在步骤206，根据食物原料的成熟速度，确定针对该食物原料的烹饪条件参数。该烹饪条件参数可以是对食物原料的成熟速度有影响的任何条件参数。具体地，比如加热温度、加热功率、继续加热时间、是否加水、添加的水量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力或鼓风持续时间等等。具体在一些实施例中，根据食物原料的成熟速度，确定对该食物原料的加热温度或加热功率。当该成熟速度过快时，调低加热温度或加热功率，而当成熟速度过慢时，调高加热温度或加热功率。在另一些实施例中，当食物原料的成熟速度过快时，停止鼓风机或调小鼓风机的风力，而当成熟速度过慢时，打开鼓风机或调大鼓风机的风力。在又一些实施例中，当食物原料的成熟速度过快时，打开烹饪容器的锅盖，而当成熟速度过慢时，加盖烹饪容器的锅盖。在一些实施例中，当食物原料的成熟速度过快时，可以缩短原本设定的继续加热时间，从而避免出现过火的现象，而当成熟速度过慢时，可以延长原本设定的继续加热时间，从而保证避免出现菜肴没熟的情况。以上述川香回锅肉的菜肴制作为例，如果t1时刻的五花肉被确定为3分熟、而较长时间过后的t2时刻的五花肉被确定为5分熟，则该五花肉的成熟速度可能会被认为过慢，根据此时的成熟速度，可以对应的加大烹饪加热功率、翻炒频率，以提高五花肉的成熟速度。
可以理解，烹饪菜肴的食物原料通常包括多种，例如川香回锅肉可以包括五花肉和蒜苗等，而在烹饪过程中，不同的食物原料受不同的烹饪条件参数影响而可能会有不同的成熟速度。因此，不同类型烹饪条件参数的不同组合可能对食物原料的成熟有不同影响。在步骤206中，可以根据不同种类食物原料的不同成熟速度，确定较优或较适合的烹饪条件参数组合。仍以川香回锅肉为例，在步骤205之后，确定五花肉的成熟度相对于蒜苗的成熟度较高：如果相比于加水，提高加热温度对五花肉成熟度的影响更大(相比于蒜苗)，那么在步骤206中可以降低加热温度并适当加水，而不是保持加热温度而减少加水量。
虽然如图所示的方法200仅采集了两个时刻的图像，但在一些实施例中，可以采集更多时间节点的图像，从而实时监测食物原料的成熟程度和成熟速度，并据此调整加热功率、加热时间、翻炒频率等烹饪条件参数，从而真正实现类似于人类厨师的火候控制，保证成品菜肴具有最佳口感和色泽，有效提高菜品质量的一致性。
图3示出了根据本申请的另一个实施例的用于自动烹饪食物的方法300的流程图。其中，步骤301和步骤302类似于步骤101或201和102或202，在此不再详述。在步骤303，将从初始图像提取的食物原料的特征参数与第一指定阈值比较，随后在步骤304，基于上述特征参数与第一指定阈值的比较结果确定对食物原料的烹饪条件参数或其组合。需要说明的是，步骤302获取的食物原料的特征参数可以是指示食物特性的任何参数。在一些实施例中，通过步骤302获取的特征参数为新鲜度，当新鲜度大于对应的阈值时，则说明该食物原料偏生，从而可以在步骤304通过调整烹饪条件参数(例如加大加热功率、提高翻炒频率、延长加热时间，打开鼓风机或调大鼓风机风力等)来解决这一问题。相反地，当表面焦度、颜色、纹理等体现的成熟度大于对应阈值时，说明该食物原料偏老或过火，可以通过在步骤304对应减小加热功率、加热时间、关闭鼓风机或调小鼓风机风力等，来避免上述问题。需要说明的是，虽然步骤304是在食物原料的特征参数大于第一指定阈值时，确定或调整对其的烹饪条件参数，但是在一些实施例中，也可以在食物原料的特征参数小于第一指定阈值时，确定或调整对其的烹饪参数。例如，当食物原料的湿度小于第一指定阈值时，确认该食物原料过干，可以在步骤304通过调整烹饪条件参数，如采用加水、添加更多水量等方式来解决上述问题。
图4示出了根据本申请的另一个实施例的用于自动烹饪食物的方法400的流程图，其步骤401至403对应于方法300的步骤301至304，在此不再详述。而步骤404和405类似于方法200的步骤203和204，在此也不再详述。在步骤406中，将从中间图像中提取的食物原料的特征参数与第二指定阈值比较，当该特征参数大于第二指定阈值时，确定针对该食物原料的烹饪条件参数。步骤406的烹饪条件参数的调整类似于方法300中步骤304的调整，其所涉及的特征参数也可以是指示食物特性的任何参数。具体地，在一些实施例中，在步骤402，在食物原料在t1时刻的初始图像中提取的特征参数为表面焦度、颜色或成熟度，当其大于第一阈值时，说明该食物原料偏老或过火，从而可以在步骤403通过调整烹饪条件参数(例如减小加热功率、加热时间、关闭鼓风机或调小鼓风机风力等)来解决这一问题。随后在步骤404和405中，在食物原料在t2时刻采集的中间图像中，同样提取食物原料在该时刻的表面焦度、颜色或成熟度，并将其与第二阈值比较，如果其大于第二阈值，则说明先前调整的烹饪条件参数未起到相应效果，从而在步骤406中可以进一步调整烹饪条件参数(例如，针对性的减小加热功率、加热时间、关闭鼓风机或调小鼓风机风力等)来解决过干或过火的问题。
例如，在另一些实施例中，在步骤402从t1时刻获取的初始图像中提取的特征参数为湿度，当其大于第一阈值时，食物原料过干，随后在步骤403通过调整烹饪条件参数，如采用加水、增加添加的水量等方式来解决上述问题。在步骤404中，从t2时刻获取的食物原料中间图像中提取了食物原料的当前湿度，当其大于第二阈值时，说明该食物原料依然处于过干状态，因此，可以在步骤406调整烹饪条件参数，如采用加水、增加添加的水量等方式来解决上述问题。
同样的，虽然如图所示的方法400仅采集了两个时刻的图像，但在一些实施例中，可以采集多个时间节点的图像，从而实现实时进行食物原料与对应阈值的比较，并据此调整烹饪条件参数，以即时追踪前一次烹饪条件参数的调整效果并及时进行新的调整，最终实现期待的调整结果。
图5示出了根据本申请的另一个实施例的用于自动烹饪食物的方法500的流程图。在步骤501中获取至少一种食物原料的初始图像，其中至少一种食物原料包括多个加工对象。一些实施例中，多个加工对象可以属于同一种食物原料，例如用于炒制川香回锅肉的多片五花肉。而另一些实施例中，多个加工对象也可以是不同种类的食物原料，例如爆炒杂菌中的多片香菇、多片平菇加上多片杏鲍菇等。
在步骤502，通过处理初始图像以分别提取该多个加工对象的特征参数。该步骤类似于方法100、200、300和400中的特征参数提取步骤，在此不再详述。在步骤503中，根据多个加工对象的特征参数的数值分布，确定食物原料的烹饪均匀程度。以的爆炒杂菌为例，当提取的特征参数为指示其成熟程度的参数时(如颜色、纹理、形状或表面焦度等)，如果多片杂菌的成熟程度较为分散，比如3成熟的占50％，而全熟的占50％，则说明当前烹饪的均匀程度较低。相反地，如果多片杂菌的成熟程度分布较为集中，比如5成熟的占70％，7成熟的占30％，则可以认定当前烹饪的均匀程度较高。
随后，在步骤504中，根据从步骤503中获得的一种或多种食物原料的烹饪均匀程度，确定针对该食物原料的烹饪条件参数。继续以上述爆炒杂菌为例，如果烹饪均匀程度较差，则需要调整烹饪条件参数来改变其烹饪均匀程度。具体地，在一些实施例中，根据所述通过调整对该食物原料的多个加工对象的翻炒时间、翻炒速度、翻炒频率和翻炒幅度中的至少一种来调整其烹饪均匀程度。
虽然如图所示的方法500仅采集了一个时间节点的图像，但在一些实施例中，可以采集多个时间节点的图像，从而实时监测不同时间节点食物原料的烹饪均匀程度，并实时据此确定烹饪条件参数，来实现对烹饪均匀程度的实时调整。
图6示出了根据本申请的另一个实施例的用于自动烹饪食物的方法600的流程图。在步骤601中，获取一种或多种尚处于烹饪料盒中的待加工的食物原料的初始图像。步骤602中，通过处理该初始图像以提取该食物原料的特征参数，该步骤与上述方法特征参数提取步骤类似，该特征参数可以是指示待加工的食物原料特性的任何参数，具体如，食物原料名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、不同部位的颜色变化和多个食物原料的加工对象之间的关系等。如前所述，上述特征参数也可以从初始图像中通过料盒上的标识信息(如二维码、条形码)的识别来实现。
一些实施例中，所述特征参数包括该食品原料在烹饪料盒中的装填情况。在步骤603，根据食物原料在烹饪料盒中的装填情况确定该食物原料的重量。在一些实施例中，通过食物原料的种类可以确定其在料盒中的堆密度，进而结合其在烹饪料盒中的装填体积，可以确认该食物原料的重量。在一些实施例中，通过食物原料的种类可以确定其装满料盒时的重量，进而结合其当前在烹饪料盒中的装填比例，进而确认该食物原料的重量。
在步骤604，根据通过步骤603提取的食物原料的重量，确定该食物原料的烹饪条件参数，该烹饪条件参数可以是与食物原料的重量相关的任意的影响烹饪过程的参数，包括但不限于加热温度、加热功率、加热时间、是否加水、添加水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力和鼓风持续时间等等。具体地，在一些实施例中，根据步骤603获得的食物原料的重量，在步骤604中确定或调整对食物原料的加热温度、加热功率或加热时间，从而保证食物原料能够被充分加热的同时不会出现过火。在另一些实施例中，根据食物原料的重量，确定或调整对食物原料的翻炒频率，从而在节能的前提下实现对食物原料的充分翻炒。在一些实施例中，根据食物原料的重量，确定或调整添加水量，从保证最终出品菜肴的干湿度和口感。
一些实施例中，上述方法100至600中所涉及的处理图像以提取食物原料的特征参数的步骤可以通过深度学习神经网络实现的。一些实施例中，深度学习神经网络中模型训练的目标函数包括成品食物的样式、色泽、香气、香味、口味、口感、主辅料比例、热度中的一个或多个。具体在一些实施例中，训练的目标函数的确定是通过人工观测及品尝，或者由另一个事先训练好的深度学习神经网络模型来实现的。
具体地，在一些实施例中，该深度学习神经网络是以对至少一种食物原料的多次合格烹饪过程中的多个时刻采集的图像作为样本进行训练的。以如上所述的川香回锅肉的烹饪为例，首先根据20次成功的川香回锅肉烹饪过程的图像，手工标注每次烹饪过程图像中，原料五花肉1/4成熟时的图像，该五花肉半成熟时的图像，该五花肉3/4成熟时的图像与其出锅时的图像等，以此定义川香回锅肉菜谱中原料的5个程度(1成熟、3成熟、5成熟、7成熟和全熟)。然后用标签标记的图像来训练深度学习神经网络(比如Mask R-CNN)，得到模型W，使之可以再现标签分类。运行时，将t1时刻采集的锅内图像输入模型W。如果该图像中的50％以上的检出物体被认作3成熟，则这次烹饪按计划执行原始菜谱(缺省程序)。如果该图像中的50％以上的检出物体被认作1成熟，则表示这次烹饪比标准程序偏生，而如果该图像中的50％以上的检出物体被认作5成熟，则表示这次烹饪比标准程序过火。
一些实施例中，上述方法100至600中所涉及的根据一种或多种食物原料的特征参数确定针对该食物原料的烹饪条件参数的步骤也是通过深度学习神经网络实现的。如上所述，一些实施例中，所述深度学习神经网络是可以首先根据实际烹饪过程中，针对不同特征参数的对应适合或有效地的烹饪参数确定或调整作为样本进行训练的。以上述的爆炒杂菌为例，根据实际烹饪过程中，针对不同的烹饪均匀程度，标注每次烹饪条件参数或其调整，并以标注的样本来训练深度学习神经网络，得到模型X，使之可以再现标签分类。在方法的实际执行过程时，将t1时刻的烹饪均匀程度输入模型X，模型X可以反馈出在该烹饪均匀程度下优选的烹饪条件参数或其调整。而在另一些实施例中，步骤103是通过预设的程序实现的。
在另一些实施例中，该深度学习神经网络也可以通过当前烹饪过程中不同时刻采集的图像和参数样本进行训练。例如，在上述爆炒杂菌的烹饪过程中，将t1时刻采集的杂菌的烹饪均匀程度输入模型X，确定对该杂菌的烹饪条件参数，如将加热功率调低百分之五十。随后，提取t2时刻的烹饪均匀程度，以对此前食物原料的烹饪条件参数的调整效果进行评价，该评价结果用于优化模型X。
一些实施例中，所述深度学习神经网络是以对至少一种食物原料的多次称量结果作为真实克重数值进行训练的。例如，以获取烹饪料盒中的豆腐的克重值为例，首先获取豆腐在烹饪料盒中的装填图像，随后对料盒中的豆腐进行称量以获取真实克重数值，并对上述初始图像进行手工标注。比如，占料盒1/4体积的豆腐图像，占料盒1/2体积的豆腐图像，占料盒3/4体积的豆腐图像，占料盒全部体积的豆腐图像等，以此定义料盒中豆腐原料的多个克重值对应的豆腐图像。然后，用标签标记的图像来训练深度学习神经网络(比如MaskR-CNN)，得到模型Y，使之可以再现标签分类。
一些实施例中，所述深度学习神经网络包括的架构可以是对象检测技术、RetinaNet、Faster R-CNN和Mask R-CNN中的至少一种。一些实施例中，所述深度学习神经网络采用的算法包括ResNet、Inception-ResNet、Feature Pyramid Network、FullyConvolutional Network或者Focal Loss。
一些实施例中，所述深度学习神经网络的底层工具包括TensorFlow、Caffe(Convolutional Architecture for Fast Feature Embedding)、Theano、PyTorch、Torch&Overfeat、MxNet或者Keras等等。其中，TensorFlow是一个异构分布式系统上的大规模机器学习框架，移植性好，支持多种深度学习模型。Caffe一种常用的深度学习框架，主要应用在视频、图像处理方面的应用上。Theano是一个Python库，专门用于定义、优化、求值数学表达式，效率高，适用于多维数组。PyTorch是一个Python优先的深度学习框架，能够在强大的GPU加速基础上实现张量和动态神经网络。Torch是一个出现较早的支持大部分机器学习算法的科学计算框架。目前已有四个版本，分别为Torch 1、Torch 3、Torch 5、Torch 7。MxNet是一个面向效率和灵活性设计的深度学习框架，吸引了多种不同框架优点，加入了更多新的功能，如更加方便的多卡和多机分布式运行。Keras是基于Theano和TensorFlow的深度学习库，其由纯Python编写而成，并基Tensorflow、Theano以及CNTK后端，属于一种高层神经网络API。
一些实施例中，根据一种或多种食物原料的特征参数确定针对该食物原料的烹饪条件参数的步骤是依据先前试菜经验事先编好的程序确定的。
图7示出了根据本申请的另一个实施例的用于自动烹饪食物的装置700的示意图。如图所示，装置700包括烹饪容器701、处理器705和图像处理器707。
一些实施例中，该图像传感器707为光导摄像管或固态图像传感器，该图像传感器大体朝向烹饪容器701的开口布置，用于采集烹饪容器701内的食物原料703的图像。由于烹饪装置700通常处于高温封闭环境，一些实施例中，图像传感器707为工业相机。一些实施例中，图像传感器707相对于烹饪容器701的位置可调节，从而可以采集烹饪容器701内不同位置的图像。一些实施例中，在烹饪过程中，烹饪容器701的开口与垂直方向的夹角成0度至90度夹角。其中，在一些实施例中，烹饪容器701的开口与垂直方向的夹角为可调整夹角，该夹角大小可以在0度与180度之间调节。一些实施例中，烹饪容器701的锅体上设置有透明部位(图中未示出)，从而使得烹饪容器701被封闭的情况下，图像传感器707也能够通过该透明部位采集烹饪容器701中的食物原料703的图像。虽然如图所示的图像传感器707主要用于采集烹饪容器701中的实务原料703的图像，在一些实施例中，图像传感器707也可以用于采集并非位于烹饪容器701中的食物原料703的图像，例如，位于料盒中的食物原料703的图像。
此外，由于烹饪容器701内通常光线不足，所以在一些实施例中，装置700还包括照明装置706。虽然如图所示的照明装置706紧邻图像传感器707布置，在一些实施例中，照明装置706也可以布置在便于照亮食物原料703的其他任何位置。具体地，在一些实施例中，照明位置706相对于烹饪容器701的位置也是可调节的，从而便于照亮烹饪容器701内的不同位置。一些实施例中，照明装置706为射灯，而在另一些实施例中，照明装置706为无影灯。
如图所示，处理器705与图像传感器707通信连接，从而使得由图像传感器707采集的食物原料703的图像能够传输至处理器705。处理器705处理该图像以提取食物原料703的特征参数，关于提取食物原料703的特征参数的方法，参见如上所述的方法100、200、300、400、500和600中的相应步骤，在此不再详述。在获取食物原料703的特征参数后，处理器705根据该特征参数确定针对食物原料703的烹饪条件参数。关于根据特征参数确定针对食物原料703的烹饪条件参数的方法，也参见如上所述的方法100、200、300、400、500和600中的相应步骤。需要说明的是，处理器705被设置为用于执行深度学习算法训练神经网络，从而实现上述步骤。该深度学习算法可以是包括ResNet、Inception-ResNet、Feature PyramidNetwork、Fully Convolutional Network或者Focal Loss，而神经网络可以是对象检测技术、RetinaNet、Faster R-CNN和Mask R-CNN中的至少一种。
如图7所示，装置700还包括烹饪机构702，该烹饪机构702用于对烹饪容器701中的食物原料703进行烹饪操作。具体一些实施例中，烹饪机构702与处理器705通信连接，从而根据处理器705提供的烹饪条件参数对烹饪容器701中的食物原料703进行实时地具体烹饪操作。虽然如图所示的烹饪机构702为示例性的加热机构，但在实际操作中，烹饪机构702还可以包括其他任何对食物原料进行烹饪的机构或装置，比如，加热装置、搅拌装置、翻炒装置、定时装置、控温装置、功率调节装置、加水装置、加油装置、添加调味料装置、勾芡装置或出菜装置等等。
继续参照图7，装置700还包括用于测量烹饪容器701的锅体温度的温度传感器704。一些实施例中，该温度传感器为红外温度传感器或者红外传感器阵列。虽然图中未示出，在一些实施例中，装置700还进一步包括抽油烟装置(图中未示出)，用于及时抽吸烹饪容器701内产生的油烟。一些实施例中，该抽油烟装置的位置被设置使得烟气的被抽吸方向与图像传感器707的对准的方向存在一定角度，如45度到60度，从而避免油烟对图像传感器707的图像采集产生影响。在一些实施例中，处理器705被进一步设置为，处理图像传感器707的图像以确定烹饪容器内的烟雾干扰情况，并且根据烟雾干扰情况调整所述抽油烟装置的抽吸功率和/或其相对于烹饪容器的位置。
需要说明的是，虽然上下文详细描述的方法和装置所涉及的传感器为图像传感器，但基于相同的原理，该传感器也可以被替换为其他类型的传感器，如嗅觉传感器或听觉传感器等。
应当注意，尽管在上文详细描述中提及了自动烹饪食物的装置700的若干模块或子模块，但是这种划分仅仅是示例性的而非强制性的。实际上，根据本申请的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。在一些实施例中，自动烹饪食物的装置也可以是不同于图7所示结构的装置，比如，该自动烹饪食物的装置可以是具有相应模块的自动煸炒机、蒸烤箱、蒸炖锅、烤面包机、万能蒸烤箱、微波炉或烤炉等。
那些本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书，理解和实施对披露的实施方式的其他改变。在权利要求中，措词“包括”不排除其他的元素和步骤，并且措辞“一”、“一个”不排除复数。在本申请的实际应用中，一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

Claims (32)

1.一种用于自动烹饪食物的方法，其特征在于，所述方法包括：
获取烹饪容器内多种食物原料的初始图像，所述初始图像是在烹饪前或烹饪未完成时采集的；
在预定时间间隔后，获取烹饪容器内所述多种食物原料的中间图像；
处理所述初始图像和中间图像以提取所述食物原料的特征参数，所述食物原料的特征参数用于指示所述食物原料的烹饪特性；
根据所述食物原料的特征参数确定针对所述多种食物原料的烹饪条件参数；
其中，所述处理所述初始图像和中间图像以提取所述食物原料的特征参数包括：
基于所述初始图像和中间图像，分别确定所述多种食物原料中至少两种食物原料的成熟速度。
2.根据权利要求1所述的方法，其特征在于，所述特征参数包括所述食物原料的名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、表面焦度、不同部位的颜色变化和多个加工对象之间的关系中的至少一种。
3.根据权利要求1所述的方法，其特征在于，所述烹饪条件参数包括加热温度、加热功率、加热时间、是否加水、添加的水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力和鼓风持续时间中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述根据所述食物原料的特征参数确定针对所述多种食物原料的烹饪条件参数包括：
将所述食物原料的特征参数与第一指定阈值比较；
当所述食物原料的特征参数大于所述第一指定阈值时，确定针对所述多种食物原料的烹饪条件参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述食物原料的特征参数确定针对所述多种食物原料的烹饪条件参数进一步包括：
将从所述中间图像中提取的所述食物原料的特征参数与第二指定阈值比较；
当从所述中间图像中提取的所述食物原料的特征参数大于所述第二指定阈值时，确定针对所述多种食物原料的烹饪条件参数。
6.根据权利要求1所述的方法，其特征在于，所述初始图像中的至少一种食物原料包含多个加工对象，所述方法进一步包括：
处理所述初始图像以分别提取所述多个加工对象的特征参数；
其中，所述根据所述至少一种食物原料的特征参数确定针对所述至少一种食物原料的烹饪条件参数包括：
根据所述多个加工对象的特征参数的数值分布，确定所述至少一种食物原料的烹饪均匀程度；
根据所述至少一种食物原料的烹饪均匀程度，确定针对所述至少一种食物原料的烹饪条件参数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一种食物原料的烹饪均匀程度，确定针对所述至少一种食物原料的烹饪条件参数包括：
根据所述至少一种食物原料的烹饪均匀程度确定对所述至少一种食物原料的翻炒时间、翻炒速度、翻炒频率和翻炒幅度中的至少一种。
8.根据权利要求1所述的方法，其特征在于，所述处理所述初始图像以提取所述食物原料的特征参数或者所述根据所述食物原料的特征参数确定针对所述多种食物原料的烹饪条件参数的步骤是通过深度学习神经网络实现的。
9.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络采用监督下的学习，通过对训练样本打上一个或多个标签，以获得所述食物原料的一个或多个特征参数，或者获得确定针对所述食物原料的一个或多个烹饪条件参数的。
10.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络是以对所述至少一种食物原料的多次合格烹饪过程中的多个时刻采集的图像作为样本进行训练的。
11.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络是以对所述食物原料的多次称量结果作为真实克重数值进行训练的。
12.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络包括的架构是对象检测技术、RetinaNet、Faster R-CNN和Mask R-CNN中的至少一种。
13.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络采用的算法包括ResNet、Inception-ResNet、Feature Pyramid Network、Fully Convolutional Network或者Focal Loss。
14.根据权利要求8所述的方法，其特征在于，所述深度学习神经网络的底层工具包括TensorFlow、Caffe、Torch & Overfeat、MxNet或Theano中的至少一种。
15.根据权利要求1所述的方法，其特征在于，所述预定时间间隔小于预期的剩余烹饪时间。
16.根据权利要求15所述的方法，其特征在于，所述预定时间间隔为所述预期的剩余烹饪时间的1/30、1/10、1/5或1/2。
17.一种用于自动烹饪食物的自动烹饪装置，其特征在于，所述装置包括：
图像传感器；
处理器，所述处理器被配置为执行以下步骤：
通过所述图像传感器获取烹饪容器内多种食物原料的初始图像，所述初始图像是在烹饪前或烹饪未完成时采集的；
在预定时间间隔后，获取烹饪容器内所述多种食物原料的中间图像；
处理所述初始图像和中间图像以提取所述食物原料的特征参数，所述食物原料的特征参数用于指示所述食物原料的烹饪特性；
根据所述食物原料的所述特征参数确定针对所述多种食物原料的烹饪条件参数；
其中，所述处理所述初始图像和中间图像以提取所述食物原料的特征参数包括：
基于所述初始图像和中间图像，分别确定所述多种食物原料中至少两种食物原料的成熟速度。
18.根据权利要求17所述的自动烹饪装置，其特征在于，所述特征参数包括所述食物原料的名称、种类、堆密度、克重、颜色、纹理、形状、尺寸、新鲜度、湿度、色泽、成熟度、表面焦度、不同部位的颜色变化和多个加工对象之间的关系中的至少一种。
19.根据权利要求17所述的自动烹饪装置，其特征在于，所述烹饪条件参数包括加热温度、加热功率、加热时间、是否加水、添加的水量、添加调味料的种类及份量、翻炒时间、翻炒速度、翻炒频率、翻炒幅度、是否加盖锅盖、加盖的持续时间、是否鼓风、鼓风风力和鼓风持续时间中的至少一种。
20.根据权利要求17所述的自动烹饪装置，其特征在于，所述装置进一步包括用于盛放所述多种食物原料以进行烹饪的烹饪容器。
21.根据权利要求20所述的自动烹饪装置，其特征在于，所述烹饪容器具有开口，在烹饪过程中，所述开口的朝向与垂直方向成0度至90度夹角。
22.根据权利要求20所述的自动烹饪装置，其特征在于，所述图像传感器大体设置为朝向所述烹饪容器的开口，并且能够相对于所述烹饪容器移动。
23.根据权利要求20所述的自动烹饪装置，其特征在于，所述烹饪容器的锅体上设置有透明部位，从而使得所述图像传感器能够通过所述透明部位获取所述烹饪容器中的所述多种食物原料的图像。
24.根据权利要求20所述的自动烹饪装置，其特征在于，所述装置进一步包括烹饪机构，所述烹饪机构被设置为根据所述烹饪条件参数对所述烹饪容器中的所述多种食物原料进行烹饪操作。
25.根据权利要求24所述的自动烹饪装置，其特征在于，所述烹饪机构包括加热装置、搅拌装置、翻炒装置、定时装置、控温装置、功率调节装置、加水装置、加油装置、添加调味料装置、勾芡装置或出菜装置。
26.根据权利要求20所述的自动烹饪装置，其特征在于，所述装置包括用于测量所述烹饪容器的锅体温度的温度传感器。
27.根据权利要求26所述的自动烹饪装置，其特征在于，所述温度传感器为红外温度传感器或其阵列。
28.根据权利要求20所述的自动烹饪装置，其特征在于，所述装置进一步包括照明装置，所述照明装置被配置为照射所述烹饪容器中的所述至少一种食物原料。
29.根据权利要求20所述的自动烹饪装置，其特征在于，所述装置进一步包括抽油烟装置，所述抽油烟装置用于抽吸所述烹饪容器内的油烟。
30.根据权利要求29所述的自动烹饪装置，其特征在于，所述处理器被进一步配置为：处理所述图像传感器获取的图像以确定烹饪容器内的烟雾干扰情况，并且根据烟雾干扰情况调整所述抽油烟装置的抽吸功率和/或其相对于烹饪容器的位置。
31.根据权利要求17所述的自动烹饪装置，其特征在于，所述预定时间间隔小于预期的剩余烹饪时间。
32.根据权利要求31所述的自动烹饪装置，其特征在于，所述预定时间间隔为所述预期的剩余烹饪时间的1/30、1/10、1/5或1/2。
CN201910288739.XA 2019-04-11 2019-04-11 一种用于自动烹饪食物的方法和装置 Active CN109998360B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910288739.XA CN109998360B (zh) 2019-04-11 2019-04-11 一种用于自动烹饪食物的方法和装置
US17/602,744 US20220287498A1 (en) 2019-04-11 2020-03-31 Method and device for automatically cooking food
PCT/CN2020/082370 WO2020207293A1 (zh) 2019-04-11 2020-03-31 一种用于自动烹饪食物的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288739.XA CN109998360B (zh) 2019-04-11 2019-04-11 一种用于自动烹饪食物的方法和装置

Publications (2)

Publication Number Publication Date
CN109998360A CN109998360A (zh) 2019-07-12
CN109998360B true CN109998360B (zh) 2021-03-26

Family

ID=67171037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288739.XA Active CN109998360B (zh) 2019-04-11 2019-04-11 一种用于自动烹饪食物的方法和装置

Country Status (3)

Country Link
US (1) US20220287498A1 (zh)
CN (1) CN109998360B (zh)
WO (1) WO2020207293A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998360B (zh) * 2019-04-11 2021-03-26 上海长膳智能科技有限公司 一种用于自动烹饪食物的方法和装置
CN112394149B (zh) * 2019-08-13 2023-12-22 青岛海尔智能技术研发有限公司 食材成熟度检测提示的方法及装置、厨电设备
CN110826574B (zh) * 2019-09-26 2025-06-24 青岛海尔智能技术研发有限公司 食材成熟度确定的方法、装置、厨电设备及服务器
CN110824942B (zh) * 2019-11-20 2021-11-16 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110664259B (zh) * 2019-11-20 2021-09-21 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110806699A (zh) * 2019-11-20 2020-02-18 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
EP4443249A3 (en) * 2019-11-20 2024-11-13 Guangdong Midea Kitchen Appliances Manufacturing Co., Ltd. Control method and device for cooking equipment, cooking equipment and storage medium
CN110716483B (zh) * 2019-11-20 2020-12-04 广东美的厨房电器制造有限公司 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
WO2021098473A1 (zh) * 2019-11-20 2021-05-27 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110780628B (zh) * 2019-11-20 2021-06-22 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110956217A (zh) * 2019-12-06 2020-04-03 广东美的白色家电技术创新中心有限公司 食物成熟度识别方法、装置以及计算机存储介质
CN110989409B (zh) * 2019-12-10 2024-05-17 珠海格力电器股份有限公司 一种菜品烹饪方法、装置及存储介质
CN111142394B (zh) * 2019-12-25 2021-12-07 珠海格力电器股份有限公司 烹饪设备的控制方法、装置、设备及计算机可读介质
CN110974038B (zh) * 2019-12-26 2021-07-23 卓尔智联(武汉)研究院有限公司 食材熟度确定方法、装置、烹饪控制设备和可读存储介质
CN111031619A (zh) * 2019-12-27 2020-04-17 珠海格力电器股份有限公司 多腔体微波炉的加热的方法、装置、微波炉及存储介质
CN111481049B (zh) * 2020-05-07 2021-11-16 珠海格力电器股份有限公司 烹饪设备控制方法、装置、烹饪设备和存储介质
CN111552332B (zh) * 2020-05-21 2021-03-05 浙江吉祥厨具股份有限公司 蒸柜控制方法、蒸柜控制装置以及蒸柜
CN113758879A (zh) * 2020-06-01 2021-12-07 青岛海尔智能技术研发有限公司 用于识别食物成熟度的方法、装置和厨电设备
CN111812989A (zh) * 2020-06-01 2020-10-23 青岛海尔智能技术研发有限公司 食材加工控制方法、装置、设备和存储介质
CN111700518A (zh) * 2020-06-19 2020-09-25 上海纯米电子科技有限公司 食材类型获取方法、装置及烹饪设备
CN112006525B (zh) * 2020-08-11 2022-06-03 杭州九阳小家电有限公司 一种烹饪设备内食物的焦糊检测方法及烹饪设备
CN111990902A (zh) * 2020-09-30 2020-11-27 广东美的厨房电器制造有限公司 一种烹饪控制方法及装置、电子设备及存储介质
CN112180751A (zh) * 2020-10-14 2021-01-05 广东美的厨房电器制造有限公司 控制方法、计算机可读存储介质、烹饪设备和烹饪系统
CN112528941B (zh) * 2020-12-23 2021-11-19 芜湖神图驭器智能科技有限公司 基于神经网络的自动化参数设定系统
CN113287936B (zh) * 2021-04-14 2022-03-25 浙江旅游职业学院 炒菜系统
WO2023244262A1 (en) * 2022-06-14 2023-12-21 Frito-Lay North America, Inc. Devices, systems, and methods for virtual bulk density sensing
US12347092B2 (en) 2021-06-25 2025-07-01 Frito-Lay North America, Inc. Devices, systems, and methods for virtual bulk density sensing
CN113842056A (zh) * 2021-08-20 2021-12-28 珠海格力电器股份有限公司 自动炒菜设备控制方法、装置、计算机设备和存储介质
CN113723498A (zh) * 2021-08-26 2021-11-30 广东美的厨房电器制造有限公司 食物熟度识别方法、装置、系统、电器、服务器及介质
CN114747946A (zh) * 2022-04-18 2022-07-15 珠海格力电器股份有限公司 烹饪设备和对烹饪设备内的食物进行拍摄的方法
WO2024148157A1 (en) * 2023-01-06 2024-07-11 General Mills, Inc. Vision-based food product reformulation
US12303074B2 (en) 2023-03-31 2025-05-20 General Mills, Inc. Customized identification of ingredients in a storage system
CN118567277B (zh) * 2024-05-31 2025-02-25 浙江精体电子科技有限公司 一种物联网空气炸锅的控制方法及系统
CN119107610B (zh) * 2024-11-11 2025-01-28 四川味滋美食品科技有限公司 一种油炸品熟化控制方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205679744U (zh) * 2016-06-02 2016-11-09 云南电网有限责任公司电力科学研究院 一种螺旋桨电机参数的测量装置
CN107595102A (zh) * 2017-09-28 2018-01-19 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统、存储介质、处理器
CN107692840A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 电器具的显示方法及装置，电器具
CN108445793A (zh) * 2018-02-05 2018-08-24 江苏大学 一种基于图像监测的智能炒菜机及其调控方法
CN109124293A (zh) * 2017-06-27 2019-01-04 浙江绍兴苏泊尔生活电器有限公司 烹饪器具及其控制方法、系统、服务器
CN109349913A (zh) * 2018-10-23 2019-02-19 杭州若奇技术有限公司 烹饪控制方法、烹饪器具、云服务器和烹饪控制系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256458A (ja) * 1992-03-13 1993-10-05 Toshiba Corp 加熱調理器
US9414444B2 (en) * 2011-02-11 2016-08-09 Goji Ltd. Interface for controlling energy application apparatus
EP2618634A1 (en) * 2012-01-23 2013-07-24 Whirlpool Corporation Microwave heating apparatus
EP2662628B1 (en) * 2012-05-08 2019-11-27 Electrolux Home Products Corporation N.V. Appliance for processing food and method of operating the same
EP2930433B1 (en) * 2014-04-07 2022-01-12 Whirlpool EMEA S.p.A. Oven comprising a scanning system
US20170020333A1 (en) * 2015-03-16 2017-01-26 Garry K. Larson Semi-automated Cooking Apparatus
EP3292738B1 (en) * 2015-05-05 2020-12-30 June Life, Inc. A connected oven
CN108474562B (zh) * 2015-09-10 2021-10-29 布拉瓦家居公司 烤箱内相机
CN108322493B (zh) * 2017-01-18 2021-08-20 佛山市顺德区美的电热电器制造有限公司 食材识别及烹饪推送方法、系统、服务器及烹饪器具
CN107468048B (zh) * 2017-09-30 2020-10-02 广东美的厨房电器制造有限公司 烹饪器具及其控制方法
CN108175259A (zh) * 2018-01-11 2018-06-19 佛山市云米电器科技有限公司 烹饪装置与方法
CN108309021B (zh) * 2018-01-20 2023-06-09 江苏大学 一种智能调控自动炒菜机及其智能控制方法
CN109445314A (zh) * 2018-06-25 2019-03-08 浙江苏泊尔家电制造有限公司 烹饪的方法、烹饪器具、移动终端及计算机存储介质
CN109434844B (zh) * 2018-09-17 2022-06-28 鲁班嫡系机器人（深圳）有限公司 食材处理机器人控制方法、装置、系统、存储介质及设备
CN109998360B (zh) * 2019-04-11 2021-03-26 上海长膳智能科技有限公司 一种用于自动烹饪食物的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205679744U (zh) * 2016-06-02 2016-11-09 云南电网有限责任公司电力科学研究院 一种螺旋桨电机参数的测量装置
CN109124293A (zh) * 2017-06-27 2019-01-04 浙江绍兴苏泊尔生活电器有限公司 烹饪器具及其控制方法、系统、服务器
CN107692840A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 电器具的显示方法及装置，电器具
CN107595102A (zh) * 2017-09-28 2018-01-19 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统、存储介质、处理器
CN108445793A (zh) * 2018-02-05 2018-08-24 江苏大学 一种基于图像监测的智能炒菜机及其调控方法
CN109349913A (zh) * 2018-10-23 2019-02-19 杭州若奇技术有限公司 烹饪控制方法、烹饪器具、云服务器和烹饪控制系统

Also Published As

Publication number Publication date
US20220287498A1 (en) 2022-09-15
WO2020207293A1 (zh) 2020-10-15
CN109998360A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN109998360B (zh) 一种用于自动烹饪食物的方法和装置
CN110780628B (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN108309021B (zh) 一种智能调控自动炒菜机及其智能控制方法
CN110806699A (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN104042124B (zh) 一种智能烤箱及其工作控制方法
CN108322493B (zh) 食材识别及烹饪推送方法、系统、服务器及烹饪器具
CN109213015B (zh) 一种烹饪器具的控制方法及烹饪器具
CN109541985A (zh) 一种烹饪器具的控制方法及烹饪器具
CN113436159A (zh) 食材的熟度检测方法和装置、存储介质及电子装置
CN114711644A (zh) 烹饪装置的控制方法、控制装置、存储介质和烹饪装置
CN114092806A (zh) 识别方法及其装置、烹饪设备及其控制方法和存储介质
CN117462016A (zh) 烹饪设备的控制方法、装置、存储介质及烹饪设备
CN118235970A (zh) 烹饪器具、系统及其控制方法
HK40011444A (zh) 一種用於自動烹飪食物的方法和裝置
CN115191839A (zh) 展示烹饪器具的烹饪状态的方法、烹饪器具及其控制系统
CN114831501A (zh) 食材表面成熟曲线的获取方法及其智能烹饪器具
CN114840038A (zh) 一种智能烹饪分享方法及烹饪装置
CN111435426A (zh) 基于米粒识别结果确定烹饪模式的方法、装置和烹饪器具
CN115211735A (zh) 空气炸锅的智能化控制方法及装置、空气炸锅
CN112617615B (zh) 适用于蒸汽海鲜的蒸汽控制方法及装置
CN112906758A (zh) 食材新鲜程度识别模型的训练方法、识别方法和设备
Hamey et al. Pre-processing colour images with a self-organising map: baking curve identification and bake image segmentation
CN118512111B (zh) 一种烹饪控制方法及装置
CN114831500A (zh) 进行实时烹饪调配的方法及其智能烹饪器具
CN114840039A (zh) 一种智能即食烹饪方法及其智能即食烹饪装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011444

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant