CN110366731B - 用于指导膳食的图像捕获的系统、方法和存储介质 - Google Patents

Abstract

一种系统，包括电路，该电路被配置为处理膳食的多光谱图像数据以获得关于膳食含量的信息；并且基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

Description

用于指导膳食的图像捕获的系统、方法和存储介质

技术领域

本公开涉及计算机视觉领域，具体地，涉及用于识别食物的系统、方法和计算机程序。

背景技术

在计算机视觉中，数学方法用于检测在数字图像中描述的各个项的存在并识别各个项。计算机视觉任务包括用于获取、处理、分析和理解数字图像的方法，并且通常，处理从真实世界的高维数据的提取，以便产生例如决定形式的数值或符号信息。在其上执行特定类型的计算以产生视觉特征的图像的局部化部分可以用于分析和归类在图像中描述的对象。诸如兴趣点和边缘、边缘分布、色彩分布、形状以及形状分布的低级特征可以从图像部分计算出并且用于检测在图像中描述的项。机器学习算法可以用于特征识别。

精确识别正在消耗的食物例如是具有食源性过敏症、参与减肥计划以及仅享受试吃新的食物的人的重要任务。

发明内容

根据第一方面，提供了一种包括电路的系统，该电路被配置为处理膳食的多光谱图像数据以获得关于膳食含量的信息；并且基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

根据第二方面，提供了一种方法，该方法包括处理膳食的多光谱图像数据以获得关于膳食含量的信息；并且基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

根据第三方面，提供了一种包括指令的计算机程序，当在处理器上执行时该指令使得处理器执行：处理膳食的多光谱图像数据以获得关于膳食含量的信息；并且基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

在从属权利要求、以下描述以及附图中阐述了本公开的更多方面。

附图说明

参考附图通过实施例的方式说明本公开的实施方式，在附图中：

图1示意性地描述了用于食谱生成的系统；

图2描述了食谱生成过程的实施例；

图3示出了与用户反馈相关联的食谱生成过程的实施方式；

图4示出了与用户反馈相关联的食谱生成过程的特定实施方式；

图5a示出了移动电话的显示器上的用户查询的实施方式；

图5b示出了移动电话的显示器上的用户查询的可选的实施方式；

图6示出了与用户反馈相关联的食谱生成过程的进一步的特定的实施方式；

图7a示出了移动电话的显示器上的用户查询的实施方式；

图7b示出了移动电话的显示器上的用户查询的可选的实施方式；

图8示出了与用户反馈相关联的食谱生成过程的进一步的特定的实施方式；

图9示出了移动电话的显示器上的用户查询的实施方式；

图10示出了与用户反馈相关联的食谱生成过程的进一步的特定的实施方式；

图11示出了移动电话的显示器上的用户查询的实施方式；

图12a、图12b、图12c示出了生成的食谱的实施例；

图13示意性地描述了经由互联网的用于食谱生成的系统的实施方式；

图14示意性地描述了使用反馈经由互联网用于食谱生成的系统的实施方式；

图15示出了使用差光谱用于食谱生成的方法的实施方式；

图16示出了使用差光谱生成食谱的方法的另一实施方式；

图17a示出了用于获得反射光谱的第一测量，其中，移动反射计的光源被断开；

图17b示出了用于获得反射光谱的第二测量，其中，移动反射计的光源被接通；以及

图18示出了坐标变换。

具体实施方式

以下描述的实施方式提供了包括电路的系统，该电路被配置为处理膳食的多光谱图像数据以获得关于膳食含量的信息；并且基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

例如，该系统可包括移动装置、智能电话、平板电脑、智能手表、眼镜或其他种类的可穿戴装置。该系统还可以包括与服务器或云处理和/或存储系统协同的任何这种装置。更进一步地，该系统还可以包括经由诸如互联网或LAN的网络连接的客户端装置和远程装置(例如，服务器装置)。

例如，该电路可以由例如中央处理单元(CPU)等处理器实现。该处理器可以位于移动装置、远程工作站或云服务器上。该电路还可以是分布在移动装置、远程工作站和/或云服务器上的分布式电路。

可以通过诸如多光谱相机的多光谱成像装置获得多光谱图像。光谱成像可以是成像和光谱学的结合，其中，在图像平面的每个位置处收集光谱。多光谱成像可以包括为每个像素检索多次测量，每次测量与频谱中的特定频率有关。多光谱成像不局限于可见光，但是还在紫外线和红外线中工作。例如，多光谱相机可以在从400-700nm的可见的彩色信道和从750-900+nm的近红外线(NIR)信道中捕获测量。多光谱成像还可以包括超光谱成像。

分析膳食的多光谱图像数据以获得关于膳食含量的信息可包括执行一个或多个特征检测算法，包括机器学习算法、语义推理技术、相似性算法、和/或其他技术以便尤其在自动特征检测中识别和描述在数字图像中描述的一个或多个食物项。可以用于分析多光谱图像数据的特征检测算法的一些实施例包括梯度方向直方图(HoG)、边缘方向直方图、尺度不变特征变换描述符(SIFT)和形状上下文技术。

图像捕获设定可以是影响到诸如多光谱相机的传感器布置正在捕获什么信息的任何事物。图像捕获设定例如可以包括相机的位置和/或方位，例如，相机的角度(拍摄角度)，诸如，滚转、偏航和俯仰。图像捕获设定还可以包括膳食和相机之间的距离。更进一步地，图像捕获设定还可以包括诸如将膳食的配料与其他配料分离或者将膳食的特定配料放置为更靠近相机的方面。

生成具有要求用户改变图像捕获设定的指导的查询可以例如由用户界面实现。用户界面可以与移动装置上的视觉反馈相关联或者可以包含经由移动装置的语音反馈。

该电路可以被配置为根据关于膳食含量的不充分信息生成具有指导的查询。例如，在每个步骤中，可以从用户接收反馈以实现更精确的信息。

该电路可以被配置为指导用户改变相机的姿势(例如，相机的拍摄角度)以指向膳食的其他配料。

该电路还可以被配置为指导用户拾取膳食的至少一部分。这可以允许将膳食的一部分清晰地显示给相机。

该电路还可以被配置为指导用户将膳食切成多个部分并且朝向相机显示膳食的表面轮廓。

该电路还可以被配置为指导用户移动相机并且在膳食特写镜头中查看具体对象。

该电路可以被配置为基于所获得的关于膳食含量的信息生成膳食食谱。这可以例如通过比较和匹配所识别的膳食的膳食含量与现有食谱数据库上的膳食的膳食含量完成，或者通过全自动的食谱生成过程更复杂地完成。

该食谱可以包括例如配料信息、营养信息和/或过敏原信息、以及烹饪说明。

例如，该电路可以被配置为计算卡路里并且基于用户的健康或饮食计划将变化推荐给生成的食谱。

该电路可以被配置为基于反馈改变食谱生成过程，这可以允许基于用户接收的反馈改善食谱生成的精度。

该系统可包括被配置为收集膳食的多光谱图像数据的传感器布置。该传感器布置可以例如位于移动装置上，诸如，智能电话、平板电脑或可穿戴装置。

传感器布置可以被配置为提供深度信息。传感器布置例如可以应用立体成像、飞行时间成像(ToF)或者用于提供深度信息的其他技术。因此，该电路可以被配置为使用深度信息用于整体膳食的容量分析或膳食的每个配料以确定食谱配料的量。深度信息还可以有助于计算机视觉技术，诸如，梯度方向直方图(HoG)、边缘方向直方图、尺度不变特征变换描述符(SIFT)和形状上下文以确定形状。

传感器布置可以被配置为提供质谱信息。通过利用质谱数据，该电路可以实现精确的含量确定。这可以允许识别各种化合物，包括糖、盐、油和诸如蛋白质的生物分子。质谱学的近期发展示出了质谱学可以集成到诸如移动电话的小型设备中。例如，由Kota Shiba&Genki Yoshikawa在nature.com上的科学报告6的文章编号28849中描述的气热动态质量分析(AMA)可以集成到各个分析装置、生产线和消费者移动平台中。因此，在智能电话的背景下，这种技术可以有利地用于食物识别和食谱生成。

传感器布置可以被配置为提供可见图像、红外图像和/或光谱数据。

该电路可以被配置为通过区分配料的光谱特性的差异在多光谱图像上采用配料划分。

该电路可以被配置为通过分析光谱数据识别配料。

该电路可以被配置为使用常规的图像数据(标准的RGB图像数据)用于菜肴识别，诸如，膳食名称识别。这可以通过缩小候选膳食含量的范围帮助改善处理效率。这种常规的图像数据例如可以与存储在参考图像数据库中的参考图像数据进行比较。

从膳食含量确定至食谱生成，该方法可以通过利用机器学习在相机前简单地识别膳食的名称并且基于识别的膳食名称参考现有的食谱数据库以提取识别的膳食的食谱。

以上描述的所有方面还可以实现为方法或计算机程序。该方法、计算机程序可以基于多光谱信息、深度信息和/或质谱信息使用相机分别收集除了常规可见图像之外的制备膳食的信息。该方法从收集的数据识别膳食，分析膳食含量，测量配料的量，并且生成食谱。该方法还可以计算卡路里并且基于用户的健康或饮食计划将变化推荐给生成的食谱。该方法可以基于用户接收到的反馈改善食谱生成的精确度。

该食谱生成可以借助于智能识别系统完全自动。该方法可以基于测量数据确定烹饪方式、烹饪时长、烹饪步骤、配料的量、盐、糖和油的量。该系统还可以计算卡路里并且基于用户的健康或饮食计划将变化推荐给生成的食谱。

以下描述的实施方式公开了通过使用相机拍摄可见图像、多光谱信息、深度信息和/或质谱信息来识别制备食物的方法。分析测量数据以识别膳食和膳食的配料。提出的公开内容还提供了包括自动程序代理的系统，该自动程序代理将与捕获图像相关联的反馈反复提供给用户以用于精确识别膳食(例如，将膳食切成两半并且拍摄膳食内部的图像)。该系统一旦识别到膳食就生成食谱。该系统还可以计算卡路里并且基于用户的健康或饮食计划将变化推荐给生成的食谱。

图1示意性地描述了用于食谱生成的系统的实施方式。用于食谱生成的系统包括传感器布置14、处理器15和用户界面13。根据该实施例，传感器布置14被认为是在移动装置上，诸如，智能电话、平板电脑或可穿戴装置。处理器15还位于移动装置上。然而，根据其他实施方式，处理器15还可以部分地或整体位于远程工作站或云服务器上。用户界面13可以例如与移动装置上的视觉反馈或经由移动装置的语音反馈相关联。

图2描述了食谱生成过程的实施例。在201中，获取来自膳食的数据(例如，借助于图1中的传感器布置14)。根据该实施方式，数据包括多光谱传感器捕获到的多光谱图像，但可以是与各个装置相关联的各种信息，诸如，可见图像、红外图像、光谱数据和深度信息。在202中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。例如，基于给定的多光谱图像，通过区分配料的光谱特性的差异采用配料划分。另外，可以通过分析光谱数据识别配料。深度信息可以用于整体膳食或每个配料的容量分析以确定食谱配料的量。可以利用质谱数据实现精确的含量确定。这允许识别各种化合物，包括糖、盐、油和诸如蛋白质的生物分子。常规的图像数据可以用于菜肴识别，诸如，膳食名称识别。这可以通过缩小候选膳食含量的范围帮助改善处理效率。

最后，在203中，生成膳食的食谱。这可以通过比较和匹配所识别的膳食的膳食含量与现有食谱数据库上的膳食的膳食含量完成，或者通过全自动的食谱生成过程完成。从膳食含量确定至食谱生成，例如，该方法可以通过利用机器学习识别膳食名称并且基于识别的膳食名称参考现有的食谱数据库以从食谱数据库检索识别的膳食的食谱。

图3示出了与用户反馈相关联的食谱生成过程的实施方式。如在图2的实施例中，在301中，例如通过借助于图1中的传感器布置14获取来自膳食的数据。在302中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。在303中，确定是否存在用于生成膳食食谱的充分数据。如果在303中确定存在用于生成膳食食谱的充分数据，则在304中该过程继续。在304中，基于所确定的膳食含量生成针对膳食的食谱。如果在303中确定存在用于生成膳食食谱的不充分数据，则在305中该过程继续。在305中，该过程生成指导用户提供关于膳食的更多信息的查询。可以反复重复该过程直到确定了整体膳食含量或者直到可以执行膳食的识别。在每个步骤中，可以从用户接收反馈以实现更精确的食谱生成。例如，如果因为可用数据不充分而导致该过程不能确定膳食含量，或者该数据包括一些不确定性，则该系统可以反复指导用户检查膳食以精确地识别含量。

应注意，不必必须确定整体膳食含量来识别膳食。根据一些实施方式，识别膳食含量直到可以执行膳食识别的预定水平。如果可以仅基于其含量的部分完全识别膳食，则可以查询参考数据库以接收还没识别到的膳食的剩余含量。还应注意，用户可以从在移动装置的显示器上显示的识别的候选物选择膳食。该选择可以用于更新食谱的数据库并且改善机器学习。

可以根据不充分数据生成指导。在以下参考图4至图11描述的实施方式中给出了不充分数据与各个指导之间的例证关系。

图4示出了与用户反馈相关联的食谱生成过程的特定实施方式。在401中，例如通过集成到移动电话中的多光谱相机获取来自膳食的数据。在402中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。在403中，确定配料是否彼此重叠，使得相机不能从一个视角看到全部。如果在403中确定配料彼此不重叠，则在404中该过程继续。在404中，基于所确定的膳食含量生成针对膳食的食谱。如果在403中确定配料彼此重叠，则在405中该过程继续。在405中，该过程生成指导用户改变相机的姿势的查询以查看其它配料(其余膳食)。例如，改变姿势可包括改变相机的位置和/或方位(拍摄角度)。该过程可以反复重复直到确定了整体膳食含量。如果配料彼此重叠，如果不存在足够可用的光谱信息，则该过程可以是特别有帮助的。具体地，可以允许分析膳食的其他配料。

图5a示出了移动电话的显示器上的用户查询的实施方式。移动电话16配备有多光谱相机(例如，在装置的后侧上，因此在图5中未示出)，该多光谱相机被配置为分析膳食的多光谱图像数据以获得关于膳食含量的信息。移动电话16包括作为用户界面的显示屏幕17。显示屏幕17示出了指导用户改变相机的姿势以指向已经在膳食内被识别出的红酱的查询18。读取该查询18的用户可以通过改变相机的姿势例如，相机的拍摄角度(或者移动电话的角度)做出反应，以指向红酱。现在基于改变的相机角度，然后该过程可以通过分析测量数据重复确定关于膳食的信息。这可以展现关于膳食更好的信息，例如，可以获得关于相机指向的红酱的更多特定的营养成分。

图5b示出了移动电话的显示器上的用户查询的可选的实施方式。根据该实施方式，移动电话16显示相机捕获的膳食的图像19。进一步地，移动电话16显示指导用户改变相机的姿势以指向图像19上的箭头20所指示的膳食中的对象的查询18。读取该查询18的用户可以通过改变相机的姿势例如，相机的拍摄角度(或者移动电话的角度)做出反应，以指向由箭头20识别的对象。现在基于改变的相机角度，然后该过程可以通过分析测量数据重复确定关于膳食的信息。

图6示出了与用户反馈相关联的食谱生成过程的更多特定的实施方式。在601中，例如通过集成到移动电话中的多光谱相机获取来自膳食的数据。在602中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。在603中，确定配料是否被不充分地显示(例如，正在浸泡在汤中)。如果在603中确定所有配料被充分显示，则在604中该过程继续。在604中，基于所确定的膳食含量生成针对膳食的食谱。如果在603中确定配料被不充分地显示，则在605中该过程继续。在605中，该过程生成指导用户拾取配料并将其清晰显示给相机的查询。该过程可以反复重复直到确定了整体膳食含量。如果配料未被清晰地显示给相机，如果不存在足够可用的光谱信息，则该过程可以是特别有帮助的。具体地，可以允许足够获取膳食的图像或数据。

图7a示出了移动电话的显示器上的用户查询的实施方式。移动电话16配备有多光谱相机(例如，在装置的后侧上，因此在图5中未示出)，该多光谱相机被配置为分析膳食的多光谱图像数据以获得关于膳食含量的信息。移动电话16包括作为用户界面的显示屏幕17。显示屏幕17示出了指导用户拾取已经在膳食中识别到的煎饼并将其清晰地显示给相机的查询18。读取该查询18的用户可以通过拾取煎饼并将其显示给相机做出反应。现在基于改变的相机姿势，然后该过程可以通过分析测量数据重复确定关于膳食的信息。这可以展现关于膳食更好的信息，例如，可以获得关于示出给相机的煎饼的更多特定的营养成分。

图7b示出了移动电话的显示器上的用户查询的可选的实施方式。根据该实施方式，移动电话16显示相机捕获的膳食的图像19。进一步地，移动电话16显示指导用户拾取图像19上的箭头20所指示的特定部分的膳食并且将其清晰地显示给相机的查询18。读取该查询18的用户可以通过拾取箭头20所指示的膳食的特定部分做出反应。现在基于从箭头20所指示的膳食的特定部分获得的更好的图像数据，然后该过程可以通过分析测量数据重复确定关于膳食的信息。

图8示出了与用户反馈相关联的食谱生成过程的更多特定的实施方式。在801中，例如通过集成到移动电话中的多光谱相机获取来自膳食的数据。在802中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。在803中，确定配料是否被不充分地显示(例如，被酱覆盖)。如果在803中确定所有配料被充分显示，则在804中该过程继续。在804中，基于所确定的膳食含量生成针对膳食的食谱。如果在803中确定配料被不充分地显示，则在805中该过程继续。在805中，该过程生成指导用户将膳食切成两半并且朝向相机显示表面轮廓的查询。该过程可以反复重复直到确定了整体膳食含量。如果膳食未被切成多个部分，如果不存在足够可用的光谱信息，则该过程可以是特别有帮助的。具体地，可以允许获取膳食的表面轮廓的图像或数据。

图9示出了移动电话的显示器上的用户查询的实施方式。移动电话16配备有多光谱相机(例如，在装置的后侧上，因此在图5中未示出)，该多光谱相机被配置为分析膳食的多光谱图像数据以获得关于膳食含量的信息。移动电话16包括作为用户界面的显示屏幕17。显示屏幕17示出了指导用户将膳食切成多个部分且朝向相机显示膳食的表面轮廓的查询18。读取该查询18的用户可以通过将膳食切成多个部分且通过朝向相机示出膳食的表面轮廓做出反应。现在基于从膳食的表面轮廓获得的信息，然后该过程可以通过分析测量数据重复确定关于膳食的信息。这可以展现关于膳食更好的信息，例如，可以获得关于切成多个部分的膳食的更多特定的营养成分。

图10示出了与用户反馈相关联的食谱生成过程的更多特定的实施方式。在1001中，例如通过集成到移动电话中的多光谱相机获取来自膳食的数据。在1002中，通过利用计算机视觉技术分析测量数据来确定关于膳食的信息，例如，膳食含量。在1003中，确定大量配料是否在盘子上并且从广角视野看到太多信息。如果在1003中确定在盘子上不存在太多配料，则在1004中该过程继续。在1004中，基于所确定的膳食含量生成针对膳食的食谱。如果在1003中确定在盘子上存在太多配料，则在1005中该过程继续。在1005中，该过程生成指导用户移动相机并且查看具体对象的特写镜头的查询。可以反复重复该过程直到确定了整体膳食含量或者直到可以执行膳食的识别。如果不存在从广角视野可用的足够的深度信息，则该过程可以是特别有帮助的。具体地，可以通过由于太多信息而排除模糊物来执行更准确的容量分析。

应再次注意，不必必须确定整体膳食含量来识别膳食。根据一些实施方式，识别膳食含量直到可以执行膳食识别的预定水平。如果可以仅基于其含量的部分完全识别膳食，则可以查询参考数据库以分别为用于烹饪完整膳食的食谱接收还没识别到的膳食的剩余含量。

图11示出了移动电话的显示器上的用户查询的实施方式。移动电话16配备有多光谱相机(例如，在装置的后侧上，因此在图5中未示出)，该多光谱相机被配置为分析膳食的多光谱图像数据以获得关于膳食含量的信息。移动电话16包括作为用户界面的显示屏幕17。显示屏幕17示出了指导用户移动相机以查看膳食特写镜头中的煎饼的查询18。读取该查询18的用户可以通过移动相机以查看膳食特写镜头中的煎饼做出反应。现在基于从膳食的表面轮廓获得的信息，然后该过程可以通过分析测量数据重复确定关于膳食的信息。这可以展现关于煎饼更好的信息，例如，可以获得关于特写镜头检查的煎饼的更多特定的营养成分。

图6、图8和图10的过程可以结合并且反复执行(例如，接连地并且然后重复)以完整分析膳食。如果识别到膳食的所有配料，则可以生成膳食食谱。

图12a、图12b、图12c示出了生成的食谱的实施例。

图12a示出了可以显示在移动装置的屏幕上的食谱。食谱包括三个小部分，“配料”21、“营养信息”22和“过敏原信息”23。在图12a中，选择并显示“配料”部分21。在24中，显示识别的膳食的名称，此处“具有奶酪和番茄酱的煎饼”。在25中，识别到膳食的配料。在实施方式中，识别到了配料是小麦粉、水、发酵粉、糖、植物油、加碘盐、谷蛋白、大豆和面粉的煎饼。更进一步地，识别到了配料是牛奶、食盐、酵母、酵素、水、乳固体、黄油、乳化剂、食盐、酸性调节剂、颜料和大豆卵磷脂的奶酪。更进一步地，识别到了配料是水、番茄酱、高果糖玉米糖浆、食醋和食盐的酱。

在图12b中，选择并显示“营养信息”部分22。在26中，识别到膳食的营养信息。在实施方式中，该膳食被识别为包含1200kJ的能量(280Cal)、12.2g的蛋白质、11.8g的脂肪、28.1g的碳水化合物、5.7g的糖和572mg的钠。

在图12c中，选择并显示“过敏原信息”部分23。在27中，识别到了膳食的过敏原信息。在实施方式中，该膳食被识别为含有谷蛋白、微量鸡蛋、牛奶、大豆和作为潜在过敏原的香料。

根据又一实施方式，食谱生成还包括确定产生与以上描述的计算机视觉的过程的结果(配料、营养信息)对应的膳食的烹饪说明。即，基于膳食的配料和营养信息，可以获得膳食的食谱。不仅可以识别到膳食名称，而且可以确定膳食含量和烹饪操作。推荐应用程序可以通过分析过去时间的食物摄入根据用户一般的食物偏好和选择的建立模型推荐食谱，或者可以基于存储在数据库中的个人的购买历史记录提供推荐，或者可以根据用户的饮食计划推荐食谱。

例如，该系统可以将网站链接提供至提供烹饪步骤的网页。

在上述智能识别系统的帮助下，食谱生成可以完全自动。该方法可以基于测量数据确定烹饪方式、烹饪时长、烹饪步骤、配料的量、盐、糖和油的量。该系统还可以计算卡路里并且基于用户的健康或饮食计划将变化推荐给生成的食谱。

图13示意性地描述了经由互联网的用于食谱生成的系统的实施方式。该系统通过视觉观察生成食谱37。通过多光谱成像装置33捕获膳食32的多光谱图像31。测量数据31经由互联网35传送至计算单元34。在计算单元34上，参考现有食谱数据库36基于多光谱图像31通过机器学习确定食谱37。食谱37可以由显示给用户的几个食谱候选物组成。

图14示意性地描述了使用反馈经由互联网用于食谱生成的系统的实施方式。该系统利用与用户的交互反馈生成食谱37。通过多光谱成像装置33捕获膳食的多光谱图像31。测量数据31经由互联网35传送至计算单元34。在计算单元34中，确定该信息不足以确定食谱。因此，该系统发送具有要求用户改变捕获设定(即，不同地捕获膳食)的一些指导的查询38。例如，查询38可以是改变相机姿势的建议、或者将膳食分成两半的建议、或者用于特写具体配料的建议。在已经获取识别配料的充分信息之后，该系统生成食谱37并且将其发送给用户。

图15更详细地示出了用于食谱生成的方法的实施方式。根据该实施方式，利用光谱成像器(例如，光谱传感器)和校准光源。在没有校准光源(即，通过例如环境光)的情况下首先通过照亮膳食拍摄光谱图像601。然后，利用校准光源拍摄第二光谱图像602。在603中，通过对应于只要校准光源的光存在的条件的相减生成光谱图像604。由此，在605中，计算反射图像。在606中，通过处理步骤，从该反射图像得出反射特征(如不同波长之间的比例或差异)。同时，在607中，RGB图像来源于光谱图像604。在608中，从该RGB图像分析膳食部分(如果存在)并且得出如饺子尺寸的各个特征。在609中，基于结合的特征、反射率和特征分析，实现膳食分析。该过程可能考虑包含关于识别或分类的膳食及其成分的更多信息的额外数据库610。在611中，膳食分析的结果作为食谱被输出。

应注意，因为光谱图像本身可以直接用于特征分析，所以在图6的过程中的607中完成的RGB的创建不是必需的。

图16示出了用于食谱生成的方法的另一实施方式。根据该实施方式，利用小型化分光计、RGB成像器和校准光源。在没有校准光源的情况下通过首先照亮膳食拍摄光谱图像701。然后，利用校准光源拍摄第二光谱图像702。在703中，通过对应于只要校准光源的光存在的条件的相减生成光谱图像704。在705中，从该光谱图像704获得其反射率。在706中，通过预处理步骤，从该反射率得出反射特征。同时，在712中，在环境光条件下利用RGB成像器拍摄RGB图像。如在图15的实施方式中，在713中，RGB图像允许分析膳食部分(如果存在)并且得出各个特征。在709中，基于结合的特征、反射率和特征分析，实现膳食分析。再次，该步骤可能考虑包含关于识别或分类的膳食及其成分的更多信息的额外数据库710。在711中，膳食分析的结果作为食谱被输出。

在下文中，描述了根据实施方式的液体的反射率的测量。在这个实施方式中，通过执行两次光谱测量完成对象(此处，液体)的反射率的测量，其中，图17a示出了第一测量且图17b示出了第二测量。

当例如通过处理器5使光源断开时，第一测量发生(图17a)，使得仅存在来自环境光源7(诸如，太阳或其他光源)的光。

然后，处理器相应地驱动光谱传感器4以收集以光谱图像或光谱S_A的形式由对象8反射且入射到光谱传感器4中的光的第一光谱信息。光谱S_A可以存储在反射计1的存储器、存储装置等中。

对于第二测量，校准光源2例如通过处理器5被接通。现在，从环境光源7发射的环境光和来自校准光源2的光照亮受关注的对象。光谱传感器4以光谱图像或从来源于校准光源2和环境光源7的对象8反射的光的光谱S_A+F的形式收集第二光谱信息。因此，反射光包括来自环境光源7的光和来自校准光源2的光。

此外，在第二测量的相同时间以及光谱传感器4的相同时间由处理器5驱动，处理器5还驱动深度传感器3，该深度传感器3通过捕获深度图D确定深度传感器3与对象8之间的距离。假设对象8与反射计1之间的相对距离在两个测量中相同。当然，驱动深度传感器3的时间点仅是示例性的，并且原则上，深度传感器3可以在获得深度图D的任一时间点驱动。

光谱S_A和S_A+F、深度图D和其他参数可以通过处理器5存储在存储器、存储装置等中。

在执行两次测量之后，处理器5如下计算绝对反射光谱并且还如图18所示：

首先，计算出光谱S_F，其表示从对象8反射的光强度，如同光只从来源于光源2的对象8反射。这通过在光源被接通的第二测量期间获得的光谱S_A+F与在光源2断开的第一测量中获得的光谱S_A相减完成：

S_F＝S_A+F-S_A

其次，通过处理器5计算出对象8的位置处的校准光源2的绝对功率I_F。

还参见图18，在深度传感器3的坐标系中，对象8位于

这可以直接来源于包括对象8相对于深度传感器4的距离的信息的获取的深度图D。

处理器5执行简单的坐标变换T，这在校准光源2的坐标系中产生坐标

这些坐标

可以用于计算绝对入射功率I_F，如之前采用的：

最后，通过反射功率S_F除以入射功率I_F获得绝对反射率R：

R＝S_F/I_F

如上所述，在本实施方式中，深度传感器3和光谱传感器4彼此非常靠近，使得它们之间的距离的影响可以忽略。在其他实施方式中，可以通过例如执行另一个坐标变换为光谱传感器4的坐标系来考虑深度传感器3与光谱传感器4之间的距离。然而，然后可以引发经典的视差问题，诸如，遮挡。

在本实施方式中，针对对象的单点完成计算。在其他实施方式中，深度传感器和/或光谱传感器可以是二维(2D)传感器，使得还可以在这种实施方式中执行完整的2D反射率测量。此外，如在以上讨论的实施方式中完成的单点测量还可以在对象的多个点重复。

***

如果不另外陈述，例如，本说明书中描述的以及所附权利要求中要求保护的所有单元和实体可以在芯片上实现为集成电路逻辑，并且如果不另外陈述，由这种单元和实体提供的功能性可以通过软件实现。

在一些实施方式中，如本文中所描述的方法也实现为当在计算机和/或处理器上执行时使得计算机和/或处理器执行该方法的计算机程序。在一些实施方式中，还提供在其中存储计算机程序产品的非易失性计算机可读记录介质，当由处理器(诸如以上描述的处理器)执行时，计算机程序产品使得执行本文中所描述的方法。

应当认识到，实施方式描述了具有方法步骤的示例性顺序的方法。然而，方法步骤的特定顺序仅仅是为了说明的目的，不应被解释为具有约束力。

该方法也可以实现为当在计算机和/或处理器上执行时使得计算机和/或处理器执行该方法的计算机程序。在一些实施方式中，还提供了在其中存储计算机程序产品的非易失性计算机可读记录介质，当通过处理器(诸如以上描述的处理器)执行时，计算机程序产品使得执行所描述的方法。

只要使用软件控制的数据处理系统至少部分地实现上述本公开的实施方式，应当认识到，提供这种软件控制和传输的计算机程序、存储装置或通过其提供这种计算机程序的其他介质被设想为本公开的方面。

应注意，本技术也可以进行如下所述的配置。

(1)一种系统，包括

电路，该电路被配置为

处理膳食的多光谱图像数据以获得关于膳食的含量的信息；

基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

(2)根据(1)的系统，其中，电路被配置为根据关于膳食的含量的不充分信息生成具有指导的查询。

(3)根据(1)或(2)的系统，其中，电路被配置为指导用户改变相机的拍摄角度以指向膳食的其他配料。

(4)根据(1)至(3)中任一项的系统，其中，电路被配置为指导用户拾取膳食的至少一部分。

(5)根据(1)至(4)中任一项的系统，其中，电路被配置为指导用户将膳食切成多个部分并且朝向相机显示膳食的表面轮廓。

(6)根据(1)至(5)中任一项的系统，其中，电路被配置为指导用户移动相机并且在膳食的特写镜头中查看具体对象。

(7)根据(1)至(6)中任一项的系统，其中，电路被配置为基于所获得的关于膳食的含量的信息生成膳食的食谱。

(8)根据(7)的系统，其中，食谱包括配料信息、营养信息和/或过敏原信息。

(9)根据(7)或(8)的系统，其中，电路被配置为基于反馈改变食谱生成过程。

(10)根据(1)至(9)中任一项的系统，还包括被配置为收集膳食的多光谱图像数据的传感器布置。

(11)根据(10)的系统，其中，传感器布置被配置为提供深度信息。

(12)根据(10)或(11)的系统，其中，传感器布置被配置为提供质谱信息。

(13)根据(10)至(12)中任一项的系统，其中，传感器布置被配置为提供可见图像、红外图像和/或光谱数据。

(14)根据(1)至(13)中任一项的系统，其中，电路被配置为通过区分配料的光谱特性的差异在多光谱图像上执行配料划分。

(15)根据(1)至(14)中任一项的系统，其中，电路被配置为通过分析光谱数据识别配料。

(16)根据(1)至(15)中任一项的系统，其中，电路被配置为使用常规的图像数据用于菜肴识别。

(17)一种方法，包括

处理膳食的多光谱图像数据以获得关于膳食的含量的信息；并且

基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

(18)一种包括指令的计算机程序，当在处理器上执行时所述指令使得处理器执行：

处理膳食的多光谱图像数据以获得关于膳食的含量的信息；并且

基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

(19)一种嵌有程序的非易失性计算机可读介质，当由计算机执行时，该程序使得计算机执行一种方法，该方法包括：

处理膳食的多光谱图像数据以获得关于膳食的含量的信息；并且

基于所获得的信息，生成具有改变图像捕获设定的指导的查询。

Claims (17)

1.一种用于指导膳食的图像捕获的系统，包括

电路，所述电路被配置为处理膳食的多光谱图像数据以获得关于所述膳食的含量的信息；

基于所获得的信息，生成具有改变图像捕获设定的指导的查询；以及

指导用户拾取所述膳食的至少一部分。

2.根据权利要求1所述的系统，其中，所述电路被配置为根据关于所述膳食的含量的不充分信息生成具有指导的所述查询。

3.根据权利要求1所述的系统，其中，所述电路被配置为指导用户改变相机的姿势以指向所述膳食的其他配料。

4.根据权利要求1所述的系统，其中，所述电路被配置为指导所述用户将所述膳食切成多个部分并且朝向相机显示所述膳食的表面轮廓。

5.根据权利要求1所述的系统，其中，所述电路被配置为指导所述用户移动相机并且在所述膳食的特写镜头中查看具体对象。

6.根据权利要求1所述的系统，其中，所述电路被配置为基于所获得的关于所述膳食的含量的信息生成所述膳食的食谱。

7.根据权利要求6所述的系统，其中，所述食谱包括配料信息、营养信息、和/或过敏原信息。

8.根据权利要求6所述的系统，其中，所述电路被配置为基于反馈改变食谱生成过程。

9.根据权利要求1所述的系统，还包括被配置为收集膳食的多光谱图像数据的传感器布置。

10.根据权利要求9所述的系统，其中，所述传感器布置被配置为提供深度信息。

11.根据权利要求9所述的系统，其中，所述传感器布置被配置为提供质谱信息。

12.根据权利要求9所述的系统，其中，所述传感器布置被配置为提供可见图像、红外图像、和/或光谱数据。

13.根据权利要求1所述的系统，其中，所述电路被配置为通过区分配料的光谱特性的差异在多光谱图像上执行配料划分。

14.根据权利要求1所述的系统，其中，所述电路被配置为通过分析光谱数据识别配料。

15.根据权利要求1所述的系统，其中，所述电路被配置为使用常规的图像数据用于菜肴识别。

16.一种用于指导膳食的图像捕获的方法，包括

处理膳食的多光谱图像数据以获得关于所述膳食的含量的信息；

基于所获得的信息，生成具有改变图像捕获设定的指导的查询；并且

指导用户拾取所述膳食的至少一部分。

17.一种存储计算机程序的存储介质，所述计算机程序包括指令，当在处理器上执行时所述指令使得所述处理器执行：

处理膳食的多光谱图像数据以获得关于所述膳食的含量的信息；

基于所获得的信息，生成具有改变图像捕获设定的指导的查询；并且

指导用户拾取所述膳食的至少一部分。

Images