CN106846484A - 一种基于双视图三维重建的食物体积估计方法 - Google Patents

Abstract

本发明中提出的一种基于双视图三维重建的食物体积估计方法，其主要内容包括：图像3D重建，外部校准，密集重建，体积估计，其过程为，先进行图像3D重建，再通过显著点匹配、相对姿态提取和尺度提取进行外部校准，接着通过图像的校正，立体匹配和点云生成进行密集重建，最后使用分割图消除背景提取食物表面，通过对盘上方的食物表面高度进行积分计算食物体积。本发明通过获取食物图像，经过图像重建估计食物体积，计算处理简便，速度快，结果准确，为一般人群和有特殊营养需求的人们提供准确的自动的膳食评估工具，为人们提供了新颖的全自动饮食评估方法。

Description

一种基于双视图三维重建的食物体积估计方法

技术领域

本发明涉及图像重建领域，尤其是涉及了一种基于双视图三维重建的食物体积估计方法。

背景技术

随着生活水平的提高，与饮食相关的慢性疾病，如肥胖症和糖尿病等，在全世界的患病率逐渐上升，死亡率也有上升趋势。肥胖症等疾病的病因除了家族遗传因素以外，主要和人的日常饮食密切相关，通过对用户饮食情况进行监测和分析，能够帮助用户获得更加健康的饮食习惯。传统上，人们需要通过记录自身的饮食内容和查找了解相关资料，大致计算摄入食品的量，这样既不方便，准确性也不高。本发明提出的食物体积估计方法，可以通过图像重建，帮助用户评估食物摄取量。

本发明提出了一种基于双视图三维重建的食物体积估计方法，先进行图像3D重建，再通过显著点匹配、相对姿态提取和尺度提取进行外部校准，接着通过图像的校正，立体匹配和点云生成进行密集重建，最后使用分割图消除背景提取食物表面，通过对盘上方的食物表面高度进行积分计算食物体积。本发明通过获取食物图像，经过图像重建估计食物体积，计算处理简便，速度快，结果准确；为一般人群和有特殊营养需求的人们提供准确的自动的膳食评估工具，为人们提供了新颖的全自动饮食评估方法。

发明内容

针对使用不方便和准确性不高等问题，本发明的目的在于提供一种基于双视图三维重建的食物体积估计方法，先进行图像3D重建，再通过显著点匹配、相对姿态提取和尺度提取进行外部校准，接着通过图像的校正，立体匹配和点云生成进行密集重建，最后使用分割图消除背景提取食物表面，通过对盘上方的食物表面高度进行积分计算食物体积。

为解决上述问题，本发明提供一种基于双视图三维重建的食物体积估计方法，其主要内容包括：

(一)图像3D重建；

(二)外部校准；

(三)密集重建；

(四)体积估计。

其中，所述的图像3D重建，在单视图重建中，提取相机的绝对姿态，通过形状先验(即，适合场景的给定形状)获得3D形状；在多视图方法中，外部校准引起场景的低分辨率稀疏重建，其中两个图像之间的每个点匹配产生3D点；多视图方法中的密集重建使用所有可用像素来构建3D模型；存在对图像进行密集重建的路径，例如从剪影形状，其与通过非投影对象的轮廓而获得的体积相交，立体匹配方法更常见；密集立体匹配利用由相对相机姿态定义的约束来简化图像之间的一对一像素匹配；这些约束用于变换图像对，使点对应位于同一行上，称为整流的过程。

其中，所述的外部校准，校准包括三个步骤：显著点匹配，相对姿态提取和尺度提取。

进一步地，所述的显著点匹配，在图像之间的查找点匹配需要先检测和描述突出点；第一个定义图像的突出部分，而第二个以通用格式描述突出部分，用于比较；在两个图像中检测并描述突出点，通过比较k-d树分层搜索提供支持，搜索范例中的描述符，在两个图像之间匹配点对；对于两个图像中的每个检测点，获得另一图像中的最高等级匹配，并且定向匹配集合相交，找到对称的情况。

进一步地，所述的相对姿态提取，为了提取相对姿态模型，基于随机抽样共识(RANSAC)的方法作为基础，迭代细化解，在算法的每次迭代中，随机抽样5个匹配；利用样本集，使用五点相对姿态模型生成器创建模型；在所有匹配上评估所生成的模型，并根据内层的比例，即内层率来评分；保存具有最大内在速率的模型，直到找到更好的速率；最佳模型的不确定率重新定义了最大迭代次数；之后算法终止，并且从匹配集合中移除异常值；使用列文伯格-马夸尔特法(LM)优化算法对距离的总和迭代进行改进，从而得到模型；最后，通过非投影从内部匹配创建稀疏点云；通过包括局部优化和新颖的自适应阈值估计方法来修改经典的RANSAC算法；

当找到新的最佳模型时，RANSAC算法通过局部优化(LO)：从最佳模型的内点中随机抽取10个匹配的集合以产生新的更好的模型；LO使用公式(1)的适应度函数代替不确定性率，对模型进行评分，明确地最大化了正确率计数，并最小化了离群点距离；

其中，M是模型，D是匹配集合，Thrinl是内部阈值，dist()是对称的极距；

为了改进这一原理，在LO中找到新的最佳模型时，使用该模型的内在集合重新开始局部优化，从而测试更多的高质量模型；

通过反向方法确定每个图像对和每个最佳模型；通过随机匹配现有点创建数据噪声分布，使用该分布来找到适当的阈值并过滤掉离群值；在主循环中，为每个模型本地估计阈值，找到姿势模型，使用相同的方法来定义全局阈值，用更好的模型更新；

为了找到给定模型的阈值，令Cdf_data:[0；∞[→[0；1]为距离到输入匹配的累积分布函数，对于给定的内部阈值T，比率FDRB(T)＝Cdf_noise(T)/Cdf_data(T)是可以由随机匹配产生的模型的内在的最大百分比：它是错误发现率的上限；该公式等价于 其中，δ＝Cdf_data(T)是离群率；选择的阈值给出最大的内在率，同时保持错误发现速率限制在固定值p：之下，最大噪声污染率p设置为3％。

进一步地，所述的尺度提取，两个相机之间的相对姿态被定义为任意的比例因子；从参考卡上的匹配点提取真实比例；每个匹配包括每个图像上的一个突出点，两个点与参考卡匹配以建立三角形点匹配(轨迹)；此外，每个轨迹中的两个像点对应于稀疏云中的第4个点；使用具有参考卡长度的3％的内部距离阈值的RANSAC来提取第一图像和参考卡之间的单应性；最后，估计稀疏点云中的每个距离与参考模式中的等价物之间的比率，选择它们的分布模式作为尺度。

其中，所述的密集重建，包括图像的校正，立体匹配和点云生成；

(1)图像的校正：整流通过限制行之间的匹配过程来简化两个图像之间的点的密集匹配；该方法在一致的径向坐标系统中描述两个图像，其中每个视图的中心是另一相机中心的投影，并且围绕其匹配角度；为了简化立体匹配，强制显著点匹配也满足一致的成对水平顺序；如果一对匹配的水平顺序在整流图像中相同，则标记为“一致”，否则为“反转”；如果多于一半的匹配对被标记为“反转”，则第二整流图像被水平镜像；

(2)立体匹配：通过比较每个像素周围的图像块来寻找沿校正图像的对应行的密集像素匹配的过程，产生视差图；匹配通过匹配成本，聚合，优化和细化完成；

(3)点云生成：使用整流的逆变换将立体匹配传送回原始图像坐标来提取密集匹配的3D位置；使用相对姿态直接对每个匹配进行直接投影以生成3D点，将深度合并到第一图像的深度图中。

其中，所述的体积估计，包括食物表面提取，盘表面提取和体积计算。

进一步地，所述的食物表面提取和盘表面提取，食物表面提取使用分割图消除背景，在规则网格上对形状进行采样，生成具有固定总点数的网格；然后使用采样点的2D图像坐标，通过德洛内三角法将表面分割成三角形，舍弃属于不同段的三角形，产生一组不同的表面；

对于盘表面提取，由于大多数塑料或釉面陶瓷盘是光滑和反光的，依赖于普通盘的性质比在线拟合更好；使用在平台上方移动的平面来表示盘的“底部”；使用参考卡和盘表面的高度定义平面方程；结合盘边界和参考卡的三重过程构建盘表面；首先提取盘边缘的平面，其次从基准卡获得其离桌子的距离，接着将平面移动到桌子上方的给定高度；为了提取盘的3D边缘，密集地匹配盘的边界点，并将它们馈送到RANSAC以找到最具代表性的平面；此后，使用参考卡获得模态盘高度来定义桌面，并且轮缘平面移动到高于桌子水平的固定高度。

进一步地，所述的体积计算，盘面定义通过其法线的垂直方向，因此通过对盘上方的食物表面的高度进行积分来计算体积；这种积分是水平面积的所有表面三角形乘以它们的角的平均高度的总和。

附图说明

图1是本发明一种基于双视图三维重建的食物体积估计方法的系统流程图。

图2是本发明一种基于双视图三维重建的食物体积估计方法的三维重建方法的分类。

图3是本发明一种基于双视图三维重建的食物体积估计方法的外部校准。

图4是本发明一种基于双视图三维重建的食物体积估计方法的密集重建。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于双视图三维重建的食物体积估计方法的系统流程图。主要包括图像3D重建，外部校准，密集重建和体积估计。

外部校准包括三个步骤：显著点匹配，相对姿态提取和尺度提取；

密集重建包括图像的校正，立体匹配和点云生成；

体积估计包括食物表面提取，盘表面提取和体积计算；

食物表面提取使用分割图消除背景，在规则网格上对形状进行采样，生成具有固定总点数的网格；然后使用采样点的2D图像坐标，通过德洛内三角法将表面分割成三角形，舍弃属于不同段的三角形，产生一组不同的表面；

对于盘表面提取，由于大多数塑料或釉面陶瓷盘是光滑和反光的，依赖于普通盘的性质比在线拟合更好；使用在平台上方移动的平面来表示盘的“底部”；使用参考卡和盘表面的高度定义平面方程；结合盘边界和参考卡的三重过程构建盘表面；首先提取盘边缘的平面，其次从基准卡获得其离桌子的距离，接着将平面移动到桌子上方的给定高度；为了提取盘的3D边缘，密集地匹配盘的边界点，并将它们馈送到RANSAC以找到最具代表性的平面；此后，使用参考卡获得模态盘高度来定义桌面，并且轮缘平面移动到高于桌子水平的固定高度。

盘面定义通过其法线的垂直方向，因此通过对盘上方的食物表面的高度进行积分来计算体积；这种积分是水平面积的所有表面三角形乘以它们的角的平均高度的总和。

图2是本发明一种基于双视图三维重建的食物体积估计方法的三维重建方法的分类。在单视图重建中，提取相机的绝对姿态，通过形状先验(即，适合场景的给定形状)获得3D形状；在多视图方法中，外部校准引起场景的低分辨率稀疏重建，其中两个图像之间的每个点匹配产生3D点；多视图方法中的密集重建使用所有可用像素来构建3D模型；存在对图像进行密集重建的路径，例如从剪影形状，其与通过非投影对象的轮廓而获得的体积相交，立体匹配方法更常见；密集立体匹配利用由相对相机姿态定义的约束来简化图像之间的一对一像素匹配；这些约束用于变换图像对，使点对应位于同一行上，称为整流的过程。

图3是本发明一种基于双视图三维重建的食物体积估计方法的外部校准。校准包括三个步骤：显著点匹配，相对姿态提取和尺度提取。

如图3(a)所示的显著点匹配，在图像之间的查找点匹配需要先检测和描述突出点；第一个定义图像的突出部分，而第二个以通用格式描述突出部分，用于比较；在两个图像中检测并描述突出点，通过比较k-d树分层搜索提供支持，搜索范例中的描述符，在两个图像之间匹配点对；对于两个图像中的每个检测点，获得另一图像中的最高等级匹配，并且定向匹配集合相交，找到对称的情况。

如图3(b)所示的相对姿态提取，为了提取相对姿态模型，基于随机抽样共识(RANSAC)的方法作为基础，迭代细化解，在算法的每次迭代中，随机抽样5个匹配；利用样本集，使用五点相对姿态模型生成器创建模型；在所有匹配上评估所生成的模型，并根据内层的比例，即内层率来评分；保存具有最大内在速率的模型，直到找到更好的速率；最佳模型的不确定率重新定义了最大迭代次数；之后算法终止，并且从匹配集合中移除异常值；使用列文伯格-马夸尔特法(LM)优化算法对距离的总和迭代进行改进，从而得到模型；最后，通过非投影从内部匹配创建稀疏点云；通过包括局部优化和新颖的自适应阈值估计方法来修改经典的RANSAC算法；

当找到新的最佳模型时，RANSAC算法通过局部优化(LO)：从最佳模型的内点中随机抽取10个匹配的集合以产生新的更好的模型；LO使用公式(1)的适应度函数代替不确定性率，对模型进行评分，明确地最大化了正确率计数，并最小化了离群点距离；

其中，M是模型，D是匹配集合，Thrinl是内部阈值，dist()是对称的极距；

为了改进这一原理，在LO中找到新的最佳模型时，使用该模型的内在集合重新开始局部优化，从而测试更多的高质量模型；

通过反向方法确定每个图像对和每个最佳模型；通过随机匹配现有点创建数据噪声分布，使用该分布来找到适当的阈值并过滤掉离群值；在主循环中，为每个模型本地估计阈值，找到姿势模型，使用相同的方法来定义全局阈值，用更好的模型更新；

为了找到给定模型的阈值，令Cdf_data:[0；∞[→[0；1]为距离到输入匹配的累积分布函数，对于给定的内部阈值T，比率FDRB(T)＝Cdf_noise(T)/Cdf_data(T)是可以由随机匹配产生的模型的内在的最大百分比：它是错误发现率的上限；该公式等价于 其中，δ＝Cdf_data(T)是离群率；选择的阈值给出最大的内在率，同时保持错误发现速率限制在固定值p：之下，最大噪声污染率p设置为3％。

如图3(c)所示的尺度提取，两个相机之间的相对姿态被定义为任意的比例因子；从参考卡上的匹配点提取真实比例；每个匹配包括每个图像上的一个突出点，两个点与参考卡匹配以建立三角形点匹配(轨迹)；此外，每个轨迹中的两个像点对应于稀疏云中的第4个点；使用具有参考卡长度的3％的内部距离阈值的RANSAC来提取第一图像和参考卡之间的单应性；最后，估计稀疏点云中的每个距离与参考模式中的等价物之间的比率，选择它们的分布模式作为尺度。

图4是本发明一种基于双视图三维重建的食物体积估计方法的密集重建。包括图像的校正，立体匹配和点云生成；

(1)图像的校正：整流通过限制行之间的匹配过程来简化两个图像之间的点的密集匹配；该方法在一致的径向坐标系统中描述两个图像，其中每个视图的中心是另一相机中心的投影，并且围绕其匹配角度；为了简化立体匹配，强制显著点匹配也满足一致的成对水平顺序；如果一对匹配的水平顺序在整流图像中相同，则标记为“一致”，否则为“反转”；如果多于一半的匹配对被标记为“反转”，则第二整流图像被水平镜像；如图4(a)所示。

(2)立体匹配：通过比较每个像素周围的图像块来寻找沿校正图像的对应行的密集像素匹配的过程，产生视差图；匹配通过匹配成本，聚合，优化和细化完成；如图4(b)所示。

(3)点云生成：使用整流的逆变换将立体匹配传送回原始图像坐标来提取密集匹配的3D位置；使用相对姿态直接对每个匹配进行直接投影以生成3D点，将深度合并到第一图像的深度图中；如图4(c)所示。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于双视图三维重建的食物体积估计方法，其特征在于，主要包括图像3D重建(一)；外部校准(二)；密集重建(三)；体积估计(四)。

2.基于权利要求书1所述的图像3D重建(一)，其特征在于，在单视图重建中，提取相机的绝对姿态，通过形状先验(即，适合场景的给定形状)获得3D形状；在多视图方法中，外部校准引起场景的低分辨率稀疏重建，其中两个图像之间的每个点匹配产生3D点；多视图方法中的密集重建使用所有可用像素来构建3D模型；存在对图像进行密集重建的路径，例如从剪影形状，其与通过非投影对象的轮廓而获得的体积相交，立体匹配方法更常见；密集立体匹配利用由相对相机姿态定义的约束来简化图像之间的一对一像素匹配；这些约束用于变换图像对，使点对应位于同一行上，称为整流的过程。

3.基于权利要求书1所述的外部校准(二)，其特征在于，校准包括三个步骤：显著点匹配，相对姿态提取和尺度提取。

4.基于权利要求书3所述的显著点匹配，其特征在于，在图像之间的查找点匹配需要先检测和描述突出点；第一个定义图像的突出部分，而第二个以通用格式描述突出部分，用于比较；在两个图像中检测并描述突出点，通过比较k-d树分层搜索提供支持，搜索范例中的描述符，在两个图像之间匹配点对；对于两个图像中的每个检测点，获得另一图像中的最高等级匹配，并且定向匹配集合相交，找到对称的情况。

5.基于权利要求书3所述的相对姿态提取，其特征在于，为了提取相对姿态模型，基于随机抽样共识(RANSAC)的方法作为基础，迭代细化解，在算法的每次迭代中，随机抽样5个匹配；利用样本集，使用五点相对姿态模型生成器创建模型；在所有匹配上评估所生成的模型，并根据内层的比例，即内层率来评分；保存具有最大内在速率的模型，直到找到更好的速率；最佳模型的不确定率重新定义了最大迭代次数；之后算法终止，并且从匹配集合中移除异常值；使用列文伯格-马夸尔特法(LM)优化算法对距离的总和迭代进行改进，从而得到模型；最后，通过非投影从内部匹配创建稀疏点云；通过包括局部优化和新颖的自适应阈值估计方法来修改经典的RANSAC算法；

当找到新的最佳模型时，RANSAC算法通过局部优化(LO)：从最佳模型的内点中随机抽取10个匹配的集合以产生新的更好的模型；LO使用公式(1)的适应度函数代替不确定性率，对模型进行评分，明确地最大化了正确率计数，并最小化了离群点距离；

${\mathrm{Inlier}}_{fitness(M,D)}=\underset{p\∈D}{\Σ}Max({\mathrm{Thr}}_{inl}-dist(M,p),0)---\left(1\right)$

其中，M是模型，D是匹配集合，Thr_inl是内部阈值，dist()是对称的极距；

为了改进这一原理，在LO中找到新的最佳模型时，使用该模型的内在集合重新开始局部优化，从而测试更多的高质量模型；

通过反向方法确定每个图像对和每个最佳模型；通过随机匹配现有点创建数据噪声分布，使用该分布来找到适当的阈值并过滤掉离群值；在主循环中，为每个模型本地估计阈值，找到姿势模型，使用相同的方法来定义全局阈值，用更好的模型更新；

为了找到给定模型的阈值，令Cdf_data:[0；∞[→[0；1]为距离到输入匹配的累积分布函数，对于给定的内部阈值T，比率FDRB(T)＝Cdf_noise(T)/Cdf_data(T)是可以由随机匹配产生的模型的内在的最大百分比：它是错误发现率的上限；该公式等价于 其中，δ＝Cdf_data(T)是离群率；选择的阈值给出最大的内在率，同时保持错误发现速率限制在固定值p：之下，最大噪声污染率p设置为3％。

6.基于权利要求书3所述的尺度提取，其特征在于，两个相机之间的相对姿态被定义为任意的比例因子；从参考卡上的匹配点提取真实比例；每个匹配包括每个图像上的一个突出点，两个点与参考卡匹配以建立三角形点匹配(轨迹)；此外，每个轨迹中的两个像点对应于稀疏云中的第4个点；使用具有参考卡长度的3％的内部距离阈值的RANSAC来提取第一图像和参考卡之间的单应性；最后，估计稀疏点云中的每个距离与参考模式中的等价物之间的比率，选择它们的分布模式作为尺度。

7.基于权利要求书1所述的密集重建(三)，其特征在于，包括图像的校正，立体匹配和点云生成；

(1)图像的校正：整流通过限制行之间的匹配过程来简化两个图像之间的点的密集匹配；该方法在一致的径向坐标系统中描述两个图像，其中每个视图的中心是另一相机中心的投影，并且围绕其匹配角度；为了简化立体匹配，强制显著点匹配也满足一致的成对水平顺序；如果一对匹配的水平顺序在整流图像中相同，则标记为“一致”，否则为“反转”；如果多于一半的匹配对被标记为“反转”，则第二整流图像被水平镜像；

(2)立体匹配：通过比较每个像素周围的图像块来寻找沿校正图像的对应行的密集像素匹配的过程，产生视差图；匹配通过匹配成本，聚合，优化和细化完成；

(3)点云生成：使用整流的逆变换将立体匹配传送回原始图像坐标来提取密集匹配的3D位置；使用相对姿态直接对每个匹配进行直接投影以生成3D点，将深度合并到第一图像的深度图中。

8.基于权利要求书1所述的体积估计(四)，其特征在于，包括食物表面提取，盘表面提取和体积计算。

9.基于权利要求书8所述的食物表面提取和盘表面提取，其特征在于，食物表面提取使用分割图消除背景，在规则网格上对形状进行采样，生成具有固定总点数的网格；然后使用采样点的2D图像坐标，通过德洛内三角法将表面分割成三角形，舍弃属于不同段的三角形，产生一组不同的表面；

对于盘表面提取，由于大多数塑料或釉面陶瓷盘是光滑和反光的，依赖于普通盘的性质比在线拟合更好；使用在平台上方移动的平面来表示盘的“底部”；使用参考卡和盘表面的高度定义平面方程；结合盘边界和参考卡的三重过程构建盘表面；首先提取盘边缘的平面，其次从基准卡获得其离桌子的距离，接着将平面移动到桌子上方的给定高度；为了提取盘的3D边缘，密集地匹配盘的边界点，并将它们馈送到RANSAC以找到最具代表性的平面；此后，使用参考卡获得模态盘高度来定义桌面，并且轮缘平面移动到高于桌子水平的固定高度。

10.基于权利要求书8所述的体积计算，其特征在于，盘面定义通过其法线的垂直方向，因此通过对盘上方的食物表面的高度进行积分来计算体积；这种积分是水平面积的所有表面三角形乘以它们的角的平均高度的总和。