CN110060252B - 一种图片内目标提示处理方法、装置及内窥镜系统 - Google Patents

Abstract

本发明公开了一种图片内目标提示处理方法、装置及内窥镜系统。获取图片，判断图片中是否存在目标，提取目标特征和图片的位置属性；将目标特征与位置属性关联，判断关联特征库中是否存在与所述关联特征相同的关联特征；若关联特征库中存在与关联特征相同的关联特征，则不对目标进行提示处理。该发明将目标特征与位置属性相关联，在对该位置重复拍摄的图片进行处理时，只要图片中目标的关联特征已存在关联特征库中就不会对该特征进行重复提示，避免了检测人员或后续图像处理设备的重复工作，提高了图片处理效率。同时，关联特征库对于检察人员和后续图像处理设备具有备忘的作用，避免在所有图片检查结束后遗忘关键目标。

Description

一种图片内目标提示处理方法、装置及内窥镜系统

技术领域

本发明涉及图像处理领域，特别是涉及一种图片内目标提示处理方法、装置及内窥镜系统。

背景技术

在内窥镜检测领域，如通过内窥镜进行人体器官内壁检测或管道探伤等，通常需要在大量图像中进行目标识别和检测，由于内窥镜拍摄的时候并不能完全按照空间方位顺序连续拍摄，存在同一位置重复拍摄的情况。目前，部分厂家相继推出AI辅助判定仪，该判定仪能够自动从内窥镜拍摄的图片中识别出目标，并对目标进行标记，或者提示检测人员关注该目标，由于存在同一位置重复拍摄，同一目标会重复标记、提示，甚至重复处理，增加了工作量和降低了内窥镜检测效率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种图片内目标提示处理方法、装置及内窥镜系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图片内目标提示处理方法，包括：

步骤S1，获取图片，判断图片中是否存在目标，

若图片中存在至少一个目标，提取目标特征和图片的位置属性，所述位置属性体现了图片中的图像所处的位置，进入步骤S2；

若图片中不存在目标，进入步骤S4；

步骤S2，将目标特征与位置属性关联，构成关联特征，判断关联特征库中是否存在与所述关联特征相同的关联特征，

若关联特征库中不存在与所述关联特征相同的关联特征，判断目标是否被进一步地操作处理，若没有被操作处理，对目标进行提示处理，进入步骤S3；若被操作处理，则不对目标进行提示处理，将所述关联特征保存入关联特征库中，进入步骤S3；

若关联特征库中存在与所述关联特征相同的关联特征，则不对目标进行提示处理，进入步骤S3；

步骤S3，判断是否所有的目标都进行了关联特征检查，若图片中所有目标都进行了关联特征检查处理，进入步骤S4，否则返回步骤S2对图片中的下一个目标进行关联特征检查处理；

步骤S4，判断是否完成了所有图片的检查，若没有，则返回步骤S1，对后续图片进行处理；若完成，则退出。

上述技术方案的有益效果为：本发明将目标特征与位置属性相关联，并将进一步操作处理过后的目标对应的关联特征保存在关联特征库中，在对该位置重复拍摄的图片进行处理时，只要图片中目标的关联特征已存在关联特征库中就不会对该特征进行重复提示，避免了检测人员或后续图像处理设备的重复工作，提高了图片处理效率。同时，关联特征库对于检察人员和后续图像处理设备具有备忘的作用，避免在所有图片检查结束后遗忘关键目标。

在本发明的一种优选实施方式中，所述步骤S1包括：

设有多张不同类型的标准图片，设置第一阈值，计算图片与不同标准图片的相似度，获得多个相似度值；

若最大的相似度值大于第一阈值，将最大的相似度值对应的标准图片的位置属性作为该图片的位置属性，将所述标准图片的类型名称作为目标特征，若最大的相似度值小于第一阈值，则认为图片中不存在目标。

上述技术方案的有益效果为：公开了一种快速同时获得图片中是否存在目标、图片位置属性以及目标特征的方法。

在本发明的一种优选实施方式中，在所述步骤S2中，所述进一步操作处理为：

输出并提示目标特征对应的类型名称和目标特征的第一概率；

所述第一概率获取步骤包括：

步骤S21,在与图片相似度最高的标准图像中求得与图片中位置对应像素点的像素值相等或相近的像素点数量，记为第一像素点数量；

步骤S22，获得与图片相似度最高的标准图像的像素点总和，记为第二像素点数量；

步骤S23，第一概率为第一像素点数量与第二像素点数量的比值。

上述技术方案的有益效果为：公开了进一步操作处理的一种技术方案，该技术方案使得用户能够直观的获得目标特征以及第一概率，便于进行后续决策处理。

在本发明的一种优选实施方式中，在所述步骤S1中，所述目标特征包括目标区域的轮廓、颜色直方图、尺寸或像素均值中的部分或全部。

上述技术方案的有益效果为：公开了目标特征的几种可以快速提取的形式。

在本发明的一种优选实施方式中，在所述步骤S2中，判断目标是否被进一步地操作处理的时间区间为：

预设的时间段；

或者检测人员切换图片前；

或者检测人员切换在图片上的注视区域前。

上述技术方案的有益效果为：设置判断的时间区间，避免死循环，且时间区间设置合理符合人的习惯。

在本发明的一种优选实施方式中，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断图片中包含目标的区域是否被截图保存，若被截图保存，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

上述技术方案的有益效果为：快速直接的判断方式，提高效率。

在本发明的一种优选实施方式中，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断是否执行了优化成像步骤，若执行了，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理；

所述优化成像步骤包括：

针对目标特征，从成像优化调整表中查找到与目标特征对应的成像优化参数，将成像优化参数输出给图像传感器，用于调整图像传感器的优化执行单元优化成像；

所述成像优化调整表中包括多个不同的目标特征，以及与每个目标特征对应的成像优化参数。

上述技术方案的有益效果为：优化成像后更便于观察和判断目标的具体情况。

在本发明的一种优选实施方式中，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

设置第一时间阈值，获取检测人员的眼睛在显示器上的注视区域，当所述注视区域落在了目标所在区域且持续时间达到第一时间阈值，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

上述技术方案的有益效果为：通过对检查人员的注视区域进行监测，以目标是否被检测人员持续的观察作为进一步地操作处理的具体技术方案，更直观形象。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图片内目标提示处理装置，包括处理器、图片提供单元、以及显示器，所述处理器从图片提供单元获取图片并按照本发明所述的图片内目标提示处理方法对图片进行处理后显示在显示器上。

上述技术方案的有益效果为：具有本发明所述的图片内目标提示处理方法的有益效果。

为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种内窥镜系统，包括本发明所述的图片内目标提示处理装置，所述图片提供单元为图像传感器；

或者还包括拍摄检测人员面部图像的摄像头，所述处理器的视频输入端与摄像头的输出端连接，处理器的图像输出端与显示器的输入端连接。

上述技术方案的有益效果为：具有本发明所述的图片内目标提示处理装置的有益效果。

附图说明

图1是本发明一具体实施方式中图片内目标提示处理方法的流程示意图；

图2是本发明图片内目标提示处理方法的第一种应用场景中的流程示意图；

图3是本发明图片内目标提示处理方法的第二种应用场景中相同位置属性的图片处理过程中的目标提示示意图；

图4是本发明图片内目标提示处理方法的第二种应用场景中图片中的目标已被进一步操作处理后的提示示意图。

附图标记：

1第一目标；2第二目标。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种图片内目标提示处理方法，其流程图如图1所示，在一种优选实施方式中，该方法包括：

步骤S1，获取图片，判断图片中是否存在目标，

若图片中存在至少一个目标，提取目标特征和图片的位置属性，位置属性体现了图片中的图像所处的位置，进入步骤S2；

若图片中不存在目标，进入步骤S4；

步骤S2，将目标特征与位置属性关联，构成关联特征，判断关联特征库中是否存在与该关联特征相同的关联特征，

若关联特征库中不存在与该关联特征相同的关联特征，判断目标是否被进一步地操作处理，若没有被操作处理，对目标进行提示处理，进入步骤S3；若被操作处理，则不对目标进行提示处理，将该关联特征保存入关联特征库中，进入步骤S3；

若关联特征库中存在与关联特征相同的关联特征，则不对目标进行提示处理，进入步骤S3；

步骤S3，判断是否所有的目标都进行了关联特征检查，若图片中所有目标都进行了关联特征检查处理，进入步骤S4，否则返回步骤S2对图片中的下一个目标进行关联特征检查处理；

步骤S4，判断是否完成了所有图片的检查，若没有，则返回步骤S1，对后续图片进行处理；若完成，则退出。

在本实施方式中，对目标进行提示处理中的提示优选但不限于为声音提示、目标外围设置提示框、界面抖动等方式。

在本实施方式中，判断图片中是否存在目标也可通过检测人员人眼观察，目标区域也可通过手动画出，目标的尺寸也可通过手动测量。

在本实施方式中，在整个图片检查过程中，对需要检测的目标的种类我们可以预设，如在工业内窥镜进行管道探伤检测时，可以预设需要检测的目标有腐蚀、裂缝、凸起等，如在医疗内窥镜进行胃体内壁检测时，可以预设需要检测的目标为出血、肿瘤、溃疡等。因此，我们可以将目标特征设置为目标种类名称。

进一步的，判断图片中是否存在目标，具体的过程可以为：

设有多张不同目标类型的标准图片，设置第二阈值，第三阈值，第三阈值大于第二阈值，计算获取的图片与不同标准图片的相似度，获得多个相似度值，若其中最大的相似度值小于第二阈值，则认为图片中不包含目标，若至少有一个相似度值大于第三阈值，则认为获取的图片中包含有目标，且目标个数与大于第三阈值的相似度值的个数相同，各目标的目标特征为对应的标准图片的目标类型名称。

在本实施方式中，优选的，第二阈值为两张相同图片的相似度值的10％-20％，第三阈值为两张相同图片的相似度值的60％-100％。两幅图像的相似度计算方法可使用现有算法，如SIFT算法，或者使用公开号为CN107689041A或CN103870828A的中国专利中披露的相似度算法。

在本实施方式中，图片的位置属性为图片图像对应的成像物所处的位置；在工业内窥镜进行管道探伤检测时，若该管道是由多个管道单元串接而成，那么图片的位置属性为分别位于各管道单元内壁的序号数字标记，数字识别为现有技术，如可参照公开号为CN103413152B和CN105975958B的专利中公开的技术方案。在医疗内窥镜进行胃体内壁检测时，图片的位置属性可为胃体的不同部位，如胃底、贲门、胃体、胃窦和幽门等，在这种应用场景中，图片位置属性的识别可参考公开号为CN109035339A的中国专利中的技术方案，在此不再赘述。

在一种优选实施方式中，步骤S1包括：

设有多张不同类型的标准图片，设置第一阈值，计算获取的图片与不同标准图片的相似度，获得多个相似度值；

若最大的相似度值大于第一阈值，将最大的相似度值对应的标准图片的位置属性作为获取的图片的位置属性，将该标准图片的类型名称作为目标特征，若最大的相似度值小于第一阈值，则认为获取的图片中不存在目标。

在本实施方式中，多张不同类型的标准图片包括不同位置属性的标准图片，且在同一位置属性的标准图片中包含了多个包含不同目标的标准图片，因此，该方法能够同时获得图片的位置属性、图片中是否存在目标、以及目标特征。两幅图片的相似度计算方法可采用现有技术，如SIFT算法，或者使用公开号为CN107689041A或CN103870828A的中国专利中披露的相似度算法。优选的，第一阈值为两张相同图片的相似度值的10％-20％。

在一种优选实施方式中，在步骤S2中，进一步操作处理步骤具体地为：

输出并提示目标特征对应的类型名称和目标特征的第一概率；

第一概率获取步骤包括：

步骤S21,在与图片相似度最高的标准图像中求得与图片中位置对应像素点的像素值相等或相近的像素点数量，记为第一像素点数量；

步骤S22，获得与图片相似度最高的标准图像的像素点总和，记为第二像素点数量；

步骤S23，第一概率为第一像素点数量与第二像素点数量的比值。

在一种优选实施方式中，在步骤S1中，目标特征包括目标区域的轮廓、颜色直方图、尺寸或像素均值中的部分或全部。

在本实施方式中，获取目标区域的轮廓可选用现有的图像分割方法获得，如基于Canny算子的边缘分割方法、灰度处理后基于阈值的分割方法、基于活动轮廓分割等方法；获取目标区域轮廓后，求取该轮廓内彩色图像的颜色直方图，即为目标特征；尺寸可通过目标区域包含的像素点个数、或者为目标区域中横向连续最长的像素点个数和/或纵向连续最长的像素点个数。

在一种优选实施方式中，在步骤S2中，判断目标是否被进一步地操作处理的时间区间为：

预设的时间段；

或者检测人员切换图片前；

或者检测人员切换在图片上的注视区域前。

在本实施方式中，优选的，预设的时间段为0.5-2分钟之内取值，以符合人们习惯。检测人员切换图片前，如检测人员开始下一幅图片的检测。检测人员切换在图片上的注视区域前，如检测人员拖动图片，之前的目标已不再显示器的显示区域内，就认为检测人员切换了注视区域。也可根据现有技术中公开号为CN107103293B的现有技术中提供的获取人眼的注视区域的技术方案获取注视区域，比较当前时刻与之前时刻的注视区域是否一致，若不一致，认为检测人员切换了注视区域。

在本发明的一种优选实施方式中，在步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断图片中包含目标的区域是否被截图保存，若被截图保存，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

在本发明的一种优选实施方式中，在步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断是否执行了优化成像步骤，若执行了，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理；

优化成像步骤包括：

针对目标特征，从成像优化调整表中查找到与目标特征对应的成像优化参数，将成像优化参数输出给图像传感器，用于调整图像传感器的优化执行单元优化成像；

成像优化调整表中包括多个不同的目标特征，以及与每个目标特征对应的成像优化参数。

在本实施方式中，成像优化调整表优选但不限于如下形式：

目标特征1	第一焦距，光源第一强度，光源第一颜色，……
		目标特征2	第二焦距，光源第二强度，光源第二颜色，……
目标特征3	第三焦距，光源第三强度，光源第三颜色，……
		目标特征4	第四焦距，光源第四强度，光源第四颜色，……
……	……

优选的，成像优化参数包括焦距、光源强度或光源颜色等的一组参数。优选的，设置有一组初始成像参数，图像传感器开始工作时使用初始成像参数，同时，在目标特征在成像优化调整表中不存在时，可以使用初始成像参数进行成像。

在本实施方式中，不同的目标特征对应了不同的成像优化参数。如在内窥镜管道探伤中，当目标特征为裂缝时，需要放大和增强光照处理，以便观察裂缝的大小，当目标特征为腐蚀时，需要增强光照处理，以便观察是否腐蚀镂空。如在医疗内窥镜中，当目标特征为肿瘤时，需要染色放大处理；当目标特征为出血时，需要放大处理，以便观察；当目标特征为溃疡时，需要增强光照处理。

在一种优选实施方式中，在步骤S2中，判断目标是否被进一步地操作处理的方法为：

设置第一时间阈值，获取检测人员的眼睛在显示器上的注视区域，当注视区域落在了目标所在区域且持续时间达到第一时间阈值，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

在本实施方式中，获取检测人员的眼睛在显示器上的注视区域为现有技术，可以采用公开号为CN107103293B的现有技术中提供的获取人眼的注视区域的技术方案。或者在一种应用场景中，在显示图片的显示器上设置有面向检测人员面部拍摄的摄像头，该摄像头输出人脸图像，可参照公开号为CN108615159A中公开的技术方案获取注视区域，并判断注视区域是否落在了图片的目标所在区域内(如可根据两者是否重合，或者两者的中心点位置是否接近等方式判断)。

在本发明的图片内目标提示处理方法的一种应用场景中，其目标提示示意图如图3所示。图3中给出了包含有相同的位置属性a的三幅图片，设从左向右的第一个图片为对该位置的初次检测，在关联特征库中均不存在第一目标1和第二目标2的关联特征时，在第一个图片中对第一目标1和第二目标2进行方框提示。

当检测人员切换检查视角获得第二图片时，检测人员对第二目标2进行进一步操作处理，第二目标2的提示框将不再显示，检查结束后，会将第二目标2列为已检查目标，即将其关联特征存入关联特征库中。

当检测人员切换检查视角获得第三图片时，对第一目标1进行进一步操作处理时，第一目标1的提示框将不再显示。由于第二目标2是已检查目标，也不会再次提示。

当检测人员获得包含有位置属性a的重复图片时，由于第一目标1和第二目标2在上述检查过程已检查，因此不会再提示第一目标1和第二目标2，如图4所示。

本发明还公开了一种图片内目标提示处理装置，包括处理器、图片提供单元、以及显示器，处理器从图片提供单元获取图片并按照本发明的图片内目标提示处理方法对图片进行处理后显示在显示器上。

在该图片内目标提示处理装置的一种应用场景中，其流程示意图如图2所示，该装置即为判定仪，判定仪获取图片后，判断是否有目标，当存在目标时，判定该目标是否已经检查过，若已经检查过，不做提示，若未做检查，提取目标特征计算相应的第一概率，输出并显示目标特征和第一概率。

本发明还提供了一种内窥镜系统，在一种优选实施方式中，包括本发明的图片内目标提示处理装置，图片提供单元为图像传感器；

或者还包括拍摄检测人员面部图像的摄像头，处理器的视频输入端与摄像头的输出端连接，处理器的图像输出端与显示器的输入端连接。

在本实施方式中，摄像头可设置在显示器面板上，正对人脸拍摄。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种图片内目标提示处理方法，其特征在于，包括：

步骤S1，获取图片，判断图片中是否存在目标，

若图片中存在至少一个目标，提取目标特征和图片的位置属性，所述位置属性体现了图片中的图像所处的位置，进入步骤S2；

若图片中不存在目标，进入步骤S4；

步骤S2，将目标特征与位置属性关联，构成关联特征，判断关联特征库中是否存在与所述关联特征相同的关联特征，

若关联特征库中不存在与所述关联特征相同的关联特征，判断目标是否被进一步地操作处理，若没有被操作处理，对目标进行提示处理，进入步骤S3；若被操作处理，则不对目标进行提示处理，将所述关联特征保存入关联特征库中，进入步骤S3；

若关联特征库中存在与所述关联特征相同的关联特征，则不对目标进行提示处理，进入步骤S3；

步骤S3，判断是否所有的目标都进行了关联特征检查，若图片中所有目标都进行了关联特征检查处理，进入步骤S4，否则返回步骤S2对图片中的下一个目标进行关联特征检查处理；

步骤S4，判断是否完成了所有图片的检查，若没有完成，则返回步骤S1，对后续图片进行处理；若完成，则退出。

2.如权利要求1所述的图片内目标提示处理方法，其特征在于，所述步骤S1包括：

设有多张不同类型的标准图片，设置第一阈值，计算图片与不同标准图片的相似度，获得多个相似度值；

若最大的相似度值大于第一阈值，将最大的相似度值对应的标准图片的位置属性作为该图片的位置属性，将所述标准图片的类型名称作为目标特征，若最大的相似度值小于第一阈值，则认为图片中不存在目标。

3.如权利要求2所述的图片内目标提示处理方法，其特征在于，在所述步骤S2中，所述进一步操作处理为：

输出并提示目标特征对应的类型名称和目标特征的第一概率；

所述第一概率获取步骤包括：

步骤S21,在与图片相似度最高的标准图像中求得与图片中位置对应像素点的像素值相等或相近的像素点数量，记为第一像素点数量；

步骤S22，获得与图片相似度最高的标准图像的像素点总和，记为第二像素点数量；

步骤S23，第一概率为第一像素点数量与第二像素点数量的比值。

4.如权利要求1所述的图片内目标提示处理方法，其特征在于，在所述步骤S1中，所述目标特征包括目标区域的轮廓、颜色直方图、尺寸或像素均值中的部分或全部。

5.如权利要求1所述的图片内目标提示处理方法，其特征在于，在所述步骤S2中，判断目标是否被进一步地操作处理的时间区间为：

预设的时间段；

或者检测人员切换图片前；

或者检测人员切换在图片上的注视区域前。

6.如权利要求1所述的图片内目标提示处理方法，其特征在于，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断图片中包含目标的区域是否被截图保存，若被截图保存，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

7.如权利要求1所述的图片内目标提示处理方法，其特征在于，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

判断是否执行了优化成像步骤，若执行了，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理；

所述优化成像步骤包括：

针对目标特征，从成像优化调整表中查找到与目标特征对应的成像优化参数，将成像优化参数输出给图像传感器，用于调整图像传感器的优化执行单元优化成像；

所述成像优化调整表中包括多个不同的目标特征，以及与每个目标特征对应的成像优化参数。

8.如权利要求1所述的图片内目标提示处理方法，其特征在于，在所述步骤S2中，判断目标是否被进一步地操作处理的方法为：

设置第一时间阈值，获取检测人员的眼睛在显示器上的注视区域，当所述注视区域落在了目标所在区域且持续时间达到第一时间阈值，认为目标被进一步地操作处理，否则，认为目标没有被进一步地操作处理。

9.一种图片内目标提示处理装置，其特征在于，包括处理器、图片提供单元、以及显示器，所述处理器从图片提供单元获取图片并按照权利要求1-8之一所述的图片内目标提示处理方法对图片进行处理后显示在显示器上。

10.一种内窥镜系统，其特征在于，包括如权利要求9所述的图片内目标提示处理装置，所述图片提供单元为图像传感器；

或者还包括拍摄检测人员面部图像的摄像头，所述处理器的视频输入端与摄像头的输出端连接，处理器的图像输出端与显示器的输入端连接。

Images