发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种成像优化方法、图像处理装置、成像装置及内窥镜系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种成像优化方法,包括:
步骤S1,图像处理器接收图像传感器拍摄的图像,并利用第一处理算法对图像进行识别处理,获得识别结果,如果达到终止条件,则执行步骤S3,否则执行步骤S2;
步骤S2,针对识别结果,从成像优化调整表中查找到与识别结果对应的成像优化参数,将成像优化参数输出给图像传感器,用于调整图像传感器的优化执行单元优化成像,并返回步骤S1;
所述成像优化调整表中包括多个不同的识别结果,以及与每个识别结果对应的成像优化参数;
S3,输出图像和识别结果至显示终端。
上述技术方案的有益效果为:根据识别结果判断是否需要成像优化,当需要优化时能够自动进行成像优化,无需人工参与,避免了因人工参与调解成像时,带来的误判、耗时长或者遗漏等问题,提高了自动化程度和效率,非常智能化。
在本发明的一种优选实施方式中,所述第一处理算法包括如下步骤:
设有多张不同类型的标准图像,分别计算接收图像与不同类型的标准图像的相似度,将与接收图像相似度最高的标准图像的类型名称作为识别结果。
上述技术方案的有益效果为:能够快速得到识别结果,算法简单,运算量少。
在本发明的一种优选实施方式中,还包括设置相似度阈值步骤;
所述终止条件为:接收图像与各标准图像的相似度中的最高者达到了相似度阈值。
上述技术方案的有益效果为:该终止条件设置合理,判断比较快速。
在本发明的一种优选实施方式中,所述步骤S1中还包括图像处理器计算识别结果为真的概率的步骤,
具体包括:
步骤S11,在与接收图像相似度最高的标准图像中求得与接收图像中位置对应像素点的像素值相等或相近的像素点数量,记为第一像素点数量;
步骤S12,获得与接收图像相似度最高的标准图像的像素点总和,记为第二像素点数量;
步骤S13,识别结果为真的概率为第一像素点数量与第二像素点数量的比值。
上述技术方案的有益效果为:输出识别结果为真的概率给用户,将实际情况反馈给用户,更有利于用户基于识别结果做出决策。
在本发明的一种优选实施方式中,还包括设置概率阈值步骤;
所述终止条件为:当识别结果为真的概率达到了概率阈值。
上述技术方案的有益效果为:该终止条件更为直观,便于理解。
在本发明的一种优选实施方式中,所述步骤S1和步骤S2在图像传感器连续拍摄两幅图像的时间间隔内完成;
和/或在所述步骤S2中,优化成像包括放大成像倍数,或改变成像焦距,或改变成像亮度,或染色图像四者中的一个或几个方面。
上述技术方案的有益效果为:步骤S1和步骤S2在时间间隔内完成,使该成像优化方法的具有较高的响应速度,增强用户体验;提供了优化成像的比较有用的几个实施方面。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种图像处理装置,包括图像处理器,所述图像处理器按照本发明所述的成像优化方法接收图像传感器发送的图像,获得成像优化参数并发送至图像传感器端的成像控制器,成像控制器按照成像优化参数控制优化执行单元优化成像,图像处理器输出图像和识别结果至显示终端。
上述技术方案的有益效果为:该图像处理装置能够对接收的图像进行识别处理并根据识别结果判断是否需要成像优化,当需要优化时能够自动从其内部设置成像优化调整表查找出与识别结果对应的成像优化参数,并将成像优化参数发送给图像传感器端的成像控制器进行成像优化,无需人工参与,避免了因人工参与调整成像时,带来的误判、耗时长或者遗漏等问题,提高了自动化程度和效率,非常智能化。
为了实现本发明的上述目的,根据本发明的第三个方面,本发明提供了一种成像装置,包括成像控制器、与所述成像控制器连接的图像传感器和优化执行单元,成像控制器按照本发明所述的成像优化方法,控制图像传感器发送图像至图像处理器,接收图像处理器发送的识别结果并从成像优化调整表中查找到与识别结果对应的成像优化参数,按照成像优化参数控制优化执行单元优化成像并输出图像和识别结果至显示终端。
上述技术方案的有益效果为:该成像装置接收图像处理器发送的识别结果,并根据识别结果判断是否需要成像优化,当需要优化时能够自动从其内部设置成像优化调整表查找出与识别结果对应的成像优化参数,并基于像优化参数进行成像优化,无需人工参与,避免了因人工参与调整成像时,带来的误判、耗时长或者遗漏等问题,提高了自动化程度和效率,非常智能化。
为了实现本发明的上述目的,根据本发明的第四个方面,本发明提供了一种内窥镜系统,包括本发明所述的图像处理装置或者本发明所述的成像装置。
上述技术方案的有益效果为:除了具有上述图像处理装置或成像装置的有益效果外,还具有无需医护人员认为判断是否需要优化成像,以及手动输入成像优化参数,缩短了内窥镜系统的检查时间较长,提高了检查效率,避免了人为误判导致优化成像后更不利于观察的情况,以及漏诊的情况。
在本发明的一种优选实施方式中,所述优化执行单元包括焦距调节单元或光源切换单元或亮度调节单元中的部分或全部。
上述技术方案的有益效果为:提供了优化成像中比较常用的执行单元。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明提供了一种成像优化方法,在一种优选实施方式中,该方法如图2所示,包括:
S1:对图像进行识别处理获得识别结果,具体为:图像处理器接收图像传感器拍摄的图像,并利用第一处理算法对图像进行识别处理,获得识别结果,如果达到终止条件,则执行步骤S3,否则执行步骤S2;
S2,针对识别结果,获得并基于成像优化参数优化成像,具体为:针对识别结果,从成像优化调整表中查找到与识别结果对应的成像优化参数,将成像优化参数输出给图像传感器,用于调整图像传感器的优化执行单元优化成像,并返回步骤S1;
成像优化调整表中包括多个不同的识别结果,以及与每个识别结果对应的成像优化参数;
S3,输出图像和识别结果至显示终端。
在本实施方式中,该方法可应用于内窥镜系统、植物监控、快递监控等各种依据被测物的图像进行识别处理,得到不同的识别结果,并根据识别结果来调整成像参数以优化成像得到被测物最优图像的应用场景中。如内窥镜系统中,从内窥镜的图像传感器拍摄的图像中识别出图像类似于某种病变的图像,则当当前成像不符合要求时,对成像参数进行调整,使图像传感器的输出图像更有利于观察该种病变。如在植物生长监控过程中,利用现有技术对图像传感器拍摄的被监控植物的图像进行识别处理,如根据植物的叶片大小分析、或如根据影像大小分析,或者如根据植物颜色深浅分析等,得到植物所处于的生长阶段,根据生长阶段调整成像参数,其图像传感器拍摄的图像更能全面清晰的反应植物状态。在快递监控的应用场景中,利用现有技术对图像中的快件的形状和/或大小进行识别,根据不同形状或大小调整摄像头的位置以及焦距,使其正对快件编码以快速获取快件信息。
在本实施方式中,成像优化调整表优选但不限于如下形式:
识别结果1 |
第一焦距,光源第一强度,光源第一颜色,…… |
识别结果2 |
第二焦距,光源第二强度,光源第二颜色,…… |
识别结果3 |
第三焦距,光源第三强度,光源第三颜色,…… |
识别结果4 |
第四焦距,光源第四强度,光源第四颜色,…… |
…… |
…… |
优选的,成像优化参数包括焦距、光源强度或光源颜色等的一组参数。优选的,设置有一组初始成像参数,图像传感器开始工作时使用初始成像参数,同时,在识别结果在成像优化调整表中不存在时,可以使用初始成像参数进行成像。
在本发明的一种优选实施方式中,第一处理算法包括如下步骤:
设有多张不同类型的标准图像,分别计算接收图像与不同类型的标准图像的相似度,将与接收图像相似度最高的标准图像的类型名称作为识别结果。
在本实施方式中,标准图像为对应类型的最典型的图像,如在内窥镜系统中,其可为胃内各部位的息肉图像、肿瘤图像、溃疡图像或者出血图像等。如在植物生长监控系统中,其可为不同植物的幼苗期、成苗期、枯萎期等的图像。如在快递监控系统中,其可为不同快递公司的小型包裹、中型包裹或大型包裹等的图像。
在本实施方式中,两幅图像的相似度计算方法可使用现有算法,如SIFT算法,或者使用公开号为CN107689041A或CN103870828A的中国专利中披露的相似度算法。
在本发明的一种优选实施方式中,还包括设置相似度阈值步骤;
终止条件为:接收图像与各标准图像的相似度中的最高者达到了相似度阈值。
优选的,相似度阈值为两幅相同图像按照上述相似度计算方法计算得到的相似度值的0.7-0.9倍。
在本发明的一种优选实施方式中,步骤S1中还包括图像处理器计算识别结果为真的概率的步骤,具体包括:
步骤S11,在与接收图像相似度最高的标准图像中求得与接收图像中位置对应像素点的像素值相等或相近的像素点数量,记为第一像素点数量;
步骤S12,获得与接收图像相似度最高的标准图像的像素点总和,记为第二像素点数量;
步骤S13,识别结果为真的概率为第一像素点数量与第二像素点数量的比值。
在本发明的一种优选实施方式中,还包括设置概率阈值步骤;
终止条件还可为:当识别结果为真的概率达到了概率阈值。
设置概率阈值,当识别结果为真的概率达到概率阈值。
在本实施方式中,概率阈值的取值范围为0-1;优选的,其可设置为0.7-0.9。
在本发明的一种优选实施方式中,步骤S1和步骤S2在图像传感器连续拍摄两幅图像的时间间隔内完成。
在本发明的一种优选实施方式中,在步骤S2中,优化成像包括放大成像倍数,或改变成像焦距,或改变成像亮度,或染色图像四者中的一个或几个方面。
本发明还提供了一种图像处理装置,在本发明的一种优选实施方式中,该图像处理装置包括图像处理器,图像处理器按照本发明的成像优化方法接收图像传感器发送的图像,获得成像优化参数并发送至图像传感器端的成像控制器,成像控制器按照成像优化参数控制优化执行单元优化成像,图像处理器输出图像和识别结果至显示终端。
在本实施方式中,图像处理器优选但不限于为ARM+FPGA的异构组合,其内部或外部设有存储单元,该存储单元内存储有成像优化调整表。图像处理器与图像传感器端的成像控制器可有线或无线通信连接,无线连接时可分别通过WiFi模块进行WIFI通信,或者分别通过蓝牙模块进行蓝牙通信,或者分别通过3G/4G/GPRS无线射频模块进行通信。有线连接可通过串口、并口或者以太网口进行通信连接。
本发明还提供了一种成像装置,在本发明的一种优选实施方式中,包括成像控制器、与成像控制器连接的图像传感器和优化执行单元,成像控制器按照本发明的成像优化方法,控制图像传感器发送图像至图像处理器,接收图像处理器发送的识别结果并从成像优化调整表中查找到与识别结果对应的成像优化参数,按照成像优化参数控制优化执行单元优化成像并输出图像和识别结果至显示终端。
在本实施方式中,成像控制器优选但不限于为单片机、MCU等处理器,其内部或外部设有存储单元,该存储单元内存储有成像优化调整表。成像控制器与图像处理器可有线或无线通信连接,无线连接时可分别通过WiFi模块进行WIFI通信,或者分别通过蓝牙模块进行蓝牙通信,或者分别通过3G/4G/GPRS无线射频模块进行通信。有线连接可通过串口、并口或者以太网口进行通信连接。
在上述两种实施方式中,优选的,优化执行单元包括焦距调节单元或光源切换单元或亮度调节单元中的部分或全部。焦距调节单元或光源切换单元或亮度调节单元的具体结构和原理可采用现有技术。
本发明还提供了一种内窥镜系统,如图3所示为具体应用中流程示意图,其包括本发明的图像处理装置或者本发明的成像装置。
在本发明的一种优选实施方式中,优化执行单元包括焦距调节单元或光源切换单元或亮度调节单元中的部分或全部。
在本发明的内窥镜系统的一种应用场景中,内窥镜系统包括胶囊内镜,胶囊内镜中包含焦距调节单元,其具体的结构和调焦原理如下:
在该应用场景中,胶囊内镜是一个镜头,把电池、PCB板、芯片等电路元器件嵌入到了这颗镜头里。镜头采集到图像通过图像传感器传输给成像控制器,成像控制器将图像通过天线发送出去,本实施方式中,重点研究可变焦镜头,其余部分的工作原理和结构可采用现有技术。
如图4所示,光学变焦胶囊内镜包括设置于胶囊内镜内的固定的或可移动的至少一个第一类镜片,在本实施方式中,第一类镜片为凸透镜,其可以固定于胶囊内镜内,也可以设置为在胶囊内镜内的一定范围内活动,可采用驱动装置驱动其沿导轨移动。优选地第一类镜片固定于胶囊内镜内部。
优选的,第一类镜片包括前固定镜片和后固定镜片,前固定镜片靠近胶囊内镜的检测面,后固定镜片靠近胶囊内镜的图像传感器。
该光学变焦胶囊内镜还包括设置于第一类镜片前、后或相邻两个第一类镜片之间的导轨(图4中的导轨设置于前固定镜片和后固定镜片之间),导轨上可移动地设置有至少一个变倍透镜和至少一个补偿透镜,至少一个变倍透镜和至少一个补偿透镜分别由同一或不同的驱动机构驱动沿导轨移动。变倍透镜为凸透镜,补偿透镜为凹透镜,通过变倍透镜实现放大倍数的变化,通过补偿透镜位置的变化,使光线顺利在图像传感器上汇聚成像。
变倍透镜和补偿透镜分别安装于相应的支撑框上,支撑框一端与导轨可滑动连接,另一端与驱动机构连接。
如图4所示,驱动机构包括电机,电机的转轴通过第一转杆连接第一齿轮,第一齿轮与第二齿轮齿合,第二齿轮连接有带螺纹的第二转杆,第二转杆转动带动变倍透镜和/或补偿透镜支撑框前后移动。优选的,还包括外部控制装置,外部控制装置与电机控制接收端无线连接,外部控制装置控制电机正转或反转。例如,在外部设置有调节透镜前移或者后移的按钮,当需要透镜前移时,按动透镜前移按钮,电机正转带动透镜前移;当需要透镜后移时,按动透镜后移按钮,电机反转带动透镜后移。电机采用双向电机,具体控制电机正转和反转的技术采用现有技术。
在该应用场景中,优选的,驱动机构包括电磁驱动装置,电磁驱动装置包括与电池连接的吸引线圈和保持线圈,动铁心的一端与变倍透镜和/或补偿透镜的支撑框连接,带动支撑框前后移动。具体电磁驱动装置可采用类似于电磁开关的结构设置。优选的,还包括外部控制装置,外部控制装置控制线圈的流过的电流方向,实现动铁心的移动。例如,在外部设置有调节透镜前移或者后移的按钮(可以为电流方向相同按钮和电流方向相反按钮),当需要透镜前移时,按动电流方向相同按钮,动铁心推动透镜前移;当需要透镜后移时,按动电流方向相反按钮,动铁心推动透镜后移。
胶囊内镜内设置有多个驱动机构,变倍透镜和补偿透镜分别由不同的驱动机构带动移动。
如图4所示,电机带动第一齿轮转动,第一齿轮带动第二齿轮转动,从而带螺纹的第二转杆转动,第二转杆转动带动变倍组和/或补偿组座子前后移动,就达到了光学变焦的目的。
由于电路元器件较多,如图5所示,胶囊内镜的PCB板贴敷于胶囊侧壁上。例如第一PCB板和第二PCB板不能容纳下所有的元器件,所以第一PCB板和第二PCB板主要放置一些面积比较大的元器件,而面积小的元器件(电容,电阻等),放置在第三PCB板和第四PCB板,图5只看到了第三PCB板和第四PCB板的横截面。实际第三PCB板和第四PCB板是长方形,比如长8mm,宽2-3mm的PCB板(这里长宽是假定,是为了便于理解,具体长宽会根据实际情况而定),放置在胶囊中。只要对第三PCB板和第四PCB板合理放置,不阻挡镜片的通光就可以,而需要多少类似于第三PCB板和第四PCB板一样的PCB板,数量也根据实际情况定,这里只列出2个。
在本发明的内窥镜系统的一种应用场景中,内窥镜系统包括电子内窥镜探头,焦距调节单元的结构和工作原理可参照公开号为CN203328665U的专利中的调焦结构和调焦原理。
在本发明的内窥镜系统的一种应用场景中,光源切换单元为不同颜色的光源的切换,其具体的机构和切换原理可参照CN204542017U或CN108463760A等现有技术。
在本发明的内窥镜系统的一种应用场景中,亮度调节单元优选但不限于为位于内窥镜系统光源的供电回路中电控电阻器,根据其输出电阻的大小与光源的供电电流成反比的原理,可控制光源的输出光线的亮度,也可参照CN104398231B或CN108650473A等现有技术进行光源亮度调节。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。