CN112950525B - 图像检测方法、装置及电子设备 - Google Patents
图像检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112950525B CN112950525B CN201911159693.8A CN201911159693A CN112950525B CN 112950525 B CN112950525 B CN 112950525B CN 201911159693 A CN201911159693 A CN 201911159693A CN 112950525 B CN112950525 B CN 112950525B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- light source
- foreground
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 105
- 230000006870 function Effects 0.000 claims description 48
- 238000004590 computer program Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 abstract description 34
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 23
- 238000012360 testing method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 206010046865 Vaccinia virus infection Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000006260 foam Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 208000007089 vaccinia Diseases 0.000 description 3
- 206010000496 acne Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于电子技术领域,提供了一种基于人工智能(Artificial Intelligence,AI)终端的图像检测方法、装置及电子设备,包括:获取待检测图像;确定所述待检测图像的光源区域以及所述待检测图像的前景区域;基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度,通过对待检测图像进行光源区域检测和前景区域检测来确定光源对待检测图像清晰程度的影响,进而有效地检测出在逆光条件下拍摄图像是否模糊。
Description
技术领域
本申请属于电子技术领域,尤其涉及基于人工智能(Artificial Intelligence,AI)终端的 图像检测方法、装置及电子设备。
背景技术
现有的移动终端(例如手机、平板、照相机)在进行拍摄时,只能对拍摄过程中是否存在逆光源进行检测,而无法检测出拍摄图像是否存在逆光模糊。
发明内容
本申请实施例提供了一种基于人工只智能终端的图像检测方法、装置及电子设备,可 以有效检测出在逆光条件下拍摄图像是否模糊。
第一方面,本申请实施例提供了一种图像检测方法,包括:
获取待检测图像;
确定所述待检测图像的光源区域以及所述待检测图像的前景区域;
基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度。
在第一方面中,通过对待检测图像进行光源区域检测和前景区域检测来确定光源对待 检测图像清晰程度的影响,进而有效地检测出在逆光条件下拍摄图像是否模糊。
在第一方面的一种可能的实现方式中,所述确定所述待检测图像的光源区域,包括:
对所述待检测图像进行颜色空间转换,获取所述颜色空间转换后的图像的各个像素点 的亮度值;
将亮度值大于预设亮度阈值的像素点的区域确定为所述待检测图像的光源区域。
示例性的,通过颜色空间转换将该待检测图像转换到HSV(Hue,Saturation,Value) 颜色空间或LAB(CIELab color model)颜色空间。
应理解,还可以将待检测图像转换到其他颜色空间中来确定待检测图像每个像素点的 亮度值。
通过将待检测图像进行颜色空间转换以确定每个像素点的亮度后,并基于阈值分割法 就能够确定出待检测图像的光源区域,能够准确快速的确定出光源区域,提高图像检测的效 率。
在第一方面的一种可能的实现方式中,所述确定待检测图像的前景区域,包括:
检测所述待检测图像的前景目标;
确定所述前景目标在所述待检测图像中的位置,将所述前景目标在所述待检测图像中 的位置确定为待检测图像的前景区域。
应理解,所述前景目标可以是指所述待检测图像中具有动态特征的目标,例如人、动 物等;所述前景目标还可以是指距离观赏者较近且具有静态特征的景物,例如鲜花、美食等。
在第一方面的一种可能的实现方式中,所述基于所述光源区域和所述前景区域确定所 述待检测图像的模糊程度,包括:
基于所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量确定所述 待检测图像的模糊程度。
结合上一种可能的实现方式,所述基于所述光源区域内所有像素点的数量和所述前景 区域内所有像素点的数量确定所述待检测图像的模糊程度,包括:
判断所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量的比值的 递增函数的函数值是否大于预定阈值;
若所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量的比值的递 增函数的函数值大于预定阈值,则确定所述待检测图像为模糊图像。
在第一方面的一种可能的实现方式中,所述基于所述光源区域和所述前景区域确定所 述待检测图像的模糊程度,包括:
基于所述光源区域的内所有像素点的数量和所述前景区域的面积确定所述待检测图像 的模糊程度。
在第一方面的一种可能的实现方式中,所述获取待检测图像,包括:
在第一拍摄模式下,获取预览帧图像;
相应的,基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度包括:
若基于所述光源区域和所述前景区域确定所述预览帧图像为模糊图像,则将当前的拍 摄模式从所述第一拍摄模式切换至第二拍摄模式,其中所述第一拍摄模式和所述第二拍摄模 式为不同的拍摄模式。
示例性的,上述第一拍摄模式为Torch模式,上述第二拍摄模式为Flash模式。上述当 前拍摄模式从第一拍摄模式切换到第二拍摄模式,具体为:电子设备发送控制指令给到电子 设备的闪光灯模块,将闪光灯由常亮模式切换到拍摄时闪烁一次的模式。
第二方面,本申请实施例提供了一种图像检测装置,包括:
图像获取模块,用于获取待检测图像;
第一确定模块,用于确定所述待检测图像的光源区域以及所述待检测图像的前景区域;
第二确定模块,用于基于所述光源区域和所述前景区域确定所述图像的模糊程度。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述 存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如 前述第一方面所述图像检测方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质 存储有计算机程序,所述计算机程序被处理器执行时实现如前述第一方面所述图像检测方法 的步骤。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备 上运行时,使得终端设备执行上述第一方面中任一项所述的图像检测方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关 描述,在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是:通过对待检测图像进行光源区域检 测和前景区域检测来确定光源对待检测图像清晰程度的影响,进而有效地检测出在逆光条件 下拍摄图像是否模糊。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所 需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例, 对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a是现有的电子设备在无逆光光源的情况下基于Torch模式拍摄得到的图像示意图;
图1b是现有的电子设备在逆光光源的光强为23lux且光强面积为50%的逆光光源条件 下基于Flash模式拍摄得到的图像示意图;
图1c是现有的电子设备在无逆光光源的情况下基于Torch模式拍摄得到的图像示意图;
图1d是现有的电子设备在逆光光源的光强为23lux且光强面积为50%的逆光光源条件 下基于Flash模式拍摄得到的图像示意图;
图2是本申请一实施例提供的图像检测方法所适用于的电子设备的结构示意图;
图3是本申请一实施例提供的图像检测方法所适用于的电子设备的软件架构示意图;
图4a是本申请实施例提供的一组显示界面示意图;
图4b是本申请实施例提供的另一组显示界面示意图;
图5是本申请一实施例提供的图像检测方法的流程示意图;
图6a是待检测图像在当前颜色空间下的图像示意图;
图6b是待检测图像进行光源分割后的图像示意图;
图7是本申请实施例提供的前景目标的示意图;
图8a是本申请提供的前景目标为泡沫盒的图像示意图;
图8b是本申请提供的另一前景目标为泡沫盒的图像示意图;
图9是本申请实施例提供的图像检测方法的待检测图像的图像示意图;
图10是本申请实施例提供的图像检测装置的结构示意图;
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体 细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细 节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指 示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或 多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指 相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些 组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依 据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地, 短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为 意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于 检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、 “第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本 申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。 由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例 中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另 外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限 于”,除非是以其他方式另外特别强调。
需要说明的是,本申请所指的逆光是指是由于被摄主体恰好处于光源和照 相机(摄像头)之间的情况,这种情况极易造成使被摄主体曝光不充分,导致 拍摄得到的图像不能清晰地体现面部肌肤细节,如细纹,法令纹,黑眼圈,红 区,痘痘,毛孔,色斑,黑头等细节特征。在不同的拍摄模式下拍摄得到的图 像会由于逆光光源的存在而呈现不同的清晰程度。上述拍摄模式包括闪光灯常 亮的第一拍摄模式(Torch模式)和拍摄时闪关灯闪烁的第二拍摄模式(Flash 模式)。图1a和图1c是现有的电子设备在无逆光光源的情况下分别基于Torch 模式和Flash模式拍摄得到的图像;图1b和图1d是现有的电子设备在相同光强(23Lux),相同光强面积(50%)的逆光光源条件下分别基于Torch模式和Flash 模式拍摄得到的图像。由图1a和图1c可以看出,在没有逆光光源的情况下, Torch模式和Flash模式都能将细节特征(痘痘)清晰地拍摄出来。对比图1c 和图1d可以看出,逆光光源的存在对Flash模式拍摄的图像没有太大影响, 同样能将细节特征(痘痘)拍摄出来。而对比图1a和图1b可以看出,逆光光 源的存在对Torch模式拍摄的图像的清晰程度有明显的影响,会导致细节特征 (痘痘)模糊。因此本申请实施例的图像检测方法主要用于对在Torch模式下,拍摄得到的图像进行检测,并能够在检测到待检测图像为模糊图像时,将当前 拍摄模式从上述Torch模式切换至Flash模式。在实际应用中,通过二分法基 于不同的光强和不同的光源面积进行拍摄进而确定光强为23Lux和光源面积 为25%作为基于Torch模式拍摄的图像是否模糊的临界值。而其中光源面积是影响前景是否模糊最重要的因素,针对同一前景(不同照片的同一张人脸可 以近似看为同一前景),光源面积越大,对前景的清晰程度的影响也越大,而 若前景足够大,光源面积足够小,也可以忽略光源面积对前景的清晰程度的影响。因此在检测待检测图像的特征细节是否模糊的重要参数就是光源面积与前 景面积的关系。基于光源区域的及检测和前景区域的检测就能够确定待检测图 像是否存在逆光模糊的问题,若检测到待检测图像存在逆光模糊的问题,则不采用该图像作为面部肌肤状态评价的对象,进而提高面部肌肤状态的评价的准 确度。需要说明的是,前景是指镜头中位于主体前面或靠近前沿的人或物。本 申请实施例中的前景可以包括多种物体类型,例如人物、车辆、植物、动物、 建筑、地面、天空、桌子、椅子、门框等物品。
本申请实施例提供的图像检测方法可以应用于电子设备、平板电脑、可穿 戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality, VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer, UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等终端设备上, 本申请实施例对终端设备的具体类型不作任何限制。
作为示例而非限定,当所述电子设备为可穿戴设备时,该可穿戴设备还可 以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总 称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整 合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备, 更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智 能设备包括功能全、尺寸大、可不依赖智能电子设备实现完整或者部分的功能, 如智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如 智能电子设备配合使用,如各类进行体征监测的智能手环、智能首饰等。
图2示出的是与本申请实施例提供的电子设备的部分结构的框图。参考图 2,电子设备包括:射频(Radio Frequency,RF)电路110、存储器120、输入 单元130、显示单元140、传感器150、音频电路160、无线保真(wireless fidelity, WiFi)模块170、处理器180、电源190以及摄像头191等部件。本领域技术人 员可以理解,图1中示出的电子设备结构并不构成对电子设备的限定,可以包 括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图2对电子设备的各个构成部件进行具体的介绍:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地, 将基站的下行信息接收后,给处理器180处理;另外,将设计上行的数据发送 给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合 器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一 通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、 码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存 储器120的软件程序以及模块,从而执行电子设备的各种功能应用以及数据处 理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存 储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功 能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数 据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以 包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性 固态存储器件。
输入单元130可用于接收输入的数字或字符信息,以及产生与电子设备100 的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触 控面板131以及其他输入设备132。触控面板131,也称为触摸屏,可收集用户 在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作),并根据预先设定的程式驱 动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器 两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的 信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息, 并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令 并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131,输入单元130还可以包括其他输入设 备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比 如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及电子 设备的各种菜单。显示单元140可包括显示面板141,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板141。进一步的,触控面板131可覆盖显 示面板141,当触控面板131检测到在其上或附近的触摸操作后,传送给处理 器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面 板141上提供相应的视觉输出。虽然在图1中,触控面板131与显示面板141 是作为两个独立的部件来实现电子设备的输入和输入功能,但是在某些实施例 中,可以将触控面板131与显示面板141集成而实现电子设备的输入和输出功能。
电子设备100还可包括至少一种传感器150,比如光传感器、运动传感器 以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中, 环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器 可在电子设备移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的 一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时 可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切 换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感 器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与电子设备之间的音频 接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161, 由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号 转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处 理器180处理后,经RF电路110以发送给比如另一电子设备,或者将音频数据输出至存储器120以便进一步处理。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块170可以帮助用 户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互 联网访问。虽然图1示出了WiFi模块170,但是可以理解的是,其并不属于电 子设备100的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是电子设备的控制中心,利用各种接口和线路连接整个电子设 备的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行电子设备的各种功能和处理数据,从 而对电子设备进行整体监控。可选的,处理器180可包括一个或多个处理单元; 优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器 主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通 信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
电子设备100还包括给各个部件供电的电源190(比如电池),优选的, 电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实 现管理充电、放电、以及功耗管理等功能。
电子设备100还可以包括摄像头191。摄像头191用于捕获静态图像或视 频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupleddevice,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信 号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出 到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图 像信号。可选地,摄像头在电子设备100的上的位置可以为前置的,也可以为 后置的,本申请实施例对此不作限定。
可选地,电子设备100可以包括单摄像头、双摄像头或三摄像头等,本申 请实施例对此不作限定。
例如,电子设备100可以包括三摄像头,其中,一个为主摄像头、一个为 广角摄像头、一个为长焦摄像头。
可选地,当电子设备100包括多个摄像头时,这多个摄像头可以全部前置, 或者全部后置,或者一部分前置、另一部分后置,本申请实施例对此不作限定。
另外,尽管未示出,电子设备100还可以包括闪光灯模块等,在此不再赘 述。
另外,尽管未示出,电子设备100还可以包括蓝牙模块等,在此不再赘述。
另外,尽管未示出,电子设备100还可以包括神经网络(neural-network, NN)计算处理器(NPU),通过借鉴生物神经网络结构,例如借鉴人脑神经元 之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实 现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别, 文本理解等。
电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、 微服务架构或云架构。图3是本申请实施例的电子设备100的软件结构示意图。以电子设备100操作系统为Android系统为例,在一些实施例中,将Android 系统分为四层,分别为应用程序层、应用程序框架层(framework,FWK)、系统 层以及硬件抽象层,层与层之间通过软件接口通信。
如图3所示,所述应用程序层可以一系列应用程序包,应用程序包可以包 括短信息,日历,相机,视频,导航,图库,通话等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层可以包括一些预先定 义的函数,例如用于接收应用程序框架层所发送的事件的函数。
如图3所示,应用程序框架层可以包括窗口管理器、资源管理器以及通知 管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是 否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使 这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和 接听的电话,浏览历史和书签,电话簿等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片, 布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知 类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用 于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形 式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是 以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
应用程序框架层还可以包括:
视图系统,所述视图系统包括可视控件,例如显示文字的控件,显示图片 的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组 成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显 示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括 接通,挂断等)。
系统层可以包括多个功能模块。例如:传感器服务模块,物理状态识别模 块,三维图形处理库(例如:OpenGL ES)等。
传感器服务模块,用于对硬件层各类传感器上传的传感器数据进行监测, 确定电子设备100的物理状态;
物理状态识别模块,用于对用户手势、人脸等进行分析和识别;
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
系统层还可以包括:
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D 和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。 媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR, JPG,PNG等。
硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动,摄像 头驱动,传感器驱动等,用于驱动硬件层的相关硬件,如显示屏、摄像头、传 感器等。
系统层中还可以包括图像处理库。在启动相机应用后,相机应用可以获取 到电子设备的摄像头采集到的待检测图像。并基于该待检测图像进行光源区域 检测和前景区域检测来确定光源对待检测图像清晰程度的影响,进而确定待检 测图像是否存在逆光模糊的问题。
以下实施例可以在具有上述硬件结构/软件结构的电子设备100上实现。以 下实施例将以电子设备100为例,对本申请实施例提供的图像检测方法进行说 明。
图4a示出了如图2、图3所示的电子设备(如手机)的一种图形用户界面(Graphical User Interface,GUI),该GUI可以为该电子设备的桌面401,当 电子设备检测到用户点击桌面401上的面部肌肤状态评价应用(Application, APP)的图标402的操作后,可以启动面部肌肤状态评价应用。图4b所示的另 一种GUI,该GUI可以称为面部肌肤状态评价APP的处理界面403,当电子设 备检测到用户点击处理界面403上的获取照片的图标404后,电子设备可以打 开相册,由用户从该相册中选择图片加载到图像框405中。或者当用户点击图 标404后启动相机并在第一拍摄模式下,通过摄像头进行拍摄,再将拍摄得到的图像加载到图像框405中,还可以在图像框405中显示启动相机后在第一拍 摄模式下的预览画面。
当待检测图像加载到图像框405后,电子设备可以自动开始对图像框405 中的待检测图像进行检测,检测出该待检测图像是否模糊。
在一种实现的可能方式中,上述处理界面403包括还用于指示进行模糊检 测的第一控件,当电子设备100检测到用户点击该第一控件时,电子设备对图 像框405中的待检测图像进行检测,检测该待检测图像是否模糊。具体可以通 过确定该待检测图像的光源区域和该待检测图像的前景区域,并基于光源区域和前景区域确定图像的模糊程度,基于该图像的模糊程度判断该图像是否模糊。
具体地,在进行模糊检测时,电子设备100会通过将待检测图像进行颜色 空间转换后得颜色空间转换后的图像中每个像素点的亮度值,并基于每个像素 点的亮度值与预设亮度阈值进行比较后确定超过预设亮度阈值的像素点的数量 来确定光源区域。再通过特征点检测方法确定出该待检测图像的前景目标,通过确定该前景目标在所述待检测图像中的位置来确定前景区域。基于光源区域 内所有像素点的数量和前景区域内所有像素点的数量计算得到该待检测图像的 模糊程度,并将该待检测图像的模糊程度与预定阈值进行比较,若图像的模糊 程度大于或等于预定阈值,则确定待检测图像存在逆光模糊的问题;若图像的 模糊程度小于预定阈值,则确定该待检测图像不存在逆光模糊的问题。
若检测出在逆光条件下拍摄的图像或者在逆光条件下预览画面的某一帧图 像是模糊的,则将当前的拍摄模式从所述第一拍摄模式切换至第二拍摄模式, 其中所述第一拍摄模式和所述第二拍摄模式为不同的拍摄模式。或者检测出从 相册中获取到的待检测图像存在你管条件下模糊的情况,则提示用户选择另一 张图像,或重新拍摄一张图像。
请参阅图5,图5是本申请实施例提供的图像检测方法的示意性实现流程 图,该方法可以在如图2、图3所示的电子设备(例如手机、平板电脑等)中实现。 如图5所示,该方法可以包括以下步骤:
S101:获取待检测图像。
上述待检测图像可以是当前拍摄得到的图像,也可以是启动相机后预览画 面中的某一帧图像,还可以是相册中的图像等。
示例性的,当用户点击如图4b所示的图标404后,电子设备会打开相册供 用户选择已经拍摄的照片以此来获取待检测图像,并可以将获取到的待检测图 像加载到图像框405中;或者当用户点击图标404后启动相机并在第一拍摄模 式下,通过摄像头拍摄图像以此来获取待检测图像,再将拍摄得到的待检测图 像加载到图像框405中,还可以在图像框405中显示启动相机后在第一拍摄模式下的预览画面,将预览画面的某一帧图像作为待检测图像。
具体地,为了对面部肌肤状态进行评价,则获取到的图像应该包含人脸图 像,当获取到包含人脸图像的图像后,可以截取只包含人脸图像的部分图像作 为待检测图像,即本实施例获取的待检测图像可以是指包含人脸图像的待检测 图像。
S102:确定所述待检测图像的光源区域以及所述待检测图像的前景区域。
具体地,通过对所述待检测图像进行光源区域检测以确定该待检测图像的 光源区域。通过对待检测图像进行颜色空间转换后确定颜色空间转换后的图像 中所有像素点的亮度,基于所有像素点的亮度确定光源区域。再将进行了颜色 空间转换的图像重新转换到原来的颜色空间,基于特征点检测模式来检测待检 测图像的前景目标,并确定该前景目标在该待检测图像中的位置,以此来确定前景区域。
示例性的,当电子设备100检测到该待检测图像已经加载到图像框405中 后,会自动对加载在图像框405中的待检测图像进行模糊检测。
示例性的,当用户点击第一控件时,可以触发对加载在图像框405中的待 检测图像进行模糊检测,此时电子设备100会对该待检测图像进行光源区域检 测来确定光源区域。其中,光源区域检测可以是通过将图像进行颜色空间转换 后得到各个像素点的亮度值,并基于阈值分割法来确定光源区域,再将进行了 颜色空间转换的图像重新转换到原来的颜色空间,基于特征点检测模式来检测待检测图像的前景目标,并确定该前景目标在该待检测图像中的位置,以此来 确定前景区域。
在一个实施例中,上述确定所述待检测图像的光源区域,包括:
对所述待检测图像进行颜色空间转换,获取所述颜色空间转换后的图像的 各个像素点的亮度值;
将亮度值大于预设亮度阈值的像素点的区域确定为所述待检测图像的光源 区域。
具体地,基于该待检测图像的各个像素点的亮度值利用阈值分割法就能够 确定光源区域,首先通过颜色空间转换将该图像转换到HSV(Hue,Saturation, Value)颜色空间或LAB(CIELab color model)颜色空间中,就能够得到该图像中每一个像素点的亮度值。可以理解的是,还可以将图像转换到其他颜色空 间中来确定图像每个像素点的亮度值,在此不加以限制。
具体地,若将图像转换到HSV颜色空间中,则每个像素点的V值(Value) 就是该像素点的亮度值;若将图像转换到LAB颜色空间中,则每个像素点的L 值就是该像素点的亮度值。需要说明的是,上述亮度值也可以是原本亮度值的 一个单调递增/递减的数学变换,比如L’=2L等。
具体地,上述预设亮度阈值可以基于通过mask生成法查看分割出来的光 源图来确定。如图6a和图6b,所示图6a为当前颜色空间下的图像;图6b为 进行了光源分割后的图像。通过光源分割后的图像的每个像素点的亮度值与预 设亮度阈值进行比较,若像素点的亮度值大于预设亮度阈值,则确定该像素点 是光源区域的像素点,因此,只需将亮度值大于预设亮度阈值的像素点的区域 确定为所述待检测图像的光源区域。
在一实施例中,上述确定所述待检测图像的前景区域,包括:
检测所述待检测图像的前景目标;
确定所述前景目标在所述待检测图像中的位置,将所述前景目标在所述待 检测图像中的位置确定为待检测图像的前景区域。
需要说明的是,上述前景目标可以是指所述待检测图像中具有动态特征的 目标,例如人、动物等;所述前景目标还可以是指距离观赏者较近且具有静态 特征的景物,例如鲜花、美食等。
在本实施例中,可以采用训练后的前景检测模型对待检测图像中的前景目 标进行检测。示例性的,该前景检测模型可以为单点多盒检测(Single Shot MultiboxDetection,SSD)等具有前景目标检测功能的模型。当然,也可以采 用其他前景检测方式,例如通过模式识别算法检测所述待检测图像中是否存在 前景目标(例如人脸),在检测出存在所述前景目标后,通过目标定位算法或目标跟踪算法确定所述前景目标在所述待检测图像中的位置。
需要说明的是,本领域技术人员在本发明揭露的技术范围内,可容易想到 的其他检测前景目标的方案也应在本发明的保护范围之内,在此不一一赘述。
以采用训练后的前景检测模型对待检测图像中的前景目标进行检测为例说 明前景检测模型的具体训练过程:
预先获取样本图片以及所述样本图片对应的检测结果,其中,所述样本图 片对应的检测结果包括该样本图片中各个前景目标的类别和位置;
利用初始的前景检测模型检测上述样本图片中的前景目标,并根据预先获 取的所述样本图片对应的检测结果,计算该初始的前景检测模型的检测准确率;
若上述检测准确率小于预设的第一检测阈值,则调整初始的前景检测模型 的参数,再通过参数调整后的前景检测模型检测所述样本图片,直到调整后的 前景检测模型的检测准确率大于或等于所述第一检测阈值,并将该前景检测模 型作为训练后的前景检测模型。其中,调整参数的方法包括但不限于随机梯度 下降算法、动力更新算法等。
通过对转换到原来颜色空间的待检测图像基于上述前景检测模型进行前景 目标检测来确定前景目标,然后基于前景目标在该待检测图像的位置确定前景 区域。
示例性的,上述前景目标为人脸图像区域,该前景检测模型可以是基于 HIA276特征点检测方法进行人脸特征检测,然后框选出包含人脸的前景区域。 在本实施例中,上述前景区域检测可以由上述电子设备100的神经网络 (neural-network,NN)计算处理器(NPU)来实现,通过NPU对该待检测图像 进行人脸识别并利用矩形框框选出包含人脸(前景目标)的前景区域,并自动输出该目标矩形区域的面积。
示例性的,如图7所示的矩形区域就是前景区域,通过确定该矩形的四个 顶点的像素在该待检测图像中的位置坐标就能够确定出该前景区域的具体位置。 应理解的是,包含人脸(前景目标)的前景区域还可以通过圆形来框选出,也 可以通过三角形来框选出,还可以通过五边形等多种图形来框选出。
通过计算该矩形区域的面积就能够确定该前景区域的面积,通过确定该矩 形区域的四个顶点的位置坐标,进而确定该矩形区域的长和宽,进而确定该矩 形区域的面积,即得到该前景区域的面积。
需要说明的是,上述前景目标还可以是其他物品。示例性的,如图8a和图 8b所示,前景目标为泡沫盒。
S103:基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度。
具体地,基于所述光源区域内所有像素点的数量和所述前景区域内所有像 素点的数量确定所述待检测图像的模糊程度。
具体地,由于光源区域的大小是影响待检测图像是否模糊最重要的因素, 而前景区域的大小也是影响待检测图像是否模糊的重要因素,因此为了确定该 待检测图像的模糊程度,可以将光源区域的所有像素点与前景区域的所有像素 点的比值的严格递增函数的函数值作为逆光光源是否会造成待检测图像模糊的 影响程度,即将亮度值大于预设亮度阈值的像素点的数量与前景区域内所有的像素点的比值的严格递增函数的函数值该待检测图像的模糊程度S。
在一个实施例中,上述模糊程度S的计算公式为:S=f(a,b)=a/b,其中 a为上述光源区域内所有像素点的数量,b为上述前景区域内所有像素点的数量, S为模糊程度。
在另一实施例中,上述模糊程度S的计算公式为:S=f(a,b)=log(a/b), 其中a为上述光源区域内所有像素点的数量,b为上述前景区域内所有像素点 的数量,S为模糊程度。
需要说明的是,只要模糊程度是a/b的一个严格递增函数就能够体现光源 区域面积和前景区域面积对模糊程度的影响,因此上述f(a,b)具有无穷多种变形,如f(a,b)=log2(a-b)等,在此不一一列出。
在另一实施例中,基于所述光源区域的内所有像素点的数量和所述前景区 域的面积确定所述待检测图像的模糊程度。将光源区域的所有像素点与前景区 域的面积的比值的严格递增函数的函数值作为逆光光源是否会造成待检测图像 模糊的影响程度,即将亮度值大于预设亮度阈值的像素点的数量与前景区域的 面积的比值的严格递增函数的函数值作为该待检测图像的模糊程度S。
上述模糊程度S的计算公式为S=f(a,b)=a/b,其中a为上述光源区域内 所有像素点的数量,b为上述前景区域的面积,S为模糊程度。
在另一实施例中,上述模糊程度S的计算公式为:S=f(a,b)=log(a/b), 其中a为上述光源区域内所有像素点的数量,b为上述前景区域的面积,S为模 糊程度。
在一实施例中,上述S103包括:
判断所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数 量的比值的递增函数的函数值是否大于预定阈值;
若所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量 的比值的递增函数的函数值大于预定阈值,则确定所述待检测图像为模糊图像。
具体地,基于该待检测图像的模糊程度(即光源区域内所有像素点的数量 与所述前景区域内所有像素点的数量的比值的递增函数的函数值)与预定阈值 进行比较,若图像的模糊程度大于或等于预定阈值,则确定检测结果为:待检测图像为模糊图像;若图像的模糊程度小于预定阈值,则确定检测结果为:待 检测图像为清晰图像。
需要说明的是,上述预定阈值可以基于大量样本图像进行训练和测试后进 行调参得到的预定阈值,即待检测图像的模糊程度大于或等于该预定阈值,则 可确定该待检测图像为模糊图像。
具体地,可以基于KNN(K-Nearest Neighbor)分类器来构建图像分类器, KNN分类器的原理就是将测试集中的图像与训练集中的每一张图像进行比较, 将最相似的训练集图像的标签值赋给这张图像。例如在CIFAR-10中,就是比 较32x32x3的像素块,最简单的方法就是逐个像素比较,最后将差异值全部加 起来,得到两个图像的差异值,并根据分类决策原则(比如多数表决),决定图像的类别。在构建图像分类器时会预先赋予该图像分类器的初始模型参数以 及初始预定阈值,通过训练和测试该图像分类器就是对初始模型参数和预定阈 值进行参数调整的过程,进而能够得到满足分类准确率要求的图像分类器。
具体地,还可以基于训练集样本图像进行遍历寻优,寻找分类效果最好的 训练器或者训练器的组合,将该训练器或训练器的组合作为本实施例的图像分 类器。
具体地,基于样本图像对所述图像分类器进行训练和测试以确定预定阈值。
具体地,上述样本图像包括训练集样本图像和测试集样本图像,训练集样 本图像包括第一训练集样本图像和第二训练集样本图像,上述测试集样本图像 包括第一测试集样本图像和第二测试集样本图像。上述第一训练集样本图像为 标签为清晰的训练集样本图像,第二训练集样本图像为标签为模糊的训练集样 本图像,上述第一测试集样本图像为标签为清晰的测试集样本图像,上述第二 测试集样本图像为标签为模糊的测试集样本图像。例如将100张样本图像分别 分为两组,第一组是50张标签为“模糊”的样本图像。第二组是50张标签为“清 晰”的样本图像。再将50张标签为“模糊”的样本图像中的30张样本图像作为第 一训练集样本图像,将50张标签为“模糊”的样本图像中的20张样本图像作为 第一测试集样本图像,将50张标签为“清晰”的样本图像中的30张样本图像作 为第二训练集样本图像,将50张标签为“清晰”的样本图像中的20张样本图像 作为第二测试集样本图像。
训练图像分类器的方法有很多种,如基于Hhaar特征的AadaBboost方法, SVM(支持向量机,Support Vector Machine)方法等等。具体地,首先,构建训 练集样本图像和测试集样本图像;然后基于训练集样本图像进行遍历寻优,寻 找分类效果最好的训练器或者训练器的组合,将该训练器或训练器的组合作为 本实施例的图像分类器;最后,用测试集样本图像验测试集验证寻找到的图像分类器的分类准确率,达到准确率要求(例如准确率为70%)后即可使用;如 不满足要求,则调整初始模型参数和预定阈值,不断循环重复整个过程直到最 终达到准确率要求,使得该分类器能够确定出预定阈值。
在本实施例中,通过上述调参过程后确定当上述模糊程度S=a/b时,可以 上述预定阈值为0.12;当模糊程度S=log(a/b)时,确定上述预设模糊阈值为 -0.3269。
需要说明的是,本实施例提供的图像检测方法不仅能够用于人脸的逆光模 糊检测,还能用于其他物品的逆光模糊检测。
示例性的,如图8a和图8b所示,分别将图8a和图8b的图像加载到图像 框405中后点击第一控件以触发对图像的检测操作。此时,图8a对应的检测结果为:图像清晰(图像不存在逆光模糊的问题);图8b对应的检测结果为:图 像模糊(图像存在逆光模糊的问题)。
在本实施例中,电子设备通过获取待检测图像后能够自动对获取的待检测 图像进行逆光模糊检测,也可以在用户点击第一控件后进行逆光模糊检测,以 输出对应的检测结果,若检测到图像存在逆光模糊的情况,则提示用户重新获 取图像,例如选择其他图像或者转换为Flash模式再次进行拍摄以获取图像,以此来提高面部肌肤评价的准确度。
示例性的,如图9所示,将图9的待检测图像加载到图像框405中后点击 第一控件以触发对待检测图像的检测操作,此时图9对应的检测结果为:图像 模糊(图像存在逆光模糊的问题)。
在一个实施例中,上述获取待检测图像是指在第一拍摄模式下,获取预览 帧图像。相应的,基于所述光源区域和所述前景区域确定所述待检测图像的模 糊程度包括:
若基于所述光源区域和所述前景区域确定所述预览帧图像为模糊图像,则 将当前的拍摄模式从所述第一拍摄模式切换至第二拍摄模式,其中所述第一拍 摄模式和所述第二拍摄模式为不同的拍摄模式。
在本实施例中,获取的待检测图像是在第一拍摄模式下的预览帧图像,由 于在第一拍摄模式下的预览帧图像为模糊图像,因此若在第一拍摄模式下拍摄 得到的图像必然是模糊的,则需要将当前拍摄模式从第一拍摄模式切换到第二 拍摄模式。
示例性的,上述第一拍摄模式为Torch模式,上述第二拍摄模式为Flash模 式。上述当前拍摄模式从第一拍摄模式切换到第二拍摄模式,具体为:电子设 备100发送控制指令给到电子设备的闪光灯模块,将闪光灯由常亮模式切换到 拍摄时闪烁一次的模式。
本申请实施例提供的图像检测方法,能够基于人工智能终端有效地检测出 在逆光条件下拍摄图像是否模糊,通过对图像进行光源区域检测和前景区域检 测来确定光源对图像清晰程度的影响,进而有效地检测出在逆光条件下拍摄图 像是否模糊。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后, 各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施 过程构成任何限定。
对应于上文实施例所述的图像检测方法,图10示出了本申请实施例提供的 图像检测装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部 分。
参照图10,该图像检测装置包括:
图像获取模块11用于获取待检测图像;
第一确定模块12用于确定所述待检测图像的光源区域以及所述待检测图 像的前景区域;
第二确定模块13用于基于所述光源区域和所述前景区域确定所述图像的 模糊程度。
可选地,上述第一确定模块12包括:
转换单元,用于对所述待检测图像进行颜色空间转换,获取所述颜色空间 转换后的图像的各个像素点的亮度值;
第一确定单元,用于将亮度值大于预设亮度阈值的像素点的区域确定为所 述待检测图像的光源区域。
可选地,上述第一确定模块12包括:
检测单元,用于检测所述待检测图像的前景目标;
第二确定单元,用于确定所述前景目标在所述待检测图像中的位置,将所 述前景目标在所述待检测图像中的位置确定为待检测图像的前景区域。
可选地,上述第二确定模块13包括:
第三确定单元,用于基于所述光源区域内所有像素点的数量和所述前景区 域内所有像素点的数量确定所述待检测图像的模糊程度。
可选地,上述第三确定单元单元包括:
判断单元,用于判断所述光源区域内所有像素点的数量和所述前景区域内 所有像素点的数量的比值的递增函数的函数值是否大于预定阈值;
第四确定单元,用于若所述光源区域内所有像素点的数量和所述前景区域 内所有像素点的数量的比值的递增函数的函数值大于预定阈值,则确定所述待 检测图像为模糊图像。
可选地,上述第三确定单元还用于基于所述光源区域的内所有像素点的数 量和所述前景区域的面积确定所述待检测图像的模糊程度。
可选地,上述图像获取模块11包括:
第一图像获取单元,用于在第一拍摄模式下,获取预览帧图像。
相应的,上述第二确定模块13还用于若基于所述光源区域和所述前景区域 确定所述预览帧图像为模糊图像,则将当前的拍摄模式从所述第一拍摄模式切 换至第二拍摄模式,其中所述第一拍摄模式和所述第二拍摄模式为不同的拍摄 模式。
需要说明的是,上述模块/单元之间的信息交互、执行过程等内容,由于与 本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见 方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上 述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上 述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不 同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬 件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模 块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上 述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程, 在此不再赘述。
因此,本实施例提供的图像检测装置同样能够通过对图像进行光源区域检 测和前景区域检测来确定光源对图像清晰程度的影响,进而确定图像是否存在 逆光模糊的问题,提高对面部肌肤状态的评价结果的准确度。
图11为本申请一实施例提供的电子设备的结构示意图。如图11所示,该 实施例的电子设备11包括:至少一个处理器110(图11中仅示出一个)、存 储器111以及存储在所述存储器111中并可在所述至少一个处理器110上运行 的计算机程序112,所述处理器110执行所述计算机程序112时实现上述任意 各个图像检测方法实施例中的步骤。
所述电子设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等 计算设备。该电子设备可包括,但不仅限于,处理器110、存储器111。本领域技术人员可以理解,图11仅仅是电子设备11的举例,并不构成对电子设备11 的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的 部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器110可以是中央处理单元(Central Processing Unit,CPU),该处 理器110还可以是其他通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编 程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或 者该处理器也可以是任何常规的处理器等。
所述存储器111在一些实施例中可以是所述电子设备11的内部存储单元, 例如电子设备11的硬盘或内存。所述存储器111在另一些实施例中也可以是所 述电子设备11的外部存储设备,例如所述电子设备11上配备的插接式硬盘, 智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪 存卡(Flash Card)等。进一步地,所述存储器111还可以既包括所述电子设备 11的内部存储单元也包括外部存储设备。所述存储器111用于存储操作系统、 应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机 程序的程序代码等。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、 存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程 序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介 质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方 法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端 上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请 实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的 硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机 程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代 码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括: 能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、 计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U 盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践, 计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详 述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示 例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法, 可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示 意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现 时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一 个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或 通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为 单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照 前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其 依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特 征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申 请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种图像检测方法,其特征在于,包括:
获取待检测图像,所述待检测图像为第一拍摄模式下的预览帧图像;
确定所述待检测图像的光源区域以及所述待检测图像的前景区域;
基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度;
若基于所述光源区域和所述前景区域确定所述待检测图像为模糊图像,则将当前的拍摄模式从所述第一拍摄模式切换至第二拍摄模式,其中所述第一拍摄模式包括闪光灯常亮的Torch模式,所述第一拍摄模式和所述第二拍摄模式为不同的拍摄模式。
2.如权利要求1所述的图像检测方法,其特征在于,所述确定所述待检测图像的光源区域,包括:
对所述待检测图像进行颜色空间转换,获取所述颜色空间转换后的图像的各个像素点的亮度值;
将亮度值大于预设亮度阈值的像素点的区域确定为所述待检测图像的光源区域。
3.如权利要求1所述的图像检测方法,其特征在于,所述确定待检测图像的前景区域,包括:
检测所述待检测图像的前景目标;
确定所述前景目标在所述待检测图像中的位置,将所述前景目标在所述待检测图像中的位置确定为待检测图像的前景区域。
4.如权利要求1所述的图像检测方法,其特征在于,所述基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度,包括:
基于所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量确定所述待检测图像的模糊程度。
5.如权利要求4所述的图像检测方法,其特征在于,所述基于所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量确定所述待检测图像的模糊程度,包括:
判断所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量的比值的递增函数的函数值是否大于预定阈值;
若所述光源区域内所有像素点的数量和所述前景区域内所有像素点的数量的比值的递增函数的函数值大于预定阈值,则确定所述待检测图像为模糊图像。
6.如权利要求1所述的图像检测方法,其特征在于,所述基于所述光源区域和所述前景区域确定所述待检测图像的模糊程度,包括:
基于所述光源区域的内所有像素点的数量和所述前景区域的面积确定所述待检测图像的模糊程度。
7.一种图像检测装置,其特征在于,包括:
图像获取模块,用于获取待检测图像,所述待检测图像为第一拍摄模式下的预览帧图像;
第一确定模块,用于确定所述待检测图像的光源区域以及所述待检测图像的前景区域;
第二确定模块,用于基于所述光源区域和所述前景区域确定所述图像的模糊程度;若基于所述光源区域和所述前景区域确定所述待检测图像为模糊图像,则将当前的拍摄模式从所述第一拍摄模式切换至第二拍摄模式,其中所述第一拍摄模式包括闪光灯常亮的Torch模式,所述第一拍摄模式和所述第二拍摄模式为不同的拍摄模式。
8.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的图像检测方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像检测方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911159693.8A CN112950525B (zh) | 2019-11-22 | 2019-11-22 | 图像检测方法、装置及电子设备 |
EP20890350.0A EP4047549A4 (en) | 2019-11-22 | 2020-11-13 | METHOD AND DEVICE FOR IMAGE DETECTION AND ELECTRONIC DEVICE |
US17/778,469 US20230245441A9 (en) | 2019-11-22 | 2020-11-13 | Image detection method and apparatus, and electronic device |
PCT/CN2020/128786 WO2021098609A1 (zh) | 2019-11-22 | 2020-11-13 | 图像检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911159693.8A CN112950525B (zh) | 2019-11-22 | 2019-11-22 | 图像检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112950525A CN112950525A (zh) | 2021-06-11 |
CN112950525B true CN112950525B (zh) | 2024-09-17 |
Family
ID=75980830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911159693.8A Active CN112950525B (zh) | 2019-11-22 | 2019-11-22 | 图像检测方法、装置及电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230245441A9 (zh) |
EP (1) | EP4047549A4 (zh) |
CN (1) | CN112950525B (zh) |
WO (1) | WO2021098609A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950525B (zh) * | 2019-11-22 | 2024-09-17 | 华为技术有限公司 | 图像检测方法、装置及电子设备 |
KR102187123B1 (ko) * | 2020-02-12 | 2020-12-04 | 주식회사 카카오뱅크 | 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법 |
CN113298801A (zh) * | 2021-06-15 | 2021-08-24 | 浙江大豪明德智控设备有限公司 | 缝头一体机的检测方法、装置及系统 |
CN115880300B (zh) * | 2023-03-03 | 2023-05-09 | 北京网智易通科技有限公司 | 图像模糊检测方法、装置、电子设备和存储介质 |
CN117726788A (zh) * | 2023-05-16 | 2024-03-19 | 荣耀终端有限公司 | 一种图像区域定位方法和电子设备 |
CN116818798A (zh) * | 2023-05-31 | 2023-09-29 | 成都瑞波科材料科技有限公司 | 用于涂布工艺的彩虹纹检测装置、方法及涂布工艺设备 |
CN118038310B (zh) * | 2024-01-12 | 2024-10-11 | 广东机电职业技术学院 | 一种视频背景消除方法、系统、设备及存储介质 |
CN118321184B (zh) * | 2024-05-28 | 2024-10-22 | 深圳市希购科技有限公司 | 基于条形码识别的物流快递自动化分拣方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106973236A (zh) * | 2017-05-24 | 2017-07-21 | 上海与德科技有限公司 | 一种拍摄控制方法及装置 |
CN108734676A (zh) * | 2018-05-21 | 2018-11-02 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5381565B2 (ja) * | 2009-09-29 | 2014-01-08 | 三菱電機株式会社 | 画像処理装置、画像処理用プログラムおよび画像処理方法 |
CN103177422A (zh) * | 2011-12-20 | 2013-06-26 | 富士通株式会社 | 背光补偿方法和系统 |
CN103646392B (zh) * | 2013-11-21 | 2016-10-26 | 华为技术有限公司 | 逆光检测方法及设备 |
JP6529355B2 (ja) * | 2015-06-18 | 2019-06-12 | キヤノン株式会社 | 撮像制御装置、その制御方法およびプログラム |
US9516237B1 (en) * | 2015-09-01 | 2016-12-06 | Amazon Technologies, Inc. | Focus-based shuttering |
CN107451969B (zh) * | 2017-07-27 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN107958231B (zh) * | 2017-12-25 | 2022-01-11 | 深圳云天励飞技术有限公司 | 光场图像过滤方法、人脸分析方法及电子设备 |
CN108764040B (zh) * | 2018-04-24 | 2021-11-23 | Oppo广东移动通信有限公司 | 一种图像检测方法、终端及计算机存储介质 |
CN110111281A (zh) * | 2019-05-08 | 2019-08-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112950525B (zh) * | 2019-11-22 | 2024-09-17 | 华为技术有限公司 | 图像检测方法、装置及电子设备 |
-
2019
- 2019-11-22 CN CN201911159693.8A patent/CN112950525B/zh active Active
-
2020
- 2020-11-13 EP EP20890350.0A patent/EP4047549A4/en active Pending
- 2020-11-13 US US17/778,469 patent/US20230245441A9/en active Pending
- 2020-11-13 WO PCT/CN2020/128786 patent/WO2021098609A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106973236A (zh) * | 2017-05-24 | 2017-07-21 | 上海与德科技有限公司 | 一种拍摄控制方法及装置 |
CN108734676A (zh) * | 2018-05-21 | 2018-11-02 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP4047549A1 (en) | 2022-08-24 |
EP4047549A4 (en) | 2022-12-28 |
US20230245441A9 (en) | 2023-08-03 |
US20230005254A1 (en) | 2023-01-05 |
WO2021098609A1 (zh) | 2021-05-27 |
CN112950525A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112950525B (zh) | 图像检测方法、装置及电子设备 | |
CN108594997B (zh) | 手势骨架构建方法、装置、设备及存储介质 | |
US10510136B2 (en) | Image blurring method, electronic device and computer device | |
CN111654635A (zh) | 拍摄参数调节方法、装置及电子设备 | |
CN107613202B (zh) | 一种拍摄方法及移动终端 | |
CN113132704B (zh) | 一种图像处理的方法、装置、终端以及存储介质 | |
WO2019105457A1 (zh) | 图像处理方法、计算机设备和计算机可读存储介质 | |
WO2020048392A1 (zh) | 应用程序的病毒检测方法、装置、计算机设备及存储介质 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN111857793B (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
CN113157357B (zh) | 一种页面显示的方法、装置、终端以及存储介质 | |
CN109495616B (zh) | 一种拍照方法及终端设备 | |
CN110991491A (zh) | 图像标注方法、装置、设备及存储介质 | |
CN110084204A (zh) | 基于目标对象姿态的图像处理方法、装置和电子设备 | |
CN113129222A (zh) | 颜色阴影校正方法、终端设备及计算机可读存储介质 | |
CN110290426B (zh) | 展示资源的方法、装置、设备及存储介质 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
US11113797B1 (en) | Passive flash imaging | |
CN110097570A (zh) | 一种图像处理方法和装置 | |
CN110728167A (zh) | 文本检测方法、装置及计算机可读存储介质 | |
CN112184581A (zh) | 图像处理方法、装置、计算机设备及介质 | |
CN110163835B (zh) | 检测截图的方法、装置、设备及计算机可读存储介质 | |
CN111611414A (zh) | 车辆检索方法、装置及存储介质 | |
CN113518171B (zh) | 图像处理方法、装置、终端设备和介质 | |
CN112560612B (zh) | 确定业务算法的系统、方法、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |