[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110580428A - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN110580428A
CN110580428A CN201810590043.8A CN201810590043A CN110580428A CN 110580428 A CN110580428 A CN 110580428A CN 201810590043 A CN201810590043 A CN 201810590043A CN 110580428 A CN110580428 A CN 110580428A
Authority
CN
China
Prior art keywords
image
foreground
target
processed
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810590043.8A
Other languages
English (en)
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810590043.8A priority Critical patent/CN110580428A/zh
Priority to PCT/CN2019/077207 priority patent/WO2019233147A1/en
Priority to US16/296,807 priority patent/US10896323B2/en
Priority to EP19175921.6A priority patent/EP3579145A1/en
Publication of CN110580428A publication Critical patent/CN110580428A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备，所述方法包括：获取待处理图像；检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。图像处理方法、装置、计算机可读存储介质和电子设备，可以对图像进行更准确地分类。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
智能设备可以通过摄像头拍摄图像，也可以通过与其他智能设备的传输来获取图像。图像拍摄的场景可以有很多，例如海滩、雪景、夜景等。拍摄图像中还可能存在很多目标物体，例如汽车、人、动物等。通常情况下，不同场景下拍摄的图像有不同的颜色特征，不同的目标物体的表现特征也不同。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以对图像进行更准确地分类。
一种图像处理方法，所述方法包括：
获取待处理图像；
检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像；
前景识别模块，用于检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
背景识别模块，用于检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
标签生成模块，用于根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取待处理图像；
检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：
获取待处理图像；
检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
上述图像处理方法、装置、计算机可读存储介质和电子设备，可以分别对待处理图像中的前景和背景进行检测和识别，然后根据对前景和背景的识别结果对待处理图像进行分类，得到待处理图像的分类标签。这样在对图像进行分类的时候，可以同时融入对前景的识别结果和背景的识别结果，对图像的分类更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中待处理图像的识别结果的展示示意图；
图4为另一个实施例中图像处理方法的流程图；
图5为一个实施例中对识别图像前景和背景的模型示意图；
图6为另一个实施例中识别图像前景和背景的模型示意图；
图7为一个实施例中生成图像分类标签的示意图；
图8为又一个实施例中图像处理方法的流程图；
图9为又一个实施例中图像处理方法的流程图；
图10为一个实施例中图像处理装置的结构示意图；
图11为另一个实施例中图像处理装置的结构示意图；
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境图。如图1所示，该应用环境中包括终端102和服务器104。终端102和服务器104之间可以传输待处理图像，并对待处理图像进行分类处理。在一个实施例中，终端102可以存储若干张待处理图像，然后将待处理图像发送给服务器104。服务器104中存储了对图像进行分类的分类算法，则可以对接收到的待处理图像进行检测，得到待处理图像的前景目标，并对前景目标进行识别，得到前景分类结果。还可以检测待处理图像中的背景区域，并对背景区域进行识别，得到背景分类结果。最后根据前景分类结果和背景分类结果，得到待处理图像对应的分类标签，并将得到的分类标签发送给终端102。终端102可以根据得到的分类标签对待处理图像进行分类处理。其中，终端102是处于计算机网络最外围，主要用于输入用户信息以及输出处理结果的电子设备，例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器104是用于响应服务请求，同时提供计算服务的设备，例如可以是一台或者多台计算机。在本申请提供的其他实施例中，上述应用环境中还可以只包括终端102或服务器104，在此不做限定。
图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：
步骤202，获取待处理图像。
在一个实施例中，待处理图像可以是通过电子设备的摄像头获取的，也可以是从其他电子设备上获取的，还可以是通过网络下载的，在此不做限定。例如，电子设备上可以安装摄像头，电子设备在检测到拍摄指令时，通过拍摄指令控制摄像头来采集待处理图像。电子设备在获取到图像之后，可以立即对图像进行处理，也可以将图像统一存放在一个文件夹中，在该文件夹中存储的图像到达一定数量之后，再将存储的图像统一进行处理。电子设备可以将获取的图像存储到相册中，当相册中存储的图像大于一定数量时，就触发对相册中的图像进行处理。
步骤204，检测待处理图像中的前景目标，并对前景目标进行识别，得到前景分类结果。
具体地，拍摄图像的场景中一般都包含了多个物体。例如，拍摄室外场景的时候，图像中一般会包含行人、蓝天、沙滩、建筑物等，拍摄室内场景的时候，图像中一般会包含家具家电、办公用品等物体。前景目标是指图像中比较突出的主体目标，是用户比较关注的物体，背景区域是指图像中除前景目标之外的区域。
待处理图像是由若干个像素点构成的二维像素矩阵，电子设备可以对待处理图像中的前景目标进行检测。检测到前景目标中包含待处理图像中的部分或全部像素点，然后将前景目标在待处理图像中的具体位置进行标记。具体的，电子设备在检测到前景目标之后，可以通过矩形框将前景目标在待处理图像中进行标注，这样用户就可以直接从待处理图像中看到检测到的前景目标的具体位置。
电子设备在检测到前景目标之后，会对前景目标进行识别，然后对前景目标进行分类。一般地，电子设备会预先设置前景目标的分类类型，然后通过预设的分类算法识别检测到的前景目标具体属于预设的哪一个分类类型。例如，电子设备可以将前景目标分为人、小狗、小猫、美食、其他等类型，然后就可以识别检测到的前景目标具体属于上述类型的哪一类。前景目标可以为一个或者多个，在此不做限定。本申请中可以但不限于是通过RCNN(Regions with CNN Features)、SSD(Single Shot MultiBox Detector)、YOLO(You OnlyLook Once)等算法检测和识别前景目标的。
步骤206，检测待处理图像中的背景区域，并对背景区域进行识别，得到背景分类结果。
电子设备还可以对待处理图像中的背景区域进行检测，检测到背景区域之后识别背景区域具体属于哪一个场景分类。电子设备可以预先设置背景区域的场景分类，然后通过预设的分类算法识别背景区域具体属于哪一个预设的场景分类。例如，可以将背景区域分为海滩、雪景、夜景、蓝天、室内等场景，在对背景区域进行识别后，可以得到背景区域对应的场景分类。
可以理解的是，电子设备对待处理图像识别前景目标和背景区域的过程可以是独立进行的，也可以是并行处理的。独立进行识别时，具体识别的顺序不进行限定，可以先对待处理图像进行前景目标的识别，也可以是先对待处理图像进行背景区域的识别。
图3为一个实施例中待处理图像的识别结果的展示示意图。如图3所示，对该待处理图像进行前景和背景识别之后，可以得到前景目标的前景分类结果以及背景区域的背景分类结果。对图3中的待处理图像进行识别之后，可以检测到待处理图像中包含背景区域302，以及前景目标304和前景目标306。检测得到的背景区域302的场景分类为风景类型，前景目标304的目标分类为人，前景目标306的目标分类为小狗。具体地，识别得到的前景目标304和前景目标306，可以通过矩形框在待处理图像中进行标注。
步骤208，根据前景分类结果和背景分类结果，得到待处理图像对应的分类标签。
在本申请提供的实施例中，识别待处理图像的前景分类和背景分类之后，可以对待处理图像进行标记。分类标签可用于对待处理图像的类型进行标记，电子设备可以根据分类标签对待处理图像进行分类，然后将待处理图像进行分类处理，还可以通过分类标签对待处理图像进行查找。例如，电子设备可以将对应同一分类标签的图像存放在一个相册中，这样用户可以分类查找对应的图像。
根据前景分类结果和背景分类结果，可以得到待处理图像对应的一级或多级分类标签。例如，可以根据前景分类结果得到待处理图像的第一级分类标签，根据背景分类结果得到待处理图像的第二级分类标签。得到分类标签之后，可以对待处理图像进行分类处理。检测到前景目标为人时，可以对人像区域进行美颜处理；检测到背景区域为风景时，可以提高背景区域的饱和度和对比度等。具体地，可以根据前景分类结果和背景分类结果中的一种对所述待处理图像进行第一级分类，并根据另一种对待处理图像进行第二级分类。
上述实施例提供的图像处理方法，可以分别对待处理图像中的前景和背景进行检测和识别，然后根据对前景和背景的识别结果对待处理图像进行分类，得到待处理图像的分类标签。这样在对图像进行分类的时候，可以同时融入对前景的识别结果和背景的识别结果，对图像的分类更加准确。
图4为另一个实施例中图像处理方法的流程图。如图4所示，该图像处理方法包括步骤402至步骤414。其中：
步骤402，获取待处理图像。
待处理图像可以是实时采集的，也可以是从预先存储在电子设备中的图像中获取的，获取待处理图像可以是一张或多张。若获取的是包含多张待处理图像的图像集合时，可以遍历图像集合中的待处理图像，并对待处理图像进行前景和背景的识别。
一般待处理图像的数量越多，对图像处理时消耗的内存就越大，耗时也比较长。电子设备在对图像进行处理的时候，可以是自动触发的，也可以是用户手动触发的。可以预设一个自动触发的条件，当满足自动触发条件时，执行步骤402。例如，当电子设备中更新的图像的数量达到预设数量时，开始获取存储的图像，并开始对图像进行处理。或者每次在到达指定时刻时，开始获取待处理图像，并对待处理图像进行处理。
步骤404，检测待处理图像中的前景目标，并获取从待处理图像中检测到的各个前景目标的目标清晰度。
在本申请提供的实施例中，在对待处理图像进行目标检测的时候，可能从待处理图像中检测到多个前景目标。在检测到两个或两个以上的前景目标时，可以分别对每一个前景目标进行识别，得到每一个前景目标的分类，也可以选取其中的一个或多个目标进行识别，得到目标分类结果。例如，检测到待处理图像中包含两个或两个以上的前景目标时，可以从其中随机选取一个前景目标进行识别。或者选取所占面积最大的前景目标进行识别，还可以根据清晰度来选取前景目标进行识别。
电子设备检测到待处理图像中的前景目标之后，可以计算各个前景目标对应的目标清晰度。目标清晰度可以反应前景目标的边缘细节等纹理的清晰程度，在一定程度上可以反映各个前景物体的重要性，因此可以根据目标清晰度来获取进行识别的前景目标。例如，用户在拍摄的时候，会将焦点聚焦在比较关注的物体上，并将其他物体进行模糊化处理。在对前景目标进行识别的时候，可以只对清晰度较高的前景目标进行识别，清晰度较低的前景目标不做识别处理。
前景目标中是可以包括若干个像素点的，则可以通过各个像素点的灰度差来计算得到前景目标的清晰度。一般清晰度越高，像素点之间的灰度差越大；清晰度越低，像素点之间的灰度差越小。在一个实施例中，具体可以是根据Brenner梯度法、Tenegrad梯度法、Laplace梯度法、方差法、能量梯度法等算法计算的目标清晰度，但不限于此。
步骤406，对目标清晰度大于第一清晰度阈值的前景目标进行识别，得到前景分类结果。
待处理图像为一个二维的像素矩阵，那么电子设备可以根据待处理图像来建立一个二维坐标系，通过二维坐标可以表示像素点在待处理图像中的具体位置。例如，可以以待处理图像最左下角的像素点为坐标原点建立坐标系，每向上移动一个像素点，对应的纵轴坐标值加一。每向右移动一个像素点，对应的横轴坐标值加一。电子设备在检测到待处理图像中的前景目标时，可以通过一个矩形框来对前景目标所占的区域进行标记，通过矩形框的四个顶点对应的坐标可以对前景目标的位置进行定位。
电子设备在检测到前景目标之后，可以对每一个前景目标赋予一个前景标识，用于区分不同的前景目标。然后建立前景标识和前景坐标的对应关系，通过前景标识可以对各个前景目标进行标记，通过前景坐标定位到各个前景目标在待处理图像中的位置。电子设备可以通过前景坐标提取前景目标，并对提取的前景目标进行识别。
当前景目标的目标清晰度大于第一清晰度阈值时，认为该前景目标的清晰度比较高，可以看做是用户比较关注的目标物体。前景目标的目标清晰度较高时，相应的识别准确性也比较高，得到的目标分类结果更可靠。具体的，第一清晰度阈值可以是预先设定的固定不变的值，也可以是动态变化的值，在此不做限定。例如，可以是预先存储在电子设备中的一个固定的值，也可以是用户输入的，根据需要进行动态调节的值，还可以是根据获取的各个目标清晰度进行计算的值。
步骤408，检测待处理图像中的背景区域，并获取背景区域的背景清晰度。
在一个实施例中，待处理图像中分为背景区域和前景目标所在的区域，电子设备可以分别检测待处理图像中的前景目标和背景区域，也可以先检测前景目标，然后将待处理图像中的除前景目标之外的区域作为背景区域，还可以先检测背景区域，然后将除背景区域之外的区域作为前景目标。在对背景区域进行识别之前，还可以获取背景区域的背景清晰度。
步骤410，若背景清晰度大于第二清晰度阈值，则对背景区域进行识别，得到背景分类结果。
背景区域的清晰度也会影响识别的精确度，清晰度越高，识别结果越准确。当背景清晰度大于第二清晰度阈值时，认为背景区域比较清晰，这时对背景区域的识别结果会比较准确。当背景清晰度小于第二清晰度阈值时，认为背景区域比较模糊，这时对背景区域的识别结果准确性不高。例如，用户在拍摄图像时，会对图像背景进行虚化处理，虚化处理的程度越高，图像越模糊，对图像的识别结果越不准确。具体的，第二清晰度阈值与第一清晰度阈值可以相同，也可以不同，在此不做限定。
具体地，可以通过分类模型识别背景区域，通过检测模型来识别前景目标。电子设备在通过分类模型和检测模型识别背景区域和前景目标之前，会对分类模型和检测模型进行训练，并分别输出一个对应的损失函数。损失函数为可评估分类结果的置信度的函数，识别背景区域和前景目标的时候，可通过损失函数分别输出每一个预设类别对应的置信度。置信度越高的类别，表示图像为该类别的概率越大，这样就通过置信度来判断图像对应的背景类型和前景。
例如，预先将图像的背景定义为海滩、夜景、烟火、室内等类型，电子设备可以预先将分类模型进行训练，训练后的分类模型可以输出一个损失函数。将待处理图像输入到训练好的分类模型中，就可以通过分类模型检测到背景区域，并识别背景区域的类型。具体地，通过损失函数可以计算每一个预设背景类型对应的置信度，通过置信度来确定背景区域对应的背景分类结果。比如计算得到的海滩、夜景、烟火、室内等四个类型对应的置信度分别为0.01、0.06、0.89、0.04，则可确定待处理图像的背景区域为置信度最高的背景类型。
图5为一个实施例中对识别图像前景和背景的模型示意图。如图5所示，电子设备可对分类模型进行训练，在训练模型之前会将图像打上类别标签，并通过图像及对应的类别标签对分类模型进行训练。分类模型训练好之后，可以得到一个第一损失函数。在识别过程中，可通过分类模型检测图像中的背景区域，并通过得到的第一损失函数计算每个预设背景类型对应的第一置信度。根据得到的第一置信度可以确定背景区域对应的背景分类结果。电子设备可对检测模型进行训练，在训练模型之前会将图像中包含的前景目标用矩形框进行标记，并标记每个前景目标对应的类别。通过图像对检测模型进行训练。检测模型训练好之后，可以得到一个第二损失函数。在识别过程中，可通过检测模型检测图像中的前景目标，并输出各个前景目标的位置。通过第二损失函数可计算每个预设前景类型对应的第二置信度。根据得到的第二置信度可以确定前景目标对应的前景分类结果。可以理解的是，上述分类模型和检测模型可以是两个独立的算法模型，分类模型可以是Mobilenet算法模型，检测模型可以是SSD算法模型，在此不做限定。分类模型和检测模型可以是串行的，也可以是并行的。
图6为另一个实施例中识别图像前景和背景的模型示意图。如图6所示，该识别模型是一个神经网络模型，该神经网络的输入层接收带有图像类别标签的训练图像，通过基础网络(如CNN网络)进行特征提取，并将提取的图像特征输出给特征层，由该特征层对背景训练目标进行类别检测得到第一损失函数，对前景训练目标根据图像特征进行类别检测得到第二损失函数，对前景训练目标根据前景区域进行位置检测得到位置损失函数，将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。该神经网络可为卷积神经网络。卷积神经网络包括数据输入层、卷积计算层、激活层、池化层和全连接层。数据输入层用于对原始图像数据进行预处理。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0，目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。卷积计算层用于局部关联和窗口滑动。卷积计算层中每个滤波器连接数据窗的权重是固定的，每个滤波器关注一个图像特征，如垂直边缘、水平边缘、颜色、纹理等，将这些滤波器合在一起得到整张图像的特征提取器集合。一个滤波器是一个权重矩阵。通过一个权重矩阵可与不同窗口内数据做卷积。激活层用于将卷积层输出结果做非线性映射。激活层采用的激活函数可为ReLU(The Rectified Linear Unit，修正线性单元)。池化层可夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。池化层可采用最大值法或平均值法对数据降维。全连接层位于卷积神经网络的尾部，两层之间所有神经元都有权重连接。卷积神经网络的一部分卷积层级联到第一置信度输出节点，一部分卷积层级联到第二置信度输出节点，一部分卷积层级联到位置输出节点，根据第一置信度输出节点可以检测到图像的背景类型，根据第二置信度输出节点可以检测到图像的前景目标的类别，根据位置输出节点可以检测到前景目标所对应的位置。
具体地，上述分类模型和检测模型可以预先存储在电子设备中，在获取到待处理图像时，通过上述分类模型和检测模型对待处理图像进行识别处理。可以理解的是，分类模型和检测模型一般会占用电子设备的存储空间，而且在对大量图像进行处理的时候，对电子设备的存储能力要求也比较高。在对终端上的待处理图像进行处理时，可通过终端本地存储的分类模型和检测模型进行处理，也可以将待处理图像发送到服务器，通过服务器上存储的分类模型和检测模型进行处理。
由于终端的存储能力一般比较有限，所以服务器可以将分类模型和检测模型训练好之后，将训练好的分类模型和检测模型发送给终端，终端就无需再对上述模型进行训练。同时终端存储的分类模型和检测模型可以是经过压缩之后的模型，这样压缩之后的模型占用的资源就会比较小，但是相应的识别准确率就比较低。终端可以根据需要处理的待处理图像的数量决定在终端本地进行识别处理，还是在服务器上进行识别处理。终端在获取到待处理图像之后，统计待处理图像的图像数量，若图像数量超过预设上传数量，则将待处理图像上传至服务器，并在服务器上进行待处理图像的识别处理。服务器处理后，将识别结果发送给终端。
步骤412，根据前景分类结果生成待处理图像对应的目标分类标签，并根据背景分类结果生成待处理图像对应的图像分类标签。
对待处理图像中的前景目标进行识别，可以识别各个前景目标的类型。前景目标可以包括一个或多个，每一个前景目标都有对应的前景类型。根据前景分类结果生成待处理图像对应的目标分类标签，通过目标分类标签可确定待处理图像中包含的前景目标的类型。具体的，可以根据待处理图像对应的每一种前景类型分别生成一个目标分类标签，也可以根据待处理图像中的部分前景类型分别生成目标分类标签，这样生成的目标分类标签就可以为多个。
举例来说，待处理图像中可包含三个前景目标，对应的前景类型分别为“人”、“狗”、“猫”。根据前景分类结果生成的目标分类标签，可以是根据所有的前景类型生成的目标分类标签，也可以是根据部分前景类型生成的目标分类标签。比如，根据所有前景类型生成目标分类标签，生成的目标分类标签就可以为“目标1-人”、“目标2-狗”、“目标3-猫”等三级标签。根据部分前景类型生成目标分类标签，就可以从上述三个前景类型中选取两个前景类型“人”、“狗”，生成目标分类标签分别为“目标1-人”、“目标2-狗”。
在得到前景分类结果之后，可以确定待处理图像中包含的各个前景目标对应的前景类型。当待处理图像对应的前景类型的数量小于预设数量时，电子设备可以根据每一种前景类型生成一个对应的目标分类标签。当待处理图像对应的前景类型的数量大于预设数量时，则电子设备可统计每一前景类型对应的前景目标的目标数量，根据该目标数量从前景类型中获取目标前景类型，并根据目标前景类型生成对应的目标分类标签。例如，可根据目标数量将前景类型进行排序，再从排序后的前景类型中获取指定位数的前景类型，作为目标前景类型。
举例说明，待处理图像中包含目标A、目标B、目标C、目标D、目标E和目标F，对应的前景类型分别为“人”、“狗”、“人”、“人”、“猫”和“狗”。则该待处理图像对应的前景类型就包括“人”、“狗”和“猫”，前景类型“人”、“狗”和“猫”对应的前景目标的目标数量分别为3、2、1。那么可以根据目标数量排序前两位的前景类型“人”和“狗”作为目标前景类型，然后根据目标前景类型“人”和“狗”生成目标分类标签。
在本申请提供的实施例中，将待处理图像中的背景区域进行识别之后，得到背景分类结果。对背景区域进行识别一般只能得到一个背景类型，然后根据背景类型可以生成图像分类标签。通过图像分类标签可以标记图像的拍摄场景的类别。图7为一个实施例中生成图像分类标签的示意图。如图7所示，对图像背景区域进行识别，可以得到图像分类标签，包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。对图像的前景目标进行识别，可得到目标分类标签，包括人像、婴儿、猫、狗、美食等。
步骤414，根据目标分类标签和图像分类标签对待处理图像进行分类，并根据分类结果对待处理图像进行分类处理。
生成的目标分类标签和图像分类标签之后，可以根据目标分类标签和图像分类标签对待处理图像进行标记，这样用户可以根据生成的分类标签对图像进行查找。例如，可将待处理图像进行分类展示，方便用户对待处理图像进行查看。还可以在展示界面展示搜索框，用户可通过搜索框输入查找关键字，电子设备可以搜索分类标签中包含查找关键字的待处理图像进行展示。
具体地，还可以对待处理图像进行分类，并根据分类结果对待处理图像进行分类处理。在根据待处理图像进行分类的时候，可以根据图像分类标签和目标分类标签中的一种标签对待处理图像进行第一级分类，并另一种标签对待处理图像进行第二级标签。
在一个实施例中，对前景目标进行识别的方法具体还可以包括：
步骤802，获取目标清晰度大于第一清晰度阈值的前景目标所对应的深度数据，深度数据用于表示前景目标到图像采集装置之间的距离。
在检测到待处理图像中的前景目标之后，可以获取前景目标的目标清晰度，根据目标清晰度来获取进行识别的前景目标。根据目标清晰度确定的前景目标可以能有一个或多个，则用于进行识别的前景目标也可以为一个或多个。在一个实施例中，若目标清晰度大于第一清晰度阈值的前景目标存在两个或两个以上，则可以最终确定一个前景目标用于进行识别。具体的，可以获取目标清晰度大于第一清晰度阈值的前景目标所对应的深度数据，根据深度数据来确定用于进行识别的前景目标。
深度数据用于表示前景目标到图像采集装置之间的距离，在前景目标都比较清晰的情况下，可以认为前景目标离图像采集装置越近，越被用户关注。深度数据可以但不限于是通过结构光、双摄像头测距等方式进行获取。一般地，电子设备在获取深度数据的时候，可以得到待处理图像中每一个像素点对应的深度数据，也就是前景目标中包含的所有像素点都有对应的深度数据。前景目标对应的深度数据，可以是前景目标中任意一个像素点对应的深度数据，也可以是前景目标中包含的所有像素点对应的深度数据的平均值，在此不做限定。
步骤804，对深度数据最小的前景目标进行识别，得到前景分类结果。
当目标清晰度大于第一清晰度阈值的前景目标存在两个或两个以上时，可确定其中一个前景目标进行识别处理。在一个实施例中，可认为深度数据最小的前景目标为用户最关注的前景目标，对该深度数据最小的前景目标进行识别，得到前景分类结果。
在本申请提供的其他实施例中，生成图像分类标签的方法具体可以包括：
步骤902，获取前景目标的目标面积。
检测到的前景目标是由待处理图像中的部分或全部像素点构成的，在检测到前景目标之后，可以统计前景目标中包含的像素点的数量。目标面积可以通过前景目标中包含的像素点数量进行表示，也可以用前景目标中包含的像素点数量与待处理图像中包含的像素点数量的比例进行表示。一般的，前景目标中包含的像素点数量越多，对应的目标面积越大。
步骤904，若目标面积小于或等于面积阈值，则根据背景分类结果生成待处理图像对应的图像分类标签。
步骤906，若目标面积大于面积阈值，则根据前景分类结果生成待处理图像对应的图像分类标签。
在一个实施例中，如果前景目标占了待处理图像中较大的面积，那么背景区域的面积就会相对较小，这样对背景区域的识别结果是不太准确的。电子设备可计算前景目标的目标面积，当目标面积小于或等于面积阈值时，认为电子设备中的较大面积都是背景，就可以根据背景分类结果生成待处理图像的图像分类标签。当目标面积大于面积阈值时，认为电子设备中大部分面积是前景目标，就可以根据前景分类结果来生成图像分类标签。
具体地，根据前景分类结果生成图像分类标签时，若根据前景分类结果判断待处理图像中只包含一种前景类型的目标，则可以直接根据该前景类型生成图像分类标签；若根据前景分类结果判断待处理图像中只包含两种或两种以上前景类型的前景目标，则可以计算每一种前景类型对应的前景目标的总面积，根据对应总面积最大的前景类型生成图像分类标签。例如，图像中只包含前景类型为“人”的前景目标，则可以直接根据前景类型“人”生成图像分类标签为“Pic-人”。若图像中包含目标A、目标B和目标C，对应的前景类型分别为“人”、“猫”和“人”，则可以分别计算“人”对应的目标A和目标C在图像中占的总面积S1，“猫”对应的目标“B”在图像中占的总面积S2。若S1>S2,则将根据前景类型“人”生成图像分类标签；若S1<S2,则将根据前景类型“猫”生成图像分类标签。
上述实施例提供的图像处理方法，可以分别对待处理图像中的前景和背景进行检测和识别，然后根据对前景和背景的识别结果对待处理图像进行分类，得到待处理图像的分类标签。这样在对图像进行分类的时候，可以同时融入对前景的识别结果和背景的识别结果，对图像的分类更加准确。
应该理解的是，虽然图2、图4、图8、图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图8、图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括图像获取模块1002、前景识别模块1004、背景识别模块1006和标签生成模块1008。其中：
图像获取模块1002，用于获取待处理图像。
前景识别模块1004，用于检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果。
背景识别模块1006，用于检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果。
标签生成模块1008，用于根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
上述实施例提供的图像处理装置，可以分别对待处理图像中的前景和背景进行检测和识别，然后根据对前景和背景的识别结果对待处理图像进行分类，得到待处理图像的分类标签。这样在对图像进行分类的时候，可以同时融入对前景的识别结果和背景的识别结果，对图像的分类更加准确。
图11为另一个实施例中图像处理装置的结构示意图。如图11所示，该图像处理装置1100包括图像获取模块1102、前景识别模块1104、背景识别模块1106、标签生成模块1108和图像处理模块1110。其中：
图像获取模块1102，用于获取待处理图像。
前景识别模块1104，用于检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果。
背景识别模块1106，用于检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果。
标签生成模块1108，用于根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
图像处理模块1110，用于根据所述目标分类标签和图像分类标签对所述待处理图像进行分类，并根据分类结果对所述待处理图像进行分类处理。
上述实施例提供的图像处理装置，可以分别对待处理图像中的前景和背景进行检测和识别，然后根据对前景和背景的识别结果对待处理图像进行分类，得到待处理图像的分类标签。这样在对图像进行分类的时候，可以同时融入对前景的识别结果和背景的识别结果，对图像的分类更加准确。
在一个实施例中，前景识别模块1104还用于获取从所述待处理图像中检测到的各个前景目标的目标清晰度；对所述目标清晰度大于第一清晰度阈值的前景目标进行识别，得到前景分类结果。
在一个实施例中，前景识别模块1104还用于获取所述目标清晰度大于第一清晰度阈值的前景目标所对应的深度数据，所述深度数据用于表示前景目标到图像采集装置之间的距离；对所述深度数据最小的前景目标进行识别，得到前景分类结果。
在一个实施例中，背景识别模块1106还用于获取所述背景区域的背景清晰度；若所述背景清晰度大于第二清晰度阈值，则对所述背景区域进行识别，得到背景分类结果。
在一个实施例中，标签生成模块1108还用于根据所述前景分类结果生成所述待处理图像对应的目标分类标签，并根据所述背景分类结果生成所述待处理图像对应的图像分类标签。
在一个实施例中，标签生成模块1108还用于获取所述前景目标的目标面积；若所述目标面积小于或等于面积阈值，则根据所述背景分类结果生成所述待处理图像对应的图像分类标签；若所述目标面积大于面积阈值，则根据所述前景分类结果生成所述待处理图像对应的图像分类标签。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图12所示，图像处理电路包括ISP处理器1240和控制逻辑器1250。成像设备1210捕捉的图像数据首先由ISP处理器1240处理，ISP处理器1240对图像数据进行分析以捕捉可用于确定和/或成像设备1210的一个或多个控制参数的图像统计信息。成像设备1210可包括具有一个或多个透镜1212和图像传感器1214的照相机。图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1214可获取用图像传感器1214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1240处理的一组原始图像数据。传感器1220(如陀螺仪)可基于传感器1220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1240。传感器1220接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器1214也可将原始图像数据发送给传感器1220，传感器1220可基于传感器1220接口类型把原始图像数据提供给ISP处理器1240，或者传感器1220将原始图像数据存储到图像存储器1230中。
ISP处理器1240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1240还可从图像存储器1230接收图像数据。例如，传感器1220接口将原始图像数据发送给图像存储器1230，图像存储器1230中的原始图像数据再提供给ISP处理器1240以供处理。图像存储器1230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器1214接口或来自传感器1220接口或来自图像存储器1230的原始图像数据时，ISP处理器1240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1230，以便在被显示之前进行另外的处理。ISP处理器1240从图像存储器1230接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1240处理后的图像数据可输出给显示器1270，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1240的输出还可发送给图像存储器1230，且显示器1270可从图像存储器1230读取图像数据。在一个实施例中，图像存储器1230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1240的输出可发送给编码器/解码器1260，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1270设备上之前解压缩。编码器/解码器1260可由CPU或GPU或协处理器实现。
ISP处理器1240确定的统计数据可发送给控制逻辑器1250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1212阴影校正等图像传感器1214统计信息。控制逻辑器1250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1210的控制参数及ISP处理器1240的控制参数。例如，成像设备1210的控制参数可包括传感器1220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1212阴影校正参数。
以下为运用图12中图像处理技术实现上述实施例提供的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
2.根据权利要求1所述的方法，其特征在于，所述对所述前景目标进行识别，得到前景分类结果，包括：
获取从所述待处理图像中检测到的各个前景目标的目标清晰度；
对所述目标清晰度大于第一清晰度阈值的前景目标进行识别，得到前景分类结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标清晰度大于第一清晰度阈值的前景目标进行识别，得到前景分类结果，包括：
获取所述目标清晰度大于第一清晰度阈值的前景目标所对应的深度数据，所述深度数据用于表示前景目标到图像采集装置之间的距离；
对所述深度数据最小的前景目标进行识别，得到前景分类结果。
4.根据权利要求1所述的方法，其特征在于，所述对所述背景区域进行识别，得到背景分类结果，包括：
获取所述背景区域的背景清晰度；
若所述背景清晰度大于第二清晰度阈值，则对所述背景区域进行识别，得到背景分类结果。
5.根据权利要求1所述的方法，其特征在于，所述根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签，包括：
根据所述前景分类结果生成所述待处理图像对应的目标分类标签，并根据所述背景分类结果生成所述待处理图像对应的图像分类标签。
6.根据权利要求5所述的方法，其特征在于，所述根据所述背景分类结果生成所述待处理图像对应的图像分类标签，包括：
获取所述前景目标的目标面积；
若所述目标面积小于或等于面积阈值，则根据所述背景分类结果生成所述待处理图像对应的图像分类标签；
若所述目标面积大于面积阈值，则根据所述前景分类结果生成所述待处理图像对应的图像分类标签。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签之后，还包括：
根据所述目标分类标签和图像分类标签对所述待处理图像进行分类，并根据分类结果对所述待处理图像进行分类处理。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
前景识别模块，用于检测所述待处理图像中的前景目标，并对所述前景目标进行识别，得到前景分类结果；
背景识别模块，用于检测所述待处理图像中的背景区域，并对所述背景区域进行识别，得到背景分类结果；
标签生成模块，用于根据所述前景分类结果和背景分类结果，得到所述待处理图像对应的分类标签。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。
CN201810590043.8A 2018-06-08 2018-06-08 图像处理方法、装置、计算机可读存储介质和电子设备 Pending CN110580428A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810590043.8A CN110580428A (zh) 2018-06-08 2018-06-08 图像处理方法、装置、计算机可读存储介质和电子设备
PCT/CN2019/077207 WO2019233147A1 (en) 2018-06-08 2019-03-06 Method and device for image processing, computer readable storage medium, and electronic device
US16/296,807 US10896323B2 (en) 2018-06-08 2019-03-08 Method and device for image processing, computer readable storage medium, and electronic device
EP19175921.6A EP3579145A1 (en) 2018-06-08 2019-05-22 Method and device for image processing, computer readable storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810590043.8A CN110580428A (zh) 2018-06-08 2018-06-08 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN110580428A true CN110580428A (zh) 2019-12-17

Family

ID=66630231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810590043.8A Pending CN110580428A (zh) 2018-06-08 2018-06-08 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (4)

Country Link
US (1) US10896323B2 (zh)
EP (1) EP3579145A1 (zh)
CN (1) CN110580428A (zh)
WO (1) WO2019233147A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055247A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112580750A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN113743481A (zh) * 2021-08-20 2021-12-03 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN114638914A (zh) * 2022-03-21 2022-06-17 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备和存储介质
WO2024002394A3 (zh) * 2022-07-01 2024-02-22 顺丰科技有限公司 目标物数量检测方法、装置、电子设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161562A1 (en) * 2018-02-26 2019-08-29 Intel Corporation Object detection with image background subtracted
CN110580428A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
CN110831116A (zh) * 2019-11-05 2020-02-21 珠海格力电器股份有限公司 一种家电配网方法、存储介质及终端
CN111061898A (zh) * 2019-12-13 2020-04-24 Oppo（重庆）智能科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111223129A (zh) * 2020-01-10 2020-06-02 深圳中兴网信科技有限公司 检测方法、检测装置、监控设备和计算机可读存储介质
CN111507196A (zh) * 2020-03-21 2020-08-07 杭州电子科技大学 一种基于机器视觉和深度学习的车辆类型识别方法
CN111582377A (zh) * 2020-05-09 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于模型压缩的边缘端目标检测方法及系统
CN111626342B (zh) * 2020-05-13 2023-07-18 Oppo广东移动通信有限公司 一种图像样本处理方法、装置及存储介质
US11250634B1 (en) * 2020-07-28 2022-02-15 Rovi Guides, Inc. Systems and methods for automated insertion of supplemental content into a virtual environment using a machine learning model
CN112116598B (zh) * 2020-08-04 2024-10-29 北京农业信息技术研究中心 一种花卉种类识别方法及系统
CN112668640B (zh) * 2020-12-28 2023-10-17 泰康保险集团股份有限公司 一种文本图像质量评估方法、装置、设备及介质
CN112819008B (zh) * 2021-01-11 2022-10-28 腾讯科技（深圳）有限公司 实例检测网络的优化方法、装置、介质及电子设备
CN112884797B (zh) * 2021-02-02 2023-12-08 武汉钢铁有限公司 一种图像的背景去除方法、装置及电子设备
CN113989857B (zh) * 2021-12-27 2022-03-18 四川新网银行股份有限公司 一种基于深度学习的人像照片内容解析方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303360A1 (en) * 2009-05-27 2010-12-02 Sharp Kabushiki Kaisha Image processing apparatus, image processing method and recording medium
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法
CN103810504A (zh) * 2014-01-14 2014-05-21 三星电子（中国）研发中心 一种图像处理方法和装置
CN104658030A (zh) * 2015-02-05 2015-05-27 福建天晴数码有限公司 二次图像混合的方法和装置
CN105957053A (zh) * 2016-04-19 2016-09-21 深圳创维－Rgb电子有限公司 二维图像景深生成方法和装置
CN106469162A (zh) * 2015-08-18 2017-03-01 中兴通讯股份有限公司 一种图片排序方法和相应的图片存储显示设备
CN106534693A (zh) * 2016-11-25 2017-03-22 努比亚技术有限公司 一种照片处理方法、装置及终端
CN106550243A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 直播视频处理方法、装置及电子设备
US20170161905A1 (en) * 2015-12-07 2017-06-08 Avigilon Analytics Corporation System and method for background and foreground segmentation
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN107657051A (zh) * 2017-10-16 2018-02-02 广东欧珀移动通信有限公司 一种图片标签的生成方法、终端设备及存储介质
CN107704884A (zh) * 2017-10-16 2018-02-16 广东欧珀移动通信有限公司 图像标签处理方法、图像标签处理装置及电子终端
CN107801012A (zh) * 2017-10-30 2018-03-13 广东欧珀移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN108063926A (zh) * 2017-12-25 2018-05-22 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108090497A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 视频分类方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000034919A1 (en) * 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
CN103201769B (zh) * 2011-08-29 2016-09-07 松下电器（美国）知识产权公司 图像处理装置、图像处理方法、集成电路
CN106611417B (zh) 2015-10-20 2020-03-31 佳能株式会社 将视觉元素分类为前景或背景的方法及装置
CN105574857B (zh) * 2015-12-11 2019-02-15 小米科技有限责任公司 图像分析方法及装置
CN105631868A (zh) * 2015-12-25 2016-06-01 清华大学深圳研究生院 一种基于图像分类的深度信息提取方法
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
CN110580428A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303360A1 (en) * 2009-05-27 2010-12-02 Sharp Kabushiki Kaisha Image processing apparatus, image processing method and recording medium
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法
CN103810504A (zh) * 2014-01-14 2014-05-21 三星电子（中国）研发中心 一种图像处理方法和装置
CN104658030A (zh) * 2015-02-05 2015-05-27 福建天晴数码有限公司 二次图像混合的方法和装置
CN106469162A (zh) * 2015-08-18 2017-03-01 中兴通讯股份有限公司 一种图片排序方法和相应的图片存储显示设备
US20170161905A1 (en) * 2015-12-07 2017-06-08 Avigilon Analytics Corporation System and method for background and foreground segmentation
CN105957053A (zh) * 2016-04-19 2016-09-21 深圳创维－Rgb电子有限公司 二维图像景深生成方法和装置
CN106534693A (zh) * 2016-11-25 2017-03-22 努比亚技术有限公司 一种照片处理方法、装置及终端
CN106550243A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 直播视频处理方法、装置及电子设备
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN107657051A (zh) * 2017-10-16 2018-02-02 广东欧珀移动通信有限公司 一种图片标签的生成方法、终端设备及存储介质
CN107704884A (zh) * 2017-10-16 2018-02-16 广东欧珀移动通信有限公司 图像标签处理方法、图像标签处理装置及电子终端
CN107801012A (zh) * 2017-10-30 2018-03-13 广东欧珀移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN108063926A (zh) * 2017-12-25 2018-05-22 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108090497A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 视频分类方法、装置、存储介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI FEI-FEI 等: "A Bayesian Hierarchical Model for Learning Natural Scene Categories", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
田启川 著: "《虹膜识别原理及算法》", 30 June 2010, 北京：国防工业出版社 *
薛梦霞 等: "基于视觉显著性的场景目标识别", 《控制工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055247A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112055247B (zh) * 2020-09-11 2022-07-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112580750A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN113743481A (zh) * 2021-08-20 2021-12-03 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN113743481B (zh) * 2021-08-20 2024-04-16 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN114638914A (zh) * 2022-03-21 2022-06-17 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备和存储介质
WO2024002394A3 (zh) * 2022-07-01 2024-02-22 顺丰科技有限公司 目标物数量检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US10896323B2 (en) 2021-01-19
EP3579145A1 (en) 2019-12-11
WO2019233147A1 (en) 2019-12-12
US20190377944A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
WO2019233266A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
CN108777815B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108764370B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
US11138478B2 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
US10990825B2 (en) Image processing method, electronic device and computer readable storage medium
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
WO2019233297A1 (zh) 数据集的构建方法、移动终端、可读存储介质
CN108897786B (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN108984657B (zh) 图像推荐方法和装置、终端、可读存储介质
CN108961302B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US9104914B1 (en) Object detection with false positive filtering
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108765033B (zh) 广告信息推送方法和装置、存储介质、电子设备
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108830208A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108959462B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108804658B (zh) 图像处理方法和装置、存储介质、电子设备
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108764371A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217

RJ01 Rejection of invention patent application after publication