[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112839167B - 图像处理方法、装置、电子设备及计算机可读介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN112839167B
CN112839167B CN202011613934.4A CN202011613934A CN112839167B CN 112839167 B CN112839167 B CN 112839167B CN 202011613934 A CN202011613934 A CN 202011613934A CN 112839167 B CN112839167 B CN 112839167B
Authority
CN
China
Prior art keywords
image
sub
user
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011613934.4A
Other languages
English (en)
Other versions
CN112839167A (zh
Inventor
尹康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011613934.4A priority Critical patent/CN112839167B/zh
Publication of CN112839167A publication Critical patent/CN112839167A/zh
Application granted granted Critical
Publication of CN112839167B publication Critical patent/CN112839167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及计算机可读介质，涉及图像技术领域，方法包括：获取待处理图像；基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像；通过预先训练的评价模型确定每个所述子图像的美学分数；基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。本申请的剪裁方式得到的图像更多并且不局限于必须包括目标主体，且由于美学分数能够评价子图像的美感，因此，通过对子图像内每个美学分数查找目标图像的方式，不仅使得所参考的子图像更加丰富，而且，采用评价模型的方式确定目标子图像，相比仅通过几个规则就机械化的评价图像的美感而言，更加合理。

Description

图像处理方法、装置、电子设备及计算机可读介质
技术领域
本申请涉及图像技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及计算机可读介质。
背景技术
目前常用的图片智能裁剪方法分为两大阶段，第一步是检测图片中的主体位置(如主要人物、主要建筑等)，第二步是围绕检测出的主体选取符合摄影规则(如“三分法”)的子区域进行裁剪，以选取出富有美感的图片。但是，人的感知系统相当复杂，不可能用简单的几条预设规则就能够反映用户的美感，因此，该方法选择的图片不够准确。
发明内容
本申请提出了一种图像处理方法、装置、电子设备及计算机可读介质，以改善上述缺陷。
第一方面，本申请实施例提供了一种图像处理方法，包括：获取待处理图像；基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像；通过预先训练的评价模型确定每个所述子图像的美学分数；基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。
第二方面，本申请实施例还提供了一种图像处理装置，包括：获取单元、确定单元、评价单元和处理单元。获取单元，用于获取待处理图像。确定单元，用于基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像。评价单元，用于通过预先训练的评价模型确定每个所述子图像的美学分数。处理单元，用于基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。
第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述方法。
第四方面，本申请实施例还提供了一种计算机可读介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。
本申请提供的图像处理方法、装置、电子设备及计算机可读介质，首先，对图像进行剪裁，即基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像，相比提取图像内的目标主体然后基于该主体的位置进行剪裁，本申请的剪裁方式得到的图像更多并且不局限于必须包括目标主体，然后，再通过预先训练的评价模型确定每个所述子图像的美学分数；基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。由于，美学分数能够评价子图像的美感，因此，通过对子图像内每个美学分数查找目标子图像的方式，不仅使得所参考的子图像更加丰富，而且，采用评价模型的方式确定目标子图像，相比仅通过几个规则就机械化的评价图像的美感而言，更加合理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的应用场景的示意图；
图2示出了本申请一实施例提供的图像处理方法的方法流程图；
图3示出了本申请实施例提供的图像预览界面的示意图；
图4示出了本申请实施例提供的图像切割的示意图；
图5示出了本申请另一实施例提供的图像处理方法的方法流程图；
图6示出了本申请实施例提供的模型训练过程的示意图；
图7示出了本申请实施例提供的候选区域的示意图；
图8示出了本申请实施例提供的候选区域的坐标的示意图；
图9示出了本申请一实施例提供的图像处理装置的模块框图；
图10示出了本申请实施例提供的电子设备的结构框图；
图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着手机等便携移动设备被赋予越来越强大的摄像能力，通过随手拍摄照片记录生活点滴已经成为了普通人的日常习惯。但是，由于缺乏专业的摄影知识和技巧，普通人拍摄的图片往往在色彩、构图等要素上存在缺陷，因此一般需要花费较多的时间在后期处理上才能满足社交分享的需求。在此背景下，图片智能裁剪算法开始受到业界关注，其任务可以被概括为：输入一张原始图片，按照某种度量规则输出其最佳子区域而裁剪掉其它部分。
目前常用的图片智能裁剪方法分为两大阶段，第一步是检测图片中的主体位置(如主要人物、主要建筑等)，第二步是围绕检测出的主体选取符合摄影规则(如“三分法”)的子区域进行裁剪。
具体地，识别图像内的目标主体并将所述目标主体归类，具体地，可以是采用目标检测算法或者目标提取算法获取目标主体。则具体的可以是通过目标提取或者聚类算法提取出图像采集装置采集的图像内的所有轮廓线信息，然后再在预先学习的模型中查找到每个轮廓线对应的物体的类别，其中，该学习模型对用一个匹配数据库，该匹配数据库内存储有多个轮廓线信息和每个轮廓线信息对应的类别，其中，该类别包括人体、动物、山川、河流、湖面、建筑物、道路等。
例如，当目标主体是动物时，可以通过采集目标主体的轮廓以及特征信息，例如，耳朵、犄角、耳朵及四肢。当目标主体是人体时，可以通过对目标主体进行人脸特征提取，其中，人脸特征提取的方法可以包括基于知识的表征算法或者基于代数特征或统计学习的表征方法。另外，但目标主体是湖面或者连绵的山川、草原等宽广的风景的时候，可以判断该目标主体是否存在较长的横线，即存在地平线，如果存在地平线则判定为宽广的风景，其中，地平线的检测可以通过轮廓提取方法采集所有的横线条，然后选择比较集中的多个横线条拟合的横线作为地平线，由此就可以检测到宽广的风景。当然也可以根据颜色来确定目标主体是否为风景，例如，当检测到比较集中的一片区域的绿色或者土黄色时，判定为山川或者沙漠，则判定该目标主体为宽广的风景。同理，河流、建筑物、道路等其他的物体的检测也可以通过上述的检测算法，在此不再赘述。
在从所述图像采集装置采集的图像内确定了目标主体之后，根据目标主体确定构图方式，具体地，可以确定目标主体的类别，再根据目标主体的类别确定构图方式。具体地，预设类别与构图方式的对应关系，该对应关系包括多个类别和每个类别对应的构图方式。
比如对于空间宽阔的风景采用三分式构图法，对于建筑物采用对称式构图法，对于动态物体(人、动物)采用对角线构图法，对于小路和河流采用S型构图法等。另外，还可以包括垂直构图法、X型构图法等多种构图方式，具体地，只要预先确定不同类别的目标主体对应的构图方式，则确定该构图方式对应的构图辅助图案以及该构图辅助图案在所述图像预览界面内的辅助显示位置就能够获取引导用户合理构图。
但是，发明人在研究中发现，上述的方法有两大问题，其一是图片中最具美感的子区域未必包含所谓的主体，其二是摄影规则是摄影师总结出来的客观标准，而所谓“美感”则是一种主观感受，两者之间并没有严格的对应关系。所以，上述方法导致所提取出的所谓的富有美感的图像只是根据预设规则对图像剪裁，导致所提取的图像太过程式化以及机械化，而无法真正满足用户的美感需求。
因此，为了解决上述缺陷，本申请实施例提供给了一种图像处理方法、装置、电子设备及计算机可读介质，基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像，不仅使得所参考的子图像更加丰富，而且，采用评价模型的方式确定目标子图像，相比仅通过几个规则就机械化的评价图像的美感而言，更加合理。
为了便于了解本申请的实施例，先介绍本申请实施例可能使用到的应用场景，如图1所示，图1示出了本申请实施例提供的应用场景，服务器10和用户终端20位于无线网络或有线网络中，服务器10和用户终端20之间能够进行数据交互。
在一些实施例中，用户在用户终端20通过帐号登录，则该帐号对应的所有信息可以存储在服务器10的存储空间内。其中，服务器10可以是单独的服务器，也可以是服务器集群，可以是本地服务器，也可以是云端服务器。
具体地，该用户终端20可以是用户所使用的终端，用户通过该用户终端浏览图像，该用户终端可以作为用户采集图像的设备，则在一些实施例中，该用户终端内设置有图像采集装置。服务器10可以存储用户终端20内的图片，并且在一些实施例中，该服务器10可以用于训练本申请实施例中所涉及到的模型或算法，另外，服务器10也可以将训练好的模型或算法迁移至用户终端，当然，还可以是用户终端20直接训练本申请实施例中所涉及到的模型或算法。具体地，于本申请实施例中，并不限定本申请实施例中的各个方法步骤的执行主体。
请参阅图2，图2示出了本申请实施例提供的图像处理方法，该方法的执行主体可以是上述服务器，也可以是上述用户终端，具体地，该方法包括：S201至S204。
S201：获取待处理图像。
作为一种实施方式，该待处理图像可以是用户终端在相机应用内采集的图像。具体地，用户使用用户终端内的相机应用采集图像，在完成图像的拍摄之后，所拍摄的图像作为待处理图像，从而能够在用户拍摄完成的时候，就自动依据用户所拍摄的图像为用户剪裁出合理的富有美感的图像。
作为另一种实施方式，该待处理图像还可以是用户终端的相机应用的预览图像，即用户终端的摄像头采集的用于在相机应用的预览界面内显示的图像。如图3所示，图3示出了本申请实施例提供的图像预览界面的示意图，具体地，该图像预览界面对应于安装在移动终端内的用于启动前者摄像头或者后置摄像头并控制所启动的摄像头拍照的相机应用程序，在用户启动该相机应用程序时，在移动终端的屏幕上显示图像预览界面。如图1所示，该图像预览界面用于显示摄像头所采集的预览图像，该预览图像可以是第一摄像头或第二摄像头采集的图像，而且用户能够在相机应用的界面内调整相机参数，该相机参数包括相机的焦距、滤镜、ISO值、EV值以及其他的参数。
另外，用户可以将图像预览界面作为摄像头的取景框，将所要拍摄的物体放置在该取景框内，即能够在图像预览界面所显示的预览图像内观察到所要拍摄的物体。然后，用户按下拍摄按钮或者通过其他方式输入拍摄指令，则摄像头采集所要拍摄的物体的照片。
S202：基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像。
其中，所述待处理图像的尺寸参数可以是待处理图像的图像尺寸，例如，待处理图像的分辨率为W×H，则表示其尺寸参数为宽W和高H。作为一种实施方式，基于待处理图像的尺寸参数和对所述待处理图像按预设比例切割，其中，预设比例可以是根据实际需求而设定的，在一些实施例中，可以预先确定需要获取的子图像的数量X，然后，根据数量X将待处理图像切割，假设X为2，则得到的两个图像的尺寸分别为(W/2×H)。
作为一种实施方式，所有所述子图像覆盖所述待处理图像的全部区域。具体地，假设每个所述子图像对应所述待处理图像内的一子图像区域，所有所述子图像区域构成所述待处理图像的全部区域。例如，如图4所示，四条虚线将待处理图像切分为8张图片。则8张图像对应的待处理图像内的子区域共同构成待处理图像的总图像区域，使得待处理图像的任何一个像素单元的图像数据至少位于一个子图像内，从而使得多个子图像整体上能够涵盖待处理图像。在一些实施例中，各个子图像可以是待处理图像的等分区域，即各个子图像的尺寸均相同。例如，待处理图像的尺寸为1280×720像素，限制候选区域个数(即子图像的个数)为固定值M，对应待处理图像的固定子图(比如，限制M＝2，第1个候选区域对应待处理图像最左边的720×720区域，第2个候选区域对应待处理图像最右边的720×720区域)。
作为另一种实施方式，还可以采用目标检测框架SSD中的default box生成规则对所述待处理图像切割得到多个子图像。
另外，上述的比例切割可以是等比例切割，要可以是非等比例切割，例如，采用稠密采样近似遍历原图以对待处理图像切割得到多个子图像。
另外，需要说明的是，上述的子图像可以是已经形成图像格式的图像，也可以是对待处理图像对应的图像数据的采样后的子图像数据，例如，待处理图像的图像数据为矩阵L，其中，L内为待处理图像的各个像素点的像素值，则每个子图像可以是Ri，i的取值为0到M，其中，M为子图像的数量。则每个子图像的Ri，所表示的是矩阵L内的部分像素点构成的矩阵L对应的子矩阵。
作为一种实施方式，子图像内并非一定包括目标主体或目标主体的完整图像，则该目标主体可以是待处理图像内的对象，例如，人物、建筑物、动物等等，则目标主体的图像可能分布在不同的子图像内，也就是说本申请实施例提供的图像剪裁方式并不限定一定要以目标主体为对象，使得剪裁的图像内一定包括目标主体或者包含完整的目标主体，也即没有以目标主体为标的，然后剪裁该目标主体的周围的图像得到的剪裁图像包括目标主体。
S203：通过预先训练的评价模型确定每个所述子图像的美学分数。
其中，美学分数对应用户对图像的美感感知，具体地，该美感感知可以包括构图、色调、光线等等因素的感知。作为一种实施方式，可以预先对评价模型进行训练，使得训练后的模型能够基于用户的感知确定每个子图像的分值，即美学分数。具体地，可以是基于样本图像对评价模型进行训练，其中，该样本图像为用户标注后的样本，即用户基于自身的感知对图像进行标注，从而使得训练后的评价模型能够基于用户的感知得到子图像的美学分数。
作为一种实施方式，评价模型可以是神经网络(Neural Networks，NN)模型，也可以是基于深度学习的卷积神经网络(Convolutional Neural Networks,CNN)模型。具体地，在此不做限定。
S204：基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。
作为一种实施方式，该子图像的美学分数越高，表征该子图像的越符合用户的美感认知。例如，假设用户的美感认知对应美感系数，事物的美感系数越高表示用户对该事物的美感喜好越高，该美感系数与用户的美感观或者对事物的价值观相关，每个人的美感认知不同，因此，该评价模型可以是对应指定用户的，即不同用户对应的评价模型可以是不同的。作为一种实施方式，美学分数越高，美感系数越高，美学分数越低，美感系数越低。于本申请实施例中，在一些实施例中，基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像的实施方式可以是将多个所述子图像中美学分数最高的子图像作为目标子图像。在另一些实施例中，基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像的实施方式可以是对所有的子图像按照美学分数由高到低进行排序，得到一个序列，将该序列内排名靠前的第一数量个子图像作为目标子图像。
请参阅图5，图5示出了本申请实施例提供的图像处理方法，该方法的执行主体可以是上述服务器，也可以是上述用户终端，具体地，该方法包括：S501至S507。
S501：获取第一样本图像集，所述第一样本图像集内的每个第一样本图像对应有第一评分值，所述第一评分值用于表征用户的美感。
作为一种实施方式，该第一样本图像集可以是用户预先对每个第一样本图像的标注后的样本图像，具体地，该用户预先对每个第一样本图像设定第一评分值，则多个被标记有第一评分值的第一样本图像作为第一样本图像集。则由于不同的用户的美感是不同的，因此不同的用户对应的第一样本图像集是不同的，因此第一样本图像集与用户的身份信息对应，该用户的身份信息可以是用户所使用的用户终端的终端标识，也可以是用户的指纹或人脸特征等生物特征信息。其中，用户终端的终端标识可以用户终端的处理器标识、MAC地址或其他能够用于表征用户终端的身份的唯一性的标识。
作为一种实施方式，该评价模型的目的是为子图像赋予美学分数，则该第一样本图像集也可以是至少一个图像的切割后得到的多个子图像，则为了避免由于一张图像可能切割得到的子图像的数量过多，如果每个子图像均被用户标注，可能会增加用户的工作量，因此，可以在确定目标用户对应的第一样本图像集的时候，确定是否存在目标用户的参考用户，并且该参考用户对应有第一样本图像集，如果存在，则将该参考用户的第一样本图像集作为目标用户对应的第一样本图像集。
具体地，该目标用户与参考用户满足预设条件。在一些实施例中，该预设条件可以是目标用户与参考用户的亲密程度大于指定数值，在另一些实施例中，该预设条件可以是目标用户与参考用户的用户关系为指定关系，该指定关系可以是夫妻关系、恋人关系，还可以是亲密好友关系，则该亲密好友关系也表示亲密程度大于指定数值。
其中，服务器内记录有用户的好友关系，该用户的好友关系包括与用户属于好友关系的每个用户的用户标识。则用户与好友之间的亲密程度能够体现用户与该好友之间的互动频率以及好友关系的亲密性，相当于对用户的社交关系的分类，具体地，该亲密程度可以是一个参数值，该参数值越大，表明用户与该好友的亲密程度越高、互动性越高。
作为一种实施方式，用户与各个好友之间的亲密程度可以通过用户的社交信息确定。其中，用户的社交信息包括用户与各个好友的互动信息，该互动信息包括转发次数、收藏次数、评论次数以及分组信息，具体地，该转发次数、收藏次数、评论次数可以是用户对好友发布内容的转发、收藏和评论的次数，分组信息可以是用户所建立的多个分组的关键词和分组内的用户标识。
作为一种实施方式，可以为转发次数、收藏次数、评论次数以及分组信息设置参数，即分别包括第一参数、第二参数、第三参数和第四参数，其中，第一参数对应转发次数，第二参数对应收藏次数，第三参数对应评论次数，第四参数对应分组信息。为了便于计算，可以将第一参数、第二参数、第三参数和第四参数都归一化到[0,1]数值范围区间。
具体地，获取用户对每个用户的转发次数，即确定对应每个好友的转发次数，然后，将所有好友的转发次数相加得到总转发次数，再将每个好友的转发次数除以总转发次数，得到的数值为每个好友的第一参数。同理，也可以得到第二参数和第三参数。
第四参数的获取方式可以是，确定用户对每个好友的分组，确定每个分组的关键词，确定该分组的关键词对应的类别，根据预设设置的不同类别对应的分值，确定该分组的关键词对应的第一数值，其中，不同的类别对应的分值不同，有些类别，例如挚友，则设定的分值比较高，而对于未分组的好友属于默认分组，默认分组的分值比较低，因此，该第一数值能够表征该好友所在的分组，是否是用户的亲密度较高的好友对应的分组。则该第一数值归一化之后，作为第四参数。
然后，根据第一参数、第二参数、第三参数和第四参数得到用户与各个好友之间的亲密程度，作为一种实施方式，可以是将第一参数、第二参数、第三参数和第四参数求和，求和后的结果作为该亲密程度。
则查找到与目标用户满足预设条件的参考用户，将参考用户的第一样本图像集作为目标用户的第一样本图像集，能够减少生成样本时所消耗的人力成本。
作为另一种实施方式，还可以预先训练美学模型，基于训练后的美学模型对第一样本图像评分，从而能够快速扩展第一样本图像集内的样本图像的数量，减少生成样本时所消耗的人力成本。具体地，获取第一样本图像集的实施方式可以是，对原图剪裁得到多个第一样本图像；根据预先训练的美学模型确定每个所述第一样本图像的评分值，以得到所述第一样本图像集，其中，所述美学模型基于第二样本图像集训练，所述第二样本图像集中的每个第二样本图像均对应有第二评分值，所述第二评分值为用户基于美感认知对图像的标注结果。其中，对原图剪裁得到多个第一样本图像的实施方式，可以参考前述基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像得到实施方式，在此不再赘述。美学模型可以与评价模型中对图像赋予美学分数的网络结构相同，例如，美学模型和评价模型都可以是CNN网络。
作为一种实施方式，请参阅图6，本申请实施例将基于图6描述美学模型和评价模型的过程。具体地，如图6中所示，美学CNN记为美学模型，剪裁CNN即为评价模型，有标注美学数据集即为第二样本图像集，无标注剪裁数据集即为对原图剪裁得到的多个第一样本图像，有标注剪裁数据集即为对应有第一评分值的多个第一样本图像，即第一样本图像集。
如图6所示，获取第二样本图像集，具体地，收集大量的第二样本图像，然后由用户对第二样本图像标注，即为第二样本图像赋予第二评分，具体地，用户可以基于自己的主观的美感认知对第二样本图像评分，从而为每个第二样本图像配置一个第二评分。如果限于时间或成本无法自建的话，可以使用公开数据集AVA。作为一种实施方式，确定第二样本图像的方式也可以参考上述的确定目标用户对应的参考用户，然后，将参考用户的第二样本图像集作为目标用户的第二样本图像集。
对配置的第二评分的第二样本图像执行预处理操作，得到第二样本图像集。具体地，首先，执行评分归一化操作，即将所有第二评分的分值线性缩放到0～10之间，即使最低分为0，最高分为10。其次，将第二样本图像尺度归一化，将所有第二样本图片用双线性插值法缩放到第一指定尺寸。具体地，该第一指定尺寸可以是基于实际使用需求而设定的。例如，该指定尺寸可以是224×224像素大小。最后，执行指定格式存储操作，具体地，将处理后的第二样本图像与相应的第二评分存储转换为指定格式，方便读取。其中，该指定格式可以是二进制格式。
然后，通过待训练的美学模型确定每个所述第二样本图像的第二预测值。具体地，将第二图像样本输入待训练的美学模型，待训练的美学模型输出每个第二样本图像对应的第二预测值，基于每个所述第二样本图像的所述第二预测值和第二评分值之间的损失对所述待训练的美学模型训练，以得到训练的美学模型。具体地，该第二预测值和第二评分值之间的损失可以是第二预测值和第二评分值之间的回归损失，作为第二预测值和第二评分值之间的偏差，即二者的偏差越大表明美学模型的输出结果与用户的美感认知的相似度越低。基于随机梯度下降法对网络进行迭代优化，待训练收敛后固化网络参数作为训练后的美学模型，则该训练后的美学模型能够应用于评价模型的训练。由于人工建立裁剪数据集的过程太过繁琐，因此只需要收集足够的无标注数据，之后再通过美学模型对其进行自动标注即可。
具体地，对原图剪裁得到多个第一样本图像；根据预先训练的美学模型确定每个所述第一样本图像的第一评分值，以得到所述第一样本图像集，即对应有第一评分值的多个第一样本图像统称为第一样本图像集，其中，所述美学模型基于第二样本图像集训练，所述第二样本图像集中的每个第二样本图像均对应有第二评分值，所述第二评分值为用户基于美感认知对图像的标注结果。
其中，原图的数量可以是至少一个，于本申请实施例中，原图为多个，原图为未经过标注的图像，即未被设置有与用户的美感对应的评分值。如图7所示，可以在原图上确定若干候选区域，每个候选区域对应一个第一样本图像。作为一种实施方式，在确定原图对应的多个候选区域之前，先对原图进行预处理，具体地，对原图执行尺寸归一化操作，将所有图片用双线性插值法缩放到第二指定尺寸，该第二指定尺寸可以是基于实际使用需求而设定的。例如，该第二指定尺寸可以是320×320像素大小。
S502：通过待训练的评价模型确定每个所述第一样本图像的第一预测值。
S503：基于每个所述第一样本图像的所述第一预测值和第一评分值之间的损失对所述待训练的评价模型训练，以得到训练的评价模型。
根据预先训练的美学模型确定每个所述第一样本图像的评分值，以得到每个所述第一样本图像的第一评分值，则每个对应有第一评分值的第一样本图像构成所述第一样本图像集，具体地，将所有候选区域即第一样本图像分别编号为1，2，3，…，N，其中，N为正整数，用训练好的美学模型分别预测每个第一样本图像的评分s1，s2，s3，…，sN后级联为美学向量S＝(s1,s2,s3,…,sN)作为对应原图的标注信息，即作为每个第一样本图像的第一评分值。
然后，通过待训练的评价模型确定每个所述第一样本图像的第一预测值；基于每个所述第一样本图像的所述第一预测值和第一评分值之间的损失对所述待训练的评价模型训练，以得到训练的评价模型。具体地，以网络预测向量(即每个候选区域的第一预测值)与原图的美学向量S间的交叉熵损失为优化目标，基于随机梯度下降法对网络进行迭代优化，待训练收敛后固化网络参数作为评价模型。
作为一种实施方式，训练好的评价模型还可以执行上述对图像的切割操作，具体地，输入待处理图像至评价模型，评价模型能够对该待处理图像剪裁得到多个子图像，并且确定每个子图像的美学分数。
S504：获取待处理图像。
作为一种实施方式，获取到待处理图像之后，对该待处理图像执行尺寸处理，将尺寸处理后的待处理图像作为本次所需确定目标子图像对应的待处理图像。具体地，基于所述待处理图像的尺寸参数采用双线性插值法将待处理图像缩放到第三指定尺寸，于本申请实施例中，该第三指定尺寸可以依据实际使用而设定，例如，该第三指定尺寸可以是320×320像素。
S505：基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像。
S506：通过预先训练的评价模型确定每个所述子图像的美学分数。
将待处理图像输入评价模型，评价模型确定多个候选区域，每个候选区域对应的图像数据作为子图像，然后得到每个子图像的美学分数，得到评分向量P＝(P1,P2,P3,…,PN)。其中，P1对应编号为1的子图像的美学分数，其他的P2,P3,…,PN含义同理。每个子图像对应一个位置坐标，该位置坐标可以根据预设的候选区域坐标生成方式而设定。具体地，假设坐标为(x,y,w,h)，如图8所示，预设的候选区域坐标生成方式为：该位置坐标中的x和y为该子图像对应的候选区域的顶点的坐标，作为一种实施方式，可以是左上角的顶点的像素坐标，w为该候选区域的宽度，h为该候选区域的高度。
S507：基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。
作为一种实施方式，将多个所述子图像中美学分数最高的子图像作为目标子图像。记其中最大值对应的索引为k，按照预设的候选区域生成方式输出第k个候选区域的坐标(xk,yk,wk,hk)，则该美学分数最高的子图像对应的候选区域记为最佳子区域，则该最佳子区域对应的图像作为目标子图像。
然后，确定目标子图像在所述待处理图像内的坐标；基于所述目标子图像的坐标由所述待处理图像剪裁得到剪裁后的图像，该剪裁后的图像作为指定图像，该指定图像为最终由待处理图像内提取出的满足用户的美感认知的图像。
具体地，基于该美学分数最高的子图像的坐标确定指定图像，具体地，按照如下公式(1)计算最佳子区域在待处理图像中的指定坐标(X，Y，W，H)，并将其裁剪出并输出即可得到指定图像。
Figure BDA0002875844960000111
其中，式(1)中，Width为待处理图像被执行尺寸处理后的图像的宽度，Height为待处理图像被执行尺寸处理后的图像的高度。X和W的公式中的320表示上述第三指定尺寸中的宽度为320，若第三指定尺寸中的宽度为其他数值，则X和W的公式中的320也相应更改，Y和H的公式中的320表示上述第三指定尺寸中的高度为320，若第三指定尺寸中的高度为其他数值，则Y和H的公式中的320也相应更改。
作为一种实施方式，该待处理图像为用户终端的相机应用对应的预览图像，则用户使用用户终端拍照的时候，可以在用户终端打开相机应用，在相机应用显示预览界面的情况下，控制摄像头对用户需拍摄场景的周围的其他场景采集图像，从而能够得到为围绕该拍摄场景的一个较大范围的图像，再将所有的图像合并为一张图像，例如，目前的全景图像的合成方式，将合成后的图像作为待处理图像，执行上述方法，得到指定图像，将该指定图像保存，例如，存储在相册内。
作为一种实施方式，在确定指定图像之后，还可以对该指定图像做优化处理，以得到该指定图像的高清视效的显示效果。具体地，对指定图像执行显示增强处理，其中，显示增强处理具体包括对图像参数优化，其中，所述图像参数优化用于优化所述图像的画质。画质包括清晰度、锐度、镜头畸变、色彩、解析度、色域范围以及纯度等决定观看效果的参数。则不同参数的组合能够实现不同的显示增强效果，例如，以人像所在的位置为中心实现桶型畸变的效果，并且将当前画面的色调修改为灰色，则能够营造一种恐怖氛围的效果。
于本申请实施中，图像参数优化包括曝光度增强、去噪、边缘锐化、对比度增加或饱和度增加的至少一种。
其中，曝光度增强，用于提高图像的亮度，则可以通过图像的直方图，将亮度值交底的区域增加亮度值，另外，也可以是通过非线性叠加，增加图像亮度，具体地，I表示要处理的较暗图像，T表示处理后的比较亮的图像，则曝光度增强的方式为T(x)＝I(x)+(1-I(x))*I(x)。其中，T和I都是[0,1]取值的图像。如果一次效果不好算法可以多次迭代。
其中，对图像数据去噪用于去除图像的噪声，具体地，图像在生成和传输过程中常常因受到各种噪声的干扰和影响而是图像降质，这对后续图像的处理和图像视觉效应将产生不利影响。噪声种类很多，比如:电噪声，机械噪声，信道噪声和其他噪声。因此，为了抑制噪声，改善图像质量，便于更高层次的处理，必须对图像进行去噪预处理。从噪声的概率分布情况来看，可分为高斯噪声、瑞利噪声、伽马噪声、指数噪声和均匀噪声。
具体地，可以通过高斯滤波器对图像去噪，其中，高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像。其作用原理和均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同，均值滤波器的模板系数都是相同的为1；而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小。所以，高斯滤波器相比于均值滤波器对图像模糊程度较小。
例如，产生一个5×5的高斯滤波窗口，以模板的中心位置为坐标原点进行取样。将模板各个位置的坐标带入高斯函数，得到的值就是模板的系数。再将该高斯滤波窗口与图像卷积就能够对图像去噪。
其中，边缘锐化用于使模糊的图像变得更加清晰起来。图像锐化一般有两种方法：一种是微分法，另外一种是高通滤波法。
其中，对比度增加用于增强图像的画质，使得图像内的颜色更加鲜明，具体地，对比度拉伸是图像增强的一种方法，也属于灰度变换操作。通过灰度变换，将灰度值拉伸到整个0-255的区间，那么其对比度显然是大幅增强的。可以用如下的公式来将某个像素的灰度值映射到更大的灰度空间：
I(x,y)＝[(I(x,y)-Imin)/(Imax-Imin)](MAX-MIN)+MIN；
其中Imin，Imax是原始图像的最小灰度值和最大灰度值，MIN和MAX是要拉伸到的灰度空间的灰度最小值和最大值。
作为一种实施方式，可以基于指定图像确定待优化区域，待对优化区域执行上述的显示增强处理。其中，该待优化区域可以基于指定图像的内容确定，具体地，确定指定图像内的目标物，确定该目标物的类型，例如，可以是男性、女性、天空、山川、河流或者招牌等，将该目标物的区域作为待优化区域，然后基于该目标物的类型对该目标物的区域进行优化，例如，不同的目标物类型对应的显示增强的策略不同。
作为另一种实施方式，该待优化区域可以是指定图像内用户所确定的区域，具体地，用户在选择显示增强处理的需求之后，例如，输入显示增强指令，则用户终端的屏幕上显示该指定图像，用户在该指定图像上选择待优化区域，具体地，可以是用户按压该指定图像，将用户按压的区域作为待优化区域，或者将用户按压的图像内的目标物的区域作为待优化区域。
因此，本申请实施例首先将传统智能裁剪方法中的评价指标由客观的摄像原则替换为人的主观美学感受，使输出结果更具主观美感。并且设计了一种单阶段的裁剪流程，通过稠密采样近似遍历原图，不再依赖于主体检测算法，更具通用性。
请参阅图9，其示出了本申请实施例提供的一种图像处理装置的结构框图，该装置900可以包括：获取单元、确定单元、评价单元和处理单元。
获取单元，用于获取待处理图像。
确定单元，用于基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像。
作为一种实施方式，所有所述子图像覆盖所述待处理图像的全部区域。每个所述子图像的尺寸均相同。
评价单元，用于通过预先训练的评价模型确定每个所述子图像的美学分数。
处理单元，用于基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像。
进一步地，处理单元还用于将多个所述子图像中美学分数最高的子图像作为目标子图像。
进一步地，该装置还包括提取单元，该提取单元用于确定目标子图像在所述待处理图像内的坐标；基于所述目标子图像的坐标由所述待处理图像剪裁得到剪裁后的图像。
进一步地，该装置还包括训练单元，该训练单元用于获取第一样本图像集，所述第一样本图像集内的每个第一样本图像对应有第一评分值，所述第一评分值用于表征用户的美感；通过待训练的评价模型确定每个所述第一样本图像的第一预测值；基于每个所述第一样本图像的所述第一预测值和第一评分值之间的损失对所述待训练的评价模型训练，以得到训练的评价模型。
具体地，该训练单元还用于对原图剪裁得到多个第一样本图像；根据预先训练的美学模型确定每个所述第一样本图像的第一评分值，以得到所述第一样本图像集，其中，所述美学模型基于第二样本图像集训练，所述第二样本图像集中的每个第二样本图像均对应有第二评分值，所述第二评分值为用户基于美感认知对图像的标注结果。
具体地，该训练单元还用于获取第二样本图像集；通过待训练的美学模型确定每个所述第二样本图像的第二预测值；基于每个所述第二样本图像的所述第二预测值和第二评分值之间的损失对所述待训练的美学模型训练，以得到训练的美学模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以是上述的服务器，也可以是上述的用户终端。具体地，电子设备可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像为用户终端的相机应用的图像预览界面在所述用户终端的屏幕上显示的情况下，由所述用户终端的摄像头采集的且在所述图像预览界面内显示的图像；
基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像；通过预先训练的评价模型确定每个所述子图像的美学分数，所述评价模型为通过第一样本图像集训练的模型，所述第一样本图像集与所述用户终端的终端标识对应，所述第一样本图像集包括多个第一样本图像，每个所述第一样本图像对应有第一评分值，所述第一评分值用于表征目标用户的美感，所述目标用户为所述用户终端的使用者；
基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像；
其中，在通过预先训练的评价模型确定每个所述子图像的美学分数之前，还包括：
若确定存在所述目标用户对应的参考用户且所述参考用户对应有第一样本图像集，将所述参考用户的第一样本图像集作为所述目标用户对应的第一样本图像集，其中，所述目标用户与所述参考用户的亲密程度大于指定数值；
获取所述目标用户的第一样本图像集；
通过待训练的评价模型确定所述目标用户的第一样本图像集中每个所述第一样本图像的第一预测值；
基于每个所述第一预测值和第一评分值之间的损失对所述待训练的评价模型训练，以得到训练的评价模型。
2.根据权利要求1所述的方法，其特征在于，所有所述子图像覆盖所述待处理图像的全部区域。
3.根据权利要求1所述的方法，其特征在于，基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像之后，还包括：
确定目标子图像在所述待处理图像内的坐标；
基于所述目标子图像的坐标由所述待处理图像剪裁得到剪裁后的图像。
4.根据权利要求1-3任一所述的方法，其特征在于，所述基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像，包括：
将多个所述子图像中美学分数最高的子图像作为目标子图像。
5.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理图像，所述待处理图像为用户终端的相机应用的图像预览界面在所述用户终端的屏幕上显示的情况下，由所述用户终端的摄像头采集的且在所述图像预览界面内显示的图像；
确定单元，用于基于所述待处理图像的尺寸参数和对所述待处理图像按预设比例切割得到多个子图像；
评价单元，用于通过预先训练的评价模型确定每个所述子图像的美学分数，所述评价模型为通过第一样本图像集训练的模型，所述第一样本图像集与所述用户终端的终端标识对应，所述第一样本图像集包括多个第一样本图像，每个所述第一样本图像对应有第一评分值，所述第一评分值用于表征目标用户的美感，所述目标用户为所述用户终端的使用者；
处理单元，用于基于每个所述子图像的美学分数由多个所述子图像中确定目标子图像；
该装置还包括训练单元，该训练单元用于若确定存在所述目标用户对应的参考用户且所述参考用户对应有第一样本图像集，将所述参考用户的第一样本图像集作为所述目标用户对应的第一样本图像集，其中，所述目标用户与所述参考用户的亲密程度大于指定数值；获取所述目标用户的第一样本图像集；通过待训练的评价模型确定所述目标用户的第一样本图像集中每个所述第一样本图像的第一预测值；基于每个所述第一预测值和第一评分值之间的损失对所述待训练的评价模型训练，以得到训练的评价模型。
6.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-4任一项所述的方法。
7.一种计算机可读介质，其特征在于，所述计算机可读介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行权利要求1-4任一项所述方法。
CN202011613934.4A 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及计算机可读介质 Active CN112839167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011613934.4A CN112839167B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011613934.4A CN112839167B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN112839167A CN112839167A (zh) 2021-05-25
CN112839167B true CN112839167B (zh) 2023-06-30

Family

ID=75923917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011613934.4A Active CN112839167B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112839167B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379749A (zh) * 2021-06-10 2021-09-10 北京房江湖科技有限公司 图像处理方法、可读存储介质及计算机程序产品
CN116168207A (zh) * 2021-11-24 2023-05-26 北京字节跳动网络技术有限公司 图像剪裁方法、模型训练方法、装置、电子设备及介质
CN114170187A (zh) * 2021-12-08 2022-03-11 Oppo广东移动通信有限公司 图像美学评分方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223292A (zh) * 2019-06-20 2019-09-10 厦门美图之家科技有限公司 图像评估方法、装置及计算机可读存储介质
CN111095293A (zh) * 2017-12-15 2020-05-01 华为技术有限公司 图像美学处理方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528757B (zh) * 2015-12-08 2019-01-29 华南理工大学 一种基于内容的图像美学质量提升方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN106650737B (zh) * 2016-11-21 2020-02-28 中国科学院自动化研究所 图像自动裁剪方法
CN107146198B (zh) * 2017-04-19 2022-08-16 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置
US10489688B2 (en) * 2017-07-24 2019-11-26 Adobe Inc. Personalized digital image aesthetics in a digital medium environment
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
CN110610479B (zh) * 2019-07-31 2024-05-03 花瓣云科技有限公司 一种对象评分方法及装置
CN110796663B (zh) * 2019-09-17 2022-12-02 北京迈格威科技有限公司 图片剪裁方法、装置、设备和存储介质
CN110633377A (zh) * 2019-09-23 2019-12-31 三星电子（中国）研发中心 一种图片清理方法和装置
CN110807139B (zh) * 2019-10-23 2023-09-01 腾讯科技（深圳）有限公司 图片识别方法、装置、计算机可读存储介质和计算机设备
CN110796650A (zh) * 2019-10-29 2020-02-14 杭州阜博科技有限公司 图像质量的评估方法及装置、电子设备、存储介质
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095293A (zh) * 2017-12-15 2020-05-01 华为技术有限公司 图像美学处理方法及电子设备
CN110223292A (zh) * 2019-06-20 2019-09-10 厦门美图之家科技有限公司 图像评估方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张荣杰."基于生成对抗网络的美学图像生成研究".《中国优秀硕士学位论文全文数据库》.2020,全文. *

Also Published As

Publication number Publication date
CN112839167A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
Li et al. Low-light image and video enhancement using deep learning: A survey
CN106778928B (zh) 图像处理方法及装置
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
US9639956B2 (en) Image adjustment using texture mask
WO2020125631A1 (zh) 视频压缩方法、装置和计算机可读存储介质
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN103973977B (zh) 一种预览界面的虚化处理方法、装置及电子设备
CN110287771B (zh) 图像手掌区域提取方法及装置
WO2017076040A1 (zh) 应用于连拍过程中的图像处理方法和装置
CN105049718A (zh) 一种图像处理方法及终端
CN111967319B (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN111179287A (zh) 人像实例分割方法、装置、设备及存储介质
CN108647696B (zh) 图片颜值确定方法及装置、电子设备、存储介质
Bugeau et al. Influence of color spaces for deep learning image colorization
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
JP2004240622A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
CN111882555A (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
JP2013098925A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant