[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110335330A - 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 - Google Patents

图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 Download PDF

Info

Publication number
CN110335330A
CN110335330A CN201910634805.4A CN201910634805A CN110335330A CN 110335330 A CN110335330 A CN 110335330A CN 201910634805 A CN201910634805 A CN 201910634805A CN 110335330 A CN110335330 A CN 110335330A
Authority
CN
China
Prior art keywords
image
initial pictures
simulation
processing
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910634805.4A
Other languages
English (en)
Other versions
CN110335330B (zh
Inventor
张发恩
杨经宇
袁智超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (beijing) Technology Co Ltd
Original Assignee
Innovation Qizhi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (beijing) Technology Co Ltd filed Critical Innovation Qizhi (beijing) Technology Co Ltd
Priority to CN201910634805.4A priority Critical patent/CN110335330B/zh
Publication of CN110335330A publication Critical patent/CN110335330A/zh
Application granted granted Critical
Publication of CN110335330B publication Critical patent/CN110335330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明所提供的一种图像模拟生成方法,其基于对初始图像的初步分析,确定模拟程度阈值,基于模拟程度阈值确定对所述初始图像进行至少两个方向的平移预定像素值,并将平移后的图像进行加权平均叠加,以输出所需模拟图像。利用上述方法可以解决现有图像模拟技术无法有效对镜头、光学、感光元件等带来的图像像差等进行模拟的技术问题。所述图像模拟生成系统及其电子设备具有与方法相同的技术效果。基于本发明所提供的深度学习算法训练方法还可解决现有数据扩增技术无法将生成图像很好地模拟成真实采样图的问题,以获得更优的训练效果。

Description

图像模拟生成方法及其系统、深度学习算法训练方法及电子 设备
【技术领域】
本发明涉及图像数据模拟领域,其特别涉及一种图像模拟生成方法及其系统、深度学习算法训练方法及电子设备。
【背景技术】
深度学习技术的发展使得计算机图像视觉技术得到了强有力的支持,但是深度学习的网络结构往往包含大量的参数,为了让网络具有更好的性能(准确性,泛化性能)等等,需要提供大量的数据用于网络的训练。而在实际的应用中,数据的采集和标注等等是很难满足训练网络所需要的量级,因此,亟待提供一种新的图像数据快速获取或者生成的技术方案。
【发明内容】
为解决现有图像数据快速获取存在的技术问题,本发明提供一种图像模拟生成方法及其系统、深度学习算法训练方法及电子设备。
本发明为解决上述技术问题,提供如下的技术方案:一种图像模拟生成方法,其包括:步骤S1,获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;具体地,可基于确定所述初始图像的尺度和色彩空间结构,以生成原图像或者输入待处理图像;步骤S2,基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及步骤S3,将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
优选地,上述步骤S3具体包括如下步骤:步骤S31,设定一第一方向及一第二方向,对所述初始图像依次沿所述第一方向及所述第二方向平移预定像素值,以分别获得第一平移图像及第二平移图像;步骤S32,对所述第一平移图像及所述第二平移图像进行处理,以获得与位置坐标相匹配的数值;及步骤S33,将与所述第一平移图像及所述第二平移图像中同一位置坐标相匹配的数值进行加权平均叠加,以输出所需模拟图像。
优选地,在上述步骤S2与步骤S3之间还包括:步骤S201,将所述初始图像进行放大或缩小处理;其中,所述初始图像放大或缩小处理的倍数可基于所述模拟程度阈值进行设定。
优选地,在上述步骤S3之后,还包括:步骤S4,使用反射模型模拟或图像插值方法对缺失区域进行填补。
优选地,在上述步骤S2之后,还包括如下步骤:步骤S3A,模拟光源色温,基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;和/或步骤S3B,模拟曝光,将所述初始图像的色彩空间结构转换为YUV色彩空间,其包括Y通道,所述Y通道为亮度通道,对Y通道进行曝光修正,其中,曝光修正可基于所述模拟程度阈值进行处理;和/或步骤S3C,对所述初始图像进行数据扩增处理;其中,上述步骤S3A、步骤S3B及步骤S3C可任选其一个或几个与步骤S3进行任意顺序的组合。
优选地,在上述步骤S3C中,所述数据扩增处理进一步包括:对初始图像进行翻转处理、旋转处理、缩放处理、裁剪处理、平移处理、噪声处理、色彩通道处理、图像错切变换处理中任一种或几种的组合。
本发明为解决上述技术问题,提供又一技术方案如下:一种图像模拟生成系统,其包括:图像初步分析模块,被配置为用于获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;模拟程度阈值获取模块,被配置为用于基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及模拟图像生成模块,被配置为用于将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
优选地,所述图像模拟生成系统还包括:图像尺寸调节模块,用于将所述初始图像进行放大或缩小处理;缺失区域填补模块,用于使用反射模型或图像数值平均值对缺失区域进行填补;模拟光源色温模块,用于基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;模拟曝光模块,用于将所述初始图像的色彩空间结构转换为YUV色彩空间;和/或数据扩增模块,用于对所述初始图像进行数据扩增处理。
本发明为解决上述技术问题,提供又一技术方案如下:一种深度学习算法训练方法,其中所述深度学习算法采用如上所述图像模拟生成方法所获得的模拟图像结合初始图像作为训练集进行训练而获得。
本发明为解决上述技术问题,提供又一技术方案如下:一种电子设备,其包括存储单元和处理单元,所述存储单元用于存储计算机程序,所述处理单元用于通过所述存储单元存储的计算机程序执行如上所述图像模拟生成方法。
与现有技术相比,本发明所提供给的一种图像模拟生成方法及其系统、深度学习算法训练方法及电子设备具有如下的有益效果:
本发明目的是通过光学模拟将光学误差引入图像模拟生成领域,从而可基于少量的基础图像数据,即可实现对图像数据的增强和扩展,并能够将生成数据集进行增强以拟合真实数据。本发明通过基于光学的模拟能够在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。对于生成图像数据的处理有良好的物理模拟结果。利用本方法能够让训练集更贴近真实情况,有利于最终训练的网络性能提升。具体地,在本发明中,基于对初始图像的初步分析,确定模拟程度阈值,所述初始图像平移的预定像素值以获得平移后的图像,其中,所述预定像素值基于模拟程度阈值确定,并将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像。
本发明所提供的图像模拟生成方法可以解决现有图像模拟技术无法有效对镜头、光学、感光元件等带来的图像像差等进行模拟的技术问题。同时,基于本发明所提供的图像模拟生成方法对于生成的数据集还可解决现有数据扩增技术无法将生成图像很好地模拟成真实采样图的问题。可见,本发明所提供的图像模拟生成方法具有较广的适用性。
本发明所提供的图像模拟生成方法中,基于对初始图像的初步分析,确定模拟程度阈值,基于模拟程度阈值确定对所述初始图像进行至少两个方向的平移的预定像素值,并将平移后的图像进行加权平均叠加具体包括如下步骤:设定一第一方向及一第二方向,对所述初始图像依次沿所述第一方向及所述第二方向平移预定像素值,以分别获得第一平移图像及第二平移图像;对所述第一平移图像及所述第二平移图像进行处理,以获得与位置坐标相匹配的数值;及将与所述第一平移图像及所述第二平移图像中同一位置坐标相匹配的数值进行加权平均叠加,以输出所需模拟图像。基于对同一位置坐标相匹配的数值进行加权平均叠加,可获得模拟散光或者失焦的图像。
进一步对,为了对不同尺寸大小的初始图像进行有效的处理,所述图像模拟生成方法还包括将所述初始图像进行放大或缩小处理;其中,所述初始图像放大或缩小处理的倍数可基于所述模拟程度阈值进行设定。基于此,可使对所述初始图像的放大或缩小处理的倍数的精准度更高。
为了避免由于对初始图像的缩放处理或平移处理产生缺失区域而导致模拟图像不可用,所述图像模拟生成方法还包括使用反射模型或图像数值平均值对缺失区域进行填补。
在本发明中,还可以包括对初始图像的模拟光源色温处理、模拟曝光处理及数据扩增处理,这些处理都可以基于模拟程度阈值进行,从而可提高模拟处理的准确度。进一步地,在本发明所提供的图像模拟生成方法中,对应的模拟散光、模拟失焦、模拟光源色温处理、模拟曝光处理及数据扩增处理的步骤处理顺序可任意置换,以满足不同初始图像的精准处理。
在本发明中,所述数据扩增处理进一步包括:对初始图像进行翻转处理、旋转处理、缩放处理、裁剪处理、平移处理、噪声处理、色彩通道处理、图像错切变换处理中任一种或几种的组合,基于此,可满足多种不同的图像模拟生成方法,使所述图像模拟生成方法具有更广的适用性。
本发明还提供一种图像模拟生成系统及其电子设备,具有与上述图像模拟生成方法相同的有益效果,本发明通过基于光学的模拟能够在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。对于生成图像数据的处理有良好的物理模拟结果。利用本方法能够让训练集更贴近真实情况,有利于最终训练的网络性能提升。具体地,在本发明中,基于对初始图像的初步分析,确定模拟程度阈值,基于模拟程度阈值确定对所述初始图像进行至少两个方向的平移的预定像素值,并将平移后的图像进行加权平均叠加,以输出所需模拟图像。
本发明还提供一种深度学习算法训练方法,其采用如上所述图像模拟生成方法所获得的模拟图像结合初始图像作为训练集进行训练而获得。所述的深度学习算法训练方法可在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。从而为所述深度学习算法的训练提供更全面的训练数据,从而可提高所述深度学习算法训练的效果。
【附图说明】
图1是本发明第一实施例中所提供的图像模拟生成方法的步骤流程示意图。
图2是图1中步骤S3中所示内容的具体步骤流程示意图。
图3是图1中所示图像模拟生成方法变形实施方式之一的步骤流程示意图。
图4是图1中所示图像模拟生成方法变形实施方式之二的步骤流程示意图。
图5是以模拟失焦作为图像光学模拟的方法的图像平移之前的示意图。
图6是以模拟失焦作为图像光学模拟的方法的图像平移之后的示意图。
图7是以模拟散光作为图像光学模拟的方法的图像平移之前的示意图。
图8是以模拟散光作为图像光学模拟的方法的图像平移之后的示意图。
图9是图1中所示图像模拟生成方法变形实施方式之一的步骤流程示意图。
图10是本发明第二实施例中所提供的图像模拟生成系统的功能模块示意图。
图11是图10中所示模拟图像生成模块的功能模块示意图。
图12是图10中所示图像模拟生成系统的实施方式之一的功能模块示意图。
图13是图10中所示图像模拟生成系统的实施方式之二的功能模块示意图。
图14是本发明第四实施例中所提供的电子设备的功能模块示意图。
附图标识说明:
20、图像模拟生成系统;21、图像初步分析模块;22、模拟程度阈值获取模块;23、模拟图像生成模块;231、平移单元;232、位置坐标匹配单元;233、加权平均叠加单元;24、图像尺寸调节模块;25、缺失区域填补模块;26、模拟光源色温模块;27、模拟曝光模块;28、数据扩增模块
30、电子设备;31、存储单元;32、处理单元。
【具体实施方式】
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,在本发明第一实施例中提供一种图像模拟生成方法S10,其包括如下步骤:
步骤S1,获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;具体地,可基于确定所述初始图像的尺度和色彩空间结构,以生成原图像或者输入待处理图像;
步骤S2,基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及
步骤S3,将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
在上述步骤S1中,所述尺寸特征是指所述初始图像的实际尺寸大小,基于具体的尺寸特征,可确定是否需要对图像进行放大或者缩小处理,以便于后续对所述初始图像进行光学像差模拟处理。其中,所述光学相差可包括球差、像散、场曲、畸变、位置色差及倍率色差等。
所述色彩空间结构特征可包括基色颜色空间和色亮分离颜色空间。前者的典型是RGB(Red、Green、Blue),还包括CMY(Cyan、Magenta、Yellow)、CMYK(Cyan、Magenta、Yellow、black)、CIE XYZ(Color System)等;后者包括YCC/YUV、Lab、以及一批色相类颜色空间。
进一步地,在上述步骤S2中,基于所述初始图像的尺寸特征及色彩空间结构特征确定图像光学模拟的程度阈值,也即,可基于初始图像的具体特点,设定获得更为准确的模拟程度阈值。
在本发明中,模拟程度阈值可包括基于图像光学模拟进行图像模拟,具体地,所述图像光学模拟的方法可包括但不受限于模拟失焦、模拟散光、模拟色差等中任一种或几种的组合。
其中,模拟程度阈值可直接反映为图像光学模拟后所获得的模拟图像与初始图像之间差异值,其中,所需要的差异值越大,则对应的程度阈值也越大,而所需要的差异值越小,则对应的程度阈值也越小。
如图2中所示,在上述步骤S3中,将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像,具体的包括如下的步骤:
步骤S31,设定一第一方向及一第二方向,对所述初始图像依次沿所述第一方向及所述第二方向平移预定像素值,以分别获得第一平移图像及第二平移图像;
步骤S32,对所述第一平移图像及所述第二平移图像进行处理,以获得与位置坐标相匹配的数值;及
步骤S33,将与所述第一平移图像及所述第二平移图像中同一位置坐标相匹配的数值进行加权平均叠加,以输出所需模拟图像。
具体地,在另外的一些实施例中,所述预设方向具体可基于图片的实际特点和用户的需求做对应的调整,具体地可进一步为两个、四个、六个或八个,在一些特殊的实施例中,也可以是三个、五个、七个等,在此仅作为示例,不作为本发明的限定。
请参阅图3,为了获得更多样化的模拟图像,在本实施例一些变形实施方式中,在上述步骤S2与步骤S3之间还可包括如下步骤:
步骤S201,将所述初始图像进行放大或缩小处理。
具体地,所述初始图像放大或缩小处理的倍数可基于所述模拟程度阈值进行设定。
进一步地,请参阅图4,为了避免由于多方向平移后在加权平均叠加的图像中出现缺失区域,进一步地,当检测到加权平均叠加后的图像有数值为零的区域后,则进一步包括以下步骤:
步骤S4,使用反射模型(Reflection Model)模拟或图像差值方法对缺失区域进行填补。
其中,所述反射模型包括Cook-Torrance反射模型、Blinn-Phong反射模型及Phong反射模型中任一种。
所述图像数值平均值是指计算获得所述初始图像对应每个像素点的数值,并求得其数值的平均值。
为了更好地对上述实施例进行说明,以DM(Data Matrix)二维码模拟图像的生成为例,也即获得DM二维码初始图像。
具体地,在本实施例中,如图5与图6中所示,以模拟失焦作为图像光学模拟的方法,其具体包括:
对于所述DM二维码初始图像,相机的失焦是非常常见的图像误差来源。基于上述步骤S2获得对应DM二维码初始图像的模拟程度阈值,以此获得图像失焦的程度,具体地,以n/m表示为有理数的散光程度,对图像放大至初始图像的m*m倍后,沿多个方向平移1像素、2像素直至n像素,从而获得(n+1)张新图像对应的数值进行加权平均叠加。例如在一些具体实施方式中,将如图5所示的初始图像A放大m*m倍之后,基于X正方向、X负方向、Y正方向及Y负方向平移1个像素,(即n=1)之后,获得四张新的平移图像A’,如图6中所示为沿X方向移动n像素之后所获得的平移图像A’。
进一步将初始图像与四张新的平移图像A’对应的数值进行加权平均叠加;进一步地,由于平移之后在图像上出现缺失区域,因此进一步使用图像的数据平均值进行填补。
其中,为了获得更丰富的模拟失焦图像,还可以进一步其平移的方向可基于具体内容做调整,上述例子仅作为示例,不作为本发明的限定。
在本实施例中,如图7与图8中所示,以模拟散光作为图像光学模拟的方法,其具体包括:
利用n/m表示有理数的散光程度,将图像放大至初始图像的m*m倍后,沿预设方向平移1像素、2像素直至n像素,将所得到的(n+1)张图片加权平均叠加。例如在另一些具体实施方式中,将如图7所示的初始图像B放大m*m倍之后,基于Y正方向平移2个像素(即n=2),获得两张新的平移图像B’,如图8中所示为沿Y正方向平移n像素之后所获得的平移图像B’。
进一步将初始图像与两张新的平移图像B’对应数据进行加权平均叠加。
在上述例子中,所述失焦程度、所述散光程度即为所述模拟程度阈值。
在本实施例中,以模拟色差作为图像光学模拟的方法,其具体包括:
对所述初始图像设定一个光轴X,假设DM二维码初始图像的长度方向(即第一方向)包括n个像素,宽度方向(即第二方向)包括m个像素,沿与所述光轴X相对的方向进行平移,叠加后可模拟色差结果。此外,也可以生成色差模拟参数并进行色差模拟。
由于不同波长的光通过透镜组后的焦距有细微差别,对RGB三个通道进行不同程度的失焦处理后,以获得模拟失焦图像。
请参阅图9,在本实施例另外的一些实施方式中,在本发明中为了满足各种初始图像的光学像差模拟需求,进一步在上述步骤S2之后,还可包括如下的步骤:
步骤S3A,模拟光源色温,基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;和/或
步骤S3B,模拟曝光,将所述初始图像的色彩空间结构转换为YUV(YCrCb,颜色编码方法)色彩空间,其中Y通道为亮度通道,对Y通道进行曝光修正,其中,曝光修正可基于所述模拟程度阈值进行处理;和/或
步骤S3C,对所述初始图像进行数据扩增处理,其中包括对初始图像进行翻转处理、旋转处理、缩放处理、裁剪处理、平移处理、噪声处理、色彩通道处理、图像错切变换处理等中任一种或几种的组合。
如图9中所示,其上述三个步骤之间的顺序为步骤S3A、步骤S3B及步骤S3C任选其一。此步骤顺序仅作为示例,不作为本发明的限定。进一步地,上述步骤S3A、步骤S3B及步骤S3C可任选其一个或几个与步骤S3进行任意顺序的组合。
在上述步骤S3A中,在所述黑体辐射中,随着温度不同,光的颜色各不相同,所述黑体呈现由红—橙红—黄—黄白—白—蓝白的渐变过程,也即所述黑体光辐射色温可表示黑体随温度变化的渐变过程中。所述RGB值(Red,Green,Blue)即为所述初始图像对应每个像素点的R值、G值及B值。基于所述黑体辐射与对应像素点的R值、G值及B值进行对应色温的调整。
在上述步骤S3B中,将所述初始图像的色彩空间结构转换为YUV色彩空间,其中,所述Y通道为亮度通道,对所述Y通道进行曝光修正,从而可获得新的图示。
具体地,在上述步骤S3C中,图像翻转处理是指将图像进行水平或垂直方向的翻转;图像旋转处理是指将图像进行90度、180度、270度等不同角度的旋转,部分技术方案对旋转后的图片会进行裁剪以保证图像比例不变。缩放处理是指对图像进行不同尺度的缩放,不同技术方案可能会采用不同的插值方法,对缩放后的图像会进行裁剪或补全(可能的方法有反射、平移等等)。随机裁剪处理是指对图像进行随机的裁剪后,将裁剪的部分缩放成原尺寸;平移处理是指对图像进行随机方向的平移,部分技术方案对平移后的缺失区域进行填补;随机噪声处理的方式有椒盐噪声,高斯噪声等多种方式,通过对图像中的随机像素进行修改,以增强深度学习网络的泛化能力;色彩通道处理是指通过对图像进行色彩通道的修改,生成结果是整体色彩风格的偏移;图像错切变换处理,是指通过图像的矩阵变换生成变形后的图像,并对图像进行缺失区域的填补。
例如,如上述所列举的DM二维码为例,结合上述的具体处理步骤,由于最终应用场景中光环境色温约为6600K,将色温参数调整为6600K。进一步设定曝光情况和过度曝光与曝光不足的程度。还可决定是否失焦或散光,并在适当范围内生成随机参数。对生成结果与生成原图进行适当随机变换构成数据对。
请参阅图10,本发明的第二实施例提供一图像模拟生成系统20,其包括:
图像初步分析模块21,被配置为用于获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;
模拟程度阈值获取模块22,被配置为用于基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及
模拟图像生成模块23,被配置为将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
如图11中所示,为了提高所述模拟图像生成的准确度以获得符合要求的模拟图像,所述模拟图像生成模块23进一步包括:
平移单元231,用于设定一第一方向及一第二方向,对所述初始图像依次沿所述第一方向及所述第二方向平移预定像素值,以分别获得第一平移图像及第二平移图像;
位置坐标匹配单元232,用于对所述第一平移图像及所述第二平移图像进行处理,以获得与位置坐标相匹配的数值;及
加权平均叠加单元233,用于将与所述第一平移图像及所述第二平移图像中同一位置坐标相匹配的数值进行加权平均叠加,以输出所需模拟图像。
如图12中所示,在本实施例的一些实施方式中,所述图像模拟生成系统20进一步包括:
图像尺寸调节模块24,用于将所述初始图像进行放大或缩小处理;及
缺失区域填补模块25,用于使用反射模型(Reflection Model)模拟或图像插值方法对缺失区域进行填补。
其中,所述反射模型包括Cook-Torrance反射模型、Blinn-Phong反射模型及Phong反射模型中任一种。
所述图像插值方法是指利用已知邻近像素点的灰度值以获得未知像素点的灰度值,以便由原始图像在生出具有更高分辨率的图像,所述图像插值方法可包括最近邻值法、双线性内插法等。
如图13中所示,在本实施例的另一些实施方式中,在本实施例中为了满足各种初始图像的光学像差模拟需求,所述图像模拟生成系统20进一步包括:
模拟光源色温模块26,用于基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;和/或
模拟曝光模块27,用于将所述初始图像的色彩空间结构转换为YUV(YCrCb,颜色编码方法)色彩空间,其中Y通道为亮度通道,对Y通道进行曝光修正,其中,曝光修正可基于所述模拟程度阈值进行处理;和/或
数据扩增模块28,用于对所述初始图像进行数据扩增处理。
具体地,其中,所述数据扩增模块28包括对初始图像进行翻转处理、旋转处理、缩放处理、裁剪处理、平移处理、噪声处理、色彩通道处理、图像错切变换处理等中任一种或几种的组合。
在本实施例中,有关具体图像模拟生成的相关内容与上述第一实施例中的相关描述一致,在此不再赘述。
本发明的第三实施例提供一深度学习算法训练方法,其采用如上述第一实施例中所述图像模拟生成方法所获得的模拟图像结合初始图像作为训练集进行训练而获得。
其中,所述图像模拟生成方法的具体内容与上述第一实施例中所述相同,在此不再赘述。
请参阅图14,本发明的第四实施例提供一电子设备30,所述电子设备30包括存储单元31和处理单元32,所述存储单元31用于存储计算机程序,所述处理单元32用于通过所述存储单元31存储的计算机程序执行上述第一实施例中所述检验异常值的数据核验方法的具体步骤。
在本发明一些具体的实施例中,所述电子设备30可以是硬件,也可以是软件。当电子设备30为硬件时,可以是具有显示屏并且支持视频播放的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当电子设备30为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
所述存储单元31包括只读存储器(ROM)、随机访问存储器(RAM)及硬盘等的存储部分等,所述处理单元32可以根据存储在所述只读存储器(ROM)中的程序或者加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器(RAM)中,还存储有所述电子设备30操作所需的各种程序和数据。
所述电子设备30还可包括键盘、鼠标等的输入部分(图未示);所述电子设备30还可进一步包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分(图未示);以及所述电子设备30可进一步包括诸如LAN卡、调制解调器等的网络接口卡的通信部分(图未示)。所述通信部分经由诸如因特网的网络执行通信处理。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明所公开的实施例可包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装。
在该计算机程序被所述处理单元32执行时,执行本申请的所述具备防伪功能的神经网络模型的训练方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本申请中,计算机可读存储介质还可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可采用一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言--诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明的附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方案中,方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,在此基于涉及的功能而确定。需要特别注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本发明的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。
作为另一方面,本发明的第五实施例还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,所述程序具体包括,获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
与现有技术相比,本发明所提供给的一种图像模拟生成方法及其系统、深度学习算法训练方法及电子设备具有如下的有益效果:
本发明目的是通过光学模拟将光学误差引入图像模拟生成领域,从而可基于少量的基础图像数据,即可实现对图像数据的增强和扩展,并能够将生成数据集进行增强以拟合真实数据。本发明通过基于光学的模拟能够在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。对于生成图像数据的处理有良好的物理模拟结果。利用本方法能够让训练集更贴近真实情况,有利于最终训练的网络性能提升。具体地,在本发明中,基于对初始图像的初步分析,确定模拟程度阈值,基于模拟程度阈值确定对所述初始图像进行至少两个方向的平移的预定像素值,并将平移后的图像进行加权平均叠加,以输出所需模拟图像。
本发明所提供的图像模拟生成方法可以解决现有图像模拟技术无法有效对镜头、光学、感光元件等带来的图像的像差等进行模拟的技术问题。同时,基于本发明所提供的图像模拟生成方法对于生成的数据集还可解决现有数据扩增技术无法将生成图像很好地模拟成真实采样图的问题。可见,本发明所提供的图像模拟生成方法具有较广的适用性。
本发明还提供一种图像模拟生成系统及其电子设备,具有与上述图像模拟生成方法相同的有益效果,本发明通过基于光学的模拟能够在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。对于生成图像数据的处理有良好的物理模拟结果。利用本方法能够让训练集更贴近真实情况,有利于最终训练的网络性能提升。具体地,在本发明中,基于对初始图像的初步分析,确定模拟程度阈值,基于模拟程度阈值确定对所述初始图像进行至少两个方向的平移的预定像素值,并将平移后的图像进行加权平均叠加,以输出所需模拟图像。
本发明还提供一种深度学习算法训练方法,其采用如上所述图像模拟生成方法所获得的模拟图像结合初始图像作为训练集进行训练而获得。所述的深度学习算法训练方法可在数据量不足的情况下通过光学方法补充传统方法数据扩增结果不能覆盖真实情况全部可能性的问题。从而为所述深度学习算法的训练提供更全面的训练数据,从而可提高所述深度学习算法训练的效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种图像模拟生成方法,其特征在于:所述图像模拟生成方法包括:
步骤S1,获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;具体地,可基于确定所述初始图像的尺度和色彩空间结构,以生成原图像或者输入待处理图像;
步骤S2,基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及
步骤S3,将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
2.如权利要求1中所述图像模拟生成方法,其特征在于:上述步骤S3具体包括如下步骤:
步骤S31,设定一第一方向及一第二方向,对所述初始图像依次沿所述第一方向及所述第二方向平移预定像素值,以分别获得第一平移图像及第二平移图像;
步骤S32,对所述第一平移图像及所述第二平移图像进行处理,以获得与位置坐标相匹配的数值;及
步骤S33,将与所述第一平移图像及所述第二平移图像中同一位置坐标相匹配的数值进行加权平均叠加,以输出所需模拟图像。
3.如权利要求1中所述图像模拟生成方法,其特征在于:在上述步骤S2与步骤S3之间还包括:
步骤S201,将所述初始图像进行放大或缩小处理;其中,所述初始图像放大或缩小处理的倍数可基于所述模拟程度阈值进行设定。
4.如权利要求1中所述图像模拟生成方法,其特征在于:在上述步骤S3之后,还包括:
步骤S4,使用反射模型模拟或图像插值方法对缺失区域进行填补。
5.如权利要求1中所述图像模拟生成方法,其特征在于:在上述步骤S2之后,还包括如下步骤:
步骤S3A,模拟光源色温,基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;和/或
步骤S3B,模拟曝光,将所述初始图像的色彩空间结构转换为YUV色彩空间,其包括Y通道,所述Y通道为亮度通道,对Y通道进行曝光修正,其中,曝光修正可基于所述模拟程度阈值进行处理;和/或
步骤S3C,对所述初始图像进行数据扩增处理;
其中,上述步骤S3A、步骤S3B及步骤S3C可任选其一个或几个与步骤S3进行任意顺序的组合。
6.如权利要求5中所述图像模拟生成方法,其特征在于:在上述步骤S3C中,所述数据扩增处理进一步包括:对初始图像进行翻转处理、旋转处理、缩放处理、裁剪处理、平移处理、噪声处理、色彩通道处理、图像错切变换处理中任一种或几种的组合。
7.一种图像模拟生成系统,其特征在于:其包括:
图像初步分析模块,被配置为用于获取初始图像,并分析所述初始图像的尺寸特征及色彩空间结构特征;
模拟程度阈值获取模块,被配置为用于基于所述初始图像的尺寸特征及色彩空间结构特征确定模拟程度阈值;及
模拟图像生成模块,被配置为用于将所述初始图像沿预设方向平移的预定像素值,将初始图像与平移后的图像进行加权平均叠加,以输出所需模拟图像;其中,所述预定像素值基于模拟程度阈值确定。
8.如权利要求7中所述图像模拟生成系统,其特征在于:
图像尺寸调节模块,用于将所述初始图像进行放大或缩小处理;
缺失区域填补模块,用于使用反射模型模拟或图像插值方法对缺失区域进行填补;
模拟光源色温模块,用于基于模拟程度阈值,结合黑体光辐射色温与RGB值之间的比例进行匹配,对所述初始图像进行色温的调整;
模拟曝光模块,用于将所述初始图像的色彩空间结构转换为YUV色彩空间;和/或
数据扩增模块,用于对所述初始图像进行数据扩增处理。
9.一种深度学习算法训练方法,其特征在于,所述深度学习算法采用如上述权利要求1-6中任一项所述图像模拟生成方法所获得的模拟图像结合初始图像作为训练集进行训练而获得。
10.一种电子设备,其特征在于:所述电子设备包括存储单元和处理单元,所述存储单元用于存储计算机程序,所述处理单元用于通过所述存储单元存储的计算机程序执行如权利要求1-6中任一项所述图像模拟生成方法。
CN201910634805.4A 2019-07-12 2019-07-12 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 Active CN110335330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910634805.4A CN110335330B (zh) 2019-07-12 2019-07-12 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910634805.4A CN110335330B (zh) 2019-07-12 2019-07-12 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备

Publications (2)

Publication Number Publication Date
CN110335330A true CN110335330A (zh) 2019-10-15
CN110335330B CN110335330B (zh) 2021-04-20

Family

ID=68146719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910634805.4A Active CN110335330B (zh) 2019-07-12 2019-07-12 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备

Country Status (1)

Country Link
CN (1) CN110335330B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243058A (zh) * 2019-12-31 2020-06-05 河南裕展精密科技有限公司 物件模拟图像生成方法及计算机可读存储介质
CN111259968A (zh) * 2020-01-17 2020-06-09 腾讯科技(深圳)有限公司 非法图像识别方法、装置、设备和计算机可读存储介质
CN111652199A (zh) * 2020-08-04 2020-09-11 湖南莱博赛医用机器人有限公司 一种图像处理方法、装置、设备和介质
CN111931783A (zh) * 2020-08-18 2020-11-13 创新奇智(重庆)科技有限公司 一种训练样本生成方法、机读码识别方法及装置
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法,存储装置及服务器
CN113781356A (zh) * 2021-09-18 2021-12-10 北京世纪好未来教育科技有限公司 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN118397225A (zh) * 2024-06-27 2024-07-26 成都成电光信科技股份有限公司 一种模拟飞行混合现实头盔实景图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540832A (zh) * 2009-04-24 2009-09-23 段江 图像信号的动态范围匹配方法
CN102867318A (zh) * 2012-09-25 2013-01-09 哈尔滨工业大学 子图像加权叠加的整幅折返运动离散退化图像构造方法
CN103310420A (zh) * 2013-06-19 2013-09-18 武汉大学 基于纹理与几何相似性的彩色图像空洞修复方法及系统
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
US20180130248A1 (en) * 2016-11-04 2018-05-10 Disney Enterprises, Inc. Noise reduction on g-buffers for monte carlo filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540832A (zh) * 2009-04-24 2009-09-23 段江 图像信号的动态范围匹配方法
CN102867318A (zh) * 2012-09-25 2013-01-09 哈尔滨工业大学 子图像加权叠加的整幅折返运动离散退化图像构造方法
CN103310420A (zh) * 2013-06-19 2013-09-18 武汉大学 基于纹理与几何相似性的彩色图像空洞修复方法及系统
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
US20180130248A1 (en) * 2016-11-04 2018-05-10 Disney Enterprises, Inc. Noise reduction on g-buffers for monte carlo filtering

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243058A (zh) * 2019-12-31 2020-06-05 河南裕展精密科技有限公司 物件模拟图像生成方法及计算机可读存储介质
CN111243058B (zh) * 2019-12-31 2024-03-22 富联裕展科技(河南)有限公司 物件模拟图像生成方法及计算机可读存储介质
CN111259968A (zh) * 2020-01-17 2020-06-09 腾讯科技(深圳)有限公司 非法图像识别方法、装置、设备和计算机可读存储介质
CN111652199A (zh) * 2020-08-04 2020-09-11 湖南莱博赛医用机器人有限公司 一种图像处理方法、装置、设备和介质
CN111931783A (zh) * 2020-08-18 2020-11-13 创新奇智(重庆)科技有限公司 一种训练样本生成方法、机读码识别方法及装置
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法,存储装置及服务器
CN113781356A (zh) * 2021-09-18 2021-12-10 北京世纪好未来教育科技有限公司 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN113781356B (zh) * 2021-09-18 2024-06-04 北京世纪好未来教育科技有限公司 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN118397225A (zh) * 2024-06-27 2024-07-26 成都成电光信科技股份有限公司 一种模拟飞行混合现实头盔实景图像处理方法及装置
CN118397225B (zh) * 2024-06-27 2024-09-10 成都成电光信科技股份有限公司 一种模拟飞行混合现实头盔实景图像处理方法及装置

Also Published As

Publication number Publication date
CN110335330B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN110335330A (zh) 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备
US20210248355A1 (en) Face key point detection method and apparatus, storage medium, and electronic device
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN107204034B (zh) 一种图像处理方法及终端
CN114373056B (zh) 一种三维重建方法、装置、终端设备及存储介质
CN111598111B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN112241933A (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN107407554A (zh) 对多相机成像系统进行仿真
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN114418069A (zh) 一种编码器的训练方法、装置及存储介质
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN117746015A (zh) 小目标检测模型训练方法、小目标检测方法及相关设备
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN108665498B (zh) 图像处理方法、装置、电子设备和存储介质
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
WO2022036238A1 (en) Systems and methods for head related transfer function personalization
CN113781653A (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN110766079B (zh) 用于屏幕异常画面检测的训练数据的生成方法与装置
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN113298098A (zh) 基础矩阵估计方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant