CN110266966A - 图像生成方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像生成方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110266966A CN110266966A CN201910578445.0A CN201910578445A CN110266966A CN 110266966 A CN110266966 A CN 110266966A CN 201910578445 A CN201910578445 A CN 201910578445A CN 110266966 A CN110266966 A CN 110266966A
- Authority
- CN
- China
- Prior art keywords
- capture apparatus
- exposure
- time
- shake
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像生成方法、装置、电子设备、计算机可读存储介质,包括:当拍摄设备的抖动强度超出了OIS防抖的预设范围时,即使采用OIS防抖也不能达到较好的防抖效果,因此舍弃OIS防抖而获取拍摄设备的抖动强度,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长,就可以实现对拍摄场景进行抓拍出清晰的图像。再由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,将至少两张原始图像进行拼接合成得到目标图像。将多张原始图像进行合成,就进一步提高了图像的清晰度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像生成方法和装置、电子设备、计算机可读存储介质。
背景技术
随着摄像技术的不断发展,人们对电子设备摄像头的拍照要求日益提高。传统的电子设备从单摄像头发展到后来的双摄像头,拍照质量有了显著的提高。但是人们对电子设备的拍照要求也随之日益提高,如何进一步提高电子设备的拍照质量、满足用户更高的拍照需求,就是一个亟待解决的问题。
发明内容
本申请实施例提供一种图像生成方法、装置、电子设备、计算机可读存储介质,可以提高电子设备的拍照质量、满足更高的拍照需求。
一种图像生成方法,包括:
当拍摄设备的抖动强度超出了预设范围时,则获取所述拍摄设备的抖动强度;
根据所述拍摄设备的抖动强度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长;
由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;
将所述至少两张原始图像进行拼接合成得到目标图像。
一种图像生成装置,包括:
拍摄设备的抖动强度获取模块,用于当拍摄设备的抖动强度超出了预设范围时,则获取所述拍摄设备的抖动强度;
曝光时间配置模块,用于根据所述拍摄设备的抖动强度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长;
原始图像生成模块,用于由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;
拼接合成模块,用于将所述至少两张原始图像进行拼接合成得到目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现如上方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质,当拍摄设备的抖动强度超出了OIS防抖的预设范围时,即使采用OIS防抖也不能达到较好的防抖效果,因此舍弃OIS防抖而获取拍摄设备的抖动强度,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长,就可以实现对拍摄场景进行抓拍出清晰的图像。再由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,将至少两张原始图像进行拼接合成得到目标图像。将多张原始图像进行合成,就进一步提高了图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像生成方法的应用环境图;
图2为一个实施例中图像生成方法的流程图;
图3为图2中根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间的方法的流程图;
图4为另一个实施例中图像生成方法的流程图;
图5为一个具体的实施例中图像生成方法的流程图;
图6为一个实施例中图像生成装置的结构框图;
图7为另一个实施例中图像生成装置的结构框图;
图8为一个实施例中电子设备的内部结构示意图;
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一摄像头称为第二摄像头,且类似地,可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头,但其不是同一摄像头。
图1为一个实施例中图像生成方法的应用环境示意图。如图1所示,该应用环境包括电子设备100。电子设备100包含有至少一个第一摄像头110和至少两个第二摄像头120,其中,第一摄像头110的视场角大于第二摄像头120的视场角。当拍摄设备的抖动强度超出了预设范围时,则电子设备获取拍摄设备的抖动强度;根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长;由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;将至少两张原始图像进行拼接合成得到目标图像。可以理解的是,上述电子设备100即为拍摄设备,可以不限于是各种手机、电脑、可携带设备、相机等。
图2为一个实施例中图像生成方法的流程图,如图2所示,图像生成方法包括步骤220至步骤280。
步骤220,当拍摄设备的抖动强度超出了预设范围时,则获取拍摄设备的抖动强度。
具体的,抖动强度是指拍摄设备在进行拍摄时,拍摄设备在预设时间段内发生抖动幅度的大小。拍摄设备在预设时间段内发生抖动幅度的大小可以用角速度来表示,也可以用加速度来表示。可以采用拍摄设备中的加速度传感器来采集镜头的加速度,所采集到的加速度就可以体现出拍摄设备的抖动强度,加速度越大则拍摄设备的抖动强度就越大。也可以采用拍摄设备中的陀螺仪进行采集镜头的角速度,所采集到的角速度就可以体现出拍摄设备的抖动强度,角速度越大则拍摄设备的抖动强度就越大。一般情况下,拍摄设备都采用OIS防抖来进行拍摄,但是OIS防抖的补偿范围有限,一般可以对拍摄设备角速度在0-2°的抖动进行补偿,可以获取较好的防抖效果。
但是,当拍摄设备角速度超过2°时,则采用OIS防抖所获取的防抖效果较差,所拍摄出的图像比较模糊。因此,当检测到拍摄设备的抖动强度超出了预设范围(OIS防抖的补偿范围),则获取拍摄设备的抖动强度,即通过陀螺仪来获取拍摄设备的镜头的角速度。当然,还存在一种情况,就是拍摄设备并未发生移动,而是拍摄物发生了较快的移动,也同时适用。
步骤240,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长。
当检测到拍摄设备的抖动强度超出了预设范围(OIS防抖的补偿范围),则获取拍摄设备的抖动强度之后,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间。一般情况下,拍摄设备的抖动强度包括陀螺仪所获取的拍摄设备的镜头的角速度,当然还可以是不通过陀螺仪而所获取的镜头的移动信息,如通过加速度传感器所采集到的镜头的加速度。当拍摄设备的抖动强度包括陀螺仪所获取的拍摄设备的镜头的角速度时,即通过陀螺仪所获取的拍摄设备的镜头的角速度越大,则为拍摄设备的至少两个摄像头所配置的曝光时间越短。短曝光时间即对应于高速快门,采用高速快门就可以实现即使拍摄设备的抖动强度超出了OIS防抖的补偿范围,也能够拍摄出清晰的图像。例如,当拍摄设备的镜头的角速度为3°时,则超出了OIS防抖的补偿范围,则就可以根据拍摄设备的镜头的角速度为拍摄设备的至少两个摄像头配置短曝光时间(如1/100s、1/500s、1/1000s等),当然,这些短曝光时间是根据镜头的角速度对应设置的,可以是经过大量实验所得到的可以拍摄出清晰图像的曝光时间。
抖动时长是指拍摄设备发生单次抖动的持续时长,一般情况下,要保证单次的曝光时间小于拍摄设备的单次抖动时长,例如,若拍摄设备的单次抖动持续时长为1/100s,那么要保证单次的曝光时间小于拍摄设备的单次抖动持续时长,单次的曝光时间就可以是小于1/100s的任何数值,如1/500s、1/1000s等。
根据拍摄设备的镜头的角速度为拍摄设备的至少两个摄像头配置短曝光时间,其中,可以是为拍摄设备的至少两个摄像头分别配置不尽相同的短曝光时间。但是这些短曝光时间都要拍摄设备的单次抖动时长,或者在拍摄设备的单次抖动时长上进行较小的范围浮动。即可以是为拍摄设备的至少两个摄像头配置相同的短曝光时间,也可以是不同的曝光时间。当拍摄设备包含两个摄像头时,则可以是分别配置了两个不同的曝光时间;当拍摄设备包含三个摄像头时,则可以是分别配置了三个不同的曝光时间,也可以是为其中二个摄像头配置相同的曝光时间,而为另一个摄像头配置不同的曝光时间;当拍摄设备包含四个以上摄像头时,则可以是分别配置了四个不同的曝光时间,也可以是为其中任意二个或三个摄像头配置相同的曝光时间,而为另外两个或一个摄像头配置不同的曝光时间。
步骤260,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像。
在对拍摄设备的至少两个摄像头配置了曝光时间之后,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像。即可以是由每一个摄像头拍摄一张原始图像,也可以由每一个摄像头拍摄多张原始图像。
步骤280,将至少两张原始图像进行拼接合成得到目标图像。
将拍摄设备的至少两个摄像头拍摄得到的至少两张原始图像进行拼接合成,得到目标图像。此处的拼接合成过程与HDR(High-Dynamic Range,高动态范围图像)图像的合成过程类似,在此处就不在赘述。相比普通的图像,HDR图像可以提供更多的动态范围和图像细节。
本实施例中的图像生成方法,当拍摄设备的抖动强度超出了OIS防抖的预设范围时,即使采用OIS防抖也不能达到较好的防抖效果,因此舍弃OIS防抖而获取拍摄设备的抖动强度,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长,就可以实现对拍摄场景进行抓拍出清晰的图像。再由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,将至少两张原始图像进行拼接合成得到目标图像。将多张原始图像进行合成,就进一步提高了图像的清晰度。
在一个实施例中,如图3所示,步骤240,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长,包括:
步骤242,获取拍摄设备的镜头的角速度;
步骤244,根据角速度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长。
具体的,当拍摄设备的抖动强度包括陀螺仪所获取的拍摄设备的镜头的角速度时,即通过陀螺仪所获取的拍摄设备的镜头的角速度越大,则为拍摄设备的至少两个摄像头所配置的曝光时间越短。短曝光时间即对应于高速快门,采用高速快门就可以实现即使拍摄设备的抖动强度超出了OIS防抖的补偿范围,也能够拍摄出清晰的图像。例如,当拍摄设备的镜头的角速度为3°时,则超出了OIS防抖的补偿范围,则就可以根据拍摄设备的镜头的角速度为拍摄设备的至少两个摄像头配置短曝光时间(如1/100s、1/500s、1/1000s等),当然,这些短曝光时间是根据镜头的角速度对应设置的,可以是经过大量实验所得到的可以拍摄出清晰图像的曝光时间。一般情况下,要保证单次的曝光时间小于拍摄设备的单次抖动时长。
本申请实施例中,通过陀螺仪所检测到的镜头的角速度来确定拍摄设备的抖动强度,然后根据角速度为拍摄设备的至少两个摄像头配置曝光时间。由陀螺仪所检测出的镜头的角速度一般比较准确,因此进一步确定的曝光时间就会比较准确,从而由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄所生成的原始图像的清晰度较高。
在一个实施例中,拍摄设备包括第一摄像头及第二摄像头,第一摄像头的光圈大于第二摄像头的光圈;
步骤240,根据角速度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长,包括:
获取拍摄设备的第一摄像头,根据角速度为第一摄像头配置第一曝光时间,第一曝光时间小于拍摄设备的抖动时长;
获取拍摄设备的第二摄像头,根据角速度为第二摄像头配置第二曝光时间,第二曝光时间小于拍摄设备的抖动时长,且第一曝光时间小于第二曝光时间。
具体的,拍摄设备包括第一摄像头及第二摄像头,第一摄像头的光圈大于第二摄像头的光圈。第一摄像头的数量为至少一个以上,同样,第二摄像头的数量也为至少一个以上。在保证进光量的情况下,当摄像头的光圈较大时,则曝光时间就可以相应地减小一点,当摄像头的光圈较小时,则曝光时间就可以相应地增加一点。
因此,获取拍摄设备的第一摄像头,根据角速度为第一摄像头配置第一曝光时间,第一曝光时间小于拍摄设备的抖动时长。获取拍摄设备的第二摄像头,根据角速度为第二摄像头配置第二曝光时间,第二曝光时间小于拍摄设备的抖动时长,且第一曝光时间小于第二曝光时间。
当然,还需要考虑摄像头的其他参数来综合评估,例如,感光度ISO。感光度,又称为ISO值,是衡量底片对于光的灵敏程度。对于较不敏感的底片,需要曝光更长的时间以达到跟较敏感底片相同的成像,因此通常被称为慢速底片。高度敏感的底片因而称为快速底片。当其他拍摄参数都相同的情况下,高ISO的摄像模组则就可以稍微降低曝光时间。
本申请实施例中,根据摄像头不同的拍摄参数去为不同的摄像头对应配置不同的曝光时间,这样在保证曝光时间小于拍摄设备的抖动时长的同时,就可以获得尽量大的进光量。进光量可以保证图像的亮度,进而提高图像的清晰度。
一个实施例中,预设范围为拍摄设备OIS防抖的最大调整范围。
本申请实施例中,具体的,由拍摄设备中的陀螺仪进行采集镜头的角速度,所采集到的角速度就可以体现出拍摄设备的抖动强度,角速度越大则拍摄设备的抖动就越强。一般情况下,拍摄设备都采用OIS防抖来进行拍摄,但是OIS防抖的补偿范围有限,一般可以对拍摄设备角速度在0-2°的抖动进行补偿,可以获取较好的防抖效果。则拍摄设备OIS防抖的最大调整范围就是2°,当然,这个数值还可以是其他合理的数值。
在一个实施例中,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,包括:
由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行至少两次拍摄生成至少四张原始图像。
具体的,在对拍摄设备的至少两个摄像头配置了曝光时间之后,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行至少两次拍摄生成至少四张原始图像。即可以是由每一个摄像头进行至少两次拍摄得到至少两张原始图像。例如,第一摄像头进行两次拍摄得到两张原始图像,第二摄像头进行三次拍摄得到三张原始图像。可以是由第一摄像头采用对应配置的曝光时间进行第一次拍摄,判断拍摄所得到的原始图像的清晰度是否符合预设标准,若符合则在该曝光时间下再次拍摄一张原始图像。若判断出第一次拍摄所得到的原始图像的清晰度不符合预设标准,则就在该曝光时间的左右进行微小浮动,进行重新多次拍摄得到原始图像,直到拍摄得到清晰度符合预设标准的原始图像或拍摄出了清晰度比之前拍摄的图像的清晰度高的图像为止。
本申请实施例中,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行至少两次拍摄生成至少四张原始图像,或在配置的曝光时间的左右进行微小浮动,进行重新多次拍摄得到原始图像,直到拍摄得到清晰度符合预设标准的原始图像。最终所得的原始图像时清晰度符合预设标准的图像,从而提高后续进行图像拼接合成所得到的图像的清晰度。
在一个实施例中,将至少两张原始图像进行拼接合成得到目标图像,包括:
从至少两张原始图像中筛选出清晰度超过预设阈值的原始图像;
将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。
具体的,在经过前述由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像之后,从至少两张原始图像中筛查出清晰度超过预设阈值的原始图像,将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。例如,假设拍摄设备具有两个摄像头,则通过这两个摄像头分别进行一次拍摄得到两张原始图像。从这两张原始图像中筛选出清晰度超过预设阈值的原始图像,将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。如果这两张原始图像的清晰度都超过预设阈值,则就将这两张原始图像进行拼接合成,如果仅有一张原始图像的清晰度超过预设阈值,则可以直接将该原始图像进行输出作为目标图像,当然还可以采用拍摄出清晰度不符合预设阈值的摄像头重新配置曝光参数进行重新拍摄,再进行拼接合成得到目标图像。
例如,假设拍摄设备具有两个摄像头,则通过这两个摄像头分别进行两次拍摄得到四张原始图像。从这四张原始图像中筛选出清晰度超过预设阈值的原始图像,将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。如果这四张原始图像的清晰度都超过预设阈值,则就将这四张原始图像进行拼接合成,如果仅有一张原始图像的清晰度超过预设阈值,则可以直接将该原始图像进行输出作为目标图像,当然还可以采用拍摄出清晰度不符合预设阈值的摄像头重新配置曝光参数进行重新拍摄,再进行拼接合成得到目标图像。
本申请实施例中,对摄像头所拍摄出的所有原始图像进行筛选出清晰度超过预设阈值的原始图像,再进行拼接合成得到目标图像。能够对合成目标图像的原始图像进行筛选,避免清晰度太低的原始图像对最终合成的目标图像的清晰度造成影响。且也可以对拍摄出不符合预设阈值的摄像头重新配置曝光参数进行重新拍摄,再进行拼接合成得到目标图像,其一避免浪费摄像头资源,其二增加原始图像的数目,有利于提高最终合成的目标图像的清晰度。
在一个实施例中,还提供了一种图像生成方法,所述方法还包括:当拍摄设备的抖动强度超出了预设范围时,则对拍摄设备进行OIS防抖补偿,将OIS防抖补偿参数调整至所述最大调整范围。
如图4所示,该图像生成方法的步骤包括:
步骤420,当拍摄设备的抖动强度超出了预设范围时,则对拍摄设备进行OIS防抖补偿,将OIS防抖补偿参数调整至所述最大调整范围。
步骤440,获取拍摄设备的抖动强度,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长。
具体的,由拍摄设备中的陀螺仪进行采集镜头的角速度,所采集到的角速度就可以体现出拍摄设备的抖动强度,角速度越大则拍摄设备的抖动就越强。一般情况下,拍摄设备都采用OIS防抖来进行拍摄,但是OIS防抖的补偿范围有限,一般可以对拍摄设备角速度在0-2°的抖动进行补偿,可以获取较好的防抖效果。但是,当拍摄设备角速度超过2°时,则采用OIS防抖所获取的防抖效果较差,所拍摄出的图像比较模糊。因此,当检测到拍摄设备的抖动强度超出了预设范围(OIS防抖的最大补偿范围),首先对拍摄设备进行OIS防抖调整至预设范围即OIS防抖的最大补偿范围,然后再获取拍摄设备的抖动强度,根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间。当然,也可以对拍摄设备进行OIS防抖调整至接近OIS防抖的最大补偿范围。其中,曝光时间小于拍摄设备的抖动时长。且因为对拍摄设备采用OIS防抖补偿了一部分抖动,所以就相当于降低了拍摄设备的抖动强度,所以所配置的曝光时间就可以稍微长一点,长一点的曝光时间能够保证一定的进光量,从而提高图像的清晰度。
步骤460,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像。
在对拍摄设备的至少两个摄像头配置了曝光时间之后,由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像。即可以是由每一个摄像头拍摄一张原始图像,也可以由每一个摄像头拍摄多张原始图像。
步骤480,将至少两张原始图像进行拼接合成得到目标图像。
将拍摄设备的至少两个摄像头拍摄得到的至少两张原始图像进行拼接合成,得到目标图像。此处的拼接合成过程与HDR(High-Dynamic Range,高动态范围图像)图像的合成过程类似,在此处就不在赘述。相比普通的图像,HDR图像可以提供更多的动态范围和图像细节。
本实施例中的图像生成方法,当拍摄设备的抖动强度超出了OIS防抖的预设范围时,首先对拍摄设备采用OIS防抖进行调整至OIS防抖的最大补偿范围,然后根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长。因为对拍摄设备采用OIS防抖补偿了一部分抖动,所以就相当于降低了拍摄设备的抖动强度,所以所配置的曝光时间就可以稍微长一点,长一点的曝光时间能够保证一定的进光量,从而提高图像的清晰度。再由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,将至少两张原始图像进行拼接合成得到目标图像。将多张原始图像进行合成,就进一步提高了图像的清晰度。
在一个具体的实施例中,以电子设备包含1个第一摄像头310和2个第二摄像头为例进行说明,如图5所示,
步骤502,获取拍摄设备中的陀螺仪进行采集镜头的角速度;
步骤504,判断陀螺仪所采集到镜头的角速度是否超出了OIS防抖的最大补偿范围;
步骤506,若否,则采用OIS防抖进行补偿之后,进行拍摄。
步骤508,若是,则获取拍摄设备的抖动强度,角速度越大则拍摄设备的抖动强度就越大;
步骤510,根据拍摄设备的抖动强度为拍摄设备的三个摄像头分别配置三个不同的曝光时间,曝光时间小于拍摄设备的单次抖动时长;
步骤512,由拍摄设备的三个摄像头采用对应配置的曝光时间进行拍摄生成三张原始图像;
步骤514,从三张原始图像中筛选出清晰度超过预设阈值的原始图像;
步骤516,将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。
本申请实施例中,通过陀螺仪所检测到的镜头的角速度来确定拍摄设备的抖动强度,然后根据角速度为拍摄设备的至少两个摄像头配置曝光时间。由拍摄设备的三个摄像头采用对应配置的曝光时间进行拍摄生成三张原始图像,对摄像头所拍摄出的所有原始图像进行筛选出清晰度超过预设阈值的原始图像,再进行拼接合成得到目标图像。能够对合成目标图像的原始图像进行筛选,避免清晰度太低的原始图像对最终合成的目标图像的清晰度造成影响。从而,提高目标图像的清晰度。
应该理解的是,虽然图2及图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2及图5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种图像生成装置600,包括:
拍摄设备的抖动强度获取模块620,用于当拍摄设备的抖动强度超出了预设范围时,则获取拍摄设备的抖动强度;
曝光时间配置模块640,用于根据拍摄设备的抖动强度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长;
原始图像生成模块660,用于由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;
拼接合成模块680,用于将至少两张原始图像进行拼接合成得到目标图像。
在一个实施例中,曝光时间配置模块640,还用于获取拍摄设备的镜头的角速度;根据角速度为拍摄设备的至少两个摄像头配置曝光时间,曝光时间小于拍摄设备的抖动时长。
在一个实施例中,拍摄设备包括第一摄像头及第二摄像头,第一摄像头的光圈大于第二摄像头的光圈;曝光时间配置模块640,还用于获取拍摄设备的第一摄像头,根据角速度为第一摄像头配置第一曝光时间,第一曝光时间小于拍摄设备的抖动时长;获取拍摄设备的第二摄像头,根据角速度为第二摄像头配置第二曝光时间,第二曝光时间小于拍摄设备的抖动时长,且第一曝光时间小于第二曝光时间。
在一个实施例中,预设范围为拍摄设备OIS防抖的最大调整范围。
在一个实施例中,原始图像生成模块660,还用于由拍摄设备的至少两个摄像头采用对应配置的曝光时间进行至少两次拍摄生成至少四张原始图像。
在一个实施例中,拼接合成模块680,用于从至少两张原始图像中筛选出清晰度超过预设阈值的原始图像;将清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。
在一个实施例中,如图7所示,提供了一种图像生成装置600,还包括OIS防抖模块610,用于当拍摄设备的抖动强度超出了预设范围时,则对拍摄设备进行OIS防抖补偿,将OIS防抖补偿参数调整至所述最大调整范围。
上述图像生成装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像生成装置按照需要划分为不同的模块,以完成上述图像生成装置的全部或部分功能。
图8为一个实施例中电子设备的内部结构示意图。如图8所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示,图像处理电路包括第一ISP处理器930、第二ISP处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器940处理的一组图像数据。
第一摄像头910采集的第一图像传输给第一ISP处理器930进行处理,第一ISP处理器930处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950,控制逻辑器950可根据统计数据确定第一摄像头910的控制参数,从而第一摄像头910可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器930进行处理后可存储至图像存储器960中,第一ISP处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外,第一图像经过ISP处理器930进行处理后可直接发送至显示器970进行显示,显示器970也可以读取图像存储器960中的图像以进行显示。
其中,第一ISP处理器930按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一ISP处理器930可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像存储器960可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器914接口时,第一ISP处理器930可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器960,以便在被显示之前进行另外的处理。第一ISP处理器930从图像存储器960接收处理数据,并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器930处理后的图像数据可输出给显示器970,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器930的输出还可发送给图像存储器960,且显示器970可从图像存储器960读取图像数据。在一个实施例中,图像存储器960可被配置为实现一个或多个帧缓冲器。
第一ISP处理器930确定的统计数据可发送给控制逻辑器950。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头910的控制参数及第一ISP处理器930的控制参数。例如,第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜912阴影校正参数。
同样地,第二摄像头920采集的第二图像传输给第二ISP处理器940进行处理,第二ISP处理器940处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950,控制逻辑器950可根据统计数据确定第二摄像头920的控制参数,从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器940进行处理后可存储至图像存储器960中,第二ISP处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外,第二图像经过ISP处理器940进行处理后可直接发送至显示器970进行显示,显示器970也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二ISP处理器940也可以实现如第一摄像头910和第一ISP处理器930所描述的处理过程。
根据本申请实施例提供的图像处理电路可以实现上述图像生成方法。其中,电子设备可以多个摄像头,摄像头包括镜头及与镜头对应设置的图像传感器,多个摄像头中的图像传感器采用矩形对角线的方式排列。电子设备实现该图像生成方法的过程如上述实施例,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行图像生成方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像生成方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像生成方法,其特征在于,包括:
当拍摄设备的抖动强度超出了预设范围时,则获取所述拍摄设备的抖动强度;
根据所述拍摄设备的抖动强度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长;
由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;
将所述至少两张原始图像进行拼接合成得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述拍摄设备的抖动强度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长,包括:
获取所述拍摄设备的镜头的角速度;
根据所述角速度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长。
3.根据权利要求2所述的方法,其特征在于,所述拍摄设备包括第一摄像头及第二摄像头,所述第一摄像头的光圈大于所述第二摄像头的光圈;
所述根据所述角速度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长,包括:
获取所述拍摄设备的第一摄像头,根据所述角速度为所述第一摄像头配置第一曝光时间,所述第一曝光时间小于所述拍摄设备的抖动时长;
获取所述拍摄设备的第二摄像头,根据所述角速度为所述第二摄像头配置第二曝光时间,所述第二曝光时间小于所述拍摄设备的抖动时长,且所述第一曝光时间小于所述第二曝光时间。
4.根据权利要求1所述的方法,其特征在于,所述预设范围为所述拍摄设备光学防抖OIS的最大调整范围。
5.根据权利要求1所述的方法,其特征在于,所述由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像,包括:
由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行至少两次拍摄生成至少四张原始图像。
6.根据权利要求1所述的方法,其特征在于,所述将所述至少两张原始图像进行拼接合成得到目标图像,包括:
从所述至少两张原始图像中筛选出清晰度超过预设阈值的原始图像;
将所述清晰度超过预设阈值的原始图像进行拼接合成得到目标图像。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当拍摄设备的抖动强度超出了预设范围时,则对拍摄设备进行OIS防抖补偿,将OIS防抖补偿参数调整至所述最大调整范围。
8.一种图像生成装置,其特征在于,包括:
拍摄设备的抖动强度获取模块,用于当拍摄设备的抖动强度超出了预设范围时,则获取所述拍摄设备的抖动强度;
曝光时间配置模块,用于根据所述拍摄设备的抖动强度为所述拍摄设备的至少两个摄像头配置曝光时间,所述曝光时间小于所述拍摄设备的抖动时长;
原始图像生成模块,用于由所述拍摄设备的至少两个摄像头采用对应配置的曝光时间进行拍摄生成至少两张原始图像;
拼接合成模块,用于将所述至少两张原始图像进行拼接合成得到目标图像。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像生成方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910578445.0A CN110266966A (zh) | 2019-06-28 | 2019-06-28 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910578445.0A CN110266966A (zh) | 2019-06-28 | 2019-06-28 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110266966A true CN110266966A (zh) | 2019-09-20 |
Family
ID=67923153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910578445.0A Pending CN110266966A (zh) | 2019-06-28 | 2019-06-28 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110266966A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112040126A (zh) * | 2020-08-31 | 2020-12-04 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
CN112135051A (zh) * | 2020-09-24 | 2020-12-25 | 维沃移动通信有限公司 | 防抖控制方法及装置 |
CN112672055A (zh) * | 2020-12-25 | 2021-04-16 | 维沃移动通信有限公司 | 拍照方法、装置及设备 |
CN112738399A (zh) * | 2020-12-29 | 2021-04-30 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置和电子设备 |
CN113452919A (zh) * | 2021-07-21 | 2021-09-28 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
CN114732425A (zh) * | 2022-03-09 | 2022-07-12 | 深圳市智影医疗科技有限公司 | 一种提升dr胸片成像质量的方法及系统 |
CN115278053A (zh) * | 2022-06-23 | 2022-11-01 | 维沃移动通信有限公司 | 图像拍摄方法和电子设备 |
CN116709043A (zh) * | 2022-02-25 | 2023-09-05 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4378237B2 (ja) * | 2004-07-26 | 2009-12-02 | キヤノン株式会社 | 撮影装置 |
CN105657273A (zh) * | 2016-02-19 | 2016-06-08 | 广东欧珀移动通信有限公司 | 安全快门时间的设定方法、装置及移动终端 |
CN106331514A (zh) * | 2016-09-07 | 2017-01-11 | 青岛海信移动通信技术股份有限公司 | 一种控制超长曝光的方法及终端 |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN107566748A (zh) * | 2017-09-22 | 2018-01-09 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
-
2019
- 2019-06-28 CN CN201910578445.0A patent/CN110266966A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4378237B2 (ja) * | 2004-07-26 | 2009-12-02 | キヤノン株式会社 | 撮影装置 |
CN105657273A (zh) * | 2016-02-19 | 2016-06-08 | 广东欧珀移动通信有限公司 | 安全快门时间的设定方法、装置及移动终端 |
CN106331514A (zh) * | 2016-09-07 | 2017-01-11 | 青岛海信移动通信技术股份有限公司 | 一种控制超长曝光的方法及终端 |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN107566748A (zh) * | 2017-09-22 | 2018-01-09 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112040126A (zh) * | 2020-08-31 | 2020-12-04 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
CN112135051A (zh) * | 2020-09-24 | 2020-12-25 | 维沃移动通信有限公司 | 防抖控制方法及装置 |
CN112672055A (zh) * | 2020-12-25 | 2021-04-16 | 维沃移动通信有限公司 | 拍照方法、装置及设备 |
CN112738399A (zh) * | 2020-12-29 | 2021-04-30 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置和电子设备 |
CN113452919A (zh) * | 2021-07-21 | 2021-09-28 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
CN113452919B (zh) * | 2021-07-21 | 2022-04-19 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
CN116709043A (zh) * | 2022-02-25 | 2023-09-05 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN114732425A (zh) * | 2022-03-09 | 2022-07-12 | 深圳市智影医疗科技有限公司 | 一种提升dr胸片成像质量的方法及系统 |
CN115278053A (zh) * | 2022-06-23 | 2022-11-01 | 维沃移动通信有限公司 | 图像拍摄方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371081B2 (ja) | 夜景撮影方法、装置、電子機器および記憶媒体 | |
CN110266966A (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN112087580B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN110278360B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107509044B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN110290323B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN110636216B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110213498B (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110475067B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109862269A (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
CN110233970A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN111246100B (zh) | 防抖参数的标定方法、装置和电子设备 | |
CN110166705A (zh) | 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110177212B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN111432118A (zh) | 图像防抖处理方法、装置、电子设备和存储介质 | |
CN112087571A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
CN110430370A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112019734B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
CN110290325A (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |