CN113364975A - 一种图像的融合方法及电子设备 - Google Patents
一种图像的融合方法及电子设备 Download PDFInfo
- Publication number
- CN113364975A CN113364975A CN202110506754.4A CN202110506754A CN113364975A CN 113364975 A CN113364975 A CN 113364975A CN 202110506754 A CN202110506754 A CN 202110506754A CN 113364975 A CN113364975 A CN 113364975A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- electronic device
- viewing range
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 114
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 46
- 230000004044 response Effects 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 description 52
- 238000009432 framing Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 238000010295 mobile communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
一种图像的融合方法及电子设备,涉及电子设备技术领域,可以简化拍摄多张具备不同特点图像的过程。具体方案包括:响应于第一操作,电子设备可以通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像。电子设备可以对第一图像进行处理,得到第四图像,第四图像中第一区域图像的分辨率与第二图像的分辨率相同。之后,电子设备可以对第二图像和第四图像进行图像融合,得到第五图像。电子设备可以对第三图像进行处理,得到第六图像,第六图像中第二区域图像的分辨率与第一图像的分辨率相同。之后,电子设备可以对第五图像和第六图像进行图像融合,得到第七图像。
Description
技术领域
本申请实施例涉及电子设备技术领域,尤其涉及一种图像的融合方法及电子设备。
背景技术
随着电子技术的发展,电子设备(如手机、平板电脑或智能手表等)的功能越来越多。例如,大多数电子设备中均可以安装摄像头,使电子设备具有拍摄图像的功能。
以手机为例,手机中可以安装多个摄像头,如主摄像头、长焦摄像头和广角摄像头等。其中,基于上述各个摄像头的特点,手机可以在同一个拍摄场景下,采用不同的摄像头拍摄图像,以得到不同特点的图像。例如,基于长焦摄像头焦距长的特点,手机可以采用长焦摄像头,拍摄得到局部清晰的长焦图像。又例如,基于主摄像头进光量大和分辨率高的特点,手机可以采用主摄像头,拍摄整体较为清晰的图像。又例如,基于广角摄像头焦距短和视角大的特点,手机可以采用广角摄像头,拍摄视角较大的图像。
然而,常规技术中,电子设备需要响应于用户的多次操作,才可以拍摄得到多张具备不同特点的图像。电子设备的拍摄过程较为繁琐,影响用户的拍摄体验。
发明内容
本申请提供一种图像的融合方法及电子设备,能够简化拍摄多张具备不同特点图像的过程,提高用户的拍摄体验。
第一方面,本申请提供一种图像的融合的方法,该方法可以应用于电子设备,该电子设备包括第一摄像头、第二摄像头和第三摄像头,第一摄像头的视场角大于第二摄像头的视场角,第三摄像头的视场角大于第一摄像头的视场角。
该方法中,电子设备检测到第一操作。响应于第一操作,电子设备可以通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像。其中,第一摄像头采集第一图像的取景范围是第一取景范围,第二摄像头采集第二图像的取景范围是第二取景范围,第三摄像头采集第三图像的取景范围是第三取景范围,第三取景范围大于第一取景范围,第一取景范围大于第二取景范围。电子设备可以对第一图像进行处理,得到第四图像。其中,第四图像包括第一区域图像,第四图像中第一区域图像的分辨率和第二图像的分辨率相同,第一区域图像相对于第一摄像头的取景范围是第四取景范围,第一取景范围包括第四取景范围,第四取景范围与第二取景范围重合。之后,电子设备可以对第二图像和第四图像进行图像融合,得到第五图像。
可以理解的是,由于第四图像中的第一区域图像的分辨率与第二图像的分辨率相同,且第一区域图像的取景范围与第二取景范围相同。因此,电子设备可以对第二图像和第四图像进行图像融合。并且,第二图像具备局部图像(即远处物体的图像)清晰的特点,第四图像具备整体图像较为清晰的特点。电子设备将第二图像和第四图像进行图像融合,可以综合第二图像和第四图像的特点,得到整体图像清晰度较高和局部图像清晰度较高的第五图像。也就是说,该第五图像综合了第二图像和第一图像的特点。如此,可以提高电子设备拍摄的图像质量。
电子设备可以对第三图像进行处理,得到第六图像。其中,第六图像包括第二区域图像,第六图像中第二区域图像的分辨率和第一图像的分辨率相同,第二区域图像相对于第三摄像头的取景范围是第五取景范围,第三取景范围包括第五取景范围,第五取景范围与第一取景范围重合。之后,电子设备可以对第五图像和第六图像进行图像融合,得到第七图像。
可以理解的是,由于第六图像中的第二区域图像的分辨率与第五图像的分辨率相同,且第二区域图像的取景范围与第五图像的取景范围相同。因此,电子设备可以对第五图像和第六图像进行图像融合。并且,第五图像具备整体图像较为清晰和局部图像(即远处物体的图像)清晰的特点,第六图像的取景范围较大。电子设备将第五图像和第六图像进行图像融合,可以综合第五图像和第六图像的特点,得到取景范围较大、整体图像清晰度较高和局部图像清晰度较高的第七图像。也就是说,该第七图像综合了第一图像、第二图像和第三图像的特点。如此,可以提高电子设备拍摄的图像质量,
并且,综上可知,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验。
结合第一方面,在一种可能的设计方式中,电子设备对第一图像进行处理,得到第四图像,包括:电子设备可以对第一图像进行超分辨率重建,得到第四图像。
可以理解的是,电子设备对第一图像进行超分辨率重建,可以扩大第一图像的分辨率,即第四图像的分辨率大于第一图像的分辨率。如此,可以保障得到的第四图像中第一区域图像的分辨率与第二图像的分辨率相同。进而可以保障电子设备将第四图像和第二图像进行融合,得到具备不同图像特点的图像。
结合第一方面,在另一种可能的设计方式中,电子设备对第三图像进行处理,得到第六图像,包括:电子设备可以对第三图像进行超分辨率重建,得到第六图像。
可以理解的是,电子设备对第三图像进行超分辨率重建,可以扩大第三图像的分辨率,即第六图像的分辨率大于第三图像的分辨率。如此,可以保障得到的第六图像中第二区域图像的分辨率与第一图像的分辨率相同。进而可以保障电子设备将第六图像和第五图像进行融合,得到具备不同图像特点的图像。
结合第一方面,在另一种可能的设计方式中,在电子设备对第五图像和第六图像进行图像融合,得到第七图像之后,该方法还包括:电子设备可以接收第二操作,第二操作用于触发电子设备显示第七图像。响应于第二操作,电子设备可以显示第一界面,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面。其中,第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
示例性的,第七图像可以第三区域图像为中心,按照缩放倍率从大到小自动缩放该第七图像。其中,第七图像的最大缩放倍率为第二图像的缩放倍率,第七图像的最小缩放倍率为第三图像的缩放倍率。
可以理解的是,电子设备以动态模式显示第七图像,可以使用户观看动态图像,增加了图像查看的趣味性。
结合第一方面,在另一种可能的设计方式中,第一播放界面还包括第一速度选项和第一倍率选项;其中,第一速度选项用于调整动态画面中的播放速度,第一倍率选项用于调整第一界面中第七图像的最大缩放倍率。该方法还包括:电子设备可以响应于用户对第一速度选项的调整操作,调整动态画面的播放速度。电子设备可以响应于用户对第一倍率选项的调整操作,调整第七图像的最大缩放倍率。
示例性的,第一速度选项可以指示电子设备以100ixel/s或20%FOV/s自动缩放第七图像。第二图像的缩放倍率为4X时,第七图像的最大放大倍率可以为4X。
可以理解的是,通过第一速度选项和第一倍率选项,可以使用户调整图像的缩放速度和最大放大倍率,提高了用户的使用体验。
结合第一方面,在另一种可能的设计方式中,第一界面还包括手动播放按钮,手动播放按钮用于触发电子设备显示第二界面。其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。
也就是说,电子设备可以从动态播放第七图像的模式切换为手动播放第七图像的模式。如此,可以使用户灵活选择显示第七图像的模式,提高了用户的使用体验。
结合第一方面,在另一种可能的设计方式中,在电子设备对第五图像和第六图像进行图像融合,得到第七图像之后,方法还包括:电子设备可以接收第二操作,第二操作用于触发电子设备显示第七图像。响应于第二操作,电子设备可以显示第二界面,该第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。该方法还包括:电子设备可以接收用户在预设倍率选项设置的缩放倍率,按照用户设置的缩放倍率显示第七图像。
可以理解的是,在电子设备接收到作用于预设倍率选项的操作后,电子设备可以显示以预设倍率缩放的图像。也就是说,第七图像可以显示具备不同图像(例如第一图像、第二图像或第三图像)特点的区域。如此,可以使用户在一幅图像中就可以看到不同图像的特点,提高了用户的使用体验。
结合第一方面,在另一种可能的设计方式中,第二界面还包括自动播放按钮,自动播放按钮用于触发电子设备显示第一界面。其中,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
也就是说,电子设备可以从手动播放第七图像的模式切换为动态播放第七图像的模式。如此,可以使用户灵活选择显示第七图像的模式,提高了用户的使用体验。
结合第一方面,在另一种可能的设计方式中,第一界面包括格式转换按钮,格式转换按钮用于触发电子设备转换第七图像的文件格式。该方法还包括:电子设备接收作用于格式转换按钮的第三操作,生成第一文件;其中,第一文件为第七图像以第三区域图像为中心、自动缩放的视频文件;或者,第一文件为以第三区域图像为中心、自动缩放第七图像的图形交换格式GIF图像。
可以理解的是,第一文件可以在任一电子设备中自动缩放第七图像。如此,其他的电子设备接收到第一文件之后,可以显示自动缩放的第七图像,提高了用户的使用体验。
结合第一方面,在另一种可能的设计方式中,第一摄像头为主摄像头,第二摄像头为长焦摄像头,第三摄像头为广角摄像头。
其中,在第一摄像头为主摄像头时,第一图像为主图像。在第二摄像头为长焦摄像头时,第二图像为长焦图像。在第三摄像头为广角摄像头时,第三图像为广角图像。也就是说,电子设备得到的第七图像具备取景范围较大、整体图像清晰度较高和局部图像清晰度较高的多个特点。也就是说,该第七图像综合了主图像、长焦图像和广角图像的特点。如此,可以提高电子设备拍摄的图像质量。并且,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验。
第二方面,本申请提供一种图像的融合的方法,该方法可以应用于电子设备,该电子设备包括第一摄像头、第二摄像头、第三摄像头和第四摄像头,第一摄像头的视场角大于第二摄像头的视场角,第三摄像头的视场角大于第一摄像头的视场角,第四摄像头的视场角与第一摄像头的视场角相同。
该方法中,该方法中,电子设备检测到第一操作。响应于第一操作,电子设备可以通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像,通过第四摄像头采集第八图像。其中,第一摄像头采集第一图像的取景范围是第一取景范围,第二摄像头采集第二图像的取景范围是第二取景范围,第三摄像头采集第三图像的取景范围是第三取景范围,第三取景范围大于第一取景范围,第一取景范围大于第二取景范围,第四摄像头采集第八图像的取景范围与第一取景范围相同。电子设备可以对第一图像和第八图像进行图像融合,得到第九图像。
可以理解的是,图像融合能够提高图像质量。电子设备将第一图像和第八图像进行图像融合,得到的第九图像的图像质量将高于第一图像(或者第八图像)的图像质量。如此,能够提高电子设备拍摄的图像质量。
电子设备可以对第九图像进行处理,得到第四图像。其中,第四图像包括第一区域图像,第四图像中第一区域图像的分辨率和第二图像的分辨率相同,第一区域图像相对于第一摄像头的取景范围是第四取景范围,第一取景范围包括第四取景范围,第四取景范围与第二取景范围重合。之后,电子设备可以对第二图像和第四图像进行图像融合,得到第五图像。
可以理解的是,由于第九图像是经过图像融合得到的图像,图像质量较高。因此,第四图像的图像质量较高。并且,由于第四图像中的第一区域图像的分辨率与第二图像的分辨率相同,且第一区域图像的取景范围与第二取景范围相同。因此,电子设备可以对第二图像和第四图像进行图像融合。并且,第二图像具备局部图像(即远处物体的图像)清晰的特点,第四图像具备整体图像较为清晰的特点。电子设备将第二图像和第四图像进行图像融合,可以综合第二图像和第四图像的特点,得到整体图像清晰度较高和局部图像清晰度较高的第五图像。也就是说,该第五图像综合了第二图像和第一图像的特点。如此,可以提高电子设备拍摄的图像质量。
电子设备可以对第三图像进行处理,得到第六图像。其中,第六图像包括第二区域图像,第六图像中第二区域图像的分辨率和第一图像的分辨率相同,第二区域图像相对于第三摄像头的取景范围是第五取景范围,第三取景范围包括第五取景范围,第五取景范围与第一取景范围重合。电子设备可以对第五图像和第六图像进行图像融合,得到第七图像。
可以理解的是,由于第六图像中的第二区域图像的分辨率与第五图像的分辨率相同,且第二区域图像的取景范围与第五图像的取景范围相同。因此,电子设备可以对第五图像和第六图像进行图像融合。并且,第五图像具备整体图像较为清晰和局部图像(即远处物体的图像)清晰的特点,第六图像的取景范围较大。电子设备将第五图像和第六图像进行图像融合,可以综合第五图像和第六图像的特点,得到取景范围较大、整体图像清晰度较高和局部图像清晰度较高的第七图像。也就是说,该第七图像综合了第一图像、第二图像和第三图像的特点。如此,可以提高电子设备拍摄的图像质量,
并且,综上可知,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验。
结合第二方面,在一种可能的设计方式中,电子设备对第九图像进行处理,得到第四图像,包括:电子设备可以对第九图像进行超分辨率重建,得到第四图像。
可以理解的是,电子设备对第九图像进行超分辨率重建,可以扩大第九图像的分辨率,即第四图像的分辨率大于第九图像的分辨率。如此,可以保障得到的第四图像中第一区域图像的分辨率与第二图像的分辨率相同。进而可以保障电子设备将第四图像和第二图像进行融合,得到具备不同图像特点的图像。
结合第二方面,在另一种可能的设计方式中,电子设备对第三图像进行处理,得到第六图像,包括:电子设备可以对第三图像进行超分辨率重建,得到第六图像。
可以理解的是,电子设备对第三图像进行超分辨率重建,可以扩大第三图像的分辨率,即第六图像的分辨率大于第三图像的分辨率。如此,可以保障得到的第六图像中第二区域图像的分辨率与第一图像的分辨率相同。进而可以保障电子设备将第六图像和第五图像进行融合,得到具备不同图像特点的图像。
结合第二方面,在另一种可能的设计方式中,在电子设备对第五图像和第六图像进行图像融合,得到第七图像之后,该方法还包括:电子设备可以接收第二操作,第二操作用于触发电子设备显示第七图像。响应于第二操作,电子设备可以显示第一界面,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面。其中,第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
示例性的,第七图像可以第三区域图像为中心,按照缩放倍率从大到小自动缩放该第七图像。其中,第七图像的最大缩放倍率为第二图像的缩放倍率,第七图像的最小缩放倍率为第三图像的缩放倍率。
可以理解的是,电子设备以动态模式显示第七图像,可以使用户观看动态图像,增加了图像查看的趣味性。
结合第二方面,在另一种可能的设计方式中,第一播放界面还包括第一速度选项和第一倍率选项;其中,第一速度选项用于调整动态画面中的播放速度,第一倍率选项用于调整第一界面中第七图像的最大缩放倍率。该方法还包括:电子设备可以响应于用户对第一速度选项的调整操作,调整动态画面的播放速度。电子设备可以响应于用户对第一倍率选项的调整操作,调整第七图像的最大缩放倍率。
示例性的,第一速度选项可以指示电子设备以100ixel/s或20%FOV/s自动缩放第七图像。第二图像的缩放倍率为4X时,第七图像的最大放大倍率可以为4X。
可以理解的是,通过第一速度选项和第一倍率选项,可以使用户调整图像的缩放速度和最大放大倍率,提高了用户的使用体验。
结合第二方面,在另一种可能的设计方式中,第一界面还包括手动播放按钮,手动播放按钮用于触发电子设备显示第二界面。其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。
也就是说,电子设备可以从动态播放第七图像的模式切换为手动播放第七图像的模式。如此,可以使用户灵活选择显示第七图像的模式,提高了用户的使用体验。
结合第二方面,在另一种可能的设计方式中,在电子设备对第五图像和第六图像进行图像融合,得到第七图像之后,方法还包括:电子设备可以接收第二操作,第二操作用于触发电子设备显示第七图像。响应于第二操作,电子设备可以显示第二界面,该第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。该方法还包括:电子设备可以接收用户在预设倍率选项设置的缩放倍率,按照用户设置的缩放倍率显示第七图像。
可以理解的是,在电子设备接收到作用于预设倍率选项的操作后,电子设备可以显示以预设倍率缩放的图像。也就是说,第七图像可以显示具备不同图像(例如第一图像、第二图像或第三图像)特点的区域。如此,可以使用户在一幅图像中就可以看到不同图像的特点,提高了用户的使用体验。
结合第二方面,在另一种可能的设计方式中,第二界面还包括自动播放按钮,自动播放按钮用于触发电子设备显示第一界面。其中,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
也就是说,电子设备可以从手动播放第七图像的模式切换为动态播放第七图像的模式。如此,可以使用户灵活选择显示第七图像的模式,提高了用户的使用体验。
结合第二方面,在另一种可能的设计方式中,第一界面包括格式转换按钮,格式转换按钮用于触发电子设备转换第七图像的文件格式。该方法还包括:电子设备接收作用于格式转换按钮的第三操作,生成第一文件;其中,第一文件为第七图像以第三区域图像为中心、自动缩放的视频文件;或者,第一文件为以第三区域图像为中心、自动缩放第七图像的图形交换格式GIF图像。
可以理解的是,第一文件可以在任一电子设备中自动缩放第七图像。如此,其他的电子设备接收到第一文件之后,可以显示自动缩放的第七图像,提高了用户的使用体验。
结合第二方面,在另一种可能的设计方式中,第一摄像头为主摄像头,第二摄像头为长焦摄像头,第三摄像头为广角摄像头。
其中,在第一摄像头为主摄像头时,第一图像为主图像。在第二摄像头为长焦摄像头时,第二图像为长焦图像。在第三摄像头为广角摄像头时,第三图像为广角图像。也就是说,电子设备得到的第七图像具备取景范围较大、整体图像清晰度较高和局部图像清晰度较高的多个特点。也就是说,该第七图像综合了主图像、长焦图像和广角图像的特点。如此,可以提高电子设备拍摄的图像质量。并且,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验
第三方面,本申请提供一种电子设备,该电子设备包括:存储器、显示屏和处理器,上述存储器、显示屏与上述处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被所述处理器执行时,上述处理器,用于检测到第一操作。上述处理器,还用于响应于第一操作,通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像;其中,第一摄像头采集第一图像的取景范围是第一取景范围,第二摄像头采集第二图像的取景范围是第二取景范围,第三摄像头采集第三图像的取景范围是第三取景范围,第三取景范围大于第一取景范围,第一取景范围大于第二取景范围。上述处理器,还用于对第一图像进行处理,得到第四图像;其中,第四图像包括第一区域图像,第四图像中第一区域图像的分辨率和第二图像的分辨率相同,第一区域图像相对于第一摄像头的取景范围是第四取景范围,第一取景范围包括第四取景范围,第四取景范围与第二取景范围重合。上述处理器,还用于对第二图像和第四图像进行图像融合,得到第五图像。上述处理器,还用于对第三图像进行处理,得到第六图像;其中,第六图像包括第二区域图像,第六图像中第二区域图像的分辨率和第一图像的分辨率相同,第二区域图像相对于第三摄像头的取景范围是第五取景范围,第三取景范围包括第五取景范围,第五取景范围与第一取景范围重合。上述处理器,还用于对第五图像和第六图像进行图像融合,得到第七图像。
结合第三方面,在一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,具体用于对第一图像进行超分辨率重建,得到第四图像。
结合第三方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还具体用于对第三图像进行超分辨率重建,得到第六图像。
结合第三方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还用于接收第二操作,第二操作用于触发显示屏显示第七图像。响应于第二操作,显示屏显示第一界面,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;其中,第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
结合第三方面,在另一种可能的设计方式中,第一播放界面还包括第一速度选项和第一倍率选项;其中,第一速度选项用于调整动态画面中的播放速度,第一倍率选项用于调整第一界面中第七图像的最大缩放倍率。当计算机指令被所述处理器执行时,上述处理器,还用于响应于用户对第一速度选项的调整操作,调整动态画面的播放速度。上述处理器,还用于响应于用户对第一倍率选项的调整操作,调整第七图像的最大缩放倍率。
结合第三方面,在另一种可能的设计方式中,第一界面还包括手动播放按钮,手动播放按钮用于触发显示屏显示第二界面。其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。
结合第三方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还用于接收第二操作,第二操作用于触发显示屏显示第七图像。显示屏,还用于响应于第二操作,显示第二界面;其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。上述显示屏,还用于接收用户在预设倍率选项设置的缩放倍率,按照用户设置的缩放倍率显示第七图像。
结合第三方面,在另一种可能的设计方式中,第二界面还包括自动播放按钮,自动播放按钮用于触发显示屏显示第一界面。其中,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
结合第三方面,在另一种可能的设计方式中,第一界面包括格式转换按钮,格式转换按钮用于触发处理器转换第七图像的文件格式。当计算机指令被所述处理器执行时,上述处理器,还用于接收作用于格式转换按钮的第三操作,生成第一文件;其中,第一文件为第七图像以第三区域图像为中心、自动缩放的视频文件;或者,第一文件为以第三区域图像为中心、自动缩放第七图像的图形交换格式GIF图像。
结合第三方面,在另一种可能的设计方式中,第一摄像头为主摄像头,第二摄像头为长焦摄像头,第三摄像头为广角摄像头。
第四方面,本申请提供一种电子设备,该电子设备包括:存储器、显示屏和处理器,上述存储器、显示屏与上述处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被所述处理器执行时,上述处理器,用于检测到第一操作。上述处理器,还用于响应于第一操作,通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像,通过第四摄像头采集第八图像;其中,第一摄像头采集第一图像的取景范围是第一取景范围,第二摄像头采集第二图像的取景范围是第二取景范围,第三摄像头采集第三图像的取景范围是第三取景范围,第三取景范围大于第一取景范围,第一取景范围大于第二取景范围,第四摄像头采集第八图像的取景范围与第一取景范围相同。上述处理器,还用于对第一图像和第八图像进行图像融合,得到第九图像。上述处理器,还用于对第九图像进行处理,得到第四图像;其中,第四图像包括第一区域图像,第四图像中第一区域图像的分辨率和第二图像的分辨率相同,第一区域图像相对于第一摄像头的取景范围是第四取景范围,第一取景范围包括第四取景范围,第四取景范围与第二取景范围重合。上述处理器,还用于对第二图像和第四图像进行图像融合,得到第五图像。上述处理器,还用于对第三图像进行处理,得到第六图像;其中,第六图像包括第二区域图像,第六图像中第二区域图像的分辨率和第一图像的分辨率相同,第二区域图像相对于第三摄像头的取景范围是第五取景范围,第三取景范围包括第五取景范围,第五取景范围与第一取景范围重合。上述处理器,还用于对第五图像和第六图像进行图像融合,得到第七图像。
结合第四方面,在一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,具体用于对第九图像进行超分辨率重建,得到第四图像。
结合第四方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还具体用于对第三图像进行超分辨率重建,得到第六图像。
结合第四方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还用于接收第二操作,第二操作用于触发显示屏显示第七图像。响应于第二操作,显示屏显示第一界面,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;其中,第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
结合第四方面,在另一种可能的设计方式中,第一播放界面还包括第一速度选项和第一倍率选项;其中,第一速度选项用于调整动态画面中的播放速度,第一倍率选项用于调整第一界面中第七图像的最大缩放倍率。当计算机指令被所述处理器执行时,上述处理器,还用于响应于用户对第一速度选项的调整操作,调整动态画面的播放速度。上述处理器,还用于响应于用户对第一倍率选项的调整操作,调整第七图像的最大缩放倍率。
结合第四方面,在另一种可能的设计方式中,第一界面还包括手动播放按钮,手动播放按钮用于触发显示屏显示第二界面。其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。
结合第四方面,在另一种可能的设计方式中,当计算机指令被所述处理器执行时,上述处理器,还用于接收第二操作,第二操作用于触发显示屏显示第七图像。显示屏,还用于响应于第二操作,显示第二界面;其中,第二界面包括第七图像和预设倍率选项,预设倍率选项用于设置第七图像的缩放倍率。上述显示屏,还用于接收用户在预设倍率选项设置的缩放倍率,按照用户设置的缩放倍率显示第七图像。
结合第四方面,在另一种可能的设计方式中,第二界面还包括自动播放按钮,自动播放按钮用于触发显示屏显示第一界面。其中,第一界面用于播放第七图像以第三区域图像为中心,自动缩放的动态画面;第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。
结合第四方面,在另一种可能的设计方式中,第一界面包括格式转换按钮,格式转换按钮用于触发处理器转换第七图像的文件格式。当计算机指令被所述处理器执行时,上述处理器,还用于接收作用于格式转换按钮的第三操作,生成第一文件;其中,第一文件为第七图像以第三区域图像为中心、自动缩放的视频文件;或者,第一文件为以第三区域图像为中心、自动缩放第七图像的图形交换格式GIF图像。
结合第四方面,在另一种可能的设计方式中,第一摄像头为主摄像头,第二摄像头为长焦摄像头,第三摄像头为广角摄像头。
第五方面,本申请提供一种电子设备,该电子设备包括:存储器和处理器,上述存储器与上述处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被所述处理器执行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第六方面,本申请提供一种电子设备,该电子设备包括:存储器和处理器,上述存储器与上述处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被所述处理器执行时,使得电子设备执行如第二方面及其任一种可能的设计方式所述的方法。
第七方面,本申请提供一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从电子设备的存储器接收信号,并向处理器发送该信号,该信号包括存储器中存储的计算机指令。当处理器执行所述计算机指令时,电子设备执行如第一方面或者第二方面及其任一种可能的设计方式所述的方法。
第八方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面或者第二方面及其任一种可能的设计方式所述的方法。
第九方面,本申请提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面或者第二方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第二方面及其任一种可能的设计方式所述的电子设备,第三方面及其任一种可能的设计方式所述的电子设备,第四方面所述的电子设备,第五方面所述的电子设备,第六方面所述的芯片系统,第七方面所述的计算机可读存储介质,第八方面所述的计算机程序产品所能达到的有益效果,可参考如第一方面或者第二方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种图像预览界面的实例示意图;
图2A为本申请实施例提供的一种电子设备的硬件结构示意图;
图2B为本申请实施例提供的一种取景范围的实例示意图;
图3为本申请实施例提供的一种图像的融合方法流程图;
图4为本申请实施例提供的一种图像的实例示意图;
图5为本申请实施例提供的另一种图像的实例示意图;
图6为本申请实施例提供的另一种图像的实例示意图;
图7为本申请实施例提供的一种图像的融合方法流程图;
图8为本申请实施例提供的另一种图像的实例示意图;
图9为本申请实施例提供的另一种图像预览界面的实例示意图;
图10为本申请实施例提供的一种倍率设置界面的实例示意图;
图11为本申请实施例提供的一种图像显示界面的实例示意图;
图12为本申请实施例提供的另一种图像显示界面的实例示意图;
图13为本申请实施例提供的另一种图像显示界面的实例示意图;
图14为本申请实施例提供的一种芯片系统的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请中字符“/”,一般表示前后关联对象是一种“或者”的关系。例如,A/B可以理解为A或者B。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括其他没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
另外,在本申请实施例中,“示例性的”、或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”、或者“例如”等词旨在以具体方式呈现概念。
为了便于理解本申请的技术方案,在对本申请实施例的深度图像的获取方法进行详细介绍之前,先对本申请实施例中所提到的专业名词进行介绍。
1、超分辨率重建。
超分辨率重建指的是就是利用一幅或者一组低质量、低分辨率图像生成一幅高质量、高分辨率图像。其中超分辨率重建可以包括基于重建的方法或者基于学习的方法。
2、图像信号处理(Image Signal Processing,ISP)模块。
在摄像头采集到原始图像(即RAW格式的图像)之后,电子设备可以将原始图像传送到ISP模块。其中,RAW格式是未经处理、也未经压缩的格式。之后,ISP模块可以对原始图像进行分析,检查图像中相邻像素之间的密度差距。接着,ISP模块可以使用ISP模块中的预设调节算法对该原始图像进行适当处理,以提高摄像头采集的图像质量。
对本申请实施例中所提到的专业名词进行介绍之后,下面对常规技术进行介绍。
随着电子技术的发展,电子设备(如手机、平板电脑或智能手表等)的功能越来越多。以手机为例,手机中可以安装多个摄像头,如主摄像头、长焦摄像头和广角摄像头等。手机可以在同一个拍摄场景下,采用不同的摄像头拍摄图像,以得到不同特点的图像。
常规技术中,当用户通过电子设备拍摄同一场景下的不同图像(例如主图像、长焦图像和广角图像)时,用户需要切换电子设备的拍摄模式,才可以得到同一场景下的不同图像。其中,主图像是电子设备通过主摄像头的图像,长焦图像是电子设备通过长焦摄像头采集的图像,广角图像是电子设备通过广角摄像头采集的图像。
示例性的,如图1中的(a)所示,电子设备的拍摄模式为普通拍摄模式时,电子设备可以通过主摄像头采集主图像101。之后,响应于用户的切换操作,电子设备可以将拍摄模式切换为如图1中的(b)所示长焦拍摄模式。之后,电子设备可以通过长焦摄像头采集长焦图像102。然后,响应于用户的切换操作,电子设备可以将拍摄模式切换为如图1中的(c)所示广角拍摄模式。之后,电子设备可以通过广角摄像头采集广角图像103。
然而,上述方案中,电子设备需要响应于用户的多次操作,才可以拍摄得到多张具备不同特点的图像。电子设备的拍摄过程较为繁琐,影响用户的拍摄体验。
为此,本申请实施例提供一种图像的融合方法。该方法中,电子设备可以响应于用户的拍照操作,在同一时刻通过主摄像头、长焦摄像头和广角摄像头分别采集主图像、长焦图像和广角图像。之后,电子设备可以对主图像和广角图像进行超分辨率重建,并对长焦图、超分辨率重建后的主图像和超分辨率重建后的广角图像进行图像融合,得到目标图像。
需要说明的是,本申请实施例中电子设备通过摄像头采集的图像可以为:ISP模块对摄像头采集到原始图像进行处理后的图像。也就是说,电子设备通过主摄像头采集到的图像为:由ISP模块对主摄像头采集到的原始图像进行处理后的图像;电子设备通过长焦摄像头采集到的图像为:由ISP模块对长焦摄像头采集到的原始图像进行处理后的图像;电子设备通过广角摄像头采集到的图像为:由ISP模块对广角摄像头采集到的原始图像进行处理后的图像。可选的,本申请实施例中电子设备通过摄像头采集的图像可以为原始图像(即RAW格式的图像),本申请实施例对此不作限定。其中,RAW格式的图像是一种记录了摄像头传感器的原始信息,同时记录了由摄像头拍摄图像所产生的一些元数据(ISO的设置、快门速度、光圈值、白平衡等)的图像,且该图像未被IPS模块进行处理。其中,ISO是国际标准化组织(International Organization for Standardization)的缩写。
需要说明的是,上述电子设备在同一时刻通过主摄像头、长焦摄像头和广角摄像头分别采集主图像、长焦图像和广角图像是指:主摄像头采集主图像的时刻(如第一时刻)、长焦摄像头采集长焦图像的时刻(如第二时刻)、广角摄像头采集广角图像时的时刻(如第三时刻)相同;或者,第一时刻与第二时刻之间的时间差、第一时刻与第三时刻之间的时间差、第二时刻与第三时刻之间的时间差均较小(例如时间差均小于1毫秒、0.5毫秒或者2毫秒等)。
可以理解的是,上述目标图像是基于主图像、长焦图像和广角图像融合得到的。因此,融合得到的目标图像具备主图像、长焦图像和广角图像的特点。例如,目标图像具备主图像中图像整体较为清晰的特点,也具备长焦图像中局部清晰的特点,还具备广角照片中视角较大的特点。并且,电子设备只需要响应用户的一次拍照操作,便可以拍摄得到目标照片。如此,可以简化拍摄多张具备不同特点图像的过程,提高用户的拍摄体验。
示例性的,本申请实施例中的电子设备可以是平板电脑、手机、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、车载设备等设备,本申请实施例对该电子设备的具体形态不作特殊限制。
本申请提供的图像的融合方法的执行主体可以为图像的融合装置,该执行装置可以为图2A所示的电子设备。同时,该执行装置还可以为该电子设备的中央处理器(CentralProcessing Unit,CPU),或者该电子设备中的用于融合图像的控制模块。本申请实施例中以电子设备执行图像的融合方法为例,说明本申请实施例提供的图像的融合方法。
请参考图2A,本申请这里以电子设备为图2A所示的手机200为例,对本申请提供的电子设备进行介绍。其中,图2A所示的手机200仅仅是电子设备的一个范例,并且手机200可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图2A中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图2A所示,手机200可以包括:处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。
其中,上述传感器模块280可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等传感器。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括存储器,视频编解码器,基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是手机200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机200的结构限定。在另一些实施例中,手机200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为电子设备供电。
电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,外部存储器,显示屏294,摄像头293,和无线通信模块260等供电。在一些实施例中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。
手机200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。在一些实施例中,手机200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得手机200可以通过无线通信技术与网络以及其他设备通信。
天线1和天线2用于发射和接收电磁波信号。手机200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。移动通信模块250可以提供应用在手机200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。
无线通信模块260可以提供应用在手机200上的包括无线局域网(wireless localarea networks,WLAN)(如(wireless fidelity,Wi-Fi)网络),调频(frequencymodulation,FM),红外技术(infrared,IR)等无线通信的解决方案。例如,本申请实施例中,手机200可以通过无线通信模块260接入Wi-Fi网络。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。
手机200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。
显示屏294用于显示图像,视频等。该显示屏294包括显示面板。例如,本申请实施例中,显示屏294可以用于显示图库界面和拍摄界面等。
手机200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。ISP用于处理摄像头293反馈的数据。摄像头293用于捕获静态图像或视频。在一些实施例中,手机200可以包括1个或N个摄像头293,N为大于1的正整数。
在本申请实施例中,N个摄像头293可以包括:主摄像头、长焦摄像头和广角摄像头。可选的,N个摄像头293还可以包括:红外摄像头、深度摄像头或者黑白摄像头等至少一种摄像头。下面简单介绍上述各个摄像头的特点(即优势和劣势)以及适用场景。
(1)主摄像头。主摄像头具有进光量大、分辨率高,以及视场角适中的特点。主摄像头一般作为电子设备(如手机)的默认摄像头。也就是说,电子设备(如手机)响应于用户启动“相机”应用的操作,可以默认启动主摄像头,在预览界面显示主摄像头采集的图像。
(2)长焦摄像头。长焦摄像头的焦距较长,可适用于拍摄距离手机较远的拍摄对象(即远处的物体)。但是,长焦摄像头的进光量较小。在暗光场景下使用长焦摄像头拍摄图像,可能会因为进光量不足而影响图像质量。并且,长焦摄像头的视场角较小,不适用于拍摄较大场景的图像,即不适用于拍摄较大的拍摄对象(如建筑或风景等)。
(3)广角摄像头。广角摄像头的视场角较大,可适用于拍摄较大的拍摄对象(例如风景)。但是,广角摄像头的焦距较短,在广角摄像头拍摄距离较近的物体时,拍摄得到的广角图像中物体容易产生畸变(例如图像中的物体相较于原物体变得宽扁)。
(4)黑白摄像头。由于黑白摄像头没有滤光片;因此,相比于彩色摄像头而言,黑白摄像头的进光量较大;并且,黑白摄像头的对焦速度比彩色摄像头的对焦速度快。但是,黑白摄像头采集到的图像只能呈现出不同等级的灰度,不能呈现出拍摄对象的真实色彩。需要说明的是,上述主摄像头、长焦摄像头等均为彩色摄像头。
需要说明的是,本申请实施例中的视场角包括水平视场角和垂直视场角。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行手机200的各种功能应用以及数据处理。例如,在本申请实施例中,处理器210可以通过执行存储在内部存储器221中的指令,内部存储器221可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
手机200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键290包括开机键,音量键等。按键290可以是机械按键。也可以是触摸式按键。马达291可以产生振动提示。马达291可以用于来电振动提示,也可以用于触摸振动反馈。指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和手机200的接触和分离。手机200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。
尽管图2A未示出,手机200还可以闪光灯、微型投影装置、近场通信(Near FieldCommunication,NFC)装置等,在此不再赘述。
可以理解的是,本实施例示意的结构并不构成对手机200的具体限定。在另一些实施例中,手机200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。以下实施例中以上述具有上述硬件结构的电子设备为例,对本申请实施例的方法进行说明。
在本申请实施例中,响应于用户的拍照操作,电子设备可以通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像。其中,第三摄像头的视场角大于第一摄像头的视场角,第一摄像头的视场角大于第二摄像头的视场角。
需要说明的是,第三摄像头的视场角大于第一摄像头的视场角是指,第三摄像头的水平视场角大于第一摄像头的水平视场角,和/或第三摄像头的垂直视场角大于第一摄像头的垂直视场角。第一摄像头的视场角大于第二摄像头的视场角是指,第一摄像头的水平视场角大于第二摄像头的水平视场角,和/或第一摄像头的垂直视场角大于第二摄像头的垂直视场角。例如,第三摄像头是广角摄像头,第一摄像头是主摄像头,第二摄像头是长焦摄像头。
第一摄像头采集第一图像的取景范围是第一取景范围,第二摄像头采集第二图像的取景范围是第二取景范围,第三摄像头采集第三图像的取景范围是第三取景范围。第三取景范围大于第一取景范围,第一取景范围大于第二取景范围。之后,电子设备可以对第一图像和第三图像进行处理,并对第二图像、进行处理后的第一图像和进行处理后的第三图像进行图像融合,得到目标图像。如此,该目标图像可以具备第一图像、第二图像和第三图像的特点。
需要说明的是,本申请实施例中摄像头采集图像的取景范围是指,摄像头可以拍摄的区域范围。示例性的,如图2B所示,主摄像头可以采集到区域202中区域203对应的图像。也就是说,区域202中除区域203以外的区域不在主摄像头采集图像的取景范围内。并且,本申请实施例中,图像的取景范围与摄像头采集图像的取景范围相对应。例如,第一图像的取景范围可以指示第一摄像头采集第一图像的取景范围(即第一取景范围)。又例如,第二图像的取景范围可以指示第二摄像头采集第二图像的取景范围(即第二取景范围)。
以下实施例中,以第一摄像头为主摄像头,第二摄像头为长焦摄像头,第三摄像头为广角摄像头为例,对本申请实施例进行介绍。其中,在第一摄像头为主摄像头时,第一图像为主图像。在第二摄像头为长焦摄像头时,第二图像为长焦图像。在第三摄像头为广角摄像头时,第三图像为广角图像。
如图3所示,本申请实施例提供的图像的融合方法可以包括S301-S306。
S301、电子设备检测到第一操作。
其中,该第一操作为用户的一次操作,例如一次点击操作,可选的为用户的一次点击拍照按钮的操作,可选的第一操作用于触发电子设备启动拍照功能。也就是说,电子设备接收用户的一次操作,可以拍摄图片。
S302、响应于第一操作,电子设备通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像。
其中,第三取景范围大于第一取景范围,第一取景范围大于第二取景范围。可选的,第一摄像头是主摄像头,第二摄像头是长焦摄像头,第三摄像头是广角摄像头。
在本申请实施例中,第二图像的缩放倍率(也可以称为ZOOM倍率)大于第一图像的缩放倍率,第一图像的缩放倍率大于第三图像的缩放倍率。也就是说,在第一图像、第二图像和第三图像中,第二图像的缩放倍率最大,第一图像的缩放倍率适中,第三图像的缩放倍率最小。
需要说明的是,图像的缩放倍率越大,图像的取景范围的范围越小。例如,结合图1,假如主图像101的缩放倍率为1X,长焦图像102的缩放倍率为4X,广角图像103的缩放倍率为0.5X。如图1所示,图1中的(a)所示的主图像101的取景范围大于图1中的(b)所示的长焦图像102的取景范围,图1中的(a)所示的主图像101的取景范围小于图1中的(c)所示的广角图像103的取景范围。
其中,第一图像包括第四区域图像,该第四区域图像的取景范围与第二取景范围相同。第三图像包括第五区域图像,该第五区域图像的取景范围与第一图像的拍摄区域相同。示例性的,如图4所示,图4中的(a)所示主图像101包括的第四区域图像401,与图4中的(b)所示的长焦图像102的取景范围相同;图4中的(c)所示的广角图像301包括的第五区域图像402,与主图像101的取景范围相同。
在一些实施例中,响应于第一操作,电子设备可以在同一时刻通过主摄像头采集第一图像,通过长焦摄像头采集第二图像,通过广角摄像头采集第三图像。
需要说明的是,上述电子设备在同一时刻通过主摄像头采集第一图像,通过长焦摄像头采集第二图像,通过广角摄像头采集第三图像是指:主摄像头采集第一图像的时刻(可以称为第一时刻)、长焦摄像头采集第二图像的时刻(可以称为第二时刻)、广角摄像头采集第三图像时的时刻(如第三时刻)相同;或者,第一时刻与第二时刻之间的时间差、第一时刻与第三时刻之间的时间差、第二时刻与第三时刻之间的时间差均较小(例如时间差均小于1毫秒)。在第一时刻、第二时刻与第三时刻之间存在时间差时,本申请实施例对主摄像头采集第一图像、长焦摄像头采集第二图像和广角摄像头采集第三图像的顺序不作限定。
S303、电子设备对第一图像进行超分辨率重建,得到第四图像。
其中,第四图像包括第一区域图像,该第一区域图像相对于第一摄像头的取景范围是第四取景范围,第一取景范围包括第四取景范围,该第四取景范围与第二取景范围重合。也就是说,第一摄像头采用第四取景范围可以得到与第一区域图像取景范围重合的图像。示例性的,第一取景范围为图5中的(a)所示的图像501的取景范围,第四取景范围即为图5中的(a)所示的第一区域图像502的取景范围。以下实施例中,对于区域图像的取景范围的介绍,可以参考对于第一区域图像的取景范围的说明。
第一区域图像的分辨率与第二图像的分辨率相同。示例性的,如图5中的(a)所示,图像501包括第一区域图像502,该第一区域图像502的分辨率与图5中的(b)所示的第二图像102的分辨率相同。例如,第一区域图像的分辨率为2000万像素,第二图像的分辨率为2000万像素。
需要说明的是,本申请实施例中,两幅图像(例如图像A和图像B)的分辨率相同是指:图像A中水平方向的像素数量与图像B中水平方向的像素数量相同,图像A中垂直方向的像素数量与图像B中垂直方向的像素数量相同。例如,第一区域图像的分辨率均为5000×4000,第二图像的分辨率为5000×4000。
需要说明的是,具体对于电子设备对第一图像进行超分辨率重建的方式,可以参考常规技术中对图像进行超分辨率重建的方法,本申请实施例对此不予赘述。例如,电子设备可以通过双线性差值法调整第一图像的分辨率,得到第四图像。
在一些实施例中,为了保障第一区域图像的分辨率与第二图像的分辨率相同,电子设备可以通过第一图像的缩放倍率和第二图像的缩放倍率之间的关系,对第一图像进行超分辨率重建,得到第四图像。
一种可能的实现方式,电子设备可以对第一图像进行第一倍率的超分辨率重建,得到第四图像。其中,第一倍率为第一图像的缩放倍率与第二图像的缩放倍率之间的比值。其中,第四图像的分辨率大于第一图像的分辨率。
一种可能的设计中,电子设备可以根据第一图像的缩放倍率、第二图像的缩放倍率和第二图像的分辨率,计算得到第四图像的分辨率。示例性的,电子设备可以通过公式一计算得到第四图像的分辨率。
M=(p÷q)2×b 公式一。
其中,M为第四图像的分辨率,p为第二图像的缩放倍率,q为第一图像的缩放倍率,b为第二图像的分辨率。(p÷q)为第一倍率。
例如,结合图1和图5,假如长焦图像102的缩放倍率为4X,主图像101的缩放倍率为1X,长焦图像102的分辨率为2000万像素;电子设备则可以结合公式一确定图像501的分辨率为:
M=(4÷1)2×2000
=32000。
也就是说,图像501的分辨率为3.2亿像素。
S304、电子设备对第二图像和第四图像进行图像融合,得到第五图像。
其中,第五图像包括第七区域图像,该第七区域图像的取景范围与第二取景范围(或者第四区域图像的取景范围)相同。
在本申请实施例中,电子设备可以通过图像融合算法,将第二图像和第四图像进行融合,得到第五图像。其中,本申请实施例对图像融合算法不作限定。例如,该图像融合算法可以为高低频信息融合算法。又例如,该图像融合算法可以为多尺度融合算法。又例如,电子设备可以通过预设模型将第二图像和第四图像进行融合,得到第五图像。该预设模型可以为视觉几何组网络(Visual Geometry Group Network,VGG)模型、inception模型和ResNET模型等,本申请实施例对此不作限定。
可以理解的是,由于第四图像中的第一区域图像的分辨率与第二图像的分辨率相同,且第一区域图像的取景范围与第二取景范围相同。因此,电子设备可以对第二图像和第四图像进行图像融合。
可以理解的是,第二图像具备局部图像(即远处物体的图像)清晰的特点,第四图像具备整体图像较为清晰的特点。电子设备将第二图像和第四图像进行图像融合,可以综合第二图像和第四图像的特点,得到整体图像清晰度较高和局部图像清晰度较高的第五图像。也就是说,该第五图像综合了主图像和长焦图像的特点。如此,可以提高电子设备拍摄的图像质量。
S305、电子设备对第三图像进行超分辨率重建,得到第六图像。
其中,第六图像包括第二区域图像,第二区域图像相对于第三摄像头的取景范围是第五取景范围,第三取景范围包括第五取景范围,第二区域图像的取景范围(即第五取景范围)与第一图像(或者第五图像)的取景范围重合。示例性的,如图6中的(a)所示,第五取景范围即为第二区域图像602的取景范围。
在本申请实施例中,第二区域图像的分辨率与第五图像的分辨率相同。示例性的,如图6中的(a)所示的第六图像601包括第二区域图像602,该第二区域图像602的分辨率与图6中的(b)所示的第五图像501的分辨率相同。例如,第二区域图像的分辨率为3.2亿像素,第五图像的分辨率为3.2亿像素。
需要说明的是,对于电子设备对第三图像进行超分辨率重建,得到第六图像的过程的介绍,可以参考S303中对电子设备对第一图像进行超分辨率重建得到第四图像的说明,此处不予赘述。例如,电子设备可以通过双线性差值法调整第三图像的分辨率,得到第六图像。
在一些实施例中,为了保障第二区域图像的分辨率与第五图像的分辨率相同,电子设备可以通过第一图像的缩放倍率和第三图像的缩放倍率之间的关系,对第三图像进行超分辨率重建,得到第六图像。
一种可能的实现方式,电子设备可以对第三图像进行第二倍率的超分辨率重建,得到第六图像。其中,第二倍率为第一图像的缩放倍率与第三图像的缩放倍率之间的比值。第六图像的分辨率大于第三图像的分辨率。
一种可能的设计中,电子设备可以根据第一图像的缩放倍率、第三图像的缩放倍率和第五图像的分辨率,计算得到第六图像的分辨率。示例性的,电子设备可以通过公式二计算得到第六图像的分辨率。
N=(k÷j)2×c 公式二。
其中,N为第六图像的分辨率,k为第一图像的缩放倍率,j为第三图像的缩放倍率,c为第五图像的分辨率。(k÷j)为第二倍率。
例如,结合图1和图6,假如主图像101的缩放倍率为1X,广角图像103的缩放倍率为0.5X,第五图像的分辨率为32000万像素;电子设备则可以结合公式二确定第六图像601的分辨率为:
M=(1÷0.5)2×32000
=128000。
也就是说,第六图像601的分辨率为12.8亿像素。
需要说明的是,本申请实施例中对电子设备得到第五图像和第六图像的顺序不作限定。示例性的,电子设备可以先执行S305,再执行S304。又例如,电子设备可以同时执行S304和S305。
S306、电子设备对第五图像和第六图像进行图像融合,得到第七图像。
其中,第七图像包括第八区域图像,该第八区域图像的取景范围与第一取景范围(或者第三图像中第五区域图像的取景范围)相同。
需要说明的是,对于电子设备对第五图像和第六图像进行图像融合得到第七图像的过程的介绍,可以参考S304中对于电子设备对第二图像和第四图像进行图像融合得到第五图像的说明,此处不予赘述。
需要说明的是,由于第六图像中的第二区域图像的分辨率与第五图像的分辨率相同,且第二区域图像的取景范围与第五图像的取景范围相同。因此,电子设备可以对第五图像和第六图像进行图像融合。
可以理解的是,第五图像具备整体图像较为清晰和局部图像(即远处物体的图像)清晰的特点,第六图像的取景范围较大。电子设备将第五图像和第六图像进行图像融合,可以综合第五图像和第六图像的特点,得到取景范围较大、整体图像清晰度较高和局部图像清晰度较高的第七图像。也就是说,该第七图像综合了主图像、长焦图像和广角图像的特点。如此,可以提高电子设备拍摄的图像质量。
基于上述技术方案,电子设备接收到用户的拍照操作,可以通过主摄像头、长焦摄像头和广角摄像头分别采集第一图像、第二图像和第三图像。并且,电子设备可以对第一图像、第二图像和第三图像进行图像处理,得到第七图像,该第七图像具备不同摄像头拍摄得到的图像的特点。也就是说,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验。
需要说明的是,电子设备在拍摄图像时,可能会受到一些因素的影响,导致拍摄得到的图像质量较差。例如,当用户拍照时,若手部有抖动,电子设备拍摄出的图片可能会比较模糊。又例如,当光线较差时,电子设备拍摄出的图片的噪点可能比较严重。
在另一些实施例中,为了提高电子设备拍摄得到的图像质量,电子设备可以通过辅助摄像(即第四摄像头)协助拍摄图像。其中,本申请实施例对辅助摄像头不作限定。例如,该辅助摄像头可以为红外摄像头。又例如,该辅助摄像头可以为黑白摄像头。
示例性的,以辅助摄像头为红外摄像头为例,即电子设备通过红外摄像头协助拍摄图像。其中,上述红外摄像头不仅可以感知可见光,还可以感知红外光。例如,上述红外光可以为890纳米(nm)-990nm的红外光。即红外摄像头可以感知波长为890nm-990nm的红外光。当然,不同的红外摄像头能够感知的红外光(即红外光的波长)可以不同。其中,上述可见光摄像头也可以成为普通波段的摄像头,该普通波段是可见光的波长所在的波段。
在暗光场景(如傍晚、深夜或者暗室内)下,可见光的强度较低。主摄像头无法感知到光线或者感知到的光线较弱,因此无法采集到清晰图像。而红外光摄像头可以感知取景范围内有温度的人或动物发出红外光,因此可以采集到人或动物的图像。
针对红外摄像头的上述特点,电子设备在暗光场景下,采用主摄像头采集图像时,为了避免由于可见光较弱而影响图像质量,可以借助于红外摄像头能够感知红外光的优势,将红外摄像头作为辅助摄像头协助主摄像头工作,以提升主摄像头拍摄得到的图像质量。
如图7所示,该图像的融合方法可以包括S701-S707。
S701、电子设备检测到第一操作。
需要说明的是,对S701的介绍,可以参考上述实施例中S301的说明,此处不予赘述。
S702、响应于第一操作,电子设备通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,通过第三摄像头采集第三图像,通过第四摄像头采集第八图像。
其中,该第八图像的取景范围与第一取景范围相同。
需要说明的是,本申请实施例中,第八图像的取景范围与第一取景范围相同是指:第八图像的取景范围与第一取景范围的相似程度为100%,或者,第八图像的取景范围与第一取景范围的相似程度大于预设相似阈值(例如99%、95%或90%等)。
示例性的,如图8中的(a)所示,区域801为第一取景范围,区域802为第八图像的取景范围,区域801与区域802相同。又例如,如图8中的(b)所示,区域803为第一取景范围,区域804为第八图像的取景范围,区域803与区域804不完全相同。
在本申请实施例中,电子设备可以在同一时刻通过辅助摄像头采集第八图像,通过主摄像头采集第一图像,通过长焦摄像头采集第二图像,以及通过广角摄像头采集第三图像。
需要说明的是,对于同一时刻的说明,可以参考S302中对电子设备在同一时刻通过主摄像头采集第一图像,通过长焦摄像头采集第二图像,通过广角摄像头采集第三图像的描述,此处不予赘述。
S703、电子设备对第一图像和第八图像进行图像融合,得到第九图像。
其中,第九图像的取景范围与第一取景范围相同。第九图像包括第六区域图像,第六区域图像的取景范围与第二取景范围相同。
需要说明的是,本申请实施例对第一图像和第八图像的分辨率不作限定。例如,第一图像的分辨率可以大于第八图像的分辨率。又例如,第一图像的分辨率可以等于第八图像的分辨率。又例如,第一图像的分辨率可以小于第八图像的分辨率。
在一些实施例中,若第一图像的分辨率大于(或者等于)第八图像的分辨率,电子设备可以直接将第一图像和第八图像进行图像融合,得到第九图像。
需要说明的是,在电子设备将第一图像和第八图像进行图像融合的过程中,电子设备可以将第八图像放大至与第一图像的分辨率相同。
在另一些实施例中,若第一图像的分辨率小于第八图像的分辨率,电子设备则可以对第一图像进行放大,放大后的第一图像的分辨率与第八图像的分辨率相同。之后,电子设备可以将放大后的第一图像与第八图像进行图像融合,得到第九图像。
需要说明的是,对于电子设备对第一图像和第八图像进行图像融合得到第九图像的过程的介绍,可以参考S304中对于电子设备对第二图像和第四图像进行图像融合得到第五图像的说明,此处不予赘述。
可以理解的是,图像融合能够提高图像质量。电子设备将第一图像和第八图像进行图像融合,得到的第九图像的图像质量将高于第一图像(或者第八图像)的图像质量。如此,在暗光或者拍摄物体在移动的场景下,能够进一步提高电子设备拍摄的图像质量。
S704、电子设备对第九图像进行超分辨率重建,得到第四图像。
需要说明的是,对于电子设备对第九图像进行超分辨率重建得到第四图像的过程的介绍,可以参考S303中电子设备第一图像进行超分辨率重建得到第四图像的过程的说明,此处不予赘述。
可以理解的是,电子设备融合得到的第九图像的图像质量高于第一图像(或者第八图像)的图像质量。电子设备对第九图像进行超分辨率重建,得到的第四图像的图像质量也会高于第一图像(或者第八图像)的图像质量。如此,能够提高电子设备拍摄的图像质量。
S705、电子设备对第四图像和第二图像进行图像融合,得到第五图像。
需要说明的是,对S705的介绍,可以参考上述实施例中S304的说明,此处不予赘述。
S706、电子设备对第三图像进行超分辨率重建,得到第六图像。
需要说明的是,对S706的介绍,可以参考上述实施例中S305的说明,此处不予赘述。
S707、电子设备对第六图像和第五图像进行图像融合,得到第七图像。
需要说明的是,对S707的介绍,可以参考上述实施例中S306的说明,此处不予赘述。
基于上述技术方案,电子设备接收到用户的拍照操作,可以通过主摄像头、长焦摄像头、广角摄像头和辅助摄像头分别采集第一图像、第二图像、第三图像和第八图像。并且,电子设备可以对第一图像、第二图像、第三图像和第八图像进行图像处理,得到第七图像,该第七图像具备不同摄像头拍摄得到的图像的特点。也就是说,用户只需要一次操作,便可以通过电子设备得到一张具备多张图像特点的图像,简化了拍摄过程,提高了用户的使用体验。
需要说明的是,为了便于用户通过电子设备拍摄得到具备主图像、长焦图像和广角图像特点的图像(即第七图像),电子设备可以设置预设拍摄模式。当电子设备的拍摄模式处于预设拍摄模式时,电子设备可以通过主摄像头、长焦摄像和广角摄像头等摄像头拍摄得到第七图像。
在一些实施例中,在电子设备接收用户的拍照操作之前,电子设备可以启动拍摄应用,显示图像预览界面。之后,电子设备可以接收用户的拍摄模式切换操作,该拍摄模式切换操作用于触发电子设备改变拍摄模式。响应于拍摄模式切换操作,电子设备可以将拍摄模式切换为预设拍摄模式。示例性的,如图9中的(a)所示,在电子设备启动拍摄应用之后,电子设备可以显示图像预览界面901。该图像预览界面901包括取景框902、摄像头转化键903、拍摄键904、相册键905、预览图像906、闪光灯选项907、“录像”选项、“拍照”选项、“更多”选项等。之后,响应于用户作用于“更多”选项的选择操作(例如操作A),电子设备可以在图像预览界面901的上层显示如图9中的(b)所示的功能选项框908,该功能选项框908包括:“专业”模式的标识、“延时拍摄”模式的标识、“全景”模式的标识和“聚光灯”模式的标识等。其中,该“聚光灯”模式为用于拍摄得到第七图像的模式。也就是说,电子设备的拍摄模式为“聚光灯”模式时,电子设备可以通过多个摄像头拍摄得到第七图像。之后,响应于用户作用于“聚光灯”模式的标识的操作(例如操作B),电子设备可以将电子设备的拍摄模式切换为“聚光灯”模式(如图9中的(c)所示)。
这样一来,在电子设备的拍摄模式处于预设拍摄模式时,电子设备可以接收用户的拍照操作,拍摄得到第七图像。例如,电子设备可以接收如图9中的(c)所示的作用于拍摄键904的操作C(即电子设备执行S301),拍摄得到第七图像(即电子设备执行S302-S306)。
需要说明的是,在电子设备的拍摄模式处于预设拍摄模式时,电子设备可以启动至少一个摄像头获取预览图像。
在一些实施例中,在电子设备的拍摄模式处于预设拍摄模式时,电子设备可以启动主摄像头、长焦摄像头和广角摄像头获取预览图像。可选的,电子设备也可以启动主摄像头、辅助摄像头、长焦摄像头和广角摄像头获取预览图像。其中,该预览图像为第七图像。也就是说,该预览图像为电子设备对多个摄像头采集到的图像进行处理(即S303-S306)之后的图像。
可以理解的是,电子设备启动主摄像头、长焦摄像头和广角摄像头获取预览图像,可以在图像预览界面显示已经处理后的图像(即第七图像)。如此,可以使用户直观地了解在该预设拍摄模式下得到的图像效果,提高了用户的拍摄体验。
在另一些实施例中,在电子设备的拍摄模式处于预设拍摄模式时,电子设备可以启动任一摄像头(例如主摄像头、长焦摄像头或者广角摄像头)采集预览图像。其中,该预览图像为电子设备启动的摄像头采集的图像。例如,电子设备可以启动主摄像头采集预览图像(如图9中的(a)所示的预览图像906)。又例如,电子设备可以启动广角摄像头采集预览图像(如图9中的(c)所示的预览图像906)。通常情况下,电子设备可以启动广角摄像头采集预览图像。如此,可以使用户了解电子设备拍摄的最大区域。
可以理解的是,电子设备启动任一摄像头采集预览图像时,电子设备无需对采集到的图像进行处理,降低了电子设备的功耗。
在一些实施例中,电子设备可以提高用户指定区域的图像质量。具体的,电子设备可以接收用户的倍率设置操作,该倍率设置操作用于触发电子设备设置第一图像、第二图像和第三图像的缩放倍率。响应于用户的倍率设置操作,电子设备可以设置第一预设倍率、第二预设倍率和第三预设倍率,其中,第一预设倍率为第一图像的缩放倍率,第二预设倍率为第二图像的缩放倍率,第三预设倍率为第三图像的缩放倍率。示例性的,如图10中的(a)所示,响应于用户作用于“设置倍率”1001的操作D,电子设备可以显示图10中的(b)所示的倍率设置窗口1002;或者,电子设备可以响应于作用于图9中的(b)所示的“聚光灯”模式的标识的操作,显示倍率设置窗口1002。该倍率设置窗口1002包括:主图像的倍率输入框、长焦图像的倍率输入框和广角图像的倍率输入框;其中,用户可以在倍率输入框输入图像的缩放倍率。例如,主图像的缩放倍率(即第一预设倍率)为1X,长焦图像的缩放倍率(即第二预设倍率)为4X,广角图像的缩放倍率(即第三预设倍率)为0.5X。可选的,该倍率设置窗口1002还可以包括:“保存”按钮、“重置按钮”和“取消”按钮。“保存”按钮用于触发电子设备保存用户输入的图像的缩放倍率,“重置”按钮用于触发电子设备将图像的缩放倍率设置为默认缩放倍率,本申请实施例对默认缩放倍率不作限定(例如主图像的默认缩放倍率为1X,长焦图像的默认缩放倍率为3.5X,广角图像的默认缩放倍率为0.6X)。“取消”按钮用于触发电子设备不显示该倍率设置窗口1002。
可以理解的是,通过倍率设置操作,电子设备可以调整第一图像、第二图像和第三图像的显示区域。如此,电子设备可以根据用户的意向,设置第七图像中具备不同特点的显示区域,提高了用户的使用体验。
需要说明的是,在电子设备拍摄得到第七图像(即电子设备执行S306或者电子设备执行S707)之后,电子设备可以接收第二操作,该第二操作用于触发电子设备显示第七图像。响应于第二操作,电子设备可以按照预设模式显示第七图像。其中,预设模式包括动态模式和静态模式。动态模式用于指示电子设备以第三区域图像为中心自动缩放第七图像,第七图像包括第三区域图像,第三区域图像相对于第三摄像头的取景范围是第六取景范围,第三取景范围包括第六取景范围,第六取景范围与第二取景范围重合。静态模式用于指示电子设备在接收到用户输入的缩放操作后缩放第七图像。
在一些实施例中,电子设备可以按照动态模式显示第七图像。具体的,电子设备接收第二操作。响应于用户的第二操作,电子设备可以显示动态图像界面(即第一界面),该动态图像界面用于播放第七图像以第三区域图像为中心自动缩放的动态画面。具体的,第七图像可以第三区域图像为中心,按照缩放倍率从大到小自动缩放该第七图像。其中,第七图像的最大缩放倍率为第二图像的缩放倍率,第七图像的最小缩放倍率为第三图像的缩放倍率。
示例性的,如图11所示,响应于用户的第二操作,电子设备可以显示动态图像界面1101,该动态图像界面1101包括动态图像1102,该动态图像1102可以以第三区域图像1105为中心,按照缩放倍率从大到小自动缩放该第七图像。示例性的,用户可以在用户界面看到的动态图像界面,可以用户界面呈现图4中的(c)对应的图像缩放到用户界面呈现图4中的(a)的图像的,然后缩放到呈现图4中的(b)对应的图像。可选的,这个动态图像的缩放过程可以反复重放,例如,用户界面呈现图4中的(b)对应的图像后,跳转到用户界面呈现图4中的(c)对应的图像,进行重放该动态的变化过程;也可以不进行重复,当缩放到呈现图4中的(b)对应的图像后静止,显示最后一帧图像。该显示动态图像可以响应于用户的手指按压该动态图像的任意位置,进行动态显示,当用户的手指离开屏幕,结束长按,结束该动态图像的动态显示;也可以响应于用户的手指长按2秒该动态图像的任意位置,进行动态显示,当用户的手指离开屏幕,结束长按,该动态图像的继续进行动态显示,并不会停止;也可以设置有播放的图标,用户通过点击图标,显示该动态图像。对于该动态图像的显示方式以及响应于何种操作进行动态显示,本申请实施例不进行限定。可选的,该动态图像界面还可以包括第一速度选项,该第一速度选项用于调整动态画面中的播放速度。电子设备响应于用户对第一速度选项的调整操作,可以调整动态画面的播放速度。示例性的,结合图11,动态图像界面1101还包括第一速度选项1103。例如,第一速度选项1103可以指示电子设备以100ixel/s或20%FOV/s自动缩放第七图像。
可选的,该动态图像界面还可以包括第一倍率选项,该第一倍率选项用于调整第一界面中第七图像的最大缩放倍率。其中,第七图像的最大放大倍率小于或者等于第二预设倍率(即第二图像的缩放倍率)。电子设备响应于用户对第一倍率选项的调整操作,可以调整第七图像的最大缩放倍率。例如,结合图11,动态图像界面1101还包括第一倍率选项1104。例如,第二图像的缩放倍率为4X时,第七图像的最大放大倍率可以为4X,也可以为3X。
可以理解的是,电子设备以动态模式显示第七图像,可以使用户观看动态图像,增加了图像查看的趣味性。并且,通过第一速度选项和第一倍率选项,可以使用户调整图像的缩放速度和最大放大倍率,提高了用户的使用体验。
在一些实施例中,电子设备可以按照静态模式显示第七图像。具体的,响应于用户的第二操作,电子设备可以显示静态图像界面(即第二界面),该静态图像界面包括不能自动缩放的第七图像。可选的,该图像显示界面还可以包括预设倍率选项,该预设倍率选项用于设置第七图像的缩放倍率。电子设备可以接收用户在预设倍率选项设置的缩放倍率,按照用户设置的缩放倍率显示第七图像。示例性的,如图12所示,电子设备显示的图像显示界面1201可以包括第七图像1202和预设倍率选项1203。例如,该预设倍率选项1203可以包括第一预设倍率(如1X)、第二预设倍率(如4X)和第三预设倍率(如0.5X)。也就是说,响应于用户对预设倍率选项1203的操作,电子设备可以将第七图像的缩放倍率设置为4X、1X或者0.5X。
可以理解的是,在电子设备接收到作用于预设倍率选项的操作后,电子设备可以显示以预设倍率缩放的图像。也就是说,第七图像可以显示具备不同图像(例如第一图像、第二图像或第三图像)特点的区域。如此,可以使用户在一幅图像中就可以看到不同图像的特点,提高了用户的使用体验。
在一些实施例中,电子设备可以切换第七图像的显示模式。一种可能的设计中,当电子设备显示的界面为第一界面,即电子设备播放第七图像以第三区域图像为中心自动缩放的动态画面;第一界面还包括手动播放按钮,该手动播放按钮用于触发电子设备显示第二界面。电子设备可以接收作用于手动播放按钮的操作,将显示的界面从第一界面切换为第二界面。示例性的,如图13中的(a)所示,电子设备显示的动态图像界面1301可以包括手动播放按钮1302,例如,该手动播放按钮1302可以为“动态模式”。响应于用户作用于手动播放按钮1302的操作,电子设备显示的界面可以从动态图像界面1301切换为如图13中的(b)所示静态图像界面1303。
另一种可能的设计中,当电子设备显示的界面为第二界面,第二界面还可以包括自动播放按钮,该自动播放按钮用于触发电子设备显示第一界面。例如,如图13中的(b)所示,静态图像界面1303包括自动播放按钮1304,例如,该自动播放按钮1304可以为“静态模式”。电子设备可以接收作用于自动播放按钮的操作,将显示的界面从第二界面切换为第一界面。
可以理解的是,电子设备接收用户的操作之后,可以切换第七图像的显示模式。如此,可以使用户灵活选择显示第七图像的模式,提高了用户的使用体验。
需要说明的是,电子设备中存储的图像类型较多。其中,电子设备可以通过常规的显示方式显示常规类型的图像。例如,电子设备可以在屏幕显示长焦图像、主图像等。电子设备也可以通过预设模式显示上述第七图像。
在一些实施例中,为了便于电子设备确定图像的显示方式,电子设备在保存第七图像时,可以在第七图像的图像信息中添加第一标识,该第一标识用于指示电子设备按照预设模式显示第七图像。响应于第二操作,电子设备可以根据图像的图像信息,确定是否以预设模式显示图像。示例性的,电子设备在接收到用户的第二操作之后,可以检测图像的图像信息是否存在第一标识。若图像信息存在第一标识,电子设备可以按照预设模式显示该图像。若图像信息不存在第一标识,电子设备可以按照常规的显示方式显示该图像。
可以理解的是,电子设备为第七图像添加第一标识,可以使电子设备按照预设模式显示第七图像。如此,增加了用户查看图像的趣味性,提高了用户的使用体验。
需要说明的是,在电子设备拍摄得到第七图像之后,电子设备可以向其他的电子设备分享该第七图像。其他的电子设备可以根据该电子设备是否具备识别第一标识的能力,按照不同的显示方式显示第七图像。
在一些实施例中,接收到第七图像的电子设备(例如第一设备)可以按照预设模式显示第七图像,该第一设备具备识别第一标识的能力。具体的,电子设备可以向第一设备分享第七图像。第一设备接收到第七图像之后,可以检测并识别第七图像的第一标识。然后,第一设备可以按照预设模式显示第七图像。例如,响应于第二操作,第一设备可以按照动态模式显示第七图像。
在另一些实施例中,接收到第七图像的电子设备(例如第二设备)可以按照常规的显示方式显示第七图像,该第二设备不具备识别第一标识的能力。具体的,电子设备可以向第二设备分享第七图像。第二设备接收到第七图像之后,无法识别第七图像的第一标识。然后,第二设备可以按照常规的显示方式显示第七图像。例如,响应于第二操作,第二设备可以在第二设备的屏幕上显示第七图像。
需要说明的是,若其他的电子设备不具备识别第一标识的能力,该电子设备则无法显示自动缩放的第七图像,影响用户的使用体验。
在另一些实施例中,为了使无法识别第一标识的电子设备能够查看自动缩放的第七图像,电子设备可以转换第七图像的文件格式。具体的,当电子设备显示的界面为第一界面,即电子设备播放第七图像以第三区域图像为中心自动缩放的动态画面;第一界面还可以包括格式转换按钮,该格式转换按钮用于触发电子设备转换第七图像的文件格式。电子设备可以接收作用于格式转换按钮的第三操作,生成第一文件,该第三操作用于触发电子设备转换第七图像的文件格式,第一文件为第七图像以第三区域图像为中心自动缩放的文件。示例性的,电子设备可以生成视频文件,或者,电子设备可以生成动态图像文件。之后,电子设备可以向其他的电子设备分享第一文件。例如,第一文件为图形交换格式(GraphicsInterchange Format,GIF)图像时,电子设备可以向其他的电子设备分享GIF图。
需要说明的是,第一文件中第七图像自动缩放的速度和第七图像能够放大的最大倍率可以由第一速度选项和第一倍率选项设定。本申请实施例对此不作限定。
可以理解的是,第一文件可以在任一电子设备中自动缩放第七图像。如此,其他的电子设备接收到第一文件之后,可以显示自动缩放的第七图像,提高了用户的使用体验。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请所公开的实施例描述的各示例的一种图像的融合方法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是电子设备软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对图像的融合装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请另一些实施例提供了一种电子设备(如图2A所示的手机200),该电子设备可以包括:存储器和一个或多个处理器。该存储器和处理器耦合。该电子设备还可以包括摄像头。或者,该电子设备可以外接摄像头。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图2A所示的手机200的结构。
本申请实施例还提供一种芯片系统,如图14所示,该芯片系统包括至少一个处理器1401和至少一个接口电路1402。处理器1401和接口电路1402可通过线路互联。例如,接口电路1402可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1402可用于向其它装置(例如处理器1401)发送信号。示例性的,接口电路1402可读取存储器中存储的指令,并将该指令发送给处理器1401。当所述指令被处理器1401执行时,可使得电子设备(如图2A所示的手机200)执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在上述电子设备(如图2A所示的手机200)上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (22)
1.一种图像的融合方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头、第二摄像头和第三摄像头,所述第一摄像头的视场角大于所述第二摄像头的视场角,所述第三摄像头的视场角大于所述第一摄像头的视场角,所述方法包括:
所述电子设备检测到第一操作;
响应于所述第一操作,所述电子设备通过所述第一摄像头采集所述第一图像,通过所述第二摄像头采集第二图像,通过所述第三摄像头采集第三图像;其中,所述第一摄像头采集所述第一图像的取景范围是第一取景范围,所述第二摄像头采集所述第二图像的取景范围是第二取景范围,所述第三摄像头采集所述第三图像的取景范围是第三取景范围,所述第三取景范围大于所述第一取景范围,所述第一取景范围大于所述第二取景范围;
所述电子设备对所述第一图像进行处理,得到第四图像;其中,所述第四图像包括第一区域图像,所述第四图像中所述第一区域图像的分辨率和所述第二图像的分辨率相同,所述第一区域图像相对于所述第一摄像头的取景范围是第四取景范围,所述第一取景范围包括所述第四取景范围,所述第四取景范围与所述第二取景范围重合;
所述电子设备对所述第二图像和所述第四图像进行图像融合,得到第五图像;
所述电子设备对所述第三图像进行处理,得到第六图像;其中,所述第六图像包括第二区域图像,所述第六图像中所述第二区域图像的分辨率和所述第一图像的分辨率相同,所述第二区域图像相对于所述第三摄像头的取景范围是第五取景范围,所述第三取景范围包括所述第五取景范围,所述第五取景范围与所述第一取景范围重合;
所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像。
2.根据权利要求1所述的方法,其特征在于,所述电子设备对所述第一图像进行处理,得到第四图像,包括:
所述电子设备对所述第一图像进行超分辨率重建,得到所述第四图像。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备对所述第三图像进行处理,得到第六图像,包括:
所述电子设备对所述第三图像进行超分辨率重建,得到所述第六图像。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像之后,所述方法还包括:
所述电子设备接收第二操作,所述第二操作用于触发所述电子设备显示所述第七图像;
响应于第二操作,所述电子设备显示第一界面,所述第一界面用于播放所述第七图像以第三区域图像为中心,自动缩放的动态画面;其中,所述第七图像包括所述第三区域图像,所述第三区域图像相对于所述第三摄像头的取景范围是第六取景范围,所述第三取景范围包括所述第六取景范围,所述第六取景范围与所述第二取景范围重合。
5.根据权利要求4所述的方法,其特征在于,所述第一播放界面还包括第一速度选项和第一倍率选项;其中,所述第一速度选项用于调整所述动态画面中的播放速度,所述第一倍率选项用于调整所述第一界面中所述第七图像的最大缩放倍率;
所述方法还包括:
所述电子设备响应于所述用户对所述第一速度选项的调整操作,调整所述动态画面的播放速度;
所述电子设备响应于所述用户对所述第一倍率选项的调整操作,调整所述第七图像的最大缩放倍率。
6.根据权利要求4或5所述的方法,其特征在于,所述第一界面还包括手动播放按钮,所述手动播放按钮用于触发所述电子设备显示第二界面;
其中,所述第二界面包括所述第七图像和预设倍率选项,所述预设倍率选项用于设置所述第七图像的缩放倍率。
7.根据权利要求1-3中任一项所述的方法,其特征在于,在所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像之后,所述方法还包括:
所述电子设备接收第二操作,所述第二操作用于触发所述电子设备显示所述第七图像;
响应于所述第二操作,所述电子设备显示第二界面;其中,所述第二界面包括所述第七图像和预设倍率选项,所述预设倍率选项用于设置所述第七图像的缩放倍率;
所述方法还包括:
所述电子设备接收所述用户在所述预设倍率选项设置的缩放倍率,按照所述用户设置的缩放倍率显示所述第七图像。
8.根据权利要求7所述的方法,其特征在于,所述第二界面还包括自动播放按钮,所述自动播放按钮用于触发所述电子设备显示第一界面;
其中,所述第一界面用于播放所述第七图像以第三区域图像为中心,自动缩放的动态画面;所述第七图像包括所述第三区域图像,所述第三区域图像相对于所述第三摄像头的取景范围是第六取景范围,所述第三取景范围包括所述第六取景范围,所述第六取景范围与所述第二取景范围重合。
9.根据权利要求4-6中任一项所述的方法,其特征在于,所述第一界面包括格式转换按钮,所述格式转换按钮用于触发所述电子设备转换所述第七图像的文件格式;
所述方法还包括:
所述电子设备接收作用于所述格式转换按钮的第三操作,生成第一文件;其中,所述第一文件为所述第七图像以所述第三区域图像为中心、自动缩放的视频文件;或者,所述第一文件为以所述第三区域图像为中心、自动缩放所述第七图像的图形交换格式GIF图像。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述第一摄像头为主摄像头,所述第二摄像头为长焦摄像头,所述第三摄像头为广角摄像头。
11.一种图像的融合方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头、第二摄像头、第三摄像头和第四摄像头,所述第一摄像头的视场角大于所述第二摄像头的视场角,所述第三摄像头的视场角大于所述第一摄像头的视场角,所述第四摄像头的视场角与所述第一摄像头的视场角相同,所述方法包括:
所述电子设备检测到第一操作;
响应于所述第一操作,所述电子设备通过所述第一摄像头采集所述第一图像,通过所述第二摄像头采集第二图像,通过所述第三摄像头采集第三图像,通过所述第四摄像头采集第八图像;其中,所述第一摄像头采集所述第一图像的取景范围是第一取景范围,所述第二摄像头采集所述第二图像的取景范围是第二取景范围,所述第三摄像头采集所述第三图像的取景范围是第三取景范围,所述第三取景范围大于所述第一取景范围,所述第一取景范围大于所述第二取景范围,所述第四摄像头采集所述第八图像的取景范围与所述第一取景范围相同;
所述电子设备对所述第一图像和所述第八图像进行图像融合,得到第九图像;
所述电子设备对所述第九图像进行处理,得到第四图像;其中,所述第四图像包括第一区域图像,所述第四图像中所述第一区域图像的分辨率和所述第二图像的分辨率相同,所述第一区域图像相对于所述第一摄像头的取景范围是第四取景范围,所述第一取景范围包括所述第四取景范围,所述第四取景范围与所述第二取景范围重合;
所述电子设备对所述第二图像和所述第四图像进行图像融合,得到第五图像;
所述电子设备对所述第三图像进行处理,得到第六图像;其中,所述第六图像包括第二区域图像,所述第六图像中所述第二区域图像的分辨率和所述第一图像的分辨率相同,所述第二区域图像相对于所述第三摄像头的取景范围是第五取景范围,所述第三取景范围包括所述第五取景范围,所述第五取景范围与所述第一取景范围重合;
所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像。
12.根据权利要求11所述的方法,其特征在于,所述电子设备对所述第九图像进行处理,得到第四图像,包括:
所述电子设备对所述第九图像进行超分辨率重建,得到所述第四图像。
13.根据权利要求11或12所述的方法,其特征在于,所述电子设备对所述第三图像进行处理,得到第六图像,包括:
所述电子设备对所述第三图像进行超分辨率重建,得到所述第六图像。
14.根据权利要求11-13中任一项所述的方法,其特征在于,在所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像之后,所述方法还包括:
所述电子设备接收第二操作,所述第二操作用于触发所述电子设备显示所述第七图像;
响应于第二操作,所述电子设备显示第一界面,所述第一界面用于播放所述第七图像以第三区域图像为中心,自动缩放的动态画面;其中,所述第七图像包括所述第三区域图像,所述第三区域图像相对于所述第三摄像头的取景范围是第六取景范围,所述第三取景范围包括所述第六取景范围,所述第六取景范围与所述第二取景范围重合。
15.根据权利要求14所述的方法,其特征在于,所述第一播放界面还包括第一速度选项和第一倍率选项;其中,所述第一速度选项用于调整所述动态画面中的播放速度,所述第一倍率选项用于调整所述第一界面中所述第七图像的最大缩放倍率;
所述方法还包括:
所述电子设备响应于所述用户对所述第一速度选项的调整操作,调整所述动态画面的播放速度;
所述电子设备响应于所述用户对所述第一倍率选项的调整操作,调整所述第七图像的最大缩放倍率。
16.根据权利要求14或15所述的方法,其特征在于,所述第一界面还包括手动播放按钮,所述手动播放按钮用于触发所述电子设备显示第二界面;
其中,所述第二界面包括所述第七图像和预设倍率选项,所述预设倍率选项用于设置所述第七图像的缩放倍率。
17.根据权利要求11-13中任一项所述的方法,其特征在于,在所述电子设备对所述第五图像和所述第六图像进行图像融合,得到第七图像之后,所述方法还包括:
所述电子设备接收第二操作,所述第二操作用于触发所述电子设备显示所述第七图像;
响应于所述第二操作,所述电子设备显示第二界面;其中,所述第二界面包括所述第七图像和预设倍率选项,所述预设倍率选项用于设置所述第七图像的缩放倍率;
所述方法还包括:
所述电子设备接收所述用户在所述预设倍率选项设置的缩放倍率,按照所述用户设置的缩放倍率显示所述第七图像。
18.根据权利要求17所述的方法,其特征在于,所述第二界面还包括自动播放按钮,所述自动播放按钮用于触发所述电子设备显示第一界面;
其中,所述第一界面用于播放所述第七图像以第三区域图像为中心,自动缩放的动态画面;所述第七图像包括所述第三区域图像,所述第三区域图像相对于所述第三摄像头的取景范围是第六取景范围,所述第三取景范围包括所述第六取景范围,所述第六取景范围与所述第二取景范围重合。
19.一种电子设备,其特征在于,所述电子设备包括:存储器、显示屏和一个或多个处理器;所述存储器、所述显示屏与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-10中任一项所述的方法。
20.一种电子设备,其特征在于,所述电子设备包括:存储器、显示屏和一个或多个处理器;所述存储器、所述显示屏与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求11-18中任一项所述的方法。
21.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
22.一种计算机程序产品,其特征在于,所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-18中任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110506754.4A CN113364975B (zh) | 2021-05-10 | 2021-05-10 | 一种图像的融合方法及电子设备 |
PCT/CN2022/079139 WO2022237286A1 (zh) | 2021-05-10 | 2022-03-03 | 一种图像的融合方法及电子设备 |
MX2022011895A MX2022011895A (es) | 2021-05-10 | 2022-03-03 | Metodo de fusion de imagenes y dispositivo electronico. |
US17/915,580 US12136195B2 (en) | 2021-05-10 | 2022-03-03 | Image fusion method and electronic device |
EP22743697.9A EP4117275A4 (en) | 2021-05-10 | 2022-03-03 | IMAGE FUSION METHOD AND ELECTRONIC DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110506754.4A CN113364975B (zh) | 2021-05-10 | 2021-05-10 | 一种图像的融合方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113364975A true CN113364975A (zh) | 2021-09-07 |
CN113364975B CN113364975B (zh) | 2022-05-20 |
Family
ID=77526208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110506754.4A Active CN113364975B (zh) | 2021-05-10 | 2021-05-10 | 一种图像的融合方法及电子设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12136195B2 (zh) |
EP (1) | EP4117275A4 (zh) |
CN (1) | CN113364975B (zh) |
MX (1) | MX2022011895A (zh) |
WO (1) | WO2022237286A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022237286A1 (zh) * | 2021-05-10 | 2022-11-17 | 荣耀终端有限公司 | 一种图像的融合方法及电子设备 |
CN115550570A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204392356U (zh) * | 2015-03-12 | 2015-06-10 | 王欣东 | 一种带有多个不同固定焦距摄像头的手机 |
JP2018113683A (ja) * | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN108712608A (zh) * | 2018-05-16 | 2018-10-26 | Oppo广东移动通信有限公司 | 终端设备拍摄方法和装置 |
CN110248081A (zh) * | 2018-10-12 | 2019-09-17 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
CN110506416A (zh) * | 2018-07-27 | 2019-11-26 | 华为技术有限公司 | 一种终端切换摄像头的方法及终端 |
CN111062881A (zh) * | 2019-11-20 | 2020-04-24 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、存储介质、电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7469064B2 (en) * | 2003-07-11 | 2008-12-23 | Panasonic Corporation | Image display apparatus |
IN2007KN02527A (zh) | 2005-01-03 | 2015-10-16 | Vumii Inc | |
US20070076099A1 (en) * | 2005-10-03 | 2007-04-05 | Eyal Eshed | Device and method for hybrid resolution video frames |
KR101899877B1 (ko) | 2012-04-04 | 2018-09-19 | 삼성전자주식회사 | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 |
CN105556944B (zh) | 2012-11-28 | 2019-03-08 | 核心光电有限公司 | 多孔径成像系统和方法 |
WO2016172619A1 (en) | 2015-04-23 | 2016-10-27 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
CN207283679U (zh) | 2017-11-05 | 2018-04-27 | 信利光电股份有限公司 | 一种多视场角多摄像头模组和移动终端 |
CN110493526B (zh) * | 2019-09-10 | 2020-11-20 | 北京小米移动软件有限公司 | 基于多摄像模块的图像处理方法、装置、设备及介质 |
CN111294517B (zh) * | 2020-03-03 | 2021-12-17 | 荣耀终端有限公司 | 一种图像处理的方法及移动终端 |
CN113364975B (zh) * | 2021-05-10 | 2022-05-20 | 荣耀终端有限公司 | 一种图像的融合方法及电子设备 |
-
2021
- 2021-05-10 CN CN202110506754.4A patent/CN113364975B/zh active Active
-
2022
- 2022-03-03 US US17/915,580 patent/US12136195B2/en active Active
- 2022-03-03 MX MX2022011895A patent/MX2022011895A/es unknown
- 2022-03-03 EP EP22743697.9A patent/EP4117275A4/en active Pending
- 2022-03-03 WO PCT/CN2022/079139 patent/WO2022237286A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204392356U (zh) * | 2015-03-12 | 2015-06-10 | 王欣东 | 一种带有多个不同固定焦距摄像头的手机 |
JP2018113683A (ja) * | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN108712608A (zh) * | 2018-05-16 | 2018-10-26 | Oppo广东移动通信有限公司 | 终端设备拍摄方法和装置 |
CN110506416A (zh) * | 2018-07-27 | 2019-11-26 | 华为技术有限公司 | 一种终端切换摄像头的方法及终端 |
CN110248081A (zh) * | 2018-10-12 | 2019-09-17 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
CN111183632A (zh) * | 2018-10-12 | 2020-05-19 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
CN111062881A (zh) * | 2019-11-20 | 2020-04-24 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、存储介质、电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022237286A1 (zh) * | 2021-05-10 | 2022-11-17 | 荣耀终端有限公司 | 一种图像的融合方法及电子设备 |
US12136195B2 (en) | 2021-05-10 | 2024-11-05 | Honor Device Co., Ltd. | Image fusion method and electronic device |
CN115550570A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN115550570B (zh) * | 2022-01-10 | 2023-09-01 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113364975B (zh) | 2022-05-20 |
EP4117275A1 (en) | 2023-01-11 |
WO2022237286A1 (zh) | 2022-11-17 |
MX2022011895A (es) | 2022-12-02 |
US20240212100A1 (en) | 2024-06-27 |
EP4117275A4 (en) | 2023-11-29 |
US12136195B2 (en) | 2024-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111183632A (zh) | 图像捕捉方法及电子设备 | |
EP2215843B1 (en) | System and method for generating a photograph with variable image quality | |
JP4683340B2 (ja) | 撮影装置および撮影方法 | |
CN113489894B (zh) | 一种长焦场景下的拍摄方法及终端 | |
CN113596316B (zh) | 拍照方法及电子设备 | |
CN113364976B (zh) | 一种图像的显示方法及电子设备 | |
WO2020078273A1 (zh) | 一种拍摄方法及电子设备 | |
CN113810604B (zh) | 文档拍摄方法、电子设备和存储介质 | |
CN116156314A (zh) | 一种视频拍摄方法及电子设备 | |
CN113709354A (zh) | 一种拍摄方法及电子设备 | |
CN113364975B (zh) | 一种图像的融合方法及电子设备 | |
CN115514874B (zh) | 一种视频拍摄方法及电子设备 | |
CN113497880A (zh) | 一种拍摄图像的方法及电子设备 | |
CN113726949B (zh) | 一种视频处理方法、电子设备及存储介质 | |
CN114979458B (zh) | 一种图像的拍摄方法及电子设备 | |
RU2807091C1 (ru) | Способ слияния изображений и электронное устройство | |
CN114466101A (zh) | 显示方法及电子设备 | |
CN117354624B (zh) | 摄像头切换方法、设备以及存储介质 | |
CN117714849A (zh) | 一种图像拍摄方法及相关设备 | |
CN117880634A (zh) | 一种拍摄视频的方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |