CN113556464B - 拍摄方法、装置及电子设备 - Google Patents

Abstract

本申请公开了拍摄方法、装置及电子设备，属于图像处理技术领域，所述方法包括：获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；通过陀螺仪参数信息和第一摄像头的第一摄像头矩阵，校正第一视频帧图像的滚动快门扭曲得到第三视频帧图像；通过陀螺仪参数信息和第二摄像头的第二摄像头矩阵，校正第二视频帧图像的滚动快门扭曲得到第四视频帧图像；基于陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像。

Description

拍摄方法、装置及电子设备

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种拍摄方法、装置及电子设备。

背景技术

目前视频防抖技术已经被广泛用于电子设备的视频录制中。视频防抖可以分成光学防抖和电子防抖。OIS(Optical Image Stabilization，光学防抖) 通过检测电子设备实时运动姿态，主动在水平和竖直方向上移动镜片以补偿电子设备围绕X轴旋转和围绕Y轴旋转的运动，从而保证视频画面的稳定。电子防抖又可称为EIS(Electronic ImageStabilization，电子图像稳定)，EIS 的工作原理如图1所示，其使用陀螺仪获得电子设备的位置姿态的变化，在视频帧图像的后处理过程中，通过图像处理技术将图像部分视角保留为用户不可见部分作为图像防抖余量，对视频帧图像进行绕x、y、z轴的旋转，补偿电子设备的旋转，从而保证视频画面的稳定。

目前电子设备普遍采用光学防抖和电子防抖组合，形成综合防抖系统，简称O+E防抖。现有O+E防抖系统中，EIS的图像后处理机制为在防抖余量的机制下，通过对图像旋转绕x、y、z轴补偿抖动实现防抖。由于防抖余量有限，所以EIS的能力受限，从而导致EIS防抖效果差。

发明内容

本申请实施例的目的是提供一种拍摄方法、装置及电子设备，能够解决现有技术中存在的EIS防抖效果差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种拍摄方法，所述方法包括：获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像；通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲得到第四视频帧图像；基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

第二方面，本申请实施例提供了一种拍摄装置，所述装置包括：第一获取模块，用于获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；第一校正模块，用于通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵校正所述第一视频帧图像的滚动快门扭曲，得到第三视频帧图像；第二校正模块，用于通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲，得到第四视频帧图像；处理模块，用于基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

本申请实施例中，获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；通过陀螺仪参数信息和第一摄像头的第一摄像头矩阵，校正第一视频帧图像的滚动快门扭曲得到第三视频帧图像；通过陀螺仪参数信息和第二摄像头的第二摄像头矩阵，校正第二视频帧图像的滚动快门扭曲得到第四视频帧图像；基于陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像。本申请实施例中，通过第二摄像头采集的第二视频帧图像扩大第一视频帧图像的视场角，使得防抖余量增加，从而提升EIS的防抖效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是表示现有技术的EIS工作原理示意图；

图2是表示本申请实施例的一种拍摄方法的步骤流程图；

图3是表示本申请实施例的第一视频帧图像与第二视频帧图像的视场角关系示意图；

图4是表示本申请实施例的滚动快门扭曲前后垂直物体图像比对示意图；

图5是表示本申请实施例的滚动快门扭曲校正前后垂直物体图像比对示意图；

图6是表示本申请实施例的第六视频帧图像的示意图；

图7是表示本申请实施例的一种拍摄装置的结构框图；

图8是表示本申请实施例的一种电子设备的结构框图；

图9是表示本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

参照图2，示出了本申请实施例的一种拍摄方法的步骤流程图。

本申请实施例的拍摄方法包括以下步骤：

步骤201：获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息。

摄像头按照镜头视角可划分为：超广角镜头、广角镜头以及长焦镜头，其中，超广角镜头视角一般在114°左右，广角镜头视角一般在84°左右，长焦镜头视角一般在45°左右。

其中，第二摄像头的视场角大于第一摄像头。本申请实施例中对于第一摄像头、第二摄像头的类型不做具体限定。例如：第一摄像头可以为长焦镜头，第二摄像头为广角镜头；或者，第一摄像头为广角镜头，第二摄像头为超广角镜头；或者，第一摄像头为长焦镜头，第二摄像头为超广角镜头等。

第一摄像头又可称为主摄像头，第二摄像头可称为辅摄像头，第一视频图像可用I₁表示，第二视频帧图像可用I₂表示。图3为第一视频帧图像与第二视频帧图像的视场角关系示意图，如图3所示，第二视频帧图像I₂的视场角大于第一视频帧图像I₁的视场角，因此可基于第二视频帧图像对第一视频帧图像的视场角进行补偿。

本申请实施例提供的拍摄方法，基于电子设备中所设置的多摄像头采集的视频帧图像，扩大第一摄像头所采集的第一视频帧图像I₁的视场角，从而提升EIS的防抖能力。扩大第一视频帧图像视场角时，利用电子设备上配置的多摄像头的视场角大小各异的特性，例如超广角镜头的视角大于广角镜头，广角镜头的视角大于长焦镜头的特性，通过超广角镜头可以为广角镜头、长焦镜头扩大视场角，从而提升广角镜头、长焦镜头的防抖能力，通过广角镜头可以为长焦镜头扩大场视角，从而提升长焦镜头的防抖能力。

需要说明的是，若电子设备中不存在视场角大于当前拍摄使用的第一摄像头的视场角的第二摄像头，则不采集第二视频帧图像，可采用现有防抖技术进行视频拍摄防抖处理。

陀螺仪参数信息可以包括但不限于：陀螺仪角速度、陀螺仪角度，陀螺仪角速度信息可根据时间累加成x、y、z三轴分别转动的角度向量G。陀螺仪参数信息为对视频帧图像进行电子防抖处理的核心参数。

步骤202：通过陀螺仪参数信息和第一摄像头的第一摄像头矩阵，校正第一视频帧图像的滚动快门扭曲得到第三视频帧图像。

滚动快门扭曲是数码相机CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)感光元件的一种效应，当使用电子快门拍摄高速移动的物体时，原本垂直的物体拍摄出的画面变成倾斜甚至变成。产生滚动快门扭曲的原因为：CMOS感光元件采用逐行扫描的曝光方式，产生的时间差导致画面倾斜。滚动快门扭曲前后垂直物体图像比对示意图如图4所述，其中，图4中的左图为无滚动快门扭曲的垂直物体图像，图 4中的右图为滚动快门扭曲后的垂直物体图像。如图4所示，当相机向右快速运动时，竖直物体呈现成为斜线物体。

本申请实施例中为克服滚动快门扭曲对视频帧图像带来的抖动，采用获取的陀螺仪参数信息，校正第一视频帧图像和第二视频帧图像的滚动快门扭曲。

在对视频帧图像的滚动快门扭曲进行校正时，可将待校正图像划分为M ×N个图像块，划分后的待校正图像共有(M+1)×(N+1)个点，每个点都可以在陀螺仪参数信息中找到其曝光时对应的陀螺仪角度。以待校正图像左上角的点为参考点，其余的点P都与参考点有相对的x、y、z三轴的旋转，可以计算出它们相对参考点的旋转矩阵R，待校正图像中各点的滚动快门曝光位置可以根据公式P＇＝K×R×K-¹×P计算得到。基于上述公式对待校正图像中各点的滚动快门曝光位置进行变换，得到校正后的图像。

可采用上述方式对第一视频帧图像进行校正得到第三视频帧图像，第三视频帧图像可表示为I₁＇；对第二视频帧图像进行校正得到第四视频帧图像，第四视频帧图像可表示为I₂＇。

步骤203：通过陀螺仪参数信息和第二摄像头的第二摄像头矩阵，校正第二视频帧图像的滚动快门扭曲得到第四视频帧图像。

滚动快门扭曲校正前后，垂直物体图像比对示意图如图5所述，其中，图5中在左图为滚动快门扭曲校正前的垂直物体图像，图5中的右图为滚动快门扭曲校正后的垂直物体图像。如图5所示，通过滚动快门扭曲校正，图像中成斜线物体的倾斜角度变小，接近竖直呈现。

步骤204：基于陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像。

对第三视频图像进行防抖处理时，将第三视频帧图像与第四视频帧图像进行拼接，结合拼接生成的第六视频帧图像和陀螺仪参数信息，执行EIS的防抖逻辑，得到目标视频帧图像。

本申请实施例提供的拍摄方法以对拍摄过程中的一个视频帧图像进行防抖处理为例进行说明，在实际实现过程中，可重复执行上述流程对拍摄的各视频帧图像进行防抖处理。

本申请实施例提供的拍摄方法，获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；通过陀螺仪参数信息和第一摄像头的第一摄像头矩阵，校正第一视频帧图像的滚动快门扭曲得到第三视频帧图像；通过陀螺仪参数信息和第二摄像头的第二摄像头矩阵，校正第二视频帧图像的滚动快门扭曲得到第四视频帧图像；依据陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像。本申请实施例中，通过第二摄像头采集的第二视频帧图像扩大第一视频帧图像的视场角，使得防抖余量增加，从而提升 EIS的防抖效果。

在一种可选地实施例中，通过陀螺仪参数信息和第一摄像头的第一摄像头矩阵，校正第一视频帧图像的滚动快门扭曲得到第三视频帧图像之前，还可以执行如下流程：

步骤一：在第一摄像头或第二摄像头设置有OIS器件的情况下，获取 OIS参数信息。

在实际实现过程中，电子设备中包含多摄像头的情况下，任意一个摄像头均可设置OIS(Optical Image Stabilization，光学防抖)器件。在第一摄像头与第二摄像头均未设置OIS器件的情况下，则无需执行获取OIS参数信息的步骤以及后续基于OIS参数信息对设置有OIS器件的摄像头的摄像头矩阵进行修正的步骤。

本可选地实施例中以第一摄像头或第二摄像头设置有OIS器件为例进行说明。第一视频帧图像、第二视频帧图像、陀螺仪参数信息OIS为相同时间点下采集的信息，即电子设备同步采集上述四项信息。

步骤二：通过OIS参数信息对设置有OIS器件的摄像头的摄像头矩阵进行修正。

摄像头的摄像头矩阵可表示为

其中f为焦距，c_x和c_y为相机镜头中心在对应的成像平面的偏移量。由于OIS在镜头x轴、y轴的运动补偿抖动，改变了相机镜头中心的位置，所以在第一摄像头设置有OIS器件的情况下，将第一摄像头的第一摄像头矩阵可修正为

在第二摄像头设置有OIS器件的情况下，将第二摄像头的第二摄像头矩阵可修正为

后续基于修正后的摄像头矩阵进行拍摄防抖处理。

该种可选地实施例中，基于O+E防抖系统对拍摄过程中的视频帧图像进行防抖处理，防抖效果更佳。

在一种可选地实施例中，基于陀螺仪参数信息、第一摄像头矩阵和所述第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像的流程可以如下：

首先，判断第三视频帧图像与第四视频帧图像是否可拼接；

其次，在第三视频帧图像与第四视频帧图像可拼接的情况下，判断第三视频帧图像与第四视频帧图像是否满足拼接条件；

再次，在第三视频帧图像与第四视频帧图像满足拼接条件的情况下，基于陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像。

该种可选地在对第三视频帧图像进行防抖处理之前，执行双重判定逻辑以确定第三视频帧图像与第四视频帧图像是否拼接，能够避免盲目拼接图像作无用功。

在一种可选地实施例中，判断第三视频帧图像与第四视频帧图像是否可拼接的方式可以包括如下子步骤：

子步骤一：将第三视频帧图像与第四视频帧图像进行特征点匹配，得到匹配结果；

子步骤二：基于匹配结果，生成单应矩阵。

单应矩阵可用H表示，H可以使第三视频帧图像I₁＇和第四视频帧图像 I₂＇全局对齐。

在实际实现过程中，可从第三视频帧图像和第四视频帧图像中提取多对相同的图像特征点，对于提取的每对图像特征点，依据两个图像特征点在各自图像中的位置确定图像特征点的偏移距离，依据各图像特征点的偏移距离生成单应矩阵。对于提取的图像特征点的数量可由本领域技术人员根据实际需求进行设置，本可选地实施例中对此不做具体限制。

子步骤三：通过单应矩阵将第四视频帧图像映射到第三视频帧图像，得到第五视频帧图像。

使用单应矩阵H，把I₂＇映射到I₁＇对齐，得到第五视频帧图像I＇_2-warp。

子步骤四：确定第三视频帧图像与第五视频帧图像的图像灰度值均差和图像梯度值均差。

图像差异可通过目标差值D表示，第三视频帧图像与第五视频帧图像的图像差异可通过两图像中像素点的图像灰度值均差和图像梯度值均差确定。

子步骤五：通过图像灰度值均差和图像梯度值均差，确定目标差值。

例如：可以分别计算第三视频帧图像和第五视频帧图像在图像灰度值上的平均差异即图像灰度值均差D_gray，计算第三视频帧图像与第五视频帧图像在图像梯度上的平均差异即图像梯度值均差D_grad，目标差值D＝a×D_gray+b ×D_grad，其中，a和b为权重系数，a和b的数值可由本领域技术人员根据实际需求灵活调节。

子步骤六：在目标差值小于预设的第一阈值的情况下，确定第三视频帧图像与第四视频帧图像可拼接。

在目标差值大于或等于预设的第一阈值的情况下，确定第三视频帧图像与第四视频帧图像不可拼接。

若目标差值D小于阈值T₁，则判断第三视频帧图像与第四视频帧图像可拼接，可以扩大图像视场角，继续执行后续流程。

该种可选地判断第三视频帧图像与第四视频帧图像是否可拼接的方式，所得结果准确且计算量小。

在一种可选地实施例中，判断第三视频帧图像与第四视频帧图像是否满足拼接条件的方式可包括如下子步骤：

子步骤一：确定第三视频帧图像边缘与图像防抖余量边缘的距离。

所确定的距离可用W表示。

子步骤二：在距离大于或等于预设距离阈值的情况下，确定第三视频帧图像与第四视频帧图像不满足拼接条件。

预设距离阈值可用T₂表示，T₂的数值可由本领域技术人员根据实际需求进行设置，本可选地实施例中对此不做具体限制，T₂为常数，用来衡量距离W是否充裕。

子步骤三：在距离小于预设距离阈值的情况下，确定第一视频帧图像的三轴角度加速度。

在距离W大于或等于预设距离阈值T₂的情况下，无需对第三视频帧图像和第四视频帧图像进行拼接处理。在距离W小于预设距离阈值T₂的情况下，需依据第一视频帧图像的三轴角加速度进一步判断是否满足拼接条件。

在实际实现过程中，可根据EIS的x、y、z三轴角度滤波算法，来判断是否对第三视频帧图像与第四视频帧图像进行拼接。定义S_n为视频当前帧与上一帧的三轴角度变化速度向量S_n＝(X_n-X_n-1，y_n-y_n-1，Z_n-Z_n-1)，则当前帧的三轴角度加速度为A_n＝(S_n-S_n-1)。

子步骤四：在三轴角度加速度大于预设的第二阈值的情况下，确定第三视频帧图像与第四视频帧图像满足拼接条件。

在确定三轴角度加速度A_n后，可比对A_n与预设的第二阈值T₃的大小，若A_n小于或等于T₃，则确定不满足拼接条件，以保持视频帧变化的连贯性。若A_n大于T₃，则确定满足拼接条件，需对第三视频帧图像与第四视频帧图像进行拼接。

该种可选地判断第三视频帧与第四视频帧是否满足拼接条件的方式，所得结果准确且计算量小。

在一种可选地实施例中，在第三视频帧图像与第四视频帧图像满足拼接条件的情况下，基于陀螺仪参数信息、第一摄像头矩阵和第四视频帧图像，对第三视频帧图像进行防抖处理，得到目标视频帧图像的方式可包括如下子步骤：

子步骤一：在第三视频帧图像与第四视频帧图像满足拼接条件的情况下，拼接第三视频帧图像与第四视频帧图像，得到第六视频帧图像。

拼接后得到的第六视频帧图像的示意图如图6所示，如图6所示第六视频帧图像I_g中心部分采用I₁＇，边缘部分采用I2＇相应图像区域，通过拼接已完成对第三视频帧图像视场角的扩充。若第三视频帧图像与第四视频帧图像不满足拼接条件，则将第三视频帧图像视为第六视频帧图像进行后续处理。

子步骤二：基于第六视频帧图像和陀螺仪参数信息，确定图像旋转量。

图像旋转量可表示为R，本可选地实施例中的子步骤二与子步骤三为 EIS处理流程，根据计算的图像旋转量R，可对抖动的视频帧图像的旋转进行补偿。

子步骤三：基于图像旋转量、第一摄像头矩阵，对第三视频帧图像进行防抖校正，得到目标视频帧图像。

在进行防抖校正时，可将第三视频帧图像划分为M×N个图像块形成网格，共有(M+1)x(N+1)个点。网格上各点P的变形量，由公式P'＝K×R×K-1 ×P计算得到，对网格中各点的变形量进行校正，可得到防抖校正之后的目标视频帧图像Is。

需要说明的是，本申请实施例提供的拍摄方法，执行主体可以为拍摄装置，或者该拍摄装置中的用于执行拍摄方法的控制模块。本申请实施例中以拍摄装置执行拍摄方法为例，说明本申请实施例提供的拍摄装置。

图7为实现本申请实施例的一种拍摄装置的结构框图。

本申请实施例的拍摄装置700应用于包含至少两个摄像头的电子设备，拍摄装置700包括如下功能模块：

第一获取模块701，用于获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；

第一校正模块702，用于通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲，得到第三视频帧图像；

第二校正模块703，用于通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲，得到第四视频帧图像；

处理模块704，用于基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

可选地，所述装置还包括：第二获取模块，用于在所述第一校正模块通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像之前，在第一摄像头或所述第二摄像头设置有OIS光学防抖器件的情况下，获取OIS参数信息；修正模块，用于依据所述OIS参数信息对设置有所述OIS器件的摄像头的摄像头矩阵进行修正，得到修正后的摄像头矩阵。

可选地，所述处理模块包括：第一确定子模块，用于判断所述第三视频帧图像与所述第四视频帧图像是否可拼接；第二确定子模块，用于在所述第三视频帧图像与所述第四视频帧图像可拼接的情况下，判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件；第三确定子模块，用于在所述第三视频帧图像与所述第四视频帧图像满足拼接条件的情况下，基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

可选地，所述第一确定子模块包括：第一单元，用于将所述第三视频帧图像与所述第四视频帧图像进行特征点匹配，得到匹配结果；基于所述匹配结果，生成单应矩阵；第二单元，用于通过所述单应矩阵将所述第四视频帧图像映射到所述第三视频帧图像，得到第五视频帧图像；第三单元，用于确定所述第三视频帧图像与所述第五视频帧图像的图像灰度值均差和图像梯度值均差；通过所述图像灰度值均差和所述图像梯度值均差，确定目标差值；第四单元，用于在所述目标差值小于预设的第一阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像可拼接。

可选地，所述第二确定子模块包括：第五单元，用于确定所述第三视频帧图像边缘与图像防抖余量边缘的距离；第六单元，用于在所述距离大于或等于预设距离阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像不满足拼接条件；第七单元，用于在所述距离小于所述预设距离阈值的情况下，确定所述第一视频帧图像的三轴角度加速度；第八单元，用于在所述三轴角度加速度大于预设的第二阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像满足拼接条件。

可选地，所述处理模块包括：拼接子模块，用于在所述第三视频帧图像与所述第四视频帧图像满足拼接条件的情况下，拼接所述第三视频帧图像与所述第四视频帧图像，得到第六视频帧图像；旋转量确定子模块，用于基于所述第六视频帧图像和所述陀螺仪参数信息，确定图像旋转量；防抖校正子模块，用于基于所述图像旋转量、所述第一摄像头矩阵，对所述第三视频帧图像进行防抖校正，得到目标视频帧图像。

本申请实施例提供的拍摄装置，通过第二摄像头采集的第二视频帧图像扩大第一视频帧图像的视场角，使得防抖余量增加，从而提升EIS的防抖效果。

本申请实施例中图7所示的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图7所示的拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图7所示的拍摄装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。本申请实施例的电子设备包含至少两个摄像头的电子设备。

其中，处理器910，用于获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；

通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像；

通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲得到第四视频帧图像；

基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

本申请实施例提供的电子设备，通过第二摄像头采集的第二视频帧图像扩大第一视频帧图像的视场角，使得防抖余量增加，从而提升EIS的防抖效果。

可选地，处理器910在所述通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像之前，还用于：在所述第一摄像头或所述第二摄像头设置有OIS光学防抖器件的情况下，获取OIS参数信息；依据所述OIS参数信息对设置有所述OIS器件的摄像头的摄像头矩阵进行修正。

可选地，处理器910在所述基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像时，具体用于：

判断所述第三视频帧图像与所述第四视频帧图像是否可拼接；在所述第三视频帧图像与所述第四视频帧图像可拼接的情况下，判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件；在所述第三视频帧图像与所述第四视频帧图像满足拼接条件的情况下，基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

可选地，处理器910判断所述第三视频帧图像与所述第四视频帧图像是否可拼接时，具体用于：

将所述第三视频帧图像与所述第四视频帧图像进行特征点匹配，得到匹配结果；基于所述匹配结果，生成单应矩阵；通过所述单应矩阵将所述第四视频帧图像映射到所述第三视频帧图像，得到第五视频帧图像；确定所述第三视频帧图像与所述第五视频帧图像的图像灰度值均差和图像梯度值均差；通过所述图像灰度值均差和所述图像梯度值均差，确定目标差值；在所述目标差值小于预设的第一阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像可拼接。

可选地，处理器910判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件时，具体用于：

确定所述第三视频帧图像边缘与图像防抖余量边缘的距离；在所述距离大于或等于预设距离阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像不满足拼接条件；在所述距离小于所述预设距离阈值的情况下，确定所述第一视频帧图像的三轴角度加速度；在所述三轴角度加速度大于预设的第二阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像满足拼接条件。

可选地，处理器910基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像时，具体用于：

在所述第三视频帧图像与所述第四视频帧图像满足拼接条件的情况下，拼接所述第三视频帧图像与所述第四视频帧图像，得到第六视频帧图像；基于所述第六视频帧图像和所述陀螺仪参数信息，确定图像旋转量；基于所述图像旋转量、所述第一摄像头矩阵，对所述第三视频帧图像进行防抖校正，得到目标视频帧图像。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器 (GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910 可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (9)

1.一种拍摄方法，其特征在于，所述方法包括：

获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；

通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲，得到第三视频帧图像；

通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲，得到第四视频帧图像；

基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像；

其中，所述基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像，包括：

拼接所述第三视频帧图像与所述第四视频帧图像，生成第六视频帧图像；

基于所述第六视频帧图像和所述陀螺仪参数信息，确定图像旋转量；

基于所述图像旋转量和所述第一摄像头矩阵，对所述第三视频帧图像进行防抖校正，得到目标视频帧图像。

2.根据权利要求1所述的方法，其特征在于，在所述通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像之前，所述方法还包括：

在所述第一摄像头或所述第二摄像头设置有OIS光学防抖器件的情况下，获取OIS参数信息；

通过所述OIS参数信息，对设置有所述OIS器件的摄像头的摄像头矩阵进行修正，得到修正后的摄像头矩阵。

3.根据权利要求1所述的方法，其特征在于，所述基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像，包括：

判断所述第三视频帧图像与所述第四视频帧图像是否可拼接；

在所述第三视频帧图像与所述第四视频帧图像可拼接的情况下，判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件；

在所述第三视频帧图像与所述第四视频帧图像满足所述拼接条件的情况下，基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

4.根据权利要求3所述的方法，其特征在于，所述判断所述第三视频帧图像与所述第四视频帧图像是否可拼接，包括：

将所述第三视频帧图像与所述第四视频帧图像进行特征点匹配，得到匹配结果；

基于所述匹配结果，生成单应矩阵；

通过所述单应矩阵，将所述第四视频帧图像映射到所述第三视频帧图像，得到第五视频帧图像；

确定所述第三视频帧图像与所述第五视频帧图像的图像灰度值均差和图像梯度值均差；

通过所述图像灰度值均差和所述图像梯度值均差，确定目标差值；

在所述目标差值小于预设的第一阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像可拼接。

5.根据权利要求3所述的方法，其特征在于，所述判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件，包括：

确定所述第三视频帧图像边缘与图像防抖余量边缘的距离；

在所述距离大于或等于预设距离阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像不满足拼接条件；

在所述距离小于所述预设距离阈值的情况下，确定所述第一视频帧图像的三轴角度加速度；

在所述三轴角度加速度大于预设的第二阈值的情况下，确定所述第三视频帧图像与所述第四视频帧图像满足拼接条件。

6.一种拍摄装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一摄像头采集的第一视频帧图像、第二摄像头采集的第二视频帧图像和陀螺仪参数信息；其中，所述第二摄像头的视场角大于所述第一摄像头；

第一校正模块，用于通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲，得到第三视频帧图像；

第二校正模块，用于通过所述陀螺仪参数信息和所述第二摄像头的第二摄像头矩阵，校正所述第二视频帧图像的滚动快门扭曲，得到第四视频帧图像；

处理模块，用于基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像；

其中，所述处理模块包括：拼接子模块，用于拼接所述第三视频帧图像与所述第四视频帧图像，得到第六视频帧图像；

旋转量确定子模块，用于基于所述第六视频帧图像和所述陀螺仪参数信息，确定图像旋转量；

防抖校正子模块，用于基于所述图像旋转量、所述第一摄像头矩阵，对所述第三视频帧图像进行防抖校正，得到目标视频帧图像。

7.根据权利要求6所述的装置，其特征子在于，所述装置还包括：

第二获取模块，用于在所述第一校正模块通过所述陀螺仪参数信息和所述第一摄像头的第一摄像头矩阵，校正所述第一视频帧图像的滚动快门扭曲得到第三视频帧图像之前，在第一摄像头或所述第二摄像头设置有OIS光学防抖器件的情况下，获取OIS参数信息；

修正模块，用于通过所述OIS参数信息对设置有所述OIS器件的摄像头的摄像头矩阵进行修正，得到修正后的摄像头矩阵。

8.根据权利要求6所述的装置，其特征在于，所述处理模块包括：

第一确定子模块，用于判断所述第三视频帧图像与所述第四视频帧图像是否可拼接；

第二确定子模块，用于在所述第三视频帧图像与所述第四视频帧图像可拼接的情况下，判断所述第三视频帧图像与所述第四视频帧图像是否满足拼接条件；

第三确定子模块，用于在所述第三视频帧图像与所述第四视频帧图像满足所述拼接条件的情况下，基于所述陀螺仪参数信息、所述第一摄像头矩阵和所述第四视频帧图像，对所述第三视频帧图像进行防抖处理，得到目标视频帧图像。

9.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的拍摄方法的步骤。

Images