CN114066951A - 图像配准方法、装置、存储介质及电子设备 - Google Patents
图像配准方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114066951A CN114066951A CN202111372762.0A CN202111372762A CN114066951A CN 114066951 A CN114066951 A CN 114066951A CN 202111372762 A CN202111372762 A CN 202111372762A CN 114066951 A CN114066951 A CN 114066951A
- Authority
- CN
- China
- Prior art keywords
- image
- motion model
- target
- image block
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012795 verification Methods 0.000 claims description 52
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 240000004282 Grewia occidentalis Species 0.000 claims description 12
- 238000012821 model calculation Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像配准方法、装置、存储介质及电子设备，所述方法包括：按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。采用本申请，可以提高图像配准的准确率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像配准方法、装置、存储介质以及电子设备。
背景技术
图像配准是图像处理领域中的一种常见方法，在实际情况中，会出现因不同物体与摄像设备之间的距离不同，使得摄像设备在移动过程中，不同物体对应的成像位置在摄像设备的显示界面上的移动距离不同的情况。
发明内容
本申请实施例提供一种图像配准方法、装置、存储介质以及电子设备，可以提高图像配准的精细度，即提高图像配准的准确率。
本技术方案如下：
第一方面，本申请实施例提供了一种图像配准方法，所述方法包括：
按照预设规则将目标帧图像切分为多个第一图像块；
分别计算每个所述第一图像块对应的运动模型；
基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
第二方面，本申请实施例提供了一种图像配准装置，所述装置包括：
图像切分模块，用于按照预设规则将目标帧图像切分为多个第一图像块；
模型计算模块，用于分别计算每个所述第一图像块对应的运动模型；
图像配准模块，用于基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述第一方面的方法步骤。
第四方面，本申请实施例提供了一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述第一方面的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，基于各所述运动模型对所述目标帧图像的上一帧图像进行配准，因每个第一图像块对应一个运动模型，基于对应的运动模型对所述目标帧图像的上一帧图像进行图像配准，避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种透视效应的举例示意图；
图2是本申请实施例提供的一种图像配准方法的流程示意图；
图3是本申请实施例提供的一种图像切分的举例示意图；
图4是本申请实施例提供的一种目标帧图像的举例示意图；
图5是本申请实施例提供的一种特征点选取的举例示意图；
图6是本申请实施例提供的一种图像切分的举例示意图；
图7是本申请实施例提供的一种图像配准的举例示意图；
图8是本申请实施例提供的一种图像配准方法的流程示意图；
图9是本申请实施例提供的一种运动模型的效果的举例示意图；
图10是本申请实施例提供的一种图像配准方法的流程示意图；
图11是本申请实施例提供的一种图像配准装置的结构示意图；
图12是本申请实施例提供的一种模型计算模块的结构示意图；
图13是本申请实施例提供的一种模型计算单元的结构示意图；
图14是本申请实施例提供的一种模型计算单元的结构示意图；
图15是本申请实施例提供的一种图像配准装置的结构示意图；
图16是本申请实施例提供的一种图像配准模块的结构示意图；
图17是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在采用移动终端的摄像设备或与移动终端进行通信连接的摄像设备对物体进行拍摄的过程中，由于手持着移动终端可能发生抖动或移动，会导致拍摄的物体在摄像设备对应的显示界面上的成像位置发生改变，如图1所示，图中的黑点表示的是拍摄物体，拍摄物体在显示界面的成像的移动距离XL-XR可以由下述公式计算：
由此可知，摄像设备平移的距离XL-XR以及摄像设备的相距v固定时，拍摄物体在显示界面的成像的移动距离与物距即摄像设备与物体之间的距离有关系，当物距u较大，拍摄物体在显示界面的成像的移动距离XL-XR就较小，当物距u较小，拍摄物体在显示界面的成像的移动距离XL-XR就较大。基于上述透视效应的存在，采用单一的运动模型对图像进行配准会因不同拍摄物体在显示界面的移动距离不同而出现误差。
基于此，本申请提供了一种图像配准方法，将图像切分为多个图像块，分别计算多个图像块对应的运动模型，采用所述运动模型对所述图像对应的上一帧图像进行配准，可以提高图像配准的准确率。
该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的图像配准装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的图像配准装置可以为移动终端，包括但不限于：智能交互平板、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant, PDA)、5G网络或未来演进网络中的终端设备等。
下面结合具体的实施例对本申请进行详细说明。
图像配准方法的实施场景，可以为用户使用移动终端的摄像头对拍摄物体拍摄图像，得到当前帧图像，移动终端可以获取摄像头采集到的图像，将当前帧图像作为图像配准过程中的基准帧图像，对基准帧图像按照预设的切分规则进行切分处理，得到多个切分后的图像块，基于基准帧图像与基准帧图像的上一帧图像切分后的图像块计算对应的用于图像配准的运动模型，基于其运动模型对基准帧图像的上一帧图像进行图像配准，得到配准后的基准帧图像的上一帧图像，将此配准后的图像输入至移动终端的用户界面，以使用户可以观看到经过图像配准后的图像，若摄像头获取到的基准帧图像的上一帧图像没有进行运动，则计算得到的运动模型为无运动模型，可以不需要对基准帧图像的上一帧图像进行图像配准，直接输出至移动终端的用户界面，以供用户观看。
请参见图2，为本申请实施例提供的一种图像配准方法的流程示意图。本申请实施例以图像配准装置侧进行描述，该图像配准方法可以包括以下步骤：
S101，按照预设规则将目标帧图像切分为多个第一图像块；
所述预设规则为预先设置的图像切分方式，可以按行、按列或者行列结合的方式进行切分。例如可以为将图像切分为4×1个图像块、4×4个图像块，或 3×3个图像块等，对图像切分后的个数以及具体的形状在此处不作限定。
目标帧图像可以为移动终端的摄像设备获取的当前帧图像。
当按照预设规则将目标帧图像切分为多个图像块后，切分后的每个图像块为第一图像块。
还可以理解的是，若图像的硬件处理方式为行扫描方式，则所切分的一行图像为一个第一图像块，若图像的硬件处理方式为列扫描方式，则所切分的一列图像为一个第一图像块。
S102，分别计算每个所述第一图像块对应的运动模型；
每个第一图像块对应一个运动模型，计算每个第一图像块对应的运动模型的过程按照针对第一图像块的特征点进行特征点检测、特征点匹配、再基于特征点检测以及特征点匹配的结果计算每个第一图像块运动模型。
获取所述目标帧图像的上一帧图像按照所述预设规则切分的多个第二图像块；基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型。
第二图像块是目标帧图像的上一帧图像按照预设规则切分的结果，第一图像块的切分规则与第二图像块的切分规则一致。例如，按照预设的切分规则，目标帧图像的上一帧图像的切分方式为切分成4×4个第二图像块，则目标帧图像也按照预设的切分规则也切分为4×4个第一图像块，如图3所示为切分结果，即得到16个第一图像块。
在一个实施例中，依次遍历多个第一图像块，获取当前遍历到的目标第一图像块对应的第一特征点集合，第一特征点集合中包含所有第一特征点；在多个所述第二图像块中确定与所述目标第一图像块匹配的目标第二图像块，在所述目标第二图像块中确定与所述第一特征点集合匹配的第二特征点集合，所述第一特征点集合中各第一特征点分别与所述第二特征点集合中各第二特征点匹配；基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型；直到所有第一图像块遍历完成。
其中，目标第一图像块为当前遍历到的将进行图像配准的第一图像块。目标第一图像块中所有特征点为第一特征点，第一特征点可以包括多个。
与目标第一图像块匹配的第二图像块指的是，在多个第二图像块中，与目标第一图像块的坐标位置对应的第二图像块，例如，如图4所示，右侧的图像为目标帧图像，左侧的图像为目标帧图像的上一帧图像，当目标帧图像中的目标第一图像块的坐标对应为(1，1)，则在目标帧图像的上一帧图像中的第二图像块中查找与目标第一图像块匹配的图像块，查找的结果可以为第二图像块中坐标(1’，1’)对应的目标第二图像块。
获取当前遍历到的目标第一图像块对应的第一特征点集合，第一特征点集合包括所有第一特征点，可以采用Harris角的方式对图像中的像素点进行特征值的计算，Harris角为将矩阵M的行列式值与M的迹相减，再将差值同预先给定的阈值进行比较，或还可以采用Shi-Tomasi算法、最小核值相似区(Smallest Univalue Segment AssimilatingNucleus，SUSAN)等方法对图像中的像素点进行特征值的计算。
在对目标第一图像块中的像素点进行特征值的计算后，获取所述目标第一图像块对应的第一特征点集合并计算所述第一特征点集合中各第一特征点对应的特征值；滤除所述特征值小于预设特征阈值的第一特征点。
预设特征阈值可以为预先设置的经验特征值，可以用于过滤掉特征值较低的特征点。
滤除所述特征值小于预设特征阈值的第一特征点的方式可以为将计算得到的特征值与预设特征阈值进行比较，若特征值小于预设特征阈值，则需要过滤掉，留下特征值大于预设特征阈值的第一特征点。
其中，因本方案中的一个第一图像块对应一个运动模型，但在计算一个第一图像块的运动模型时，可能会出现目标第一图像块的特征点数量不够的情况，且本方案中可采用仿射变换模型，仿射变换模型要求至少需要三个非共线的特征点才能进行计算，因此在基于滤除所述特征值小于预设特征阈值的第一特征点后，获取所述特征值大于预设特征阈值的特征点的数量；确定大于预设特征阈值的特征点的数量是否大于预设数量，若大于预设特征阈值的特征点的数量多于预设数量，则可以基于滤除所述特征值小于预设特征阈值的第一特征点后的第一特征点计算运动模型的。
若所述数量少于预设数量，则将所述特征值大于所述预设特征值的特征点，以及所述目标第一图像块周围的第一图像块中特征值大于所述预设特征值对应的特征点作为第一特征点。例如，如图5所示，因目标第一图像块(1，1)的左侧、上侧、左上侧、右上侧的第一图像块的运动模型按照由第一行开始遍历到最后一行的遍历顺序已经得到，目标第一图像块右侧的图像为计算本行图像块需要用到的图像块，因此采用目标第一图像块的左侧、右侧、上侧、左上侧、右上侧的第一图像块中特征值大于所述预设特征值对应的特征点，可以在保证计算目标第一图像块的模型的速度不会太大影响或不受影响，保证本方案可以提高图像配准速度的效果。
在计算所述目标第一图像块的运动模型之前，以过滤后的各所述第一特征点为中心，预设长度为边长，分别创建第一子图像块，将目标帧图像切分为如图6所示的多个第一子图像块，对于第二子图像块，也可以采用同样的创建方式，获取以各所述第二特征点为中心，所述预设长度为边长分别创建的第二子图像块；基于各所述第一子图像块以及各所述第二子图像块计算所述目标第一子图像块到所述目标第二子图像块对应的运动向量；基于各所述运动向量并采用最小二乘法，计算所述目标第一图像块对应的运动模型。
因目标第二图像块与目标第一图像块相匹配，因此目标第一图像块中的第一特征点集合中各第一特征点分别与目标第二图像块中第二特征点集合中各第二特征点一一对应，各第一特征点的数量与第二特征点的数量一致，第一特征点在目标第一图像块中的坐标可以与第二特征点在目标第二图像块中的坐标为相同坐标或相近的坐标。例如，在目标第一子图像块中，其中一个特征点的坐标为(10.1，1.5)，在目标第二子图像块中则存在坐标为(10.1，1.6)的特征点与其匹配，相匹配的两个特征点的特征值需为相同或相近。
在一个实施例中，在遍历到第一子图像块中的目标第一子图像块时，在第二子图像块中搜索与目标第一子图像块中内容最相似的图像块，作为目标第二子图像块，即进行特征点匹配的过程，计算目标第一子图像块与第二子图像块相似度的方式可以为采用平均绝对差算法(Mean Absolute Differences，MAD)、结构相似性指数(StructuralSimilarity Index Measure，SSIM)等方法衡量，在此处不作限定。
基于各所述第一子图像块以及各所述第二子图像块计算所述目标第二子图像块到所述目标第一子图像块对应的运动向量，例如，当目标第一子图像块的坐标为(x，y)，目标第二子图像块的坐标为(x’，y’)，则目标第一子图像块对应的运动向量可以由计算公式mvx＝x’-x，mvy＝y’-y得到，即目标第一子图像块对应的运动向量为(mvx，mvy)。
S103，基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
如图7所示，基于目标帧图像中每个第一图像块对应的运动模型对多个第一图像块对应的第二图像块进行配准。配准方式可以为输入目标第一子图像块中特征点的坐标，并基于目标第一子图像块所在的目标第一图像块对应的模型，计算得到在目标帧图像的上一帧图像中目标第二子图像块中对应的特征点的目标坐标，将目标坐标的像素值赋予致目标第二子图像块对应的特征点。
采用本申请实施例，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，基于各所述运动模型对所述目标帧图像的上一帧图像进行配准，可以在对第一图像块进行了第一图像块的特征点检测以及特征点匹配步骤之后，直接进入对第一图像块对应的运动模型的计算，无需等待目标帧图像的所有特征点检测和特征点匹配，随后基于计算得到的运动模型对所述目标帧图像的上一帧图像进行图像配准，提高图像配准的效率。因每个第一图像块对应一个运动模型，基于对应的运动模型对目标图像的上一帧图像进行图像配准避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
请参见图8，为本申请实施例提供的一种图像配准方法的流程示意图。在本实施例中，在计算得到第一图像块对应的运动模型之后，对运动模型进行验证，进一步确定运动模型的可靠性。本申请实施例以图像配准装置侧进行描述，该图像配准方法可以包括以下步骤：
S201，按照预设规则将目标帧图像切分为多个第一图像块；
请参见S101，此处不再赘述。
S202，分别计算每个所述第一图像块对应的运动模型；
请参见S102，此处不再赘述。
S203，验证所述运动模型的有效性，得到验证结果；
计算得到的运动模型需要进一步验证可靠性，当验证当前遍历到的目标第一图像块时，可以验证所述目标第一图像块的运动模型中对应的四角偏移量，若所述四角偏移量小于预设四角偏移量，则验证结果指示所述运动模型为有效运动模型，否则为无效运动模型；或；验证所述目标第一图像块的运动模型中对应的四边偏转度，若所述四边偏转度小于预设四边偏转度，则验证结果指示所述运动模型为有效运动模型，否则为无效运动模型。
如图9所示，矩形ABCD通过计算得到的目标第一图像块的运动模型变形后得到矩形A’B’C’D’。
如图9所示，四角偏移量即AA’、BB’、CC’、DD’、四段线段的长度之和，当四角偏移量小于了预设四角偏移量，则验证结果指示所述运动模型为有效运动模型，否则为无效运动模型。
四边偏转度即图中θ1、θ2、θ3、θ4四个角度的角度之和，当四边偏转度小于了预设四边偏转度，则验证结果指示所述运动模型为有效运动模型，否则为无效运动模型。
S204，若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。
若所述验证结果指示所述运动模型为无效运动模型，修正所述运动模型可以为，选取所述目标第一图像块的一个相邻的图像块的运动模型作为所述目标第一图像块的运动模型，所述相邻的图像块的运动模型为有效运动模型，或，将所述目标第一图像块对应的运动模型定义为无运动模型，不对所述目标帧图像的上一帧图像进行配准。
例如，可以将目标第一图像块的左侧或右侧的图像块的运动模型作为目标第一图像块的运动模型，但选取的相邻的图像块的运动模型需为有效运动模型，当采用目标第一图像块的一个相邻的图像块的运动模型作为所述目标第一图像块的运动模型也无法找到有效的运动模型时，将目标第一图像块的运动模型定义为((1，0，0)，(0，1，0))，即无运动模型，表示目标第一图像块没有发生运动，不需要对此目标第一图像块对应的目标第二图像块进行配准。
采用本申请实施例，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，验证所述运动模型的有效性，得到验证结果，若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。在得到第一图像块对应的运动模型后，对运动模型进行验证，进一步确定运动模型的可靠性，避免采用无效的运动模型进行图像配准，可以提高图像配准的准确率。可以在对第一图像块进行了第一图像块的特征点检测以及特征点匹配步骤之后，直接进入对第一图像块对应的运动模型的计算，无需等待目标帧图像的所有特征点检测和特征点匹配，随后基于计算得到的运动模型对目标图像的上一帧图像进行图像配准提高图像配准的效率。因每个第一图像块对应一个运动模型，基于对应的运动模型对所述目标帧图像的上一帧图像进行图像配准，避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
请参见图10，为本申请实施例提供的一种图像配准方法的流程示意图。
在此实施例中，采用仿射变换模型，并根据预设的公式，计算目标帧图像的上一帧图像对应的特征点的目标坐标，基于所述目标坐标对目标帧图像的上一帧图像进行配准。本申请实施例以图像配准装置侧进行描述，该图像配准方法可以包括以下步骤：
S301，按照预设规则将目标帧图像切分为多个第一图像块；
请参见S101，此处不再赘述。
S302，分别计算每个所述第一图像块对应的运动模型；
请参见S102，此处不再赘述。
S303，基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标；将所述目标帧图像的上一帧图像中特征点的参考坐标对应的像素值更换为所述目标坐标的像素值。
本方案采用的运动模型为仿射变换(Affine Transformation)模型，仿射变换是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”。根据仿射变换模型对应的计算公式：
可以计算目标帧图像的上一帧图像对应的特征点的目标坐标。
其中，
矩阵为仿射矩阵，X、Y为目标帧图像中特征点的坐标，X′、Y′为目标帧图像的上一帧图像对应的特征点的目标坐标。
采用本申请，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标，将所述上一帧图像对应的特征点的坐标更换为目标坐标，遍历目标帧图像中所有特征点，完成对所诉目标帧图像的上一帧图像进行配准。可以在对第一图像块进行了第一图像块的特征点检测以及特征点匹配步骤之后，直接进入对第一图像块对应的运动模型的计算，无需等待目标帧图像的所有特征点检测和特征点匹配，随后基于计算得到的运动模型对目标图像的上一帧图像进行图像配准提高图像配准的效率。因每个第一图像块对应一个运动模型，基于对应的运动模型对所诉目标帧图像的上一帧图像进行图像配准，避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图11，其示出了本申请一个示例性实施例提供的图像配准装置的结构示意图。该图像配准装置可以通过软件、硬件或者两者的结合实现成为移动终端的全部或一部分。该图像配准装置1包括图像切分模块11、模型计算模块 12以及图像配准模块13，其中：
图像切分模块11，用于按照预设规则将目标帧图像切分为多个第一图像块；
模型计算模块12，用于分别计算每个所述第一图像块对应的运动模型；
图像配准模块13，用于基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
可选的，请参见图12，所述模型计算模块12，包括：
第二图像块获取单元121，用于获取所述目标帧图像的上一帧图像按照所述预设规则切分的多个第二图像块；
模型计算单元122，用于基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型。
可选的，请参见图13，所述模型计算单元122，包括：
特征点获取子单元1221，用于依次遍历多个第一图像块，获取当前遍历到的目标第一图像块对应的第一特征点集合；
特征点确定子单元1222，用于在多个所述第二图像块中确定与所述目标第一图像块匹配的目标第二图像块，在所述目标第二图像块中确定与所述第一特征点集合匹配的第二特征点集合，所述第一特征点集合中各第一特征点分别与所述第二特征点集合中各第二特征点匹配；
模型计算子单元1223，用于基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型；
遍历完成子单元1224，用于直到所有第一图像块遍历完成。
可选的，所述模型计算子单元1223，具体用于：
以各所述第一特征点为中心，预设长度为边长，分别创建第一子图像块，并获取以各所述第二特征点为中心，所述预设长度为边长分别创建的第二子图像块；
基于各所述第一子图像块以及各所述第二子图像块计算所述目标第一子图像块到所述目标第二子图像块对应的运动向量；
基于各所述运动向量并采用最小二乘法，计算所述目标第一图像块对应的运动模型。
可选的，所述特征点获取子单元1221，具体用于：
获取所述目标第一图像块对应的第一特征点集合并计算所述第一特征点集合中各第一特征点对应的特征值；
滤除所述特征值小于预设特征阈值的第一特征点。
可选的，请参见图14，所述模型计算单元122，还包括：
数量获取子单元1225，用于获取所述特征值大于预设特征阈值的特征点的数量；
第一特征点确定子单元1226，用于若所述数量小于预设数量，则将所述特征值大于所述预设特征值的特征点，以及所述目标第一图像块周围的第一图像块中特征值大于所述预设特征值对应的特征点作为第一特征点。
可选的，请参见图15，所述装置1，还包括：
模型验证单元14，用于验证所述运动模型的有效性，得到验证结果；
所述图像配准模块13包括：
图像配准单元131，用于若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；
图像配准单元131，还用于若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。
可选的，所述模型验证单元14，包括：
模型验证子单元141，用于验证所述目标第一图像块的运动模型中对应的四角偏移量，若所述四角偏移量小于预设四角偏移量，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型；或；
模型验证子单元141，还用于验证所述目标第一图像块的运动模型中对应的四边偏转度，若所述四边偏转度小于预设四边偏转度，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型。
可选的，所述图像配准单元131，还包括：
图像配准子单元1311，用于若所述验证结果指示所述运动模型为无效运动模型，则将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，基于所述相邻的图像块的运动模型对所述目标帧图像的上一帧图像进行配准，所述相邻的图像块的运动模型为有效运动模型，或，
图像配准子单元1311，还用于所述若所述验证结果指示所述运动模型为无效运动模型，且无法将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，则将所述目标第一图像块定义为无运动模型，不对所述目标帧图像的上一帧图像进行配准。
可选的，请参见图16，所述图像配准模块13，包括：
目标坐标计算单元131，用于基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标；
坐标更换单元132，用于将所述目标帧图像的上一帧图像中特征点的参考坐标对应的像素值更换为所述目标坐标的像素值；
可选的，所述目标坐标计算单元131，包括：
目标坐标计算子单元1311，用于采用公式
计算目标帧图像的上一帧图像对应的特征点的目标坐标。
其中，
矩阵为仿射矩阵，X、Y为目标帧图像中特征点的坐标，X′、Y′为目标帧图像的上一帧图像对应的特征点的目标坐标。
采用本申请实施例，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，验证所述运动模型的有效性，得到验证结果，若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。在得到第一图像块对应的运动模型后，对运动模型进行验证，进一步确定运动模型的可靠性，避免采用无效的运动模型进行图像配准，可以提高图像配准的准确率。可以在对第一图像块进行了第一图像块的特征点检测以及特征点匹配步骤之后，直接进入对第一图像块对应的运动模型的计算，无需等待目标帧图像的所有特征点检测和特征点匹配，随后基于计算得到的运动模型对所述目标帧图像的上一帧图像进行图像配准，提高图像配准的效率。因每个第一图像块对应一个运动模型，基于对应的运动模型对所述目标帧图像的上一帧图像进行图像配准，避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
需要说明的是，上述实施例提供的图像配准装置在执行图像配准方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像配准装置与图像配准方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
本申请还提供了一种电子设备，该机器人存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图10所示实施例的方法步骤，具体执行过程可以参见图1-图10所示实施例的具体说明，在此不进行赘述。
请参见图17，为本申请实施例提供了一种电子设备的结构示意图。如图17 所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口 1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器 (Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图17所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及机器人定位应用程序。
在图17所示的移动终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的生成图像配准应用程序，并具体执行以下操作：
按照预设规则将目标帧图像切分为多个第一图像块；
分别计算每个所述第一图像块对应的运动模型；
基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
在一个实施例中，所述处理器1001在执行分别计算每个所述第一图像块对应的运动模型时，具体执行以下操作：
获取所述目标帧图像的上一帧图像按照所述预设规则切分的多个第二图像块；
基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型。
在一个实施例中，所述处理器1001在基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型时，具体执行以下操作：
依次遍历多个第一图像块，获取当前遍历到的目标第一图像块对应的第一特征点集合；
在多个所述第二图像块中确定与所述目标第一图像块匹配的目标第二图像块，在所述目标第二图像块中确定与所述第一特征点集合匹配的第二特征点集合，所述第一特征点集合中各第一特征点分别与所述第二特征点集合中各第二特征点匹配；
基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型；
直到所有第一图像块遍历完成。
在一个实施例中，所述处理器1001在执行基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型时，具体执行以下操作：
以各所述第一特征点为中心，预设长度为边长，分别创建第一子图像块，并获取以各所述第二特征点为中心，所述预设长度为边长分别创建的第二子图像块；
基于各所述第一子图像块以及各所述第二子图像块计算所述目标第一子图像块到所述目标第二子图像块对应的运动向量；
基于各所述运动向量并采用最小二乘法，计算所述目标第一图像块对应的运动模型。
在一个实施例中，所述处理器1001在执行获取当前遍历到的目标第一图像块对应的第一特征点集合，具体执行以下操作：
获取所述目标第一图像块对应的第一特征点集合并计算所述第一特征点集合中各第一特征点对应的特征值；
滤除所述特征值小于预设特征阈值的第一特征点。
在一个实施例中，所述处理器1001在执行获取当前遍历到的目标第一图像块对应的第一特征点集合之后，还执行以下操作：
获取所述特征值大于预设特征阈值的特征点的数量；
若所述数量小于预设数量，则将所述特征值大于所述预设特征值的特征点，以及所述目标第一图像块周围的第一图像块中特征值大于所述预设特征值对应的特征点作为第一特征点。
在一个实施例中，所述处理器1001在执行分别计算每个所述第一图像块对应的运动模型之后，还执行以下操作：
验证所述运动模型的有效性，得到验证结果；
基于各所述运动模型对所述目标帧图像的上一帧图像进行配准包括：
若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；
若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。
在一个实施例中，所述处理器1001在执行验证所述运动模型的有效性，得到验证结果时，具体执行以下操作：
验证所述目标第一图像块的运动模型中对应的四角偏移量，若所述四角偏移量小于预设四角偏移量，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型；或；
验证所述目标第一图像块的运动模型中对应的四边偏转度，若所述四边偏转度小于预设四边偏转度，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型。
在一个实施例中，所述处理器1001在执行若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准时，具体执行以下操作：
若所述验证结果指示所述运动模型为无效运动模型，则将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，基于所述相邻的图像块的运动模型对所述目标帧图像的上一帧图像进行配准，所述相邻的图像块的运动模型为有效运动模型，或，
所述若所述验证结果指示所述运动模型为无效运动模型，且无法将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，则将所述目标第一图像块定义为无运动模型，不对所述目标帧图像的上一帧图像进行配准。
在一个实施例中，所述处理器1001在执行基于各所述运动模型对所述目标帧图像的上一帧图像进行配准时，具体执行以下操作：
基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标；
将所述目标帧图像的上一帧图像中特征点的参考坐标对应的像素值更换为所述目标坐标的像素值。
在一个实施例中，运动模型为仿射变换模型，所述处理器1001在执行基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标时，具体执行以下操作：
采用预设公式计算目标帧图像的上一帧图像对应的特征点的目标坐标；
其中，所述预设公式为
为仿射矩阵，X、Y为目标帧图像中特征点的坐标，X′、Y′为目标帧图像的上一帧图像对应的特征点的目标坐标。
采用本申请实施例，按照预设规则将目标帧图像切分为多个第一图像块，分别计算每个所述第一图像块对应的运动模型，验证所述运动模型的有效性，得到验证结果，若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。在得到第一图像块对应的运动模型后，对运动模型进行验证，进一步确定运动模型的可靠性，避免采用无效的运动模型进行图像配准，可以提高图像配准的准确率。可以在对第一图像块进行了第一图像块的特征点检测以及特征点匹配步骤之后，直接进入对第一图像块对应的运动模型的计算，无需等待目标帧图像的所有特征点检测和特征点匹配，随后基于计算得到的运动模型对目标图像的上一帧图像进行图像配准提高图像配准的效率。因每个第一图像块对应一个运动模型，基于对应的运动模型对目标图像的上一帧图像进行图像配准避免采用单一运动模型对整张图片进行图像配准的过程中由于透视效应而造成误差，可以提高图像配准的精细度，即提高图像配准的准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (14)
1.一种图像配准方法，其特征在于，所述方法包括：
按照预设规则将目标帧图像切分为多个第一图像块；
分别计算每个所述第一图像块对应的运动模型；
基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
2.根据权利要求1所述的方法，其特征在于，所述分别计算每个所述第一图像块对应的运动模型，包括：
获取所述目标帧图像的上一帧图像按照所述预设规则切分的多个第二图像块；
基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个第一图像块以及与每个所述第一图像块对应的第二图像块，分别计算每个所述第一图像块对应的运动模型，包括：
依次遍历多个第一图像块，获取当前遍历到的目标第一图像块对应的第一特征点集合；
在多个所述第二图像块中确定与所述目标第一图像块匹配的目标第二图像块，在所述目标第二图像块中确定与所述第一特征点集合匹配的第二特征点集合，所述第一特征点集合中各第一特征点分别与所述第二特征点集合中各第二特征点匹配；
基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型；
直到所有第一图像块遍历完成。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征点集合以及所述第二特征点集合计算所述目标第一图像块对应的运动模型，包括：
以各所述第一特征点为中心，预设长度为边长，分别创建第一子图像块，并获取以各所述第二特征点为中心，所述预设长度为边长分别创建的第二子图像块；
基于各所述第一子图像块以及各所述第二子图像块计算所述目标第一子图像块到所述目标第二子图像块对应的运动向量；
基于各所述运动向量并采用最小二乘法，计算所述目标第一图像块对应的运动模型。
5.根据权利要求3所述的方法，其特征在于，所述获取当前遍历到的目标第一图像块对应的第一特征点集合，包括：
获取所述目标第一图像块对应的第一特征点集合并计算所述第一特征点集合中各第一特征点对应的特征值；
滤除所述特征值小于预设特征阈值的第一特征点。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述特征值大于预设特征阈值的特征点的数量；
若所述数量小于预设数量，则将所述特征值大于所述预设特征阈值的特征点，以及所述目标第一图像块周围的第一图像块中特征值大于所述预设特征阈值的特征点作为第一特征点。
7.根据权利要求1所述的方法，其特征在于，所述分别计算每个所述第一图像块对应的运动模型之后，还包括：
验证所述运动模型的有效性，得到验证结果；
基于各所述运动模型对所述目标帧图像的上一帧图像进行配准，包括：
若所述验证结果指示所述运动模型为有效运动模型，则基于各所述运动模型对所述目标帧图像的上一帧图像进行配准；
若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准。
8.根据权利要求7所述的方法，其特征在于，所述验证所述运动模型的有效性，得到验证结果，包括：
验证所述目标第一图像块的运动模型对应的四角偏移量，若所述四角偏移量小于预设四角偏移量，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型；或；
验证所述目标第一图像块的运动模型对应的四边偏转度，若所述四边偏转度小于预设四边偏转度，则验证结果指示所述运动模型为有效运动模型，否则验证结果指示所述运动模型为无效运动模型。
9.根据权利要求7所述的方法，其特征在于，所述若所述验证结果指示所述运动模型为无效运动模型，则修正所述运动模型，基于修正后的运动模型对所述目标帧图像的上一帧图像进行配准，包括：
若所述验证结果指示所述运动模型为无效运动模型，则将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，基于所述相邻的图像块的运动模型对所述目标帧图像的上一帧图像进行配准，所述相邻的图像块的运动模型为有效运动模型，或，
若所述验证结果指示所述运动模型为无效运动模型，且无法将所述目标第一图像块的运动模型替换为所述目标第一图像块的一个相邻的图像块的运动模型，则将所述目标第一图像块定义为无运动模型，不对所述目标帧图像的上一帧图像进行配准。
10.根据权利要求1所述的方法，其特征在于，所述基于各所述运动模型对所述目标帧图像的上一帧图像进行配准，包括：
基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标；
将所述目标帧图像的上一帧图像中特征点的参考坐标对应的像素值更换为所述目标坐标的像素值。
11.根据权利要求10所述的方法，其特征在于，所述运动模型为仿射变换模型，所述基于目标帧图像中特征点的坐标以及所述运动模型计算目标帧图像的上一帧图像对应的特征点的目标坐标，包括：
采用预设公式计算目标帧图像的上一帧图像对应的特征点的目标坐标；
其中，所述预设公式为
为仿射矩阵，X、Y为目标帧图像中特征点的坐标，X′、Y′为目标帧图像的上一帧图像对应的特征点的目标坐标。
12.一种图像配准装置，其特征在于，所述装置包括：
图像切分模块，用于按照预设规则将目标帧图像切分为多个第一图像块；
模型计算模块，用于分别计算每个所述第一图像块对应的运动模型；
图像配准模块，用于基于各所述运动模型对所述目标帧图像的上一帧图像进行配准。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-11任意一项的方法步骤。
14.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-11任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372762.0A CN114066951A (zh) | 2021-11-18 | 2021-11-18 | 图像配准方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372762.0A CN114066951A (zh) | 2021-11-18 | 2021-11-18 | 图像配准方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066951A true CN114066951A (zh) | 2022-02-18 |
Family
ID=80278405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111372762.0A Pending CN114066951A (zh) | 2021-11-18 | 2021-11-18 | 图像配准方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066951A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
| CN111091590A (zh) * | 2019-12-18 | 2020-05-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111275743A (zh) * | 2020-01-20 | 2020-06-12 | 深圳奇迹智慧网络有限公司 | 目标追踪方法、装置、计算机可读存储介质和计算机设备 |
| CN111814590A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
-
2021
- 2021-11-18 CN CN202111372762.0A patent/CN114066951A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
| CN111091590A (zh) * | 2019-12-18 | 2020-05-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111275743A (zh) * | 2020-01-20 | 2020-06-12 | 深圳奇迹智慧网络有限公司 | 目标追踪方法、装置、计算机可读存储介质和计算机设备 |
| CN111814590A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767489B (zh) | 一种三维位姿确定方法、装置、电子设备及存储介质 | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| TW202143100A (zh) | 圖像處理方法、電子設備及電腦可讀儲存介質 | |
| CN107818290B (zh) | 基于深度图的启发式手指检测方法 | |
| CN112348863A (zh) | 图像对齐方法、图像对齐装置及终端设备 | |
| CN112733820B (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
| CN110111388A (zh) | 三维物体位姿参数估计方法及视觉设备 | |
| CN109598744A (zh) | 一种视频跟踪的方法、装置、设备和存储介质 | |
| CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| CN107240117B (zh) | 视频中运动目标的跟踪方法和装置 | |
| CN111461113A (zh) | 一种基于变形平面物体检测网络的大角度车牌检测方法 | |
| CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
| CN112270242B (zh) | 轨迹的显示方法、装置、可读介质和电子设备 | |
| WO2024032101A1 (zh) | 特征地图生成方法、装置、存储介质和计算机设备 | |
| CN112102342B (zh) | 平面轮廓识别方法、装置、计算机设备和存储介质 | |
| CN108052869A (zh) | 车道线识别方法、装置及计算机可读存储介质 | |
| CN112197708B (zh) | 测量方法及装置、电子设备及存储介质 | |
| CN114066951A (zh) | 图像配准方法、装置、存储介质及电子设备 | |
| JP2011258036A (ja) | ３次元形状検索装置、３次元形状検索方法、及びプログラム | |
| CN112102391A (zh) | 测量方法及装置、电子设备及存储介质 | |
| CN109146973B (zh) | 机器人场地特征识别和定位方法、装置、设备和存储介质 | |
| CN114022658B (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN108229306A (zh) | 服饰检测和神经网络训练的方法、装置、存储介质和设备 | |
| CN115191008A (zh) | 对象识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |