CN114359581A - 一种面向冷冻电子断层图像的特征提取方法 - Google Patents
一种面向冷冻电子断层图像的特征提取方法 Download PDFInfo
- Publication number
- CN114359581A CN114359581A CN202210001274.7A CN202210001274A CN114359581A CN 114359581 A CN114359581 A CN 114359581A CN 202210001274 A CN202210001274 A CN 202210001274A CN 114359581 A CN114359581 A CN 114359581A
- Authority
- CN
- China
- Prior art keywords
- image
- simulation
- feature extraction
- extraction method
- electron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003325 tomography Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004088 simulation Methods 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 description 11
- 239000000523 sample Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 2
- 238000001493 electron microscopy Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000000635 electron micrograph Methods 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向冷冻电子断层图像的特征提取方法，包括：S1获取冷冻电子断层的投影图像以及对应的图像序列；S2预设仿射变换模拟的角度序列；S3根据设定的角度序列，对每一个冷冻电子断层的投影图像进行仿射变换模拟，通过筛选后获得对应的模拟图像集；S4根据S3获得的模拟图像集与对应的角度序列，提取获得匹配特征点。通过该方法通过模拟图集与对应的角度序列，解决了人为倾转时对样品空间位置的干扰，提高了特征点的提取质量，从而获得高质量的冷冻电子三维重构模型。
Description
技术领域
本发明涉及结构生物学技术领域，尤其涉及一种面向冷冻电子断层图像的特征提取方法。
背景技术
电子断层三维重构技术是使用冷冻电镜研究生物大分子结构的重要分支，对于非定形、不对称和不具有均一性的生物样品结构的研究中，有着其他冷冻电镜重构技术不可替代的优势。
传统的电子断层三维重构技术，通过获取同一个生物样品的多个连续角度下的二维投影图像来反向重构处它的三维结构，在投影成像过程中，透射电子显微镜发射电子数的方向固定不变，让样品沿着一个与电子束垂直的轴倾转，倾转范围大概在±60°～±80°之间，间隔角度为1°～2°。每倾转一定角度，拍摄一张样品在相对应方向上的二维投影图像，然后对这一系列二维图像进行处理，利用三维重构算法得到样品的三维结构。
但是人为地对拍摄过程中的样品进行倾转，由于被拍摄样品大多都是纳米级别，在转动时出现的空间移动的细微偏差会被无限放大，从而影响成像效果，因此需要在进行三维重构之前，对不同角度的二维投影图像进行对位，修正图像序列使其在空间对齐。
专利文献CN 112614170A公开了一种基于傅里叶功率谱的冷冻电镜颗粒图像配准方法，通过对待测冷冻电镜颗粒图片集进行功率谱高通滤波器参数估计，然后计算待配准图像的傅里叶功率谱，并提取特征点，根据特征点对待配准图像进行反旋转后对图像进行校正。该方法通过傅里叶功率谱的特点，对图像的噪声、颗粒以及背景进行有效的分离，从而提高了图像校准的准确率。但是该方法需要对原图进行精确的标注，但是没有考虑到由于转动产生的空间位置偏差对图像中颗粒相对位置的影响
专利文献CN113160152A公开了一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，首先输入冷冻电镜图像数据，并对图像数据进行归一化处理，然后对归一化处理后的图像文件依次缩小，生成一系列尺寸不同的图像，接着将不同尺度图像恢复为与归一化图像具有相同尺寸的图像，将由多尺度图像恢复的图像累加取平均值，获取融合图像；对融合图像进行颗粒和背景分离，对于阈值分割获得的颗粒区域图像去除异常区域，最后基于完成去除工序的颗粒区域，计算轮廓中心，得到冷冻电镜图像中颗粒的座位标记。该方法可以提高颗粒挑选效率，但是该方法需要对每一张图进行筛选，同时去除部分颗粒，使得整个图像集中的颗粒数变少从而影响后续三维重构时的精度。
发明内容
为了解决上述问题，本发明提供了一种面向冷冻电子断层图像的特征提取方法，该方法通过预设的转动角度序列，仿射变换获得与实际冷冻电子断层图像对应的模拟图像集，基于明确的转动角度与对应的模拟图像进行特征提取，避免了实际操作中转动样品时空间移动导致的误差，从而增加了有效的特征点数量；更进一步的，提高了特征点对位结果的数量，从而获得高质量的三维重构图。
一种面向冷冻电子断层图像的特征提取方法，包括：
S1获取冷冻电子断层的投影图像以及对应的图像序列；
S2预设仿射变换模拟的角度序列；
S3根据设定的角度序列，对每一个冷冻电子断层的投影图像进行仿射变换模拟，通过筛选后获得对应的模拟图像集；
S4根据S3获得的模拟图像集与对应的角度序列，提取获得匹配特征点。
优选的，所述S2中预设仿射变化模拟的角度序列是基于S1中投影成像时电子样本的转动范围0°～θmax和间隔角度Δθ进行设定。
优选的，所述角度序列为0，Δθ，2Δθ，3Δθ…kΔθ，其中k＝0,1,2,3…n，
优选的，所述S3仿射变换模拟是基于角度序列变换获得的倾斜参数，采用双线性插值法完成模拟。
优选的，所述倾斜参数，具体为：
其中t为倾斜参数，θ为倾转角度。
基于上述计算结果，计算待模拟图像与模拟图像之间的变换关系：
(t0x,y)→u(t′x,y)
其中t0为待模拟图像本身的倾斜参数，t′为模拟图像对应的倾斜参数。
优选的，所述采用双线性插值法完成模拟，具体为：沿电子样品旋转方向对每一个冷冻电子断层的投影图像进行重采样，获得冷冻电子断层的投影图对应的模拟图像集，其中重采样坐标补偿值为
优选的，所述筛选基于已生成的模拟图像集中同一倾斜角度的图像与对应的实际电子断层图像进行对比，当模拟图像的像素与实际电子断层图像的像素差值小于阈值，则剔除该模拟图像。
优选的，所述阈值设定为50-100个像素，其中当像素阈值越大，则模拟图像集中的图像越少，特征点的准确度更高；反之模拟图像集中的图像越多，特征点个数越多。
与现有技术相比，本发明的有益效果：
(1)采用平面仿射变换对实际冷冻电子断层的投影图像进行加工，获得具有明确转动倾角的模拟图像集，从而避免了人工转动电子样本时产生的空间移动误差。
(2)通过生成的模拟图像集与对应的转动倾角，采用传统的SIFT特征图提取方法，可以获得更多有效的特征点，从而为后续的三维重构提供更加多更精确的匹配对位数据。
附图说明
图1为本发明提供了面向冷冻电子断层图像的特征提取方法的流程示意图；
图2为本实施例数据的特征点数量对比图；
图3为本实施例数据通过传统的SIFT方法提取特征点后的重投影误差图；
图4为本实施例数据通过本发明提供的方法提取特征点后的重投影误差图。
具体实施方式
设定一组实验数据，投影角度范围为-60°至60°，每次投影间隔为3°，共拍摄41张原始冷冻电子断层的投影图像，每张大小为5760×4092。
针对该组数据，如图1所示，进行冷冻电子断层图像的特征提取，包括：
S1获取上述实验数据，包括其投影角度范围，拍摄间隔以及对应的图像序列；
S2基于投影角度范围为-60°至60°，投影间隔为3°，预设角度序列(0,3°,6°,…60°)。
S3基于预设的角度序列(0,3°,6°,…60°)，对图像序列中每一幅冷冻电子断层图进行平面仿射变换：
先计算倾斜参数：
其中t为倾斜参数，θ为倾转角度。
基于上述计算结果，计算待模拟图像与模拟图像之间的变换关系：
(t0x,y)→u(t′x,y)
其中t0为待模拟图像本身的倾斜参数，t′为模拟图像对应的倾斜参数。
通过双线性插值法对每一幅冷冻电子断层图的投影图，沿电子样品旋转方向对每一个冷冻电子断层的投影图像进行重采样，获得冷冻电子断层的投影图对应的模拟图像集，其中重采样坐标补偿值为
最后将已生成的模拟图像集中同一倾斜角度的图像与对应的实际电子断层图像投影图进行对比，当模拟图像的像素与实际电子断层图像投影图的像素差值小于100个像素时，则剔除该模拟图像。
S4基于上述方法生成的模拟图集与对应的角度序列，通过SIFT算法进行特征点提取，其中SIFT算法为市面上常见的方法，即不再赘述其过程。
如图2所示，本发明提供的特征提取方法所获得的特征点数量要远远多于不做任何处理通过传统SIFT算法直接获得的特征点数量，为后续的三维重构提供了更多的匹配特征点。
完成投影图像序列的对位后，根据求解处的对位参数，进行重投影，得到每一个特征点投影后的位置，计算重投影后的位置与原本位置的距离。
如图3所示，为不做处理通过SIFT算法进行特征点提取的重投影误差图；如图4所示，为本发明提供的特征提取方法进行特征点提取的重投影误差图；其中虚线为误差平均值所在位置，根据两个误差图进行比较可知本发明提供的方法所提取特征点的误差分布要小于传统的SIFT算法，且误差平均值也小于传统的SIFT算法，因此说明了本发明提供的方法相较于传统的SIFT算法具有一定的优势。
Claims (8)
1.一种面向冷冻电子断层图像的特征提取方法，其特征在于，包括：
S1获取冷冻电子断层的投影图像以及对应的图像序列；
S2预设仿射变换模拟的角度序列；
S3根据S2中预设的角度序列，对每一个冷冻电子断层的投影图像进行仿射变换模拟，通过筛选获得对应的模拟图像集；
S4根据S3获得的模拟图像集与对应的角度序列，提取获得匹配特征点。
2.根据权利要求1所述的特征提取方法，其特征在于，所述S2中预设仿射变化模拟的角度序列是基于S1中投影成像时电子样本的转动范围0°～θmax和间隔角度Δθ进行设定。
3.根据权利要求2所述的特征提取方法，其特征在于，所述角度序列为0，Δθ，2Δθ，3Δθ…kΔθ，其中k＝0,1,2,3…n，
4.根据权利要求1所述的特征提取方法，其特征在于，所述S3仿射变换模拟是基于角度序列变换获得的倾斜参数，采用双线性插值法完成模拟。
5.根据权利要求4所述的特征提取方法，其特征在于，所述倾斜参数，具体为：
其中t为倾斜参数，θ为倾转角度；
基于上述计算结果，计算待模拟图像与模拟图像之间的变换关系：
(t0x,y)→u(t′x,y)
其中t0为待模拟图像本身的倾斜参数，t′为模拟图像对应的倾斜参数。
6.根据权利要求4所述的特征提取方法，其特征在于，所述采用双线性插值法完成模拟，具体为：沿电子样品旋转方向对每一个冷冻电子断层的投影图像进行重采样，获得冷冻电子断层的投影图对应的模拟图像集，其中重采样坐标补偿值为
7.根据权利要求1所述的特征提取方法，其特征在于，所述筛选基于已生成的模拟图像集中同一倾斜角度的图像与对应的实际电子断层图像进行对比，当模拟图像的像素与实际电子断层图像的像素差值小于阈值，则剔除该模拟图像。
8.根据权利要求7所述的特征提取方法，其特征在于，所述阈值设定为50-100个像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210001274.7A CN114359581A (zh) | 2022-01-04 | 2022-01-04 | 一种面向冷冻电子断层图像的特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210001274.7A CN114359581A (zh) | 2022-01-04 | 2022-01-04 | 一种面向冷冻电子断层图像的特征提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359581A true CN114359581A (zh) | 2022-04-15 |
Family
ID=81105582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210001274.7A Pending CN114359581A (zh) | 2022-01-04 | 2022-01-04 | 一种面向冷冻电子断层图像的特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359581A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580158A (zh) * | 2023-06-15 | 2023-08-11 | 北京大学 | 冷冻电子断层扫描的模拟图像生成方法、设备及存储介质 |
-
2022
- 2022-01-04 CN CN202210001274.7A patent/CN114359581A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580158A (zh) * | 2023-06-15 | 2023-08-11 | 北京大学 | 冷冻电子断层扫描的模拟图像生成方法、设备及存储介质 |
| CN116580158B (zh) * | 2023-06-15 | 2023-11-17 | 北京大学 | 冷冻电子断层扫描的模拟图像生成方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6465818B2 (ja) | 粒子径を求める方法及び装置 | |
| US7711180B2 (en) | Three-dimensional image measuring apparatus and method | |
| CN114549746B (zh) | 一种高精度真彩三维重建方法 | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| Gontard et al. | Photogrammetry of the three-dimensional shape and texture of a nanoscale particle using scanning electron microscopy and free software | |
| JP2003196327A (ja) | ３次元コンピュータモデリング | |
| CN110517348B (zh) | 基于图像前景分割的目标物体三维点云重建方法 | |
| CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN109945841B (zh) | 一种无编码点的工业摄影测量方法 | |
| CN111047631B (zh) | 一种基于单Kinect加圆盒的多视角三维点云配准方法 | |
| CN104112289A (zh) | 基于并行级联em-icp的三维物体点云配准方法 | |
| CN108182722A (zh) | 一种三维物体边缘优化的真正射影像生成方法 | |
| Lassen | Automated determination of crystal orientations from electron backscattering patterns | |
| CN108648222A (zh) | 结构光深度数据空间分辨率的提升方法及装置 | |
| CN114170284A (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
| CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
| CN114119607A (zh) | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 | |
| CN114359581A (zh) | 一种面向冷冻电子断层图像的特征提取方法 | |
| JP2005019218A (ja) | 電子顕微鏡装置 | |
| CN112598789A (zh) | 图像纹理重建方法、装置、设备及存储介质 | |
| Wang et al. | Deblurring microscopic image by integrated convolutional neural network | |
| CN112734916B (zh) | 基于图像处理的彩色共聚焦并行测量三维形貌还原方法 | |
| CN113989126A (zh) | 一种用于深度学习的x射线缺陷检测图像数据增强方法 | |
| CN111145280B (zh) | 一种oct图像散斑抑制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |