CN101820817B - 三维成像 - Google Patents
三维成像 Download PDFInfo
- Publication number
- CN101820817B CN101820817B CN2008801001019A CN200880100101A CN101820817B CN 101820817 B CN101820817 B CN 101820817B CN 2008801001019 A CN2008801001019 A CN 2008801001019A CN 200880100101 A CN200880100101 A CN 200880100101A CN 101820817 B CN101820817 B CN 101820817B
- Authority
- CN
- China
- Prior art keywords
- target object
- function
- place
- radiation
- incident radiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title description 21
- 230000005855 radiation Effects 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 70
- 239000000523 sample Substances 0.000 claims abstract description 50
- 238000005286 illumination Methods 0.000 claims description 33
- 230000005428 wave function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000002411 adverse Effects 0.000 claims description 3
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 claims description 2
- 239000003518 caustics Substances 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 238000007689 inspection Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000012797 qualification Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005526 G1 to G0 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000000333 X-ray scattering Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000002447 crystallographic data Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000001803 electron scattering Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/483—Diagnostic techniques involving scattered radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Toxicology (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
公开了一种用于提供图像数据的方法和设备,该图像数据用于构造三维目标物体的区域的图像。该方法包括步骤:提供入射辐射;通过至少一个检测器检测被目标物体散射的辐射的强度;相对于目标物体重新定位入射辐射;随后检测被目标物体散射的辐射的强度;确定指示物体的一个或多个深度处的入射辐射的至少一个特性的估计的探测函数,提供图像数据,从该图像数据使用探测函数通过迭代处理构造物体的一个或多个区域的图像。
Description
技术领域
本发明涉及用于提供图像数据的方法和设备,可从该图像数据生成目标物体的图像。特别地,然而不是绝对地,本发明涉及用于从数据集获得跨焦系列的方法和设备。当被组合时该系列可用来检查目标物体的三维(3D)结构。
背景技术
已知用于得出关于目标物体(或者称为样本)的空间信息的许多类型的成像技术。例如,且如图1所示,在传统透射成像中,通过平面波照明10照射物体。物体散射的波被透镜12重新干预以形成图像。在非常短的波长成像(X射线或电子)的情况下该技术具有与透镜引入的像差和不稳定性相关联的许多已知的困难,所述像差和不稳定性限制了结果所得到的图像的分辨率和解释能力。典型的可实现的分辨率比理论的波长极限大许多倍。
传统的扫描透射成像是成像技术的另一例子,其中使用透镜来聚焦辐射斑,使其通过目标物体。一个或多个检测器被布置在目标物体的目标后侧(即下游)以检测被散射的辐射。已知各种类型的检测器策略,如环状检测器、扇形检测器和/或离轴检测器。然而这些方法依赖于对需要目标物体的图像的所有点扫描被聚焦的辐射斑。存在与该技术相关联的许多问题,例如,需要对斑的非常准确的控制,因为如果期望1000×1000像素的图像则必须使用一百万个准确的探测位置点。另一问题是,所使用的透镜必须具有非常高的质量。这不仅因为最终图像的分辨率仅能与斑的锐度和定位几乎一样,还因为对于诸如电子或X射线的各种形式的辐射存在许多问题,诸如像差效应、色度扩展和透镜电流不稳定,它们会影响图像产品且会毁坏分辨率。这在图2中被示意性地示出,其中入射辐射15(诸如电子或X射线束)入射在形成目标物体的样本16上。被物体散射的辐射离开目标物体且传播到检测器平面17上。
传统扫描透射成像的已知问题是,由于必须利用入射的辐射斑来探测大量点,因此需要大量时间来完成图像。而且,如果在数据收集期间目标物体移动,则这会导致收集到不准确的数据且最终导致产生不准确的图像。进一步地,传统的扫描透射成像方法不能使与离开目标物体的辐射的相位有关的信息被测量。仅仅检测器处的总散射强度可被测量。这样,与越过目标物体发射的出射波有关的相位信息不能被收集。
对传统扫描透射成像的改进是四维解卷积成像。该技术利用与图1所示的设备相似的设备,但是针对每个探测位置记录整个衍射图。这提供了以比斑尺寸或所使用的透镜的响应函数更好的分辨率确定目标物体的结构的方式,但是具有许多重大问题。最显著的问题是,对于适当的视场必须记录要花费若干小时来收集的大量的数据。这使得实验实际上非常难以实现,因为非常准确地控制探测照明且准确地移动它以扫描用于最终的图像重构的每个(一百万)像素是必要的。而且由于在所花费的较多时间内需要大剂量的入射辐射,因此可发生对目标物体的若干损坏或毁坏。
另一公知的成像技术是纯衍射成像。在该替代策略中,可省略透镜且通过探测辐射的简单的平面波来照明目标物体。在远场中测量的散射图形成Fourier(傅里叶)平面衍射图且其强度被记录。然后通过应用从所测量的强度得出的信息使用迭代方法来计算估计的物体出射波场。为了从估计的波场确定关于目标物体的实际信息,必须提供真实空间中的区域,在该区域中已知不存在物体或物体以某种限定的方式被遮蔽。只有知道这个事实才能迭代地改变对代表物体的波场的运行估计。然而存在与纯衍射成像相关联的许多问题。最显著的是必须以某种方式在某固定的位置悬挂或隔离目标物体。这实际上非常难以实现。而且不可能将该解决方案扩展到物体的新的或不同的部位或者获得全部有良好分辨率的大图像。仅可照明物体的一个隔离区域且对其进行解决。而且目标物体必须是单值的。也就是说,其必须由单个实数表示。该数可表示吸收或相位变化,但是不能同时表示这二者。事实上,大部分实际目标物体波(即与离开目标物体的照明相关联的波函数)呈现为具有相位和振幅分量这两者的复数。
纯衍射成像的另一主要问题是目标物体的边缘必须被清晰地限定且因而具有清楚的边缘。这使得已知不存在物体或物体以某种方式被遮蔽的区域轮廓分明。实际上难以产生具有这样的清晰边缘的物体或光阑。
另一问题是对于弱散射的物体(在X射线和电子散射中其是一般类型的目标物体),通过物体的大部分辐射在衍射图的中央处结束。该地带中的信息被浪费,因为其无助于图像形成处理,但是通过物体的辐射会损坏物体。还需要平行照明。然而这意味着对于给定亮度的源,在物体平面处提供相对少的点数。与上述通过弱散射物体的许多辐射在中央地带中终止的事实相结合,这意味着整个实验实际上花费较长时间来获得足够的点数。如果在数据收集阶段期间物体或某些其他成像设备在曝光期间偏移或移动,则数据可能被毁坏。
上述成像技术中的许多技术仅允许对目标物体的二维分析。有时能够检查目标物体的三维(3D)结构是有用的。在使用任何类型的波照明的范围广泛的透射成像技术(诸如如上所述的那些)中这是真实的,所述波照明诸如光子、电子、中子、原子等,所有这些一旦具有动量就都表现为波。在检查3D目标物体的3D结构时,需要获得跨焦系列。然后这样的跨焦系列在被堆叠在一起作为3D数据集时可用来实时或日后检查3D结构。用户可选择待检查结构内的特定的关注特征或位置。
可以例如通过使用透镜在传统的显微镜(光、电子、X射线等)中获得这样的跨焦系列。随着透镜的焦距控制的变化,图像看起来是每次辨别出样本中的一层。所选择的关注平面(透镜聚焦于其上的平面)以上或以下的物体的体积在这样的图像中看起来是离焦背景图像。根据现有的已知技术,可以以多种方式实现透镜的聚焦。例如,在光或X射线的情况下,物镜可向样本物理地移动或从样本物理地移开(或者实际上整个显微镜被移动)。可替代地,在保持透镜聚焦在空间中的同一平面上的同时可向透镜移动样本或从透镜移开样本。在电子的情况下(其使用电磁(静电或磁)透镜),透镜中或透镜上的功率、电压和/或电流或其他这样的参数可改变,从而影响透镜的强度的变化。以这种方式可控制在当前关注平面以上或以下的层上的聚焦。此外,作为替代,目标物体样本可相对于透镜装置物理地移动。
然而,利用这样的已知技术,仅在强度方面测量这样获得的图像。这意味着在波穿过物体时在波中引起的相位变化不能被观测。存在许多使用跨焦系列以解决波的相位的已知技术,然而所有这些技术都需要复杂、准确且良好控制的透镜方案。
存在与用于获取关于3D物体的3D信息的已知技术相关联的许多其他问题。如上所述第一主要问题是已知的技术需要透镜。在使用光的成像技术的情况下,特别地在非常高的分辨率的成像步骤,透镜固有地妨碍样本限制访问。在使用许多其他类型的辐射(诸如电子、X射线、紫外线和兆兆赫频率)作为照明源以探测目标物体的情况下,不能获得良好质量的透镜。所有透镜都是昂贵的。
与用于3D目标物体的3D检查的现有已知技术相关联的另一问题是必须收集一系列图像。该一系列图像中的每个图像需要不同的散焦(如上所述而被获得),从而将物体曝光于相当大剂量的辐射,且潜在地花费了相当多的时间。对于对许多类别的目标物体成像辐射是重要的问题,该目标物体在X射线或电子辐射下可能承受不可改变的损坏。在这样的物体中不可能形成快速曝光的图像。
发明内容
本发明的实施例的一个目的是至少部分地缓解上述问题。
本发明实施例的另一个目的是提供一种用于提供图像数据的方法和设备,该图像数据可用来构造3D目标物体的高分辨率图像以及物体中所选区域或层的高分辨率图像。
本发明实施例的一个目的是提供如下这样的方法和设备,该方法和设备使得能够在不需要高分辨率定位技术以相对于目标物体定位入射辐射的情况下检查目标物体的3D结构。
本发明实施例的一个目的是提供如下这样的方法和设备,该方法和设备用于在不毁坏或基本不损坏目标的情况下使用广泛多样的探测照明检查3D目标物体。
根据本发明第一方面,提供一种用于提供图像数据的方法,该图像数据用于构造三维(3D)目标物体的区域的图像,所述方法包括以下步骤:
从辐射源提供3D目标物体处的入射辐射;
通过至少一个检测器检测被所述目标物体散射的辐射的强度,其中所述入射辐射位于相对于所述目标物体的第一位置处;
相对于所述目标物体重新定位所述入射辐射;
随后检测被所述目标物体散射的辐射的强度,其中所述入射辐射位于相对于所述目标物体的第二位置处;
确定3D物体中的一个或多个深度处的探测函数,所述探测函数指示对所述入射辐射的至少一个特性的估计;以及
提供图像数据,使用所述探测函数通过迭代处理能够从该图像数据构造物体的一个或多个区域的图像。
根据本发明的第二方面,提供一种用于提供图像数据的设备,该图像数据用于生成目标物体的至少一个区域的图像,所述设备包括:
辐射源,用于提供3D目标物体处的入射辐射;
至少一个检测器装置,用于检测被所述目标物体散射的辐射的强度;
定位装置,将所述目标物体选择性地定位在相对于所述入射辐射的两个或更多个预定位置处;以及
处理器,响应于两个或更多个位置处的所检测到的散射辐射的强度而提供所述图像数据;其中
所述处理器被布置成提供指示所述3D目标物体内的各个深度处的区域的结构的图像数据。
本发明的实施例使用迭代方法来提供可用来检查3D目标物体的3D结构的图像数据。所使用的方法可在不需要能够进行高精度聚焦的透镜的情况下执行。更确切地说,仅需要局部化的照明场,其相对于所使用的特定辐射场的波长可以较大。这可通过能够例如产生不完美的或近似的聚焦效果的较差透镜或通过允许来自源的辐射形成局部化的照明函数的光阑来提供。
本发明的实施例提供了一种方法和设备,在该方法和设备中,用于制造照明函数的光学仪器和检测器可远离目标物体。这样就一直保持了对样本的良好访问。
本发明的实施例提供一种方法和设备,在该方法和设备中,目标物体仅暴露于辐射一次或者也许少量的数次,而不是许多次或延长的时间段。这防止了对目标物体的损害或毁坏。
本发明的实施例允许3D检查“离线”地发生。换句话说,在数据收集之后的任何时间,在分析处理期间使用该数据。这使得能够通过在期望的某稍后日期聚焦到目标物体的各个部分来检查3D目标物体的结构。应注意,可替代地,该检查可“实时”发生。
附图说明
下面参考附图仅以示例的方式说明本发明的实施例,在附图中:
图1和图2分别示出传统透射成像和传统扫描透射成像的使用;
图3示出衍射如何不限制角度范围;
图4示出移动的聚焦探测如何允许测量大的视场;
图5示出3D目标物体和检测器平面;
图6示出目标前光阑;
图7A和7B示出入射平面波的k向量;
图8示出迭代处理;
图9示出辐射源、光阑、目标和检测器布置;
图10示出用于3D检查的系统;以及
图11示出针对包括两个独立的平面物体的简单三维物体的强度和相位结果;以及
图12示出可替换的辐射源配置。
具体实施方式
在附图中相同的附图标记指代相同的部分。
图4示出可以如何利用和使用散射图来确定关于三维(3D)目标物体的结构的高分辨率信息。应理解,术语目标物体指的是布置在入射辐射的路径中的任何样本或物品,其造成该辐射的散射。应理解的是,目标物体对于入射辐射应为至少部分地透明的。目标物体可以具有或可以不具有某些重复结构。
使入射辐射30落在目标物体31上。辐射照明目标物体。在该意义上应理解,照明不一定意味着使用具有可见频谱内的波长的辐射。而是应理解,术语辐射应被广泛地解释为来自辐射源的能量。这包括电磁辐射,其包括X射线、诸如电子的发射粒子和/或声波。这样的辐射可由波函数ψ(r)表示,其中r是描述空间中的位置的三维向量。如本领域技术人员应理解的那样,该波函数包括实数部分和虚数部分。这可由波函数模和相位来表示。ψ(r)*是ψ(r)的复数共轭,且ψ(r)·ψ(r)*=|ψ(r)|2,其中|ψ(r)|2是波函数的可测量的强度。
入射辐射30在通过和越过样本31时被散射。这样照明体内的波扰动在振幅和相位上被物体改变,并且从而改变物体下游的波函数的振幅和相位。因而作为传播通过样本且在样本之后传播的结果,入射辐射的特性被改变。如果在距离样本较远距离处设置诸如CCD检测器32的检测器阵列,则在衍射平面33处形成衍射图。如果在与样本的所选择部分距离L处布置检测器32,其中L对于将从点状源(在物体平面处的充分小的照明体)有效地形成的衍射图来说足够长,则将形成傅里叶衍射图。如果通过更近地布置检测器而与样本更靠近地形成衍射图,则将形成Fresnel衍射图。使用诸如透镜或附近的光阑的装置来将照明限制在物体的小区域内。现有技术的技术需要物体是有限的或者是被清晰限定的照明函数照明的,以使得知道物体平面中的特定区域不会引起任何散射的波。在数学上这被描述为具有支持的物体波,其中支持区域外的散射是零。与之对照,用于本发明实施例的被照明的区域不需要被强烈地局部化和清晰地限定。它们可在其边缘处缓慢地变化。通过这种方式,柔和变化的照明函数不一定包括高空间频率。换句话说,其可以是带宽限制函数,该函数形式上在广度上可以是无限的,然而实质上被局部化。
本发明的实施例在距离3D目标物体一定距离处进行强度测量,并在下述迭代处理中使用该数据以生成可用来进行物体的3D结构的估计的数据。为了收集所述数据,使某类型的照明函数入射在关注物体上。可通过广范围的场合生成照明,例如可通过某类别的透镜或物体上游的光阑或可生成束状照明的任何其他类别的光学装置生成照明,该束状照明基本上位于假定直径D的物体的体积内。然后也许可在如上所述的Fourier域或Fresnel衍射图区域中在物体的下游收集强度数据。可利用广范围的检测器装置,因为关于检测器所有需要知道的是一般配置,因此使得可执行所选物体平面中的波到检测器的传播函数的计算。所涉及的变化可包括使得根据Huygen(惠更斯)原理球面小波被加到一起的几何变化。例如,可在物体的下游以相对于入射辐射的方向的一定角度以及在相对靠近物体的点处(在Fresnel衍射图的情况中)安装平面检测器。本领域技术人员应理解,为了计算这样的检测器的表面上的波的强度或相位,可进行积分(也就是说,在样本的体积范围上限定可选的积分变换,以下称为T+1)。物体的每个元体将散射球面波,该球面波在照射到检测器上时将具有特定的强度和相位。在大散射角度的情况下,可通过倾斜因子或散射函数来改变该波的振幅,如现有技术中已记载的那样。该强度和相位除取决于物体的散射特性外,也受物体的元体和检测器上的点之间的路径长度的影响。可使用三角法计算精确的路径长度,解释物体的元体相对于检测器上的点的特定布置。该路径长度还可确定波的总振幅的变化,因为球面波振幅随传播而衰退。总地说来,因此可构造积分变换,解释成角度的检测器或甚至检测器的任何配置。在该上下文中,Fresnel和Fourier积分是对应于几何上简单的近似的这样的积分变换的例子。以下将这样的积分变换用T表示。所述的特定实施例将假定该变换是Fourier变换,应理解,与其他检测器配置有关的任何适当的积分变换可替代Fourier积分。
图5更详细地示出了该处理的例子。例如通过标为35的弱透镜或光阑将辐射34大致聚焦,使得目标物体的第一体积被标为36的波形照明。辐射可移动到从第一位置移位向量R的另一位置37。弱透镜当然可包括任何适当的聚焦设备,诸如用于电子束的电压源和一组极板或用于X射线的反射表面或波带片。弱聚焦足以基本上限定探测辐射束。因而不需要强烈地聚焦辐射,尽管当然可使用强烈聚焦的辐射。如果需要可利用另外的位置。
关于该图5可定义笛卡尔坐标x,y,z,其中z位于朝向检测器的方向上。应理解,相对于检测器的精确方向不是必要的。将三维的物体标为O(r),其中r是上述向量,然而其可替换地可被分解成笛卡尔分量x、y和z。假定O(r)的每个元体可在通过其的任何照明波中引入相位变化或模衰减。本发明的实施例涉及在三个维度获得O(r)的结构的估计的方法。假定O(r)具有如下范围和尺寸:即该范围和尺寸使得其一部分基本上被限定到z=0附近的z坐标,然而其可完全在z=0上游(但是靠近z=0),或在z=0下游(但是靠近z=0),或者优选地具有包含z=0的在z轴的深度。在x-y方向上对于O(r)的尺寸没有限制。
入射在目标物体上的照明辐射包括形成三维空间中的照明函数的探测函数P(r)(其中r也是三维向量),诸如通过透镜或其他光学组件形成的照明波形或焦散面所生成的照明辐射。P(r)是在关注物体所位于的空间的整个体积上计算出的该波场的复数平稳值。其可移动用三维向量R表示的距离,以使得对于R的特定值,探测由P(r-R)表示。波函数ψ(r,R)定义对于r中的每个点且对于照明的特定位置R由物体散射的辐射的相位和模。一旦从每个物体的体积散射和透射的小波穿过空间到达检测器,它们在振幅和相位上将相加,因而对于特定照明位置R生成强度分布(例如Fresnel或Fraunhofer衍射图)I(u,v,R),其中u和v是定义检测器平面中的位置的坐标。
图5所示的检测器具有位于物体下游的平坦表面,假定在距离L处。为了本实施例中解释的简便,检测器位于与z轴平行的平面中,即平面(x,y,L)中,且L被选择得较大以使得检测器位于Fourier(Fraunhofer)衍射平面中。检测器中的方形像素的物理宽度和高度被标明为尺寸d,且xD和yD描述检测器平面中的任何一个这样的像素的坐标。根据正切函数的小角度近似,我们可以近似地说:
其中Δβ是物体平面处检测器像素的(方形)边所对的x或y方向上的立体角。现在定义坐标:
其中βx和βy由下式给出:
以及
在操作中,在检测器中的不同像素处进行强度测量,且对于照明函数的特定位置R,这些强度然后在计算机或其他处理单元或数据存储器中根据上述变换被布置到阵列I(u,v,R)中。
以下采用平面波可由以下等式来描述的惯例:
ψ(r)=Aei2πk·r (4)
其中r是如上定义的三维向量,k是指向与平面波中的固定相位的平面垂直的方向的倒易空间向量。A是复数,其模和相位描述点x=y=z=0处的波的模和相位。k的幅度由下式给出:
其中λ是所使用的辐射的波长。注意,仅考虑了波的空间依赖性,也就是说时间无关的波等式的解。还假定辐射基本上是单色的,从而使得关注的所有k向量会具有相同的幅度。然而事实是,此处说明的成像方法对于由小范围的k向量幅度(即仅“基本上”相干)组成的照明来说是有效的。
定义了映射到坐标u和v上(等式2)的二维函数f(x,y)的前向Fourier变换,以及
定义了对应的后向傅里叶变换。当然,对于距离物体不是这样远的检测器配置,如该特定实施例中所述,如本领域技术人员理解的那样,Fresnel或其他传播积分可能是更合适的。
可在物体附近的空间中的平面上估计入射在物体上的照明函数。在通过透镜或光学组件产生照明的情况下,透镜中的(已知)像差可用来计算这样的平面中的照明函数。如果诸如(已知的)光阑的光学组件位于这样的平面中,则可假定波在光阑的平面上具有恒定的相位,振幅由光阑的形状确定。可替换地,可使用已知的物体函数以与下述方法相似的方式求解照明函数,然而将物体和照明函数的数学表示交换。在可用照明强度低的一些实施例中,使用透镜将强度聚集在光阑或其他光学组件上是有利的,如图12所示,物体上游的最终光学组件处的相位和振幅通过上述方法的组合来计算。
例如,我们可能已知在位于z=0的x和y的平面中靠近物体存在光阑60。这在图6中示出。由于认为波的时间演化不起作用(由于照明被认为在时间上相干),光阑下游紧挨着的波场可由函数P(x,y,0)来描述,应理解,这表示平面z=0中的照明函数的复数值(描述模和相位)。在随后的内容中,仅在|x|和|y|的值小于D处P(x,y,0)才具有较大的模,从这种意义上看,P(x,y,0)被充分局部化是有利的,其中:
其中Δβ是在点x=y=z=0处检测器像素的宽(或高)所对的角度。在小角度散射近似的情况下,如上,还可根据“照相机”长度L和检测器像素的物理宽度(或高度)将D表示为:
可根据入射在平面z=0上的一组平面波的Fourier和来表示P(x,y,0)。这些平面波包括角频谱,每个入射平面波的k向量还由角度坐标u和v来描述,如图5所示。这样的角频谱可由A(u,v)来表示,应理解,其可被表示为2维阵列像素,其中每个像素具有确定位于角度坐标u和v处的特定平面波的模和相位的复数值。
图7A和7B示出了入射k向量和坐标u、v之间的关系,如在计算机阵列或其他这样的处理单元或数据存储器中所表示的那样。701、702、703和704示出了形成(虚线球体内的)3D照明函数的入射平面波的k向量。所有k向量都具有相同的长度,但是以不同的角度入射。平行线711-714示出了对于这些入射波中的每个的具有固定相位的平面。在图7B中,向量被重新布置,使得它们都从共同的原点对向(subtend)。示出通过2D阵列的截面,表示k向量的该分布(以及因此3D照明函数P(x,y,z)的对应的真实空间表示)。该阵列的每个值(作为u的函数被示出,v=0)具有与其相关联的复数值,其描述了如等式2a定义的位于角度βx处的平面波分量的振幅和相位。在该图中βy=0。示出被标记为703的针对k分量的βx。
可通过弱聚焦的透镜方便地生成这样的角频谱,其中可认为函数A(u,v)位于从透镜的出射光瞳发射的球形表面上。在具有位于其后焦平面中的光阑的透镜的情况下,A(u,v)是半径为w的圆盘的形式,其中所有值具有零模。位于该圆盘内的A(u,v)的值可具有由透镜中的像差确定的相位,或取决于透镜的照明的均匀性的模。
P(x,y,0)和A(u,v)之间的关系通过Fourier变换给出:
应理解,对于A(u,v)的二维Fourier变换产生z=0的x-y平面中的照明函数。
如果仅P(x,y,0)是已知的(假定光阑位于平面z=0中),则可通过Fourier变换计算生成该函数所需的对应分布A(u,v)
A(u,v)=∫∫P(x,y,0)e-i2π(ux+vy)dxdy (10)
可按如下方式来计算P(x,y,z)的估计。这是填充物体附近的三维空间区域的照明函数。形式:
其中
相似地通过以下步骤在仅知P(x,y,0)时生成P(x,y,z):
在以上等式中,采用了如下惯例:以限定坐标的下标来标记Fourier算子,在该坐标上Fourier算子进行运算。换句话说,为了对z中的特定平面形成P(x,y,z),针对关注的z的特定值,关于x和y坐标傅里叶变换P(x,y,0),且乘以相位函数且然后对其进行反向傅里叶变换。
如果仅考虑非常小的散射角度(如在电子波传播的情况中那样),则
P(x,y,z)(以下将使用向量符号r将其写作P(r)入射在物体函数O(r)上,且可以关于x或y坐标将P(r)移动距离X,Y,Z。换句话说,以向量符号的形式,可形成P(r-R)。因此照明函数可被偏移以给出P(r-R),或偏移物体函数以给出O(r-R)。在下文,仅讨论移动照明函数的情况,应理解,根据本发明的实施例可移动物体或移动照明或者移动它们两者,并且在许多实际的实施方式中,移动物体比移动照明更方便。因此由物体函数(不管是位于上游、下游还是在z=0的平面处)导致的波场中的扰动由下式给出:
ψ(r)=P(r-R)·O(r) (15)
在坐标u和v上在远场中测量数据集I(u,v,R)(如针对两个或更多个R值在等式2a和2b中通过角度变换所规定的那样,其中这些R值(即R1和R2)优选地被选择为使得照明移动到与也被在被定位在某其他R值处时的至少一个其他照明函数照明的该物体的体积部分重叠的位置)。应理解,为了获得物体的宽视场,R位置的数目可能较大,优选的步骤是对于任何一个Rn照明位置,存在至少一个其他照明位置Rm,该照明位置Rm与在照明位置Rn处所照射的体积基本上重叠。
根据图8所示的迭代处理来处理数据。优选地,通过假定空物体函数s801来开始处理,以使得O(x,y,z)=O(r)在其所有坐标范围上具有值一。随着处理进行,O(r)的值被连续更新。O(r)的第n个估计被标记为On(r)。
在步骤s802,提供前面已被测量或估计的且要检查的目标物体中的位置处的已知探测函数。
应理解,如上所述可根据所需的便利以许多不同的方式确定探测函数。例如,如果利用位于距离目标预定距离处的已知光阑,则可确定探测函数。可替代地,可使用具有计算出的或已知的值的光学装置,或另外地,可通过将已知的物体置入路径中并逆计算为了产生测得的强度结果探测函数必须是什么,来更早地确定探测函数。在任何情况下,一旦得知探测函数那么下一步骤是:
根据等式15形成
ψg(r,R)=P(r-R)·O(r)=ψg(x,y,z)。(16)
这提供了对目标物体中的关注平面处的散射波函数的估计。为了提供对检测器平面33处的该波场的估计,通过根据以下等式形成Mg(u,v,z),在步骤S804进行对所推测的波函数的前向变换:
应理解,仅关于x和y坐标进行该Fourier变换,以使得ψg(r)中z=常数上的每个片段在其x和y坐标上被Fourier变换且置入z=常数处的Mg(u,v,z)中的片段中。
现在将Mg(u,v,z)分解成其模分量和相位分量,使得:
对于被处理的特定照明函数位置R,存储衍射图I(u,v,R)。这是图8中所示的平面2中的位置1处的已知强度且在步骤s805处被提供。接着形成该强度的均方根,且在步骤s806处等式(18)中所示的Mg(u,v,z)的模被该强度的均方根替代,使得:
在此注意相同的模(仅在u和v中的坐标上测量)被应用到位于Mc(u,v,z)中的z的任何一个值处的像素。然而,所应用的相位Θ(u,v,z)一般在不同的z值处将不同。
接着利用等式19生成的Mc(u,v,z)在步骤s807根据以下等式被逆变换:
这提供了对实际空间中的波函数的正确估计,仅在u和v坐标上进行后向Fourier变换。
通过如下等式在步骤s808构造对物体函数On+1(x,y,z)=On+1(r)的下一个估计:
On+1(r)=On(r)+U(r)(ψc,n(r)-ψg,n(r)),(21)
在此通过下式给出U(r):
其中参数β、δ和l被适当地选择,且|Pmax(r-R)|是P(r-R)的振幅的最大值。结果是对于物体函数的新推测(s809)。
更新函数有助于使发生的有效解卷积成为可能,且引入加权系数,该加权系数使得在探测函数具有最大振幅的情况下物体函数被最强地更新。可选择的常数l可被设为1。其可被选择为0-3的范围内的任何值,且不需要是整数值。当存在许多噪声时设置l>1是有用的。当由于散射几何学而使得所检测的强度是Gabor全息图或相似的形式时,l可被选择为l<1。如果|P(r-R)|=0,那么值δ用来防止被零除发生。δ是通常应用在Weiner滤波器中的小实数,且通常(然而不一定)小于Pmax,且如果存在于所记录的数据中的噪声较小则其可以小得多。常数β控制算法中反馈的量,且可有利地在大致0.1和1之间变化。当β=小于0.5时,对物体的在前估计被认为比新估计更重要。两者之间的值改变这两个估计的相对重要性。β决定多快可求得解。
δ是可设置为固定值或可变化的参数。其指示记录的数据的噪声量如何且用来减缓如何响应于这些情况来执行更新。如果对于数据收集存在良好的条件,也就是说具有高束电流(高通量),这意味着低散粒噪声,则较安全的做法是使用所收集的结果来更新推测的估计。因此δ的值可以是Pmax的几分之一(例如小1/10)。表达式:
使得|P(r-R)|较大的区域的更新效果最大化。这是有用的,因为正是这些区域接收最大量的入射辐射,且因此包含具有相对高的信噪比的信息。该信息显然比来自入射了非常少的辐射的区域、且严重受噪声影响的信息更宝贵。
对于β=1,l=0和δ=0且函数P(r-R)是可由其值是一的区域(而在其他地方其是零)表示的掩模(mask)或支持函数的情况,该算法与已知的Fienup算法有一定相似性。如果在该情况下仅使用一个位置R,则算法降低到与基本Fienup算法数学上相同。在使用多于一个位置R的情况下,算法比已知方法具有相当多的优点,包括不遭受唯一性问题的困扰以及可对更宽的视场成像的事实。
在更新对推测的运行估计之后,图8所示的处理进行到选择从新位置R收集的数据,该新位置R优选地与在前位置至少部分地重叠。该重叠优选地应大于20%且优选地为50%或更多。该数据的收集可通过将光阑移动预定量或使图5所示的照明辐射落到目标的不同区域上来完成。应理解,本发明的实施例可在不改变光阑或入射辐射的位置的情况下成功地针对目标物体的一个位置提供图像数据。在这样的实施例中,在步骤S808之后算法返回步骤S802。代替加载对物体函数O(r)的初始估计,在步骤S809加载步骤S808的对O(r)的新推测。随着在每次迭代时入射辐射的已知强度的信息被添加(以及因此添加已知的振幅分量)以改进估计的准确性,每次迭代时对物体函数的新推测将越来越近地近似于实际的物体函数。
然而更优选的方法是接下来处理从新位置R收集的数据,该新位置R优选地与在前位置部分地重叠,如图8所示。
在步骤S810识别第二位置处的已知探测函数P(r-R2),且然后重复上述步骤,以使得步骤S809中生成的新推测乘以步骤S810处识别的新的已知探测函数。这在步骤S811中示出。实际上这生成了在物体的整个体积上的照明函数散射的波的新估计。在步骤S812传播所得到的散射波函数以提供应在该位置被检测的散射图的估计。在步骤S813提供利用位置R2处的照明而测量的衍射图数据,其给出关于变换的波函数的强度信息且因此给出振幅信息。强度信息用来校正变换的波函数的振幅,而在步骤S814相位信息被保持。该校正的波函数通过Fourier变换(当图像形成在远场中时)、Fresnel变换(当图像形成在Fresnel衍射为主导的位置时)或任何其他合适的变换而被逆传播。这在步骤S815被示出。然后在步骤S816根据以上所示的更新函数校正O(r)的运行估计,且结果是步骤S817中示出的对物体函数的新推测。
在该阶段,在第一照明位置处收集的数据可用于处理算法的进一步迭代。可替代地,可进行照明或光阑的进一步移动以到达第三或其他的位置,且收集第三组数据。同样,在之前被照明的位置之间发生一定重叠的位置是优选的。通过这种方式,整个目标物体可被可选地映射。可替代地,可在不使用已知的衍射图结果进一步定位的情况下重复步骤S817生成的新推测。应理解,当仅提供关于目标物体的一个照明位置时可使用本发明的实施例。在图8中,迭代方法被示出为通过返回步骤S803而被重复,在步骤S803中将在步骤S817生成的新推测输入到乘法级,而不是步骤S801提供的对物体函数的初始估计。
应理解,可使用从各种照明位置R收集的相同数据多次进行图8所示的迭代循环,且R的数目本身不受限制。可使用在前收集的数据在随后的时间进行整个迭代过程。而且,如果仅关注物体的特定层或截面,那么在任何一个时间仅需处理这些z值,然而一旦收集了数据,则用户可选择优化关注的z值(一个或多个)并且可以重复迭代计算以揭示通过z的任何或所有平面。
可以重复迭代方法直到预定的事件发生。例如迭代可重复预定次数,例如1000次或直到在检测器处收集的实验强度数据(针对一个或多个探测位置)和从物体函数的当前估计计算的估计强度(在模校正之前)之间的差中测得的误差平方和(SSE)。
在迭代处理期间,对于物体函数的最新推测提供了对该物体函数的运行估计。当由预定事件的发生确定迭代处理完成时,物体函数的运行估计提供了在由入射辐射照明的位置的体积上的图像数据。该图像数据包括随后可用来生成目标物体的所选区域的高分辨率图像的振幅和相位信息。
因而本发明的实施例提供了相位恢复(phase retrieval)的新方法,其适用于显微镜学中的许多情况,特别强调的是其适用于扫描透射电子显微镜。该方法仅需要来自少量(一个或多个)的不同探测或光阑位置的测量结果作为输入强度信息,并且因此这消除了对于样本后透镜的需要,从而避免了与这样的透镜的像差相关联的问题。所采用的算法快速收敛以复原物体透射函数的相位。这使得能够实时生成示出目标物体的结构的高分辨率图像。该算法在有噪声的情况下也有效且对于非常广范围的不同物体和探测函数起作用。当使用具有预定结构的目标物体时,本发明的实施例还使得能够计算探测函数。
图9和图10示出了用于提供如下图像数据的设备,即可使用该图像数据来根据图5所示的上述实施例构造目标物体的区域的高分辨率图像。诸如激光器的辐射源900提供照明到分束器901,分束器901扩展了该辐射。可以移动光阑902以使得照明能够落到目标903的所选区域上。
入射辐射具有入射波函数和出射波函数。该出射波函数传播跨过距离L,在该距离L处衍射图形成在检测器阵列904上。该距离L有利地足够长以使得传播的出射波函数在远场中形成Fourier衍射图。检测器阵列提供可检测目标物体903所散射的辐射的强度的至少一个检测器。提供定位装置905,其可以例如是微致动器,且这样可相对于光阑根据需要将目标物体定位在一个或多个位置处。通过这种方式可使得来自源900的辐射入射在目标903的上游表面的不同位置上。
控制单元1000对微致动器提供控制信号且还从检测器阵列904中的每个像素检测器1001接收强度测量结果。控制单元1000包括微处理器1002和数据存储器1003以及用户接口1004,用户接口1004可包括用户显示器和用户输入键盘。控制单元可连接到另外的处理装置,诸如膝上电脑1005或PC,以用于远程控制。可替代地,应理解,控制单元1000可由膝上电脑或PC提供。控制单元可实时地自动控制图像数据的产生。可替代地,用户可使用用户接口或膝上电脑来选择目标物体的用于成像的区域或提供其它用户输入。
在使用中,辐射源900用辐射照明分束器901。在控制单元1000的控制下通过致动器905选择性地定位目标物体903。辐射形成在各个位置处由检测器阵列904中的每个检测器检测到的衍射图。来自这些检测器的结果被输入到控制单元并且可被存储在数据存储器1003或膝上电脑等中。如果仅使用一个位置来得出图像数据,那么微处理器使用所检测到的该信息连同包括关于上述处理的信息的程序指令一起来得到图像数据。然而,如果在完成图像数据之前需要一个或多个其他位置,则控制单元接着将信号发到致动器905,致动器905将样本定位在另一所选位置。致动器905可将样本置于许多不同位置中的一个位置处。在重新定位之后,形成在检测器阵列上的另外的衍射图被测量,并且将该结果存储在控制单元中。作为例子,阵列904可以是1200×1200像素的CCD阵列。如果不再需要进一步的强度测量,则可使用上述算法根据两个新存储的结果集通过控制单元在该阶段生成图像数据。在PC或其他这样的装置上的用户接口或远程显示器上可显示原始图像数据或从该图像数据生成的高分辨率图像。
图11示出由使用图9和图10所示的布置的本发明实施例所提供的结果。对于3D目标物体,将两个投影仪幻灯片并排放置,每个幻灯片均在表面上携带预定的文本。对于两个幻灯片的坐标z中的对应于实际位置的两个z值如上所述那样收集并处理数据。获得在模和相位两者方面给定一共四个图像的两个图像。图11a示出第一重构图像的模,而图11b示出该同一重构图像的相位。图11c示出第二重构图像的模信息,而图11d示出第二重构图像的相位。已通过对应于第一幻灯片的位置的z值计算了第一对图像,同时已通过对应于第二幻灯片的位置的z值计算了第二对。在图11a和11b的第一对图像中,单词“camera”(包含在第一幻灯片中)是对焦的,然而颠倒的字母(它们在第二幻灯片的平面中)是离焦的。在第二对图像中,单词“camera”是离焦的而颠倒的字母(它们现在位于由重构中所使用的z值所选择的第二幻灯片的平面中)是清晰地对焦的。
所述结果示出了在z方向上具有两层的性能,然而所述结果当然可根据本发明的其他实施例被扩展以提供z方向上的连续阵列,从而辨别出物体的不同层。
因而本发明的实施例提供了一种用于得出目标物体的图像数据的迭代方法。可以以智能的方式应用该迭代方法从而能够应对一般的照明系统。在这些中,光阑的透射比函数被较弱地限定,或者可较弱地聚焦辐射束。在替代实施例中,不是得出物体的信息,而是:如果物体是熟知的,则可得出关于辐射或光阑自身的信息。
应理解,在现有技术中,已经描述了下面的算法:该算法可在假定可在2D物体的平面处进行对探测的2D估计的情况下使用从许多探测位置收集的衍射数据来研究二维(2D)物体。本发明的实施例可被视为该算法的新颖的有创造性的改进,其中在三维物体的整个厚度中的不同深度处在许多不同的平面上估计探测。熟悉本领域的人员应认识到,由于以下原因中的一个或若干个,之前人们认为在实际中不可能实现对这样的现有技术的扩展以研究三维物体。
首先,众所周知,迭代相位复原方法难以确定物体的平面。这是因为朝向检测器平面或远离检测器平面的散射波的小移位不会较多地影响所检测到的强度。因此认为利用2D物体的上述现有技术的成功是依赖于二维物体的重合位置和重构中使用的对2D照明函数的特定估计。之前假定如果物体的任何部分都不与所估计探测的平面相一致,则该算法一定会失败,因为收集的数据将不会与关于探测和物体的相互影响而进行的假定相一致。
其次,对于3D物体,从物体的不同层散射的波将以使二维近似无效的方式干扰衍射平面。这是因为对于给定有限散射角,额外的相位变化被引入到从物体的不同深度发出的波。这会暗示,这样的干扰将破坏应用现存的现有技术2D算法的机会,因为其忽视了这样的干扰影响。
第三,已知的是,在3D物体中,照明函数由于来自物体自身的散射(或甚至多次散射)在充分远离辐射的入射表面的平面处相对于自由空间照明函数被改变。
第四,由于在现有技术方法中仅收集2D数据。目前为止认为这根本不会编码任何3D信息。本发明的实施例利用预想不到的结果:尽管之前认为某些技术不适用于3D应用,但现有技术的某些方面可根据本发明教导被修改且相当出人意外地被应用以提供如下工具,该工具用于提供可用于估计/研究3D样本中的结构的数据。
贯穿该说明书的说明和权利要求,单词“包括”和“包含”以及该单词的变形(例如“含有”和“具有”)意味着“包括但不限于”,且不意图(并且也并没有)排除其他份额、附加物、组份、整体或步骤。
贯穿该说明书的说明和权利要求,单数涵盖复数,除非上下文另外要求。特别地,在使用不定冠词时,该说明书应被理解为除单数外还构思了复数,除非上下文另外要求。
结合本发明的特定方面、实施例或例子而说明的特征、整体、特性、组合、化学份额或组应被理解为适用于此处说明的任何其他方面、实施例或例子,除非与其不兼容。
Claims (42)
1.一种用于提供图像数据的方法,所述图像数据用于构造三维目标物体的区域的图像,所述方法包括步骤:
从辐射源提供三维目标物体处的入射辐射;
通过至少一个检测器检测被所述目标物体散射的辐射的强度,其中所述入射辐射位于相对于所述目标物体的第一位置处;
相对于所述目标物体重新定位所述入射辐射;
随后检测被所述目标物体散射的辐射的强度,其中所述入射辐射位于相对于所述目标物体的第二位置处;
对应于针对每个深度的待检查的所述目标物体的相应区域,确定所述目标物体内的多个深度;
确定相应的探测函数,所述相应的探测函数指示在所述三维目标物体中所述多个深度中的每个深度处对所述入射辐射的至少一个特性的估计;以及
将图像数据作为多个数据集提供,每个数据集对应于相应的深度,使用所述探测函数通过迭代处理能够从该图像数据构造所述目标物体的一个或多个区域的图像。
2.根据权利要求1所述的方法,其中提供图像数据的所述步骤进一步包括步骤:
响应于使用相对于所述目标物体能够移动的柔和变化的透射函数或照明函数在所述第一和第二位置处所检测到的至少所述强度,而提供所述图像数据。
3.根据权利要求1所述的方法,还包括步骤:
通过使用相应的数据集顺序地构造每个均对应于相应深度的多个图像,而提供所述目标物体的所确定的每个深度处的图像。
4.根据权利要求1所述的方法,其中提供所述图像数据的所述步骤包括步骤:
响应于利用相对于所述目标物体被不同地定位的所述入射辐射所检测到的强度,在所述三维目标物体中的所述多个深度中的每个深度处估计指示所述相应深度处的所述目标物体的所述区域的至少一个特性的物体函数;以及
迭代地重新估计所述物体函数;从而
随着每次迭代,通过重新估计所述物体函数所提供的对物体函数的运行估计的准确性被改进。
5.根据权利要求4所述的方法,还包括步骤:
使在每个相应深度处所估计的所述物体函数乘以所述相应深度处的所述探测函数;
响应于所估计的物体函数乘以所述探测函数的乘法的结果,提供散射波估计函数;
传播所述散射波估计函数以提供对预期散射图的估计;以及
根据所检测到的强度校正所述预期散射图的至少一个特性。
6.根据权利要求5所述的方法,还包括步骤:
逆传播经校正的所述预期散射图以提供更新的散射波估计函数;以及
根据以下函数响应于所述更新的散射波估计函数更新对所述物体函数的运行估计:
On+1(r)=On(r)+U(r)+U(r)(ψc,n(r)-ψg,n(r))
其中,r是以笛卡尔坐标x,y,z表示的三维向量,On+1(r)是对物体函数的运行估计,On(r)是对物体函数的在先估计,或者在没有在先估计时为1或某些其他预定值,U(r)表示更新函数,ψc,n(r)是散射波估计函数处的校正的推测,而ψg,n(r)是用于迭代的当前推测的散射波估计函数。
7.根据权利要求6所述的方法,其中所述更新函数U(r)是:
其中,R是所述探测从所述第一位置到所述第二位置所移动的距离向量,β是反馈常数,P(r-R)是在位置R处的探测函数,P*(r-R)是探测函数P(r-R)的复共轭,Pmax(r-R)是P(r-R)的振幅的最大值,δ是可选择的参数,且l是可选择的参数。
8.根据权利要求5、6或7中的任一项所述的方法,其中在所检测到的强度是在远场被检测到时所述传播步骤包括Fourier变换。
9.根据权利要求5、6或7中的任一项所述的方法,其中在所述至少一个检测器处于与所述目标物体相距使得Fresnel衍射为主导的距离处时所述传播步骤是Fresnel传播。
10.根据权利要求1-7中任一项所述的方法,还包括步骤:
选择所述第二位置以使得在所述第一位置确定的区域与在所述第二位置确定的另外的区域相重叠。
11.根据权利要求10所述的方法,其中在所述第二位置确定的所述另外的区域与在所述第一位置确定的所述区域的至少20%相重叠。
12.根据权利要求10所述的方法,其中在所述第二位置确定的所述另外的区域与在所述第一位置确定的所述区域的多于50%相重叠。
15.根据权利要求6所述的方法,其中根据下式计算所述逆传播:
ψc,n(x,y,z)是针对所述计算的第n次迭代的实际空间中的我们的波函数的校正估计,仅在u和v坐标上进行后向变换。
16.根据权利要求6所述的方法,还包括步骤:
针对所述处理算法的第n次迭代,在所述目标物体的整个体积上估计所述目标物体导致的波的散射相位和振幅,由下式给出
ψg(r,R)=P(r-R)·O(r)=ψg(x,y,z)
该估计适用于照明函数的特定位置,并且是对物体函数的对应的特定的当前估计。
17.根据权利要求16所述的方法,其中在所述目标物体占据的整个体积上,对n=1时的On(r)的第一估计包括振幅一和相位零。
18.根据权利要求7所述的方法,还包括步骤:
经过Fourier计算入射平面波的P(x,y,z)分量,使得
作为坐标u和v的函数,A(u,v)确定入射在所述目标物体上的平面波的角度频谱的模和相位,且其中
20.根据权利要求1所述的方法,还包括步骤:
当发生预定事件时终止迭代处理。
21.根据权利要求20所述的方法,其中所述预定事件包括迭代次数满足预定条件。
22.根据权利要求20所述的方法,其中所述预定事件包括误差平方和满足预定条件。
23.根据权利要求1所述的方法,还包括步骤:
通过选择所述入射辐射落在所述目标物体上的位置来相对于所述目标物体定位所述入射辐射。
24.根据权利要求23所述的方法,还包括步骤:
通过利用透镜或其他光学组件形成照明波形来选择所述入射辐射落在所述目标物体上的位置。
25.根据权利要求1或2所述的方法,其中所述入射辐射包括被基本上局部化的波场。
26.根据权利要求1或2所述的方法,其中所述图像数据具有基本上波长受限的分辨率。
27.根据权利要求1或2所述的方法,其中所述至少一个检测器包括两个或更多个检测器。
28.根据权利要求1或2所述的方法,还包括步骤:
对于所述目标物体的区域实时地提供所述图像数据。
29.根据权利要求1或2所述的方法,还包括步骤:
基于所述图像数据在用户显示器上生成所述区域的图像。
30.根据权利要求1或2所述的方法,还包括步骤:
通过来自反射表面的焦散面或弱透镜提供所述目标物体处的所述入射辐射。
31.根据权利要求1或2所述的方法,还包括步骤:
将所述至少一个检测器中的每个定位在相对于所述目标物体的远场中。
32.根据权利要求1或2所述的方法,还包括步骤:
将所述至少一个检测器中的每个定位在使得Fresnel衍射为主导的、相对于所述目标物体的距离处。
33.根据权利要求1或2所述的方法,其中通过Fourier衍射和/或Fresnel衍射来散射所述辐射。
34.根据权利要求4或5所述的方法,其中所述至少一个特性包括振幅和/或相位。
35.根据权利要求1或2所述的方法,其中所述探测函数包括时间无关的三维照明函数。
36.根据权利要求1或2所述的方法,还包括步骤:
在所述辐射源和所述目标物体之间提供目标前光阑;以及
将所述光阑和/或源定位在不同的位置处,从而提供位于相对于所述目标物体的所述第一和第二位置处的入射辐射。
37.根据权利要求4或5所述的方法,还包括步骤:
在所述辐射源和所述目标物体之间提供透镜;以及
将所述透镜和/或源定位在不同位置处,从而提供位于相对于所述目标物体的所述第一和第二位置处的入射辐射。
38.根据权利要求36所述的方法,还包括步骤:
在透镜或光阑与所述目标物体之间提供一定距离,所述距离足以允许与所述透镜或光阑的出射位置处的辐射相关联的波函数在入射至所述目标物体处之前在形状方面演化。
39.根据权利要求36所述的方法,还包括步骤:
利用位于相对于所述目标物体的一个或更多个其他位置处的入射辐射或目标物体后光阑检测被所述目标物体散射的辐射的强度;以及
使用所述其他位置中的至少一个位置处的检测到的散射辐射的强度,通过迭代处理提供所述图像数据。
40.一种用于提供图像数据的设备,该图像数据用于生成目标物体的至少一个区域的图像,所述设备包括:
辐射源,用于提供三维目标物体处的入射辐射;
至少一个检测器装置,用于检测被所述目标物体散射的辐射的强度;
定位装置,将所述目标物体选择性地定位在相对于所述入射辐射的两个或更多个预定位置处;以及
处理器,响应于两个或更多个位置处的所检测到的散射辐射的强度而提供所述图像数据;其中
所述处理器被布置成在所述目标物体的多个深度的每个深度处确定所述探测函数;
所述处理器被布置成将图像数据作为多个数据集来提供,每个数据集对应于相应的深度并指示所述三维目标物体内的相应深度处的所述目标物体的区域的结构。
41.根据权利要求40所述的设备,其中所述入射辐射提供柔和变化的照明函数。
42.根据权利要求40所述的设备,其中所述处理器进一步包括:
微处理器;
为所述微处理器保存数据和指令的数据存储器;以及
控制器,其提供指令以移动所述入射辐射或目标物体中的至少一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0709796A GB0709796D0 (en) | 2007-05-22 | 2007-05-22 | Three dimensional imaging |
GB0709796.7 | 2007-05-22 | ||
PCT/GB2008/000620 WO2008142360A1 (en) | 2007-05-22 | 2008-02-25 | Three dimensional imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101820817A CN101820817A (zh) | 2010-09-01 |
CN101820817B true CN101820817B (zh) | 2012-07-18 |
Family
ID=38234869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801001019A Expired - Fee Related CN101820817B (zh) | 2007-05-22 | 2008-02-25 | 三维成像 |
Country Status (9)
Country | Link |
---|---|
US (1) | US9116120B2 (zh) |
EP (1) | EP2152164B1 (zh) |
JP (1) | JP5314676B2 (zh) |
KR (1) | KR101455338B1 (zh) |
CN (1) | CN101820817B (zh) |
AU (1) | AU2008252706B2 (zh) |
CA (1) | CA2687763C (zh) |
GB (1) | GB0709796D0 (zh) |
WO (1) | WO2008142360A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0724448D0 (en) * | 2007-12-17 | 2008-01-30 | Phase Focus Ltd | Method and apparatus for providing image data |
GB2463448B (en) * | 2008-07-09 | 2012-08-22 | Univ Manchester | Beam sensing |
GB0817650D0 (en) | 2008-09-26 | 2008-11-05 | Phase Focus Ltd | Improvements in the field of imaging |
GB0822149D0 (en) * | 2008-12-04 | 2009-01-14 | Univ Sheffield | Provision of image data |
GB2481589B (en) * | 2010-06-28 | 2014-06-11 | Phase Focus Ltd | Calibration of a probe in ptychography |
GB201016088D0 (en) * | 2010-09-24 | 2010-11-10 | Phase Focus Ltd | Improvements in imaging |
DE102010042347A1 (de) * | 2010-10-12 | 2012-04-12 | Alfred Kärcher Gmbh & Co. Kg | Verfahren zum Betreiben eines Reinigungsgerätes und Reinigungsgerät zur Durchführung des Verfahrens |
JP5683236B2 (ja) * | 2010-11-29 | 2015-03-11 | 兵庫県 | 形状測定装置 |
GB201020516D0 (en) * | 2010-12-03 | 2011-01-19 | Univ Sheffield | Improvements in providing image data |
GB201107053D0 (en) | 2011-04-27 | 2011-06-08 | Univ Sheffield | Improvements in providing image data |
JP5846681B2 (ja) * | 2011-07-12 | 2016-01-20 | 公立大学法人兵庫県立大学 | 欠陥特性評価装置 |
KR101493555B1 (ko) | 2011-09-07 | 2015-02-16 | 엘지디스플레이 주식회사 | 입체 영상 표시장치 |
GB201201140D0 (en) | 2012-01-24 | 2012-03-07 | Phase Focus Ltd | Method and apparatus for determining object characteristics |
GB201205491D0 (en) * | 2012-03-28 | 2012-05-09 | Ucl Business Plc | Measuring surface curvature |
GB201207800D0 (en) * | 2012-05-03 | 2012-06-13 | Phase Focus Ltd | Improvements in providing image data |
KR101378757B1 (ko) * | 2012-08-30 | 2014-03-27 | 한국원자력연구원 | 물질 원소 정보 획득 및 영상 차원의 선택이 가능한 방사선 영상화 장치 |
GB201215558D0 (en) * | 2012-08-31 | 2012-10-17 | Phase Focus Ltd | Improvements in phase retrieval |
KR200472414Y1 (ko) | 2014-02-13 | 2014-04-28 | (주)인스펙트 | 수직 용접부의 방사선 촬영장치 |
US9575412B2 (en) * | 2014-03-31 | 2017-02-21 | Taiwan Semiconductor Manufacturing Company, Ltd. | Method and system for reducing pole imbalance by adjusting exposure intensity |
GB201414063D0 (en) * | 2014-08-08 | 2014-09-24 | Univ Sheffield | Methods and apparatus for determining image data |
CN104155320B (zh) * | 2014-08-22 | 2018-08-10 | 南京大学 | 一种时间分辨重叠关联成像术 |
CN107924132B (zh) | 2014-08-28 | 2021-02-12 | Asml荷兰有限公司 | 检查设备、检查方法和制造方法 |
NL2017269A (en) | 2015-08-12 | 2017-02-16 | Asml Netherlands Bv | Inspection apparatus, inspection method and manufacturing method |
CN105674923B (zh) * | 2016-01-06 | 2018-08-17 | 中国工程物理研究院激光聚变研究中心 | 基于Fresnel波带片编码的超分辨成像方法及其实现装置 |
WO2017157645A1 (en) | 2016-03-15 | 2017-09-21 | Stichting Vu | Inspection method, inspection apparatus and illumination method and apparatus |
FR3049348B1 (fr) * | 2016-03-23 | 2023-08-11 | Commissariat Energie Atomique | Procede de caracterisation d’une particule dans un echantillon |
US10768114B2 (en) * | 2016-04-29 | 2020-09-08 | Synaptive Medical (Barbados) Inc. | Multi-modal optical imaging system for tissue analysis |
CN106770131A (zh) * | 2017-01-17 | 2017-05-31 | 清华大学 | 三维超光谱显微成像系统及成像方法 |
DE102018213127A1 (de) | 2018-08-06 | 2020-02-06 | Carl Zeiss Smt Gmbh | Anordnung und Verfahren zur Charakterisierung einer Maske oder eines Wafers für die Mikrolithographie |
KR102243079B1 (ko) * | 2019-06-28 | 2021-04-21 | 주식회사 스몰머신즈 | 광원 위치를 보정하기 위한 현미경 장치 및 그 방법 |
DE102019213904A1 (de) | 2019-09-12 | 2021-03-18 | Carl Zeiss Smt Gmbh | Verfahren zur Erfassung einer Objektstruktur sowie Vorrichtung zur Durchführung des Verfahrens |
CN110895792B (zh) * | 2019-10-12 | 2023-07-14 | 南方科技大学 | 一种图像拼接方法及装置 |
CN114322863B (zh) * | 2021-12-08 | 2023-05-05 | 深圳大学 | 对突破衍射极限的物体进行远场照明和探测的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432349A (en) * | 1993-03-15 | 1995-07-11 | The United State Of America As Represented By The Secretary Of The Navy | Fourier transform microscope for x-ray and/or gamma-ray imaging |
US6826424B1 (en) * | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
KR100438212B1 (ko) * | 2002-08-09 | 2004-07-01 | 학교법인고려중앙학원 | 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치 |
GB2403616A (en) * | 2003-06-30 | 2005-01-05 | Univ Sheffield Hallam | Diffraction pattern imaging using moving aperture. |
GB0409572D0 (en) | 2004-04-29 | 2004-06-02 | Univ Sheffield | High resolution imaging |
KR101653203B1 (ko) * | 2010-02-01 | 2016-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
-
2007
- 2007-05-22 GB GB0709796A patent/GB0709796D0/en not_active Ceased
-
2008
- 2008-02-25 WO PCT/GB2008/000620 patent/WO2008142360A1/en active Application Filing
- 2008-02-25 KR KR1020097026775A patent/KR101455338B1/ko active IP Right Grant
- 2008-02-25 CA CA2687763A patent/CA2687763C/en not_active Expired - Fee Related
- 2008-02-25 AU AU2008252706A patent/AU2008252706B2/en not_active Ceased
- 2008-02-25 JP JP2010508892A patent/JP5314676B2/ja not_active Expired - Fee Related
- 2008-02-25 CN CN2008801001019A patent/CN101820817B/zh not_active Expired - Fee Related
- 2008-02-25 US US12/601,219 patent/US9116120B2/en not_active Expired - Fee Related
- 2008-02-25 EP EP08709502.2A patent/EP2152164B1/en not_active Not-in-force
Non-Patent Citations (2)
Title |
---|
J. M. Rodenburg et al.Hard-X-Ray Lensless Imaging of Extended Objects.《PHYSICAL REVIEW LETTERS》.2007,第1-4页. * |
J.M. Rodenburg et al.Transmission microscopy without lenses for objects of unlimited size.《Ultramicroscopy》.2007,第227-231页. * |
Also Published As
Publication number | Publication date |
---|---|
EP2152164B1 (en) | 2016-01-13 |
AU2008252706A1 (en) | 2008-11-27 |
JP2010528279A (ja) | 2010-08-19 |
EP2152164A1 (en) | 2010-02-17 |
KR20100023888A (ko) | 2010-03-04 |
GB0709796D0 (en) | 2007-06-27 |
CA2687763A1 (en) | 2008-11-27 |
JP5314676B2 (ja) | 2013-10-16 |
US20100241396A1 (en) | 2010-09-23 |
CN101820817A (zh) | 2010-09-01 |
CA2687763C (en) | 2016-04-26 |
AU2008252706B2 (en) | 2013-02-07 |
US9116120B2 (en) | 2015-08-25 |
KR101455338B1 (ko) | 2014-11-03 |
WO2008142360A1 (en) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101820817B (zh) | 三维成像 | |
CN1985188B (zh) | 高分辨率成像 | |
CN103201648B (zh) | 重叠关联成像术中探测的校准 | |
JP2878409B2 (ja) | 3次元物体撮像方式 | |
EP2618738B1 (en) | Three dimensional imaging | |
US20100155609A1 (en) | Radiation device or signal | |
CN102239426A (zh) | 图像数据的提供 | |
EP2646852A2 (en) | Improvements in providing image data | |
US5214581A (en) | Method for object reconstruction from x-ray holograms | |
Recker et al. | Hybrid Photogrammetry Structure-from-Motion Systems for Scene Measurement and Analysis | |
Belden et al. | Synthetic Aperture Imaging for Fluid Flows |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1144897 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1144897 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120718 Termination date: 20210225 |
|
CF01 | Termination of patent right due to non-payment of annual fee |