CN101862178B - 一种基于自适应光学的反射式共焦扫描视网膜成像系统 - Google Patents
一种基于自适应光学的反射式共焦扫描视网膜成像系统 Download PDFInfo
- Publication number
- CN101862178B CN101862178B CN2010101970280A CN201010197028A CN101862178B CN 101862178 B CN101862178 B CN 101862178B CN 2010101970280 A CN2010101970280 A CN 2010101970280A CN 201010197028 A CN201010197028 A CN 201010197028A CN 101862178 B CN101862178 B CN 101862178B
- Authority
- CN
- China
- Prior art keywords
- scanning
- human eye
- retina
- galvanometer
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 210000001525 retina Anatomy 0.000 title claims abstract description 52
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 48
- 230000004075 alteration Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 13
- 201000009310 astigmatism Diseases 0.000 claims description 13
- 239000004065 semiconductor Substances 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000011514 reflex Effects 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 6
- 238000004587 chromatography analysis Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000004313 glare Effects 0.000 claims description 2
- 230000002207 retinal effect Effects 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 abstract description 105
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 206010010071 Coma Diseases 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000012239 Developmental disease Diseases 0.000 description 1
- 244000188472 Ilex paraguariensis Species 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003677 hemocyte Anatomy 0.000 description 1
- 229940000351 hemocyte Drugs 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
一种基于自适应光学的反射式共焦扫描视网膜成像系统,可以实时、精确的得到活体人眼视网膜的高分辨图像,包括光源、反射式缩束扩束系统、二维扫描振镜、哈特曼传感器、变形镜、光电探测系统、数据采集和处理系统、另眼视标系统。将光源发出的激光打入人眼眼底,从眼底反射出的光线沿原路返回,进入光电探测系统,并经过数据采集和信号同步系统得到人眼眼底的实时图像。同时,包括哈特曼传感器和变形镜的自适应光学系统能够同步探测并校正人眼像差,保证图像的高分辨。
Description
技术领域
本发明涉及一种用于对视网膜进行高分辨成像的医学成像诊断系统,特别是一种基于自适应光学和另眼视标的全反射式共焦扫描视网膜成像系统。
背景技术
人眼的视网膜图像是眼科诊断和治疗中不可或缺的重要信息。医学研究和临床都证明:糖尿病、动静脉血栓、高血压、贫血、肾病、妊娠高血压综合症及肿瘤等疾病都可反映到眼底微循环,眼底代谢异常导致眼底产生病变。实时跟踪眼底视网膜的形貌变化将有助于上述身体疾病的早期诊断和预防。R.H.Webb在1987年,将共焦扫描技术应用于活体人眼视网膜成像,然而,活体人眼相当于一个光学系统,存在各种像差,导致视网膜成像的分辨率和对比度受到很大限制,无法在视细胞尺度上对眼底特征进行分辨。
自适应光学技术是国外70年代才开始发展起来的光学新技术,它通过实时探测-控制-校正光学系统的动态波前误差,使光学系统具有自动适应外界条件变化从而始终保持最佳工作状态的能力,大大提高了成像分辨率。采用自适应光学校正技术,可以校正时间和空间上都随机变化的活体人眼像差,从而获得接近衍射极限的高分辨力视觉细胞图像。
视网膜是位于人眼眼底的一层厚约300微米的膜,它包括神经纤维层、神经细胞层、血管层、视细胞层和黑色素上皮细胞层等多层结构。各个层对光谱的敏感度不同,例如要观察视细胞,用近红外光较好;要观察血管内的血细胞流动,则是用绿光较好;而要观察黑色素上皮层,则需要利用脂褐质的568nm激发的自发荧光效应。因此,要区分视网膜的不同层结构,首先需要光学系统的轴向分辨率足够高;其次还要对可见光到近红外光消色差;再次,为了观测一些动态信息,如血液流动和蛋白质输运,成像系统最好可以采集实时视频;最后,现有的自适应光学人眼视网膜细胞成像仪所做的临床试验表明,很多病人的疾病眼无法稳定注视视标,会导致闭环失败,这时就需要另外一种装置让受试眼稳定。
在专利号ZL99 1 15051.1、ZL99 1 15052.X、ZL99 1 15053.8、ZL99 1 15054.6中介绍了一种自适应光学人眼视网膜细胞成像仪,它采用哈特曼波前传感器探测像差,变形镜实时校正人眼像差,可以对人眼眼底视网膜细胞和毛细血管等微小组织进行高分辨率成像。可是,该系统采用相机作为成像探测器,一次只能进行单帧曝光,无法实时跟踪眼底组织的变化;其次,该系统的纵向分辨率较低,接近300微米,不易区分视网膜的不同层;最后,该系统采用透射式光路,不利于不同波段成像。
在美国专利号US 6,890,076B2中介绍了一种基于自适应光学的共焦扫描视网膜成像系统,该系统采用验光透镜放在人眼入瞳位置来校正系统像散,没有保证主光路的消色差,这样对设计波段来说,整个扫描视场是达到衍射极限的,而如果使用非设计波段,在边缘视场像散较大;而且该系统也没有使用另眼视标,对于人眼自适应系统来说,保证受试眼的稳定非常重要,实验表明,如果采用同眼视标,在使用可见光时,受试眼很容易转而注视扫描光点而非视标,稳定性难以保证。而采用另眼视标时,人眼的注意力放在观察视标的眼上,受试眼更加稳定。
发明内容
本发明所要解决的技术问题是:克服现有技术的不足,提供一种基于自适应光学的反射式共焦扫描视网膜成像系统,该系统可以实时、精确的得到活体人眼视网膜的高分辨图像;此外另眼视标系统还大大提高了本发明的临床应用范围。
本发明解决其技术问题所采用的技术方案是:一种基于自适应光学的反射式共焦扫描视网膜成像系统,包括半导体激光光源、多个反射式缩束扩束系统、由X方向扫描振镜和Y方向扫描振镜组成的二维扫描振镜、哈特曼波前传感器、变形镜、由收集透镜、针孔和光电倍增管组成的光电探测系统、数据采集和处理系统;由半导体激光光源发出的光通过反射式缩束扩束系统、X方向扫描振镜和Y方向扫描振镜、变形镜进入人眼,并在视网膜上汇聚成一个点,进入的光被人眼的视网膜反射后,携带视网膜上这个点的强度信息和人眼像差信息,沿原路返回,通过分光镜后一部分反射光进入哈特曼波前传感器,哈特曼波前传感器将接收到的人眼像差信息传递到波前处理机,波前处理机产生控制变形镜的电压,并将控制电压传给变形镜,实时校正人眼像差,增加图像的分辨率和对比度,实现对人眼像差的实时闭环;同时,另一部分反射光通过收集透镜和针孔最终到达光电倍增管,光电倍增管得到的视网膜上得到到连续的强度信息,X方向扫描振镜和Y方向扫描振镜产生的同步电压,以及光电倍增管得到的连续强度信息被输入数据采集成和处理系统,数据采集和处理系统根据同步电压对连续的强度信息进行采样和数模转换,确定某一时刻的强度信息对应着视网膜上的哪一点,并最终恢复视网膜上某一矩形区域的信息。
本发明还包括另眼视标系统,所述另眼视标系统由成像透镜、平面反射镜和LED阵列组成,点亮LED阵列中的一个灯,它发出的光经过平面反射镜和成像透镜在看视标人眼的黄斑中心成像,当点亮LED阵列不同位置的灯时,看视标人眼的视轴会随之转动,由于人的两眼具有随动性,成像人眼的视轴也会随之转动,由此就可以观察成像人眼的不同区域,另眼视标系统还可上下左右移动,这样既可以观察右眼也可以观察左眼,同时还可以根据不同人的瞳距和眼睛高度调节。
系统由多个反射式缩束扩束系统中采用多个球面镜构成缩束扩束系统,半导体激光光源发出的光,经过准直镜准直和分光镜分光,经过第一球面反射镜和第二球面反射镜组成的扩束系统被扩束到与变形镜匹配,经过第三球面反射镜和第四球面反射镜组成的缩束系统缩至与X方向扫描振镜匹配,X方向扫描振镜对入射光束进行横向扫描,并被由第五球面反射镜和第六球面反射镜组成的扩束系统扩束到与Y方向扫描振镜匹配,Y方向扫描振镜对入射光束进行纵向扫描,并反射到第七球面反射镜和第八球面反射镜组成的扩束系统,其中为了避免光束遮挡,第七球面反射镜和第八球面反射镜之间插入了平面反射镜,此时光束口径与人眼入瞳匹配,并被反射到柱面反射镜,柱面反射镜将前面由于多个球面反射镜偏轴使用产生的像散一起校正,将光束最终反射到成像的人眼。
其中准直镜,变形镜,X方向扫描振镜,Y方向扫描振镜,验光透镜和哈特曼前共轭面六个平面处于共轭位置,这样当振镜对光束进行扫描时,在验光透镜平面上的光束仅仅方向变化,位置不会变化;否则,一旦这种共轭关系得不到保证,验光透镜上的光斑位置会随着扫描过程不断变化,导致像差不断变化,无法被哈特曼传感器准确测量。
X方向扫描振镜和Y方向振镜可以转动的不同角度,转动的不同角度反映了不同视场的多个组态,这样使光学系统在整个扫描视场内,达到衍射极限。如果光学系统在整个扫描视场内无法达到衍射极限,那么当扫描到不同位置时,系统的像差也会不同。例如,扫描的行频是16KHz,就是说每0.0625ms视网膜上的光点就会扫描过一行,而哈特曼传感器的采样频率是20Hz,就是说每50ms哈特曼传感器才会采样一次,如果在0.0625ms内系统像差就会变化,那哈特曼就会被系统像差所干扰,根本无法准确测量人眼的像差。而系统在扫描视场内达到衍射极限,就保证了在扫描视场内的系统像差是无法干扰哈特曼测量的。
针孔、半导体激光光源和成像人眼眼底视网膜处于共轭位置,针孔的直径等于收集透镜艾里斑直径,起到过滤成像人眼眼底视网膜不在共轭位置杂光的作用。
从X方向扫描振镜输出的驱动信号需要经过调制得到行同步信号;从Y方向扫描振镜(输出的驱动信号需要经过调制得到场同步信号;所述的光电倍增管输出的信号需要采用X方向扫描镜输出经过调制得到行同步信号进行调制。
所述变形镜可以产生离焦,以便对视网膜进行纵向层析。
本发明与现有技术相比的优点在于:
(1)本发明采用共焦扫描成像的原理,并采用哈特曼波前传感器和变形镜的自适应光学系统,可以获得实时高分辨的活体人眼视网膜图像。与传统的共焦扫描检眼镜相比,本发明引入了自适应光学系统实时探测并校正人眼像差,将横向分辨率提高到2微米;专利号ZL99 1 15051.1、ZL99 1 15052.X、ZL99 1 15053.8、ZL99 1 15054.6中介绍的自适应光学人眼视网膜细胞成像仪采用CCD作为成像器件,一次曝光只能获得单帧图像,无法得到实时的视频,而且本发明采用共焦扫描的原理,比传统的眼底相机原理,极大提高了纵向分辨率,可以将纵向分辨率提高到60~70微米。
(2)此外,本发明还采用另眼视标系统,让受试者用一只眼观察视标,另外一只眼睛被观测。由于很多患者的疾病眼在凝视视标时有困难,那么他们就可以用健康眼凝视视标,疾病眼受观察,从而大大提高本发明的临床应用范围。
(3)本发明主光路部分采用球面镜11~18构成缩束扩束系统,采用反射式光路防止了色差的引入,从而使得系统慧差最小,而像散是累加的,又通过柱面反射镜消除了像散。
(4)本发明可以使变形镜产生离焦,以便对视网膜进行纵向层析,由于视网膜包含了视细胞层、血管层、神经纤维层等多层结构,不同的疾病和生理过程也会在视网膜的不同层上表现出来,通过对视网膜进行纵向层析,可以观察视网膜不同层的图像,获取所需的信息。
(5)本发明的X方向扫描振镜和Y方向扫描振镜可以转动的不同角度,转动的不同角度反映了不同视场的多个组态,这样使光学系统在整个扫描视场内,达到衍射极限。
附图说明
图1为本发明的结构示意图;
图2为本发明中在视网膜上扫描示意图;
图3a和b为本发明中X方向同步信号和Y方向同步信号,及其经过处理后的同步信号和对光电倍增管信号的调制;
图4为在自适应控制软件界面上显示的哈特曼传感器的点阵和计算出的波面;
图5a是单透镜成像示意图;
图5b是共焦扫描的原理示意图;
图6是用变形镜进行纵向扫描的原理图;
图7是本发明测量方法的流程图;
图8a为本发明的人观察视标眼的示意图,图8b为本发明的另眼视标的原理;
图9为本发明的自适应控制系统原理框图。
图1中,1.半导体激光光源,2.分光镜,3.分光镜,4.针孔,5.光电倍增管,6.数据采集系统,7.自适应控制系统,8.受试眼,9.哈特曼波前传感器,10.看视标眼,11~18.球面反射镜,19.平面反射镜,20.柱面反射镜,21.准直镜,22.变形镜,23.X方向扫描振镜,24.Y方向扫描振镜,25.验光透镜,26.哈特曼前共轭面,27.收集透镜,30.另眼视标系统,30-1.透镜,30-2.平面反射镜,30-3.LED阵列。
具体实施方式
如图1所示,在系统实际运行中同时存在四个过程,主光路传输过程、数据采集成像过程、自适应光学校正过程和与受试者相关过程。包括半导体激光光源1、多个反射式缩束扩束系统11-18、由X方向扫描振镜23和Y方向扫描振镜24组成的二维扫描振镜、哈特曼波前传感器9、变形镜22、由收集透镜27,针孔4和光电倍增管5光电探测系统、数据采集和处理系统6、另眼视标系统30。其中准直镜21,变形镜22,X方向扫描振镜23,Y方向扫描振镜24,验光透镜25和哈特曼前共轭面26六个平面处于共轭位置。
(一)主光路传输过程:
带尾纤的半导体激光光源1发出的光可以近似看作点光源,经过准直镜21准直到6mm,并由分光镜2分光,反射的部分经过球面反射镜11和球面反射镜12组成的扩束系统扩束到与变形镜22匹配,并由变形镜22反射,接下来经过球面反射镜13和球面反射镜14组成的缩束系统缩束至与X方向扫描振镜23匹配,并到达X方向扫描振镜23,X方向扫描振镜23对入射光束进行横向扫描,并被由球面反射镜和15和球面反射镜16组成的扩束系统扩束到与Y方向扫描振镜24匹配,并到达Y方向扫描振镜24,Y方向扫描振镜24对入射光束进行纵向扫描,并反射到球面反射镜17和球面反射镜18组成的扩束系统,其中为了避免光束遮挡,球面反射镜17和18之间插入了平面反射镜19,此时光束口径与人眼入瞳匹配,并被反射到柱面反射镜20,柱面反射镜20将前面由于球面反射镜偏轴使用产生的像散一起校正,将光束最终反射到人眼8,并通过人眼的光学系统将光束聚焦到一点;人眼眼底对入射光有散射作用,散射光携带着人眼的像差信息和眼底该点的光强信息,沿原路返回到分光镜2,并到达分光镜3,分光镜3对这部分散射光再次分光:一部分进入哈特曼波前传感器9;另一部分通过收集透镜27和针孔4到达光电倍增管5。
在光学系统设计中,根据X方向扫描振镜23和Y方向扫描振镜24转动的不同角度,设置反映不同视场的多个组态,相当于在像面上取了若干个采样点,只要优化这些采样点的像质,就相当于优化整个视场的像质。在像面上的组态分布如图2所示,总共设置了17个组态,经过光学设计的优化以后,光学系统在整个扫描视场内,波面的均方根误差小于0.71个波长,也就是达到了衍射极限。
本发明采用球面反射镜作为缩束扩束系统,偏轴使用的球面反射镜除了球差外,还会产生慧差、像散等离轴像差,其像差大小之比为:
球差∶慧差∶像散=1∶4θF∶(4θF)2
θ是球面反射镜的偏转角度,F是球面反射镜的F数,可见如果球面反射镜的偏转角度正负相反,则可以抵消慧差,本发明正是运用了这个原理,例如球面反射镜12和13就是偏转角度正负相反。使用光学设计就可以对偏转角度进行优化,从而使得系统慧差最小;而像散是累加的,所以系统用了柱面反射镜20来消除像散。
(二)共焦扫描的原理
传统成像原理如图5a所示,由于需要考虑三维情况,则d1,d2定义为:
坐标z1和z3分别是物面和像面的离焦量,其中d10和d20满足成像条件:
f是透镜的焦距,d10和d20是满足成像条件的物距和像距,在检眼镜系统中,d1等效为d1/n,n为眼睛的折射率,d1/n=22.8mm/1.336,而离焦量z1不会超过300μm,所以z1/d1=1.8×10-2,为一小量,因此,可以近似认为以下关系成立:
假设透镜成像放大率为M,即d20/d10=M,则有
根据菲涅耳衍射公式,可以得到单个透镜成像,即传统显微镜成像的三维点扩散函数:
这里,x,y,z是像面上的三维直角坐标,其中P(x2,y2)是透镜的瞳函数。
共焦扫描的原理如图5b所示,光源点、扫描样本上的点和探测器前的针孔处于共轭位置,这样图中虚线所示的,不在焦面上的位置的点散射回的光就会被针孔滤过,从而大大提高系统的分辨率,同样根据菲涅耳衍射理论,如果针孔直径小于等于收集透镜艾里斑直径,那么就是完全相干成像的情况,可以得到共焦情况下的点扩散函数:
x,y,z是位于扫描样本上的点的三维坐标,M1是物镜的放大率,h1(x,y,z)和h2(x,y,z)分别是物镜和收集透镜的点扩散函数。
如果物镜和收集透镜都是圆形光瞳,那么横向分辨率可以提高到原来的0.7,纵向分辨率可以提高到原来的一半。而在本发明中,人眼光学系统就相当于物镜,视网膜就相当于扫描样品。可以类似应用共焦扫描的原理。
(三)数据采集成像和处理过程
光电倍增管5将连续光强信号转换为模拟电信号,与X方向扫描振镜23和Y方向扫描振镜24产生的同步电压,一起被输入数据采集和处理系统6,数据采集和处理系统6首先对同步电压进行调制,得到行同步和帧同步信号,再根据这两个信号对模拟电信号信息进行采样,如图3所示,确定某一时刻的强度信息对应着视网膜上的哪一点,并最终在计算机上恢复视网膜上某一矩形区域的实时强度信息。具体如下:
X方向扫描振镜23的反馈扫描信号是余弦信号。需要将其转换成行同步信号,如图3a所示,采用比较器来实现。由于X扫描信号的幅值是根据扫描区域的要求可调节的,因此如果直接将X扫描信号与一个固定电平值对比得到行同步信号,这样得到的行同步信号是幅值相关的,每次X扫描信号的幅值调整后,都需要重新提供比较电平,这样的可操作性太差。因此在设计中,将位置信号与零电平进行比较,得到X同步信号,这一过程是与X扫描信号的幅值无关的。再根据实际需要来对X同步信号进行平移,延时即可以得到一个稳定的行同步信号。
Y方向扫描振镜24的反馈扫描信号是锯齿波信号,与行同步信号处理类似,时序处理如图3b所示,经过处理后得到场同步信号。
而为了是光电倍增管5输出的模拟信号能够被输入图像采集卡,需要用行同步信号对5输出的信号进行调制,如图3a所示。
(四)自适应系统光学校正过程
自适应系统原理如图9所示,主要包括波前传感器,波前处理机和波前校正器,在本发明中,分别采用的是哈特曼波前传感器9,波前处理机7和变形镜22;哈特曼波前传感器9接收到的含有人眼像差信息的点阵,并将点阵数据传递给波前处理机7,波前处理机7通过点阵质心的偏移计算出波前的每个子孔径的斜率,再通过直接斜率法计算出控制电压,并将传递给变形镜22,从而实现对人眼像差的实时探测和校正。闭环带宽取决于哈特曼波前传感器9相机的帧频,以及波前处理机7在计算机上的运行速度。整个运算过程如下:
(1)波前斜率计算
先用标准的平行光照明哈特曼波前传感器,测出每个子孔径对应的光斑中心坐标,作为参考基准。当入射光束有波前畸变时,子孔径范围内的波前倾斜将造成光斑的横向漂移,测量光斑中心在两个方向上的漂移量,就可以求出各子孔径范围内的波前在两个方向上的平均斜率G。主要运算是求光斑质心,其计算公式离散化表示为:
式中,Iij——坐标(i,j)处的光强灰度值;
Xi、Yj——坐标(i,j)处像素在子孔径内x方向和y方向的加权值;
Xc、Yc——子孔径内光斑质心在x方向和y方向的坐标。
(2)波前复原算法
以测量斜率为基础的H-S只能测量出各个子孔径的波前斜率误差,为了将其转化为波前相位误差或驱动器上的校正电压,必须采用某种算法建立测量值和校正值之间的联系,我们称这种算法为波前复原算法。这里采用的是直接斜率法。
具体实现方法是:把各个驱动器的控制电压作为波前复原的计算目标,根据各个驱动器施加单位电压对各个子孔径斜率的影响,建立驱动器电压与子孔径斜率之间的关系矩阵,用这个矩阵的逆矩阵就可以直接从测量到的波前斜率误差求出控制电压。
设Vk是加在第k个驱动器上的控制电压,那么第j个子孔径内的波前相位平均斜率Gjx和Gjy可表示成:
式中,Rk(r)——变形镜第k个驱动器的影响函数;
NSUB——子孔径个数;
NACT——驱动器个数;
sj——第j个子孔径的面积。
可以通过矩阵表示为:
G2NSUB×1=R2NSUB×NACT·VNACT×1
式中,G2NSUB×1——波前斜率误差向量,包含H-S测量得到的所有子孔径内x方向和y方向的波前斜率误差;
R2NSUB×NACT——斜率响应矩阵,当子孔径、变形镜驱动器布局、变形镜驱动器影响函数确定后,就可以计算得到,但实验测得的值更能反映系统的真实情况;
VNACT×1——变形镜驱动器控制电压向量。
当H-S测量得到G2NSUB×1后,利用奇异值分解法求出R的广义逆R+,就可以求出变形镜驱动器控制电压向量:
(3)控制运算
由直接斜率法得到的电压并不是最终的结果,还要经过控制运算才能得到真正输出的驱动器控制电压。AO系统的控制模型近似为一个纯延时控制系统,其离散方程式表示为:
本发明通过让变形镜22产生离焦,对视网膜进行纵向层析,其原理如图6所示:变形镜22产生离焦,会使扫描光点聚焦在视网膜的不同深度;而从视网膜散射的光是沿原路返回光电探测系统的,中间会经过有离焦的变形镜,光焦度就与来时一样,这样在探测器端,焦面位置就保持不变。其他元件都不需要变动就可以实现纵向扫描。
圆形波前可以用Zernike多项式表示,而本发明可以建立波前斜率与Zernike多项式系数之间的关系,通过矩阵表示为:
G2NSUB×1=R2NSUB×NZERN·ANZERN×1
A-Zernike系数向量
R-重构矩阵
NSUB--表示波前的Zernike多项式的最大阶数
如果要让变形镜产生离焦,之需要让向量A对应离焦的值设置为所需要值的相反数,在通过上式求得此时需要产生的斜率,并将斜率向量代入上面步骤(2)、(3)从而产生出控制变形镜产生离焦的控制电压。之所以要设置为所需要值的相反数,是因为需要模拟探测到了一个反方向的离焦,在通过自适应控制算法校正这个离焦,这样才能产生需要的离焦。
(五)受试者相关过程
如图1所示,受到观测的是成像的人眼8,而看另眼视标系统30的是看视人眼10,人眼观察视标的原理如图8b所示,图中的透镜相当于一个放大镜,将目标阵列放置于透镜一倍焦距内,对人眼成放大的虚像,根据几何光学原理,有:
P为人眼到透镜距离,l为透镜到LED阵列距离,Δx0是视标边缘某点到中心的距离。通常将L设计在人眼的明视距离250mm处。
另眼视标系统30由成像透镜30-1、平面反射镜30-2和LED阵列30-3组成,点亮LED阵列30-3中的一个灯,它发出的光经过平面反射镜30-2和成像透镜30-1在看视标人眼10的黄斑中心成像,当点亮LED阵列30-3不同位置的灯时,看视标人眼10的视轴会随之转动,由于人的两眼具有随动性,成像人眼8的视轴也会随之转动,由此就可以观察成像人眼8的不同区域,另眼视标系统30还可上下左右移动,这样既可以观察右眼也可以观察左眼,同时还可以根据不同人的瞳距和眼睛高度调节。
通过点亮LED阵列30-3上不同位置的灯,就可以观测人眼底不同的区域。
本发明的另眼视标系统30的原理如图8a所示,Eye2是成像眼,Eye1是观察视标的眼,空心箭头表示成像光光轴方向,在成像过程中,只有Eye1能够看到视标,然而,由于人眼的辐辏特性,即为了保证物体在左右两眼视网膜的相应位置成像,眼球会进行自发旋转,使得双眼的视轴集中于眼前方一点,因此,即使Eye2看不到视标,根据Eye1看到的视标,Eye2也会自行转动,使得Eye2和Eye1视轴相交于点亮的LED处。当点亮LED阵列中心的灯时,Eye2的视轴与成像光光轴重合,此时观测到的是Eye1视网膜黄斑中心位置;如果点亮距离中心位置Δx0处的灯,根据物象关系以及辐辏特性,此时Eye1和Eye2的视轴交点转向距离人眼L的Δx处,Eye1转动角度Δθ1,Eye2转动角度Δθ2,那么这时观察到得就是Eye2偏离黄斑中心Δθ2的位置,在的设计中L=250mm,Δx最大不超过14mm,L>>Δx,由此有如下关系成立:
因此,只要确定了人眼到透镜距离P,透镜到LED阵列距离l,就可以建立Δx0和Δθ2的关系。
本发明具体的操作过程,如图7所示:
(1)将被测者头部置于托头架上,开启自适应控制系统7,调节托头架的位置,使得哈特曼波前传感器9点阵位于网格中间,如图4所示。图4的左边是哈特曼传感器实测到的人眼点阵信息,网格是定标时参考波前的位置,当实测点阵位于网格中间时,说明人眼已经调节到光路的中心位置。
(2)点亮LED阵列30-3中间的灯,调节另眼视标系统30的位置,使得受试者看到视标位于视场中央,如图8a所示,这样才能保证此时Eye1和Eye2的视轴处于实线所示的方向。
(3)对人眼8的离焦和散光进行预校正:观察哈特曼波前传感器9的离焦量,在人眼8的验光透镜25位置插入最接近的验光片,令S值,也就是人眼离焦的数值小于0.25;如果散光值即图4中的C值大于0.5,也需要插入相应的散光片,并旋转散光片的角度,直到C值小于0.5。
(4)令被测者保持眼部稳定,选择闭环,观察图4b的RMS值是否小于0.1,如果为否,重新闭环。
(5)开启数据采集程序采集视频。
(6)点亮LED阵列不同位置的灯,观测视网膜不同的区域。
(7)选择需要变形镜产生离焦大小,观测视网膜的不同深度信息。
本发明未详细阐述部分属于本领域公知技术。
Claims (7)
1.一种基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:包括半导体激光光源(1)、多个反射式缩束扩束系统(11-18)、由X方向扫描振镜(23)和Y方向扫描振镜(24)组成的二维扫描振镜、哈特曼波前传感器(9)、变形镜(22)、验光透镜(25)、由收集透镜(27)、针孔(4)和光电倍增管(5)组成的光电探测系统、数据采集和处理系统(6)、另眼视标系统(30);由半导体激光光源(1)发出的光通过反射式缩束扩束系统(11-18)、X方向扫描振镜(23)和Y方向扫描振镜(24)、变形镜(22)、验光透镜(25)进入成像人眼(8),并在视网膜上汇聚成一个点,进入的光被人眼的视网膜反射后,携带视网膜上这个点的强度信息和人眼像差信息,沿原路返回,通过第二分光镜(3)后一部分反射光进入哈特曼波前传感器(9),哈特曼波前传感器(9)将接收到的人眼像差信息传递到波前处理机(7),波前处理机(7)产生控制变形镜(22)的电压,并将控制电压传给变形镜(22),实时校正人眼像差,增加图像的分辨率和对比度,实现对人眼像差的实时闭环;同时,另一部分反射光通过收集透镜(27)和针孔(4)最终到达光电倍增管(5),光电倍增管(5)得到的视网膜上得到连续的强度信息,X方向扫描振镜(23)和Y方向扫描振镜(24)产生的同步电压,以及光电倍增管(5)得到的连续强度信息被输入数据采集和处理系统(6),数据采集和处理系统(6)根据同步电压对连续的强度信息进行采样和数模转换,确定某一时刻的强度信息对应着视网膜上的哪一点,并最终恢复视网膜上某一矩形区域的信息;所述另眼视标系统(3)由成像透镜(30-1)、第二平面反射镜(30-2)和LED阵列(30-3)组成,点亮LED阵列(30-3)中的一个灯,它发出的光经过第二平面反射镜(30-2)和成像透镜(30-1)在看视标人眼(10)的黄斑中心成像,当点亮LED阵列(30-3)不同位置的灯时,看视标人眼(10)的视轴会随之转动,由于人的两眼具有随动性,成像人眼(8)的视轴也会随之转动,由此就可以观察成像人眼(8)的不同区域,另眼视标系统(30)还可上下左右移动,这样既可以观察右眼也可以观察左眼,同时还可以根据不同人的瞳距和眼睛高度调节。
2.根据权利要求1所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:所述多个反射式缩束扩束系统(11-18)中采用多个球面镜构成缩束扩束系统,半导体激光光源(1)发出的光,经过准直镜(21)准直和第一分光镜(2)分光,经过第一球面反射镜(11)和第二球面反射镜(12)组成的扩束系统被扩束到与变形镜(22)匹配,经过第三球面反射镜(13)和第四球面反射镜(14)组成的缩束系统缩至与X方向扫描振镜(23)匹配,X方向扫描振镜(23)对入射光束进行横向扫描,并被由第五球面反射镜(15)和第六球面反射镜(16)组成的扩束系统扩束到与Y方向扫描振镜(24)匹配,Y方向扫描振镜(24)对入射光束进行纵向扫描,并反射到第七球面反射镜(17)和第八球面反射镜(18)组成的扩束系统,其中为了避免光束遮挡,第七球面反射镜(17)和第八球面反射镜(18)之间插入了第一平面反射镜(19),此时光束口径与人眼入瞳大小匹配,并被反射到柱面反射镜(20),柱面反射镜(20)将前面由于多个球面反射镜偏轴使用产生的像散一起校正,将光束最终反射到成像人眼(8)。
3.根据权利要求3所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:所述准直镜(21),变形镜(22),X方向扫描振镜(23),Y方向扫描振镜(24),验光透镜(25)和哈特曼前共轭面(26)六个平面处于共轭位置。
4.根据权利要求1所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:所述X方向扫描振镜(23)和Y方向扫描振镜(24)可以转动的不同角度,转动的不同角度反映了不同视场的多个组态,这样使光学系统在整个扫描视场内,达到衍射极限。
5.根据权利1所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:所述针孔(4)、半导体激光光源(1)和成像人眼(8)眼底视网膜处于共轭位置,针孔(4)的直径等于收集透镜(27)艾里斑直径,起到过滤成像人眼(8)眼底视网膜不在共轭位置杂光的作用。
6.根据权利1所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:从所述X方向扫描振镜(23)输出的驱动信号需要经过调制得到行同步信号;从Y方向扫描振镜(24)输出的驱动信号需要经过调制得到场同步信号;所述的光电倍增管(5)输出的信号需要采用所述行同步信号进行调制。
7.根据权利1所要求的基于自适应光学的反射式共焦扫描视网膜成像系统,其特征在于:所述变形镜(22)可以产生离焦,以便对视网膜进行纵向层析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101970280A CN101862178B (zh) | 2010-06-02 | 2010-06-02 | 一种基于自适应光学的反射式共焦扫描视网膜成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101970280A CN101862178B (zh) | 2010-06-02 | 2010-06-02 | 一种基于自适应光学的反射式共焦扫描视网膜成像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101862178A CN101862178A (zh) | 2010-10-20 |
CN101862178B true CN101862178B (zh) | 2012-07-11 |
Family
ID=42954258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101970280A Expired - Fee Related CN101862178B (zh) | 2010-06-02 | 2010-06-02 | 一种基于自适应光学的反射式共焦扫描视网膜成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101862178B (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102028477B (zh) * | 2010-12-22 | 2012-08-08 | 中国科学院光电技术研究所 | 一种测量眼底视网膜血氧饱和度的装置及方法 |
CN102119850B (zh) * | 2011-03-07 | 2012-11-07 | 中国科学院光电技术研究所 | 基于自适应光学的三差动共焦扫描眼底视网膜成像装置及成像方法 |
CN102499628B (zh) * | 2011-10-26 | 2013-11-13 | 中国科学院光电技术研究所 | 一种带稳像功能的活体人眼视网膜三维成像装置及方法 |
CN102429638B (zh) * | 2011-10-26 | 2013-11-20 | 中国科学院光电技术研究所 | 一种基于图像相关的视网膜抖动校正装置和方法 |
CN102499630B (zh) * | 2011-11-04 | 2013-08-21 | 南京航空航天大学 | 基于自适应光学技术的活体人眼视网膜细胞显微镜 |
CN102860815B (zh) * | 2012-09-11 | 2014-10-08 | 中国科学院光电技术研究所 | 基于线扫描共焦成像图像引导的自适应共焦扫描视网膜成像方法及装置 |
CN102908119A (zh) * | 2012-09-26 | 2013-02-06 | 温州医学院眼视光研究院 | 一种共焦扫描成像系统及其像差控制方法 |
CN102860817A (zh) * | 2012-10-12 | 2013-01-09 | 中国科学院光电技术研究所 | 一种基于双波前校正器的激光扫描共焦检眼镜装置 |
CN102860816B (zh) * | 2012-10-12 | 2014-10-29 | 中国科学院光电技术研究所 | 一种基于双波前校正器的人眼视网膜三维成像装置 |
JP2014095758A (ja) * | 2012-11-07 | 2014-05-22 | Canon Inc | アクチュエータ及び可変形状ミラー |
JP6008702B2 (ja) | 2012-11-09 | 2016-10-19 | キヤノン株式会社 | 補償光学装置、補償光学装置の制御方法および眼科装置 |
CN103393400A (zh) * | 2013-08-06 | 2013-11-20 | 中国科学院光电技术研究所 | 一种扫描式活体人眼视网膜高分辨力成像系统 |
US10772496B2 (en) | 2015-04-06 | 2020-09-15 | University Of Rochester | Method for imaging retinal structures |
US10820794B2 (en) | 2015-11-06 | 2020-11-03 | Canon Kabushiki Kaisha | Pupil monitoring method for adaptive optics imaging system |
CN105425411B (zh) * | 2015-12-31 | 2017-11-07 | 中国科学院光电技术研究所 | 一种应用于超分辨的光束复振幅复合调制装置和方法 |
CN107126189B (zh) | 2016-05-31 | 2019-11-22 | 瑞尔明康(杭州)医疗科技有限公司 | 用于视网膜成像的光学组件和视网膜成像设备 |
EP3332755B1 (en) * | 2016-12-08 | 2019-07-03 | Ion Beam Applications | Particle therapy apparatus for eye treatment |
CN107065157B (zh) * | 2017-02-21 | 2023-02-10 | 中国科学院苏州生物医学工程技术研究所 | 一种共聚焦成像畸变校正系统及方法 |
CN108319015B (zh) * | 2017-04-21 | 2023-02-10 | 北京耐德佳显示技术有限公司 | 视网膜投影式近眼显示装置 |
CN108937993B (zh) * | 2017-05-27 | 2021-09-03 | 上海西门子医疗器械有限公司 | X射线系统和测量准直屏蔽板的移动精度的方法 |
CN107157439B (zh) * | 2017-05-31 | 2019-01-18 | 温州医科大学 | 一种共焦激光扫描眼底成像与投影系统 |
CN108433699B (zh) * | 2018-06-07 | 2024-07-12 | 杭州瞳创医疗科技有限公司 | 一种双眼眼底照相机设备 |
FR3087891B1 (fr) * | 2018-10-24 | 2020-11-20 | Entpe | Dispositif optique pour la mesure des proprietes optiques des materiaux. |
CN109917908B (zh) * | 2019-02-01 | 2023-03-24 | 谷东科技有限公司 | 一种ar眼镜的图像获取方法及系统 |
TWI727341B (zh) * | 2019-06-12 | 2021-05-11 | 國立陽明交通大學 | 雷射加工系統及雷射加工路徑決定方法 |
CN110584592B (zh) | 2019-09-09 | 2021-06-18 | 中国科学院苏州生物医学工程技术研究所 | 共光路光束扫描的大视场自适应光学视网膜成像系统和方法 |
CN110584593B (zh) | 2019-09-09 | 2021-06-22 | 中国科学院苏州生物医学工程技术研究所 | 共光束扫描的视网膜成像系统 |
CN113655624B (zh) * | 2021-08-04 | 2024-09-17 | 江苏亮点光电研究有限公司 | 一种大面积方光斑激光输出装置及光学整形方法 |
CN114217055A (zh) * | 2021-12-02 | 2022-03-22 | 极瞳生命科技(苏州)有限公司 | 一种便携式荧光扫描检测装置及方法 |
CN115120177B (zh) * | 2022-04-08 | 2024-08-06 | 南京博视医疗科技有限公司 | 一种小型化的视网膜成像装置及成像方法 |
CN116919336A (zh) * | 2022-04-08 | 2023-10-24 | 南京博视医疗科技有限公司 | 一种视网膜成像方法 |
GB202205465D0 (en) * | 2022-04-13 | 2022-05-25 | Bae Systems Plc | Scanning display device |
CN114748034B (zh) * | 2022-05-05 | 2023-09-19 | 中国科学院光电技术研究所 | 一种基于多次散射光成像的自适应共焦检眼镜 |
CN114748033B (zh) * | 2022-05-05 | 2023-09-19 | 中国科学院光电技术研究所 | 一种基于液晶相位调制器的超分辨共焦检眼镜 |
CN115553711A (zh) * | 2022-10-14 | 2023-01-03 | 中国科学院苏州生物医学工程技术研究所 | 基于掩模调制的自适应光学及波前探测系统 |
CN116548910B (zh) * | 2023-05-19 | 2023-12-08 | 北京至真互联网技术有限公司 | 一种眼科相干断层扫描仪的分辨率自适应调节方法及系统 |
CN117204805B (zh) * | 2023-07-05 | 2024-07-19 | 李抄 | 一种用于分析视觉质量的客观分析光学系统 |
CN116931245B (zh) * | 2023-07-20 | 2024-06-28 | 振电(苏州)医疗科技有限公司 | 一种红外共聚焦成像系统 |
CN118337285B (zh) * | 2024-06-13 | 2024-09-17 | 中国科学技术大学 | 一种面向水下无线光通信的无信标光束对准方法 |
-
2010
- 2010-06-02 CN CN2010101970280A patent/CN101862178B/zh not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
Fernando Romero-Borja et al.Optical slicing of human retinal tissue in vivo with the adaptive optics scanning laser ophthalmoscope.《APPLIED OPTICS》.2005,第44卷(第19期),第4034页左栏第4段. * |
Jing LU et al.Retina imaging in vivo with the adaptive optics confocal scanning laser ophthalmoscope.《Proceedings of SPIE》.2009,第7519卷摘要、Method部分、附图1. * |
王灿等.激光共焦扫描检眼镜的实时图像采集系统设计.《仪器仪表学报》.2008,第29卷(第4期),摘要、激光共焦扫描检眼镜系统原理部分,第4.1.1节第2段、附图3). * |
薛丽霞等.人眼高阶像差校正和视觉分析系统.《光学学报》.2007,第27卷(第5期),摘要、第2.2节关键技术部分、附图1. * |
Also Published As
Publication number | Publication date |
---|---|
CN101862178A (zh) | 2010-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101862178B (zh) | 一种基于自适应光学的反射式共焦扫描视网膜成像系统 | |
US10070782B2 (en) | Adaptive optical retina imaging device and method | |
US6439720B1 (en) | Method and apparatus for measuring optical aberrations of the human eye | |
US7077521B2 (en) | System and method for reconstruction of aberrated wavefronts | |
AU2001294998B2 (en) | Method and device for synchronous mapping | |
CN104883958B (zh) | 用于操作实时大屈光度范围顺序波前传感器的装置和方法 | |
JP5464891B2 (ja) | 補償光学系を備えた光画像取得装置、及び、その制御方法 | |
US7658495B2 (en) | Eye examination device by means of tomography with a sighting device | |
KR101453327B1 (ko) | 안저 촬상방법, 안저 촬상장치, 및 기억매체 | |
CN1245406A (zh) | 用于改进视力及视网膜图象分辨力的设备 | |
CN102860815B (zh) | 基于线扫描共焦成像图像引导的自适应共焦扫描视网膜成像方法及装置 | |
JP2005501587A (ja) | 生体眼の網膜領域撮像方法及びそのシステム | |
CN101248981A (zh) | 基于波前像差的视觉光学分析系统 | |
JP5517571B2 (ja) | 撮像装置および撮像方法 | |
CN113749608B (zh) | 一种人眼波前像差检测系统 | |
CN102429638B (zh) | 一种基于图像相关的视网膜抖动校正装置和方法 | |
WO2009140086A2 (en) | Method for optically scanning objects | |
CN102860816B (zh) | 一种基于双波前校正器的人眼视网膜三维成像装置 | |
CN106361266A (zh) | 一种基于光瞳滤波器和暗场技术的超分辨共焦检眼镜 | |
JP2016067764A (ja) | 波面補償付眼底撮影装置 | |
CN100450431C (zh) | 基于微棱镜阵列夏克-哈特曼波前传感器的人眼像差和角膜面形测量系统 | |
CN102499634A (zh) | 一种带稳像功能的活体人眼视网膜动态成像装置及方法 | |
CN105496349B (zh) | 哈特曼人眼色差测量系统 | |
CN103393400A (zh) | 一种扫描式活体人眼视网膜高分辨力成像系统 | |
JP6021394B2 (ja) | 撮像方法および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120711 |
|
CF01 | Termination of patent right due to non-payment of annual fee |