CN115460362A - 一种分辨率可重构视觉传感器 - Google Patents
一种分辨率可重构视觉传感器 Download PDFInfo
- Publication number
- CN115460362A CN115460362A CN202211390953.4A CN202211390953A CN115460362A CN 115460362 A CN115460362 A CN 115460362A CN 202211390953 A CN202211390953 A CN 202211390953A CN 115460362 A CN115460362 A CN 115460362A
- Authority
- CN
- China
- Prior art keywords
- sensor
- resolution
- signal
- pixel
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 239000011664 nicotinic acid Substances 0.000 claims abstract description 16
- 230000008054 signal transmission Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 19
- 239000003990 capacitor Substances 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000005669 field effect Effects 0.000 claims description 6
- 230000003592 biomimetic effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 8
- 210000001525 retina Anatomy 0.000 abstract description 8
- 238000010223 real-time analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种分辨率可重构视觉传感器,包括:多个像素,每个像素包含一个传感器传感模块,传感器传感模块用于将光信号转换为电信号,模拟信号转换为数字信号输出。传感器像素控制模块,用于控制传感模块中像素的输出,传感器信号传输模块和传感器信号处理模块,用于将信号传输模块传输的数据进行处理。本发明中的视觉传感器基于人视网膜中细胞的分布及视觉注意机制,在图像采集的基础上,可通过像素控制模块对像素的输出模式进行控制,实现低分辨实时监测模式和仿生局部高分辨实时分析模式。可在不降低目标物详细信息的情况下实现多个目标物的仿生局部高分辨成像,从而减少信息冗余,加快成像速度。
Description
技术领域
本发明涉及视觉传感领域,尤其是涉及一种分辨率可重构视觉传感器。
背景技术
制造业的未来是智能化,智能化的基础就是传感器;互联网的方向是物联网,物联网的基石也是传感器。以人为例,人通过眼睛获取外界视觉信息,而视觉信息占据人从外界获取信息总量的80%以上。视觉传感器则是机器系统的视觉信息来源,主要功能是获取足够机器系统使用的最原始的图像信息。
20世纪50年代出现的PMT(Photo Multiplier Tube)是最早的视觉传感器,但其造价相当高;1969年在Bell实验室研发出了CCD(Charge Coupled Device),因其体积小、造价低得到了迅速的推广;20世纪末进入CMOS(Complementary Metal Oxide Semiconductor)时代,直到1998年才被用于制作视觉传感器,CMOS的优点是结构比CCD简单,耗电量只有普通CCD的1/3左右,而且制造成本比CCD要低。随着半导体制造工艺水平的提高,如今先进的CMOS视觉传感器是数字图像信息采集的主流传感器。
CMOS视觉传感器对于每一个像素内的光电信息进行采集,转换为数字信息输出。其以固定频率对每一帧的图像进行采集,数据量巨大,且存在大量的冗余信息,提高了算力的难度,降低了处理效率,增加了能耗。当前视觉传感器朝着小型化、大视场、高分辨的方向发展,动辄千万像素甚至上亿像素,特别是前沿的高精尖的应用领域,比如临床医学领域、军事国防,注重于动态目标的实时追踪,且要求目标高分辨成像,算力需求巨大。
面对上述问题,传统的解决方案是提高计算机的算力和优化算法,从而加快处理效率,但是该方法具有局限性。许多应用都受益于仿生的方法,眼睛是人类获取视觉信息的重要器官,因此对与人的视觉系统的研究为问题的解决提供了新的思路。
人视网膜的视锥细胞的分布呈正态分布,在视网膜的中央凹处密集分布,沿着中央凹向外迅速衰减。中央凹处为眼球的光学聚焦点,因此在中央凹处高分辨成像,而在中央凹外围呈现低分辨成像,并保持动态预警的功能。表现在视野中则为视线正前方处为高分辨率成像,在视野的外围则为低分辨率成像,有动态预警的功能。视觉注意机制是指人会有选择性地关注感兴趣的区域,而忽略其他区域的信息。当想详细观察视野中的某目标物时,通过眼部肌肉调整眼球位置,即不丢失周围目标的大致特征,也可以实现目标物的高分辨成像。基于该类视网膜成像的方法,应用于视觉传感器中会大幅地压缩冗余信息,提高信息的有效性,减少算力,加快处理效率,降低能耗。
2022年,文献(Tang M, Cao J, Hao Q, et al. Wide range retina-likescanning based on liquid crystal optical phased  array. Optics and Lasers inEngineering, 2022, 151: 106885.)中提出了一种基于液晶光学相控阵(LCOPA)的类视网膜扫描方法,该方法压缩了周边的冗余数据,保持了中央凹的高成像质量。并且通过优化设计的扫描策略,即扫描环数和每一环的扇形区个数,实现了人眼视网膜、晶状体和中央凹的注视控制功能。采用分束法和角放大系统,以满足高效扫描和大视场的要求。通过实验验证该柔性类视网膜策略具有良好的扫描性能,尤其是对偏心中央凹的扫描。扫描视场放大2.2倍,平均扫描误差小于5%。文献(Zhang Y, Cao J, Cui H, et al. Retina-likeComputational Ghost Imaging for an Axially Moving Target. Sensors, 2022, 22(11): 4290.)中提出并展示了一种用于轴向移动目标的时变类视网膜计算重影成像策略,以抑制在单像素成像应用中由目标运动引起的图像退化。该方法可以保持计算重影成像的固有优势,并在单臂系统中重建目标,而无需冗余硬件。通过使用时变类视网膜图案和压缩传感算法,获得了高质量的成像结果。DMD投影的照明图案设计有类似视网膜的结构,并且可以根据目标的移动过程修改中心凹区域的半径。实验结果表明,所提出的方法在重建轴向运动目标方面比传统的方法具有更好的性能。但是其无法针对多个物体实现基于视觉注意机制的类视网膜成像。
综上可知,目前的类视网膜视觉传感器虽然能扩大视野,一定程度上实现数据压缩,但后端接收的数据仍为全部像素的信息,并未真正地在传感器硬件层面对数据量进行压缩。并且目前的类视网膜视觉传感器不能对视野内的多个目标物在数据压缩的情况下进行类视网膜高分辨率成像。
发明内容
本发明的目的在于提供一种分辨率可重构视觉传感器。
本发明中的视觉传感器基于类视网膜的视觉注意机制,在保证大视野、高分辨成像的同时,实现信息的压缩,且可针对多个目标进行选择性地高分辨成像。从而减少冗余信息,加快成像效率,降低算力需求,减少能耗。
本发明采用的具体技术方案如下:
一种分辨率可重构视觉传感器,包括:
多个像素,每个像素包含一个传感器传感模块,传感器传感模块用于将对应像素处的光信号转换为电信号,模拟信号转换为数字信号输出;
传感器像素控制模块,用于控制每个像素处传感器传感模块的输出;实现选择性分辨输出图像信息;
传感器信号传输模块,用于不同模块间信号传输;
传感器信号处理模块,用于依据传感器像素控制模块接收传感器传感模块的输出,将接收到的信号进行处理;
所述传感器传感模块,包含感光元件、选择控制元件、放大器元件和模数转换元件;其中,感光元件用于将光信号转换为电信号,放大器元件用于放大电信号,模数转换元件用于将放大的电信号模拟信号转换为数字信号输出;选择控制元件与传感器像素控制模块电连接,用于依据传感器像素控制模块控制传感器传感模块电路的通断及感光元件的复位。
所述传感器传感模块可以是CCD、CMOS或其他传感模块。可以是集成的,也可以是独立的。
所述感光元件可以是光敏电阻、光电二极管等可以实现光电转换的元件。
所述选择控制元件包括列选择控制元件、行选择控制元件、复位开关和源随器;所述传感器传感模块的电路结构还包括电源和一电容,电路结构具体为:
感光元件的正极接地,负极连接行选择控制元件的源极;行选择控制元件的漏极与复位开关的源极、源随器的栅极相连接;复位开关的漏极接电源;列选择控制元件的源极接电容的一端,电容的另一端接地;列选择控制元件的漏极连接源随器的源极;源随器的漏极与电源相连;行选择控制元件、复位开关和列选择控制元件的栅极作为控制信号输入,与传感器像素控制模块连接,放大器元件连接于电容和列选择控制元件的源极之间作为信号输出。
所述列选择控制元件、行选择控制元件、复位开关可以是场效应晶体管,也可以是其他可通过电信号控制电路通断的元件或电路。
所述传感器的放大器元件可以是场效应晶体管、三极管、运算放大器,也可以是其他可实现电信号放大的元件或结构。
所述传感器的模数转换元件为可以将连续变量的模拟信号转换为离散的数字信号的元件。
关键地,像素控制模块,用于控制传感模块中像素的输出,实现选择性地高分辨输出图像信息。
所述传感器的像素控制模块可以是FPGA(Field Programmable Gate Array),也可以是其他实时控制电路。
所述传感器的像素控制模块控制的成像模式可以是高分辨率分析模式,可以是低分辨率实时监测模式,可以是仿生局部高分辨率分析模式等等。高分辨率分析模式,所述传感器像素控制模块控制每个像素处传感器传感模块按时序全部输出;
低分辨率实时监测模式,所述传感器像素控制模块按时序控制不同区域的多个像素处传感器传感模块合并输出;
仿生局部高分辨率分析模式,所述传感器像素控制模块按时序控制不含目标物的区域的多个像素处传感器传感模块合并输出,包含目标物的区域的每个像素处传感器传感模块单独输出。
所述仿生局部高分辨率分析模式的目标物可以是一个、两个、三个等等多个。
所述的所述多个像素处传感器传感模块合并输出可以是2个像素合为一个像素,可以是3个像素合为一个像素,可以是4个像素合为一个像素等等。
信号传输模块,用于将传感器传感模块的信息传输给像素控制模块;将像素控制模块的控制信号传递给传感器传感模块;将传感器传感模块的信息传输给信号处理模块。
所述信号传输模块的传输线可以是铜线、银线等连接线,也可以是印刷电路板上的连接线。
信号处理模块,用于将信号传输模块传输的数据进行处理。
优选地,以CMOS作为传感器传感模块,以FPGA作为像素控制模块。FPGA既能实现时序控制,也能对信号进行处理。结合人视觉注意机制和视网膜上光感受器的分布,仿人视觉成像机制,利用FPGA对CMOS视觉传感器的像素进行实时控制,实现多个所关注的目标区域单像素高分辨成像,而其他区域多像素低分辨成像,从而达到分辨率可重构视觉传感器的效果,真正的在硬件层面对数据进行压缩,不丧失目标物分辨率的同时压缩数据量,减少数据冗余,加快数据处理速度,减少算力需求,降低能耗。
相比现有技术,本发明具有如下有益效果:
1.本发明通过仿视觉成像机制,提出用于高分辨、大视场视觉成像的新的数据压缩方法,实现真正的传感器硬件层面的数据压缩。
2.本发明在不降低目标物分辨率、不丢失目标物详细特征的同时实现数据大幅压缩,减少冗余信息,加快处理速度。
3.本发明相比于已有的对单个目标物高分辨成像,可以实时重构实现对多个目标物的高分辨成像。
附图说明
图1示出本发明的传感器传感模块结构图。
图2示出本发明一示例性的传感器传感模块的电路部分结构。
图3示出本发明的视觉传感器的一种成像电路模式图。
图4示出本发明的视觉传感器的一种成像电路输出时序图。
图5示出本发明的视觉传感器的另一种成像电路模式图。
图6示出本发明的视觉传感器的另一种成像电路输出时序图。
图7示出本发明的视觉传感器的另一种成像电路模式图。
图8示出本发明的视觉传感器的另一种成像电路输出时序图。
图9示出为本发明的传感器工作内容框图。
图10示出为本发明的传感器分辨率重构工作原理模型图。
图11示出为使用该传感器的细胞图片的前后对比测试结果图。
图中:
1-传感器传感模块,2-传感器信号传输模块,3-传感器信号处理模块,4-传感器像素控制模块,5-电源Vdd,6-源随器,7-列选择晶体管,8-电容,9-信号放大器,10-光电二极管PD,11-行选择晶体管,12-复位开关晶体管,14-ADC电路,54-FPGA的时序信号,56-新一轮的信号输出,57-其他像素的输出信号,32-FPGA像素控制模块,33-多像素合为一个像素,58-高分辨率分析模式编号6的像素输出信号,59-低分辨率实时监测模式单像素的输出,60-无目标物区域随机代表像素的信号输出,61-目标物区域单像素输出,18-无目标物区,19-无目标物区的随机代表输出像素,20-无目标物区的小范围区域,21-目标物,22-有目标物区域,29-高分辨率细胞组织图,30-低分辨率细胞组织图,31-目标细胞仿生局部高分辨率图。
具体实施方式
下面结合附图给出本发明较佳的实施例,以详细说明本发明的技术方案。
如图1所示,本发明公开了一种分辨率可重构视觉传感器的模块结构图。分辨率可重构视觉传感器主要包括多个像素,每个像素包含一个传感器传感模块1,传感器信号传输模块2,传感器信号处理模块3和传感器像素控制模块4。首先由传感器传感模块1采集对应像素处物像的信号,随后将信号通过传感器信号传输模块2传递给传感器信号处理模块3,传感器信号处理模块3对信号进行处理,处理后的信号传递给传感器像素控制模块4,传感器像素控制模块4可控制每个像素处传感器传感模块的输出,包括三种模式,分别是低分辨率监测模式、仿生局部高分辨实时分析模式和高分辨率分析模式。
所述传感器传感模块,包含感光元件、选择控制元件、放大器元件和模数转换元件;其中,感光元件用于将光信号转换为电信号,放大器元件用于放大电信号,模数转换元件用于将放大的电信号模拟信号转换为数字信号输出;选择控制元件与传感器像素控制模块电连接,用于依据传感器像素控制模块控制传感器传感模块电路的通断及感光元件的复位。作为一种优选方案,所述选择控制元件包括列选择控制元件、行选择控制元件、复位开关和源随器;所述传感器传感模块的电路结构还包括电源和一电容,电路结构具体为:
感光元件的正极接地,负极连接行选择控制元件的源极;行选择控制元件的漏极与复位开关的源极、源随器的栅极相连接;复位开关的漏极接电源;列选择控制元件的源极接电容的一端,电容的另一端接地;列选择控制元件的漏极连接源随器的源极;源随器的漏极与电源相连。行选择控制元件、复位开关和列选择控制元件的栅极作为控制信号输入,与传感器像素控制模块连接,放大器元件连接于电容和列选择控制元件的源极之间作为信号输出。
其中,感光元件可以是光敏电阻、光电二极管等可以实现光电转换的元件。
列选择控制元件、行选择控制元件、复位开关可以是场效应晶体管,也可以是其他可通过电信号控制电路通断的元件或电路。
放大器元件可以是场效应晶体管、三极管、运算放大器,也可以是其他可实现电信号放大的元件或结构。
模数转换元件为可以将连续变量的模拟信号转换为离散的数字信号的元件。
图2所示为本发明一示例性的传感器传感模块的电路部分结构。所示的为两个像素电路并联的简单的3T像素结构,类似地,各个像素即传感器传感模块的电路均为并联连接,每个传感器传感模块的电路分为以下几个元件:光电二极管PD10,作用是实现光电转换;复位开关晶体管12,用于重置电路中的电压信号;源随器6,用来控制光电二极管PD10中的光生电子传输到信号线的开关;行选择晶体管11和列选择晶体管7,用于控制信号输出的开关,通过这个开关可以控制哪个像素信号先输出,哪个后输出。如图2所示,传感器传感模块的电路为光电二极管PD10与行选择晶体管11、复位开关晶体管12、电源Vdd5串联,电容8与列选择晶体管7、源随器6、电源Vdd5串联。光电二极管PD10的正极接地,负极连接行选择晶体管11的源极;行选择晶体管11的漏极与复位开关晶体管12的源极、源随器6的栅极相连接;复位开关晶体管12的漏极接电源Vdd5;电容8一端接地,一端接列选择晶体管7的源极;列选择晶体管7的漏极连接源随器6的源极;源随器6的漏极与电源Vdd5相连。行选择晶体管11、复位开关晶体管12和列选择晶体管7的栅极作为控制信号输入,信号放大器9连接电容8和列选择晶体管7的源极之间作为信号输出。
传感器传感模块即像素电路的工作原理是:
以单个像素电路为例,首先复位,给光电二极管PD10加载反向电压,或者说激活复位开关晶体管12和行选择晶体管11给光电二极管PD10进行复位。复位完成后,不再导通复位开关晶体管12。
其次曝光。过程中关闭所有晶体管,光子打到光电二极管PD10的PN结及硅基,被吸收后产生电子-空穴对。这些电子-空穴对通过内建电场移动后,聚集在光电二极管PD10的PN结的两端,形成电势差。
然后读出。在曝光完成后,所选择像素的行选择晶体管11、列选择晶体管7会被导通,光电二极管PD10中的电信号经过源跟随器6后,由放大器9进行放大后继续传递。
如图3所示,本发明公开了本发明的视觉传感器的一种成像电路模式图。该模式为高分辨率分析模式,全部像素高分辨率地输出信号。以4×4阵列为代表,感光元件检测到物像信息,将光信号转换为电信号,由传感器像素控制模块(图中示出为FPGA模块32)提供时序控制行选择控制元件的逻辑和列选择控制元件的逻辑,控制输出信号按编号的顺序依次读出。输出的模拟信号经由ADC电路,转换为数字信号,传递给FPGA模块32进行信号的初级处理,从而减小部分算力或直接实现某些不需要复杂计算的功能。
如图4所示,本发明公开了本发明的视觉传感器的一种成像电路时序图。本发明的时序可由FPGA控制,FPGA已编好不同的电路,可变换时序输出。时序图显示的是复位、曝光之后,各像素的输出时序。该模式为高分辨率分析模式,全部像素高分辨率地输出信号。如图3中的传感器阵列,选择中心相邻的编号为6、7、10、11的像素单位为代表,阐述本发明的视觉传感器的一种成像电路时序原理。以FPGA的时序信号54为基础,当时序信号脉冲来临时,首先控制编号为6的像素单元输出所获取的高分辨率分析模式编号6的像素输出信号58;等下一个时序信号脉冲来临,控制编号为7的像素单元输出所获取的信号;同理控制编号为10、11的像素单元输出所获取的信号。而对于整个阵列,按顺序从编号为1的像素输出所获取的信号,依次是2号、3号等其他像素的输出信号57的读出,从时序图中可以看到。当所有像素的信号都依次输出后,开始新一轮的复位和曝光操作,随后开始新一轮的信号输出56,即新的一帧图像。
如图5所示,本发明公开了本发明的视觉传感器的另一种成像电路模式图。因为功能的不同,对于图像分辨率的要求不同。当图像质量太差时,不能说明任何问题;当图像质量差时,仅能勉强分辨出图像中是否存在关注的目标;当图像质量一般时,图像提供的细节仅能帮助分辨形貌特征,但不能断定全部细节;当图像质量良好时,图像提供的细节足以断定图像中的目标与真实目标是否为同一目标;当图像质量优秀时,图像中提供了充足的细节信息,可以完全确定目标,并排除其他可能性。
根据功能需求,决定几个像素合为一个像素,可以是两个像素、三个像素等等,在实现功能的同时实现数据大幅压缩。该模式为低分辨率实时监测模式,多像素合为一个像素33,以四个像素合为一个像素为例,感光元件检测到物像信息,将光信号转换为电信号,由FPGA模块32提供时序控制行选择控制元件的逻辑和列选择控制元件的逻辑,使编号为1、2、5、6的像素同时输出,因电路输出端并联电容,因此输出为一个平均电压值。输出的模拟信号经由ADC电路,转换为数字信号,传递给FPGA模块32进行信号的初级处理,从而减小部分算力或直接实现某些不需要复杂计算的功能。该一个平均电压值代表编号为1、2、5、6的像素的四个电压值,实现4:1的数据压缩,从而减少在硬件层面的输出,降低数据量,实现数据的大幅压缩。
如图6所示,本发明公开了本发明的视觉传感器的另一种成像电路时序图。与图4相同,电路时序可由FPGA控制,FPGA已编好不同的电路,可变换时序输出。如图5中的传感器阵列,阐述本发明的视觉传感器的一种成像电路时序原理。时序图显示的是复位、曝光之后,各像素的输出时序。因该模式为低分辨率实时监测模式,以四个像素合为一个像素,开始输出时,首先FPGA控制信号同时选通编号为1、2、5、6像素的行选择晶体管11和列选择晶体管7,关闭复位晶体管12,即给出高电平的行选择信号和列选择信号,低电平的复位信号。同时输出这四个像素的信号,信号会被平均后作为总的输出即低分辨率实时监测模式单像素的输出59。接下来依次是3、4、7、8像素的总输出以及9、10、13、14像素的总输出等等。当所有像素的信号都依次输出后,开始新一轮的复位和曝光操作,随后开始新一轮的信号输出,即新的一帧图像。该模式的分辨率降低到高分辨率分析模式的四分之一,在可满足部分功能的需求的同时,降低了数据量,实现数据的大幅压缩。
如图7所示,本发明公开了本发明的视觉传感器的另一种成像电路模式图。该模式为仿生局部高分辨率分析模式,根据上一帧的图像,由FPGA简单处理后控制下一帧的像素输出。比如目标物区域存在亮度值的剧烈变化,无目标物区域的灰度值几乎一致,以此作为判断。无目标物区域可以是多个像素合为一个像素,但不建议数量太大。当前帧,目标物移动到上一帧为无目标物区域A时,该区域A的输出值与当前帧其他的无目标物区域输出值相差巨大,则判定为下一帧区域A为目标物区域,区域内所有像素单独以此输出信号。也可以是根据目标物的边界,形状等判断目标物所在位置。
以四个像素合为一个像素为例。图中编号为3、4、7、8的像素所在区域为目标区域,其他像素所在区域为无目标区域。感光元件检测到物像信息,将光信号转换为电信号,由FPGA模块32提供时序控制行选择控制元件的逻辑和列选择控制元件的逻辑,控制某个像素的输出。输出的模拟信号经由ADC电路,转换为数字信号,传递给FPGA模块32进行信号的初级处理,随后控制目标区域编号3、4、7、8的像素以单个像素输出,而其他区域四个像素合为一个像素输出。类似人视网膜细胞的分布以及视觉注意机制,达到仿生局部高分辨率分析的功能,在不降低目标区域详细信息的同时,减少冗余信息,大幅压缩数据。
如图8所示,本发明公开了本发明的视觉传感器的另一种成像电路时序图。与图4和图6相同,电路时序可由FPGA控制,FPGA已编好不同的电路,可变换时序输出。如图7中的传感器阵列,阐述本发明的视觉传感器的一种成像电路时序原理。时序图显示的是复位、曝光之后,各像素的输出时序。因该模式为仿生局部高分辨率分析模式,需要在上一帧图片中监测出目标区域和无目标区域,经FPGA控制时序输出。以图7为例,编号为3、4、7、8的像素所在区域为目标区域,其他像素所在区域为无目标区域,可选择将无目标区域的四个像素合为一个像素输出,FPGA控制随机选择其中一个像素作为该四个像素的随机代表像素输出,代表该合并像素的输出。开始输出时,首先随机选通编号为1、2、5、6像素中一个的行选择晶体管11和列选择晶体管7,关闭复位晶体管12,即给出高电平的行选择信号和列选择信号,低电平的复位信号,未选中的其他像素电路中晶体管都关闭,即信号都为低电平。此时输出无目标物区域随机代表像素的信号输出60,随后经FPGA控制依次单独的选通3、4、7、8像素的行选择晶体管11和列选择晶体管7,关闭复位晶体管12,即给出高电平的行选择信号和列选择信号,低电平的复位信号。单独的依次输出这四个像素的信号,即目标物区域单像素输出61。接下来依次输出剩下像素的信号。当所有像素的信号都依次输出后,开始新一轮的复位和曝光操作,随后开始新一轮的信号输出,即新的一帧图像。根据上一帧图像中目标物的动态情况,比如目标物的边界、目标物的颜色范围、灰度值范围等等,实时调整下一帧的FPGA控制时序,实现目标物实时的高分辨率成像。在不降低目标详细信息的同时,减少冗余信息,大幅压缩数据。
如图9所示,本发明公开了本发明的传感器工作内容框图。该框图中包含本发明的传感器的三种模式内容。第一种工作模式为低分辨率实时监测模式,因一些功能并不需要高分辨率的成像,只需相对模糊成像便能实现,比如物体实时监测追踪。物像的光信号由感光元件(图中示出为PD)接收,将光信号转换为电信号,该信号经过像素电路进行放大等处理并控制输出。像素电路被FPGA时序控制及像素控制输出。该模拟信号经A/D转换电路后转换为数字信号,经由Logic电路传递给FPGA进行处理。FPGA控制像素电路的过程中已实现多个像素合为一个像素输出,大幅减少数据量。假设现在输出的是十万个信号,相当于十万个像素的信号。
第二种工作模式为仿生局部高分辨率分析模式,物像的光信号由感光元件接收,将光信号转换为电信号,该信号经过像素电路进行放大等处理并控制输出。像素电路被FPGA时序控制及像素控制输出。该模拟信号经A/D转换电路后转换为数字信号,经由Logic电路传递给FPGA进行处理。随后FPGA将信号反馈给像素电路,对像素的输出进行控制,在特定区域,如有目标物的区域控制单像素的输出,而无目标物的区域控制像素小范围的合为一个像素,取其中一个像素作为代表随机像素输出,代表该范围的输出,从而实现局部高分辨成像。该模式为部分像素输出,假设现在电路上传递的是一亿个像素的信息,在实现目标物体高分辨成像的情况下,实现数据大幅度压缩。且可通过像素控制模块FPGA37实现多个目标物的仿生局部高分辨成像。
第三种工作模式为高分辨分析模式。物像的光信号由感光元件接收,将光信号转换为电信号,该信号经过像素电路进行放大等处理并控制输出。像素控制电路被FPGA时序控制及像素控制输出。该模拟信号经A/D转换电路后转换为数字信号,经由Logic电路传递给FPGA进行处理。该模式是全像素输出,假设现在电路上传递的是十亿个像素的信息,用于需全局高分辨成像的情景使用。
如图10所示,本发明公开了本发明的传感器分辨率重构工作原理模型图。在成像视野中,分为无目标物区域18和有目标物区域22,在有目标物区域22控制单像素的输出,实现目标物21的高分辨成像。在无目标物区域18,控制多个像素合为一个像素,取其中一个像素的输出作为无目标物区的随机代表输出像素19,代表该范围像素的输出。从而在不丢失目标物全部信息的情况下,大幅压缩数据。且可通过像素控制模块FPGA37实现多个目标物的仿生局部高分辨成像。
如图11所示,本发明公开了本发明传感器的细胞图片的前后对比测试结果图。图示物像为高分辨率细胞组织图29,在低分辨率实时监测模式下为低分辨率细胞组织图30,在仿生局部高分辨实时分析模式下为目标细胞仿生局部高分辨率图31。在低分辨率细胞组织图30中,因为异常细胞的细胞核比较大,可以根据细胞的尺寸大小分辨出异常细胞,降低数据量,加快成像速度的同时可实现计数、追踪等功能。在目标细胞仿生局部高分辨率图31中,感兴趣的目标物区域高分辨率地输出,以助于分析目标物的具体细节,不感兴趣的区域低分辨率地输出。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。
Claims (10)
1.一种分辨率可重构视觉传感器,其特征在于,包括:
多个像素,每个像素包含一个传感器传感模块,传感器传感模块用于将对应像素处的光信号转换为电信号,模拟信号转换为数字信号输出;
传感器像素控制模块,用于控制每个像素处传感器传感模块的输出;实现选择性分辨输出图像信息;
传感器信号传输模块,用于不同模块间信号传输;
传感器信号处理模块,用于依据传感器像素控制模块接收传感器传感模块的输出,将接收到的信号进行处理;
所述传感器传感模块,包含感光元件、选择控制元件、放大器元件和模数转换元件;其中,感光元件用于将光信号转换为电信号,放大器元件用于放大电信号,模数转换元件用于将放大的电信号模拟信号转换为数字信号输出;选择控制元件与传感器像素控制模块电连接,用于依据传感器像素控制模块控制传感器传感模块电路的通断及感光元件的复位。
2.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述感光元件是光敏电阻或光电二极管。
3.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述放大器元件是场效应晶体管、三极管或运算放大器。
4.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述选择控制元件包括列选择控制元件、行选择控制元件、复位开关和源随器;所述传感器传感模块的电路结构还包括电源和一电容,电路结构具体为:
感光元件的正极接地,负极连接行选择控制元件的源极;行选择控制元件的漏极与复位开关的源极、源随器的栅极相连接;复位开关的漏极接电源;列选择控制元件的源极接电容的一端,电容的另一端接地;列选择控制元件的漏极连接源随器的源极;源随器的漏极与电源相连;行选择控制元件、复位开关和列选择控制元件的栅极作为控制信号输入,与传感器像素控制模块连接,放大器元件连接于电容和列选择控制元件的源极之间作为信号输出。
5.根据权利要求4所述分辨率可重构视觉传感器,其特征在于,所述列选择控制元件、行选择控制元件、复位开关是场效应晶体管。
6.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述传感器像素控制模块是FPGA。
7.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述传感器像素控制模块控制的成像模式包括:
高分辨率分析模式,所述传感器像素控制模块控制每个像素处传感器传感模块按时序全部输出;
低分辨率实时监测模式,所述传感器像素控制模块按时序控制不同区域的多个像素处传感器传感模块合并输出;
仿生局部高分辨率分析模式,所述传感器像素控制模块按时序控制不含目标物的区域的多个像素处传感器传感模块合并输出,包含目标物的区域的每个像素处传感器传感模块单独输出。
8.根据权利要求7所述分辨率可重构视觉传感器,其特征在于,所述仿生局部高分辨率分析模式的目标物是一个或多个。
9.根据权利要求7所述分辨率可重构视觉传感器,其特征在于,所述多个像素处传感器传感模块合并输出是2个、3个或4个。
10.根据权利要求1所述分辨率可重构视觉传感器,其特征在于,所述传感器信号传输模块,用于将传感器传感模块的信息传输给传感器像素控制模块;将传感器像素控制模块的控制信号传递给传感器传感模块;将传感模块的信息传输给信号处理模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211390953.4A CN115460362A (zh) | 2022-11-08 | 2022-11-08 | 一种分辨率可重构视觉传感器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211390953.4A CN115460362A (zh) | 2022-11-08 | 2022-11-08 | 一种分辨率可重构视觉传感器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115460362A true CN115460362A (zh) | 2022-12-09 |
Family
ID=84310716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211390953.4A Pending CN115460362A (zh) | 2022-11-08 | 2022-11-08 | 一种分辨率可重构视觉传感器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115460362A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1518346A (zh) * | 2003-01-24 | 2004-08-04 | ���µ�����ҵ��ʽ���� | Mos固态成像元件和具有其的成像装置 |
CN1533150A (zh) * | 2003-03-26 | 2004-09-29 | �ֵܹ�ҵ��ʽ���� | 图像传感器、图像读取装置和设定分辨率的方法 |
CN101047798A (zh) * | 2006-03-31 | 2007-10-03 | 佳能株式会社 | 图像传感器 |
CN102663758A (zh) * | 2012-04-20 | 2012-09-12 | 北京工业大学 | 一种基于fpga控制核心的图像采集及处理方法 |
CN103179332A (zh) * | 2011-12-22 | 2013-06-26 | 洛阳理工学院 | 一种基于fpga技术的视觉目标自适应检测控制器 |
CN104125419A (zh) * | 2014-06-24 | 2014-10-29 | 北京理工大学 | 一种基于cmos图像传感器的自适应分辨率实现方法 |
CN109314749A (zh) * | 2016-06-28 | 2019-02-05 | 索尼公司 | 成像设备、成像方法和程序 |
CN110073654A (zh) * | 2017-03-23 | 2019-07-30 | 索尼半导体解决方案公司 | 控制设备、控制方法、程序以及电子装置系统 |
WO2019208412A1 (ja) * | 2018-04-27 | 2019-10-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像装置の駆動方法 |
CN111164670A (zh) * | 2017-08-10 | 2020-05-15 | 罗伯特·博世有限公司 | 低功率和低数据速率成像仪 |
CN111527741A (zh) * | 2018-01-29 | 2020-08-11 | 索尼半导体解决方案公司 | 图像捕获装置和控制图像捕获元件的方法 |
-
2022
- 2022-11-08 CN CN202211390953.4A patent/CN115460362A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1518346A (zh) * | 2003-01-24 | 2004-08-04 | ���µ�����ҵ��ʽ���� | Mos固态成像元件和具有其的成像装置 |
CN1533150A (zh) * | 2003-03-26 | 2004-09-29 | �ֵܹ�ҵ��ʽ���� | 图像传感器、图像读取装置和设定分辨率的方法 |
CN101047798A (zh) * | 2006-03-31 | 2007-10-03 | 佳能株式会社 | 图像传感器 |
CN103179332A (zh) * | 2011-12-22 | 2013-06-26 | 洛阳理工学院 | 一种基于fpga技术的视觉目标自适应检测控制器 |
CN102663758A (zh) * | 2012-04-20 | 2012-09-12 | 北京工业大学 | 一种基于fpga控制核心的图像采集及处理方法 |
CN104125419A (zh) * | 2014-06-24 | 2014-10-29 | 北京理工大学 | 一种基于cmos图像传感器的自适应分辨率实现方法 |
CN109314749A (zh) * | 2016-06-28 | 2019-02-05 | 索尼公司 | 成像设备、成像方法和程序 |
CN110073654A (zh) * | 2017-03-23 | 2019-07-30 | 索尼半导体解决方案公司 | 控制设备、控制方法、程序以及电子装置系统 |
CN111164670A (zh) * | 2017-08-10 | 2020-05-15 | 罗伯特·博世有限公司 | 低功率和低数据速率成像仪 |
CN111527741A (zh) * | 2018-01-29 | 2020-08-11 | 索尼半导体解决方案公司 | 图像捕获装置和控制图像捕获元件的方法 |
WO2019208412A1 (ja) * | 2018-04-27 | 2019-10-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像装置の駆動方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Culurciello et al. | A biomorphic digital image sensor | |
Culurciello et al. | Arbitrated address event representation digital image sensor | |
Chen et al. | Pulse-modulation imaging—Review and performance analysis | |
CN102685403B (zh) | 扩展tdi-cmos图像传感器动态范围的方法 | |
US20090268192A1 (en) | High dynamic range sensor system and method | |
CN111510651B (zh) | 一种图像传感电路、图像传感器及终端设备 | |
CN106454148B (zh) | 分块独立曝光cmos图像传感器像素结构及其控制方法 | |
CN113242344B (zh) | 图像传感器、摄像头组件和移动终端 | |
WO2024199418A1 (zh) | 一种感算一体的视觉传感芯片 | |
WO2016121522A1 (ja) | 固体撮像装置および電子機器 | |
EP1181816A1 (en) | Method and apparatus for dual resolution foveating display output | |
US11343454B2 (en) | Imaging systems and methods for performing pixel binning and variable integration for analog domain regional feature extraction | |
RU2723645C1 (ru) | Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью | |
CN115460362A (zh) | 一种分辨率可重构视觉传感器 | |
JP2020537456A (ja) | 撮像素子、撮像機器及び画像情報処理方法 | |
JP7091052B2 (ja) | 撮像素子及び撮像装置 | |
Yin et al. | A 0.5 V 34.4 uW 14.28 kfps 105dB smart image sensor with array-level analog signal processing | |
Singh et al. | 34.2 a 21pJ/frame/pixel imager and 34pJ/frame/pixel image processor for a low-vision augmented-reality smart contact lens | |
JPH0921879A (ja) | 放射線平面検出器及び放射線撮像装置 | |
Liu et al. | Advances in silicon-based in-sensor computing for neuromorphic vision sensors | |
Martel et al. | Computational imaging with vision sensors embedding in-pixel processing | |
Kim et al. | A compact-pixel tri-mode vision sensor | |
Kim et al. | Single-chip eye tracker using smart CMOS image sensor pixels | |
Feng et al. | A 12× 12 imager array based on randomly-accessible active pixel sensor inspired by retinal photoreceptor | |
JP2022064801A (ja) | 画像センサー及び電子デバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221209 |
|
RJ01 | Rejection of invention patent application after publication |