CN109224291B - 视网膜刺激器的图像处理方法和装置及视网膜刺激器 - Google Patents
视网膜刺激器的图像处理方法和装置及视网膜刺激器 Download PDFInfo
- Publication number
- CN109224291B CN109224291B CN201810924696.5A CN201810924696A CN109224291B CN 109224291 B CN109224291 B CN 109224291B CN 201810924696 A CN201810924696 A CN 201810924696A CN 109224291 B CN109224291 B CN 109224291B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- gray
- grayscale
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 210000001525 retina Anatomy 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 205
- 230000002207 retinal effect Effects 0.000 claims abstract description 77
- 230000000638 stimulation Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000007943 implant Substances 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000000638 solvent extraction Methods 0.000 claims description 14
- 208000003098 Ganglion Cysts Diseases 0.000 claims description 8
- 208000005400 Synovial Cyst Diseases 0.000 claims description 8
- 230000035807 sensation Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000002513 implantation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 37
- 238000010586 diagram Methods 0.000 description 26
- 238000005192 partition Methods 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000000877 morphologic effect Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 208000017442 Retinal disease Diseases 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 2
- 206010064930 age-related macular degeneration Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000010415 Low Vision Diseases 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000009978 visual deterioration Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0543—Retinal electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36057—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for stimulating afferent nerves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Image Processing (AREA)
- Prostheses (AREA)
Abstract
本公开提供一种视网膜刺激器的图像处理方法，视网膜刺激器具有规定数量的刺激电极，其特征在于：包括：获取图像步骤，用于获取初始图像；灰度化步骤，用于对初始图像进行灰度化处理，得到灰度图像；低像素化步骤，用于将灰度图像的像素进行压缩处理，得到低像素灰度图像，低像素灰度图像的像素数量小于或等于刺激电极的规定数量；并且二值化步骤，用于对低像素灰度图像进行二值化处理，得到二值图像，其中，刺激电极根据二值图像产生电刺激信号。根据本公开，能够通过优化捕获图像的处理来提供更多图像有用信息。
Description
技术领域
本公开涉及仿生技术领域，具体涉及一种视网膜刺激器的图像处理方法和装置及视网膜刺激器。
背景技术
正常视觉的形成是眼球内的视网膜上的感光细胞将外部的光信号转换为视觉信号。视觉信号经由双极细胞和神经节细胞到达大脑皮层，从而形成光感。然而，在生活中患者因为视网膜疾病例如RP(视网膜色素变性)、AMD(与老年有关的黄斑变性)等而使感光通路受阻，导致视觉下降或致盲。
随着技术的研究和发展，出现了使用视网膜刺激器等来修复上述视网膜疾病的技术手段，通过该技术，能够让大脑能够接收到外界刺激信号并获得改善的视觉。为了给患者恢复部分视觉，一般需要在患者的眼球内放入植入体，并且在患者体外布置与植入体通信的图像处理装置和摄像装置。体外的摄像装置捕捉到外界的图像后，经过图像处理装置处理，并将处理后的图像信号发送给植入体。植入体进一步将这些图像信号转化成电刺激信号，以刺激视网膜上的神经节细胞或双极细胞，从而给患者产生光感。
然而，在现有的视网膜刺激器中，摄像装置捕捉的图像包括亮度、色调和色饱和度等参数，并且图像的像素数量往往比较大，在这种情况下，一方面，摄像装置所捕获到的图像信息量较大，图像处理装置需要处理图像信息也比较大，复杂度也比较高，另一方面，设置在患者眼球的植入体的刺激电极极为有限例如60个电极，接收信息能力非常有限，倘若直接用视网膜刺激器的摄像装置捕获的图像信息对应于植入体内有限的刺激电极，则会造成大量的数据流失，导致图像失真。这些丢失的数据有可能是图像的基本信息，比如图像中障碍物的基本轮廓，导致患者难以辨别出来障碍物，为患者的生活带来很多不便。
发明内容
本公开有鉴于上述现有技术的状况而完成，其目的在于提供了一种能够通过优化捕获图像的处理来提供更多图像有用信息的视网膜刺激器的图像处理方法和装置及视网膜刺激器。
为此，本公开的第一方面提供了一种视网膜刺激器的图像处理方法，所述视网膜刺激器具有规定数量的刺激电极，其特征在于：包括：获取图像步骤，用于获取初始图像；灰度化步骤，用于对所述初始图像进行灰度化处理，得到灰度图像；低像素化步骤，用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；并且二值化步骤，用于对所述低像素灰度图像进行二值化处理，得到二值图像，其中，所述刺激电极根据所述二值图像产生电刺激信号。
在本公开中，对初始图像进行灰度化处理、低像素化处理、以及二值化处理得到二值图像。低像素化处理后得到的低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量。在这种情况下，可以优化捕获图像的处理，并且使低像素的二值图像的每个像素能够对应于视网膜刺激器的植入装置内的刺激电极，从而为患者提供更多有助于分辨物体或障碍物的图像有用信息。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，可选地，所述低像素化步骤包括：将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述平均灰度值作为该灰度图像区域的灰度值；将所述灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，可选地，所述低像素化步骤包括：沿着预设方向对所述灰度图像进行梯度值计算；确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；将所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，可选地，所述低像素化步骤包括：将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述灰度图像中平均灰度值与预设平均灰度值相比较，确定所述灰度图像区域中的有效灰度图像区域；将所述有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
另外，在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，可选地，所述二值化步骤包括：比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小；根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。在这种情况下，二值图像的像素的最大灰度值和最小灰度值可以用高低电平表示，由此，能够更好地与刺激电极的刺激信号对应。
本公开的第二方面提供了一种视网膜刺激器的图像处理装置，所述视网膜刺激器具有规定数量的刺激电极，其特征在于，包括：获取单元，其用于获取初始图像；灰度处理单元，其用于对所述初始图像进行灰度化处理，得到灰度图像；像素处理单元，其用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；以及二值化处理单元，其用于对所述低像素灰度图像进行二值化处理，得到二值图像，其中，所述刺激电极根据所述二值图像产生电刺激信号。
在本公开中，初始图像通过灰度处理单元、像素处理单元和二值化处理单元的处理，获得二值图像，其中，像素处理单元得到的低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量。在这种情况下，可以优化捕获图像的处理，并且使低像素的二值图像的每个像素能够对应于视网膜刺激器的植入装置内的刺激电极，从而为患者提供更多有助于分辨物体或障碍物的图像有用信息。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，可选地，所述像素处理单元包括：第一分区子单元，其用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；第一获取子单元，其用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述平均灰度值作为该灰度图像区域的灰度值；第一像素处理子单元，其用于将所述灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，可选地，所述像素处理单元包括：计算子单元，其用于沿着预设方向对所述灰度图像进行梯度值计算；确定子单元，其用于确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；第二分区子单元，其用于将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；第二获取子单元，其用于对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；第二像素处理子单元，其用于将所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，可选地，所述像素处理单元包括：第三分区子单元，其用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个灰度图像区域包括多个像素；第三获取子单元，其用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述灰度图像中平均灰度值与预设平均灰度值相比较，确定所述灰度图像区域中的有效灰度图像区域；第三像素处理子单元，其用于将所述有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
另外，在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，可选地，所述二值化处理单元包括：比较子单元，用于比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小；处理子单元，根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。在这种情况下，二值图像的像素的最大灰度值和最小灰度值可以用高低电平表示，能够更好地与刺激电极的刺激信号对应。
此外，本公开的第三方面提供了一种视网膜刺激器，其特征在于，包括摄像装置、视频处理装置和植入装置，其中：所述摄像装置，其用于捕获视频图像，并且将所述视频图像转换成视觉信号；所述视频处理装置，其至少包括上述任一项所述的图像处理装置，所述视频处理装置与所述摄像装置连接，所述视频处理装置用于将所述视觉信号进行处理并经由发射天线发送给所述植入装置；所述植入装置，其用于将所接收的所述视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放所述双向脉冲电流信号来产生光感。
根据本公开，能够提供一种能够通过优化捕获图像的处理来提供更多图像有用信息的视网膜刺激器的图像处理方法和装置及视网膜刺激器。
附图说明
为了更清楚地说明本公开实施方式技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开所涉及的视网膜刺激器的结构示意图。
图2是本公开所涉及的视网膜刺激器的图像处理装置的结构示意图。
图3A是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的例子的框图。
图3B是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的变形例1的框图。
图3C是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的变形例2的框图。
图4是本公开所涉及的视网膜刺激器的图像处理装置中的二值化处理单元的结构示意图。
图5是本公开所涉及的视网膜刺激器的图像处理装置的结构示意图。
图6是本公开所涉及的视网膜刺激器的图像处理方法的流程示意图。
图7是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤流程示意图。
图8A是基于图7的由灰度图像到低像素灰度图像的图像处理过程示意图。
图8B是基于图8A的由灰度图像到二值图像的图像处理过程示意图。
图9是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤的变形例1的流程示意图。
图10A是基于图9的由灰度图像到低像素灰度图像的图像处理过程示意图。
图10B是基于图10A的由灰度图像到二值图像的图像处理过程示意图。
图11是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤的变形例2的流程示意图。
图12A是基于图11的由灰度图像到低像素灰度图像的图像处理过程示意图。
图12B是基于图12A的由灰度图像到二值图像的图像处理过程示意图。
图13是本公开所涉及的视网膜刺激器的图像处理方法中的二值化步骤流程示意图。
图14是本公开所涉及的视网膜刺激器的图像处理效果示意图。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
另外，在本公开的下面描述中涉及的小标题等并不是为了限制本公开的内容或范围，其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容，也不应将小标题下的内容仅仅限制在小标题的范围内。
(视网膜刺激器)
图1是本公开所涉及的视网膜刺激器的结构示意图。本公开的视网膜刺激器1可以适用于视网膜病变而导致失明，但双极细胞、神经节细胞等视觉通路保留完好的患者。在本公开中，视网膜刺激器1有时也称为“人工视网膜”、“人造视网膜”、“人工视网膜系统”、“人造视网膜系统”等。
在一些示例中，如图1所示，视网膜刺激器1可以包括植入装置10、摄像装置20和视频处理装置30。植入装置10可以接收视觉信号并基于视觉信号产生电刺激信号，以使患者产生光感。其中，视觉信号可以由摄像装置20采集，并经由视频处理装置30处理获得。
在一些示例中，植入装置10可以包括规定数量的刺激电极。刺激电极(有时简称“电极”)可以根据视觉信号产生电刺激信号。具体而言，植入装置10可以接收视觉信号，并且刺激电极可以将所接收的视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放双向脉冲电流信号来产生光感。另外，植入装置10可以植入人体例如眼球内。
在一些示例中，植入装置10接收的视觉信号可以由摄像装置20和视频处理装置30进行采集并处理得到。
在一些示例中，摄像装置20可以用于捕获视频图像，并将视频图像转换成视觉信号。例如，摄像装置20可以捕获患者所处环境的视频图像。
在一些示例中，摄像装置20可以为具有摄像功能的设备，例如摄像机、照相机等。为了方便使用，可以将体积较小的摄像机设计在(例如嵌入到)眼镜上。
在另一些示例中，病人也可以通过佩戴轻便的具有摄像功能的眼镜作为摄像装置20来捕获视频图像。摄像装置20也可以用谷歌眼镜等来实现。另外，摄像装置20可以装配在例如智能眼镜、智能头戴、智能手环等智能可穿戴设备上。
在一些示例中，视频处理装置30可以接收摄像装置20生成的视觉信号。视频处理装置30可以对视觉信号进行处理并经由发射天线发送至植入装置10。
在一些示例中，摄像装置20与视频处理装置30连接。摄像装置20与视频处理装置30可以是有线连接，也可以是无线连接。
在一些示例中，有线连接可以是数据线连接，无线连接可以是蓝牙连接，WiFi连接、红外连接、NFC连接或射频连接等。
在一些示例中，摄像装置20和视频处理装置30可以配置在患者体外。例如，患者可以将摄像装置20佩戴在眼镜上。患者还可以将摄像装置20佩戴在例如头饰、发带或胸针等可穿戴的配饰上。另外，患者可以将视频处理装置30佩戴在腰部，患者还可以将视频处理装置30佩戴在例如胳膊、腿部等部位。本公开的示例不限于此，例如，患者还可以将视频处理装置30放置在例如随身携带的手提包或背包中。
(图像处理装置)
图2是本公开所涉及的视网膜刺激器的图像处理装置的结构示意图。本公开所涉及的视网膜刺激器1的图像处理装置300(可以简称为图像处理装置300)可以用于视网膜刺激器1作为图像处理的功能模块。具体而言，图像处理装置300可以包含于视网膜刺激器1的视频处理装置30。在本公开中，通过图像处理装置300，能够优化图像的处理并提供更多图像有用信息。
在本公开中，“图像有用信息”是指对于使用本公开的图像处理装置的患者而言有用的信息，例如对于这些患者而言，图像中所出现的物体或障碍物的轮廓信息是有用的，这些信息能够帮助患者等避开物体或障碍物。对于目前的视网膜刺激器或人工视网膜而言，如何帮助患者识别并避开物体或障碍物是有用的。
在一些示例中，如图2所示，图像处理装置300可以包括获取单元310。获取单元310可以用于获取初始图像。
在一些示例中，初始图像可以由摄像装置20获取。摄像装置20的摄像镜头(未图示)的像素可以为例如30万、100万、200万、500万、1200万等。在本实施方式中，初始图像的像素由摄像镜头的像素决定，初始图像的像素的数量相应地也可以是与镜头匹配的像素例如30万、100万、200万、500万、1200万等。
在一些示例中，初始图像可以是摄像装置20拍摄的未经过任何处理的图像。通常，由摄像装置20拍摄周围环境所得到的初始图像是彩色图像。也即，摄像装置20拍摄的未经过任何处理的初始图像可以是彩色图像。在一些示例中，彩色图像可以为HSI图像。HSI图像是反映图像的形态特征的一种图像模型。彩色图像还可以为RGB图像。RGB图像是从光学的原理上进行颜色的调配的一种图像模型。
在一些示例中，HSI图像可以通过色调、饱和度(即色饱和度)和亮度三种基本特征量来感知颜色。基于HSI图像模型，彩色图像的每个像素中可以包含亮度、色调和色饱和度等图像信息。
在一些示例中，基于RGB图像模型，初始图像中的每个像素的颜色可以由红(R)、绿(G)、蓝(B)三个分量决定。也即，每个像素包括R、G、B三个像素子单元，若每种颜色分量可以用例如8位二进制数表示，则每个分量有0-255个值可以选取。但本公开的示例不限于此，例如，每种颜色分量还可以用例如16位二进制数表示，每种颜色分量还可以用例如24位及以上的二进制数表示。
通常而言，图像中出现物体或障碍物是患者主要关注的信息，特别是识别出物体或障碍物的轮廓有利于盲人或低视力患者的行动。一方面，彩色图像中的颜色特征等信息并非均可用于反映图像中物体的形态特征，因此，即使去除彩色图像的部分上述信息也能够比较好地保留物体或障碍物的轮廓。另一方面，视网膜刺激器1的植入装置10的电极数量目前仍相对较少，其电极数量例如为60个、100个、150个或256个。相对较少的电极一般情况下难以完全传递初始图像的所有信息，而且往往难以传递初始图像中的物体或障碍物的轮廓等信息。在这样的情况下，直接将初始图像像素数量很多的信息对应于视网膜刺激器1的植入装置10内数量极为有限的刺激电极，由于刺激电极无法完全反映初始图像的像素的信息量，因此容易造成图像严重失真。基于此，发明人等根据实践经验发现，通过对初始图像进行灰度化处理，即使在电极数量较少且接收信息能力有限的情况下，也能够优化图像的处理，尽可能保留例如物体或障碍物的轮廓等图像有用信息。
在一些示例中，如图2所示，图像处理装置300还可以包括灰度处理单元320。灰度处理单元320可以对初始图像进行灰度化处理，得到灰度图像。灰度图像可以是R、G、B三个分量的大小相同(即R＝G＝B的值)的一种特殊的彩色图像，比普通彩色图像的信息量少。灰度图像的每个像素存在相应的灰度值。在一些示例中，每个灰度值可以采用例如8位二进制数表示，即灰度图像的灰度值的范围为0-255。在另一些示例中，每个灰度值也可以采用例如16位二进制数表示，另外，也可以采用例如24位及以上二进制数表示。
在一些示例中，灰度化处理主要对图像的色彩信息进行处理，对色彩信息外的初始图像信息并未改变。例如，灰度化处理可以有助于后续提供更多的图像有用信息例如图像的中物体或障碍物等的形态特征信息。
在一些示例中，灰度化处理方法可以是分量法，即可以选择R、G、B三个分量中的任意一个分量的值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则可以选择例如70作为该像素的灰度值，即设置R＝G＝B＝70作为该像素的灰度值；也可以选择例如110作为该像素的灰度值，也可以选择例如150作为该像素的灰度值。
另外，在一些示例中，灰度化处理方法还可以是最大值法，即可以选择R、G、B三个分量中的最大值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则可以选择例如150作为该像素的灰度值。
另外，在一些示例中，灰度化处理方法还可以是平均值法，即可以选择R、G、B三个分量中的平均值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则R、G、B三个值的平均值是110，可以选择110作为该像素的灰度值。
此外，在一些示例中，灰度化处理方法还可以是加权法，即可以将R、G、B三个分量按照不同的加权系数进行加权计算得到灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，可以设置R的加权系数为0.3、G的加权系数为0.5、B的加权系数为0.2，则该像素的灰度值为0.3*70+0.5*110+0.2*150＝106。在上述示例中，灰度化处理能够减少初始图像的数据量(或信息量)，方便对图像的后续化处理，有助于在后续处理时突出图像中的有用信息。
在一些示例中，如图2所示，图像处理装置300还可以包括像素处理单元330。像素处理单元330可以用于将灰度图像的像素进行压缩处理，得到低像素灰度图像。在一些示例中，低像素灰度图像的像素数量可以小于或等于刺激电极的规定数量。通过像素处理单元330，能够减少灰度图像的像素，得到低像素灰度图像。
在一些示例中，对初始图像进行灰度化处理得到灰度图像，但灰度图像相对于物体或障碍物的轮廓所需要的信息而言仍包括很多冗余信息，例如，图像中相邻像素间的相关性引起的空间冗余。通过像素处理单元330能够降低灰度图像的像素数量，降低后续图像处理时的复杂度，以便在后续步骤中提取图像有用信息。
图3A是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的例子的框图。图3B是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的变形例1的框图。图3C是本公开所涉及的视网膜刺激器的图像处理装置中的像素处理单元的变形例2的框图。
在一些示例中，如图3A所示，像素处理单元330可以包括第一分区子单元3310、第一获取子单元3311和第一像素处理子单元3312。第一分区子单元3310可以用于将灰度图像进行分区处理，得到多个灰度图像区域。其中，每个灰度图像区域可以包括多个像素。
在一些示例中，第一获取子单元3311可以用于对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将平均灰度值作为该灰度图像区域的灰度值。也即，第一获取子单元3311可以选取多个灰度图像区域中的任一个作为目标灰度图像区域，并针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。其中，可以将平均灰度值作为目标灰度图像区域的灰度值。
在一些示例中，第一像素处理子单元3312可以用于将灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第一像素处理子单元3312可以用于将灰度图像的每个灰度图像区域作为低像素灰度图像的一个像素，将各个像素按顺序组合形成低像素灰度图像。其中，各个像素的灰度值可以是相应的灰度图像区域的平均灰度值，在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在一些示例中，如图3B所示，像素处理单元330可以包括计算子单元3320、确定子单元3321、第二分区子单元3322、第二获取子单元3323和第二像素处理子单元3324。计算子单元3320可以用于沿着预设方向对灰度图像进行梯度值计算。
在一些示例中，确定子单元3321可以用于确定灰度图像在预设方向的梯度值大于或等于预设梯度值的像素。可以将灰度图像在预设方向的梯度值大于或等于预设梯度值的像素作为有效像素。
在一些示例中，第二分区子单元3322可以用于将灰度图像中的有效像素进行分区处理，得到多个像素区域。每个像素区域可以包括多个有效像素。
在一些示例中，第二获取子单元3323可以用于对多个像素区域当中的任一个像素区域计算像素的平均灰度值，将平均灰度值作为该像素区域的灰度值。也即，第二获取子单元3323可以选取多个像素区域中的任一个作为目标像素区域，并针对目标像素区域，获取目标像素区域的多个有效像素的平均灰度值。将平均灰度值作为目标像素区域的灰度值。
在一些示例中，第二像素处理子单元3324可以用于将灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第二像素处理子单元3324可以用于将灰度图像的每个像素区域作为低像素灰度图像的一个像素，将各个像素按顺序组合形成低像素灰度图像。其中，各个像素的灰度值可以是相应的灰度图像区域的平均灰度值，在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在另一些示例中，如图3C所示，像素处理单元330可以包括第三分区子单元3330、第三获取子单元3331和第三像素处理子单元3312。第三分区子单元3330可以用于将灰度图像进行分区处理，得到多个灰度图像区域。每个灰度图像区域可以包括多个像素。
在一些示例中，第三获取子单元3331可以用于对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值。可以将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。也即第三获取子单元3331可以选取灰度图像区域中的任一个作为目标灰度图像区域，并针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。可以将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。
在一些示例中，第三像素处理子单元3312可以将有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第三像素处理子单元3312可以用于将灰度图像的每个有效灰度图像区域作为低像素灰度图像的一个像素，将各个像素按顺序组合形成低像素灰度图像。其中，各个像素的灰度值可以是相应的灰度图像区域的平均灰度值，在这种情况下，通过对灰度图像进行低像素化处理，以便在后续步骤中提取图像有用信息。
在这种情况下，上述的像素处理单元330得到的低像素灰度图像与低像素化处理前的灰度图像相比，低像素灰度图像的像素数量减少，并且能够相应地减少由灰度图像中相邻像素间的相关性引起的图像数据的冗余。由此，以便在后续步骤中提取图像有用信息。
在一些示例中，如图2所示，图像处理装置300还可以包括二值化处理单元340。二值化处理单元340可以对低像素灰度图像进行二值化处理，得到二值图像。二值图像的每个像素能够对应于视网膜刺激器1的植入装置10内的刺激电极。刺激电极可以根据二值图像产生电刺激信号。
图4是本公开所涉及的视网膜刺激器的图像处理装置中的二值化处理单元的结构示意图。
在一些示例中，如图4所示，二值化处理单元340可以包括比较子单元3410和处理子单元3411。比较子单元3410可以用于比较低像素灰度图像中的每个像素的灰度值与预设灰度值的大小。
在一些示例中，处理子单元3411可以根据比较的结果，可将低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值。更改灰度值后，即可得到二值图像。
在一些示例中，低像素灰度图像的像素数量小于或等于刺激电极的规定数量。也即，低像素灰度图像的像素和视网膜刺激器1的植入装置10的刺激电极数量相匹配。换而言之，低像素灰度图像的每个像素可以对应一个电极。然而，低像素灰度图像的每个像素可以至少是例如8位，在这种情况下，每个像素至少存在256种可能的取值，通常难以通过一个刺激电极实现至少256种不同的结果，因此，对低像素灰度图像进行二值化处理，得到二值图像。其中，每个像素的灰度值可以是最大灰度值255或者最小灰度值0。但本公开的示例不限于此，例如，每个像素可以是例如16位，则二值图像每个像素的灰度值可以是65535或者0。
在这种情况下，利用二值化处理单元340获得的二值图像，每个像素可以对应一个刺激电极，而且每个像素的灰度值(即最大灰度值或最小灰度值)可以通过高低电平体现。由此，能够更好地与刺激电极的电刺激信号对应。
在一些示例中，图像处理装置300可以将图像的像素数量调低并进行二值化处理，得到低像素的二值图像。对于视网膜刺激器1的植入装置10，由于需要植入到眼球内，因此植入装置10的尺寸严重受限，植入装置10内的刺激电极数量也较少。在这种情况下，有必要使二值图像中的像素数量小于或等于视网膜刺激器1的植入装置10内的刺激电极数量。由此，使低像素的二值图像的每个像素能够对应于视网膜刺激器1的植入装置10内的刺激电极，以将像素的信息有效地传递到各个刺激电极。因此，佩戴有视网膜刺激器1的患者通过被刺激电极刺激，能够感知来自二值图像像素的信息(光感)，由此，有助于尽可能地帮助患者根据处理后的图像识别并避开物体或障碍物。
这里，上述所提及的图像处理装置300的各个单元包括获取单元310、灰度处理单元320、像素处理单元330和二值化处理单元340的功能均可以通过下述图5的图像处理装置300来实现。以下详细地说明。
图5是本公开所涉及的视网膜刺激器的图像处理装置的结构示意图。在一些示例中，如图5所示，该图像处理装置300可以包括处理器410、存储器420和通信接口430。
在一些示例中，处理器410可以用于对图像处理装置300执行的动作进行控制管理。例如，处理器410可以用于实现上述第1实施方式的图像处理装置300的各个单元的功能。另外，处理器410还可以用于支持图像处理装置300执行图6中的步骤S100至步骤S400和/或用于本文所描述的技术的其它过程。
在一些示例中，处理器410可以是中央处理器(Central Processing Unit，CPU)、通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application-Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开所描述的各种示例性的逻辑方框，模块和电路。处理器410也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
在一些示例中，通信接口430可以用于支持图像处理装置300与其他设备(例如，摄像装置20)的通信。
另外，在一些示例中，通信接口430可以是通信接口、收发器、收发电路等。其中，通信接口是统称，可以包括一个或多个接口。
在一些示例中，存储器420可以用于存储图像处理装置300的程序代码和数据。
另外，在一些示例中，该图像处理装置300还可以包括通信总线440。通信总线440可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线440还可以分为地址总线、数据总线、控制总线等。通信总线440可以有一根或多根。为便于表示，图5中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
上述是本公开涉及的视网膜刺激器1的图像处理装置300，下面结合流程图详细描述本公开涉及的视网膜刺激器1的图像处理方法。图像处理方法的各个步骤可以相对应于图像处理装置300的各个单元。
图6是本公开所涉及的视网膜刺激器的图像处理方法的流程示意图。视网膜刺激器1的图像处理方法可以应用于视网膜刺激器1中的图像处理装置300。视网膜刺激器1具有规定数量的刺激电极。视网膜刺激器1的图像处理方法可以简称为图像处理方法。
在一些示例中，如图6所示，图像处理方法可以包括获取图像步骤(步骤S100)。步骤S100可以用于获取初始图像。
在步骤S100中，初始图像可以由摄像装置20获取。摄像装置20可以类比上述视网膜刺激器1中的摄像装置20。摄像装置20可以捕获患者所处的外界环境以获得初始图像。初始图像可以是彩色图像。彩色图像可以由大量的像素组成。例如，彩色图像的像素数量可以是例如30万、100万、200万、500万、1200万等。
在一些示例中，步骤S100中，当初始图像为HSI图像模型的彩色图像时，每个像素可以包含亮度、色调和色饱和度等图像信息。当初始图像为RGB图像模型时，初始图像中的色彩信息可以由红(R)、绿(G)、蓝(B)三个分量决定。若每个分量用例如8位二进制数表示，则每个分量有0-255个值可以选取。但本公开的示例不限于此，例如，每个分量还可以用例如16位二进制数表示，每个分量还可以用例如24位及以上二进制数表示。
在一些示例中，彩色图像中的颜色特征等信息并非均可用于反映图像中物体的形态特征，对患者来说，在视网膜刺激器1的刺激电极数量有限的情况下，相对较少的电极一般情况下难以完全传递初始图像的所有信息，而且往往难以传递初始图像中例如物体或障碍物的轮廓等信息。基于此，发明人等根据实践经验发现，通过对初始图像进行灰度化处理，即使在电极数量较少且接收信息能力有限的情况下，也能够优化图像的处理，尽可能保留例如物体或障碍物的轮廓等图像有用信息。
在一些示例中，如图6所示，图像处理方法还可以包括灰度化步骤(步骤S200)。步骤S200可以对初始图像进行灰度化处理，得到灰度图像。灰度图像可以是R、G、B三个分量的大小相同(即R＝G＝B的值)的一种特殊的彩色图像。当初始图像为彩色图像时，对初始图像进行灰度化处理，也即对初始图像进行处理，使其三个分量的数值一致。在这种情况下，灰度化处理可以减少初始图像中的色彩信息，保留初始图像(特别是图像中的物体或障碍物)的形态特征信息等基本信息。由此，能够减少后续图像处理的计算量，有助于后续提供更多的图像有用信息例如图像的中物体或障碍物等的形态特征信息。
在一些示例中，灰度化处理方法可以是分量法，即可以选择R、G、B三个分量中的任意一个分量的值作为灰度值。灰度化处理方法还可以是最大值法，即可以选择R、G、B三个分量中的最大值作为灰度值。灰度化处理方法还可以是平均值法，即可以选择R、G、B三个分量中的平均值作为灰度值。灰度化处理方法还可以是加权法，即可以将R、G、B三个分量按照不同的加权系数进行加权计算得到灰度值。
在一些示例中，灰度图像包含的像素数量比较多，例如30万个像素，然而视网膜刺激器1中的植入装置10的刺激电极数量有限，例如60个刺激电极。由于图像的像素数量远大于电极数量，大多数像素没有相应的电极，这些像素中所包含的信息在传输时会丢失，使得图片严重失真。因此，可以对灰度图像进行低像素化处理。
在一些示例中，如图6所示，图像处理方法还可以包括低像素化步骤(步骤S300)。步骤S300可以将灰度图像的像素进行压缩处理，得到低像素灰度图像。在一些示例中，低像素灰度图像的像素数量小于或等于刺激电极的规定数量。
在步骤S300中，低像素灰度图像与灰度图像相比，低像素灰度图像的像素数量减少，相应地，能够减少由灰度图像中相邻像素间的相关性引起的图像数据的冗余。由此，降低后续图像处理时的复杂度，以便在后续步骤中提取图像有用信息。
图7是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤流程示意图。图8A是基于图7的由灰度图像到低像素灰度图像的图像处理过程示意图。
在一些示例中，步骤S300可以将灰度图像的像素进行压缩处理，也即将灰度图像进行低像素化处理，以使得低像素化处理后的图像像素数量小于或等于刺激电极的规定数量。由此，能够满足低像素灰度图像的每个像素对应于植入装置10内一个刺激电极。下面以图8A、图10A和图12A所示的包含“1”的灰度图像为例，结合步骤S300进行具体说明。
在一些示例中，如图7所示，低像素化步骤(步骤S300)可以包括步骤S310、步骤S311和步骤S312。
在步骤S310中，可以将灰度图像进行分区处理，得到多个灰度图像区域。其中，每个灰度图像区域可以包括多个像素。例如，图8A所示的包含“1”的灰度图像，对图8A中的灰度图像进行分区处理，得到多个灰度图像区域。
在步骤S311中，可以对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值。其中，可以将平均灰度值作为该灰度图像区域的灰度值。换而言之，步骤S311可以选取多个灰度图像区域当中的任一个灰度图像作为目标灰度图像区域。可以针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。其中，可以将平均灰度值作为目标灰度图像区域的灰度值。例如，图8A所示的包含“1”的灰度图像，计算各个灰度图像区域的平均灰度值。
在步骤S312中，可以将灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，步骤S312可以将灰度图像的每个灰度图像区域作为低像素灰度图像的一个像素，将各个像素按顺序组合形成低像素灰度图像。例如，图8A所示的包含“1”的灰度图像，将图8A中的每个灰度图像区域作为一个像素，该像素的灰度值是各个灰度图像区域的平均灰度值。
在一些示例中，低像素化处理可以通过将灰度图像进行分区处理，然后将一个灰度图像区域作为一个像素，实现降低灰度图像的像素的目的。灰度图像的像素数量可以为例如30万，将该灰度图像分为例如60个灰度图像区域，可以实现灰度图像的像素数量由30万降低至60。但本公开的示例不限于此，灰度图像的像素可以为例如100万、200万、500万、2000万。划分的灰度图像区域可以小于60个，例如55个、50个、30个。
图9是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤的变形例1的流程示意图。图10A是基于图9的由灰度图像到低像素灰度图像的图像处理过程示意图。
在另一些示例中，如图9所示，低像素化步骤(步骤S300)可以包括步骤S320、步骤S321、步骤S322、步骤S323和步骤S324。
在步骤S320中，可以沿着预设方向对灰度图像进行梯度值计算。预设方向可以是人为设置的任意方向。例如，图10A所示的包含“1”的灰度图像，沿着预设方向对图10A中的灰度图像进行梯度值计算。
在步骤S321中，可以确定灰度图像在预设方向的梯度值大于或等于预设梯度值的像素。可以将灰度图像在预设方向的梯度值大于或等于预设梯度值的像素作为有效像素。预设梯度值可以是人为设置的。例如，图10A所示的包含“1”的灰度图像，将图10A中的灰度图像得到的梯度值与预设梯度值进行比较，确定图10A中的灰度图像的有效像素。
在步骤S322中，可以将灰度图像中的有效像素进行分区处理，得到多个像素区域。每个像素区域可以包括多个有效像素。例如，图10A所示的包含“1”的灰度图像，对图10A中的有效像素进行分区处理，得到多个像素区域。
在步骤S323中，可以对多个像素区域当中的任一个像素区域计算像素的平均灰度值。其中，将平均灰度值作为该像素区域的灰度值。换而言之，步骤S323还可以包括针对目标像素区域，获取目标像素区域的多个有效像素的平均灰度值。可以将平均灰度值作为目标像素区域的灰度值。目标像素区域可以为多个像素区域中的任一个。例如，图10A所示的包含“1”的灰度图像，计算各个像素区域的平均灰度值。
在步骤S324中，可以将灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。例如，图10A所示的包含“1”的灰度图像，将图10A中的每个像素区域作为一个像素，该像素的灰度值是各个像素区域的平均灰度值。
在一些示例中，低像素化处理可以通过将有效像素进行分区处理，并可以将一个像素区域作为一个像素，以实现降低灰度图像的像素数量的目的。灰度图像的像素数量可以为例如100万，将该灰度图像分为60个灰度图像区域，能够实现灰度图像的像素由100万降低至60。但本公开的示例不限于此，灰度图像的像素可以为例如500万、2000万。划分的灰度图像区域可以小于60个，例如55个、30个。
图11是本公开所涉及的视网膜刺激器的图像处理方法的低像素化步骤的变形例2的流程示意图。图12A是基于图11的由灰度图像到低像素灰度图像的图像处理过程示意图。
在另一些示例中，如图11所示，低像素化步骤(步骤S300)可以包括步骤S330、步骤S331和步骤S332。
在步骤S330中，可以将灰度图像进行分区处理，得到多个灰度图像区域。每个灰度图像区域可以包括多个像素。例如，图12A所示的包含“1”的灰度图像，对图12A中的灰度图像进行分区处理，得到多个灰度图像区域。
在步骤S331中，可以对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值。可以将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。换而言之，步骤S331可以针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。可以将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。其中，灰度图像区域中的任一个作为目标灰度图像区域。例如，图12A所示的包含“1”的灰度图像，计算各个灰度图像区域的平均灰度值，并将各个平均灰度值与预设平均灰度值相比较，确定图12A中的有效灰度图像区域。
在步骤S332中，可以将有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即步骤S332可以将灰度图像的每个有效灰度图像区域作为作为低像素灰度图像的一个像素，将各个像素按顺序组合形成低像素灰度图像。例如，图12A所示的包含“1”的灰度图像，将图12A中的每个有效灰度图像区域作为一个像素，该像素的灰度值是各个有效灰度图像区域的平均灰度值。
在一些示例中，可以将部分灰度值较低的灰度图像区域去除，对灰度值大于或等于预设平均灰度值的有效灰度图像区域进行处理。由此，能够提高图像处理效率。但本公开的示例不限于此，例如，在降低灰度图像的像素数量时可以将部分灰度值较高的灰度图像区域去除，对灰度值小于预设平均灰度值的有效灰度图像区域进行处理。
另外，上述的三个示例中，不同的低像素化处理方法即步骤S300涉及对图像分区的过程。对图像分区其实是降低像素数量的过程，将灰度图像的像素数量调低可以采用逐次调低的方式，也可以采用一次调低的方式。
在一些示例中，例如，当灰度图像的像素数量为例如30万，即例如640×480个像素时，若需要将该灰度图像的像素从30万调为例如60，如果采用一次调低的方式，可以直接将例如640×480个像素调为例如10×6个像素；如果采用逐次调低的方式，可以先将640×480个像素调为例如10×12个像素，然后将10×12个像素调为例如10×6个像素。本公开的示例不限于此，灰度图像的像素为例如100万、200万、500万、2000万，而降低像素后的灰度图像的像素数量小于或等于60均可，如55个、50个、30个。
另外，在一些示例中，区域的划分可以是均等划分，也可以是不均等划分。
另外，在一些示例中，低像素化处理后得到的低像素灰度图像与低像素化处理前的灰度图像相比，低像素灰度图像的像素数量减少，并且能够相应地减少由灰度图像中相邻像素间的相关性引起的图像数据的冗余，由此，能够降低后续图像处理时的复杂度，以便在后续步骤中提取图像有用信息。
另外，在一些示例中，如图6所示，图像处理方法还包括二值化步骤(步骤S400)。步骤S400可以对低像素灰度图像进行二值化处理，得到二值图像。二值图像的每个像素能够对应于视网膜刺激器1的植入装置10内的刺激电极。刺激电极可以根据二值图像产生电刺激信号。
图13是本公开所涉及的视网膜刺激器的图像处理方法中的二值化步骤流程示意图。如图13所示，步骤S400可以包括比较低像素灰度图像中的每个像素的灰度值与预设灰度值的大小(步骤S410)。预设灰度值可以由人为设定。
在一些示例中，如图13所示，步骤S400还可以包括根据比较的结果，可将低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值。更改灰度值后，即可得到二值图像(步骤S411)。在一些示例中，每个像素可以是例如8位的，则最大灰度值是255，最小灰度值是0。但本公开的示例不限于此，每个像素可以是例如16位的，则最大灰度值是65535，最小灰度值是0。
在一些示例中，步骤S400可以将像素的灰度值大于或等于预设灰度值的低像素灰度图像中的灰度值更改为最大灰度值，将像素的灰度值小于预设灰度值的低像素灰度图像中的灰度值更改为最小灰度值。但本公开的示例不限于此，例如可以将像素的灰度值小于或等于预设灰度值的低像素灰度图像中的灰度值更改为最大灰度值，将像素的灰度值大于预设灰度值的低像素灰度图像中的灰度值更改为最小灰度值。
在一些示例中，低像素的二值图像(也可以称为目标灰度图像)的像素数量小于或等于植入装置10内的刺激电极的规定数量。也即，低像素的二值图像的像素数量和视网膜刺激器1的植入装置10的刺激电极数量相匹配。换而言之，低像素的二值图像的每个像素可以对应一个电极。在这种情况下，当每个像素可以是例如8位的，能够通过高低电平代表两种灰度值。例如，电刺激信号为低电平，可以对应灰度值为0的像素，电刺激信号为高电平，可以对应灰度值为255的像素。但本公开的示例不限于此，例如，电刺激信号为高电平，可以对应灰度值为0的像素，电刺激信号为低电平，可以对应灰度值为255的像素。
图8B是基于图8A的由灰度图像到二值图像的图像处理过程示意图。图10B是基于图10A的由灰度图像到二值图像的图像处理过程示意图。图12B是基于图12A的由灰度图像到二值图像的图像处理过程示意图。
在一些示例中，基于上述的三个示例中的不同的低像素化处理方法得到的低像素灰度图像，如图8B或10B或12B所示，可以分别对低像素灰度图像进行二值化处理，得到二值图像。
图14是本公开所涉及的视网膜刺激器的图像处理效果示意图。如图14所示，可以对灰度图像进行降低像素处理，得到低像素灰度图像。可以对低像素灰度图像进行二值化处理，即可得到二值图像。从图14可以看出，图14中的数字“1”经过降低像素、二值化处理之后，得到的目标灰度图像依然可以较好的识别。
在一些示例中，对初始图像灰度化处理、低像素化处理、以及二值化处理得到二值图像。二值图像的像素数量小于或等于植入装置10内的刺激电极的规定数量。由此，使二值图像的每个像素能够对应于视网膜刺激器1的植入装置10内的刺激电极，以将像素的信息有效地传递到各个刺激电极。因此，佩戴有视网膜刺激器1的患者通过被刺激电极刺激，能够感知来自二值图像像素的信息(光感)，由此，有助于尽可能地帮助患者根据处理后的图像识别并避开物体或障碍物。
虽然以上结合附图和实施例对本公开进行具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。
Claims (5)
1.一种视网膜刺激器的图像处理方法，所述视网膜刺激器具有规定数量的刺激电极，其特征在于：
包括：
获取图像步骤，用于获取初始图像，所述初始图像是患者所处环境的视频图像；
灰度化步骤，用于对所述初始图像进行灰度化处理，得到灰度图像，所述灰度化处理包括分别将各个像素的R、G、B三个分量按照不同的加权系数进行加权计算并将其作为该像素的灰度值；
低像素化步骤，用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量，所述低像素化步骤包括：沿着预设方向对所述灰度图像进行梯度值计算；确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；将所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得所述低像素灰度图像；并且
二值化步骤，用于对所述低像素灰度图像进行二值化处理，得到具有最小灰度值和最大灰度值的二值图像，所述最大灰度值对应高电平，所述最小灰度值对应低电平，
其中，所述刺激电极根据所述二值图像产生对视网膜的神经节细胞或双极细胞发放的电刺激信号，所述电刺激信号为高电平或低电平。
2.根据权利要求1所述的图像处理方法，其特征在于，
所述二值化步骤包括：
比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小；
根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。
3.一种视网膜刺激器的图像处理装置，所述视网膜刺激器具有规定数量的刺激电极，其特征在于，
包括：
获取单元，其用于获取初始图像，所述初始图像是患者所处环境的视频图像；
灰度处理单元，其用于对所述初始图像进行灰度化处理，得到灰度图像，所述灰度化处理包括分别将各个像素的R、G、B三个分量按照不同的加权系数进行加权计算并将其作为该像素的灰度值；
像素处理单元，其用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量，所述像素处理单元包括：计算子单元，其用于沿着预设方向对所述灰度图像进行梯度值计算；确定子单元，其用于确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；第二分区子单元，其用于将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；第二获取子单元，其用于对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；第二像素处理子单元，其用于将所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得所述低像素灰度图像；以及
二值化处理单元，用于对所述低像素灰度图像进行二值化处理，得到具有最小灰度值和最大灰度值的二值图像，所述最大灰度值对应高电平，所述最小灰度值对应低电平，
其中，所述刺激电极根据所述二值图像产生对视网膜的神经节细胞或双极细胞发放的电刺激信号，所述电刺激信号为高电平或低电平。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述二值化处理单元包括：
比较子单元，其用于比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小；
处理子单元，其根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。
5.一种视网膜刺激器，其特征在于，
包括摄像装置、视频处理装置和植入装置，其中：
所述摄像装置，其用于捕获视频图像，并且将所述视频图像转换成视觉信号；
所述视频处理装置，其至少包括权利要求3至4中任一项所述的图像处理装置，所述视频处理装置与所述摄像装置连接，所述视频处理装置用于将所述视觉信号进行处理并经由发射天线发送给所述植入装置；以及
所述植入装置，其用于将所接收的所述视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放所述双向脉冲电流信号来产生光感。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110165734.5A CN112972889B (zh) | 2017-12-29 | 2018-08-14 | 图像处理装置和方法及视网膜刺激器 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711467798 | 2017-12-29 | ||
| CN2017114677980 | 2017-12-29 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110165734.5A Division CN112972889B (zh) | 2017-12-29 | 2018-08-14 | 图像处理装置和方法及视网膜刺激器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109224291A CN109224291A (zh) | 2019-01-18 |
| CN109224291B true CN109224291B (zh) | 2021-03-02 |
Family
ID=65071398
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810924696.5A Active CN109224291B (zh) | 2017-12-29 | 2018-08-14 | 视网膜刺激器的图像处理方法和装置及视网膜刺激器 |
| CN202110165734.5A Active CN112972889B (zh) | 2017-12-29 | 2018-08-14 | 图像处理装置和方法及视网膜刺激器 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110165734.5A Active CN112972889B (zh) | 2017-12-29 | 2018-08-14 | 图像处理装置和方法及视网膜刺激器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN109224291B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820821A (zh) * | 2019-07-31 | 2022-07-29 | 深圳硅基仿生科技有限公司 | 视网膜的植入装置 |
| CN111445527B (zh) * | 2019-12-31 | 2021-09-07 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的条栅视力的检测方法 |
| CN112348067A (zh) * | 2020-10-28 | 2021-02-09 | 北京兆芯电子科技有限公司 | 图像设备及图像处理方法 |
| CN117427278B (zh) * | 2023-12-22 | 2024-04-12 | 厦门鹏芯半导体有限公司 | 一种盲人路径导航系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5943117A (en) * | 1996-11-22 | 1999-08-24 | Jozef F. Van de Velde | Scanning laser ophthalmoscope for retinal microphotocoagulation and measurement of wavefront aberrations |
| US6393327B1 (en) * | 2000-08-09 | 2002-05-21 | The United States Of America As Represented By The Secretary Of The Navy | Microelectronic stimulator array |
| CN104732197A (zh) * | 2013-12-24 | 2015-06-24 | 富士通株式会社 | 目标线检测设备和方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3182876B2 (ja) * | 1991-05-24 | 2001-07-03 | ソニー株式会社 | 画像信号処理方法とその装置 |
| JP2988097B2 (ja) * | 1992-01-10 | 1999-12-06 | 富士電機株式会社 | 濃淡画像の領域分割方法 |
| US8260428B2 (en) * | 2003-05-01 | 2012-09-04 | California Institute Of Technology | Method and system for training a visual prosthesis |
| JP2007011939A (ja) * | 2005-07-04 | 2007-01-18 | Noritsu Koki Co Ltd | 画像判定装置及びその方法 |
| GB0612242D0 (en) * | 2006-06-21 | 2006-08-02 | Imp Innovations Ltd | Retinal prosthetic devices |
| EP2049196A2 (en) * | 2006-07-28 | 2009-04-22 | Second Sight Medical Products, Inc. | Visual prosthesis |
| US8180129B2 (en) * | 2008-01-31 | 2012-05-15 | Medtronic, Inc. | Electrode-to-lead association using post-implant imaging |
| CN100586403C (zh) * | 2008-03-06 | 2010-02-03 | 上海交通大学 | 视觉假体图像处理装置及方法 |
| CN101879348A (zh) * | 2010-06-18 | 2010-11-10 | 中国人民解放军第三军医大学第一附属医院 | 经硬脑膜外电刺激的视觉功能修复系统 |
| WO2013029097A2 (en) * | 2011-08-30 | 2013-03-07 | Monash University | System and method for processing sensor data for the visually impaired |
| CN103200389B (zh) * | 2013-03-15 | 2017-02-08 | 广州市海珠区亮瞳眼视光研究所 | 一种双焦距分体式电子助视器 |
| CN104077773A (zh) * | 2014-06-23 | 2014-10-01 | 北京京东方视讯科技有限公司 | 图像边缘检测方法、图像目标识别方法及装置 |
| CN106296578B (zh) * | 2015-05-29 | 2020-04-28 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
| TWI569817B (zh) * | 2015-07-08 | 2017-02-11 | 國立交通大學 | 人工視網膜系統、眼外光學裝置及眼內植入晶片 |
| CN106137532B (zh) * | 2016-09-19 | 2019-01-25 | 清华大学 | 一种图像处理方法 |
-
2018
- 2018-08-14 CN CN201810924696.5A patent/CN109224291B/zh active Active
- 2018-08-14 CN CN202110165734.5A patent/CN112972889B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5943117A (en) * | 1996-11-22 | 1999-08-24 | Jozef F. Van de Velde | Scanning laser ophthalmoscope for retinal microphotocoagulation and measurement of wavefront aberrations |
| US6393327B1 (en) * | 2000-08-09 | 2002-05-21 | The United States Of America As Represented By The Secretary Of The Navy | Microelectronic stimulator array |
| CN104732197A (zh) * | 2013-12-24 | 2015-06-24 | 富士通株式会社 | 目标线检测设备和方法 |
Non-Patent Citations (1)
| Title |
|---|
| Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision;Ying Zhao et al;《Information Sciences》;20100815;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112972889A (zh) | 2021-06-18 |
| CN109224291A (zh) | 2019-01-18 |
| CN112972889B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109224291B (zh) | 视网膜刺激器的图像处理方法和装置及视网膜刺激器 | |
| US9061150B2 (en) | Saliency-based apparatus and methods for visual prostheses | |
| AU2012252200B2 (en) | Method and device for controlling a device for aiding vision | |
| US20040236389A1 (en) | Method and system for training a visual prosthesis | |
| CN109993115A (zh) | 图像处理方法、装置及可穿戴设备 | |
| US20060058857A1 (en) | Artificail vision system | |
| CN110060311B (zh) | 视网膜刺激器的图像处理装置 | |
| CN106137532A (zh) | 视皮层假体的图像处理装置及方法 | |
| CN109308708B (zh) | 低像素的图像处理方法、装置以及视网膜刺激器 | |
| CN111445527B (zh) | 视网膜刺激器的条栅视力的检测方法 | |
| CN112396667B (zh) | 视网膜刺激器的电极位置的匹配方法 | |
| US20220257928A1 (en) | System and method of visual-cortical prosthetics | |
| US10984234B2 (en) | Method and apparatus for image recognition based on retina prosthesis | |
| Holiel et al. | Enhancing Scene Simplification and Optimization for Retinal Prosthesis Platform | |
| Zou et al. | Extraocular image processing for retinal prosthesis based on DSP | |
| CN114092974A (zh) | 身份识别方法、装置、终端以及存储介质 | |
| CN212817627U (zh) | 射频信号检测装置及视网膜刺激器 | |
| EP4429613A1 (en) | Method of operating visual sensory device | |
| CN113407026B (zh) | 增强无毛发区脑电响应强度的脑-机接口系统和方法 | |
| Romero et al. | Reconfigurable retina-like preprocessing platform for cortical visual neuroprostheses | |
| Al-Atabany et al. | Efficient scene preparation and downscaling prior to stimulation in retinal prosthesis | |
| Fattah et al. | Image Processing and Still Image Transferring for Optogenetics Visual Cortical Stimulator | |
| Liu et al. | Image processing methods for visual prostheses based on DSP | |
| Zou et al. | A stimulus pattern extraction algorithm based on saliency map for a 625-channel retinal prosthesis system | |
| CN114558225A (zh) | 一种视知觉训练系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 A, 4 building, 3 Ting Wei Industrial Park, 6 Baoan District Road, Xin'an, Shenzhen, Guangdong. Patentee after: Shenzhen Silicon Bionics Technology Co.,Ltd. Address before: 518000 A, 4 building, 3 Ting Wei Industrial Park, 6 Baoan District Road, Xin'an, Shenzhen, Guangdong. Patentee before: SHENZHEN SIBIONICS TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |