CN114266351A - 基于无监督学习时间编码的脉冲神经网络训练方法及系统 - Google Patents
基于无监督学习时间编码的脉冲神经网络训练方法及系统 Download PDFInfo
- Publication number
- CN114266351A CN114266351A CN202111537939.8A CN202111537939A CN114266351A CN 114266351 A CN114266351 A CN 114266351A CN 202111537939 A CN202111537939 A CN 202111537939A CN 114266351 A CN114266351 A CN 114266351A
- Authority
- CN
- China
- Prior art keywords
- neuron
- pulse
- time
- neurons
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 210000002569 neuron Anatomy 0.000 claims abstract description 138
- 230000000946 synaptic effect Effects 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 8
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 238000012421 spiking Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 210000000225 synapse Anatomy 0.000 claims description 11
- 230000001242 postsynaptic effect Effects 0.000 claims description 10
- 239000012528 membrane Substances 0.000 claims description 7
- 230000003518 presynaptic effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000010304 firing Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 230000036962 time dependent Effects 0.000 abstract description 5
- 230000002829 reductive effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013529 biological neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于无监督学习时间编码的脉冲神经网络训练方法及系统。方法步骤如下:步骤1、根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量;步骤2、将输入图像编码的脉冲时间向量从小到大排序;步骤3、排序后的向量用于生成每个神经元的输出脉冲时间;步骤4、更新首脉冲神经元的突触权重;步骤5、每个神经元在训练完成后根据其对十类数字的最早反应分配一类,这些神经元用于在测试集上测量网络的分类精度。本方法使用脉冲时间依赖可塑性(STDP)训练网络,只更新连接到首脉冲神经元的权重,显著降低了突触权重更新的频率,可以减少计算的冗余,降低功耗和面积开销。
Description
技术领域
本发明涉及图像处理、人工智能算法及脉冲神经网络领域,具体涉及一种基于无监督学习时间编码的脉冲神经网络训练方法及系统。
背景技术
受脑神经网络结构的启发,研究者提出了人工神经网络模型。然而,与复杂生物神经网络的信息处理能力相比,传统的人工神经网络面临着固有的局限性。为了解决这些问题,更符合生物神经网络系统实际情况的第三代人工神经网络模型——脉冲神经网络(SNN)应运而生。
与深度神经网络相比,脉冲神经网络模拟生物神经元的脉冲发放行为,以二元离散脉冲的形式相互通信,因此具有能效优势。大脑中的神经元通过突触连接,突触可以随着时间的推移而增强或减弱。脉冲时间依赖性可塑性(STDP)是突触可塑性的一种无监督学习规则,其考虑了突触前和突触后脉冲时间之间的差异,如果突触前神经元比突触后神经元更早激发,则突触增强,否则突触减弱。因为STDP是一种局部学习规则,更新突触权重的方法相对简单,因此与反向传播相比,STDP更适合在线学习,
近年来,研究者提出了许多训练SNN的方法,在使用STDP学习规则的SNN中,频繁的突触权重更新以及膜电位的更新需要大量的更新操作,这对于硬件实现来说需要消耗大量运算资源,是相当昂贵的。每当输入脉冲出现时,神经元的所有膜电位都会通过增加突触电流而更新,这会导致沉重的计算负担。
发明内容
发明目的:本发明的目的在于克服以上现有技术之不足,为了减轻计算负担,提出了一种基于STDP的时间编码脉冲神经网络的无监督学习训练方法,该方法将时间编码方案扩展到具有STDP规则的脉冲神经网络。输入图像的信息直接以脉冲时间编码,每个神经元最多可以触发一次,且每次只选择一个神经元更新其权重,在每次正向传播中,突触权重只更新一次,因此突触权重更新的数量显著减少,不需要大量的时间步长。此外,无论是在训练模式还是在推理模式下,前向传播都可以提前停止。与基于频率的 SNN相比,本发明提出的网络使得学习成本显著降低,在推理模式下的计算量和延迟也减少,因此在神经形态结构上可以更有效地实现。具体由以下技术方案实现:
第一方面,提出一种基于无监督学习时间编码的脉冲神经网络训练方法,构造了一个只有一个全连接层而没有抑制层的脉冲神经网络,使用时间编码机制,使得输入信息直接编码到脉冲时间,使用脉冲时间依赖可塑性(STDP)训练网络,首脉冲神经元在前向传播中最先产生脉冲,在训练过程中,只更新连接到首脉冲神经元的权重,这显著降低了突触权重更新的频率。且无论是在训练模式还是在推理模式下,一旦神经元触发,前向传播过程都可以停止,从而避免了许多不必要的计算,并减少了推理模式下的延迟。
方法包括以下步骤:
1)根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量;
2)将输入图像编码的脉冲时间向量从小到大排序;
3)排序后的向量用于生成每个神经元的输出脉冲时间;
4)网络中最先出现峰值的神经元为首脉冲神经元,只有首脉冲神经元需要被更新突触参数,一旦一个神经元在训练过程中出现脉冲,这一次的前向传播就可以终止,不需要等待网络中其他神经元的输出,一旦首脉冲神经元的突触权重更新完成,下一次正向传播将开始,这有助于避免在训练期间进行许多不必要的计算;
5)在数据集中进行训练和推理,每个神经元在训练完成后根据其对不同分类情况的最早反应分配一类。然后,这些神经元可用于在测试集上测量网络的分类精度。响应最早的神经元类别,也就是在所有神经元中具有最小脉冲响应时间的神经元,就是网络的预测结果。
在第一方面的一些可实现方式中,所述时间编码方法,即根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量。编码方法如下式:
ti=α(1-input)β
式中,input为输入图像像素标准化为[0,1]之间的值,α和β为调整两个像素的绝对峰值时间和相对峰值时间的参数。
在第一方面的一些可实现方式中,排序后的向量用于生成每个神经元的输出脉冲时间。脉冲时间计算方法为下式:
其中,Vth为点火阈值,C={i,ti<tout},很明显,只有集合C中的权重之和大于神经元的膜阈值,反对数为正,因此tout有解,神经元有机会激发。即使前向传播结束,大多数神经元也不会激发。
在第一方面的一些可实现方式中,网络中最先出现峰值的神经元为首脉冲神经元,只有首脉冲神经元需要被更新突触参数。即在训练过程中,采用了一种“赢家通吃”的学习机制,每次更新突触权重的只有获胜者神经元,即唯一被选择来更新其突触权重的神经元是网络中最先出现峰值的神经元。一旦一个神经元在训练过程中出现尖峰,这一次的前向传播就可以终止,不需要等待网络中其他神经元的输出。一旦第一个尖峰神经元的突触重量更新完成,下一个正向传播将开始。因为前向传播可以提前结束,所以这有助于避免在训练期间进行许多不必要的计算,此外,该网络不需要抑制层,因为不需要抑制神经元。
在第一方面的一些可实现方式中,训练中采用了基于STDP的基本规则,每次突触后神经元出现峰值时,计算突触前神经元与后神经元的时间差Δt=tpre-tpost,网络中突触的初始权重随机设定,平均值为0.1,标准偏差为0.05,更新方法为下式:
式中,Δω表示突触权重的变化量,Ap、An、Tp、Tn为衡量突触权重变化幅度的参数,其中Ap>0,An<0,Tp,Tn>0,Δt表示突触前神经元与后神经元的时间差。
第二方面,提出一种脉冲神经网络训练系统,该系统包括编码模块、排序模块、权重更新模块三部分。
编码模块根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量。排序模块用于将输入图像编码的脉冲时间向量从小到大排序;排序后的向量用于生成每个神经元的输出脉冲时间。权重更新模块用于更新首脉冲神经元的突触权重。
每个神经元在训练完成后根据其对十类数字的最早反应分配一类,这些神经元用于在测试集上测量网络的分类精度;响应最早的神经元类别,即是在所有神经元中具有最小脉冲响应时间的神经元,即是网络的预测结果。
第三方面,提出一种脉冲神经网络训练设备,该设备包括至少一个处理器和存储器;存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如第一方面及第一方面的一些实施例中提及的脉冲神经网络训练方法。
第四方面,提出一种可读存储介质,该可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面及第一方面的一些实施例中提及的脉冲神经网络训练方法。
有益效果:
第一,该发明使用时间编码方法,将输入图像直接编码为脉冲时间向量,网络比其他基于频率的SNN稀疏得多。
第二,该发明提出了一种硬件友好的算法,使用脉冲时间依赖可塑性(STDP)训练网络,只更新连接到首脉冲神经元的权重,显著降低了突触权重更新的频率,可以减少计算的冗余,降低功耗和面积开销。
第三,该发明无论是在训练模式还是在推理模式下,一旦神经元触发,前向传播过程都可以停止,从而避免了许多不必要的计算,并减少了推理模式下的延迟。
第四,该发明设计了一种基于神经元响应快慢的图像识别策略,能很好支持在线学习的图像识别的任务。
综上所述,本发明提出的网络使得学习成本显著降低,在推理模式下的计算量和延迟也减少,因此在神经形态结构上可以更有效地实现。
附图说明
图1为本发明构建的基于STDP的时间编码脉冲神经网络的无监督学习训练方法的流程框图。
图2是为本发明构建的基于STDP的时间编码脉冲神经网络的无监督学习训练方法的网络结构示意图。
图3是本发明在MNIST数据集上使用不同数量神经元训练网络的性能示意图。
图4是本发明在MNIST数据集上训练网络的收敛性示意图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
近年来,研究者提出了许多训练SNN的方法,在使用STDP学习规则的SNN中,频繁的突触权重更新以及膜电位的更新需要大量的更新操作,这对于硬件实现来说需要消耗大量运算资源,是相当昂贵的。每当输入脉冲出现时,神经元的所有膜电位都会通过增加突触电流而更新,这会导致沉重的计算负担。在SNN的训练中,神经元发送的信息目前主要有用两种不同的编码方案,即频率编码和时间编码。在基于频率的SNN中,在时间窗口期间生成的脉冲数表示真实值的强度。在基于时间的SNN中,正在传输的值被编码到脉冲之间的相对时间,因此网络比基于频率的SNN稀疏得多,基于时间的SNN可以被认为是一种更节能的替代方案,然而,基于时间的SNN通常更难训练。
为了减轻计算负担,本发明提出了一种基于STDP的时间编码脉冲神经网络的无监督学习训练方法,该方法将时间编码方案扩展到具有STDP规则的脉冲神经网络。输入图像的信息直接以脉冲时间编码,每个神经元最多可以触发一次,且每次只选择一个神经元更新其权重,在每次正向传播中,突触权重只更新一次,因此突触权重更新的数量显著减少,不需要大量的时间步长。此外,无论是在训练模式还是在推理模式下,前向传播都可以提前停止。与基于频率的SNN相比,本发明提出的网络使得学习成本显著降低,在推理模式下的计算量和延迟也减少,因此在神经形态结构上可以更有效地实现。
如图1,该实例的基于STDP的时间编码脉冲神经网络的无监督学习训练方法,构造了一个只有一个全连接层而没有抑制层的脉冲神经网络,使用时间编码机制,使得输入信息直接编码到脉冲时间。使用脉冲时间依赖可塑性(STDP)训练网络,具体训练网络及其机制如图2所示,首脉冲神经元在前向传播中最先产生脉冲,只更新连接到首脉冲神经元的权重,这显著降低了突触权重更新的频率。且无论是在训练模式还是在推理模式下,一旦神经元触发,前向传播过程都可以停止,从而避免了许多不必要的计算,并减少了推理模式下的延迟,方法包括以下步骤:
1)根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量;
2)将输入图像编码的脉冲时间向量从小到大排序;
3)排序后的向量用于生成每个神经元的输出脉冲时间;
4)更新首脉冲神经元的突触权重;
5)每个神经元在训练完成后根据其对十类数字的最早反应分配一类,然后,这些神经元可用于推理模式的图像分类。
下面以本发明的一个实例进行详细说明,通过推理模式对算法设计进行验证。将图像数据分为训练样本和测试样本,本实例所有数据集为MNIST数据集,由70000张大小为28×28的灰度图像组成,其中训练数据60000张,测试数据10000张,类别分为10类,为手写数字0-9。
本发明基于图1所示流程的基于STDP的时间编码脉冲神经网络的无监督学习训练方法,训练网络如图2所示,实例中输入的图像大小为28×28的单通道灰度图像,根据图1所示流程,该实例实现步骤如下:
1)将输入图像28×28的像素值标准化至[0,1]之间,并将此28×28像素矩阵展开为 784维的向量,再根据与输入像素强度相关的特定编码方案生成脉冲序列,将784维输入向量编码为脉冲时间向量,编码方式为:ti=α(1-input)β,其中input为输入图像像素标准化为[0,1]之间的值,α和β为调整两个像素的绝对峰值时间和相对峰值时间的参数,具体取值如表1所示。
表1.实例中使用的参数
2)将该脉冲时间向量使用sort函数使之从最小到最大排序。排序后的向量用于步骤 3)以获得每个神经元的输出脉冲时间。
3)排序后的向量使用计算出每个神经元的输出脉冲时间tout,其中,Vth为点火阈值,C={i,ti<tout},很明显,只有集合C中的权重之和大于神经元的膜阈值Vth,其反对数为正,上式才有解,神经元有机会激发。即使前向传播结束,大多数神经元也不会激发。网络中突触的初始权重随机设定,平均值为0.1,标准偏差为0.05,然后可以在步骤4)中应用STDP学习规则对首脉冲调整突触权重。
4)网络中最先出现峰值的神经元为首脉冲神经元,只有首脉冲神经元需要被更新突触参数。训练中采用了基于STDP的基本规则,每次突触后神经元出现峰值时,计算突触前神经元与后神经元的时间差Δt=tpre-tpost,更新方法为:一旦一个神经元在训练过程中出现脉冲,这一次的前向传播就可以终止,不需要等待网络中其他神经元的输出,一旦首脉冲神经元的突触权重更新完成,下一次正向传播将开始,这有助于避免在训练期间进行许多不必要的计算。
为了探讨神经元数量对性能的影响,我们在MNIST数据集上训练了四个网络,分别包含400个、800个、1600个和2400个神经元,这四个网络的其他所有参数都相同。如表2所示,它们的平均分类准确率分别为88.5%、88.6%、90.1%和89.4%。可以看出,增加网络中的神经元数量不会显著提高网络性能,在包含1600个神经元的网络中,分类精度达到最佳,当神经元数量超过1600个时,分类精度甚至会下降。一个可能的原因是,网络的输出仅由首先出现峰值的首脉冲神经元决定,即使有更多的神经元,输出仍然只由一个神经元决定,并且大多数神经元在推理中不会影响输出。因此,简单地增加一层神经元的数量对于第一个基于尖峰的时间编码SNN可能没有用处。
表2.不同神经元数量对网络准确率的影响
神经元数量 | 400 | 800 | 1600 | 2400 |
测试准确率 | 88.5% | 88.6% | 90.1% | 89.4% |
在训练过程中,只有最先出现峰值的首脉冲神经元才需要更新其突触权重,突触权重更新的计算量大大减少,因此更适合在硬件上实现。除了每次只选择一个神经元来更新其突触权重的情况外,我们还测试了选择2、3、4个神经元来更新突触权重的性能,如图2所示。可以看出,只有一个神经元按预期选择的情况下才能达到测试精度,增加选定神经元的数量不能提高准确性,相反却会增加训练过程中突触权重更新的计算量。
5)在MNIST数据集中进行训练和推理,为了知道网络预测的数字,每个神经元在训练完成后根据其对十类数字的最早反应分配一类。然后,这些神经元可用于在MNIST 测试集上测量网络的分类精度。响应最早的神经元类别,也就是在所有神经元中具有最小脉冲响应时间的神经元,就是网络的预测数字。
在使用400个神经元的情况下,推理的准确性变化曲线如图4所示,可以看出,大多数突触权重为负数,这可以抑制神经元并阻止神经元放电。这表明大多数突触起抑制性突触的作用,即当一个输入数字呈现给网络时,只有少数神经元产生脉冲。在推理过程中,约有16%的神经元能在包含400个神经元的网络中产生脉冲,只有约3%的神经元能在包含1600个神经元的网络中产生脉冲。在推理模式下,网络在在实验中计算平均80个输入像素,而一个输入MNIST图像包含784个像素。只计算大约10%的输入图像像素,然后网络就可以得到输出,这表明推断模式中的延迟显著减少。
表3将我们的工作与传统方案的参考网络进行了比较。与参考网络相比,我们提出的工作通过非常低成本的突触权重更新实现了具有竞争力的识别性能,并且不存在抑制性神经元,使得所提出的网络结构相对简单。
表3.网络性能对比
传统网络1 | 传统网络2 | 本发明 | |
神经元数量 | 1600 | 800 | 400 |
更新权重的神经元数量 | 1600 | 800 | 1 |
MNIST数据集中的准确率 | 91.9% | 90.0% | 88.5% |
本发明的技术方案提出了一种基于STDP的时间编码脉冲神经网络的无监督学习训练方法,输入图像直接转换为脉冲时间,网络的输出也是脉冲时间,使用脉冲时间依赖可塑性(STDP)训练网络,只更新连接到首脉冲神经元的权重,这显著降低了突触权重更新的频率。且无论是在训练模式还是在推理模式下,一旦神经元触发,前向传播过程都可以停止,从而避免了许多不必要的计算,并减少了推理模式下的延迟,不需要复杂的学习规则,学习方法和网络都很简单,并且突触权重更新需要很少的计算,因此适合于片上训练。该网络在MINST测试集上的准确率达到88.5%,表明了该网络的可行性。
如上所述,尽管参照特定的优选实施例已经表示和表述了本实施例,但其不得解释为对本实施例自身的限制。在不脱离所附权利要求定义的本实施例的精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (9)
1.基于无监督学习时间编码的脉冲神经网络训练方法,其特征在于,所述方法包括:
步骤1、根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量;
步骤2、将输入图像编码的脉冲时间向量从小到大排序;
步骤3、排序后的向量用于生成每个神经元的输出脉冲时间;
步骤4、更新首脉冲神经元的突触权重;
步骤5、每个神经元在训练完成后根据其对十类数字的最早反应分配一类,这些神经元用于在测试集上测量网络的分类精度。
4.根据权利要求1所述的脉冲神经网络训练方法,其特征在于,步骤4进一步包括:
网络中最先出现峰值的神经元为首脉冲神经元,一旦一个神经元在训练过程中出现脉冲,这一次的前向传播就终止;
一旦首脉冲神经元的突触权重更新完成,下一次正向传播开始。
5.根据权利要求1所述的脉冲神经网络训练方法,其特征在于,步骤5中响应最早的神经元类别,即是在所有神经元中具有最小脉冲响应时间的神经元,即是网络的预测结果。
7.脉冲神经网络训练系统,其特征在于,所述系统包括:
编码模块,根据与输入像素强度相关的特定编码方案生成脉冲序列,将输入图像编码为脉冲时间向量;
排序模块,用于将输入图像编码的脉冲时间向量从小到大排序;排序后的向量用于生成每个神经元的输出脉冲时间;
权重更新模块,用于更新首脉冲神经元的突触权重;
每个神经元在训练完成后根据其对十类数字的最早反应分配一类,这些神经元用于在测试集上测量网络的分类精度;响应最早的神经元类别,即是在所有神经元中具有最小脉冲响应时间的神经元,即是网络的预测结果。
8.脉冲神经网络训练设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
至少一个处理器执行所述存储器存储的计算机执行指令,使得至少一个处理器执行如权利要求1至6任一项所述的脉冲神经网络训练方法。
9.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至6任一项所述的脉冲神经网络训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111537939.8A CN114266351A (zh) | 2021-12-15 | 2021-12-15 | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111537939.8A CN114266351A (zh) | 2021-12-15 | 2021-12-15 | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114266351A true CN114266351A (zh) | 2022-04-01 |
Family
ID=80827404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111537939.8A Pending CN114266351A (zh) | 2021-12-15 | 2021-12-15 | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114266351A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970829A (zh) * | 2022-06-08 | 2022-08-30 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
CN115496195A (zh) * | 2022-08-08 | 2022-12-20 | 西安电子科技大学 | 基于mzi阵列和fp-sa的光脉冲神经网络实现装置 |
CN117456577A (zh) * | 2023-10-30 | 2024-01-26 | 苏州大学 | 基于光脉冲神经网络实现表情识别的系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092959A (zh) * | 2017-04-07 | 2017-08-25 | 武汉大学 | 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型 |
US20170337469A1 (en) * | 2016-05-17 | 2017-11-23 | Agt International Gmbh | Anomaly detection using spiking neural networks |
CN108875846A (zh) * | 2018-05-08 | 2018-11-23 | 河海大学常州校区 | 一种基于改进的脉冲神经网络的手写数字识别方法 |
CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
CN112906828A (zh) * | 2021-04-08 | 2021-06-04 | 周士博 | 一种基于时域编码和脉冲神经网络的图像分类方法 |
-
2021
- 2021-12-15 CN CN202111537939.8A patent/CN114266351A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170337469A1 (en) * | 2016-05-17 | 2017-11-23 | Agt International Gmbh | Anomaly detection using spiking neural networks |
CN107092959A (zh) * | 2017-04-07 | 2017-08-25 | 武汉大学 | 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型 |
CN108875846A (zh) * | 2018-05-08 | 2018-11-23 | 河海大学常州校区 | 一种基于改进的脉冲神经网络的手写数字识别方法 |
CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
CN112906828A (zh) * | 2021-04-08 | 2021-06-04 | 周士博 | 一种基于时域编码和脉冲神经网络的图像分类方法 |
Non-Patent Citations (3)
Title |
---|
H. MOSTAFA 等: "Supervised Learning Based on Temporal Coding in Spiking Neural Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, vol. 29, no. 7, 31 July 2018 (2018-07-31), pages 3227 - 3235, XP011685856, DOI: 10.1109/TNNLS.2017.2726060 * |
SONG S 等: "Competitive Hebbian learning through spike-timing-dependent synaptic plasticity", 《NAT NEUROSCI》, vol. 3, no. 9, 30 September 2000 (2000-09-30), pages 919 - 926 * |
赖策, 魏小琴: "基于卷积脉冲神经网络的图像分类算法仿真", 《信息技术与信息化》, no. 4, 28 April 2020 (2020-04-28), pages 143 - 145 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970829A (zh) * | 2022-06-08 | 2022-08-30 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
CN114970829B (zh) * | 2022-06-08 | 2023-11-17 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
CN115496195A (zh) * | 2022-08-08 | 2022-12-20 | 西安电子科技大学 | 基于mzi阵列和fp-sa的光脉冲神经网络实现装置 |
CN117456577A (zh) * | 2023-10-30 | 2024-01-26 | 苏州大学 | 基于光脉冲神经网络实现表情识别的系统及方法 |
CN117456577B (zh) * | 2023-10-30 | 2024-04-26 | 苏州大学 | 基于光脉冲神经网络实现表情识别的系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112633497B (zh) | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 | |
CN111858989B (zh) | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 | |
CN107092959B (zh) | 基于stdp非监督学习算法的脉冲神经网络模型构建方法 | |
CN114266351A (zh) | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 | |
Shrestha et al. | Stable spike-timing dependent plasticity rule for multilayer unsupervised and supervised learning | |
Zhang et al. | Fast and robust learning in spiking feed-forward neural networks based on intrinsic plasticity mechanism | |
CN112906828A (zh) | 一种基于时域编码和脉冲神经网络的图像分类方法 | |
CN108304912B (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法 | |
CN109635938B (zh) | 一种自主学习脉冲神经网络权值量化方法 | |
CN110363230A (zh) | 基于加权基分类器的stacking集成污水处理故障诊断方法 | |
CN113902092A (zh) | 一种脉冲神经网络间接监督训练方法 | |
CN111310816B (zh) | 基于无监督匹配追踪编码的仿脑架构图像识别方法 | |
CN116796207A (zh) | 一种基于脉冲神经网络的自组织映射聚类方法 | |
Lan et al. | Pc-snn: Supervised learning with local hebbian synaptic plasticity based on predictive coding in spiking neural networks | |
CN112232440A (zh) | 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法 | |
CN114118378A (zh) | 基于阈值自适应神经元的硬件友好stdp学习方法和系统 | |
CN112288078B (zh) | 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统 | |
Deng et al. | Stdp and competition learning in spiking neural networks and its application to image classification | |
KR102191346B1 (ko) | 버스트 스파이크에 기반한 스파이킹 신경망 생성 방법 및 스파이킹 신경망 기반 추론 장치 | |
Paudel et al. | Resiliency of SNN on black-box adversarial attacks | |
CN114943329B (zh) | 基于忆阻器的可片上强化学习脉冲gan模型及设计方法 | |
CN116702865A (zh) | 基于知识迁移的脉冲神经网络训练方法、设备及存储介质 | |
CN116663623A (zh) | 类脑突触学习方法及类脑技术的神经形态硬件系统 | |
Sun et al. | Unsupervised learning based on temporal coding using STDP in spiking neural networks | |
Sun et al. | Deep spiking neural network with ternary spikes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |