CN110232443A - 实现液体状态机的脉冲神经网络数模混合电路系统 - Google Patents
实现液体状态机的脉冲神经网络数模混合电路系统 Download PDFInfo
- Publication number
- CN110232443A CN110232443A CN201910611177.8A CN201910611177A CN110232443A CN 110232443 A CN110232443 A CN 110232443A CN 201910611177 A CN201910611177 A CN 201910611177A CN 110232443 A CN110232443 A CN 110232443A
- Authority
- CN
- China
- Prior art keywords
- capacitor
- resistance
- restructural
- array
- triode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 239000007788 liquid Substances 0.000 title claims abstract description 22
- 210000002569 neuron Anatomy 0.000 claims abstract description 70
- 239000003990 capacitor Substances 0.000 claims description 145
- 210000000225 synapse Anatomy 0.000 claims description 54
- 108010052164 Sodium Channels Proteins 0.000 claims description 34
- 102000018674 Sodium Channels Human genes 0.000 claims description 34
- 102000004257 Potassium Channel Human genes 0.000 claims description 30
- 239000012528 membrane Substances 0.000 claims description 30
- 108020001213 potassium channel Proteins 0.000 claims description 30
- 230000002964 excitative effect Effects 0.000 claims description 26
- 230000002401 inhibitory effect Effects 0.000 claims description 23
- 230000003956 synaptic plasticity Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000005611 electricity Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000012421 spiking Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 230000000284 resting effect Effects 0.000 claims description 5
- 210000000170 cell membrane Anatomy 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 108091006146 Channels Proteins 0.000 claims description 2
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 claims description 2
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 claims description 2
- NPYPAHLBTDXSSS-UHFFFAOYSA-N Potassium ion Chemical compound [K+] NPYPAHLBTDXSSS-UHFFFAOYSA-N 0.000 claims description 2
- FKNQFGJONOIPTF-UHFFFAOYSA-N Sodium cation Chemical compound [Na+] FKNQFGJONOIPTF-UHFFFAOYSA-N 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims description 2
- 238000007599 discharging Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 229910052700 potassium Inorganic materials 0.000 claims description 2
- 239000011591 potassium Substances 0.000 claims description 2
- 229910001414 potassium ion Inorganic materials 0.000 claims description 2
- 239000011734 sodium Substances 0.000 claims description 2
- 229910052708 sodium Inorganic materials 0.000 claims description 2
- 229910001415 sodium ion Inorganic materials 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract 5
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 241000519996 Teucrium chamaedrys Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- QUTYKIXIUDQOLK-PRJMDXOYSA-N 5-O-(1-carboxyvinyl)-3-phosphoshikimic acid Chemical compound O[C@H]1[C@H](OC(=C)C(O)=O)CC(C(O)=O)=C[C@H]1OP(O)(O)=O QUTYKIXIUDQOLK-PRJMDXOYSA-N 0.000 description 1
- 206010001497 Agitation Diseases 0.000 description 1
- 101100477360 Arabidopsis thaliana IPSP gene Proteins 0.000 description 1
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- KHMVXSQLPUNRCF-UHFFFAOYSA-N DL-Adalin Natural products C1CCC2CC(=O)CC1(CCCCC)N2 KHMVXSQLPUNRCF-UHFFFAOYSA-N 0.000 description 1
- KOTOUBGHZHWCCJ-UHFFFAOYSA-N IPSP Chemical compound CCS(=O)CSP(=S)(OC(C)C)OC(C)C KOTOUBGHZHWCCJ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004242 electrical synapse Anatomy 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Logic Circuits (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种实现液体状态机的脉冲神经网络数模混合电路系统，包括A2S编码输入层、SNN计算层、S2A解码层、在线学习与输出控制器和超参数控制器。SNN计算层包括N个脉冲神经元电路，通过神经元间可重构互连网络连接，A2S编码输入层与SNN计算层之间通过输入输出可重构互连网络连接，A2S编码输入层包括M个A2S编码单元；S2A解码层通过输入输出可重构互连网络与SNN计算层及A2S编码输入层连接，S2A解码层包括M+N个S2A解码单元。所述混合电路系统结合了模拟电路计算速度快和数字电路计算灵活性高的优势，使其具有计算效率高、实时性强和在线学习的特点，从而推动ANN技术在物联网应用场景中的应用。
Description
技术领域
本发明涉及模仿生物神经元网络实现人工智能的神经形态工程，尤其涉及一种实现液体状态机的脉冲神经网络数模混合电路系统。
背景技术
神经科学研究表明，生物神经系统是由大量的神经元相互连接而成的高复杂性、强非线性的网络信息系统。科学家们对生物神经网络的结构与功能进行观测、试验与建模，试图通过模仿其表达、传递、处理以及记忆信息的机制来探索其工作原理，建立类脑信息处理系统，以期实现真正的人工智能。因此，产生了人工神经网络（ANN）技术。第一代ANN采用阶跃函数作为激活函数,采用浅层前馈连接网络结构，典型代表包括M-P模型、感知器模型、Adaline模型等。第一代神经网络难以应对线性不可分的问题，科学家将阶跃函数替换为更平滑的非线性函数（如Sigmoid函数、ReLU函数）等，同时在新型学习算法的帮助下（如梯度下降算法），发展出第二代ANN，典型代表包括多层感知器、深度神经网络、霍普菲尔德网络、自组织网络、卷积神经网络以及支持向量机等。目前，成熟的人工智能技术主要使用第二代ANN技术，使用图形加速卡（GPU）阵列在大量的已标注数据集中对ANN的网络参数进行训练，这对硬件系统的计算能力和已标注数据的数量要求很高，其计算能耗也很大。因此，此技术应用于物联网场景时，通常需要将物联网传感器采集的数据通过信息网络上传到服务器端，对其进行离线学习和处理后再将结果回传到物联网的执行终端，产生响应动作。因此，ANN技术应用于物联网场景，面临着降低功耗、提高计算效率和实现在线学习等方面的技术挑战。
针对此问题，学术界提出了第三代ANN技术，即脉冲神经网络（SNN）。它是将连续的模拟传感信号编码成离散脉冲信号（神经电生理领域称为动作电位）的时空分布信息；使用生物神经元电生理模型（例如HH模型，FHN模型，LIF模型等）作为信息处理单元，它能对脉冲序列进行非线性整合；使用神经突触模型（如化学突触、电突触等）作为网络连接单元，能够模拟突触后电势的传递和神经递质作用效果（如兴奋性突触的EPSP、抑制性突触的IPSP）；进而结合无尺度、小世界等拓扑属性组成复杂网络结构；在监督学习机制（如梯度下降、线性回归等）或非监督学习可塑性机制（如Hebb学习机制、STDP可塑机制、E-I平衡机制等）的控制下优化网络权重参数，实现类脑智能信息处理的功能。
液体状态机（Liquid State Machine,LSM）是SNN的典型代表，它的液体层（隐含层）使用SNN计算模型。LSM可以将低维的脉冲序列输入信号转换成高维状态，在高维空间提取信号特征。其最大的特点是，在计算的过程中液体层的连接权值保持不变，只对隐含层与输出层的连接权值进行训练，具有简便的计算过程和丰富的动态特性，液体状态因而拥有强大的计算能力。因此，实现支持液体状态机计算模型的电路系统有望解决ANN在物联网应用场景中遇到的功耗、计算效率和在线学习的问题，具有重要的应用前景。
发明内容
本发明所要解决的技术问题是如何提供一种计算效率高、实时性强并可在线学习的实现液体状态机的脉冲神经网络数模混合电路系统。
为解决上述技术问题，本发明所采取的技术方案是：一种实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：包括A2S编码输入层、SNN计算层、S2A解码层、在线学习与输出控制器和超参数控制器，所述A2S编码输入层将传感器采集的连续的多路模拟信号转换成离散的具有时空分布特征的多通道脉冲信号，输入到SNN计算层，其中A2S编码输入层的每个编码单元对应于一路模拟信号，单元数量M与模拟信号阵列的数量相同，模拟信号转换成脉冲信号的编码算法由超参数控制器选择；
SNN计算层包括N个脉冲神经元电路，通过神经元间可重构互连网络连接，A2S编码输入层与SNN计算层之间通过输入输出可重构互连网络连接，A2S编码单元既可以和全部脉冲神经元电路连接，也可以和部分神经元连接，具体连接方式由超参数控制器确定；
S2A解码层通过输入输出可重构互连网络与SNN计算层及A2S编码输入层连接，S2A解码层包括M+N个2A解码单元；
在线学习与输出控制器对S2A解码层的输出进行加和运算并与来自A2S输入层的监督信号进行线性回归分析，根据误差结果调整S2A解码层内可重构电阻阵列的阻值，实现信息输出层在线学习的优化闭环；在线学习后，将不再改变S2A解码层内阻值，将其加和运算结果作为分类依据或建模预测的信号输出；
超参数控制器用于决定A2S编码输入层选择的编码算法、SNN计算层中神经元电路的数量及膜电容参数、神经元间网络连接方式、兴奋性突触电路及抑制性突触电路中的可重构电阻阵列的阻值，以及输入输出互连网络的连接拓扑。
采用上述技术方案所产生的有益效果在于：所述混合电路系统结合了模拟电路计算速度快和数字电路计算灵活性高的优势，使其具有计算效率高，实时性强和在线学习的特点，从而推动ANN技术在物联网应用场景中的应用。所述混合电路系统实现了生物神经系统中神经元与神经突触的电生理模型的计算，这种多维非线性动力学方程在使用数字系统求解时会耗费很高的计算资源，且随着时间精度的提升而大幅降低计算效率，从而难以保证输出结果的实时性，模拟电路计算能够有效的解决上述问题。所述混合电路系统使用嵌入式控制器结合可重构数字电路系统控制网络的超参数，如输入编码、网络拓扑、网络权重、输入输出连接，从而使系统的灵活性大幅提升，使其能够使用多种不同的应用场景和任务特点，并且能够在不同任务间灵活切换。所述混合电路系统使用嵌入式控制器结合可重构数字电路系统实现了在线学习功能，具有学习优化的参数量小，结果收敛速度快的特点。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述混合电路系统的原理框图；
图2是本发明实施例所述混合电路系统中A2S编码入单元的电路原理图；
图3是本发明实施例所述混合电路系统中神经元电路的原理图；
图4是本发明实施例中可重构电容阵列的原理图；
图5是本发明实施例中神经元间可重构互连网络的原理图；
图6是本发明实施例中兴奋性突触电路的原理图；
图7 是本发明实施例中抑制性突触电路的原理图；
图8 是本发明实施例中可重构电阻阵列的原理图；
图9是本发明实施例中输入输出可重构互连网络的原理图；
图10 是本发明实施例中S2A解码单元的原理图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种实现液体状态机的脉冲神经网络数模混合电路系统，包括A2S编码输入层、SNN计算层、S2A解码层、在线学习与输出控制器和超参数控制器。
A2S编码输入层将传感器（如摄像头、拾音器和无线电天线阵等）采集的连续的多路模拟信号转换成离散的具有时空分布特征的多通道脉冲信号，输入到SNN计算层，其中A2S编码输入层的每个编码单元对应于一路模拟信号，单元数量M与模拟信号阵列的数量相同，模拟信号转换成脉冲信号的编码算法由超参数控制器选择。A2S编码单元（如图2所示）包括微控制器模块的数字电路部分和脉冲产生部分的模拟电路部分。微控制器模块根据超参数控制器选择的A2S编码算法将自传感器的原始模拟信号编码成离散脉冲序列，例如在某一时刻需要产生一个脉冲信号，微控制器控制一个开关（例如微型继电器）闭合一段时间，使电流源给脉冲产生电路充电并使其产生一次脉冲放电行为，完成一个脉冲的产生过程。重复此过程，产生一串脉冲序列。微控制器模块将每一个原始信号所对应的标注信息或者训练信号输出给在线学习与输出控制器，作为在线学习的监督信号。
如图2所示，所述A2S编码输入单元包括微控制器模块的数字电路部分和脉冲产生部分的模拟电路部分，微控制器模块根据超参数控制器输入选择的A2S编码算法将来自传感器的原始模拟信号编码成离散脉冲序列，微控制器模块将每一个原始信号所对应的标注信息或者训练信号输出给在线学习与输出控制器，作为在线学习的监督信号；
所述模拟电路模块包括电容Cm、泄放电阻RL、钠通道模块以及钾通道模块，所述电容Cm分别与所述泄放电阻RL、钠通道模块以及钾通道模块并联，所述电容Cm一端接收内部电流源的输出电流Iout，并在这一端输出膜电压Vmem，作为A2S编码输入层中对应编码单元的输出，电容Cm的另一端接地。
电容Cm接收内部电流源输出的电流信号Iout，电流信号Iout首先对所述电容Cm进行充电，当所述电容Cm的电压大于所述钠通道模块中三极管Q1的开启电压时，所述钠通道模块对可电容Cm以及所述钾通道模块进行充电，用于模拟生物神经元钠离子通道开启，当所述钾通道模块中电容C1的电压大于三极管Q3的开启电压时，所述电容Cm再通过所述钾通道模块进行放电，模拟生物神经元钾离子通道开启，继而钠通道模块产生的钠通道电流停止对电容Cm充电，模拟神经元细胞膜上钠离子通道关闭；最后，电容Cm也停止通过所述钾通道模块放电，内部电流源输出的电流信号Iout继续对电容Cm充电，使电容Cm两端的电压恢复到静息电位，完成一个动作脉冲的产生过程。
如图2所示，所述钠通道模块包括三极管Q1、三极管Q2、电阻R2、电阻R4以及电压源VNa，所述三极管Q1的基极分为两路，第一路与所述电容Cm一端连接，第二路与三极管Q2集电极连接，所述三极管Q1的发射极经电阻R4接地，所述三极管Q1的集电极与所述三极管Q2的基极连接，所述三极管Q2的发射极经电阻R2与所述电压源VNa的正极连接，所述电压源VNa的负极接地，所述三极管Q2的集电极为所述钠通道模块的一个接线端，该接线端与所述钾通道模块的一个接线端连接；
如图2所示，所述钾通道模块包括三极管Q3、电阻Rr、电阻R3、电容C1以及电压源VK，所述电阻R3的一端分为三路，第一路与所述钠通道模块的一个接线端连接，第二路与电阻Rr的一端连接，第三路与所述神经元电路的输出端连接，所述电阻R3的另一端与所述三极管Q3的集电极连接，所述三极管Q3的发射极与所述电压源VK的负极连接，所述电压源VK的正极接地，所述三极管Q3的基极分为两路，第一路与电阻Rr的另一端连接，第二路经电容C1接地；
电容Cm接收外部输入电流信号Iout，其两端的膜电压Vmem不断升高；当膜电压Vmem大于三极管Q1的开启电压时，三极管Q1、三极管Q2开启，三极管Q2集电极输出钠通道电流，对可重构电容阵列进行快速充电，膜电位Vmem迅速升高，该过程用于模拟生物神经元钠离子通道开启，神经元细胞膜外钠离子迅速内流的过程；
钠通道电流对电容Cm快速充电的同时，对钾通道模块中的电容C1缓慢充电，电容C1电压Vr缓慢上升，当所述Vr值大于三极管Q3的开启电压时，三极管Q3打开，电容Cm通过电阻R3、三极管Q3支路放电，三极管Q3发射极输出钾通道电流，膜电压Vmem迅速下降，该过程用于模拟生物神经元钾离子通道开启，神经元细胞膜内钾离子迅速外流而使膜电压Vmem迅速下降的过程，其中Vk为模拟钾通道平衡电压的电压源，该电压源值越大，Q3开启后，Q3发射极输出的钾通道电流就越大，膜电压Vmem下降的速度也越大；
当膜电压Vmem下降到小于三极管Q1的开启电压时，三极管Q1截止，钠通道模块产生的钠通道电流停止对电容Cm充电，该过程用于模拟神经元细胞膜上钠离子通道关闭的过程；
当膜电压Vmem小于静息电位时，三极管Q3若仍然开启，膜电压Vmem继续下降，当膜电压Vmem下降到小于三极管Q3的开启电压时，三极管Q3截止，所述电容Cm停止通过钾通道模块进行放电，外部输入电流信号Iout继续对电容Cm充电，从而使膜电压Vmem恢复到静息电位，从而完成一个动作脉冲的产生过程。
SNN计算层是由大量脉冲神经元电路通过神经元间可重构互连网络连接成一种复杂的神经网络，网络拓扑、兴奋性突触电路及抑制性突触电路中的可重构电阻阵列的阻值都是由超参数控制器确定，其在在线学习时保持不变。A2S编码输入层与SNN计算层之间通过输入输出可重构互连网络（如图9所示）连接，A2S编码单元既可以和全部神经元连接，也可以和部分神经元连接，具体连接方式由超参数控制器确定。（神经元电路的原理如图3所示，其工作原理与图2中A2S编码输入单元类似）神经元电路可以根据超参数控制器的输入确定其可重构电容阵列（如图4所示）的容值，从而达到模拟不同膜电容而表现出脉冲信号整合的非线性差异。神经元电路的可重构电容阵列也可以由微控制器确定，微控制器内运行不同的内部可塑性算法，根据采集的膜电位的变化情况而改变膜电容的容值，达到模拟神经元内部可塑性，实现神经元信息处理的动态平衡。可重构电容阵列是由可编程开关（通过状态锁存与驱动芯片、微型继电器组合而成）和并联形式的电容阵列组成，可编程开关控制着不同容值的电容是否并入输入输出两端之间。每个神经元电路的输入和输出端都接入神经元间可重构互联网络（如图5所示），神经元间可重构互联网络的N个左侧端口接每个神经元的输出端，N个下侧端口接每个神经元的输入端，任意一个神经元的输出端都可能通过一种突触电路（兴奋性突触或抑制性突触，如图6和图7所示）接到任意一个神经元的输入端，因此神经元间可重构互联网络可以组成一个全连接网络，但每条连接是否接通、接通突触电路的种类是由超参数控制器通过状态锁存与控制器和继电器开关控制，从而实现不同的网络拓扑，并且连接突触电路的突触权重（即可重构电阻阵列）也由超参数控制决定。突触电路可以根据超参数控制器的输入确定其可重构电阻阵列的阻值，从而达到模拟不同突触权重而表现出脉冲信号传递效率的差异。突触电路的可重构电阻阵列也可以由微控制器确定，微控制器内运行不同的非监督突触可塑性算法，根据超参数控制器输入到微控制器的信号，微控制器可以选择具体所执行的非监督突触可塑性算法，根据微控制器采集的突触电路输入和输出端电位的变化情况而改变阻值，达到模拟神经元突触可塑性，实现神经网络非监督学习的能力。可重构电阻阵列是由可编程开关（通过状态锁存与驱动芯片、微型继电器组合而成）和串联形式的电阻阵列组成，可编程开关控制着不同阻值的电阻是否串入输入输出两端之间。
如图4所示，所述可重构电容阵列包括m×n个继电器、m×n个电容以及状态锁存与控制器，所述可重构电容阵列的C+端分为若干路，第1路经电容C1n与继电器K1n中单刀双掷开关的公共接线端连接，继电器K1n中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第2路经电容C1n-1与继电器K1n-1中单刀双掷开关的公共接线端连接，继电器K1n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第3路经电容C1n-2与继电器K1n-2中单刀双掷开关的公共接线端连接，继电器K1n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第n路经电容C11与继电器K11中单刀双掷开关的公共接线端连接，继电器K11中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；
第n+1路经电容C2n与继电器K2n中单刀双掷开关的公共接线端连接，继电器K2n中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第n+2路经电容C2n-1与继电器K2n-1中单刀双掷开关的公共接线端连接，继电器K2n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第n+3路经电容C2n-2与继电器K2n-2中单刀双掷开关的公共接线端连接，继电器K2n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第n+n路经电容C21与继电器K21中单刀双掷开关的公共接线端连接，继电器K21中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；
依次类推，第（m×n-1）+1路经电容Cmn与继电器Kmn中单刀双掷开关的公共接线端连接，继电器Kmn中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第（m×n-1）+2路经电容C m×n-1与继电器K m×n-1中单刀双掷开关的公共接线端连接，继电器K m×n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第（m×n-1）+2路经电容Cm×n-2与继电器Km×n-2中单刀双掷开关的公共接线端连接，继电器Km×n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第m×n路经电容Cm1与继电器Km1中单刀双掷开关的公共接线端连接，继电器Km1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；所述继电器的控制端与状态锁存与控制器的控制信号输出端连接。
所述兴奋性突触电路包括微控制器模块、模拟电路部分以及可重构电阻阵列，所述模拟电路部分的输入端为所述兴奋性突触电路的信号输入端，所述模拟电路部分的输出端与所述可重构电阻阵列的R+端连接，所述可重构电阻阵列的R-端为所述兴奋性突触电路的信号输出端；
所述模拟电路部分用于向可重构电阻阵列输出正向电流，所述可重构电阻阵列的控制端与所述微控制器模块的控制输出端和超参数控制器的输出端连接；可重构电阻阵列的阻值可以根据超参数控制器输入到可重构电阻阵列控制端的信号确定，也可以由微控制器确定；
所述微控制器内可装载多种非监督突触可塑性算法，根据超参数控制器输入到微控制器的信号，微控制器可以选择具体所执行的非监督突触可塑性算法，根据微控制器采集的突触电路输入和输出端电位的变化情况，按照微控制器所运行的非监督突触可塑性算法，改变可重构电阻阵列的阻值，达到模拟神经元突触可塑性，实现神经网络非监督学习的能力；
如图6所示，所述兴奋性突触电路的模拟电路包括包括二极管D1、电阻R5-R8、电容C2、二极管Q4-Q5以及电压源V1，所述兴奋性突触模拟电路模块的输入端与所述二极管D1的正极连接，所述二极管D1的负极连接与电阻R5的一端连接，所述电阻R5的另一端分为三路，第一路经电容C2接地，第二路经电阻R6接地，第三路与三极管Q4的基极连接，三极管Q4的发射极经电阻R7接地，三极管Q4的集电极与三极管Q5的基极连接，三极管Q5的发射极经电阻R8与电压源V1的正极连接，所述电压源V1的负极接地，三极管Q5的集电极与所述兴奋性突触模拟电路模块的输出端连接；
兴奋性突触模拟电路输入端接收神经元输出动作脉冲信号，通过二极管D1经电阻R5限流对电容C2充电，同时电阻R6缓慢泄放电流，控制电容C2的充电速度，当电容C2两端电压大于三极管Q4的开启电压时，三极管Q4和三极管Q5导通，兴奋性突触模拟电路输出端输出正向电流。
所述抑制性突触电路包括微控制器模块、模拟电路部分以及可重构电阻阵列，所述模拟电路部分的输入端为所述抑制性突触电路的信号输入端，所述模拟电路部分的输出端与所述可重构电阻阵列的R+端连接，所述可重构电阻阵列的R-端为所述抑制性突触电路的信号输出端；
所述模拟电路部分用于向可重构电阻阵列输出负向电流，所述可重构电阻阵列的控制端与所述微控制器模块的控制输出端和超参数控制器的输出端连接；可重构电阻阵列的阻值可以根据超参数控制器输入到可重构电阻阵列控制端的信号确定，也可以由微控制器确定；
所述微控制器内可装载多种非监督突触可塑性算法，根据超参数控制器输入到微控制器的信号，微控制器可以选择具体所执行的非监督突触可塑性算法，根据微控制器采集的突触电路输入和输出端电位的变化情况，按照微控制器所运行的非监督突触可塑性算法，改变可重构电阻阵列的阻值，达到模拟神经元突触可塑性，实现神经网络非监督学习的能力；
如图7所示，所述抑制性突触电路的模拟电路部分包括电阻R9-R10、电容C3、二极管D2、三极管Q6以及电压源V2，所述抑制性突触模拟电路模块的输入端与二极管D2的正极连接，所述二极管D2的负极与电阻R9的一端连接，所述电阻R9的另一端分为三路，第一路经电容C3接地，第二路经电阻R10接地，第三路与三极管Q6的基极连接，三极管Q6的发射极与电压源V2的负极连接，电压源V2的正极接地，三极管Q6的集电极与所述抑制性突触电路模块的输出端连接；
所述抑制性突触模拟电路模块的输入端接收神经元输出动作脉冲信号，通过二极管D2经电阻R9限流对电容C3充电，同时电阻R10缓慢泄放电流，控制电容C3的充电速度，当电容C3两端电压大于三极管Q6的开启电压时，三极管Q6导通，电流由所述抑制性突触模拟电路的输出端流入三极管Q6的集电极，即抑制性突触模拟电路输出端输出负向电流。
S2A解码层通过输入输出可重构互连网络（如图9所示）与SNN计算层及A2S编码输入层连接，S2A解码单元的数量M+N等于SNN计算层中神经元的数量N和A2S编码单元的数量M之和。S2A解码单元（如图10所示）由兴奋性突触电路与一个电容和一个电阻并联而成，兴奋性突触电路将脉冲信号转化成模拟电流充电信号给并联电容充电，离散的脉冲信号序列就转换成了电容两端电压的连续的模拟信号，并联的电阻实现放电功能，使电容内电荷缓慢释放，模拟神经信息处理的遗忘特性。S2A解码层输出的模拟信号传递给在线学习与输出控制器。其中，S2A解码单元的可重构电阻阵列由在线学习与输出控制器控制，阻值的大小对应于其接收脉冲序列中提取信息的多少。输入输出可重构互连网络由状态锁存与控制器控制多路选择器来确定，状态锁存与控制器根据超参数控制器输入控制多路选择器，实现控制A2S编码输入层单元与SNN计算层单元以及S2A解码层单元之间的连接关系。A2S编码单元可以输出给任意一个或者多个SNN计算层单元,但只能输出给一个S2A解码单元。SNN计算层单元与S2A解码单元是一一对应关系。
如图8所示，所述可重构电阻阵列包括m×n个继电器、m×n个电阻和状态锁存与控制器，所述可重构电阻阵列的R+端与电阻R1n的一端连接，电阻R1n的另一端与电阻R1n-1的一端连接，依次类推，电阻R12的另一端与电阻R11的一端连接，电阻R11的另一端与电阻R21的一端连接，电阻R21的另一端与电阻电阻R22的一端连接，依次类推，电阻R2n-1的另一端与电阻电阻R2n的一端连接，依次类推，电阻Rm-1n的一端与电阻Rm1的一端连接，电阻Rm1的另一端与电阻Rm2的一端连接，依次类推，电阻Rmn-1的另一端与电阻Rmn的一端连接，电阻Rmn的另一端与可重构电阻阵列的R-端；可重构电阻阵列中每个电阻对应一个与之并联的继电器，且所述继电器的控制端与状态锁存与控制器的控制信号输出端连接，根据超参数控制器输入，状态锁存与控制器来实现对继电器的控制，从而来控制连入可重构电阻阵列中电阻的数量，最终实现可重构电阻阵列阻值的调整。
在线学习与输出控制器对S2A解码层的输出进行加和运算并与来自A2S输入层的监督信号进行线性回归分析，根据误差结果调整S2A层内可重构电阻阵列的阻值，实现信息输出层在线学习的优化闭环。在线学习后，将不再改变S2A解码层内阻值，将其加和运算结果作为分类依据或建模预测的信号输出。
超参数控制器决定A2S编码输入层选择的编码算法，SNN计算层中神经元电路的数量及膜电容参数，神经元间网络连接方式与突触权重（即兴奋性突触电路及抑制性突出电路中可重构电阻阵列的阻值），输入输出互连网络的连接拓扑。上述参数的选择依据LSM的数学理论确定，在某一次任务中将不会改变，从而减少在线学习时所需要优化的参数量，提高计算效率。而对于不同的任务，可以从新调整上述参数以适应不同的任务需求，从而提高了系统的灵活性。
综上，所述数模混合电路系统结合了模拟电路计算速度快和数字电路计算灵活性高的优势，使其具有计算效率高，实时性强和在线学习的特点，从而推动ANN技术在物联网应用场景中的应用。所述数模混合电路系统实现了生物神经系统中神经元与神经突触的电生理模型的计算，这种多维非线性动力学方程在使用数字系统求解时会耗费很高的计算资源，且随着时间精度的提升而大幅降低计算效率，从而难以保证输出结果的实时性，模拟电路计算能够有效的解决上述问题。所述数模混合电路系统使用嵌入式控制器结合可重构数字电路系统控制网络的超参数，如输入编码、网络拓扑、网络权重、输入输出连接，从而使系统的灵活性大幅提升，使其能够使用多种不同的应用场景和任务特点，并且能够在不同任务间灵活切换。所述数模混合电路系统使用嵌入式控制器结合可重构数字电路系统实现了在线学习功能，具有学习优化的参数量小，结果收敛速度快的特点。
Claims (9)
1.一种实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：包括A2S编码输入层、SNN计算层、S2A解码层、在线学习与输出控制器和超参数控制器，所述A2S编码输入层将传感器采集的连续的多路模拟信号转换成离散的具有时空分布特征的多通道脉冲信号，输入到SNN计算层，其中A2S编码输入层的每个编码单元对应于一路模拟信号，单元数量M与模拟信号阵列的数量相同，模拟信号转换成脉冲信号的编码算法由超参数控制器选择；
SNN计算层包括N个脉冲神经元电路，通过神经元间可重构互连网络连接，A2S编码输入层与SNN计算层之间通过输入输出可重构互连网络连接，A2S编码单元既可以和全部脉冲神经元电路连接，也可以和部分神经元连接，具体连接方式由超参数控制器确定；
S2A解码层通过输入输出可重构互连网络与SNN计算层及A2S编码输入层连接，S2A解码层包括M+N个S2A解码单元；
在线学习与输出控制器对S2A解码层的输出进行加和运算并与来自A2S输入层的监督信号进行线性回归分析，根据误差结果调整S2A解码层内可重构电阻阵列的阻值，实现信息输出层在线学习的优化闭环；在线学习后，将不再改变S2A解码层内阻值，将其加和运算结果作为分类依据或建模预测的信号输出；
超参数控制器用于决定A2S编码输入层选择的编码算法、SNN计算层中神经元电路的数量及膜电容参数、神经元间网络连接方式、兴奋性突触电路及抑制性突触电路中的可重构电阻阵列的阻值，以及输入输出互连网络的连接拓扑。
2.如权利要求1所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：所述A2S编码输入单元包括微控制器模块的数字电路部分和脉冲产生部分的模拟电路部分，微控制器模块根据超参数控制器输入选择的A2S编码算法将来自传感器的原始模拟信号编码成离散脉冲序列，微控制器模块将每一个原始信号所对应的标注信息或者训练信号输出给在线学习与输出控制器，作为在线学习的监督信号；
所述模拟电路模块包括电容Cm、泄放电阻RL、钠通道模块以及钾通道模块，所述电容Cm分别与所述泄放电阻RL、钠通道模块以及钾通道模块并联，所述电容Cm一端接收内部电流源的输出电流Iout，并在这一端输出膜电压Vmem，作为A2S编码输入层中对应编码单元的输出，电容Cm的另一端接地；
电容Cm接收内部电流源输出的电流信号Iout，电流信号Iout首先对所述电容Cm进行充电，当所述电容Cm的电压大于所述钠通道模块中三极管Q1的开启电压时，所述钠通道模块对可电容Cm以及所述钾通道模块进行充电，用于模拟生物神经元钠离子通道开启，当所述钾通道模块中电容C1的电压大于三极管Q3的开启电压时，所述电容Cm再通过所述钾通道模块进行放电，模拟生物神经元钾离子通道开启，继而钠通道模块产生的钠通道电流停止对电容Cm充电，模拟神经元细胞膜上钠离子通道关闭；最后，电容Cm也停止通过所述钾通道模块放电，内部电流源输出的电流信号Iout继续对电容Cm充电，使电容Cm两端的电压恢复到静息电位，完成一个动作脉冲的产生过程；
所述钠通道模块包括三极管Q1、三极管Q2、电阻R2、电阻R4以及电压源VNa，所述三极管Q1的基极分为两路，第一路与所述电容Cm一端连接，第二路与三极管Q2集电极连接，所述三极管Q1的发射极经电阻R4接地，所述三极管Q1的集电极与所述三极管Q2的基极连接，所述三极管Q2的发射极经电阻R2与所述电压源VNa的正极连接，所述电压源VNa的负极接地，所述三极管Q2的集电极为所述钠通道模块的一个接线端，该接线端与所述钾通道模块的一个接线端连接；
所述钾通道模块包括三极管Q3、电阻Rr、电阻R3、电容C1以及电压源VK，所述电阻R3的一端分为三路，第一路与所述钠通道模块的一个接线端连接，第二路与电阻Rr的一端连接，第三路与所述神经元电路的输出端连接，所述电阻R3的另一端与所述三极管Q3的集电极连接，所述三极管Q3的发射极与所述电压源VK的负极连接，所述电压源VK的正极接地，所述三极管Q3的基极分为两路，第一路与电阻Rr的另一端连接，第二路经电容C1接地；
电容Cm接收外部输入电流信号Iout，其两端的膜电压Vmem不断升高；当膜电压Vmem大于三极管Q1的开启电压时，三极管Q1、三极管Q2开启，三极管Q2集电极输出钠通道电流，对可重构电容阵列进行快速充电，膜电位Vmem迅速升高，该过程用于模拟生物神经元钠离子通道开启，神经元细胞膜外钠离子迅速内流的过程；
钠通道电流对电容Cm快速充电的同时，对钾通道模块中的电容C1缓慢充电，电容C1电压Vr缓慢上升，当所述Vr值大于三极管Q3的开启电压时，三极管Q3打开，电容Cm通过电阻R3、三极管Q3支路放电，三极管Q3发射极输出钾通道电流，膜电压Vmem迅速下降，该过程用于模拟生物神经元钾离子通道开启，神经元细胞膜内钾离子迅速外流而使膜电压Vmem迅速下降的过程，其中Vk为模拟钾通道平衡电压的电压源，该电压源值越大，Q3开启后，Q3发射极输出的钾通道电流就越大，膜电压Vmem下降的速度也越大；
当膜电压Vmem下降到小于三极管Q1的开启电压时，三极管Q1截止，钠通道模块产生的钠通道电流停止对电容Cm充电，该过程用于模拟神经元细胞膜上钠离子通道关闭的过程；
当膜电压Vmem小于静息电位时，三极管Q3若仍然开启，膜电压Vmem继续下降，当膜电压Vmem下降到小于三极管Q3的开启电压时，三极管Q3截止，所述电容Cm停止通过钾通道模块进行放电，外部输入电流信号Iout继续对电容Cm充电，从而使膜电压Vmem恢复到静息电位，从而完成一个动作脉冲的产生过程。
3.如权利要求1所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述脉冲神经元电路包括数字电路模块以及模拟电路模块，所述模拟电路模块包括可重构电容阵列、泄放电阻、钠通道模块以及钾通道模块，所述可重构电容阵列的容值受控于所述数字电路模块，数字电路模块用来运行内部可塑性规则，根据监控的膜电压Vmem值与可塑性规则，改变可重构电容阵列的容值大小，从而实现调节神经元电路的放电行为，模仿生物神经元兴奋性的调节；电源的输入端与所述可重构电容阵列的C+端连接，所述可重构电容阵列的C+端连接所述神经元电路的输出端，所述可重构电容阵列的C-端接地；所述可重构电容阵列与泄放电阻RL并联，所述钠通道模块和所述钾通道模块与所述泄放电阻RL并联；
所述脉冲神经元电路可以根据超参数控制器的输入确定其可重构电容阵列的容值，从而达到模拟不同膜电容而表现出脉冲信号整合的非线性差异；所述神经元电路的可重构电容阵列也可以由微控制器模块确定，微控制器模块内运行不同的内部可塑性算法，根据采集的膜电位的变化情况而改变膜电容的容值，达到模拟神经元内部可塑性，实现神经元信息处理的动态平衡；可重构电容阵列包括可编程开关和并联形式的电容阵列，可编程开关控制着不同容值的电容是否并入输入输出两端之间；每个脉冲神经元电路的输入和输出端都接入神经元间可重构互联网络，互联网络的左端一排接每个神经元的输出端，底端一排接每个神经元的输入端，任意一个神经元的输出端可以通过突触电路接到任意一个神经元的输入端，使SNN计算层实现任意网络拓扑结构；
所述可重构电容阵列也可包括m×n个继电器、m×n个电容以及状态锁存与控制器，所述可重构电容阵列的C+端分为若干路，第1路经电容C1n与继电器K1n中单刀双掷开关的公共接线端连接，继电器K1n中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第2路经电容C1n-1与继电器K1n-1中单刀双掷开关的公共接线端连接，继电器K1n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第3路经电容C1n-2与继电器K1n-2中单刀双掷开关的公共接线端连接，继电器K1n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第n路经电容C11与继电器K11中单刀双掷开关的公共接线端连接，继电器K11中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；
第n+1路经电容C2n与继电器K2n中单刀双掷开关的公共接线端连接，继电器K2n中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第n+2路经电容C2n-1与继电器K2n-1中单刀双掷开关的公共接线端连接，继电器K2n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第n+3路经电容C2n-2与继电器K2n-2中单刀双掷开关的公共接线端连接，继电器K2n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第n+n路经电容C21与继电器K21中单刀双掷开关的公共接线端连接，继电器K21中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；
依次类推，第（m×n-1）+1路经电容Cmn与继电器Kmn中单刀双掷开关的公共接线端连接，继电器Kmn中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第（m×n-1）+2路经电容C m×n-1与继电器K m×n-1中单刀双掷开关的公共接线端连接，继电器K m×n-1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；第（m×n-1）+2路经电容Cm×n-2与继电器Km×n-2中单刀双掷开关的公共接线端连接，继电器Km×n-2中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接，依次类推，第m×n路经电容Cm1与继电器Km1中单刀双掷开关的公共接线端连接，继电器Km1中单刀双掷开关的另外两个接线端分别与所述可重构电容阵列的C+端以及C-端连接；所有所述继电器的控制端与状态锁存与控制器的控制信号输出端连接。
4.如权利要求3所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述神经元间可重构互联网络包括N×（N-1）个兴奋性突触电路、N×（N-1）个抑制性突触电路、N个继电器开关、状态锁存与控制器模块、N个左侧端口和N个下侧端口；N个左侧端口分别与所述N个脉冲神经元电路的输出端相连，N个下侧端口分别与所述N个脉冲神经元电路的输入端相连；状态寄存器和控制器模块的输出端连接继电器开关的控制端，根据超参数控制器输出信号，状态寄存器和控制器模块可以控制继电器开关的状态；根据继电器开关的状态，可确定任意两个所述脉冲神经元电路之间的连接方式：通过兴奋性突触电路连接、通过抑制性突触电路连接或使两脉冲神经元电路不建立连接。
5.如权利要求4所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述兴奋性突触电路包括微控制器模块、模拟电路部分以及可重构电阻阵列，所述模拟电路部分的输入端为所述兴奋性突触电路的信号输入端，所述模拟电路部分的输出端与所述可重构电阻阵列的R+端连接，所述可重构电阻阵列的R-端为所述兴奋性突触电路的信号输出端；
所述模拟电路部分用于向可重构电阻阵列输出正向电流，所述可重构电阻阵列的控制端与所述微控制器模块的控制输出端和超参数控制器的输出端连接；可重构电阻阵列的阻值可以根据超参数控制器输入到可重构电阻阵列控制端的信号确定，也可以由微控制器确定；
所述微控制器内可装载多种非监督突触可塑性算法，根据超参数控制器输入到微控制器的信号，微控制器可以选择具体所执行的非监督突触可塑性算法，根据微控制器采集的突触电路输入和输出端电位的变化情况，按照微控制器所运行的非监督突触可塑性算法，改变可重构电阻阵列的阻值，达到模拟神经元突触可塑性，实现神经网络非监督学习的能力；
所述模拟电路部分包括二极管D1、电阻R5-R8、电容C2、二极管Q4-Q5以及电压源V1，所述兴奋性突触模拟电路部分的输入端与所述二极管D1的正极连接，所述二极管D1的负极连接与电阻R5的一端连接，所述电阻R5的另一端分为三路，第一路经电容C2接地，第二路经电阻R6接地，第三路与三极管Q4的基极连接，三极管Q4的发射极经电阻R7接地，三极管Q4的集电极与三极管Q5的基极连接，三极管Q5的发射极经电阻R8与电压源V1的正极连接，所述电压源V1的负极接地，三极管Q5的集电极与所述兴奋性突触模拟电路部分的输出端连接；
兴奋性突触模拟电路输入端接收神经元输出动作脉冲信号，通过二极管D1经电阻R5限流对电容C2充电，同时电阻R6缓慢泄放电流，控制电容C2的充电速度，当电容C2两端电压大于三极管Q4的开启电压时，三极管Q4和三极管Q5导通，兴奋性突触模拟电路输出端输出正向电流。
6.如权利要求4所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述抑制性突触电路包括微控制器模块、模拟电路部分以及可重构电阻阵列，所述模拟电路部分的输入端为所述抑制性突触电路的信号输入端，所述模拟电路部分的输出端与所述可重构电阻阵列的R+端连接，所述可重构电阻阵列的R-端为所述抑制性突触电路的信号输出端；
所述模拟电路部分用于向可重构电阻阵列输出负向电流，所述可重构电阻阵列的控制端与所述微控制器模块的控制输出端和超参数控制器的输出端连接；可重构电阻阵列的阻值可以根据超参数控制器输入到可重构电阻阵列控制端的信号确定，也可以由微控制器确定；
所述微控制器内可装载多种非监督突触可塑性算法，根据超参数控制器输入到微控制器的信号，微控制器可以选择具体所执行的非监督突触可塑性算法，根据微控制器采集的突触电路输入和输出端电位的变化情况，按照微控制器所运行的非监督突触可塑性算法，改变可重构电阻阵列的阻值，达到模拟神经元突触可塑性，实现神经网络非监督学习的能力；
所述模拟电路部分包括电阻R9-R10、电容C3、二极管D2、三极管Q6以及电压源V2，所述抑制性突触模拟电路部分的输入端与二极管D2的正极连接，所述二极管D2的负极与电阻R9的一端连接，所述电阻R9的另一端分为三路，第一路经电容C3接地，第二路经电阻R10接地，第三路与三极管Q6的基极连接，三极管Q6的发射极与电压源V2的负极连接，电压源V2的正极接地，三极管Q6的集电极与所述抑制性突触电路中模拟电路部分的输出端连接；
所述模拟电路部分输入端接收神经元输出动作脉冲信号，通过二极管D2经电阻R9限流对电容C3充电，同时电阻R10缓慢泄放电流，控制电容C3的充电速度，当电容C3两端电压大于三极管Q6的开启电压时，三极管Q6导通，电流由所述抑制性突触模拟电路输出端流入三极管Q6的集电极，即抑制性突触模拟电路输出端输出负向电流。
7.如权利要求5或6所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述可重构电阻阵列包括m×n个继电器、m×n个电阻和状态锁存与控制器，所述可重构电阻阵列的R+端与电阻R1n的一端连接，电阻R1n的另一端与电阻R1n-1的一端连接，依次类推，电阻R12的另一端与电阻R11的一端连接，电阻R11的另一端与电阻R21的一端连接，电阻R21的另一端与电阻电阻R22的一端连接，依次类推，电阻R2n-1的另一端与电阻电阻R2n的一端连接，依次类推，电阻Rm-1n的一端与电阻Rm1的一端连接，电阻Rm1的另一端与电阻Rm2的一端连接，依次类推，电阻Rmn-1的另一端与电阻Rmn的一端连接，电阻Rmn的另一端与可重构电阻阵列的R-端；可重构电阻阵列中每个电阻对应一个与之并联的继电器，且所述继电器的控制端与状态锁存与控制器的控制信号输出端连接，根据超参数控制器输入，状态锁存与控制器来实现对继电器的控制，从而来控制连入可重构电阻阵列中电阻的数量，最终实现可重构电阻阵列阻值的调整。
8.如权利要求1所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述S2A解码单元通过兴奋性突触电路与一个电容和一个电阻并联而成，兴奋性突触电路将脉冲信号转化成模拟电流充电信号给并联电容充电，离散的脉冲信号序列转换成电容两端电压的连续的模拟信号，并联的电阻实现放电功能，使电容内电荷缓慢释放，模拟神经信息处理的遗忘特性；S2A解码层输出的模拟信号传递给在线学习与输出控制器；其中，S2A解码单元的可重构电阻阵列由在线学习与输出控制器控制，阻值的大小对应于其接收脉冲序列中提取信息的多少。
9.如权利要求1所述的实现液体状态机的脉冲神经网络数模混合电路系统，其特征在于：
所述输入输出可重构互连网络是由状态锁存与控制器控制多路选择器来确定，状态锁存与控制器根据超参数控制器输入控制多路选择器，实现控制A2S编码输入层单元与SNN计算层单元以及S2A解码层单元之间的连接关系；A2S编码单元可以输出给任意一个或者多个SNN计算层单元；但只能输出给一个S2A解码单元；SNN计算层单元与S2A解码单元是一一对应关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910611177.8A CN110232443B (zh) | 2019-07-08 | 2019-07-08 | 实现液体状态机的脉冲神经网络数模混合电路系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910611177.8A CN110232443B (zh) | 2019-07-08 | 2019-07-08 | 实现液体状态机的脉冲神经网络数模混合电路系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232443A true CN110232443A (zh) | 2019-09-13 |
| CN110232443B CN110232443B (zh) | 2024-01-19 |
Family
ID=67856831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910611177.8A Active CN110232443B (zh) | 2019-07-08 | 2019-07-08 | 实现液体状态机的脉冲神经网络数模混合电路系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232443B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783973A (zh) * | 2020-08-03 | 2020-10-16 | 中国人民解放军国防科技大学 | 一种面向液体状态机计算的神经形态处理器及设备 |
| CN112465134A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 一种基于lif模型的脉冲神经网络神经元电路 |
| CN117697079A (zh) * | 2024-02-05 | 2024-03-15 | 广东福维德焊接股份有限公司 | 一种适用于超长焊缝连续不间断焊接的焊接电源 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040153426A1 (en) * | 2002-03-12 | 2004-08-05 | Alex Nugent | Physical neural network liquid state machine utilizing nanotechnology |
| US20180053090A1 (en) * | 2016-08-22 | 2018-02-22 | Applied Brain Research Inc. | Methods And Systems For Implementing Dynamic Neural Networks |
| CN109800851A (zh) * | 2018-12-29 | 2019-05-24 | 中国人民解放军陆军工程大学 | 神经突触电路和脉冲神经网络电路 |
| CN210627259U (zh) * | 2019-07-08 | 2020-05-26 | 中国人民解放军陆军工程大学 | 实现液体状态机的脉冲神经网络数模混合电路系统 |
-
2019
- 2019-07-08 CN CN201910611177.8A patent/CN110232443B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040153426A1 (en) * | 2002-03-12 | 2004-08-05 | Alex Nugent | Physical neural network liquid state machine utilizing nanotechnology |
| US20180053090A1 (en) * | 2016-08-22 | 2018-02-22 | Applied Brain Research Inc. | Methods And Systems For Implementing Dynamic Neural Networks |
| CN109800851A (zh) * | 2018-12-29 | 2019-05-24 | 中国人民解放军陆军工程大学 | 神经突触电路和脉冲神经网络电路 |
| CN210627259U (zh) * | 2019-07-08 | 2020-05-26 | 中国人民解放军陆军工程大学 | 实现液体状态机的脉冲神经网络数模混合电路系统 |
Non-Patent Citations (2)
| Title |
|---|
| 满梦华, 蔡娜, 马贵蕾, 王震: "模仿神经元网络抗扰特性的电磁防护仿生研究", 装备环境工程, vol. 14, no. 04 * |
| 程龙;刘洋;: "脉冲神经网络:模型、学习算法与应用", 控制与决策, no. 05 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783973A (zh) * | 2020-08-03 | 2020-10-16 | 中国人民解放军国防科技大学 | 一种面向液体状态机计算的神经形态处理器及设备 |
| CN111783973B (zh) * | 2020-08-03 | 2023-12-08 | 中国人民解放军国防科技大学 | 一种面向液体状态机计算的神经形态处理器及设备 |
| CN112465134A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 一种基于lif模型的脉冲神经网络神经元电路 |
| CN112465134B (zh) * | 2020-11-26 | 2022-05-03 | 重庆邮电大学 | 一种基于lif模型的脉冲神经网络神经元电路 |
| CN117697079A (zh) * | 2024-02-05 | 2024-03-15 | 广东福维德焊接股份有限公司 | 一种适用于超长焊缝连续不间断焊接的焊接电源 |
| CN117697079B (zh) * | 2024-02-05 | 2024-04-09 | 广东福维德焊接股份有限公司 | 一种适用于超长焊缝连续不间断焊接的焊接电源 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232443B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rajendran et al. | Low-power neuromorphic hardware for signal processing applications: A review of architectural and system-level design approaches | |
| Indiveri et al. | Memory and information processing in neuromorphic systems | |
| Hunsberger et al. | Spiking deep networks with LIF neurons | |
| CN210627259U (zh) | 实现液体状态机的脉冲神经网络数模混合电路系统 | |
| JP5963315B2 (ja) | シミュレーションを使用して学習されるシナプス重みを用いるニューロモーフィック／シナプトロニック・スパイキング・ニューラル・ネットワークのための方法、デバイス、および回路 | |
| Xu et al. | Deep CovDenseSNN: A hierarchical event-driven dynamic framework with spiking neurons in noisy environment | |
| CN110232443A (zh) | 实现液体状态机的脉冲神经网络数模混合电路系统 | |
| CN107924227A (zh) | 电阻处理单元 | |
| KR20210127133A (ko) | 탄력적인 뉴럴 네트워크 | |
| JP2017509978A (ja) | 確率論的スパイキングベイジアンネットワークに関する事象に基づく推論および学習 | |
| KR20160076533A (ko) | 지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치 | |
| JP2017514215A (ja) | スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現 | |
| CN111401547B (zh) | 一种面向乘客流分析的基于循环学习单元的htm设计方法 | |
| CN104809501A (zh) | 一种基于类脑协处理器的计算机系统 | |
| CN105913119A (zh) | 行列互联的异构多核心类脑芯片及其使用方法 | |
| KR20160125967A (ko) | 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치 | |
| CN110188873A (zh) | 前馈网络拓扑数模混合神经网络电路 | |
| Zhang et al. | Recent advances and new frontiers in spiking neural networks | |
| Zhang et al. | Long short-term memory with two-compartment spiking neuron | |
| CN113869505A (zh) | 一种基于脑胶质细胞的脉冲神经网络优化方法及系统 | |
| Indiveri | Synaptic plasticity and spike-based computation in VLSI networks of integrate-and-fire neurons | |
| Gerlinghoff et al. | Desire backpropagation: A lightweight training algorithm for multi-layer spiking neural networks based on spike-timing-dependent plasticity | |
| Gregor | Finding online neural update rules by learning to remember | |
| Yanduo et al. | The application of liquid state machines in robot path planning | |
| CA2898216C (en) | Methods and systems for implementing deep spiking neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |