[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110298440B - 基于皮质柱网络波前传播的多尺度面向目标导航方法 - Google Patents

基于皮质柱网络波前传播的多尺度面向目标导航方法 Download PDF

Info

Publication number
CN110298440B
CN110298440B CN201910268918.7A CN201910268918A CN110298440B CN 110298440 B CN110298440 B CN 110298440B CN 201910268918 A CN201910268918 A CN 201910268918A CN 110298440 B CN110298440 B CN 110298440B
Authority
CN
China
Prior art keywords
cortical
pillar
neuron
cells
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910268918.7A
Other languages
English (en)
Other versions
CN110298440A (zh
Inventor
阮晓钢
武悦
黄静
柴洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910268918.7A priority Critical patent/CN110298440B/zh
Publication of CN110298440A publication Critical patent/CN110298440A/zh
Application granted granted Critical
Publication of CN110298440B publication Critical patent/CN110298440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于皮质柱网络波前传播的多尺度面向目标导航方法，属于仿生导航范畴，皮质柱网络属于认知地图，每个皮质柱单元包含接受奖励信息、位置信息等多种神经元。本发明以皮质柱网络为基础，利用波前传播算法进行路径规划和导航。通过网络权值STDP学习律，此系统能够计算出通向目标的最短路径，并且对环境的变化产生记忆。波前传播采用整合激发式神经元，属于非衰减导航算法，适用于多种尺度环境下的导航。在导航实验中，此方法可以在各种规模、实时变化的环境中成功导航，具有较好的实用效果。

Description

基于皮质柱网络波前传播的多尺度面向目标导航方法
技术领域
本发明属于机器人仿生导航领域，属于近年来机器人面向目标导航的其中一个分支，涉及一种神经网络组织方法，具体涉及一种皮质柱网络组织方法和神经元活动传播方法。
背景技术
机器人的智能化是未来的大势所趋。机器人的环境认知和面向目标导航作为众多智能中的重要一环，是当前研究的热点和难点。受生物灵活的执行空间任务启发，当前的科学研究试图从生理学角度理解环境认知并应用到机器人中，使其具备类似人或动物的认知能力，从而真正应用于具有挑战性的空间任务中，例如自动驾驶等。随着位置细胞、网格细胞等反映空间信息或运动信息的细胞被生理学发现，已有相当的产品将这些细胞应用到仿生导航上。RatSlam将视觉信息输入到海马体神经网络，建立的地图可以用于目标导向的导航，在实际城市道路中建立的环境地图效果令人满意。尽可能使用真实的神经元组织结构和参数使得导航系统更加具有仿生性，并且更加容易用基本的计算单元来实现，降低设备的需求，提高设备资源的利用率。Martinet等人用皮质柱网络构建了导航系统，但是该系统只能在单一尺度的环境下运行。Ponulak等人提出神经元之间的波前传递方法，解决了导航的尺度问题。如何组织人工神经网络结构和选择突触可塑性规则是仿生导航系统获得良好性能的关键。
与现有技术不同的是，本发明构建了皮质柱网络及其连接关系，将STDP (Spike-Timing Dependent Plasticity)学习律应用到突触连接中，使导航系统能够适应不同规模的环境，更加具备对啮齿动物导航的模仿性。
发明内容
本发明的目的是提出一种皮质柱网络在仿生导航中的应用，包括构建认知地图和面向目标的导航。皮质柱网络的基本单元是皮质柱，包括位置细胞、奖励细胞、中间神经元、动作细胞和读出细胞。
本发明采用的技术方案为一种基于皮质柱网络波前传播的多尺度面向目标导航方法，其特征在于，具体实现步骤如下：
步骤(1)构建皮质柱网络。
步骤(1.1)神经元的动力学；
皮质柱单元中的位置细胞采用高斯模型Vs：
Figure BDA0002017738940000021
其中x代表当前机器人所在位置，xc是位置细胞中心，σ2是方差。
皮质柱单元中其它细胞动力学如下：
Figure BDA0002017738940000022
其中V是膜电位，τ是膜时间常数，I是神经元接收个输入整合：
Figure BDA0002017738940000023
其中wij是神经元i到神经元j间的突触连接权值。
步骤(1.2)神经元的激活与抑制；
当奖励细胞的活动超过阈值，细胞发出动作电位，并进入抑制状态一段时间。在抑制阶段内，奖励细胞不再接受其它奖励细胞的输入：
Figure BDA0002017738940000024
当tf＜t＜tf+td时上述公式成立，Vr是奖励细胞的膜电位，td是神经元抑制时长，tf是奖励细胞放电的时刻。
步骤(1.3)皮质柱单元间的突触学习；
皮质柱单元中奖励细胞r遵从STDP学习律：
Δwij＝(1-λ)·(wsat-wji)-λwji
其中，是饱和的突触连接权值，λ＝0,1代表机器人是否成功到达下一个位置。
皮质柱单元中中间神经元q间的突触学习遵从STDP学习律：
Figure BDA0002017738940000025
其中M是幅值，
Figure 1
是突触后神经元放电时刻与突触前神经元放电时刻的差别。中间神经元q之间这种基于时间差的突触学习保证了机器人能够记录到达目标位置的最短路径。
步骤(1.3)动作决策；
每个皮质柱中包含一组动作神经元d，分别代表不同的方向，接收来自神经元s,p,q的输入。当神经元d到达阈值，机器人按照存储在神经元q之间权值的信息进行移动，头朝向是各个神经元d的固有头朝向与相应权值的加权平均：
Figure BDA0002017738940000031
步骤(2)探索环境；
步骤(2.1)建立皮质柱单元；
将机器人放置在一个5m×13m的迷宫中，令其执行随机探索策略。机器人的初始朝向为0°。每当机器人走过0.1m其头朝向变化一个角度θ(-15°＜θ＜ 15°)。为保证环境中的每个位置都被皮质柱单元中的位置细胞有效表示，每当 Vs＜Vthr时，在当前位置新增一个皮质柱单元。Vthr＝-25mV是判断是否新增皮质柱单元的阈值。在移动过程中，奖励细胞之间的权值按照LTP学习律变化 (λ＝0)。
步骤(2.2)路径规划；
路径规划依赖皮质柱网络的神经计算功能，在每一个离散时刻，根据动力学模型计算全体的神经元活动。皮质柱网络工作在串行模式下，即当前时刻神经元的输入为上一时刻神经元的输出乘以权值。完成对迷宫环境建立相应的皮质柱单元后，在目标点设置奖励值，使目标点处皮质柱单元中的奖励细胞接受一个短暂的激活输入。
目前仿生理学的导航方法只能用在小规模地图中。与现有技术相比，本发明可以应用于任意规模的环境中，拓展了机器人导航的应用场景，采用的方法更加贴近生理学实际。
附图说明
图1是皮质柱网络结构图。
图2是中间神经元突触STDP学习规则示意图。
图3是机器人随机探索的路径。
图4是采用该导航方法模拟托尔曼实验。
图5是本方法与梯度法在大规模环境中导航成功率的比较。
图6是本方法实施的流程图。
具体实施方式
一个具有学习能力的机器人，模拟托尔曼迷宫实验的大鼠。简要地描述一下托尔曼迷宫实验：托尔曼迷宫装置如图2所示，从起点到终点有三条长度不同的通道。在终点处放置食物，将大鼠放置与迷宫中，大鼠会探索迷宫并找到食物，经过多轮实验后，大鼠最终选择距离最短的中间道路。将A点放置障碍物，经过几次探索后大鼠最终选择此时距离最短的左侧道路。将B点放置障碍物，则大鼠选择右侧道路。托尔曼迷宫实验提出了大鼠脑中存在认知地图的概念。本发明通过构建大脑皮层中的皮质柱网络来实现托尔曼迷宫实验。机器人具备一对电机和编码器用于行进和路径积分，一个激光雷达用于探测与障碍物的距离。
本方法的具体实现步骤如下：
步骤(1)构建皮质柱网络。
步骤(1.1)神经元的动力学
皮质柱单元中的位置细胞采用高斯模型：
Figure BDA0002017738940000041
其中x代表当前机器人所在位置，xc是位置细胞中心，σ2＝0.5是方差。
皮质柱单元中其它细胞动力学如下：
Figure BDA0002017738940000042
其中V是膜电位，τ＝5是膜时间常数，I是神经元接收个输入整合：
Figure BDA0002017738940000043
其中wij是神经元i到神经元j间的突触连接权值。
步骤(1.2)神经元的激活与抑制
当奖励细胞的活动超过阈值，细胞发出动作电位，并进入抑制状态一段时间。在抑制阶段内，奖励细胞不再接受其它奖励细胞的输入：
Figure BDA0002017738940000044
当tf＜t＜tf+td时上述公式成立，td＝0.2s是神经元抑制时长，tf是奖励细胞放电的时刻。
步骤(1.3)皮质柱单元间的突触学习
皮质柱单元中奖励细胞r遵从STDP学习律：
Δwij＝(1-λ)·(wsat-wji)-λwji
其中是饱和的突触连接权值，λ＝0,1代表机器人是否成功到达下一个位置。 wsat＝1为饱和权值。
皮质柱单元中中间神经元q间的突触学习遵从STDP学习律：
Figure BDA0002017738940000051
其中M＝1是幅值，τji＝3T＝0.06s，τij＝2T＝0.04s，T为离散间隔，
Figure BDA0002017738940000052
Figure 2
是突触后神经元放电时刻与突触前神经元放电时刻的差别。中间神经元q 之间这种基于时间差的突触学习保证了机器人能够记录到达目标位置的最短路径。
步骤(1.3)动作决策
每个皮质柱中包含一组动作神经元d，分别代表不同的方向，接收来自神经元s,p,q的输入。当神经元d到达阈值，机器人按照存储在神经元q之间权值的信息进行移动，头朝向是各个神经元d的固有头朝向与相应权值的加权平均：
Figure BDA0002017738940000054
步骤(2)探索环境
步骤(2.1)建立皮质柱单元
将机器人放置在一个5m×13m的迷宫中，令其执行随机探索策略。机器人的初始朝向为0°。每当机器人走过0.1m其头朝向变化一个角度θ(-15°＜θ＜ 15°)。为保证环境中的每个位置都被皮质柱单元中的位置细胞有效表示，每当 Vs＜Vthr时，在当前位置新增一个皮质柱单元。Vthr＝-25mV是判断是否新增皮质柱单元的阈值。在移动过程中，奖励细胞之间的权值按照LTP学习律变化 (λ＝0)。
步骤(2.2)路径规划
路径规划依赖皮质柱网络的神经计算功能，在每一个离散时刻，根据动力学模型计算全体的神经元活动，离散时间间隔取为0.02ms。皮质柱网络工作在串行模式下，即n+1时刻神经元的输入为第n时刻神经元的输出乘以权值。完成对迷宫环境建立相应的皮质柱单元后，在目标点设置奖励值，使目标点处皮质柱单元中的奖励细胞接受一个时长0.02ms，幅值为70mV的激活输入。具体计算步骤如下：
S1设置t＝0,对于所有皮质柱单元C中神经元的活动Vi＝-60mV,权值连接 wij＝0(i，j∈C)
S2根据
Figure BDA0002017738940000061
计算每个皮质柱单元中奖励细胞r的活动
Figure BDA0002017738940000062
S3根据
Figure BDA0002017738940000063
计算每个皮质柱单元中中间神经元q的活动
Figure BDA0002017738940000064
S4计算中间神经元q之间的权值连接：
Figure BDA0002017738940000065
wij＝wij+Δwij (0≤wij≤1)
S5令t＝t+0.02，如果对于全体奖励细胞，
Figure BDA0002017738940000066
则完成皮质柱波前传播，转至S6。否则跳转至S2循环计算。
S6根据中间神经元q之间的权值计算移动方向：
Figure BDA0002017738940000067
每个皮质柱单元中有4个方向，分别为0°,±90°,180°。机器人在当前移动方向上行进0.1m。在行进过程中，若激光雷达检测到距障碍物小于0.3m，则停止移动，奖励细胞的权值按照LTD变化Δwij＝-wsji，并回到S1重新进行路径规划计算。
如果连续5个离散时刻机器人仍然没有离开当前位置，说明机器人被困在奖励值局部极大位置，因此令机器人按照步骤(2.1)随机探索11m，之后按照步骤(2.2) 重新进行路径规划计算。
如果没有障碍，则重复S5直至机器人移动到目标点。

Claims (2)

1.基于皮质柱网络波前传播的多尺度面向目标导航方法，其特征在于，具体实现步骤如下：
步骤(1)构建皮质柱网络；
步骤(1.1)神经元的动力学；
皮质柱单元中的位置细胞采用高斯模型Vs：
Figure FDA0003091115920000011
其中x代表当前机器人所在位置，xc是位置细胞中心，σ2是方差；
皮质柱单元中其它细胞动力学如下：
Figure FDA0003091115920000012
其中V是膜电位，τ是膜时间常数，I是神经元接收个输入整合：
Figure FDA0003091115920000013
其中wij是神经元i到神经元j间的突触连接权值；
步骤(1.2)神经元的激活与抑制；
当奖励细胞的活动超过阈值，细胞发出动作电位，并进入抑制状态一段时间；在抑制阶段内，奖励细胞不再接受其它奖励细胞的输入：
Figure FDA0003091115920000014
当tf＜t＜tf+td时，
Figure FDA0003091115920000015
成立，Vr是奖励细胞的膜电位，td是神经元抑制时长，tf是奖励细胞放电的时刻；
步骤(1.3)皮质柱单元间的突触学习；
皮质柱单元中奖励细胞r遵从STDP学习律：
Δwij＝(1-λ)·(wsat-wji)-λwji
其中，λ是饱和的突触连接权值，λ＝0,1代表机器人是否成功到达下一个位置；
皮质柱单元中中间神经元q间的突触学习遵从STDP学习律：
Figure FDA0003091115920000016
其中M是幅值，
Figure FDA0003091115920000017
是突触后神经元放电时刻与突触前神经元放电时刻的差别；中间神经元q之间这种基于时间差的突触学习保证了机器人能够记录到达目标位置的最短路径；
步骤(1.3)动作决策；
每个皮质柱中包含一组动作神经元d，分别代表不同的方向，接收来自神经元s,p,q的输入；当神经元d到达阈值，机器人按照存储在神经元q之间权值的信息进行移动，头朝向是各个神经元d的固有头朝向与相应权值的加权平均：
Figure FDA0003091115920000021
步骤(2)探索环境；
步骤(2.1)建立皮质柱单元；
将机器人放置在一个5m×13m的迷宫中，令其执行随机探索策略；机器人的初始朝向为0°；每当机器人走过0.1m其头朝向变化一个角度θ,-15°＜θ＜15°；为保证环境中的每个位置都被皮质柱单元中的位置细胞有效表示，每当Vs＜Vthr时，在当前位置新增一个皮质柱单元；Vthr＝-25mV是判断是否新增皮质柱单元的阈值；在移动过程中，奖励细胞之间的权值按照LTP学习律变化，λ＝0；
步骤(2.2)路径规划；
路径规划依赖皮质柱网络的神经计算功能，在每一个离散时刻，根据动力学模型计算全体的神经元活动。
2.根据权利要求1所述的基于皮质柱网络波前传播的多尺度面向目标导航方法，其特征在于，步骤(2.2)中，皮质柱网络工作在串行模式下，即当前时刻神经元的输入为上一时刻神经元的输出乘以权值；完成对迷宫环境建立相应的皮质柱单元后，在目标点设置奖励值，使目标点处皮质柱单元中的奖励细胞接受一个短暂的激活输入。
CN201910268918.7A 2019-04-04 2019-04-04 基于皮质柱网络波前传播的多尺度面向目标导航方法 Active CN110298440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910268918.7A CN110298440B (zh) 2019-04-04 2019-04-04 基于皮质柱网络波前传播的多尺度面向目标导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910268918.7A CN110298440B (zh) 2019-04-04 2019-04-04 基于皮质柱网络波前传播的多尺度面向目标导航方法

Publications (2)

Publication Number Publication Date
CN110298440A CN110298440A (zh) 2019-10-01
CN110298440B true CN110298440B (zh) 2021-07-23

Family

ID=68026473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910268918.7A Active CN110298440B (zh) 2019-04-04 2019-04-04 基于皮质柱网络波前传播的多尺度面向目标导航方法

Country Status (1)

Country Link
CN (1) CN110298440B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111811532B (zh) * 2020-07-02 2022-03-25 浙江大学 基于脉冲神经网络的路径规划方法和装置
CN113743586B (zh) * 2021-09-07 2024-04-26 中国人民解放军空军工程大学 一种基于海马空间认知机理的运行体自主定位方法
CN114186675B (zh) * 2021-11-14 2024-05-31 北京工业大学 一种改进的海马体-前额皮层网络空间认知方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400261A1 (de) * 2002-09-13 2004-03-24 BrainLAB AG Verfahren zur Planung der Stimulation hyper/hypometabolischer Kortexareale
AU2010315132A1 (en) * 2009-11-04 2012-05-31 Arizona Board Of Regents For And On Behalf Of Arizona State University Devices and methods for modulating brain activity
CN106125730B (zh) * 2016-07-10 2019-04-30 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN107092959B (zh) * 2017-04-07 2020-04-10 武汉大学 基于stdp非监督学习算法的脉冲神经网络模型构建方法

Also Published As

Publication number Publication date
CN110298440A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298440B (zh) 基于皮质柱网络波前传播的多尺度面向目标导航方法
CN111578940B (zh) 一种基于跨传感器迁移学习的室内单目导航方法及系统
Salt et al. Parameter optimization and learning in a spiking neural network for UAV obstacle avoidance targeting neuromorphic processors
Zhang et al. Spike-based indirect training of a spiking neural network-controlled virtual insect
CN110262511A (zh) 基于深度强化学习的双足机器人自适应性行走控制方法
Bing et al. Supervised learning in SNN via reward-modulated spike-timing-dependent plasticity for a target reaching vehicle
CN109886384A (zh) 一种基于鼠脑海马网格细胞重构的仿生导航方法
CN114037050B (zh) 一种基于脉冲神经网络内在可塑性的机器人退化环境避障方法
Yu et al. Obstacle avoidance method based on double DQN for agricultural robots
Viereck et al. Learning a centroidal motion planner for legged locomotion
Juang et al. Evolving gaits of a hexapod robot by recurrent neural networks with symbiotic species-based particle swarm optimization
Yan et al. Real-world learning control for autonomous exploration of a biomimetic robotic shark
Mazumder et al. Digital implementation of a virtual insect trained by spike-timing dependent plasticity
Chao et al. Brain inspired path planning algorithms for drones
CN106094817A (zh) 基于大数据方式的强化学习仿人机器人步态规划方法
Ammar et al. Learning to walk using a recurrent neural network with time delay
Azimirad et al. Optimizing the parameters of spiking neural networks for mobile robot implementation
Nakagawa et al. A neural network model of the entorhinal cortex and hippocampus for event-order memory processing
CN114609925B (zh) 水下探索策略模型的训练方法及仿生机器鱼水下探索方法
Sarim et al. An artificial brain mechanism to develop a learning paradigm for robot navigation
Ganesh et al. Deep reinforcement learning for simulated autonomous driving
Chen et al. Fully spiking actor network with intralayer connections for reinforcement learning
Steck et al. Parallel implementation of a recursive least squares neural network training method on the Intel iPSC/2
Parasuraman et al. Mobile robot navigation: neural Q–learning
CN110515297A (zh) 基于冗余肌肉骨骼系统的阶段式运动控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant