[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107729999A - 考虑矩阵相关性的深度神经网络压缩方法 - Google Patents

考虑矩阵相关性的深度神经网络压缩方法 Download PDF

Info

Publication number
CN107729999A
CN107729999A CN201611205336.7A CN201611205336A CN107729999A CN 107729999 A CN107729999 A CN 107729999A CN 201611205336 A CN201611205336 A CN 201611205336A CN 107729999 A CN107729999 A CN 107729999A
Authority
CN
China
Prior art keywords
matrix
wer
compression
compression ratio
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611205336.7A
Other languages
English (en)
Other versions
CN107729999B (zh
Inventor
李鑫
陆智麟
单羿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xilinx Technology Beijing Ltd
Original Assignee
Beijing Insight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/242,624 external-priority patent/US20180046903A1/en
Priority claimed from US15/242,625 external-priority patent/US20180046895A1/en
Application filed by Beijing Insight Technology Co Ltd filed Critical Beijing Insight Technology Co Ltd
Publication of CN107729999A publication Critical patent/CN107729999A/zh
Application granted granted Critical
Publication of CN107729999B publication Critical patent/CN107729999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种对神经网络进行压缩的方法，该方法包括：敏感度分析步骤，用于基于所述多个矩阵之间的相关性，分析各个矩阵的敏感度并确定各个矩阵的初始压缩比；压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；重训步骤，用于重训所述压缩后的神经网络。

Description

考虑矩阵相关性的深度神经网络压缩方法
本申请要求于2016年8月22日提交的美国专利申请No.15/242,622、和于2016年8月22日提交的美国专利申请No.15/242,624的优先权。
发明领域
本发明涉及一种考虑矩阵相关性的深度神经网络压缩方法及装置。
背景技术
人工神经网络的压缩
人工神经网络(Artificial Neural Networks,ANNs)，也简称神经网络(NNs)，是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络发展很快，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、天气预报、基因表达、内容推送等等。
神经网络中，有大量彼此连接的节点(也称“神经元”)。神经网络具备两个特性：1)每个神经元，通过某种特定的输出函数(也叫激活函数Activation Function)，计算处理来自其它相邻神经元的加权输入值；2)神经元之间的信息传递强度用所谓的权值来定义，算法会不断自我学习，调整这个权值。
早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，因此限制了其实用性。
如图1所示，深度神经网络(Deep Neural Networks,DNNs)通过在输入层和输出层之间添加隐藏的中间层，革命性地改变了这一点。
循环神经网络(Recurrent Neural Networks,RNNs)是一种常用的深度神经网络模型。不同于传统前向神经网络(Feed-forward Neural Networks)，循环神经网络引入了定向循环，能够处理输入之间前后关联的问题。在语音识别中，信号的前后关联很强，例如识别句子中的单词和该单词前面的单词序列关系十分紧密。因此，循环神经网络在语音识别领域有着非常广泛的应用。
然而，通过近几年的迅速发展，神经网络的规模不断增长，已公开的比较先进的神经网络可达数百层、数亿个连接，属于计算和访存密集型应用。在神经网络逐渐变大的情况下，模型压缩就变得极为重要。
深度神经网络中，神经元的连接关系在数学上可以表示为一系列矩阵。经过训练后的网络虽然预测准确，但其矩阵都是稠密的，即“矩阵中充满了非零元素”，从而导致大量的存储和计算资源被消耗。这不但降低了速度，而且增加了成本。这样一来，在移动端推广应用就面临着巨大的困难，极大的制约了神经网络的发展。
图2示出了一种利用剪切、重训的压缩神经网络的示意图。
近年来，广泛的研究表明，在通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着重要连接，而其他权值较小的元素可以被移除(置为零)，
图3示出了对应的神经元被剪枝(pruning)。剪枝后的神经网络精度会下降，但是可以通过重训(fine tune)，对仍然保留在模型矩阵中的权值大小进行调整，从而减小精度损失。
模型压缩可以将神经网络中的稠密矩阵稀疏化，能够有效的降低存储量、减少计算量，在保持精度的同时实现加速。模型压缩对于专用的稀疏神经网络加速器而言，显得极为重要。
语音识别Speech Recognition
语音识别(Speech Recognition)，是将语言的模拟信号顺序映射到一个具体的单词集合上。近年来，人工神经网络的方法在语音识别领域取得的效果已经远远超出了所有传统方法，正在成为全行业的主流。其中，深度神经网络有着极为广泛的应用。
图4示出了一种使用神经网络的语音识别引擎的例子。在图4的模型中，涉及利用深度学习模型来计算语音输出概率，即输入语音串与各种匹配候选之间相似度预测。通过本发明的方案，可以利用例如FPGA来加速实现图4的DNN部分。
图5进一步示出了应用于图4的语音识别引擎的深度学习模型。
图5中的5a显示了包含CNN(卷积神经网络)、LSTM(长短时记忆模型)、DNN(深度神经网络)、Softmax等模块的深度学习模型。
图5中的5b是本发明所旨在应用的学习模型，使用了多层LSTM。
在图中的5b的网络模型中，输入是一段语音片段。例如，约1秒的语音，被依次切割为100帧，每帧的特性可以由浮动型向量表示。
LSTM(长短时记忆)
在语音识别领域，为了解决对长期信息的记忆问题，Hochreiter&Schmidhuber于1997年提出了长短时记忆(Long Short-Term Memory,LSTM)模型。
图6示出了在语音识别领域所的使用一种LSTM网络模型。LSTM神经网络是RNN的一种，将普通RNN当中简单的重复神经网络模块改变为复杂的连接交互关系。LSTM神经网络在语音识别中也取得了非常好的应用效果。
关于LSTM的更多信息，可以参见如下文章：Sak H,Senior A W,Beaufays F.Longshort-term memory recurrent neural network architectures for large scaleacoustic modeling[C]//INTERSPEECH.2014:338-342，Sak H,Senior A,Beaufays F.Longshort-term memory based recurrent neural network architectures for largevocabulary speech recognition[J].arXiv preprint arXiv:1402.1128,2014.
如上所述，LSTM是一种类型的RNN。RNN与DNN的区别在于，RNN是时间依赖型的。具体而言，时刻T的输入依赖于时刻T-1的输出，即，当前帧的计算需要前一帧的计算结果。
图6所示的LSTM的结构中，各个参数的意义如下：
-i、f、o分别代表三个gate，g为cell的特征输入；
-粗线代表上一帧的输出；
-每个gate有一个权值矩阵，T时刻输入与T-1的输出经过gate时的计算量较大；
-虚线代表peephole，peephole以及三个叉乘符号对应的操作均为element-wiseoperation，计算量较小。
如图7所示，为了减小LSTM层的计算量，需要再额外引入一个投影层进行降维。
图7对应的计算公式为：
it＝σ(Wixxt+Wiryt-1+Wicct-1+bi)
ft＝σ(Wfxxt+Wfryt-1+Wfcct-1+bf)
ct＝ft⊙ct-1+it⊙g(Wcxxt+Wcryt-1+bc)
ot＝σ(Woxxt+Woryt-1+Wocct+bo)
mt＝ot⊙h(ct)
yt＝Wymmt
Wic，Wcf，Woc即是peephole，对应示意图中的三条虚线。计算中单元(cell)作为操作数的运算均为向量间的element-wise operation。也可以将其理解成向量和对角矩阵的乘法，此时权值矩阵是对角矩阵。
近年来，广泛的研究表明，通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着主要连接，发挥着关键作用，而其他权值较小的元素发挥的作用较小，可以被移除(置为零)，与此同时对应的神经元也被剪枝(pruning)。剪枝后的网络通过重训(fine-tune)，调整仍然保留在模型矩阵中权值的大小，可以保证网络的精度不下降。模型压缩可以将稠密的神经网络变成稀疏的神经网络，能够有效的减少计算量、降低访存量，从而实现加速。
因此，本发明的目的在于提供一种深度神经网络的压缩方法，其旨在通过考虑矩阵之间相关性，更科学地指导剪枝策略，在不影响网络的预测准确度的前提下，实现尽可能高的网络压缩率和更快的压缩速度。
发明内容
为此，在一方面，本发明提出一种对神经网络进行压缩的方法，所述神经网络的各个神经元之间的权重由多个矩阵表示。该方法包括：敏感度分析步骤，用于基于所述多个矩阵之间的相关性，分析各个矩阵的敏感度并确定各个矩阵的初始压缩比；压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；重训步骤，用于重训所述压缩后的神经网络。
在另一方面，本发明提出一种对神经网络进行压缩的装置，所述神经网络的各个神经元之间的权重由多个矩阵表示。该装置包括：敏感度分析单元，用于基于所述多个矩阵之间的相关性，分析各个矩阵的敏感度并确定各个矩阵的初始压缩比；压缩单元，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；重训单元，用于重训所述压缩后的神经网络。
附图说明
图1示出了一种深度神经网络(Deep Neural Networks,DNNs)的模型。
图2示出了一种利用剪切、重训的压缩神经网络的示意图。
图3示出了剪枝后的神经网络，其中一部分神经元被剪枝。
图4示出了一种使用神经网络的语音识别引擎的例子。
图5示出了应用于语音识别引擎的深度学习模型。
图6示出了应用于语音识别领域的一种LSTM网络模型。
图7示出了一种改进的LSTM网络模型。
图8示出了一种LSTM神经网络的压缩方法。
图9示出了敏感度测试的具体步骤。
图10显示了对LSTM网络应用敏感度测试的得到的相应曲线。
图11示出了确定最终稠密度序列并进行剪枝的具体步骤。
图12示出了通过“压缩试验-稠密度序列调整”迭代调整初始稠密度序列的具体子步骤。
图13示出了对神经网络进行重训的具体步骤。
图14示出了根据本发明的一个实施例的敏感度分析的具体步骤。
具体实施方式
发明人过去的研究成果
如发明人之前的文章“Learning both weights and connections forefficient neural networks”中，已经提出了一种通过修剪来压缩神经网络(例如，CNN)的方法。所述方法包括如下步骤。
初始化步骤，把卷积层、FC层的权重初始化为随机值，其中生成了具有完全连接的ANN，所述连接具有权重参数，
训练步骤，训练所述ANN，根据ANN的精度，来调整ANN的权重，直到所述精度达到预定标准。所述训练步骤基于随机梯度下降算法来调整所述ANN的权重，即随机调整权重值，基于ANN的精度变化来进行选择。关于随机梯度算法的介绍，可以参见上述“Learning bothweights and connections for efficient neural networks”。此外，所述精度可以量化为，针对训练数据集，ANN的预测结果和正确结果之间的 差异。
修剪步骤，基于预定的条件，发现ANN中的不重要的连接，修剪所述不重要的连接。具体而言，被修剪的连接的权重参数不再被保存。例如，所述预定条件包括以下任意之一：连接的权重参数为0；或连接的权重参数小于预定值。
微调步骤，将被修剪的连接重新设置为权重参数值为零的连接，即，恢复所述被修剪的连接，并分配权重值为0。
迭代步骤，判断ANN的精度达到预定标准。如果没有，重复上述训练、修剪、微调步骤。
本发明提出的改进
本发明提供了一种多次迭代的深度神经网络的压缩方法。
图8示出了根据本发明的一个实施例的一种适用于LSTM神经网络的压缩方法，其中通过多次迭代操作来实现神经网络的压缩。
根据图8的实施例，每次迭代操作具体包括敏感度分析、剪枝、重训三个步骤。下面对每个步骤进行具体说明。
步骤8100，敏感度测试(sensitivity analysis)。
在该步骤中，例如，针对LSTM网络中所有矩阵进行敏感度分析，以确定不同矩阵的初始稠密度(或者初始压缩比)。
图9示出了敏感度测试的具体步骤。
如图9所示，在步骤8110，例如，对LSTM网络中的各个矩阵尝试按照不同稠密度进行压缩(所选择的稠密度例如是0.1,0.2,…,0.9，对矩阵的具体压缩方法参考步骤8200)。然后，测量以不同稠密度压缩的网络的词错误率(Word Error Rate,WER)。
在识别一段单词序列时，可能存在一些单词被错误地插入、删除或替换的情况。例如，对于包含N个单词的一段初始识别文字而言，如果有I个单词被插入、D个单词被删除以及S个文字被替换，那么WER为：
WER＝(I+D+S)/N，
其中，WER通常由百分比表示。通常而言，压缩后网络的WER会变大，这意味着压缩后网络的精度会变差。
在步骤8120，对于一个矩阵，以稠密度为横坐标，WER为纵坐标，绘制神经网络中该矩阵在不同稠密度下的WER曲线。针对每个矩阵都绘制所述稠密度-WER曲线。
在步骤8130，对于一个矩阵，从曲线中寻找WER剧烈变化的点所对应的稠密度为该矩阵的初始稠密度。针对每个矩阵都获得所述初始稠密度。
在本实施例中，选取稠密度-WER曲线的拐点所对应的稠密度作为该矩阵的初始稠密度。具体而言，在一次迭代中拐点以如下方法确定：
已知压缩前(即稠密度为1)的初始网络WER为：WER(initial)；
针对不同稠密度得到相应的压缩后的网络WER为：WER(0.1)、WER(0.2)、···、WER(0.9)；
计算ΔWER，即：WER(0.1)与WER(initial)进行比较、WER(0.2)与WER(initial)进行比较、···、WER(0.9)与WER(initial)进行比较；
基于计算得到的ΔWER，拐点指的是ΔWER小于一定阈值的所有点当中具有最小稠密度的那个点。应当理解，可以基于其他策略选取曲线中WER剧烈变化的点，这些策略也包含在本发明的范围中。
在一个示例中，对于一个3层LSTM网络，其中每层有9个稠密矩阵需要压缩：Wix、Wfx、Wgx、Wox、Wir、Wfr、Wgr、Wor、Wrm，这样一共有27个稠密矩阵需要压缩。
首先，对每个矩阵，按照稠密度从0.1到0.9，以步长0.1做9次试验，测试整个网络在9次试验中的WER，并绘制相应稠密度-WER曲线。这样，针对27个矩阵，一共获得27条曲线。
然后，针对每个矩阵，从该矩阵对应的稠密度-WER曲线中(例如，针对第一层LSTM中的Wix矩阵绘制的曲线)，找到WER剧烈变化的点。
这里，认为相比于本轮迭代的初始网络的WER，ΔWER变化小于1％的所有点当中具有最小稠密度的那个点为拐点。
例如，假设初始网络的WER为24％，则选取曲线中WER小于25％的所有点当中具有最小稠密度的那个点作为拐点。取拐点对应的稠密度作为该Wix的初始稠密度。
这样，可以得到一个长度为27的初始稠密度序列，分别对应每个矩阵的初始稠密度。因此可以以该初始稠密度序列指导压缩。
一个初始稠密度序列的例子如下(矩阵排列顺序为Wcx、Wix、Wfx、Wox、Wcr、Wir、Wfr、Wor、Wrm)：
densityList＝[0.2,0.1,0.1,0.1,0.3,0.3,0.1,0.1,0.3,
0.5,0.1,0.1,0.1,0.2,0.1,0.1,0.1,0.3,
0.4,0.3,0.1,0.2,0.3,0.3,0.1,0.2,0.5]
图10示出了一个单层LSTM网络中9个矩阵的相应稠密度-WER曲线。可以看到，不同矩阵对于压缩的敏感度大相径庭，其中，w_g_x，w_r_m，w_g_r相对于其他矩阵而言较为敏感，即在稠密度-WER曲线中存在max(ΔWER)>1的点。
步骤8200，确定最终稠密度序列(density determination)并进行剪枝(Pruning)。
图11示出了确定最终稠密度序列并进行剪枝的具体步骤。
如图11所示，图8的步骤8200可以包括若干子步骤。
首先，在步骤8210，基于步骤8100中确定的初始稠密度序列，指导每一个对应的矩阵进行初次压缩试验。
然后，在步骤8215，基于初次压缩试验的结果，测试压缩后网络的WER。如果压缩前后网络的ΔWER超过某一阈值ε(例如，4％)，则进行到下一步骤8220。
在步骤8220，通过“压缩试验-稠密度序列调整”迭代来调整初始稠密度序列。在步骤8225，获得最终稠密度序列。
如果ΔWER未超过该阈值ε，则直接进行到步骤8225，初始稠密度序列即为最终稠密度序列。
最后，在步骤8230，基于最终稠密度序列指导LSTM网络进行剪枝。
下面，对图11的各子步骤进行详细说明。
步骤8210，进行初次压缩试验
根据研究中获得的经验，矩阵中绝对值比较大的权值对应着比较强的神经元连接关系。因此，在本实施例中，基于矩阵中元素的绝对值进行矩阵压缩。应当理解，可以基于其他策略对矩阵进行压缩，这些策略也包含在本发明的范围中。
根据本发明的一个实施例，对每个矩阵中的所有元素按照绝对值从小到大进行排序。然后，基于步骤8100中确定的该矩阵的初始稠密度对该矩阵进行压缩，只保留对应的稠密度所对应比例的绝对值较大的元素，并且将其余元素置零。例如，如果该矩阵的初始稠密度为0.4，那么，保留该矩阵中绝对值较大的前40％的元素，将剩余60％元素置零。
步骤8215，判断压缩前后网络的ΔWER超过某一阈值ε(例如，4％)。
步骤8220，如果压缩前后网络的ΔWER超过所述阈值ε(例如，4％)，则通过“压缩试验-稠密度序列调整”迭代。
步骤8225，通过在步骤8220调整初始稠密度序列，获得最终稠密度序列。
图12示出了通过“压缩试验-稠密度序列调整”迭代调整初始稠密度序列的具体步骤。
如图12所示，在步骤8221，对相对敏感的矩阵的稠密度进行调整。即，上浮相对敏感的矩阵的稠密度，例如，上浮0.05。基于该稠密度，对相应矩阵进行压缩试验。
在本实施例中，压缩试验的策略与初次压缩试验相同，但是应当理解，可以选择其他策略对矩阵进行压缩，这些策略也包含在本发明的范围中。
然后，计算压缩后的网络的WER，若WER仍不满足目标，则继续上浮相对敏感的矩阵的稠密度，例如上浮0.1。基于该稠密度，对相应矩阵进行压缩试验。以此类推，直到压缩前后网络的ΔWER在所述阈值ε(例如，4％)以下。
可选地或依次地，在步骤8222，可以继续对相对不敏感的矩阵的稠密度进行微调，从而使压缩前后网络的ΔWER在某一阈值ε’(例如，3.5％)以下。这样，可以进一步提高压缩后的网络的准确度。
如图12所示，对相对不敏感的矩阵的稠密度的微调过程类似于前述对相对敏感的矩阵的稠密度的微调过程。
在一个示例中，神经网络的原始WER为24.2％，步骤8100中获得的初始稠密度序列为：
densityList＝[0.2,0.1,0.1,0.1,0.3,0.3,0.1,0.1,0.3,
0.5,0.1,0.1,0.1,0.2,0.1,0.1,0.1,0.3,
0.4,0.3,0.1,0.2,0.3,0.3,0.1,0.2,0.5]
按照初始稠密度序列对网络进行剪枝，压缩后的网络的WER恶化为32％，此时需要调整初始稠密度序列。具体步骤如下：
根据步骤8100的结果得知，第一层LSTM中的矩阵Wcx,Wcr,Wir,Wrm、第二层中矩阵的Wcx,Wcr,Wrm、和第三层中矩阵的Wcx,Wix,Wox,Wcr,Wir,Wor,Wrm相对敏感，其余矩阵相对不敏感。
首先，对上述相对敏感的矩阵，按0.05的步长增大其对应的初始稠密度。
然后，基于上浮的稠密度对神经网络阵进行压缩试验。通过计算得到压缩后网络的WER为27.7％。此时，满足压缩前后网络ΔWER<4％的要求，停止调整相对敏感的矩阵的稠密度。
根据本发明的另一实施例，可选地，可以对相对不敏感的矩阵的初始稠密度进行微调，使压缩前后网络ΔWER<3.5％。在本示例中，省略该步骤。
因此，通过“压缩试验-稠密度序列调整”迭代调整得到的最终稠密度序列为：
densityList＝[0.25,0.1,0.1,0.1,0.35,0.35,0.1,0.1,0.35,
0.55,0.1,0.1,0.1,0.25,0.1,0.1,0.1,0.35,
0.45,0.35,0.1,0.25,0.35,0.35,0.1,0.25,0.55]
此时，压缩后的神经网络的整体稠密度约为0.24。
步骤8230，基于最终稠密度进行剪枝(Pruning)。
例如，在本实施例中，同样基于矩阵中元素的绝对值对矩阵进行剪枝。
具体地，对每个矩阵中的所有元素按照绝对值从小到大进行排序；然后，基于最终稠密度序列对各矩阵进行压缩，对于每个矩阵，只保留相应稠密度对应的绝对值较大的元素，并且将其余元素置零。
在步骤8300，重训(fine tuning)
对神经网络的训练是对损失函数进行优化的过程。损失函数指的是在给定输入下，神经网络模型预测的结果与真实结果之间的差别。希望损失函数的值尽可能小。
对神经网络的训练的本质在于寻找最优解。重训即指在已有的一个可能的离最优解很近的次优解的情况下，搜索最优解，也就是在一定的基础上继续训练。
例如，对于LSTM深度神经网络，在步骤8200剪枝操作以后，在保留下来的权值的基础上继续训练，寻找最优解，就是一个重训的过程。
图13示出了对神经网络进行重训的具体步骤。
如图13所示，输入是在步骤8200剪枝操作之后的神经网络。
在步骤8310中，首先，用训练集训练步骤8200得到的稀疏神经网络并进行权值矩阵更新。
然后，在步骤8320，判断该矩阵是否收敛到局部最优解。
如果未收敛到局部最优解，则返回步骤8310，重复训练集训练和权值矩阵更新的步骤。
如果收敛到最优解，则进行到步骤8330，获得最终神经网络。
在本发明一个实施例中，重训时采用梯度下降法来更新权值矩阵。
具体地，梯度下降法基于这样的观察：
如果实值函数F(x)在点a处可微且有定义，那么函数F(x)在a点沿着梯度相反的方向下降最快。因而，如果：
对于γ>0为一个够小数值时成立，那么F(a)≥F(b)，其中a是向量。
考虑到这一点，我们可以从函数F的局部极小值的初始估计x0出发，并考虑如下序列x0,x1,x2,…使得：
因此可得到：
，F(x0)≥F(x1)≥F(x2)≥…
如果顺利的话，序列(xn)收敛到期望的极值。注意每次迭代步长γ可以改变。
这里，将F(x)理解为损失函数，就可以理解梯度下降法使得模型预测损失减小的原理。
在一个示例中，参考论文DSD：Regularizing Deep Neural Networks withDense-Sparse-Dense Training Flow in NIPS 2016，对LSTM深度神经网络的重训方法如下：
这里，W是权值矩阵，η代表学习率，也就是随机梯度下降法的步长，f是损失函数，是对损失函数求梯度，x是训练数据，t+1代表更新权值。
上式的含义是：用权值矩阵减去学习率与损失函数梯度的乘积，来更新权值矩阵。
在另一个示例中，保持网络中各个矩阵压缩后非零元素的分布的方法是使用掩码(mask)矩阵，该掩码矩阵仅包括0和1元素，用于记录压缩后矩阵非零元素的分布信息。
通常带掩码的重训方法如下：
Mask＝(W(0)≠0)
也就是，对计算出来的梯度乘以掩码矩阵，保证梯度矩阵变成与掩码矩阵相同的形状，用来更新权值矩阵。
下面，详细说明重训过程和收敛判断准则的一个具体示例。
在该示例中，重训的输入为：待训练的网络、学习率、最大训练轮数、keep_lr_iters(保持原学习率的轮数)、start_halving_impr(用于确定改变学习率的时机，例如0.01)、end_halving_impr(用于终止训练，例如0.001)、halving_factor(例如0.5)、数据集(训练集、交叉验证集、测试集)等。
此外，重训的输入还包括学习动量、num-stream、batch-size等参数，这里暂时省略这些参数。重训的输出为：训练后的网络。
重训的具体过程如下：
1、对待训练的初始模型采用交叉验证数据集测试平均损失(cross loss，后面简称“loss”)，作为衡量网络训练好坏的初始标准；
2、迭代训练：
·迭代训练分为多个“epoch”进行(这里，训练集中所有数据运行一遍称为一个epoch，后面简称“一轮”)，迭代的总轮数不会超过最大训练轮数max_iters；
·在每一轮中，采用训练数据集，利用梯度下降法，更新网络中矩阵的权值；
·每轮训练结束后，保存训练出的网络，并对其采用交叉验证数据集测试平均损失loss，如果此时的loss比上一轮有效训练的loss(记为loss_prev)大，则拒绝本次训练(下一轮的训练还是基于上一轮训练结果)，否则接受本次训练(下一轮训练基于本轮训练结果)，并存储本轮的loss；
·学习率的动态改变及训练终止的条件：涉及到输入参数start_halving_impr、end_halving_impr、halving_factor等，每轮训练结束后，根据(loss_prev-loss)/loss_prev计算improvement并记为real_impr，其表示本轮被接受的训练结果的loss相比于上一轮被接受的训练结果的loss相对提升的大小，然后根据real_impr进行处理：
1)如果迭代轮数小于keep_lr_iters，则不改变学习率；
2)如果real_impr小于start_halving_impr(例如0.01)，即本轮训练相比于上一轮提升已经到某个较小的限度内，说明接近局部最优解了，则使得学习率减小(乘以halving_factor，通常是折半)，从而减小梯度下降法的步长，以更小的步子接近局部最优解；
3)如果real_impr小于end_halving_impr(例如0.001)，即本轮训练相比于上一轮相对提升比较小了，认为训练已经达到终点并终止训练(但是如果训练轮数小于min_iters，则会继续训练至min_iters轮)。
因此，训练结束的情况可能包括以下四种：
1、训满min_iters轮，中间未出现real_impr小于end_halving_impr，则取第min_iters轮的结果；
2、训满min_iters轮，中间出现了real_impr小于end_halving_impr，则取前min_iters轮中loss最小的那一轮训练结果；
3、正常训练超过min_iters轮，但是小于max_iters轮，出现real_impr小于end_halving_impr，则取最后一轮，也就是loss最小的那一轮的训练结果；
4、正常训练到max_iters轮，未出现real_impr小于end_halving_impr，取第max_iters轮的结果。
应注意，上述示例描述了一种重训过程以及用于确定矩阵是否收敛到局部最优解的判断准则。然而，在实际操作中，为了提高压缩效率，不必须等到收敛结果，可以取中间结果，然后进行下一轮压缩。
此外，判断准则还包括判断经过训练后的网络的WER是否满足一定标准等，这些判断准则也包含在本发明的范围中。
通过重训，网络的WER下降，从而减少了压缩带来的精度损失。例如，通过重训，一个稠密度为0.24的LSTM网络的WER可以从27.7％下降到25.8％。
迭代步骤(iteration)
返回参照图8，如上文所述，本发明通过多次迭代操作、即重复上述步骤8100、8200、8300而将神经网络压缩至期望稠密度。
例如，在一个示例中，希望最终网络稠密度为0.14。
在第一轮迭代中，通过步骤8300得到稠密度为0.24、WER为25.8％的网络。
重复上述步骤8100、8200、8300对该网络继续进行多轮压缩。
例如，在第二轮压缩后，网络的稠密度为0.18，WER为24.7％。
继续第三轮压缩后，网络稠密度为0.14，WER为24.6％，达到目标。
本发明提出的进一步改进
在上文实施例中，敏感度分析方法是对多层LSTM神经网络中的所有待压缩矩阵逐一扫描(即，对各矩阵以不同的稠密度进行压缩从而获得稠密度-WER曲线)，以确定整个网络的初始稠密度序列。然而，这种敏感度分析方法存在以下两个缺点：
1、首先，由于在敏感度分析中是对单个矩阵进行扫描，没有考虑矩阵之间的相关性。然而，在矩阵压缩时却是对整个网络进行压缩，即对所有矩阵同时进行压缩。因此，压缩后网络的精度可能与单个矩阵扫描时得到的理论值存在较大偏差，这对如何调整初始稠密度序列以获得更合适稠密度带来了困难；
2、其次，对于N层LSTM神经网络而言，每层有9个稠密矩阵需要压缩，因此需要压缩的矩阵总共有N*9个。如果上上文实施例那样，在敏感度分析中对每个矩阵以0.1,0.2,…,0.9的稠密度逐一扫描，则至少需要进行N*9*9次敏感度测试以获得N*9个稠密度-WER曲线，进而确定各矩阵的初始稠密度。对于较大规模的神经网络而言，该过程的时间成本较高。
针对上述问题，本发明提出一种优化的深度神经网络(例如，LSTM)压缩方法。具体地，通过在敏感度分析阶段加入对矩阵之间相关性的考虑，更高效、准确地确定网络压缩的初始稠密度序列，以指导更科学合理的剪枝策略，同时在不影响网络的预测准确度的前提下，实现尽可能高的网络压缩率和更快的压缩速度。
图14示出了根据本发明的一个实施例的敏感度分析的具体步骤。
如图14所示，根据本发明的敏感度分析包括以下三个步骤：矩阵划分1410、确 定弱相关性矩阵的初始稠密度1420、确定强相关性矩阵的初始稠密度1430。下面，对图14的各子步骤进行详细说明。
步骤1410：矩阵划分
在该步骤中，例如将待压缩的N个矩阵划分为n个弱相关性矩阵和(N-n)个强相关性矩阵，然后对弱相关性矩阵进行聚类，即将若干弱相关性矩阵作为一个弱相关性矩阵组整体考虑。这里，矩阵呈弱相关性意味着矩阵较不敏感，即与神经网络的其他部分相关性较弱。
具体地，矩阵划分可以依据多种标准进行。
根据本发明的一个示例，以待判定矩阵被压缩到某个目标压缩率时神经网络整体WER的增量是否超过某一阈值作为判断标准。
例如，一个具体的判断标准可以是：如果将待判定的矩阵压缩到10％后神经网络的WER增长率、即ΔWER/WER<1％，那么认为矩阵在压缩到10％后与神经网络表现为弱相关；否则，该矩阵在压缩到10％后与神经网络表现为强相关。
根据本发明的另一示例，对不同LSTM网络进行多轮压缩后得到的结果进行分析，从而得到经验标准。
例如，对于LSTM神经网络，每层如下有9个稠密矩阵需要压缩：Wix、Wfx、Wcx、Wox、Wir、Wfr、Wcr、Wor、Wrm。在分析多轮压缩结果后得到的一般经验是：矩阵Wix、Wfx、Wox、Wfr、Wor与神经网络相关性较弱，Wcx、Wcr、Wir、Wrm与神经网络相关性较强。
应理解的是，可以选择其他标准来对矩阵进行划分，这些标准也包含在本发明的范围中。
步骤1420：确定弱相关性矩阵的初始稠密度
在该步骤中，对步骤1410中得到的弱相关性矩阵组整体统一进行扫描，即对该弱相关性矩阵组整体尝试按照不同稠密度进行压缩(所选择的稠密度例如是0.1,0.2,…,0.9，对矩阵的具体压缩方法参考步骤8200)。然后，测量以不同稠密度压缩后的网络的词错误率(WER)。
随后，针对该弱相关性矩阵组，以稠密度为横坐标，WER为纵坐标，绘制在不同稠密度下的WER曲线(稠密度-WER曲线)。
最后，从该稠密度-WER曲线中寻找WER剧烈变化的点所对应的稠密度为该弱相关性矩阵组中各弱相关性矩阵的初始稠密度。例如，可以参考步骤8100选取稠密度-WER曲线的拐点所对应的稠密度作为各弱相关性矩阵的初始稠密度，或者基于其他策略选择初始稠密度。以该初始稠密度压缩各弱相关性矩阵，得到初始压缩后的神经网络。
步骤1430：确定强相关性矩阵的初始稠密度
在该步骤中，首先，在步骤1420中得到的初始压缩后的神经网络的基础上，对步骤1410中划分的强相关性矩阵逐一进行扫描。具体地，保持各弱相关性矩阵压缩至步骤1420中得到的初始稠密度，同时对于每个强相关性矩阵，尝试按照不同稠密度进行压缩(所选择的稠密度例如是0.1,0.2,…,0.9，对矩阵的具体压缩方法参考步 骤8200)。然后，测量以不同稠密度压缩后的神经网络的词错误率(WER)。
随后，对于每个强相关性矩阵，以稠密度为横坐标、WER为纵坐标绘制稠密度-WER曲线。针对每个强相关性矩阵都绘制相应的稠密度-WER曲线。
最后，对于每个强相关性矩阵，从相应稠密度-WER曲线中寻找WER剧烈变化的点所对应的稠密度为该矩阵的初始稠密度。针对每个强相关性矩阵都获得相应的初始稠密度。这里，初始稠密度的具体选取策略可以参考步骤8100。
下面，对根据本发明的方法进行敏感度分析的一个示例进行详细说明。
在该示例中，待压缩的网络是两层LSTM网络，其中每层有9个待压缩稠密矩阵，因此总共有18个矩阵待压缩。
-步骤1：依据上文所述的经验标准将待压缩的18个稠密矩阵划分为10个弱相关性矩阵(每层的Wix、Wfx、Wox、Wfr、Wor)和8个强相关性矩阵(每层的Wcx、Wcr、Wir、Wrm)。然后，对10个弱相关性矩阵聚类，形成弱相关性矩阵组；
-步骤2：对步骤1中形成的弱相关性矩阵组统一以稠密度0.1,0.2,…,0.9进行9次敏感度测试，测量以各稠密度压缩后的网络的9个WER值。随后，绘制稠密度-WER曲线，以上文所述的方式确定所述弱相关性矩阵组的初始稠密度。
例如，在一个示例中，根据绘制的稠密度-WER曲线选择出该弱相关性矩阵组的初始稠密度为0.1，由此获得的稠密度序列为(矩阵排列顺序为Wcx、Wix、Wfx、Wox、Wcr、Wir、Wfr、Wor、Wrm)：
[1,0.1,0.1,0.1,1,1,0.1,0.1,1,
1,0.1,0.1,0.1,1,1,0.1,0.1,1]
然后，采用该稠密度序列对网路进行初始压缩。在后续步骤中，保持弱相关性矩阵的稠密度不变。
-步骤3：在步骤2得到的初始压缩网络的基础上，对步骤1中划分的8个强相关性矩阵，以稠密度0.1,0.2,…,0.9进行9次敏感度测试，绘制出相应的8条稠密度-WER曲，从而以上文所述的方式确定各强相关性矩阵的初始稠密度。
例如，在一个示例中，通过稠密度-WER曲线得到的两层LSTM网络中强相关性矩阵Wcx、Wcr、Wir、Wrm的压缩率分别为[0.3,0.4,0.2,0.6]和[0.2,0.3,0.5,0.7]，由此可以确定整个网络的初始稠密度序列为：
[0.3,0.1,0.1,0.1,0.4,0.2,0.1,0.1,0.6,
0.2,0.1,0.1,0.1,0.3,0.5,0.1,0.1,0.7]
技术效果
基于上述技术方案可知，本发明提出的基于矩阵相关性的敏感度分析方法具有以下有益效果：
1、根据本发明的压缩方法有利于在保持期望精度的同时实现较高压缩率。
具体而言，在压缩方法中，对待压缩矩阵按照相对整个网络的相关性的强弱进行划分，首先确定弱相关性矩阵的初始稠密度。这种方式对网络整体精度影响较小，更容易实现较高的压缩率。然后，在保持弱相关性矩阵的初始稠密度不变的基础上对强相关性矩阵进行敏感度试验，进一步确定整个网络的初始稠密度序列。此时，由于在对强相关性矩阵的初始稠密度进行选择时考虑了弱相关性矩阵压缩的影响，因而更贴近最终压缩时的真实情况，有利于最终稠密度序列的确定；
2、根据本发明的压缩方法有助于减少扫描次数，提高确定初始稠密度序列的效率。
例如在上述示例中，如果采用传统的单个矩阵逐一扫描方法确定初始稠密度序列，需要进行9*9*2＝162次敏感度测试。然而，如果采用本发明的压缩方法，只需进行要9+8*9＝81次敏感度测试，节省了一半时间。
以上实施例仅仅以LSTM网络作为说明本发明的例子。应当理解，本发明可以不限于LSTM神经网络，而是可以应用到其他各种神经网络。
需要说明的是，本说明书中的各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种对神经网络进行压缩的方法，所述神经网络的各个神经元之间的权重由多个矩阵表示，该方法包括：
敏感度分析步骤，用于基于所述多个矩阵之间的相关性，分析各个矩阵的敏感度并确定各个矩阵的初始压缩比；
压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；
重训步骤，用于重训所述压缩后的神经网络。
2.根据权利要求1的方法，还包括：
迭代执行所述敏感度分析步骤、所述压缩步骤、所述重训步骤。
3.根据权利要求1的方法，其中，所述敏感度分析步骤进一步包括：
矩阵划分步骤，用于将所述多个矩阵划分为多个强相关性矩阵和多个弱相关性矩阵；
矩阵聚类步骤，用于将所述多个弱相关性矩阵聚类为弱相关性矩阵组；
弱相关性矩阵初始压缩比确定步骤，用于分析所述弱相关性矩阵组的敏感度并确定弱相关性矩阵的初始压缩比；
强相关性矩阵初始压缩比确定步骤，用于分析每个强相关性矩阵的敏感度并确定每个强相关性矩阵的初始压缩比。
4.根据权利要求3的方法，其中，所述矩阵划分步骤进一步包括：
将所述多个矩阵中的一个矩阵压缩预定压缩比，并测量压缩后的神经网络的词错误率(WER)增长率；
若WER增长率小于预定阈值，则将所述矩阵划分为弱相关性矩阵；
否则，将所述矩阵划分为强相关性矩阵。
5.根据权利要求3的方法，其中，所述弱相关性矩阵初始压缩比确定步骤进一步包括：
获得压缩前的神经网络词错误率WERinitial；
基于多个不同压缩比(d1,d2,…dn)压缩所述弱相关性矩阵组，并得到压缩后的各个神经网络词错误率WERd1、WERd2，…WERdn；
基于所述各个神经网络词错误率WERd1、WERd2，…WERdn，从所述多个不同压缩比中选择一个作为所述弱相关性矩阵组的各个弱相关性矩阵的初始压缩比。
6.根据权利要求5的方法，其中，从所述多个不同压缩比中选择一个作为初始压缩比进一步包括：
计算各个ΔWER，即WERinitial与WERd1、WERd2，…，WERdn的差值；
基于所述各个ΔWER，选择满足ΔWER小于预定阈值的所有压缩比(d1,d2,…dn)之中最大的压缩比。
7.根据权利要求3的方法，其中，所述强相关性矩阵初始压缩比确定步骤进一步包括：
获得压缩前的神经网络词错误率WERinitial；
基于多个不同压缩比(d1,d2,…dn)压缩所述多个强相关性矩阵中的一个强相关性矩阵，并且基于所述弱相关性矩阵的初始压缩比压缩所述多个弱相关性矩阵，得到压缩后的各个神经网络词错误率WERd1、WERd2，…WERdn；
基于所述各个神经网络词错误率WERd1、WERd2，…WERdn，从所述多个不同压缩比中选择一个作为所述强相关性矩阵的初始压缩比。
8.根据权利要求7的方法，其中，从所述多个不同压缩比中选择一个作为初始压缩比进一步包括：
计算各个ΔWER，即WERinitial与WERd1、WERd2，…WERdn的差值；
基于所述各个ΔWER，选择满足ΔWER小于预定阈值的所有压缩比(d1,d2,…dn)之中最大的压缩比。
9.根据权利要求1的方法，其中，所述压缩步骤进一步包括：
基于各个矩阵的初始压缩比，对相应矩阵进行剪枝(pruning)操作。
10.根据权利要求9的方法，其中，所述剪枝操作包括：
对每个矩阵中的所有元素按照绝对值从小到大进行排序；
保留与所述压缩比相对应比例的绝对值较大的元素；以及
将其余元素置零。
11.根据权利要求1的方法，其中，所述压缩步骤进一步包括：
第一压缩步骤，基于所述各个矩阵的初始压缩比，压缩所述神经网络的各个矩阵；
调整步骤，基于所述第一压缩步骤后的网络的词错误率(WER)，调整所述各个矩阵的初始压缩比，以获得各个矩阵的调整压缩比；
第二压缩步骤，基于所述各个矩阵的调整压缩比，压缩所述神经网络的各个矩阵，以获得压缩后的神经网络。
12.根据权利要求11的方法，其中，所述调整步骤进一步包括：
调整压缩比步骤，调整相对敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；
判断步骤，判断以所述调整后的压缩比压缩后的神经网络的WER是否满足预定要求；如果未满足所述预定要求，则返回所述调整压缩比步骤，以继续调整相对敏感矩阵的压缩比；
如果满足所述预定要求，则把相对敏感矩阵的所述调整后的压缩比作为相应矩阵的调整压缩比。
13.根据权利要求11的方法，其中，所述调整步骤进一步包括：
调整压缩比步骤，调整相对不敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；
判断步骤，判断以所述调整后的压缩比压缩后的神经网络的WER是否满足预定要求；
如果未满足所述预定要求，则返回所述调整压缩比步骤，以继续调整相对不敏感矩阵的压缩比；
如果满足所述预定要求，则把相对不敏感矩阵的所述调整后的压缩比作为相应矩阵的调整压缩比。
14.根据权利要求1所述的方法，其中，所述重训步骤进一步包括：
训练步骤，使用训练集训练所述神经网络，并进行权值矩阵更新；
判断步骤，判断该矩阵是否收敛到局部最优解；
如果未收敛到局部最优解，则返回所述训练步骤；
如果收敛到最优解，则把所述神经网络作为最终神经网络。
15.根据权利要求14所述的方法，其中，所述训练步骤进一步包括：
输入训练集数据，计算损失函数对网络参数的导数，求得梯度矩阵；
采用随机梯度下降法，更新网络中的权值矩阵，其中，更新后的权值矩阵＝更新前的权值矩阵-学习率*梯度矩阵；
针对更新网络中的权值矩阵，计算网络的平均损失；
判断本轮训练是否有效，其中，如果平均损失比上一轮有效训练的平均损失大，则本轮训练无效；如果平均损失比上一轮有效训练的平均损失小，则本轮训练有效；
如果本轮训练无效，且没有达到最大训练轮数，则调整学习率，在上一轮有效训练的基础上继续训练；
如果本轮训练有效，则进行判断步骤。
16.一种对神经网络进行压缩的设备，所述神经网络的各个神经元之间的权重由多个矩阵表示，该设备包括：
敏感度分析单元，用于基于所述多个矩阵之间的相关性，分析各个矩阵的敏感度并确定各个矩阵的初始压缩比；
压缩单元，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；
重训单元，用于重训所述压缩后的神经网络。
17.根据权利要求16的设备，其中，所述敏感度分析单元还包括：
矩阵划分单元，用于将所述多个矩阵划分为多个强相关性矩阵和多个弱相关性矩阵；
矩阵聚类单元，用于将所述多个弱相关性矩阵聚类为弱相关性矩阵组；
弱相关性矩阵初始压缩比确定单元，用于分析所述弱相关性矩阵组的敏感度并确定所述弱相关性矩阵的初始压缩比；
强相关性矩阵初始压缩比确定单元，用于分析每个强相关性矩阵的敏感度并确定每个强相关性矩阵的初始压缩比。
18.根据权利要求17的设备，其中，所述矩阵划分单元进一步包括：
错误率测量单元，用于以预定压缩比压缩所述多个矩阵中的一个矩阵，并测量压缩后的神经网络的词错误率(WER)增长率；
判定-分类单元，用于判断WER增长率是否小于预定阈值，如果是，则将所述矩阵划分为弱相关性矩阵，否则，将所述矩阵划分为强相关性矩阵。
CN201611205336.7A 2016-08-12 2016-12-23 考虑矩阵相关性的深度神经网络压缩方法 Active CN107729999B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN201610663201 2016-08-12
US15/242,624 US20180046903A1 (en) 2016-08-12 2016-08-22 Deep processing unit (dpu) for implementing an artificial neural network (ann)
US15/242,622 US10621486B2 (en) 2016-08-12 2016-08-22 Method for optimizing an artificial neural network (ANN)
US15/242,622 2016-08-22
US15/242,624 2016-08-22
US15/242,625 US20180046895A1 (en) 2016-08-12 2016-08-22 Device and method for implementing a sparse neural network

Publications (2)

Publication Number Publication Date
CN107729999A true CN107729999A (zh) 2018-02-23
CN107729999B CN107729999B (zh) 2021-02-02

Family

ID=59983021

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201611107809.XA Active CN107704916B (zh) 2016-08-12 2016-12-05 一种基于fpga实现rnn神经网络的硬件加速器及方法
CN201611205336.7A Active CN107729999B (zh) 2016-08-12 2016-12-23 考虑矩阵相关性的深度神经网络压缩方法
CN201710249355.8A Active CN107239829B (zh) 2016-08-12 2017-04-17 一种优化人工神经网络的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611107809.XA Active CN107704916B (zh) 2016-08-12 2016-12-05 一种基于fpga实现rnn神经网络的硬件加速器及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710249355.8A Active CN107239829B (zh) 2016-08-12 2017-04-17 一种优化人工神经网络的方法

Country Status (2)

Country Link
US (1) US10621486B2 (zh)
CN (3) CN107704916B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665067A (zh) * 2018-05-29 2018-10-16 北京大学 用于深度神经网络频繁传输的压缩方法及系统
CN109212960A (zh) * 2018-08-30 2019-01-15 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN110399972A (zh) * 2019-07-22 2019-11-01 上海商汤智能科技有限公司 数据处理方法、装置及电子设备
CN111612144A (zh) * 2020-05-22 2020-09-01 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
TWI722434B (zh) * 2018-05-31 2021-03-21 耐能智慧股份有限公司 深度神經網絡自我調整增量模型壓縮的方法
CN112686506A (zh) * 2020-12-18 2021-04-20 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
CN115994936A (zh) * 2023-03-23 2023-04-21 季华实验室 点云融合模型获取方法、装置、电子设备及存储介质
CN117219124A (zh) * 2023-10-08 2023-12-12 国网湖北省电力有限公司超高压公司 一种基于深度神经网络的开关柜声纹故障检测方法
WO2024098373A1 (en) * 2022-11-11 2024-05-16 Nvidia Corporation Techniques for compressing neural networks
US12013958B2 (en) 2022-02-22 2024-06-18 Bank Of America Corporation System and method for validating a response based on context information
US12050875B2 (en) 2022-02-22 2024-07-30 Bank Of America Corporation System and method for determining context changes in text

Families Citing this family (234)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643126B2 (en) * 2016-07-14 2020-05-05 Huawei Technologies Co., Ltd. Systems, methods and devices for data quantization
US10802992B2 (en) 2016-08-12 2020-10-13 Xilinx Technology Beijing Limited Combining CPU and special accelerator for implementing an artificial neural network
US10643124B2 (en) * 2016-08-12 2020-05-05 Beijing Deephi Intelligent Technology Co., Ltd. Method and device for quantizing complex artificial neural network
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
EP4220630A1 (en) 2016-11-03 2023-08-02 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
US11003985B2 (en) * 2016-11-07 2021-05-11 Electronics And Telecommunications Research Institute Convolutional neural network system and operation method thereof
US20180181864A1 (en) 2016-12-27 2018-06-28 Texas Instruments Incorporated Sparsified Training of Convolutional Neural Networks
US10726583B2 (en) * 2016-12-30 2020-07-28 Intel Corporation System and method of encoding and decoding feature maps and weights for a convolutional neural network
JP6540725B2 (ja) * 2017-01-30 2019-07-10 富士通株式会社 演算処理装置、方法、およびプログラム
US10491239B1 (en) * 2017-02-02 2019-11-26 Habana Labs Ltd. Large-scale computations using an adaptive numerical format
TWI607389B (zh) * 2017-02-10 2017-12-01 耐能股份有限公司 卷積神經網路的池化運算裝置及方法
US10963783B2 (en) * 2017-02-19 2021-03-30 Intel Corporation Technologies for optimized machine learning training
US11934945B2 (en) 2017-02-23 2024-03-19 Cerebras Systems Inc. Accelerated deep learning
CN107086910B (zh) * 2017-03-24 2018-08-10 中国科学院计算技术研究所 一种针对神经网络处理的权重加解密方法和系统
KR102415508B1 (ko) * 2017-03-28 2022-07-01 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US11615297B2 (en) * 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US20180293486A1 (en) * 2017-04-07 2018-10-11 Tenstorrent Inc. Conditional graph execution based on prior simplified graph execution
US10657438B2 (en) 2017-04-17 2020-05-19 Cerebras Systems Inc. Backpressure for accelerated deep learning
US11934934B2 (en) * 2017-04-17 2024-03-19 Intel Corporation Convolutional neural network optimization mechanism
US11488004B2 (en) 2017-04-17 2022-11-01 Cerebras Systems Inc. Neuron smearing for accelerated deep learning
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
US11017291B2 (en) * 2017-04-28 2021-05-25 Intel Corporation Training with adaptive runtime and precision profiling
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
US10878273B2 (en) 2017-07-06 2020-12-29 Texas Instruments Incorporated Dynamic quantization for deep neural network inference system and method
JP6929734B2 (ja) * 2017-08-08 2021-09-01 キヤノン株式会社 判別演算装置、判別演算方法及びプログラム
US11222256B2 (en) * 2017-10-17 2022-01-11 Xilinx, Inc. Neural network processing system having multiple processors and a neural network accelerator
US11694066B2 (en) 2017-10-17 2023-07-04 Xilinx, Inc. Machine learning runtime library for neural network acceleration
CN107729895A (zh) * 2017-10-18 2018-02-23 吉林大学 一种智能车adas系统目标检测方法及装置
DE102017218889A1 (de) * 2017-10-23 2019-04-25 Robert Bosch Gmbh Unscharf parametriertes KI-Modul sowie Verfahren zum Betreiben
US11195096B2 (en) * 2017-10-24 2021-12-07 International Business Machines Corporation Facilitating neural network efficiency
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11250329B2 (en) * 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
CN108009393B (zh) * 2017-10-31 2020-12-08 深圳市易成自动驾驶技术有限公司 数据处理方法、装置及计算机可读存储介质
CN109726709A (zh) * 2017-10-31 2019-05-07 优酷网络技术（北京）有限公司 基于卷积神经网络的图标识别方法和装置
GB2568083B (en) 2017-11-03 2021-06-02 Imagination Tech Ltd Histogram-based per-layer data format selection for hardware implementation of deep neutral network
GB2568081B (en) * 2017-11-03 2022-01-19 Imagination Tech Ltd End-to-end data format selection for hardware implementation of deep neural network
US11461628B2 (en) * 2017-11-03 2022-10-04 Samsung Electronics Co., Ltd. Method for optimizing neural networks
CN107766939A (zh) * 2017-11-07 2018-03-06 维沃移动通信有限公司 一种数据处理方法、装置及移动终端
CN107909583B (zh) * 2017-11-08 2020-01-10 维沃移动通信有限公司 一种图像处理方法、装置及终端
KR20190054454A (ko) 2017-11-13 2019-05-22 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치
CN109784129A (zh) * 2017-11-14 2019-05-21 北京京东尚科信息技术有限公司 信息输出方法和装置
CN107958285A (zh) * 2017-11-21 2018-04-24 深圳普思英察科技有限公司 面向嵌入式系统的神经网络的映射方法及装置
CN108304923B (zh) 2017-12-06 2022-01-18 腾讯科技（深圳）有限公司 卷积运算处理方法及相关产品
WO2019109336A1 (en) * 2017-12-08 2019-06-13 Baidu.Com Times Technology (Beijing) Co., Ltd. Stereo camera depth determination using hardware accelerator
CN111105024B (zh) * 2017-12-14 2024-03-01 中科寒武纪科技股份有限公司 神经网络处理器板卡及相关产品
CN109960673B (zh) * 2017-12-14 2020-02-18 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
WO2019114842A1 (zh) * 2017-12-14 2019-06-20 北京中科寒武纪科技有限公司 一种集成电路芯片装置
CN109961137B (zh) * 2017-12-14 2020-10-09 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109961136B (zh) * 2017-12-14 2020-05-19 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN108053028B (zh) * 2017-12-21 2021-09-14 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
US11080611B2 (en) * 2017-12-22 2021-08-03 Intel Corporation Compression for deep learning in case of sparse values mapped to non-zero value
CN109871949A (zh) * 2017-12-22 2019-06-11 泓图睿语（北京）科技有限公司 卷积神经网络加速器及加速方法
CN109978147A (zh) * 2017-12-27 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109977071A (zh) * 2017-12-27 2019-07-05 北京中科寒武纪科技有限公司 神经网络处理器板卡及相关产品
CN109978154A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109978157B (zh) * 2017-12-28 2020-06-02 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109978155A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109978129B (zh) * 2017-12-28 2020-08-25 中科寒武纪科技股份有限公司 调度方法及相关装置
CN109978149B (zh) * 2017-12-28 2020-10-09 中科寒武纪科技股份有限公司 调度方法及相关装置
CN109993290B (zh) 2017-12-30 2021-08-06 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
EP3624019A4 (en) * 2017-12-30 2021-03-24 Cambricon Technologies Corporation Limited CHIP DEVICE WITH INTEGRATED CIRCUIT AND ASSOCIATED PRODUCT
CN113807510B (zh) * 2017-12-30 2024-05-10 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109993292B (zh) 2017-12-30 2020-08-04 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
WO2019136754A1 (zh) * 2018-01-15 2019-07-18 深圳鲲云信息科技有限公司 人工智能处理装置的编译方法及系统、存储介质及终端
WO2019136755A1 (zh) * 2018-01-15 2019-07-18 深圳鲲云信息科技有限公司 人工智能处理装置设计模型优化方法、系统、存储介质、终端
US10452955B2 (en) * 2018-01-15 2019-10-22 Gyrfalcon Technology Inc. System and method for encoding data in an image/video recognition integrated circuit solution
CN110045960B (zh) * 2018-01-16 2022-02-18 腾讯科技（深圳）有限公司 基于芯片的指令集处理方法、装置及存储介质
WO2019141559A1 (en) * 2018-01-17 2019-07-25 Signify Holding B.V. System and method for object recognition using neural networks
US11586924B2 (en) * 2018-01-23 2023-02-21 Qualcomm Incorporated Determining layer ranks for compression of deep networks
US11568232B2 (en) 2018-02-08 2023-01-31 Quanta Computer Inc. Deep learning FPGA converter
CN110197262B (zh) * 2018-02-24 2021-07-30 赛灵思电子科技(北京)有限公司 用于lstm网络的硬件加速器
JP7056225B2 (ja) * 2018-02-26 2022-04-19 富士通株式会社 演算処理装置、情報処理装置、情報処理方法、およびプログラム
CN111767996B (zh) * 2018-02-27 2024-03-05 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品
US20200402607A1 (en) * 2018-03-02 2020-12-24 The University Of Chicago Covariant Neural Network Architecture for Determining Atomic Potentials
CN108564165B (zh) * 2018-03-13 2024-01-23 上海交通大学 卷积神经网络定点化优化的方法及系统
CN108416390B (zh) * 2018-03-16 2019-11-01 西北工业大学 基于二维卷积降维的手写字体识别方法
CN110363291B (zh) * 2018-03-26 2022-02-08 上海寒武纪信息科技有限公司 神经网络的运算方法、装置、计算机设备和存储介质
US10621489B2 (en) * 2018-03-30 2020-04-14 International Business Machines Corporation Massively parallel neural inference computing elements
CN108829610B (zh) * 2018-04-02 2020-08-04 浙江大华技术股份有限公司 一种神经网络前向计算过程中的内存管理方法及设备
CN108509179B (zh) * 2018-04-04 2021-11-30 百度在线网络技术（北京）有限公司 用于检测人脸的方法、用于生成模型的装置
CN108510067B (zh) * 2018-04-11 2021-11-09 西安电子科技大学 基于工程化实现的卷积神经网络量化方法
US11144316B1 (en) 2018-04-17 2021-10-12 Ali Tasdighi Far Current-mode mixed-signal SRAM based compute-in-memory for low power machine learning
CN109716288A (zh) * 2018-04-17 2019-05-03 深圳鲲云信息科技有限公司 网络模型编译器及相关产品
CN110399211B (zh) * 2018-04-24 2021-06-08 中科寒武纪科技股份有限公司 机器学习的分配系统、方法及装置、计算机设备
CN110413255B (zh) * 2018-04-28 2022-08-19 赛灵思电子科技(北京)有限公司 人工神经网络调整方法和装置
US11487846B2 (en) * 2018-05-04 2022-11-01 Apple Inc. Performing multiply and accumulate operations in neural network processor
CN108647184B (zh) * 2018-05-10 2022-04-12 杭州雄迈集成电路技术股份有限公司 一种动态比特位卷积乘法实现方法
US11948074B2 (en) * 2018-05-14 2024-04-02 Samsung Electronics Co., Ltd. Method and apparatus with neural network parameter quantization
JP7046171B2 (ja) * 2018-05-15 2022-04-01 三菱電機株式会社 演算装置
CN110147873B (zh) * 2018-05-18 2020-02-18 中科寒武纪科技股份有限公司 卷积神经网络的处理器及训练方法
CN108710505A (zh) * 2018-05-18 2018-10-26 南京大学 一种基于fpga的可扩展稀疏矩阵向量乘处理器
US11995556B2 (en) 2018-05-18 2024-05-28 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN108664474B (zh) * 2018-05-21 2023-04-18 众安信息技术服务有限公司 一种基于深度学习的简历解析方法
KR102559581B1 (ko) 2018-05-23 2023-07-25 삼성전자주식회사 재구성 가능 로직을 포함하는 스토리지 장치 및 상기 스토리지 장치의 동작 방법
US11244027B2 (en) 2018-05-30 2022-02-08 Samsung Electronics Co., Ltd. Processor, electronics apparatus and control method thereof
CN110555450B (zh) * 2018-05-31 2022-06-28 赛灵思电子科技(北京)有限公司 人脸识别神经网络调整方法和装置
CN110555508B (zh) * 2018-05-31 2022-07-12 赛灵思电子科技(北京)有限公司 人工神经网络调整方法和装置
DE102018209901A1 (de) 2018-06-19 2019-12-19 Robert Bosch Gmbh Recheneinheit, Verfahren und Computerprogramm zum Multiplizieren zumindest zweier Multiplikanden
CN110633785B (zh) * 2018-06-21 2021-01-05 清华大学 一种卷积神经网络的计算方法及系统
US12099912B2 (en) 2018-06-22 2024-09-24 Samsung Electronics Co., Ltd. Neural processor
CN109146057B (zh) * 2018-06-26 2020-12-08 杭州雄迈集成电路技术股份有限公司 一种基于查表计算的高精度的神经网络工程化方法
CN109002881A (zh) * 2018-06-28 2018-12-14 郑州云海信息技术有限公司 基于fpga的深度神经网络的定点化计算方法及装置
CN110673824B (zh) * 2018-07-03 2022-08-19 赛灵思公司 矩阵向量乘电路以及循环神经网络硬件加速器
CN108921291B (zh) * 2018-07-05 2021-08-31 北京航空航天大学合肥创新研究院 面向脑电信号处理的低功耗计算架构
EP3756145A4 (en) 2018-07-19 2021-05-26 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD FOR IT
JP7119107B2 (ja) * 2018-07-30 2022-08-16 インテル コーポレイション ８ビットウィノグラード畳み込みで統計推論確度を維持する方法及び装置
CN109063825B (zh) * 2018-08-01 2020-12-29 清华大学 卷积神经网络加速装置
CN110826707B (zh) * 2018-08-10 2023-10-31 北京百度网讯科技有限公司 应用于卷积神经网络的加速方法和硬件加速器
CN109189715B (zh) * 2018-08-16 2022-03-15 北京算能科技有限公司 可编程人工智能加速器执行单元及人工智能加速方法
US10678509B1 (en) * 2018-08-21 2020-06-09 Xilinx, Inc. Software-driven design optimization for mapping between floating-point and fixed-point multiply accumulators
WO2020039493A1 (ja) * 2018-08-21 2020-02-27 日本電気株式会社 演算最適化装置、方法およびプログラム
CN109359728B (zh) * 2018-08-29 2021-04-09 深思考人工智能机器人科技（北京）有限公司 计算神经网络压缩最佳定点位数的方法、存储介质和装置
CN109190754A (zh) * 2018-08-30 2019-01-11 北京地平线机器人技术研发有限公司 量化模型生成方法、装置和电子设备
KR20200027085A (ko) 2018-08-30 2020-03-12 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109284817B (zh) * 2018-08-31 2022-07-05 中国科学院上海高等研究院 深度可分离卷积神经网络处理架构/方法/系统及介质
CN109214506B (zh) * 2018-09-13 2022-04-15 深思考人工智能机器人科技（北京）有限公司 一种基于像素的卷积神经网络建立装置及方法
EP3857464A1 (en) * 2018-09-25 2021-08-04 Nokia Technologies Oy End-to-end learning in communication systems
CN109358993A (zh) * 2018-09-26 2019-02-19 中科物栖（北京）科技有限责任公司 深度神经网络加速器故障的处理方法及装置
US11442889B2 (en) * 2018-09-28 2022-09-13 Intel Corporation Dynamic deep learning processor architecture
CN109447241B (zh) * 2018-09-29 2022-02-22 西安交通大学 一种面向物联网领域的动态可重构卷积神经网络加速器架构
CN109543815B (zh) * 2018-10-17 2021-02-05 清华大学 神经网络的加速方法及装置
CN111105029B (zh) * 2018-10-29 2024-04-16 北京地平线机器人技术研发有限公司 神经网络的生成方法、生成装置和电子设备
KR102621118B1 (ko) * 2018-11-01 2024-01-04 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
CN109472355B (zh) * 2018-11-06 2021-01-01 地平线(上海)人工智能技术有限公司 卷积处理引擎及控制方法和相应的卷积神经网络加速器
KR20200053886A (ko) 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
CN109472361B (zh) * 2018-11-13 2020-08-28 钟祥博谦信息科技有限公司 神经网络优化方法
CN109146067B (zh) * 2018-11-19 2021-11-05 东北大学 一种基于FPGA的Policy卷积神经网络加速器
US10846363B2 (en) * 2018-11-19 2020-11-24 Microsoft Technology Licensing, Llc Compression-encoding scheduled inputs for matrix computations
EP3884434A4 (en) * 2018-11-19 2022-10-19 Deeplite Inc. SYSTEM AND METHOD FOR DETERMINING AUTOMATED DESIGN SPACE FOR DEEP NEURAL NETWORKS
CN109359735B (zh) * 2018-11-23 2020-12-04 浙江大学 深度神经网络硬件加速的数据输入装置与方法
CN109543820B (zh) * 2018-11-23 2022-09-23 中山大学 基于架构短句约束向量和双重视觉关注机制的图像描述生成方法
KR102562320B1 (ko) 2018-12-24 2023-08-01 삼성전자주식회사 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치
CN109740619B (zh) * 2018-12-27 2021-07-13 北京航天飞腾装备技术有限责任公司 用于目标识别的神经网络终端运行方法和装置
CN109740733B (zh) * 2018-12-27 2021-07-06 深圳云天励飞技术有限公司 深度学习网络模型优化方法、装置及相关设备
CN111193916B (zh) * 2018-12-29 2022-03-29 中科寒武纪科技股份有限公司 运算方法
WO2020144836A1 (ja) * 2019-01-11 2020-07-16 三菱電機株式会社 推論装置及び推論方法
US11816563B2 (en) * 2019-01-17 2023-11-14 Samsung Electronics Co., Ltd. Method of enabling sparse neural networks on memresistive accelerators
US11507823B2 (en) * 2019-01-22 2022-11-22 Black Sesame Technologies Inc. Adaptive quantization and mixed precision in a network
US10592799B1 (en) * 2019-01-23 2020-03-17 StradVision, Inc. Determining FL value by using weighted quantization loss values to thereby quantize CNN parameters and feature values to be used for optimizing hardware applicable to mobile devices or compact networks with high precision
CN109919826B (zh) * 2019-02-02 2023-02-17 西安邮电大学 一种用于图计算加速器的图数据压缩方法及图计算加速器
WO2020160653A1 (en) * 2019-02-06 2020-08-13 Lei Zhang Method and system for convolution model hardware accelerator
US11783200B2 (en) 2019-02-08 2023-10-10 International Business Machines Corporation Artificial neural network implementation in field-programmable gate arrays
CN109800877B (zh) * 2019-02-20 2022-12-30 腾讯科技（深圳）有限公司 神经网络的参数调整方法、装置及设备
CN111598250A (zh) * 2019-02-20 2020-08-28 北京奇虎科技有限公司 模型评估方法、装置、计算机设备及存储介质
US11556764B2 (en) 2019-03-01 2023-01-17 Microsoft Technology Licensing, Llc Deriving a concordant software neural network layer from a quantized firmware neural network layer
TWI711984B (zh) * 2019-03-08 2020-12-01 鴻海精密工業股份有限公司 深度學習加速方法及用戶終端
CN110069284B (zh) * 2019-03-14 2023-05-05 梁磊 一种基于opu指令集的编译方法及编译器
CN110009644B (zh) * 2019-03-26 2021-02-23 深兰科技（上海）有限公司 一种特征图行像素分段的方法和装置
US11671111B2 (en) 2019-04-17 2023-06-06 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
US11211944B2 (en) 2019-04-17 2021-12-28 Samsung Electronics Co., Ltd. Mixed-precision compression with random access
CN110278570B (zh) * 2019-04-30 2021-07-13 清华大学 一种基于人工智能的无线通信系统
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
TWI714078B (zh) * 2019-05-07 2020-12-21 國立高雄大學 基於深度學習之大數據分析平台排程系統及方法
CN111914867A (zh) * 2019-05-08 2020-11-10 四川大学 一种基于fpga的卷积神经网络ip核设计
CN111915003B (zh) * 2019-05-09 2024-03-22 深圳大普微电子科技有限公司 一种神经网络硬件加速器
CN110110852B (zh) * 2019-05-15 2023-04-07 电科瑞达(成都)科技有限公司 一种深度学习网络移植到fpag平台的方法
CN110135086B (zh) * 2019-05-20 2022-09-13 合肥工业大学 计算精度可变的softmax函数硬件电路及其实现方法
CN111985628B (zh) * 2019-05-24 2024-04-30 澜起科技股份有限公司 计算装置及包括所述计算装置的神经网络处理器
CN110363799B (zh) * 2019-05-27 2021-04-06 浙江工业大学 人机共存环境下基于视觉的多运动人体目标跟踪方法
US11861452B1 (en) * 2019-06-17 2024-01-02 Cadence Design Systems, Inc. Quantized softmax layer for neural networks
CN110390383B (zh) * 2019-06-25 2021-04-06 东南大学 一种基于幂指数量化的深度神经网络硬件加速器
CN110363287B (zh) * 2019-07-01 2021-07-13 西安交通大学 一种面向内存计算和室内是否有人的神经网络设计方法
CN114341888A (zh) * 2019-07-03 2022-04-12 华夏芯（北京）通用处理器技术有限公司 用于操作加速器电路的指令
CN110348567B (zh) * 2019-07-15 2022-10-25 北京大学深圳研究生院 一种基于自动寻址和递归信息整合的内存网络方法
TWI722491B (zh) * 2019-07-16 2021-03-21 國立陽明交通大學 應用於神經網絡之四位元與八位元組合之分離式量化方法
CN110569713B (zh) * 2019-07-22 2022-04-08 北京航天自动控制研究所 一种利用dma控制器实现数据串并行二维传输的目标探测系统及方法
CN112308199B (zh) * 2019-07-26 2024-05-10 杭州海康威视数字技术股份有限公司 数据块的处理方法、装置及存储介质
CN112308197B (zh) * 2019-07-26 2024-04-09 杭州海康威视数字技术股份有限公司 一种卷积神经网络的压缩方法、装置及电子设备
CN112308202A (zh) * 2019-08-02 2021-02-02 华为技术有限公司 一种确定卷积神经网络的决策因素的方法及电子设备
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
CN110516334B (zh) * 2019-08-16 2021-12-03 浪潮电子信息产业股份有限公司 基于硬件环境的卷积计算仿真测试方法、装置及相关设备
US11327923B2 (en) * 2019-09-04 2022-05-10 SambaNova Systems, Inc. Sigmoid function in hardware and a reconfigurable data processor including same
CN110600019B (zh) * 2019-09-12 2022-02-15 东南大学 基于实时场景下语音信噪比预分级的卷积神经网络计算电路
CN110766133B (zh) * 2019-09-18 2020-12-25 开放智能机器（上海）有限公司 嵌入式设备中的数据处理方法、装置、设备和存储介质
CN110738308B (zh) * 2019-09-23 2023-05-26 陈小柏 一种神经网络加速器
CN110718211B (zh) * 2019-09-26 2021-12-21 东南大学 一种基于混合压缩卷积神经网络的关键词识别系统
CN110852434B (zh) * 2019-09-30 2022-09-23 梁磊 基于低精度浮点数的cnn量化方法、前向计算方法及硬件装置
CN110852416B (zh) * 2019-09-30 2022-10-04 梁磊 基于低精度浮点数数据表现形式的cnn硬件加速计算方法及系统
US10915298B1 (en) 2019-10-08 2021-02-09 Ali Tasdighi Far Current mode multiply-accumulate for compute in memory binarized neural networks
CN110826710B (zh) * 2019-10-18 2021-04-23 南京大学 基于横向脉动阵列的rnn前向传播模型的硬件加速实现方法
CN110736970B (zh) * 2019-10-24 2023-03-24 西安电子科技大学 基于asic机器学习处理器的雷达目标快速识别方法
CN110880038B (zh) * 2019-11-29 2022-07-01 中国科学院自动化研究所 基于fpga的加速卷积计算的系统、卷积神经网络
KR20210072524A (ko) 2019-12-09 2021-06-17 삼성전자주식회사 뉴럴 네트워크 장치 및 그 동작 방법
US12112141B2 (en) 2019-12-12 2024-10-08 Samsung Electronics Co., Ltd. Accelerating 2D convolutional layer mapping on a dot product architecture
CN111178518A (zh) * 2019-12-24 2020-05-19 杭州电子科技大学 一种基于fpga的软硬件协同的加速方法
CN113052292B (zh) * 2019-12-27 2024-06-04 北京硅升科技有限公司 卷积神经网络技术方法、装置及计算机可读存储介质
US11615256B1 (en) 2019-12-30 2023-03-28 Ali Tasdighi Far Hybrid accumulation method in multiply-accumulate for machine learning
US11610104B1 (en) 2019-12-30 2023-03-21 Ali Tasdighi Far Asynchronous analog accelerator for fully connected artificial neural networks
CN111126589B (zh) * 2019-12-31 2022-05-20 昆仑芯(北京)科技有限公司 神经网络数据处理装置、方法和电子设备
CN111160544B (zh) * 2019-12-31 2021-04-23 上海安路信息科技股份有限公司 数据激活方法及fpga数据激活系统
CN113128659B (zh) * 2020-01-14 2024-06-28 杭州海康威视数字技术股份有限公司 神经网络定点化方法、装置、电子设备及可读存储介质
US11599367B2 (en) * 2020-01-24 2023-03-07 Cornami, Inc. Method and system for compressing application data for operations on multi-core systems
CN113269323B (zh) * 2020-02-17 2024-03-12 北京达佳互联信息技术有限公司 一种数据处理方法、处理装置、电子设备及存储介质
CN111340206A (zh) * 2020-02-20 2020-06-26 云南大学 一种基于FPGA的Alexnet前向网络加速器
KR102428033B1 (ko) * 2020-02-28 2022-08-02 오픈엣지테크놀로지 주식회사 트랜스포즈드 콘볼루션 하드웨어 가속장치
EP4100887A4 (en) * 2020-03-05 2023-07-05 Huawei Cloud Computing Technologies Co., Ltd. METHOD AND SYSTEM FOR SHARING AND BITWIDTH ALLOCATION OF DEEP LEARNING MODELS FOR INFERENCE ON DISTRIBUTED SYSTEMS
CN111340226B (zh) * 2020-03-06 2022-01-25 北京市商汤科技开发有限公司 一种量化神经网络模型的训练及测试方法、装置及设备
US11468305B2 (en) * 2020-03-18 2022-10-11 Arm Limited Hybrid memory artificial neural network hardware accelerator
US11544191B2 (en) * 2020-03-26 2023-01-03 Intel Corporation Efficient hardware architecture for accelerating grouped convolutions
CN111459877B (zh) * 2020-04-02 2023-03-24 北京工商大学 基于FPGA加速的Winograd YOLOv2目标检测模型方法
KR20210136706A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113778655A (zh) * 2020-06-09 2021-12-10 北京灵汐科技有限公司 一种网络精度的量化方法及系统
CN111796796B (zh) * 2020-06-12 2022-11-11 杭州云象网络技术有限公司 基于稀疏矩阵乘法的fpga存储方法、计算方法、模块和fpga板
WO2022034542A1 (en) * 2020-08-14 2022-02-17 Cerebras Systems Inc. Weight sparsity techniques for accelerated deep learning
CN112580774B (zh) * 2020-09-01 2022-10-21 浙江大学 一种面向可重构神经网络处理器的神经网络布局方法
US11915126B2 (en) 2020-09-04 2024-02-27 Recogni Inc. Low power hardware architecture for a convolutional neural network
CN112115550B (zh) * 2020-09-13 2022-04-19 西北工业大学 基于Mogrifier-BiGRU的飞行器机动轨迹预测方法
CN112215349B (zh) * 2020-09-16 2024-01-12 中国科学院计算技术研究所 基于数据流架构的稀疏卷积神经网络加速方法及装置
CN111985626B (zh) 2020-09-25 2022-06-07 苏州浪潮智能科技有限公司 一种加速rnn网络的系统、方法及存储介质
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
EP4222654A1 (en) * 2020-10-03 2023-08-09 Telefonaktiebolaget LM Ericsson (publ) Methods and apparatuses for training a neural network
CN111931921B (zh) * 2020-10-13 2021-01-26 南京风兴科技有限公司 一种用于稀疏神经网络的乒乓存储方法及装置
US20220147812A1 (en) * 2020-11-06 2022-05-12 Micron Technology, Inc. Compiler with an artificial neural network to optimize instructions generated for execution on a deep learning accelerator of artificial neural networks
CN112396178B (zh) * 2020-11-12 2024-08-02 无锡禹空间智能科技有限公司 一种提高cnn网络压缩效率的方法
CN112416393B (zh) * 2020-11-18 2022-07-05 国网福建省电力有限公司 一种基于容器技术的人工智能模型远程升级方法及系统
CN112990454B (zh) * 2021-02-01 2024-04-16 国网安徽省电力有限公司超高压分公司 基于集成dpu多核异构的神经网络计算加速方法及装置
CN112819140B (zh) * 2021-02-02 2022-06-24 电子科技大学 基于OpenCL的FPGA一维信号识别神经网络加速方法
CN112801285B (zh) * 2021-02-04 2024-01-26 南京微毫科技有限公司 一种基于fpga的高资源利用率cnn加速器及其加速方法
CN112906887B (zh) * 2021-02-20 2023-03-24 上海大学 稀疏gru神经网络加速的实现方法和装置
WO2022178791A1 (en) * 2021-02-25 2022-09-01 Alibaba Group Holding Limited Zero skipping sparsity techniques for reducing data movement
US20230004786A1 (en) * 2021-06-30 2023-01-05 Micron Technology, Inc. Artificial neural networks on a deep learning accelerator
CN114003196B (zh) * 2021-09-02 2024-04-09 上海壁仞智能科技有限公司 矩阵运算装置与矩阵运算方法
CN114819127B (zh) * 2022-05-05 2024-03-29 中山大学 一种基于fpga的背压索引式组合计算单元
CN114912596A (zh) * 2022-05-13 2022-08-16 上海交通大学 面向稀疏卷积神经网络的多chiplet系统及其方法
US11886973B2 (en) 2022-05-30 2024-01-30 Deepx Co., Ltd. Neural processing unit including variable internal memory
CN115165363B (zh) * 2022-06-27 2024-07-19 西南交通大学 一种基于cnn的轻型轴承故障诊断方法及系统
WO2024168514A1 (zh) * 2023-02-14 2024-08-22 北京大学 应用于存内计算芯片的数据处理方法、装置及设备
CN116187408B (zh) * 2023-04-23 2023-07-21 成都甄识科技有限公司 稀疏加速单元、计算方法及稀疏神经网络硬件加速系统
CN116776945A (zh) * 2023-06-26 2023-09-19 中国科学院长春光学精密机械与物理研究所 一种基于zynq平台的vgg16网络加速器设计实现方法
CN117271434B (zh) * 2023-11-15 2024-02-09 成都维德青云电子有限公司 现场可编程系统级芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310294A (zh) * 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
US20090112606A1 (en) * 2007-10-26 2009-04-30 Microsoft Corporation Channel extension coding for multi-channel source
CN104616244A (zh) * 2015-01-24 2015-05-13 河南师范大学 基于bp神经网络压缩域的图像水印嵌入与提取方法
US20160019454A1 (en) * 2014-07-18 2016-01-21 James LaRue J Patrick's Ladder A Machine Learning Enhancement Tool

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69822591T2 (de) * 1997-11-19 2005-03-24 Imec Vzw System und Verfahren zur Kontextumschaltung über vorbestimmte Unterbrechungspunkte
CN101399553B (zh) * 2008-11-12 2012-03-14 清华大学 一种可在线编程的准循环ldpc码编码器装置
US8442927B2 (en) * 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
CN102129397A (zh) 2010-12-29 2011-07-20 深圳市永达电子股份有限公司 一种自适应磁盘阵列故障预测方法及系统
US9317482B2 (en) 2012-10-14 2016-04-19 Microsoft Technology Licensing, Llc Universal FPGA/ASIC matrix-vector multiplication architecture
US9766866B2 (en) * 2013-04-22 2017-09-19 Nvidia Corporation Techniques for determining instruction dependencies
US20160328644A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
CN104915322B (zh) 2015-06-09 2018-05-01 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法
CN205139973U (zh) 2015-10-26 2016-04-06 中国人民解放军军械工程学院 基于fpga器件构建的bp神经网络
CN105488565A (zh) 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
CN105681628B (zh) 2016-01-05 2018-12-07 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法
WO2017139342A1 (en) * 2016-02-08 2017-08-17 Spero Devices, Inc. Analog co-processor
CN105760933A (zh) 2016-02-18 2016-07-13 清华大学 卷积神经网络的逐层变精度定点化方法及装置
US10311342B1 (en) * 2016-04-14 2019-06-04 XNOR.ai, Inc. System and methods for efficiently implementing a convolutional neural network incorporating binarized filter and convolution operation for performing image classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310294A (zh) * 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
US20090112606A1 (en) * 2007-10-26 2009-04-30 Microsoft Corporation Channel extension coding for multi-channel source
US20160019454A1 (en) * 2014-07-18 2016-01-21 James LaRue J Patrick's Ladder A Machine Learning Enhancement Tool
CN104616244A (zh) * 2015-01-24 2015-05-13 河南师范大学 基于bp神经网络压缩域的图像水印嵌入与提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANTAO QIU 等: "Going Deeper with Embedded FPGA Platform for Convolutional Neural Network", 《FPGA "16: PROCEEDINGS OF THE 2016 ACM/SIGDA INTERNATIONAL SYMPOSIUM ON FIELD-PROGRAMMABLE GATE ARRAYS》 *
MURUGAN SANKARADAS 等: "A Massively Parallel Coprocessor for Convolutional Neural Networks", 《2009 20TH IEEE INTERNATIONAL CONFERENCE ON APPLICATION-SPECIFIC SYSTEMS, ARCHITECTURES AND PROCESSORS》 *
SONG HAN 等: "EIE: Efficient Inference Engine on Compressed Deep Neural Network", 《ARXIV》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665067A (zh) * 2018-05-29 2018-10-16 北京大学 用于深度神经网络频繁传输的压缩方法及系统
US11403528B2 (en) 2018-05-31 2022-08-02 Kneron (Taiwan) Co., Ltd. Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance
TWI722434B (zh) * 2018-05-31 2021-03-21 耐能智慧股份有限公司 深度神經網絡自我調整增量模型壓縮的方法
CN109212960A (zh) * 2018-08-30 2019-01-15 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN109212960B (zh) * 2018-08-30 2020-08-14 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN110399972A (zh) * 2019-07-22 2019-11-01 上海商汤智能科技有限公司 数据处理方法、装置及电子设备
CN111612144A (zh) * 2020-05-22 2020-09-01 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN111612144B (zh) * 2020-05-22 2021-06-15 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN112686506A (zh) * 2020-12-18 2021-04-20 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
US12013958B2 (en) 2022-02-22 2024-06-18 Bank Of America Corporation System and method for validating a response based on context information
US12050875B2 (en) 2022-02-22 2024-07-30 Bank Of America Corporation System and method for determining context changes in text
WO2024098373A1 (en) * 2022-11-11 2024-05-16 Nvidia Corporation Techniques for compressing neural networks
CN115994936A (zh) * 2023-03-23 2023-04-21 季华实验室 点云融合模型获取方法、装置、电子设备及存储介质
CN117219124A (zh) * 2023-10-08 2023-12-12 国网湖北省电力有限公司超高压公司 一种基于深度神经网络的开关柜声纹故障检测方法
CN117219124B (zh) * 2023-10-08 2024-10-18 国网湖北省电力有限公司超高压公司 一种基于深度神经网络的开关柜声纹故障检测方法

Also Published As

Publication number Publication date
US20180046894A1 (en) 2018-02-15
US10621486B2 (en) 2020-04-14
CN107239829A (zh) 2017-10-10
CN107704916B (zh) 2020-07-03
CN107239829B (zh) 2020-12-11
CN107729999B (zh) 2021-02-02
CN107704916A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN107679617A (zh) 多次迭代的深度神经网络压缩方法
US10762426B2 (en) Multi-iteration compression for deep neural networks
US10832123B2 (en) Compression of deep neural networks with proper use of mask
US10984308B2 (en) Compression method for deep neural networks with load balance
US11941523B2 (en) Stochastic gradient boosting for deep neural networks
CN107688850B (zh) 一种深度神经网络压缩方法
CN109389207A (zh) 一种自适应神经网络学习方法及神经网络系统
CN111542843A (zh) 利用协作生成器积极开发
CN104751842B (zh) 深度神经网络的优化方法及系统
CN107688849A (zh) 一种动态策略定点化训练方法及装置
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN107506590A (zh) 一种基于改进深度信念网络的心血管疾病预测模型
CN109740734B (zh) 一种利用优化神经元空间排布的卷积神经网络的图像分类方法
CN110929798A (zh) 基于结构优化稀疏卷积神经网络的图像分类方法及介质
CN110427965A (zh) 基于进化策略的卷积神经网络结构简约及图像分类方法
CN107392919A (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN109740695A (zh) 基于自适应全卷积注意力网络的图像识别方法
Pietron et al. Retrain or not retrain?-efficient pruning methods of deep cnn networks
CN115511069A (zh) 神经网络的训练方法、数据处理方法、设备及存储介质
CN113591988B (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN115422369B (zh) 基于改进TextRank的知识图谱补全方法和装置
CN108090564A (zh) 基于网络权重初始和最终状态差异的冗余权重去除方法
CN112949599B (zh) 基于大数据的候选内容推送方法
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180606

Address after: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant after: Beijing deep Intelligent Technology Co., Ltd.

Address before: 100083, 8 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: Beijing insight Technology Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200903

Address after: Unit 01-19, 10 / F, 101, 6 / F, building 5, yard 5, Anding Road, Chaoyang District, Beijing 100029

Applicant after: Xilinx Electronic Technology (Beijing) Co., Ltd

Address before: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: BEIJING DEEPHI TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant