KR100302254B1 - Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate - Google Patents
Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate Download PDFInfo
- Publication number
- KR100302254B1 KR100302254B1 KR1019980028188A KR19980028188A KR100302254B1 KR 100302254 B1 KR100302254 B1 KR 100302254B1 KR 1019980028188 A KR1019980028188 A KR 1019980028188A KR 19980028188 A KR19980028188 A KR 19980028188A KR 100302254 B1 KR100302254 B1 KR 100302254B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- learning rate
- output layer
- calculated
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 210000002569 neuron Anatomy 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 8
- 210000002364 input neuron Anatomy 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 오류 역전파 알고리즘의 학습률을 최적으로 구하여 오류 역전파 알고리즘의 학습속도를 향상시키기 위하여 출력층 가중치 변경을 위한 출력층 뉴런별 최적 합습률과 중간층 가중치의 변경을 위한 학습 패턴별 및 중간층 뉴런별 최적 학습률로 구성되는 최적 학습률을 이용한 전방향 신경 회로망의 오류 역전파 학습 방법에 관한 것으로 특히, 중간층 뉴런의 값을 고정한 상태에서 출력층의 오차를 최소화 시키기 위한 출력층 가중치의 최적 학습률을 산출하고 산출되어진 학습률을 기준으로 출력층 가중치의 최적 학습률을 산출하고 산출되어진 학습률을 기준으로 출력층 가중치의 최적 학습률을 산출하고 산출되어진 학습률을 기준으로 출력층 가중치를 변경한 후 변경되어진 출력층 가중치를 고정시킨 상태에서 중간층 가중치를 변경시키기 위한 학습 패턴별 최적 학습률 및 중간층 뉴런별 최적 학습률을 산출하며 산출되어진 학습률들을 이용하여 중간층 가중치를 변경시키는 최적 학습률을 이용한 전방향 신경 회로망의 오류 역전과 학습 방법에 의해 학습속도를 빠르게 하는 효과가 있다.The present invention optimally obtains the learning rate of the error backpropagation algorithm to improve the learning speed of the error backpropagation algorithm. The present invention relates to an error back propagation learning method of an omnidirectional neural network using an optimal learning rate composed of learning rates. In particular, an optimal learning rate of output layer weights is calculated by minimizing the error of the output layer while the middle layer neurons are fixed. Calculate the optimal learning rate of the output layer weights based on the calculated learning rate, calculate the optimal learning rate of the output layer weights based on the calculated learning rate, change the output layer weights based on the calculated learning rate, and change the middle layer weights while fixing the changed output layer weights. The learning rate is calculated by calculating the optimal learning rate for each learning pattern and the optimum learning rate for each middle layer neuron, and by using the learning rate calculated by changing the middle weight. .
Description
본 발명은 전방향 신경 회로망(feedforward neural network)의 학습 방법에 관한 것으로 특히, 오류 역전파 알고리즘의 학습률을 최적으로 구하여 오류 역전파 알고리즘의 학습속도를 향상시키기 위하여 출력층 가중치 변경을 위한 출력층 뉴런별 최적 학습률과 중간층 가중치의 변경을 위한 학습 패턴별 및 중간층 뉴런별 최적 학습률로 이루어진 최적 학습률을 이용한 전방향 신경 회로망의 오류 역전파 학습 방법에 관한 것이다.The present invention relates to a learning method of a feedforward neural network, and in particular, to optimally obtain a learning rate of an error backpropagation algorithm and to optimize the output layer weight for output layer weight change in order to improve the learning speed of the error backpropagation algorithm. The present invention relates to an error backpropagation learning method of an omnidirectional neural network using an optimal learning rate consisting of learning patterns and intermediate layer neurons for changing learning rates and middle layer weights.
일반적으로, 전방향 신경 회로망은 첨부한 도 1에 도시되어 있는 바와 같이 층별로 위치한 뉴런과 이 뉴런들 사이를 연결하는 시냅스 가중치로 구성된다. 여기서 N개의 입력 층 뉴런들을 벡터=[ 1, 2,...., N ]으로 표시하며, M개의 출력 층 뉴런들을 벡터 ｙ=[ｙ1, ｙ2,....,ｙ M ]로 표시한다.In general, an omnidirectional neural network is composed of neurons located layer by layer and synaptic weights connecting the neurons, as shown in FIG. Where N input layer neurons are vectors = [ 1 , 2 , ...., N ], and the M output layer neurons are represented by the vectors xy = [xy 1 , xy 2 ,..., Xy M ].
또한, 첨부한 도 1에서는 하나의 중간층만 가지는 전방향 신경 회로망에 해당하는데, H개의 중간 층 뉴런들을 벡터h=[h 1,h 2,...,h H]로 표시한다. 외부에서 임의의 패턴 x가 MLP에 입력되면 전방향 계산에 의해 h와 y가 계산된다. 즉, 입력 패턴 x에 따라 j번째 중간층 뉴런에 입력되는 가중치 합(weighted sum)이 아래의 수학식 1과 같이 계산된다.In the accompanying Figure 1 for corresponding to the forward neural network with only one middle layer, and displays the H intermediate layer neuron as a vector h = [h 1, h 2 , ..., h H]. If any pattern x is input to the MLP from the outside, h and y are calculated by omnidirectional calculation. That is, the weighted sum input to the j th middle layer neuron according to the input pattern x is calculated as in Equation 1 below.
[수학식 1][Equation 1]
상기 수학식 1에서w jo 는h j 의 바이어스(bias)이고, 0=1 이며,w ji 는 i번째 입력뉴런과 j번째 중간 층 뉴런 사이의 연결 가중치이다. j번째 중간층 뉴런의 출력값은 시그모이드 활성화 함수f(.)에 의해 아래의 수학식 2와 같이 주어진다.In Formula 1, w jo is a bias of h j , 0 = 1 and w ji is the connection weight between the i th input neuron and the j th middle layer neuron. The output value of the j th middle layer neuron is given by Equation 2 below by the sigmoid activation function f (.).
[수학식 2][Equation 2]
상기 수학식 2와 같이 주어진 j번째 중간층 뉴런의 출력값과 같이 출력층 뉴런의 상태 역시 같은 절차에 의해 아래의 수학식 3과 수학식 4와 같이 계산된다.Like the output value of the j-th intermediate layer neuron given by Equation 2, the state of the output layer neuron is also calculated by Equation 3 and Equation 4 below by the same procedure.
[수학식 3][Equation 3]
[수학식 4][Equation 4]
이때,v ko 는 yk의 바이어스이고,h 0 =1 이며,v ki 는 j번째 중간층 뉴런과 k번째 출력 층 뉴런 사이의 연결 가중치이다.In this case, v ko is a bias of y k , h 0 = 1, and v ki is a connection weight between the j th middle layer neuron and the k th output layer neuron.
상술한 바와 같은 개념의 전방향 신경회로망에 따른 오류 역전파(error back-propagation; EBP) 학습 알고리즘을 첨부한 도 2를 참조하여 살펴보면 다음과 같다.An error back-propagation (EPP) learning algorithm according to the above-described omnidirectional neural network will be described with reference to FIG. 2.
우선, 학습이 시작되면 스텝 S101에서 P개의 학습 패턴을 입력받고서, 스텝 S102로 진행하여 상기 스탭 S101을 통해 입력된 학습 패턴 ( p )(p=1,2...,P)에 따라 전방향 계산에 의해 결정된 출력 층 뉴런 벡터y ( p )에 대한 출력 층의 MSE 함수를 아래의 수학식 5와 같이 계산한다.First, when learning is started, P learning patterns are input in step S101, the flow proceeds to step S102, and the learning patterns input through the step S101. The MSE function of the output layer for the output layer neuron vector y ( p ) determined by omni-directional calculation according to ( p ) ( p = 1,2 ..., P ) is calculated as in Equation 5 below.
[수학식 5][Equation 5]
상기 수학식 5에서t ( p )= [t 1 ( p ),t 2 ( p ),...,t M ( p )]는 학습 패턴 ( p )에 대한 목표 벡터이며, P는 학습 패턴의 수이다.In Equation 5, t ( p ) = [ t 1 ( p ) , t 2 ( p ) , ..., t M ( p ) ] is a learning pattern is the target vector for ( p ) , where P is the number of learning patterns.
오류 역전파 학습의 주안점은 MSE를 최소화시키기 위해 출력 층의 가중치를 아래의 수학식 6과 같이 변경시키는데 있으므로,The main point of error back propagation learning is to change the weight of the output layer as shown in Equation 6 below to minimize MSE.
[수학식 6][Equation 6]
스텝 S103에서는 상기 수학식 6과 같은 출력층의 가중치 변경을 수행하기 위해서 아래의 수학식 7과 같은 각 학습패턴별 k번째 출력층 뉴런의 오차신호를 산출한다.In step S103, an error signal of the k-th output layer neuron for each learning pattern is calculated in order to perform the weight change of the output layer as shown in Equation 6 below.
[수학식 7][Equation 7]
이때, 상기 수학식 6에서는 학습률을 나타낸다.At this time, in Equation 6 Represents the learning rate.
상술한 과정을 통하여 산출되어진 k번째 출력 층 뉴런의 오차신호를 이용하여 스텝 S104에서 역전파에 의해 아래의 수학식 8과 같이 각 학습패턴별 j번째 중간층 뉴런의 오차신호를 계산한다.Using the error signal of the k-th output layer neuron calculated through the above process, the error signal of the j-th intermediate layer neuron for each learning pattern is calculated by backpropagation as shown in Equation 8 below in step S104.
[수학식 8][Equation 8]
이후, 상기 수학식 8에 따른 중간층 뉴런의 오차 신호를 근거로 MSE의 최소화를 위하여 상기 수학식 6과 같은 출력층의 가중치를 변경(스텝 S105)하고, 스텝S106으로 진행한다.Subsequently, in order to minimize MSE based on the error signal of the intermediate layer neuron according to Equation 8, the weight of the output layer as shown in Equation 6 is changed (step S105), and the flow proceeds to step S106.
상기 스텝 S106에서는 중간층의 가중치를 아래의 수학식 9와 같이 계산하여 변경한다.In step S106, the weight of the intermediate layer is calculated and changed as shown in Equation 9 below.
[수학식 9][Equation 9]
이후, 스텝 S107에서는 현재까지의 진행 과정에 따라 산출된 출력층과 중간층의 가중치 변경에 따른 MSE범위가 임계 오차 범위 이내인가를 판단하여 임계 오차범위 이내라고 판단되면 학습모드를 종료하고, 허용오차 범위를 초과한다고 판단되면 상기 스텝 S101로 재 진행하여 상술한 과정을 재 수행하게 된다.Thereafter, in step S107, it is determined whether the MSE range according to the weight change of the output layer and the intermediate layer calculated according to the present process is within the threshold error range, and when it is determined to be within the threshold error range, the learning mode is terminated and the tolerance range is determined. If it is determined to exceed, the process proceeds to the step S101 again and the above-described process is performed again.
상술한 바와 같은 종래의 학습 방법의 장점은 학습 알고리즘이 간단하다는 장점이 있으나, 최소의 오차를 만족시키는 가중치를 얻기 위하여 최초에 설정한 가중치로부터 매우 많은 시간 동안 가중치를 변경시켜야 하기 때문에 학습 효율이 떨어진다는 문제점이 발생되었다.The advantage of the conventional learning method as described above is that the learning algorithm is simple, but the learning efficiency is inferior because the weight has to be changed for a very long time from the initially set weight in order to obtain a weight that satisfies the minimum error. The problem occurred.
상술한 종래 기술의 문제점을 해소하기 위한 본 발명의 목적은 오류 역전파 알고리즘의 학습률을 최적으로 구하여 오류 역전파 알고리즘의 학습속도를 향상시키기 위하여 출력층 가중치 변경을 위한 출력층 뉴런별 최적 학습률과 중간층 가중치의 변경을 위한 학습 패턴별 및 중간층 뉴런별 최적 학습률로 이루어진 최적 학습률을 이용한 전방향 신경 회로망의 오류 역전파 학습 방법을 제공하는 데 있다.An object of the present invention for solving the problems of the prior art described above is to optimally obtain the learning rate of the error backpropagation algorithm and to improve the learning speed of the error backpropagation algorithm. An object of the present invention is to provide an error back propagation learning method of an omnidirectional neural network using an optimal learning rate composed of learning patterns for each change pattern and intermediate neurons.
도 1은 전방향 신경 회로망을 설명하기 위한 예시도1 is an exemplary diagram for explaining an omnidirectional neural network.
도 2는 종래의 오류 역전파 학습 방법을 설명하기 위한 학습 순서 예시도2 is a diagram illustrating a learning sequence for explaining a conventional error backpropagation learning method.
도 3은 본 발명에 따른 오류 역전파 학습 방법을 설명하기 위한 학습 순서 예시도3 is an exemplary learning order for explaining the error back-propagation learning method according to the present invention
도 4는 본 발명에 따른 오류 역전파 학습 방법의 효율성 검증을 설명하기 위한 시뮬레이션 예시도.Figure 4 is a simulation example for explaining the efficiency verification of the error back-propagation learning method according to the present invention.
상기 목적을 달성하기 위한 본 발명의 특징은, 전방향 신경 회로망에서의 오류 역전파 학습 방법에 있어서, 중간 층 뉴런의 값을 고정한 상태에서 출력층의 오차를 최소화 시키기 위한 출력층 가중치의 최적 학습률을 산출하는 제1과정과, 상기 제1과정에서 산출되어진 학습률을 기준으로 출력층 가중치를 변경하는 제2과정과, 상기 제2과정을 통하여 변경되어진 출력층 가중치를 고정시킨 상태에서 중간층 가중치를 변경시키기 위한 학습 패턴별 최적 학습률을 산출하는 제3과정과, 상기 제3과정을 진행함과 동시에 중간층 뉴런별 최적 학습률들을 산출하는 제4과정, 및 상기 제3과정과 제4과정을 통해 산출되어진 학습률들을 이용하여 중간층 가중치를 변경시키는 제5과정을 포함하는 데 있다.A feature of the present invention for achieving the above object is, in the error back-propagation learning method in the forward neural network, calculating the optimal learning rate of the output layer weight for minimizing the error of the output layer in a fixed state of the middle layer neuron A first process, a second process of changing the output layer weights based on the learning rate calculated in the first process, and a learning pattern for changing the middle layer weights while fixing the output layer weights changed through the second process Middle layer weights using a third process of calculating an optimal learning rate, a fourth process of calculating optimal learning rates for each middle layer neuron at the same time as the third process, and the learning rates calculated through the third process and the fourth process. It includes the fifth process of changing the.
이하, 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
도 3은 본 발명에 따른 오류 역전파 학습 방법을 설명하기 위한 학습 순서 예시도이다.3 is an exemplary learning order for explaining the error back-propagation learning method according to the present invention.
우선, 본 발명에서 정의하고자 하는 기술적 배경을 간략히 언급하면, 출력 뉴런을 시그모이드 활성화 함수를 사용하지 않는 선형 뉴런으로 대체하였다.First, briefly referring to the technical background to be defined in the present invention, the output neurons were replaced with linear neurons without using the sigmoid activation function.
즉,이 전방향 신경 회로망의 출력 뉴런의 상태를 나타낸다. 전방향 신경회로망을 이용한 함수 근사화 문제 학습의 경우는 일반적으로 출력층에 선형 뉴런을 사용하며, 패턴인식 문제 학습인 경우도 출력 값의 크기를 비교하여 입력 패턴의 인식 결과를 판단하기 때문에 출력층의 시그모이드 뉴런을 선형 뉴런으로 대체하여도 전방향 신경 회로망의 기능에는 차이가 없다.In other words, The state of the output neuron of this omnidirectional neural network. In the case of learning function approximation problem using omnidirectional neural network, linear neurons are generally used in the output layer, and in case of pattern recognition problem learning, the output pattern is compared to determine the recognition result of the input pattern. Replacing de neurons with linear neurons does not change the function of the forward neural network.
스텝 S201에서 P개의 학습 패턴을 입력받고서, 스텝 S202로 진행하여 상기 스텝 S201을 통해 입력된 학습 패턴 ( p )(p=1,2,...,p) 에 따라 전방향 계산에 의해 결정된 출력층 뉴런 벡터 y( p )에 대한 출력층의 MSE 함수는 아래의 수학식 10에 의해 계산되어 진다.After receiving the P learning patterns in step S201, the flow advances to step S202, and the learning patterns input through the step S201. The MSE function of the output layer for the output layer neuron vector y ( p ) determined by omnidirectional calculation according to ( p ) ( p = 1,2, ..., p ) is calculated by Equation 10 below.
[수학식 10][Equation 10]
이후, 스텝 S203으로 진행하여 상기 스텝 S202의 과정을 통하여 얻어진 상기 수학식 10에서는 k번째 출력 뉴런의 p번째 학습패턴에 대한 목표값이며, 출력층의 MSE함수를 나타내는 상기 수학식 10을 출력층 가중치에 대해 미분하는데, 이는 아래의 수학식 11과 같다.Subsequently, the process proceeds to step S203, where the equation 10 obtained through the process of step S202 is obtained. Is a target value for the p-th learning pattern of the k-th output neuron, and differentiates Equation 10 representing the MSE function of the output layer with respect to the output layer weight, which is expressed by Equation 11 below.
[수학식 11][Equation 11]
상기 스텝 S203에서 출력층 가중치에 대해 미분을 수행하면 스텝 S204와 스텝 S205의 과정을 통하여 가중치를 변경하게 되는데, 그 과정을 살펴보면, 상기 출력층 가중치는 아래의 수학식 12에 따라 변경되는데, 아래의 수학식 12에서 k ( out )는 k번째 출력층 뉴런에 연결된 가중치들의 학습률이다.If the derivative is performed on the output layer weight in step S203, the weight is changed through the process of steps S204 and S205. Looking at the process, the output layer weight is changed according to Equation 12 below. From 12 k ( out ) is the learning rate of the weights connected to the kth output layer neuron.
[수학식 12][Equation 12]
상기 수학식 12를 상기 수학식 10에 대입하여 정리하면 아래의 수학식 13과 같이 정리된다.Substituting Equation 12 into Equation 10 results in Equation 13 below.
[수학식 13][Equation 13]
상기 수학식 13은 k번째 출력 층 뉴런에 연결된 가중치들의 학습률을 나타내는 k ( out )의 2차함수 이므로, 미분치가 0이되는 최적 학습률(optimum learning rate)을 산출하면 아래의 수학식 14와 같이 구해진다.Equation 13 represents a learning rate of weights connected to a k th output layer neuron Since it is a quadratic function of k ( out ) , the optimal learning rate at which the derivative is zero is calculated as shown in Equation 14 below.
[수학식 14][Equation 14]
이후, 출력층 가중치가 수학식 12에 상기 수학식 14를 대입한 것에 의해 변경된 후, 변경된 가중치를 이용하여 출력층 뉴런의 출력값을 다시 계산한다.Thereafter, after the output layer weight is changed by substituting Equation 14 into Equation 12, the output value of the output layer neuron is recalculated using the changed weight.
상술한 과정을 통하여 출력층 가중치를 확정한 후 그에 따른 중간층 가중치의 학습률을 최적으로 구하게 되는데, 그에따른 과정은 스텝 S207에서 다시 상기 스텝 S201에서 입력받은 학습패턴을 재 입력 받은 후 스텝 S208에서는 상기 수학식 10의h j ( p )에 대한 미분을 아래의 수학식 15와 같이 계산하고, 이를 이용하여 중간층 가중치를 학습시키기 위한 p번째 학습 패턴별 최적 학습률을 스텝 S209에서 구하면 상기 수학식 14와 비슷한 형태인 아래의 수학식 16과 같은 형태로 주어진다.After the output layer weight is determined through the above-described process, the learning rate of the intermediate layer weight is optimally obtained. In the process according to the above formula, the learning pattern inputted in step S201 is input again in step S207. Calculate the derivative for h j ( p ) of 10 as shown in Equation 15 below, and using this to obtain the optimal learning rate for each p-th learning pattern for learning the middle layer weights in step S209 It is given in the form of Equation 16 below.
[수학식 15][Equation 15]
[수학식 16][Equation 16]
이후, 스텝 S201에서는 가상적인 중간 층 오차함수의 중간 층 가중치에 대한 미분을 아래의 수학식 17과 같이 설정한다.Thereafter, in step S201, a derivative of the intermediate layer weight of the virtual intermediate layer error function is set as in Equation 17 below.
[수학식 17][Equation 17]
이 수학식 17을 이용하여 중간층 가중치의 변경을 위한 중간 층 뉴런 별 최적 학습률을 구하는데, 이 학습률은 스텝 S211에서 아래의 수학식 18에 나타나 있는 바와 같이 산출된다.Using this equation (17), an optimum learning rate for each middle layer neuron for changing the middle layer weight is obtained. The learning rate is calculated as shown in Equation 18 below in step S211.
[수학식 18]Equation 18
또한, 스텝 S211에서는 중간 층 뉴런 별 최적 학습률을 구하는 수학식 18과 중간 층 가중치를 학습시키기 위한 p번째 학습 패턴별 최적 학습 률을 구하는 수학식 16을 이용하여 중간층 가중치를 아래의 수학식 19와 같이 변경한다.In addition, in step S211, the middle layer weights are obtained by using Equation 18 for obtaining the optimal learning rate for each middle layer neuron and Equation 16 for obtaining the optimal learning rate for each pth learning pattern for learning the middle layer weight, as shown in Equation 19 below. Change it.
[수학식 19][Equation 19]
한편 출력 층 뉴런을 선형 뉴런으로 대체한 경우 오류 역전파 알고리즘에 따른 중간층 가중치의 변경량은 아래의 수학식 20과 같다.Meanwhile, when the output layer neuron is replaced with the linear neuron, the change amount of the middle layer weight according to the error backpropagation algorithm is expressed by Equation 20 below.
[수학식 20][Equation 20]
따라서, 상기 수학식 19는 마치 수학식 20에서 학습률를 j ( hid )과 p로 최적값을 지니도록 분리해낸 형태임을 알 수 있다.Thus, Equation 19 is like learning rate in Equation 20 To j ( hid ) and It can be seen that p is separated to have an optimal value.
도 4는 본 발명에 따른 오류 역전파 학습 방법의 효용성 검증을 설명하기 위해 고립단어 인식문제를 시뮬레이션한 도면을 나타낸 것이다. 특히 50어휘를 9명의 화자가 2번씩 발음한 900개의 음성 신호에서 특징을 추출한후 학습하여 그 결과를 도시한 것이다. 시뮬레이션에 각 학습방법에 사용한 전방향 신경회로망의 구조는 입력뉴런 1024, 중간층 뉴런 50, 출력층 뉴런 50이며, 중간층은 시그모이드 비선형 뉴런이고 출력층 뉴런은 선형 뉴런 구조를 가진다. 도 4에서 ERP(BD)는 오류 역전파 학습에서 학습을 가속시키기 위해 제안된 Bold Driver를 사용한 방법이며, ERP(DBD)는 Delta-Bar-Delta 방법을 사용한 방법이고, Prop.Opt.EBP는 본 발명에 따른 방법에 대한 그래프를 나타낸다. 도 4에 도시되어 있는 바와 같이 본 발명에 따른 학습속도가 다른 방법에 비해 훨씬 빠름을 알 수 있다.4 is a diagram illustrating a simulation of an isolated word recognition problem in order to explain the effectiveness of the error backpropagation learning method according to the present invention. In particular, 50 words were extracted from 900 speech signals pronounced by 9 speakers twice, and then the results are shown. The structure of the omnidirectional neural network used for each learning method in the simulation is input neurons 1024, middle layer neurons 50, and output layer neurons 50, the middle layer is a sigmoid nonlinear neuron, and the output layer neurons have a linear neuron structure. In Figure 4 ERP (BD) is a method using the proposed Bold Driver to accelerate the learning in error back-propagation learning, ERP (DBD) is a method using the Delta-Bar-Delta method, Prop.Opt.EBP is A graph is shown for the method according to the invention. As shown in Figure 4 it can be seen that the learning speed according to the present invention is much faster than other methods.
상술한 바와 같이 동작하는 본 발명에 따른 최적 학습률을 이용한 전방향 신경 회로망의 오류 역전파 학습 방법을 제공하여 전방향 신경 회로망의 오류 역전파 알고리즘에 따른 학습에서 가중치의 변경을 위해 학습률의 최적값을 구하였기 때문에 오류 역전파 학습의 소요 시간을 줄이는 효과가 있다.By providing the error backpropagation learning method of the omnidirectional neural network using the optimal learning rate according to the present invention operating as described above, the optimal value of the learning rate is changed to change the weight in the learning according to the error backpropagation algorithm of the omnidirectional neural network. As a result, the time required for error backpropagation learning can be reduced.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980028188A KR100302254B1 (en) | 1998-07-13 | 1998-07-13 | Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980028188A KR100302254B1 (en) | 1998-07-13 | 1998-07-13 | Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000008398A KR20000008398A (en) | 2000-02-07 |
| KR100302254B1 true KR100302254B1 (en) | 2001-11-22 |
Family
ID=19543991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980028188A Expired - Fee Related KR100302254B1 (en) | 1998-07-13 | 1998-07-13 | Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100302254B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723834B (en) * | 2019-03-21 | 2024-01-26 | 杭州海康威视数字技术股份有限公司 | Voice deep learning training method and device |
-
1998
- 1998-07-13 KR KR1019980028188A patent/KR100302254B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000008398A (en) | 2000-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Billings et al. | A comparison of the backpropagation and recursive prediction error algorithms for training neural networks | |
| Srinivasan et al. | Back propagation through adjoints for the identification of nonlinear dynamic systems using recurrent neural models | |
| CA2066952C (en) | Speech recognition by neural network adapted to reference pattern learning | |
| Chaer et al. | A mixture-of-experts framework for adaptive Kalman filtering | |
| KR20180127171A (en) | Apparatus and method for student-teacher transfer learning network using knowledge bridge | |
| JP3003276B2 (en) | Signal analyzer | |
| Gopal et al. | Learning in Single Hidden‐Layer Feedforward Network Models: Backpropagation in a Spatial Interaction Modeling Context | |
| KR100306848B1 (en) | A selective attention method using neural networks | |
| US5129038A (en) | Neural network with selective error reduction to increase learning speed | |
| KR100302254B1 (en) | Error Backpropagation Method in Omnidirectional Neural Network Using Optimal Learning Rate | |
| Poddar et al. | Nonlinear prediction of speech signals using memory neuron networks | |
| JPH07282168A (en) | Chaos-recurrent neuronetwork and its learning method | |
| Campolucci et al. | On-line learning algorithms for neural networks with IIR synapses | |
| JPH07141313A (en) | Neural circuit element | |
| Morgan et al. | Factoring networks by a statistical method | |
| CN112562628B (en) | Adaptive active noise control system and method based on deep neural network | |
| CN111242246B (en) | Image classification method based on reinforcement learning | |
| CA2016342C (en) | Pattern recognition method by using reference patterns each of which is defined by state models | |
| Tahaabdulsadda et al. | Acoustics recognition with expert intelligent system | |
| Benvenuto et al. | Comparison of four learning algorithms for multilayer perceptron with FIR synapses | |
| Lawrence et al. | The gamma MLP-using multiple temporal resolutions for improved classification | |
| Mandic et al. | Non-linear adaptive prediction of speech with a pipelined recurrent neural network and advanced learning algorithms | |
| Kuhn et al. | Some variations on training of recurrent networks | |
| KR100302255B1 (en) | Learning method of omni-directional neural network | |
| Jou et al. | Mandarin syllables recognition based on one class one net neural network with modified selective update algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19980713 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 19980713 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20000824 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20010625 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20010702 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20010703 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20040622 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20050630 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20060630 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20060630 Start annual number: 6 End annual number: 6 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |